vergleich von gesichtserkennungsverfahren peter hamm hauptseminar: digitale medien thema 20:...

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Hauptseminar: Digitale Medien

Thema 20: Vergleich von Gesichtserkennungsverfahren

Bearbeiter: Peter HammBetreuer: Dipl.-Ing. Peter Dunker

Betreuender Professor: Prof. Dr.- Ing. Karlheinz Brandenburg

11. Juli 2005

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

I Einführung - Gesichtserkennung

II Einführung - Gesichtserkennung mittels Hauptachsentransformation

II.0 Bildtransformation II.1 PCA / Eigenfaces II.2 LDA / Fisherfaces II.3 small sample size problem

III Erweiterte Methoden III.1 Maximum Uncertainty LDA III.2 Direct Fractional LDA

IV Klassifikationsergebnis / Zusammenfassung

Gliederung2

GLIEDERUNG

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Gesichts-lokalisierung

NormalisierungMerkmals-extraktion

VergleichenDer

Merkmale

Einführung - Gesichterkennung

I GESICHTSERKENNUNGSVERFAHREN

3

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

„THREE APPROACHES FOR FACE RECOGNITION“ – V.V. Starovoitov, D.I Samal, D.V. Briliuk

Mögliche Unterscheidungsmerkmale

Gesichtsproportionen

Konturen (active shape model)

Einzelne Gesichtsbereiche wie Nase, Mund etc. (template matching )

Einführung - Gesichterkennung4

I GESICHTSERKENNUNGSVERFAHREN

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Merkmalsextraktion - Hauptachsentransforamtion

- gesamtes Gesicht wird analysiert

- lineare Transformation der Bilder in _einen Unterraum

- Transformationsmatrix: Berechnung

_ über Eigenvektoren der Kovarianzmatrix

_ der Bilder

- Vergleich anhand der neuen Werte

Einführung - Gesichterkennung5

I GESICHTSERKENNUNGSVERFAHREN

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

2-Pixel-Bilder = Objekt mit 2 Merkmalen

256 x 256 px = Objekt mit 65.536 Merkmalen

HOHER RECHENAUFWAND !

II BILDTRANSFORMATIONWas soll eine Bildtransformation erreichen?

Reduktion der Objektmerkmale ____ ohne große Informationsverluste !!!

Diskriminierung der Objekte ____ durch Finden der Variationen im Bilddatensatz

Bildtransformation mittels Hauptachsentransformation6

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

My

PixelPixelN

N

yx

,...,2,1

,...,2,1

II BILDTRANSFORMATION

TWy

Bildtransformation mittels Hauptachsentransformation7

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

II EIGENFACES

Transformation des Trainingssatzes mittels

_ _ _ Principle Component Analysis – PCA

principle components:

orthogonale Vektoren ,die die Richtungen der größten Varianz beschreiben

= neue Achsenhttps://www.eng.man.ac.uk/mech/merg/Research/datafusion.org.uk/pca.html

PC 1PC 2

Sirovich / Kirby, 1987; Turk / Pentland, 1991

Eigenfaces / PCA8

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Trainingsdatensatz:

M,...,, 321

i

M

n nM 1

1

ii

B

H

N x M

H x B = N

image mean

Abweichung

Eigenfaces / PCA9

II EIGENFACES

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

PCs = Eigenvektoren der Kovarianzmatrix der

_ _ _ _ _ _ _ _ _ gesamten Bildmatrix

- Problem: C hat die Dimension N x N !

- Es existieren nur M sinnvolle Eigenvektoren

Kovarianzmatrix: Abweichung eines Gesichts ______________vom Durchschnittsgesicht (image mean)

TC

T- Eigenvektoren von = Eigenvektoren von C

10

II EIGENFACES

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Transformationsmatrix: EWPCA

- W sind die sog. Eigenfaces- Anzahl gewählten Eigenfaces = Dimension der Unterraumvektoren

Eigenfaces nach Ordnung gegliedert

1 2 3 4

15 100 200 250 300

11

II EIGENFACES

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

queryT

queryWy

TWy

Klassifizierung:

1 Transformation des Testbilddatensatzes:

2 Transformation des Query-Bildes:

3 Euklidische Distanz berechenen:

22queryi yy

i

12

II EIGENFACES

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

II FISHERFACESFisher 1936; Belhumeur, Hespanha, Kriegmann 1997

PCA lässt Klasseninformation außer Acht

Linear Discriminant Analysis - LDA

LDA: - vergrößert die Streuung zwischen den Klassen

- verkleinert die Streuung innerhalb der Klassen

WSW

WSWW

WITHIN

BETWEEN

LDA T

T

Wmaxarg

Fisher‘s criterion

- W über Lösen des Eigensystem

Fisherfaces / LDA13

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Belhumeur: Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projektion

Fisherfaces / LDA14

II FISHERFACES

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

II SMALL SAMPLE SIZE PROBLEM

21, MM ,1

Trainingsdatensatz: N >> M

N x M

- Bilder einer Person << Pixel pro Bild (features)

- schlechte Repräsentation der gesamten Klasse

- Kovarianzmatrix kann singulär sein

Determinate = 0

WSW

WSWW

WITHIN

BETWEEN

LDA T

T

Wmaxarg

Small sample size problem15

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

III ERWEITERTE METHODEN

Belhumeur (LDA)

- Schritt vor der LDA: Dimensionsreduktion mittels PCA auf M bis minimal (M – Klassenanzahl)

TPCA

TLDA

TOPT WWW

- Klassifikation schlechter gegenüber „reiner“ LDA !

Erweiterte Mehtoden16

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Maximum Uncertainty LDA Thomasz, Gillies 2004

- Modifizierte S - Addition mit einer gewichteten Einheitsmatrix

BETWEEN

ISSWITHINWITHIN

)1(ˆ

10 Mit:

n

iin 1

1 und:

- Löst Singularitätsproblem

Erweiterte Mehtoden17

III ERWEITERTE METHODEN

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Maximum Uncertainty LDA

WW

WSWW

WITHIN

BETWEEN

LDA

ST

T

W ˆmaxarg

- Modifiziertes Fisher-Kriterium:

Erweiterte Mehtoden18

III ERWEITERTE METHODEN

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Direct Fractional Linear Discriminent Analysis - DF-LDA

1 Einführung von Gewichtsfunktionen in die LDA um

Lu, Plataniotis, Venetsanopoulos, 2002

2 Direct = keine PCA vor der LDA anwenden

3 Fractional = Dimensionsreduktion durch LDA in Schritten

3 Schritte:

- Löst Singularitätsproblem und verbessert die Klassifizierung

Erweiterte Mehtoden19

III ERWEITERTE METHODEN

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Direct Fractional Linear Discriminent Analysis - DF-LDA

1 Berechnung der Eigenwerte der gewichteten S BETWEEN

ji

K

j

p

jii

K

i

M

Mi

mit

TiiBETWEEN

S

1

2

1

:

ˆ

Gewichtsfunktion

Erweiterte Mehtoden20

III ERWEITERTE METHODEN

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

2 direct LDA:

- Maximieren des modifizierten Fisher‘s Criteriums

WSSW

WSWW

BETWEENWITHIN

BETWEEN

LDAD T

T

W ˆ

ˆmaxarg

Direct Fractional Linear Discriminent Analysis - DF-LDA

Erweiterte Mehtoden21

III ERWEITERTE METHODEN

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

3 Fractional Step zur weiteren Dimensionsreduzierung:

+ Transformationmatrix durch Maximierung der S BETWEEN

+ schrittweise Reduzierung der Dimension in r>1 Schritten

+ Neuberechnung der S nach jedem Schritt BETWEEN

Direct Fractional Linear Discriminent Analysis - DF-LDA

WSWWBETWEENLDADF

T

Wmaxarg

Erweiterte Mehtoden22

III ERWEITERTE METHODEN

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

III KLASSIFIKATIONSERGEBNISSE

Belhumeur: Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projektion

23

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

III KLASSIFIKATIONSERGEBNISSE

Chengjun Liu; Harry Wechsler; Enhanced Fisher Linear Discriminant Models for Face Recognition

24

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

III KLASSIFIKATIONSERGEBNISSE

ORL – Olivetti-Oracle Research Lab FERET- Face Recognition Technology

Ergebnisse: MAXIMUM UNCERTAINTY LDA (NLDA)

25

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

III KLASSIFIKATIONSERGEBNISSE

Ergebnisse: Direct Fractional-LDA (DF-LDA)

Projektionen von 5 Personen:

PCA D_LDA DF_LDA

26

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

III KLASSIFIKATIONSERGEBNISSE

Ergebnisse: Direct Fractional-LDA (DF-LDA)

27

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

III KLASSIFIKATIONSERGEBNISSE- Viele verschiedene Testdatenbanken:

- Olivetti Oracle Research Lab DB (ORL)- Face Recognition Technology DB (FERET)- UMIST Database- YALE Database

YALE

FERET

28

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

IV Zusammenfassung

Gesichtserkennung mittels Hauptachsen-Transformtionen

relativ unempfindlich gegenüber schlechter Auflösung

LDA unempfindlicher gegenüber PCA bezüglich Helligkeitsschwankung, Mimik, Gesichtsposition

Fortgeschrittene LDA-Methoden können Fehlererkennungsrate senken

Anwendungerfolge bei verschiedenen Testdatenbanken fallen unterschiedlich aus

29

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Dank an die Zuhörer für die Aufmerksamkeit und

Danke an Peter Dunker für die Unterstützung

FRAGEN ?

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Add-on: Matrixmultiplikation

kT

kxWy

100,20001,2000

1,2

100,12,11,1

..

..

.

..

]1002000[

xx

x

xxx

Bilderpixelx

2000,201,20

1,2

2000,12,11,1

..

..

.

..

]200020[

WW

W

WWW

TW

Zusatzfolien

Bsp.: Projektion von Bildmatrix in Unterraum:

100,201,20

1,2

100,12,11,1

..

.

.

.

]10020[

yy

y

yyy

T xW

Z 1

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Add-on: Lösung des Eigenwertsystems der Kovarianzmatrix

Zusatzfolien

XECXEXEXEXX

EXEXELET

T

Z 2

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Add-on: Kovarianzmatrix

44

31A

5.05.45.1

5.1)( AKOV

Zusatzfolien

- Abweichung vom arithmetischen Mittelwert

- Diagonale: Varianz innerhalb der jeweiligen Klasse

- Elemente ausserhalb der Diagonale: Kovarianzen

N

n

TnnN

KOV1

1

Z 3

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Add-on: II BILDTRANSFORMATION

Verdunklung um 40 Grauwertstufen

Facial Recognition as a Pattern Recognition Problem; Wang, ECE 407NA 2005

Z 4

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Add-on: II Eigenfaces

PCs = Eigenvektoren der Kovarianzmatrix der

_ _ _ _ _ _ _ _ _ gesamten BildmatrixTC iii

ECE

TL- Problem: C hat die Dimension N x N !

iiiELE

- L hat die Dimension M x M !- Eigenvektoren von L = Eigenvektoren von C

Transformationsmatrix: EWPCA

Z 5

Vergleich von Gesichtserkennungsverfahren

Peter Hamm

Add-on: II Fisherfaces

„Within-Class Scatter“ = Summe der Kovarianz jeder Klasse

Tjj

M

jjpWITHIN

S

1

T

globaliglobali

K

iiNBETWEEN

S1

„Between-Class Scatter“ = Summe der Kovarianz aller Klasse

Lösung Fisher‘s criterion:

EESSBETWEENWITHIN

1

Z 6