IT-Sicherheit Kapitel 8 - anikapflug.de · IT-Sicherheit Kapitel 8.4 Gesichtserkennung und...

IT-Sicherheit

Kapitel 8.4

Gesichtserkennung und Ohrenerkennung

Anika Pflug, M.Sc.

Sommersemester 2014

1tt.12.jjjj IT-Sicherheit – Kapitel 8 - Biometrie

Einführung

2tt.12.jjjj

Was macht ein Gesicht aus?

IT-Sicherheit – Kapitel 8 - Biometrie

Einführung

3tt.12.jjjj

Was macht ein Gesicht aus?


Manuelle Analyse: Forensik

4tt.12.jjjj

Wie macht man dieses Wissen explizit?


horizontale Stirnfalten

vertikale Stirnfalten(an der Glabella)

Schläfenfalten

Ohrenfalten

Nasen-Wangen-Falte

Wangen-Kinn-Falte

Nasen-Lippen-Rinne

Mundwinkel-Furche

Kinngrube

Kinn-Lippen-Furche

Wangen-Kinn-Furche

Nasen-Lippen-Furche

Augen-Wangen-Furche

Untere Augenhöhlen-Furche

Querfalte an derNasenwurzel

Angriffe auf Gesichtsdetektion

5tt.12.jjjj

Spezialbrille und Makeup


Quelle: golem.de Quelle: Adam Harvey

Probleme mit Makeup

6tt.12.jjjj

DOVE Experiment


http://www.youtube.com/watch?v=hibyAJOSW8U

Gesichtsdetektion

7tt.12.jjjj

Der Viola-Jones Algorithmus


Spezifische Verteilung von Hell-Dunkel Übergängen im Gesicht

Lernverfahren: Cascaded AdaBoost Entscheidungsbäume!

Quelle: openCV

Automatische Analyse

8tt.12.jjjj

Wie macht man dieses Wissen explizit?


• Landmarken• Eigenfaces (PCA) und andere statistische Verfahren• Morphable Models• Neurale Netze• Textur-basierte Erkennung

Landmarken

9tt.12.jjjj

Für Menschen leicht, für Maschinen…


Pro:• Für Menschen leicht nachvollzieh- und korrigierbar

Contra:• Semantische Interpretation von Bildern ist ein

schwieriges Problem – anfällig für Fehler!• Große Mengen an manuell annotierten Trainingsdaten

erforderlich

Trotzdem ein beliebtes Forschungsthema. Gute Erfolge mit Random Forests und Ausnutzung von Symmetrie.

Texturbasierte Ansätze

10tt.12.jjjj

Eigenfaces und mehr


Direkte Analyse der Textureigenschaften im Bild:• Lokale Grauwerte• Local Binary Patterns• Histogram of Oriented Gradients• Local Phase Quantization


11tt.12.jjjj

Eigenfaces und mehr


Bekanntester Vertreter: Eigenfaces--> Projektion des Gesichtes in den Eigenvektorraum

1. Durchschnittliches Gesicht Berechnen2. Kovarianz-Matrix Erstellen und deren Eigenvektoren berechnen3. Projektion durchführen

10 100 200


12tt.12.jjjj

Local Binary Patterns


Häufig eingesetztes verfahren zur Beschreibung der lokalen Strukturen

1. Berechnen des LBP Code-Bildes2. Unterteilung des Bildes in lokale Fenster3. Berechnung von Histogrammen aus LBP Codes in jedem Fenster4. Zusammenfügen der Einzelnen lokalen Histogramme

Quelle: University of Oulu


13tt.12.jjjj

Local Binary Patterns: LBP Codes


Umrechnung von Grauwerten zu LBP Codes

Quelle: University of Oulu

Herausforderungen

14tt.12.jjjj

Es gibt keine Backrezepte für…


Pose

Illumination

Expression

PIE:

Herausforderungen

15tt.12.jjjj

Beispiel: Richtlinien für Personalausweis


Quelle: http://www.personalausweisportal.de/SharedDocs/Downloads/DE/Weitere-Informationen/Fotomustertafel.pdf?__blob=publicationFileund www.ruthe.de

• Hohe Genauigkeit nur für standardisierte Bilder erreicht

• Bedienungsfehler sind häufigste Fehlerquelle!

http://www.personalausweisportal.de/SharedDocs/Downloads/DE/Weitere-Informationen/Fotomustertafel.pdf?__blob=publicationFile

Herausforderungen

16tt.12.jjjj

Beispiel: Richtlinien für Personalausweis


Quelle: http://www.personalausweisportal.de/SharedDocs/Downloads/DE/Weitere-Informationen/Fotomustertafel.pdf?__blob=publicationFileund www.ruthe.de

http://www.personalausweisportal.de/SharedDocs/Downloads/DE/Weitere-Informationen/Fotomustertafel.pdf?__blob=publicationFile

Herausforderungen

17tt.12.jjjj

Automatische Grenzkontrolle (OSL)


Häufigste Fehlerquellen:

• Menschen schauen nicht in die Kamera, sondern…• Zum Ausweis-Scanner• Zu Person im Schalter• Zu einer Person hinter ihnen

• Mehrere Personen im Gate• Piktogramme werden nicht verstanden

Vergleich 2D und 3D

18tt.12.jjjj

Nicht alles ist gelöst


Problemstellung 3D Gesichtserkennung 2D Gesichtserkennung

Pose gelöst offen

Skalierung gelöst offen

Lichtverhältnisse Teilw. gelöst offen

Gesichtsausdruck offen offen

3D-Gesichtserkennung

19tt.12.jjjj

Aufnahmeverfahren


• Structured light• Passive stereo vision• Structure from motion• Lichtfeld-Kameras


20tt.12.jjjj

Datenstruktutren


Punktwolken Meshes Tiefenbilder


21tt.12.jjjj

Nachteile und Vorteile


• Pose kann normalisiert werden• Verminderter Einfluss von Beleuchtung (je nach Aufnahmetechnik)• Vergleich auf zu 2D möglich durch Rendering• Zusätzliche Tiefeninformationen machen das System verlässlicher


22tt.12.jjjj

Beispiel für Landmarken-Extraktion


Klassifikation von Punkten anhand ihrer Position und Krümmungen

• Nasenrücken *• Nasenspitze *• Tränendrüsen **• Nasenwurzel **• Nasen-Lippen-Furche *

Privacy

23tt.12.jjjj

Ethnie, Religion, Verwandtschaft…


Quelle: http://genetic.ulriccollette.com/

Ohren-Biometrie

24tt.12.jjjj

Nur Ergänzung oder Eigenständig?


Pro:• In der Forensik sehr wichtig• So individuell wie ein Fingerabdruck• Viele Merkmale auf kleinstem Raum• In Überwachungsvideos oft gut sichtbar Stabiler

gegenüber Alterung als das Gesicht

Contra:• Probleme mit Verdeckung (z.B. Hijab, Kopfhöhrer, lange Haare)• Derzeit keine etablierten Algorithmen zum automatischen Vergleich

Ohren-Biometrie

25tt.12.jjjj

Geschichte


In der klassischen Kunst galt es als Qualitätsmerkmal, wenn alle Details einer Skulptur de, Erscheinungsbild der echten Person entsprachen.

Auch das Ohr sollte individuell sein

Ohren-Biometrie

26tt.12.jjjj

Bedeutung in der Forensik


„Diebestour durch Hamburg aufgeklärt: Ohrabdruck überführt Einbrecher“ (29. April 2012, N-TV)

"Ohrabdruck" dank neuem System eindeutiger als Fingerabdruck? (13. November 2010, shortnews.de)

Kriminalität: Verräterischer Ohrabdruck (5. Januar 2004, spiegel-online.de)

Ohren-Biometrie

27tt.12.jjjj

Eigenschaften des Ohres


Ohren-Biometrie

28tt.12.jjjj

Forensik


Labor: Praxis:

Ohren-Biometrie

29tt.12.jjjj

Segmentierung für für 2D


Haar-like features oder LBP (Islam & Davies, 2008) mit AdaboostTracking hilft dabei, weniger false positives zu erzeugen.

Ohren-Biometrie

30tt.12.jjjj

Feature Extraktion für 2D


• Force Fields (Hurley, 2004)• Geometric Features (Choras, 2005)• SIFT (Kisku et al., 2009)• Eigenears (Victor et al, 2002)• Active Appearance Models (Yuan and Mu, 2007)

Ohren-Biometrie

31tt.12.jjjj

Feature Extraktion für 3D


• Slice Curves (Lui and Zhang, 2011)• Deformable Model Fitting (Passalis et al., 2007)• ICP (Chen and Bhanu, 2007)

Ohren-Biometrie

32tt.12.jjjj

Verdeckungen


Haare Ohrschmuck

Brillenbügel, Kopfhöhrer, Kopfbedeckungen

Ohren-Biometrie

33tt.12.jjjj

Verdeckungen


Occlusion for Men

Occluded Visible Partly

Occlusion for Women


Ohren-Biometrie

34tt.12.jjjj

Verdeckungen



Occlusion Types

Hair partly Hair complete Headdress/Hat

Large Earrings Attached Earrings Ear Phones

Ohren-Biometrie

35tt.12.jjjj

Herausforderungen


Challenges and Current Reserach

• Establish standard algorithms for automaitc retrieval Immature field of reserach, much space for being creative!

• Overcome issues with pose, occlusion and illumination Probably in cinjunction with face recognition?

• Quality assurance and influence of image compression In Surveillance we often have low resolution and unstable lighting conditions

Ohren-Biometrie

36tt.12.jjjj

Forschung an der HDA


Nutzung von Gradienten im Tiefenbild zur Detektion des Ohres

Beschreibung des Ohres anhand von Proportionen der gefundenen Kanten

Ohren-Biometrie

37tt.12.jjjj



1

2

3

Rotations-invariante Detektion von Ohren in Tiefenbildern

• Histogramm aus Oberflächenkrümmungen extrahieren

• SVM trainieren• Schwerpunkt der dichtesten

Wolke aus Detektionen wählen

Ohren-Biometrie

38tt.12.jjjj



Normalisierung von Ohren ohne Ausnutzung Symmetrie-Eigenschaften

Abschätzung von Parametern einer umschließenden Ellipse in einem Ohrenbild zur Schätzung der Orientierung. Ziel: Ausgleich leichter Rotationen

Ohren-Biometrie

39tt.12.jjjj



Einfluss von Bildstörungen und Kompression auf die Detektions- und Erkennungsgenauigkeit

Detektion: Haar-Like Features, LBP und HOG Recognition: Lokale Histogramme von LBP, HOG und LPQ

Ohren-Biometrie

40tt.12.jjjj



Unterteilung von Feature Räumen für effiziente Suche in großen Datenbanken

Unsupervised Learning Ansatz für Textur-FeaturesUntersuchung von Clustering- und Projektionsverfahren

C1 C2 C3 C4

Gallery Cluster ID

Nu

mb

ero

fId

enti

ties

Nu

mb

ero

fId

enti

ties

Gallery Cluster ID

C1 C2 C3 C4

Bad performance: HOG Good performance: LPQ

IT-Sicherheit Kapitel 8 - anikapflug.de · IT-Sicherheit Kapitel 8.4 Gesichtserkennung und...

Documents

Transcript of IT-Sicherheit Kapitel 8 - anikapflug.de · IT-Sicherheit Kapitel 8.4 Gesichtserkennung und...