Lehrstuhl fürMesstechnik und Bildverarbeitung

RWTH Aachen

22.01.04

Gait Recognition

Seminararbeit

Stefan Meyer

Stefan Meyer

Gait Recognition

2

ÜberblickÜberblick

● Einführung und Allgemeines zur Personenerkennung am Gang

● Vorstellung von zwei verschiedenen Lösungsansätzen● Experimente und Ergebnisse der Gangerkennung mit

passender Software zu einem der Ansätze● Zusammenfassung

Stefan Meyer

Gait Recognition

3

EinführungEinführung

● Übliche Methoden zur Personenerkennung untersuchen Merkmale wie:

● Gesicht● Fingerabdruck● Irismuster

● Nachteil dieser Methoden:● Ohne Kooperation der Testperson bekommt man kein Bildmaterial

dieser Merkmale

● Personenerkennung am Gang:● Vorteile:

● Keine besonderen Aktionen seitens der Testperson erforderlich● Identifikation ist berührungslos und unauffällig (nicht-invasiv)● Korrekte Identifikation kann nur schwer von der Person verhindert

werden

Stefan Meyer

Gait Recognition

4

EinsatzmöglichkeitenEinsatzmöglichkeiten

● Überall wo es technisch nicht möglich oder lästig ist besondere Personenmerkmale zu erfassen.

● Erkennung soll geheim stattfinden.

Beispielvideo:- Fest installierten Kamera

- 256 Graustufen

- 320x160 Pixel

- 30 Frames/sec

Stefan Meyer

Gait Recognition

5

VorverarbeitungVorverarbeitung

● Hintergrund entfernen● Hintergrundbild dynamisch aus den letzten Bildern bestimmen● Hintergrundbild vom aktuellen Bild subtrahieren● Pixel mit Grauwert unterhalb eines Schwellwertes entfernen

● Artefakte entfernen● Pixelfehler außerhalb der Person => Erosion● Kleine Löcher innerhalb der Person => Dilatation

Stefan Meyer

Gait Recognition

6

1. Untersuchung von Formmerkmalen1. Untersuchung von Formmerkmalen

● Kontur der Person aus jedem Bild extrahieren● Errechnen der Eigenform aus der gesamten Bewegung

(Form mit minimalem Gesamtabstand zu allen Konturen)● Vergleich der Eigenform mit anderen Eigenformen und

Zuordnung

Stefan Meyer

Gait Recognition

7

1. Untersuchung von Formmerkmalen1. Untersuchung von Formmerkmalen

● Vorteil:● Erkennung auch möglich wenn die Personen frontal auf die Kamera

zulaufen

● Nachteile:● Funktioniert nur bei einem kleinen Datenbestand● Anfällig für Störungen (z.B. Veränderungen in der Kleidung –

Handschuhe/dickere Jacke)

Stefan Meyer

Gait Recognition

8

2. Formunabhängige Bestimmung mittels 2. Formunabhängige Bestimmung mittels Optischem FlussOptischem Fluss

Stefan Meyer

Gait Recognition

9

Optischer FlussOptischer Fluss

● Definition: Der “Optische Fluss” ist der Grauwertfluss in der Bildebene.

● Bei konstanten Lichtverhältnissen und texturierten Oberflächen entspricht der Optische Fluss dem Bewegungsvektorfeld.

Bild 1 Bild 2 Optischer Fluss

Stefan Meyer

Gait Recognition

10

Optischer Fluss - BerechnungOptischer Fluss - Berechnung

Bild 1 Bild 2

Ergebnis:U(x,y) = -1V(x,y) = -1

● Beispiel für die Berechnung des blau-markierten Pixels● Suchbereich 3x3 Pixel

Stefan Meyer

Gait Recognition

11

Optischer Fluss - BeispielOptischer Fluss - Beispiel

● Optischer Fluss des Beispielvideos● Binärbild des Optischen Flusses (Weiße Flächen haben sich bewegt)● Gewichtet mit Bewegungsdistanz in |u|, |v| oder |u,v| - Richtung

(farblich dargestellt)

Binärbild Gewichtet mit |(u,v)|0,0

Stefan Meyer

Gait Recognition

12

13 Skalare Größen (je Frame)13 Skalare Größen (je Frame)

● Schwerpunkt Binärbild : xc, yc

● Schwerpunkt |u| Verteilung : xuc, yuc

● Schwerpunkt |v| Verteilung : xvc, yvc

● Schwerpunkt |u,v| Verteilung : xuvc, yuvc

● Differenzen der Schwerpunkte : xd, yd

● Verhältnis max. zu min. Trägheitsmoment : ac, awc (Binärbild und |u,v|-Verteilung)

● Differenz der beiden Momentverhältnisse : ad

Stefan Meyer

Gait Recognition

13

Darstellung der skalaren Größen im VideoDarstellung der skalaren Größen im Video

● Viereck – Schwerpunkt Binärbild● Kreuz – Schwerpunkt |u,v|-Verteilung● Ellipse – Trägheitsmomente an einer drehbaren Achse

durch den Schwerpunkt (Binärbild und |u,v|-Verteilung)

Stefan Meyer

Gait Recognition

14

Skalare Größen (komplette Sequenz)Skalare Größen (komplette Sequenz)

Mittelwert und Linearen Anteil subtrahieren

Stefan Meyer

Gait Recognition

15

Grundfrequenz bestimmenGrundfrequenz bestimmen

Spektrum von yc (y-Koordinate Schwerpunkt im Binärbild)

Grundfrequenz bei 0.063(ca. 16 Frames/Halbschritt)

yc ist zur Bestimmung der Grundfrequenz am besten geeignet.

Alle skalaren Größen haben die gleiche Grundfrequenz.

Stefan Meyer

Gait Recognition

16

Grundfrequenzanteil der skalaren GrößenGrundfrequenzanteil der skalaren Größen

● Rot: Skalare Größe ac

● Grün: Darstellung mit nur 1 Spektralkoeffizient der Grundfrequenz

Alle skalaren Größen können stark vereinfacht durch eine Sinus-Funktion dargestellt werden.

Stefan Meyer

Gait Recognition

17

Bestimmung des MerkmalsvektorsBestimmung des Merkmalsvektors

● Die Phasen der 13 skalaren Größen charakterisieren den Gang der Person.

● Phase ist abhängig vom Zustand des Ganges der Person bei Beginn der Sequenz.

● 1 Wert ist Referenz und wird von den anderen 12 subtrahiert.

Stefan Meyer

Gait Recognition

18

Auswertung des MerkmalsvektorsAuswertung des Merkmalsvektors

Darstellung von zwei Werten des Merkmalsvektors im 2d-Raum

Stefan Meyer

Gait Recognition

19

Alle Werte des MerkmalsvektorsAlle Werte des Merkmalsvektors

● Einige Merkmale haben sehr geringe Aussagekraft (x_d, x_wc)● Abhängigkeiten zwischen Merkmalen (x_c, x_wc / a_c, a_wc)● => Merkmalsvektor kann weiter reduziert werden.

Stefan Meyer

Gait Recognition

20

Ergebnis des VersuchesErgebnis des Versuches

● Leaving-One-Out:● Aus den 7 Durchgängen jeder Person wird einer rausgenommen. Die

restlichen 6 Merkmalsvektoren werden gemittelt und ergeben den Merkmalsvektor der die Person charakterisiert.

● Der entfernte Durchgang jeder Person wird mittels minimalem Euklidischem Abstand zugeordnet.

● Permutation aller Kombination.

● Ergebnis:● 95.2% der Aufnahmen wurden der richtigen Personen zugeordnet.● Die Betrachtung von nur 5 (x_c, y_d, a_c, a_d, y_vwc) der 12

Merkmalswerten liefert das gleiche Ergebnis.● Bei der Zuordnung von 3 Durchgängen pro Person (Mittelwert aus

restlichen 4 Durchgängen) sinkt die Erkennungsrate auf 92.2%

Stefan Meyer

Gait Recognition

21

Eigene ExperimenteEigene Experimente

● Software zur Gangerkennung mit der optischen Fluss Methode ist frei verfügbar.

● http://www-mitpress.mit.edu/e-journals/Videre/001/articles/Little-Boyd/gait/gait.html

● Artikel und Software wurden 1998 von Mitarbeitern des MIT in der Zeitschrift Videre veröffentlicht

● C Quellcode und Shellskripten● UNIX programmiert => Kompiliert nach kleinen

Änderungen unter Linux und ist voll lauffähig.

Stefan Meyer

Gait Recognition

22

ParameterParameter

● Maximale Flussweite (Größe des Suchfensters).● Guter Wert ist die maximale Bewegung zwischen zwei Bildern in der

gesamten Szene● Zu klein => - anfällig für Rauschen

- falsche Zuordnung bei großen Bewegungen

● Zu groß => - schlechte örtliche Auflösung (Details wie Bewegung der Arme verschwinden)

● Filterparameter des Gaußfilters in der Flussberechnung● Gerade groß genug wählen, dass keine Bewegung im Hintergrund

angezeigt wird

Stefan Meyer

Gait Recognition

23

Eigene Berechnung: Videos vom MITEigene Berechnung: Videos vom MIT

Stefan Meyer

Gait Recognition

24

Eigene Berechnung: Videos vom MITEigene Berechnung: Videos vom MIT

Stefan Meyer

Gait Recognition

25

Videos aufgenommen am LfMVideos aufgenommen am LfM

Stefan Meyer

Gait Recognition

26

Videos aufgenommen am LfMVideos aufgenommen am LfM

Stefan Meyer

Gait Recognition

27

Auswertung Videos am LfM (2D-Charts)Auswertung Videos am LfM (2D-Charts)

Stefan Meyer

Gait Recognition

28

Auswertung Videos am LfMAuswertung Videos am LfM(Skalare Größe x_wc)(Skalare Größe x_wc)

Stefan Meyer

Gait Recognition

29

Ursachen für schlechte ErgebnisseUrsachen für schlechte Ergebnisse

● Kamera ungeeignet (Kompakte Digitalkamera mit Videofunktion - Canon Ixus V330)

● Sehr viel Rauschen im Video● Aufnahme mit 20 Frames/sec (entspricht weniger als 10 Bilder pro

Schrittfolge)

● Raum schlecht ausgeleuchtet● Leichte Schatten am Boden● Unter den Lampen ist die Person heller als an den Seiten

● Versuchspersonen gehen unnatürlich● Raum zu klein. Personen laufen aus dem Stand an.● Aufnahme auf Kommando verfälscht den charakteristischen Gang

einer Person

Stefan Meyer

Gait Recognition

30

ZusammenfassungZusammenfassung

● Personenerkennung am Gang unterscheidet sich als kontaktloses Verfahren von allen anderen Methoden.

● Es existieren viele Lösungsansätze die aber alle noch verbessert und an einer repräsentativen Anzahl Personen getestet werden müssen.

● Die Identifikation von mehr als 90% der Personen ist vielversprechend und eröffnet neue Möglichkeiten der Kameraüberwachung.