Alignment inCommunication

SFB 673

2

Aus der Sicht eines Roboters

Erzeugen von Situationsmodelle für z.B. BIRON

Welche Schritte sind notwendig?

Alignment inCommunication

SFB 673

3

Perzeption der Szene

Fokus auf 3D Datenakquise Verschiedene Möglichkeiten:

Stereo-Kameras Laserscanner

Unsere Wahl: Swissranger SR3000 3D Time-of-Flight (ToF) Kamera 176 x 144 Pixelsensoren Abstandsberechung aus Zeitdifferenz zwischen

Senden und Empfangen eines Infrarotsignals

Alignment inCommunication

SFB 673

4

Beispieldaten eines Büros

Alignment inCommunication

SFB 673

5

Erweiterung des Sichtfelds

Aufnahme einer Sequenz von 3D Punktwolken Registrierung und Rekonstruktion zu einer

globalen Punktwolke Diplomarbeit:

„Estimation of Camera Motion from Depth Image Sequences“

Alignment inCommunication

SFB 673

6

Erweiterung des Sichtfelds

Alignment inCommunication

SFB 673

7

Analyse der Szenen

Datengetriebene Analyse der 3D Punktwolken Extraktion von

geometrischen „Raumprimitiven“: Beschränkung auf

von Menschen gestaltete Innenräume Extraktion von planaren Flächen:

Gegebene Anordnung der 3D Punkte in eine 2D Matrix Region Growing über die 8-er Nachbarschaft durch Punkte

die 4 Kriterien erfüllen Kriterien: planar, valid, conormal, coplanar

Alignment inCommunication

SFB 673

8

Analyse der Szenen

Alignment inCommunication

SFB 673

9

Raumerkennung

Raumerkennung auf Basis planaren Strukturen

Experiment: Raumkategorien: Büro, Seminarraum, Flur Ziel: Klassifikation eines Perzepts (3D Punktwolke)

in einer der 3 Raumkategorien Statistiken auf den extrahierten Ebenen zur

Definition von geeigneten Merkmalsvektoren

Alignment inCommunication

SFB 673

10

4 untersuchte Statistiken

Anzahl der Punkte pro planare Fläche

Winkel zwischen allen Flächenpaaren

Winkel zwischen nah benachbarten Flächenpaaren

Größen-verhältnisse zwischen allen Flächenpaaren

Alignment inCommunication

SFB 673

11

Ergebnisse

Trainingsräume

Alignment inCommunication

SFB 673

12

Ergebnisse

Testräume

Alignment inCommunication

SFB 673

13

Ergebnisse

Neuronale Netze

Support Vektor Maschinen

Mischverteilungs-klassifikator

recog catego recog catego recog catego

FV1 0.91 0.62 0.92 0.64 0.90 0.65

FV2a 0.71 0.51 0.71 0.50 0.73 0.68

FV3 0.89 0.65 0.84 0.67 0.88 0.71

FV4 0.83 0.54 0.77 0.53 0.78 0.52

FV1, FV3 0.90 0.79 0.93 0.77 0.89 0.77

FV1, FV2a 0.92 0.69 0.97 0.68 0.91 0.74

FV1, FV2b 0.91 0.68 0.88 0.65 0.86 0.66

FV1, FV3, FV4 0.89 0.78 0.90 0.77 0.94 0.81

FV1, FV2b, FV3, FV4 0.97 0.79 0.99 0.79 0.97 0.81

Alignment inCommunication

SFB 673

14

Ausblick

Nächste Schritte: Experimente mit anderen Räumen

(z.B. Wohnzimmer, Schlafzimmer, Küche) Untersuchung alternativer Statistiken

Weitere Ziele: Generieren von Szenenmodellen basierend auf

planaren Strukturen und extrahierten Merkmalen Wissen über menschliche Modelle integrieren Weltwissen über Räume aufbauen