Projekt A4:„Alignment of

Situation Models“

Gert RickheitSven Wachsmuth

Constanze VorwergAgnes Swadzba

SFB-Kolloqium, 04.02.2008

Alignment ofSituation Models

Projekt A4

2

Aus der Sicht eines Roboters

Wahrnehmung komplexer Räume Mit Menschen über Räume sprechen Vereinfachung der Komplexität durch:

Erzeugen von Situationsmodelle Alignment der Modelle Nutzen der Modelle zur Reduktion des

visuellen Verarbeitungsaufwands

Welche Schritte sind notwendig?

BIRON

Alignment ofSituation Models

Projekt A4

3

Perzeption der Szene

Fokus auf 3D-Datenakquise Verschiedene Möglichkeiten:

Stereo-Kameras Laserscanner

Unsere Wahl: Swissranger SR3000 3D Time-of-Flight (ToF) Camera 176 x 144 Pixelsensoren Abstandsberechung aus Zeitdifferenz zwischen

Senden und Empfangen eines Infrarotsignals

Alignment ofSituation Models

Projekt A4

4

Beispieldaten eines Büros

Alignment ofSituation Models

Projekt A4

5

Erweiterung des Sichtfelds

Aufnahme einer Sequenz von 3D-Punktwolken Registrierung und Rekonstruktion zu einer

globalen Punktwolke Diplomarbeit:

„Estimation of Camera Motion from Depth Image Sequences“

Alignment ofSituation Models

Projekt A4

6

Erweiterung des Sichtfelds

Alignment ofSituation Models

Projekt A4

7

Analyse der Szenen

Datengetriebene Analyse der 3D-Punktwolken Extraktion von

geometrischen „Raumprimitiven“: Beschränkung auf

von Menschen gestaltete Innenräume Extraktion von planaren Flächen:

Gegebene Anordnung der 3D-Punkte in eine 2D-Matrix Region Growing über die 8-er Nachbarschaft durch

Punkte die 4 Kriterien erfüllen Kriterien: planar, valid, conormal, coplanar

Alignment ofSituation Models

Projekt A4

8

Analyse der Szenen

Alignment ofSituation Models

Projekt A4

9

Ziele der Szenenanalyse

Menschen haben beim Betreten eines Raumes ein Raumkonzept im Kopf

Alignment des Roboter auf dieses Konzept Durch ähnliche Konzepte wird die Kommunikation

effektiver, einfacher und schneller Strategien:

Aushandeln im Dialog (Koordination) Annahmen aus Daten generieren Aus Handlungen generieren usw.

Wahrnehmung ist durch aktuelle Situation determiniert

Alignment ofSituation Models

Projekt A4

10

Raumerkennung

Raumerkennung auf Basis planaren Strukturen

Experiment: Raumkategorien: Büro, Seminarraum, Flur Ziel: Klassifikation von Perzepten (3D-Punktwolken)

in einer der 3 Raumkategorien (sowohl von bereits bekannten wie auch von unbekannten Räumen)

Merkmale: Statistiken auf extrahierten Ebenen

Alignment ofSituation Models

Projekt A4

11

4 untersuchte Statistiken

Anzahl der Punkte pro planare Fläche

Winkel zwischen allen Flächenpaaren

Winkel zwischen nah benachbarten Flächenpaaren

Größen-verhältnisse zwischen allen Flächenpaaren

Alignment ofSituation Models

Projekt A4

12

Durchführung des Experiments

300 Aufnahmen pro Raum als Trainingsdaten 270 Aufnahmen zum Trainieren der Klassifikatoren Neuronale Netze (NN) Support Vector Machine (SVM) Mischverteilungsklassifkator (MVK) 30 Aufnahmen zum Testen der

Raumwiedererkennung 300 Aufnahmen von 3 weiteren Räume zum

Testen der Kategorisierungsleistung bei unbekannten Räumen

Alignment ofSituation Models

Projekt A4

13

Ergebnisse

Trainingsräume

Alignment ofSituation Models

Projekt A4

14

Ergebnisse

Testräume

Alignment ofSituation Models

Projekt A4

15

Ergebnisse

0

0,2

0,4

0,6

0,8

1

FV1 FV2a FV3 FV4 FV1,FV2b,

FV3, FV4

NN (recog)

SVM (recog)

MVK (recog)

NN (catego)

SVM (catego)

MVK (catego)

Alignment ofSituation Models

Projekt A4

16

Ausblick

Nächste Schritte: Experimente mit anderen Räumen

(z.B. Wohnzimmer, Schlafzimmer, Küche) Untersuchung alternativer Statistiken

Weitere Ziele: Generieren von Szenenmodellen basierend auf planaren

Strukturen und extrahierten Merkmalen Integration von Farbinformation Verwenden von Objektdetektoren Wissen über menschliche Modelle integrieren Weltwissen über Räume aufbauen Mögliche Dimensionen (Raumkonzept, Farbkategorien,

Größenbeziehungen, räumliche Bezugssystem, usw.)? Alignment auf und Abhängigkeit zwischen den Dimensionen?