Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze...

Projekt A4:„Alignment of

Situation Models“

Dr. Gerd RickheitDr. Sven Wachsmuth

Dr. Constanze VorwergAgnes Swadzba

SFB-Kolloqium, 04.02.2008

Alignment inCommunication

SFB 673

2

Aus der Sicht eines Roboters

Wahrnehmung komplexer Räume Vereinfachung der Komplexität

durch: Erzeugen von Situationsmodelle Alignment der Modelle Nutzen der Modelle zur Reduktion

des visuellen Verarbeitungsaufwands Welche Schritte sind notwendig?

BIRON


SFB 673

3

Perzeption der Szene

Fokus auf 3D Datenakquise Verschiedene Möglichkeiten:

Stereo-Kameras Laserscanner

Unsere Wahl: Swissranger SR3000 3D Time-of-Flight (ToF) Kamera 176 x 144 Pixelsensoren Abstandsberechung aus Zeitdifferenz zwischen

Senden und Empfangen eines Infrarotsignals


SFB 673

4

Beispieldaten eines Büros


SFB 673

5

Erweiterung des Sichtfelds

Aufnahme einer Sequenz von 3D Punktwolken Registrierung und Rekonstruktion zu einer

globalen Punktwolke Diplomarbeit:

„Estimation of Camera Motion from Depth Image Sequences“


SFB 673

6

Erweiterung des Sichtfelds


SFB 673

7

Analyse der Szenen

Datengetriebene Analyse der 3D Punktwolken Extraktion von

geometrischen „Raumprimitiven“: Beschränkung auf

von Menschen gestaltete Innenräume Extraktion von planaren Flächen:

Gegebene Anordnung der 3D Punkte in eine 2D Matrix Region Growing über die 8-er Nachbarschaft durch Punkte

die 4 Kriterien erfüllen Kriterien: planar, valid, conormal, coplanar


SFB 673

8

Analyse der Szenen


SFB 673

9

Ziele der Szenenanalyse

Menschen haben beim Betreten eines Raumes ein Raumkonzept im Kopf

Alignment des Roboter auf dieses Konzept Durch ähnliche Konzepte wird die Kommunikation

effektiver, einfacher und schneller Strategien:

Aushandeln im Dialog (Koordination) Annahmen aus Daten generieren Aus Handlungen generieren usw.

Wahrnehmung ist durch aktuelle Situation determiniert


SFB 673

10

Raumerkennung

Raumerkennung auf Basis planaren Strukturen

Experiment: Raumkategorien: Büro, Seminarraum, Flur Ziel: Klassifikation von Perzepten (3D Punktwolken)

in einer der 3 Raumkategorien (sowohl von bereits bekannten wie auch von unbekannten Räumen)

Merkmale: Statistiken auf extrahierten Ebenen


SFB 673

11

4 untersuchte Statistiken

Anzahl der Punkte pro planare Fläche

Winkel zwischen allen Flächenpaaren

Winkel zwischen nah benachbarten Flächenpaaren

Größen-verhältnisse zwischen allen Flächenpaaren


SFB 673

12

Durchführung des Experiments

300 frames pro Raum als Trainingsdaten 270 frames zum Trainieren der Klassifikatoren Neuronale Netze (NN) Support Vector Machine (SVM) Mischverteilungsklassifkator (MVK) 30 frames zum Testen der Raumwiedererkennung

300 frames von 3 weiteren Räume zum Testen der Kategorisierungsleistung bei unbekannten Räumen


SFB 673

13

Ergebnisse

Trainingsräume


SFB 673

14

Ergebnisse

Testräume


SFB 673

15

Ergebnisse

0

0,2

0,4

0,6

0,8

1

1,2

FV1 FV2a FV3 FV4 FV1,FV2b,

FV3, FV4

NN (recog)SVM (recog)MVK (recog)NN (catego)SVM (catego)MVK (catego)


SFB 673

16

Ausblick

Nächste Schritte: Experimente mit anderen Räumen

(z.B. Wohnzimmer, Schlafzimmer, Küche) Untersuchung alternativer Statistiken

Weitere Ziele: Generieren von Szenenmodellen basierend auf planaren

Strukturen und extrahierten Merkmalen Integration von Farbinformation Verwenden von Objektdetektoren Wissen über menschliche Modelle integrieren Weltwissen über Räume aufbauen Mögliche Dimensionen (Raumkonzept, Farbspektrum,

Größenbeziehungen, usw.)? Alignment auf und Abhängigkeit zwischen den Dimensionen?

Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze...

Documents

Transcript of Projekt A4: „Alignment of Situation Models“ Dr. Gerd Rickheit Dr. Sven Wachsmuth Dr. Constanze...