Stereo Vision

Projekt zu Grundlagen der Computer Vision

Sommersemester 2008

Karsten Rink Stereo Vision Projekt 2008 2/25

Stereo Vision

• Computer Vision:Rekonstruktion von Objektoberflächen aus Bildern

• Stereo Vision:- Gleichzeitige Aufnahme eines Objekts von zwei unter-

schiedlichen Standorten- Berechnung der räumlichen Ausdehnung des Objekts

mittels der Unterschiede in den beiden Aufnahmen

Karsten Rink Stereo Vision Projekt 2008 3/25

Stereo Vision

• Berechnung der räumlichen Ausdehnung des Objekts mittels der Unterschiede in den beiden Aufnahmen

Karsten Rink Stereo Vision Projekt 2008 4/25

Stereo Vision

• Korrespondenzproblem:Welche Pixel in Bild A stimmen mit welchen Pixeln in Bild B überein?

Karsten Rink Stereo Vision Projekt 2008 5/25

Stereobildaufnahmesystem

aus: Klette, Koschan, Schlüns „Computer Vision“

Karsten Rink Stereo Vision Projekt 2008 6/25

Epipolar Constraint

• Einschränkung der Anzahl der möglichen Korrespondenz-kandidaten aufgrund physikalischer Gesetzmässigkeiten:

Epipolar Constraint:

Ein Punkt im linken Bild kann nur mit einem Punkt im rechten Bild korrespondieren, welcher auf der zugehörigen Epipolarlinie liegt

Karsten Rink Stereo Vision Projekt 2008 7/25

Epipolar Constraint

• Vereinfachende Annahme:

Falls der Winkel zwischen den optischen Achsen der beiden Kameras 0 ist, sind die beiden Bildebenen sind komplanar(Standardstereogeometrie)

Karsten Rink Stereo Vision Projekt 2008 8/25

Standardstereogeometrie

Karsten Rink Stereo Vision Projekt 2008 9/25

Weitere Annahmen und Einschränkungen

• Continuity Constraint:– Benachbarte Punkte haben in der Regel ähnliche Disparitäten, d.h.

ist klein

• Ordering Constaint:– Punkte, die im linken Bild auf der Epipolarlinie liegen, werden im

rechten Bild in der gleichen Reihenfolge auf der korrespondierenden Epipolarlinie liegen.

• Disparity Limit:

– Es existiert für alle korrespondierenden Punkte xL und xR ein maximaler Disparitätswert dmax, so dass gilt:

| xL - xR | < dmax

RLRL xxxx 2211 −−−

Karsten Rink Stereo Vision Projekt 2008 10/25

Anwendungen

• Qualitätskontrolle von Objekten

• Verkehrsüberwachung und Analyse

• Berechnung von 3D Modellen

• Fernerkundung / Kartographie

• Robotik

©Virtual Clones Ltd.

Karsten Rink Stereo Vision Projekt 2008 11/25

Beispielverfahren: Blockmatching

• basiert auf einem Ähnlichkeitsvergleich gleichgroßer Bildblöcke

• Unterteile Bild A in gleich große Blöcke

• Annahme: jeder Block X in Bild A ist nahezu identisch mit einem Block Y in Bild B, wenn man X auf der Epipolarlinie um d Pixel verschiebt. (d = Disparität)

Karsten Rink Stereo Vision Projekt 2008 12/25

Beispielverfahren: Blockmatching

• unterteile Bild A in Blöcke der Größe m×n (z.B. 8×8)

• finde den zu jedem Block in A den ähnlichsten Block in B (als Maß für die Übereinstimmung kann beispielsweise der mittlere quadratische Fehler verwendet werden)

• berechne Disparitäten für einzelne Pixel anhand der Blockdisparitäten (Pixel Selection)

• Disparitätswerte der einzelnen Pixel ergeben eine dichte Disparitätenkarte aus der man eine Tiefenkarte berechnen kann

Karsten Rink Stereo Vision Projekt 2008 13/25

Blockmatching (cont.)

Karsten Rink Stereo Vision Projekt 2008 14/25

Beispiel

Karsten Rink Stereo Vision Projekt 2008 15/25

Beispiel

Karsten Rink Stereo Vision Projekt 2008 16/25

Beispiel

Karsten Rink Stereo Vision Projekt 2008 17/25

Beispiel

Karsten Rink Stereo Vision Projekt 2008 18/25

Beispiel 2

Karsten Rink Stereo Vision Projekt 2008 19/25

Beispiel 2

Karsten Rink Stereo Vision Projekt 2008 20/25

Zeitplan

• 10. 04. Einführungsveranstaltung.

• 24. 04. Konsultation (Basis Algorithmus)

• 08. 05. Präsentation der Zwischenergebnisse(1) Implementation eines Basis-Algorithmus (2) Berechnung der Disparitätenkarte

• 22. 05. Konsultation(Experimente mit selbstaufgenommenen Photos /Berechnung der Tiefenkarte)

• 05. 06. Präsentation der Zwischenergebnisse, Ideen zur Modifikationen des Algorithmus.

• 19. 06. Konsultation (Modifikationen)

• 04. 07. Abgabe des Projektberichtes.

Karsten Rink Stereo Vision Projekt 2008 21/25

Bildverarbeitungslabor G29-241

Kameraansteuerung von „galileo“(Rechner links neben Labortisch)

• Login/Pass: bv07 / stereo• Programm Digital Photo

Professional (auf dem Desktop)• Menü “Tools“ ⇒ “Start EOS Capture“

• Alle Einstellungen (ausser Zoom) sowie Auslöser im EOS 20D Fenster

Karsten Rink Stereo Vision Projekt 2008 22/25

Kamera & Ansteuerung

Einstellungen am Rechner:

Einstellungen an der Kamera:- Zoom (am Objektiv einstellen)- Aufnahmemodus:

- P Programmautomatik- Tv Blendenautomatik (Belichtungszeit einstellbar)- Av Zeitautomatik (Blende einstellbar)- M Manuelle Steuerung (Zeit und Blende einstellbar)

Karsten Rink Stereo Vision Projekt 2008 23/25

Literatur

Klette, Koschan, Schlüns, Computer Vision - Räumliche Information aus digitalen Bildern, Vieweg-Verlag 1996

Klette, Schlüns, Koschan, Computer Vision - Three-Dimensional Data from Images, Springer-Verlag 1998.

Skript “Grundlagen der Computer Vision“Vorlesungsteil 3 und 4

Karsten Rink Stereo Vision Projekt 2008 24/25

Weitere Literatur

• Stereo Vision Page, Middlebury College (inkl. vieler Testbilder)http://vision.middlebury.edu/stereo/

• T. Kanade and M. Okutomi, “A stereo matching algorithm with an adaptive window: Theory and experiment“, IEEE PAMI 1994, http://www.ri.cmu.edu/pubs/pub_3540.html

• Hai Tao, “A Global Matching Framework for Stereo Computation“, ICCV 2001.http://www.soe.ucsc.edu/~tao/CSBS/

• Boykov et al., “Fast Approximate Energy Minimization via Graph Cuts“, ICCV 1999.http://www.cs.cornell.edu/rdz/Papers/BVZ-iccv99.pdf

Karsten Rink Stereo Vision Projekt 2008 25/25

Testbilder

• Image Understanding Laboratory, Florida International Universityhttp://iul.eng.fiu.edu/Resources/Images/ImagesPage.htm

• Amsterdam Library of Object Imageshttp://staff.science.uva.nl/~aloi/