Karsten Rink Stereo Vision Projekt 2008 2/25
Stereo Vision
• Computer Vision:Rekonstruktion von Objektoberflächen aus Bildern
• Stereo Vision:- Gleichzeitige Aufnahme eines Objekts von zwei unter-
schiedlichen Standorten- Berechnung der räumlichen Ausdehnung des Objekts
mittels der Unterschiede in den beiden Aufnahmen
Karsten Rink Stereo Vision Projekt 2008 3/25
Stereo Vision
• Berechnung der räumlichen Ausdehnung des Objekts mittels der Unterschiede in den beiden Aufnahmen
Karsten Rink Stereo Vision Projekt 2008 4/25
Stereo Vision
• Korrespondenzproblem:Welche Pixel in Bild A stimmen mit welchen Pixeln in Bild B überein?
Karsten Rink Stereo Vision Projekt 2008 5/25
Stereobildaufnahmesystem
aus: Klette, Koschan, Schlüns „Computer Vision“
Karsten Rink Stereo Vision Projekt 2008 6/25
Epipolar Constraint
• Einschränkung der Anzahl der möglichen Korrespondenz-kandidaten aufgrund physikalischer Gesetzmässigkeiten:
Epipolar Constraint:
Ein Punkt im linken Bild kann nur mit einem Punkt im rechten Bild korrespondieren, welcher auf der zugehörigen Epipolarlinie liegt
Karsten Rink Stereo Vision Projekt 2008 7/25
Epipolar Constraint
• Vereinfachende Annahme:
Falls der Winkel zwischen den optischen Achsen der beiden Kameras 0 ist, sind die beiden Bildebenen sind komplanar(Standardstereogeometrie)
Karsten Rink Stereo Vision Projekt 2008 9/25
Weitere Annahmen und Einschränkungen
• Continuity Constraint:– Benachbarte Punkte haben in der Regel ähnliche Disparitäten, d.h.
ist klein
• Ordering Constaint:– Punkte, die im linken Bild auf der Epipolarlinie liegen, werden im
rechten Bild in der gleichen Reihenfolge auf der korrespondierenden Epipolarlinie liegen.
• Disparity Limit:
– Es existiert für alle korrespondierenden Punkte xL und xR ein maximaler Disparitätswert dmax, so dass gilt:
| xL - xR | < dmax
RLRL xxxx 2211 −−−
Karsten Rink Stereo Vision Projekt 2008 10/25
Anwendungen
• Qualitätskontrolle von Objekten
• Verkehrsüberwachung und Analyse
• Berechnung von 3D Modellen
• Fernerkundung / Kartographie
• Robotik
©Virtual Clones Ltd.
Karsten Rink Stereo Vision Projekt 2008 11/25
Beispielverfahren: Blockmatching
• basiert auf einem Ähnlichkeitsvergleich gleichgroßer Bildblöcke
• Unterteile Bild A in gleich große Blöcke
• Annahme: jeder Block X in Bild A ist nahezu identisch mit einem Block Y in Bild B, wenn man X auf der Epipolarlinie um d Pixel verschiebt. (d = Disparität)
Karsten Rink Stereo Vision Projekt 2008 12/25
Beispielverfahren: Blockmatching
• unterteile Bild A in Blöcke der Größe m×n (z.B. 8×8)
• finde den zu jedem Block in A den ähnlichsten Block in B (als Maß für die Übereinstimmung kann beispielsweise der mittlere quadratische Fehler verwendet werden)
• berechne Disparitäten für einzelne Pixel anhand der Blockdisparitäten (Pixel Selection)
• Disparitätswerte der einzelnen Pixel ergeben eine dichte Disparitätenkarte aus der man eine Tiefenkarte berechnen kann
Karsten Rink Stereo Vision Projekt 2008 20/25
Zeitplan
• 10. 04. Einführungsveranstaltung.
• 24. 04. Konsultation (Basis Algorithmus)
• 08. 05. Präsentation der Zwischenergebnisse(1) Implementation eines Basis-Algorithmus (2) Berechnung der Disparitätenkarte
• 22. 05. Konsultation(Experimente mit selbstaufgenommenen Photos /Berechnung der Tiefenkarte)
• 05. 06. Präsentation der Zwischenergebnisse, Ideen zur Modifikationen des Algorithmus.
• 19. 06. Konsultation (Modifikationen)
• 04. 07. Abgabe des Projektberichtes.
Karsten Rink Stereo Vision Projekt 2008 21/25
Bildverarbeitungslabor G29-241
Kameraansteuerung von „galileo“(Rechner links neben Labortisch)
• Login/Pass: bv07 / stereo• Programm Digital Photo
Professional (auf dem Desktop)• Menü “Tools“ ⇒ “Start EOS Capture“
• Alle Einstellungen (ausser Zoom) sowie Auslöser im EOS 20D Fenster
Karsten Rink Stereo Vision Projekt 2008 22/25
Kamera & Ansteuerung
Einstellungen am Rechner:
Einstellungen an der Kamera:- Zoom (am Objektiv einstellen)- Aufnahmemodus:
- P Programmautomatik- Tv Blendenautomatik (Belichtungszeit einstellbar)- Av Zeitautomatik (Blende einstellbar)- M Manuelle Steuerung (Zeit und Blende einstellbar)
Karsten Rink Stereo Vision Projekt 2008 23/25
Literatur
Klette, Koschan, Schlüns, Computer Vision - Räumliche Information aus digitalen Bildern, Vieweg-Verlag 1996
Klette, Schlüns, Koschan, Computer Vision - Three-Dimensional Data from Images, Springer-Verlag 1998.
Skript “Grundlagen der Computer Vision“Vorlesungsteil 3 und 4
Karsten Rink Stereo Vision Projekt 2008 24/25
Weitere Literatur
• Stereo Vision Page, Middlebury College (inkl. vieler Testbilder)http://vision.middlebury.edu/stereo/
• T. Kanade and M. Okutomi, “A stereo matching algorithm with an adaptive window: Theory and experiment“, IEEE PAMI 1994, http://www.ri.cmu.edu/pubs/pub_3540.html
• Hai Tao, “A Global Matching Framework for Stereo Computation“, ICCV 2001.http://www.soe.ucsc.edu/~tao/CSBS/
• Boykov et al., “Fast Approximate Energy Minimization via Graph Cuts“, ICCV 1999.http://www.cs.cornell.edu/rdz/Papers/BVZ-iccv99.pdf
Top Related