Segmentation basedMulti-View Stereo

fxlange@inf.fu-berlin.destefan.otte@gmail.com

Seminar: 3D RekonstuktionFU-Berlin - SoSe 2011

MVS allgemein vs. Segmentation  Based MVS

Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features)

Dieses Paper:o nutzt homogene Flächeno benötigt nur wenig Features pro Flächeo Flächen werden über Farbsegmentierung gefundeno "Nebenprodukt": gute Performance

Annahme:o Flächen, homogen in Intensitaet und Farbe, bilden

Flächen mit einheitlicher Normalen

Pipeline / Inhalt

• Kamera-Kalibrierung • Farbsegmentierung• Initiale 3D-Seeds• 3D-Segmente erstellen aus

1.Farbsegmenten und 3D Seeds• nicht zugeordneten Farbsegmenten

• Oberflächenkonstruktion (PSR)

Farbsegmentierung

Eigenschaften:• Vorverarbeitungsprozess zur Bestimmung von

aussagekräftigen Gruppierungen / Regionen des Bildes  • vielseitig einsetzbar, wenn effizient berechenbar

Ziel:• charakteristische homogene Regionen

 Probleme:• großflächige Farb- / Intensitätsverläufe• Regionen mit hohen Schwankungen

→ lokale Kriterien reichen nicht aus

Farbsegmentierung

graph-based image segmentation [8]:

Farbsegmentierung - Bild als Graph

Kantengewichte entsprechen Intensitätsdifferenzen 

Farbsegmentierung - Hauptkriterium

Schmelzkriterium:

DIFF(C1,C2) < MINT(C1,C2)                ,mit MINT(C1,C2) = Min(INT(C1),INT(C2))

Farbsegmentierung - Algorithmus

   

3D Seeds

3D-Seeds durch guided matching

Gegeben:• Bilder

Ziel:• Initiale 3D-Seeds

Schritte:– Features– Matching– Triangulation– Clustering

3D Seeds - Features

• wähle Reference-Image Ir

• Rest: Target-Image It

• unterteile in Rechtecke• guided matching• Features pro Rechteck

3D Seeds - Features

• wähle Reference-Image Ir

• Rest: Target-Image It

• unterteile in Rechtecke• guided matching• Features pro Rechteck

3D Seeds - Features

• wähle Reference-Image Ir

• Rest: Target-Image It

• unterteile in Rechtecke• guided matching• Features pro Rechteck

3D Seeds - Features

• wähle Reference-Image Ir

• Rest: Target-Image It

• unterteile in Rechtecke• guided matching• Features pro Rechteck

3D Seeds - Matching

Matchende Features finden:• Feature in Ir auf epipolare Linie in It

• NCC für alle Features der Linie• Match, wenn max. Korrelation von Ir

zu It und umgekehrt

3D Seeds - Matching

Matchende Features finden:• Feature in Ir auf epipolare Linie in It

• NCC für alle Features der Linie• Match, wenn max. Korrelation von Ir

zu It und umgekehrt

3D Seeds - Matching

Matchende Features finden:• Feature in Ir auf epipolare Linie in It

• NCC für alle Features der Linie• Match, wenn max. Korrelation von Ir

zu It und umgekehrt

3D Seeds - Triangulation

3D-Seed erzeugen:• klassische StereoVision• Tiefeninformation aus

Disparität

3D Seeds - Clustering

Clustern:• viele 3D-Seeds für

gleichen Punkt• Cluster von Seeds

durch einen 3D-Seed ersetzen

Segmentation Based MVS (SBMVS)

Zusammenspiel der 3D-Seeds und der Farbsegmente Ziel:• 3D Segmente erstellen

Schritte:1. aus Farbsegmente und 3D Seeds– aus nicht zugeordneten Farbsegmenten

SBMVS - Optimale 3D Segmente

Zuordnung zwischen: • 3D Seed X • Farbsegment si

 

 

SBMVS - Optimale 3D Segmente

Normalvektor n über durchtesten abschätzen (pro Achsen zwischen 0° und 180° in 18° Schritten)

gegeben:• 3D Koordinate - Fixpunkt• 2D Form (Segment)

 gesucht:  • Normalvektor n der Fläche

/ des Segments  

SBMVS - Optimale 3D Segmente

SBMVS - Optimale 3D Segmente

im Detail:alle Pixel p aus si über n (und die epipolare Geometrie zwischen den Kameras) auf Targetbilder It abbilden

SBMVS - Optimale 3D Segmente

            • Gradientenabstieg von bester Abschätzung aus• Abschätzung und Optimierung über alle Targetbilder It

• genau ein 3D Segment pro Farbsegment

SBMVS - freie Farbsegmente

explored        -    unexplored    -    explored

SBMVS - freie Farbsegmente

• Schnittpunkt von r und dem benachbarten 3D Segment als neuer 3D Seed

• Abschätzung und Optimierung von n => 3D Segment

Oberflächkonstruktion mit PSR

Poisson Surface Reconstructiongegeben:• Oberflächen-Samples

gesucht:• 3D-Mesh umbauen

Idee:• Indikatorfunktion:

Aussen < 0 < InnenHintergrund:• Poisson Gleichung: elliptische partitielle

Differentialgleichung oft bei Randwertproblemen verwendet. Ähnlich zur Laplace-Gleichung.

• Octree als Datenstruktur

Poisson Surface Reconstruction

  • Octree erzeugen• Vektor-Feld• Indikator-Funktionen

o Divergenz: Vector -> Scalar

o Poisson-Gleichung lösen

• Extrahiere Isofläche

Poisson Surface Reconstruction

  • Octree erzeugen• Vektor-Feld• Indikator-Funktionen

o Divergenz: Vector -> Scalar

o Poisson-Gleichung lösen

• Extrahiere Isofläche

Poisson Surface Reconstruction

  • Octree erzeugen• Vektor-Feld• Indikator-Funktionen

o Divergenz: Vector -> Scalar

o Poisson-Gleichung lösen

• Extrahiere Isofläche

Poisson Surface Reconstruction

  • Octree erzeugen• Vektor-Feld• Indikator-Funktionen

o Divergenz: Vector -> Scalar

o Poisson-Gleichung lösen

• Extrahiere Isofläche

Poisson Surface Reconstruction

  • Octree erzeugen• Vektor-Feld• Indikator-Funktionen

o Divergenz: Vector -> Scalar

o Poisson-Gleichung lösen

• Extrahiere Isofläche

Was bisher geschah ...

• Farbsegmentierung• Initiale 3D-Seeds• 3D-Segmente erstellen aus

1.Farbsegmente und 3D Seeds• nicht zugeordneten Farbsegmenten

• Oberflächenkonstruktion (PSR)

Aussagen der Autoren:• Homogene Farb-Regionen werden gut erkannt• Genauigkeit mit anderen Verfahren vergleichbar• Gute Performance: 35 min vs 3h pro Bild

Unsere Bewertung:• Vergleich der Performance relativ nichtssagend• Genauigkeit nur in einem nicht erklärten Plot erklärt• Algorithmen im Fließtext erklärt

Ergebnisse

Besten Dank!

Fragen?

Resources

Marc Pollefeys. Visual 3D Modeling from Images. University of North Carolina - Chapel Hill, USA. http://www.cs.unc.edu/~marc/tutorial/

[1] http://people.cs.uchicago.edu/~pff/segment/[8] Pedro F. Felzenszwalb and Daniel P. Huttenlocher.  Efficient graph-based image segmentation. In IJCV, 2004.[9] Y. Furukawa and J. Ponce. Accurate, dense, and robust multi-view stereopsis. In CVPR, pages 1–8, 2007.[10] C. Harris and M. Stephens. A combined corner and edge detector. In 4th Alvey Vision Conference, pages 147–151, 1998.[11] R. Hartley and A. Zisserman. Multiple view geometry in computer vision. In Cambridge University Press, 2003.[16] S. Kruglyak L. J. Heyer and S. Yooseph. Exploring expression data: Identification and analysis of coexpressed genes. In Genome Research, pages 9:1106–1115, 1999.