HS – Computer VisionStatische StereoanalyseStatische Stereoanalyse

Daniel StapfDaniel Stapf

09. Januar 200109. Januar 2001

09. Januar 2001 2

Inhalt:

1.1. Geometrie eines AufnahmesystemsGeometrie eines Aufnahmesystems

2.2. Annahmen und EinschränkungenAnnahmen und Einschränkungen

3.3. Intensitätsbasierte KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse

4.4. Merkmalsbasierte KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse

5.5. Stereoanalyse mit drei KamerasStereoanalyse mit drei Kameras

6.6. ZusammenfassungZusammenfassung

09. Januar 2001 3

Statische Stereoanalyse:• Betrachtung eines Objekts aus zwei Positionen

→ Rückschluß auf Lage des Objekts im 3D-Raum

Voraussetzung:

• keine Objekt- und Kamerabewegung• oder zeitgleiche Aufnahme der beiden Bilder

Verarbeitungsschritte:

• Bildaufnahme• Kameramodellierung• Merkmalsextraktion• Korrespondenzanalyse• Tiefenwertbestimmung

09. Januar 2001 4

GeometrieWiederholung aus Vortrag 1:

p = (x,y) = f*X f*Y Z Z

, , da X x Z f

=

09. Januar 2001 5

GeometrieStandardstereogeometrie:

P(X,Y,Z) wird in 2 korrespondierende Punkte projiziert:

→ plinks = prechts = f*X f*Y Z Z

, f*(X-b) f*Y Z Z

,

09. Januar 2001 6

GeometrieStandardstereogeometrie:Disparität (d):

Euklidscher Abstand zwischen zwei korrespondierendenPunkten plinks(xl,yl) und prechts(xr,yr)

→ d = xlinks – xrechts

d = (xlinks - xrechts)2 + (ylinks - yrechts)2

f*X f*(X-b)xlinks xrechts

→ Z = =

f*(X-b)da xlinks = und xrechts =

f*XZ Z

(*)

09. Januar 2001 7

GeometrieStandardstereogeometrie:

b* xlinksxlinks - xrechts

→ X =

b* fxlinks - xrechts

→ Z =

b* yxlinks - xrechts

→ Y =

→ Disparität ist zu messende Größe, um 3D-Position des Szenenpunkts zu schließen.

→ Korrespondenzproblem

(Auflösen nach X)

(Einsetzen in (*))

Z* yf

(Y = )

09. Januar 2001 8

Geometrie1. Stereobildaufnahmesystem:

09. Januar 2001 9

GeometrieKoordinatensystem XLYLZL:Rotationsmatrix: cos(θ)cos(θ) 00 sin(θ)sin(θ)

00 11 00-sin(θ)-sin(θ) 00 cos(θ)cos(θ)

Translation: X-½bX-½bYYZZ

cos(θ)cos(θ) 00 sin(θ)sin(θ)00 11 00

-sin(θ)-sin(θ) 00 cos(θ)cos(θ)

X-½bX-½bYYZZ

XXLL

YYLL

ZZLL

=

09. Januar 2001 10

GeometrieAnalog Koordinatensystem XRYRZR:

cos(θ)cos(θ) 00 -sin(θ)-sin(θ)00 11 00

sin(θ)sin(θ) 00 cos(θ)cos(θ)

X+½bX+½bYYZZ

XXRR

YYRR

ZZRR

=

Abbildungen (xLyL) und (xRyR):

xR = = f f * XR

ZR

cos(θθ)*(X + ½b) - sin(θθ)*Zsin(θθ)*(X + ½b) + cos(θθ)*Z

yR = = f f * YR

ZR

Ysin(θθ)*(X + ½b) + cos(θθ)*Z

xL und yL analog

09. Januar 2001 11

GeometrieUmformen der 4 Gleichungen ergibt:

[-xLsin(θθ) – f cos(θ)]* θ)]* XX + + [xLcos(θθ) – f sin(θ)]* θ)]* ZZ = -[½b x = -[½b xLLsin(θ) + ½b f]sin(θ) + ½b f]

[xRsin(θθ) – f cos(θ)]* θ)]* XX + + [xRcos(θθ) + f sin(θ)]* θ)]* ZZ = -[½b x = -[½b xRRsin(θ) - ½b f]sin(θ) - ½b f]

[-[-yL sin(θθ)]* XX + [-f ]* + [-f ]* YY + [ + [yL cos(θθ)]* Z Z = [½b y= [½b yLLsin(θ)]sin(θ)]

[[yR sin(θθ)]* XX + [-f ]* + [-f ]* YY + [ + [yR cos(θθ)]* Z Z = - [½b y= - [½b yRRsin(θ)]sin(θ)]

In Koeffizientenschreibweise:In Koeffizientenschreibweise:

aa11 XX + a + a33 ZZ = a= a00

bb11 XX + b + b33 ZZ = b= b00

cc11 XX + c + c22 YY + c + c33 ZZ = c= c00

dd11 XX + d + d22 YY + d + d33 ZZ = d = d00

Koordinaten (X,Y,Z) lassen sich durch arithmetische Umformungen berechnen

09. Januar 2001 12

GeometrieEpipolare Geometrie:

09. Januar 2001 13

Annahmen und EinschränkungenProblem:

Mehrdeutigkeiten bei der Korrespondenzsuche

Lösung:

Reduzierung der Mehrdeutigkeiten durch

• Geometrische Einschränkungen (resultieren aus der Bildentstehung)

• Einschränkungen durch Objekteigenschaften

→ keine Einschränkung an die Komplexität der Objektgeometrie

09. Januar 2001 14

Annahmen und EinschränkungenGeometrische Einschränkungen:

1. Epipolareinschränkung:

• Punkt im linken Bild, kann nur mit Punkt im rechten

Bild korrespondieren, wenn jener auf Epipolarlinie

liegt

→ Suchraum ist Eindimensional

Problem: Erschütterungsproblematik,

Spezialfall: Standardstereogeometrie (künstliche Objekte)

→ Sicherheitsintervall

Positionierungsgenauigkeit

09. Januar 2001 15

Annahmen und EinschränkungenGeometrische Einschränkungen:

2. Eindeutigkeit der Zuordnung:

• Jedes Pixels eines Bildes korrespondiert nur mit genau

einem Pixel des anderem Bildes

Ausnahme möglich:

• wenn zwei Punkte auf Sichtstrahl der einen Kamera

liegen, jedoch Punkte auf anderem Kamerabild

getrennt sichtbar

09. Januar 2001 16

Annahmen und EinschränkungenGeometrische Einschränkungen:

3. Verträglichkeit von Intensitätswerten:

• Zwei Punkte (xL,yL) und (xR,yR) können nur dann korrespondieren, wenn |EL(xL,yL) – ER(xR,yR)| klein ist

In der Praxis:

• Einbeziehung von Intensitätswerten in der Nachbarschaft eines Pixels, um Störanfälligkeit zu reduzieren

Problemfälle:

• Glanzlichter• Diskretisierungsfehler

09. Januar 2001 17

Annahmen und EinschränkungenGeometrische Einschränkungen:

4. Geometrische Ähnlichkeit der Merkmale:

• Winkelkriterium:

Liniensegment SL korrespondiert mit SR nur, wenn

|WL – WR| klein ist

• Längenkriterium:

Liniensegment SL korrespondiert mit SR nur, wenn

|LL – LR| klein ist

09. Januar 2001 18

Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:

1. Kontinuität der Disparitäten:

• Wenn zwei Punkte (xL,yL) und (xR,yR) im linken bzw.

rechten gefilterten Bild korrespondieren, können

(xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn

| (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2|

klein ist

[ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ]

• Spezialfall Standardstereogeometrie:

||xL1 – xR1| - |xL2 – xR2||

09. Januar 2001 19

Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:

2. Kontinuität entlang der Kanten:

• Wenn zwei Kantenpunkte (xL,yL) und (xR,yR) im linken

bzw. rechten gefilterten Bild korrespondieren, können

(xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn

| (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2|

klein ist

[ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ]

• Spezialfall Standardstereogeometrie:

||xL1 – xR1| - |xL2 – xR2||

09. Januar 2001 20

Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:

3. Verträglichkeitsannahme von Merkmalen:

• Merkmale in verschiedenen Bildern können nur dann korrespondieren, wenn beide Merkmale die gleiche physikalische Ursache haben

Beispiel Kanten:

09. Januar 2001 21

Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:

• Orientierungskanten• Reflexionskanten• Beleuchtungskanten

09. Januar 2001 22

Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:

4. Disparitätslimit

Ergebnis aus psychophysikalischen Versuchen des menschlichen Stereosehens

• für korrespondierende Punkte existiert ein maximaler

Disparitätswert dmax:

→ (xL – xR)2 + (yL – yR)2 < dmax

→ Mindestabstand der Objekte gefordert

• Spezialfall Standardstereogeometrie:

|xL – xR| < dmax

09. Januar 2001 23

Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:

5. Disparitätsgradientenlimit:

• Definition des Disparitätsgradienten (Mayhew/Frisby):

Seien aR, aL und bR, bL korrespondierende Punkte

Disparitätsgradient =Differenz der Disparitäten

zyklopische Separation

Differenz der Disparitäten = |ΔxL – ΔxR|

09. Januar 2001 24

Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:

Zyklopische Separation :

¼(ΔxL – ΔxR)2 + Δy2

Definition:Abstand der Mittelpunkte zwischen den beiden Punktpaaren

→

09. Januar 2001 25

Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:

5. Disparitätsgradientenlimit (Fortsetzung):

Formel für Disparitätsgradienten (Γd ):

Γd =|ΔxL – ΔxR|

¼(ΔxL – ΔxR)2 + Δy2

Zwei benachbarte Punktpaare korrespondieren nur dann,wenn der Disparitätsgradient nicht einen Maxwert über-schreitet:

→ Γd < Γmax

09. Januar 2001 26

Annahmen und EinschränkungenEinschränkungen durch Objekteigenschaften:

6. Reihenfolge der abgebildeten Punkte:

Punkte auf der Epipolarlinie eines Stereobilds werden in der gleichen Reihenfolge auf der Epipolarlinie des anderen Stereobildsabgebildet abgebildet

09. Januar 2001 27

KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse:

• Annahme, korrespondierende Punkte haben ähnlichen Intensitätswert

→ Problem: nicht ausreichend für eindeutige Zuweisung

Beispiel: 640x480 Bildpunkte bei 256 Graustufen

→ 307200 Pixel insgesamt

→ min. 1200 Pixel mit gleichen Intensitätswert

Lösung: Blockbildung mehrerer benachbarter Pixel zu einem Block (Bsp. 8 x 8)

09. Januar 2001 28

KorrespondenzanalyseBlock-Matching-Verfahren:

• Ähnlichkeitsvergleich der Intensitätswerte zweier Blöcke der Größe n x m

• Annahme, alle Pixel in einem Block haben gleichen Disparitätswert

Verarbeitungsschritte:

• Unterteilung eines Bildes in feste Anzahl von Blöcken

• Suche nach korrespondierenden Block im anderen Bild nur für bestimmte Blöcke (Disparitätslimit)

09. Januar 2001 29

KorrespondenzanalyseBlock-Matching-Verfahren:

Ähnlichkeitsmaß zweier Blöcke (mittlere quadratischeAbweichung MSE)

→ Disparität d entspricht Abstand (Δ) der Blöcke mit minimalen Wert der MSE-Funktion

Im Fall mehrerer Minima der MSE-Funktion:

→ Heranziehen der Kontinuitätsannahme für Disparitäten

Ergebnis:

→ Disparitätenmatrix

MSE(x,y, Δ) = Σ Σ |ER(x+i,y+j) – EL(x+i+Δ,y+j)|21

nm i=0 j=0

n-1 m-1

09. Januar 2001 30

KorrespondenzanalyseBlock-Matching-Verfahren:

Problem dieses Verfahrens:

• homogene Regionen• regelmäßige Texturen

Beste Qualität bei n = m = 8 Bildpunkten

Verfeinerung des Verfahrens nach T. Reuter:

1. Anwendung des Medianoperator auf Disparitätenmatrix

2. Pixelselektion

3. Anwendung des Medianop. auf Disparitätswerte der Pixel

09. Januar 2001 31

KorrespondenzanalysePixel-Selektion:

1. Medianop. auf Blockdisparitäten einer 3x3 Umgebung

2. Berechnung der Disparität für jedes Pixel (x‘,y‘) unter Verwendung der Disparitätswerte der 9 Blöcke:

DIFF(k) = |ER(x‘, y‘) – EL(x‘ + D(k), y‘)| mit k = 1..9

→ Disparitätswert für P(x‘,y‘) ist D(k) mit minimalen DIFF(k)

3. Medianop. Auf Disparitätswerte der Pixelselektion

Bemerkung:

Pixelselektion auf jeden Pixel → dichte Disparitätenkarte

09. Januar 2001 32

KorrespondenzanalyseBlock-Matching-Verfahren für d. Farbstereoanalyse:

RGB-Raum:

D1(F1,F2) = (r1 – r2)2 + (g1 – g2)2 + (b1 – b2)2

D2(F1,F2) = |r1 – r2| + |g1 – g2| + |b1 – b2|

D3(F1,F2) = |r1 – r2|2 + |g1 – g2|2 + |b1 – b2|2

D4(F1,F2) = max{|r1 – r2|, |g1 – g2|, |b1 – b2|2 }

r = g = b =R G B

R + B + G R + B + G R + B + G

09. Januar 2001 33

KorrespondenzanalyseBlock-Matching-Verfahren für d. Farbstereoanalyse:

HSI-Raum:

F1 = (H1,S1,I1) und F2 = (H2,S2,I2)

D5(F1,F2) = (d I )2 + (d C )2

d I = |I1 – I2| und d C = S12 + S2

2 – 2S1S2 cos(θθ)

θ =θ =|H1 – H2| falls |H1 – H2| ≤ π

2π - |H1 – H2| falls |H1 – H2| > π

09. Januar 2001 34

KorrespondenzanalyseBlock-Matching-Verfahren für d. Farbstereoanalyse:

Analog zu „normalen“ Block-Matching:

MSEFarbe(x,y, Δ) = Σ Σ De(CR(x+i,y+j) – CL(x+i+Δ,y+j))1

nm i=0 j=0

n-1 m-1

DIFFFarbe(k) = De(CR(x‘, y‘) – CL(x‘ + D(k), y‘)) mit k = 1..9

Bemerkungen:

• Qualität der Lösung ist abhängig von Anzahl der Farben• Bei unbunten Farben, keine Verbesserung• Einblenden von Mustern

09. Januar 2001 35

KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse:

• bsp. Anhand Orientierung/Länge von Kanten

Vorteile gegenüber intensitätsbasierte Analyse:

1. geringerer Mehrdeutigkeiten, da weniger Kandidaten

2. Stereozuordnung ist weniger sensitiv

3. genauere Berechnung der Disparitäten möglich

09. Januar 2001 36

KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:(Verfahren nach Y. Shirai und Y. Nishimoto 1985)

• LoG-Operator für Merkmalsextraktion mit σ1 = 1,41, σ2 = 3,18 und σ3 = 6,01 → Nulldurchgang (ZC) bilden Merkmale für Stereoanalyse → ZC wird als Einheitsvektor e(o) (i,j) definiert

• Korrespondenzkandidaten sind Paare von ZC‘s in rechten und linken Bild, deren Richtungsunterschied < 30° ist

→ Zuordnungsfunktion ML (i,j;d) und MR (i+d,j;d):

ML = MR = 1, wenn eL(i,j) eR(i+d,j) korrespondieren

0, sonst

09. Januar 2001 37

KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:Beschränkung der Anzahl möglicher Zuordnungen durch

Häufigkeitstabelle der möglichen Disparitäten (GDH):

GDHR (d) =Σ MR (i,j;d)Σ |eR(i,j)|

(GDHL (d) analog)

→ Annahme, richtige Zuordnungen treten gehäuft auf

Aufgrund dieser Annahme werden Disparitätskandida-tenintervalle bestimmt:

Iα = { d | GDHR (d) > a*H }

09. Januar 2001 38

KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:Bestimmung lokaler Disparitätskandidaten anhand LDH‘s:

• LDH = Häufigkeitstabelle aller in Disparitäten innerhalb

eines Fensters W = Nσ x Nσ:

Nσ = 2 πσ

LDHR (i,j;d) =Σ MR (i,j;d)Σ |eR(i,j)|

(LDHL (d) analog)

Bestimmung des besten Kanals:

• Kanal bei dem Differenz zwischen größten und zweit- größten Wert den größten Wert annimmt, ist bester Kanal

→ Zur Überprüfung des Kanals: Differenzfunktion Qx(i,j;dx)

09. Januar 2001 39

KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:

→ QL(i,j;dL) und QR(i,j;dR) sind korrespond. Differenzen

→ Zuordnung erfolgt, wenn QL und QR einen bestimmten Wert überschreiten und dL ≈ dR

→ wahrscheinliche Disparität: d* = ½(dL + dR)

Nach Bestimmung von d* in Wσ werden alle ZC‘s in Wσ und Wσ ‘ (σ ‘ < σ) bestimmt:

• für alle möglichen Disparitäten d1..dn für ein ZC wird dk ausgewählt, für das gilt:

|dk - d*| < |d e – d *| 1 e n, e k und |dk - d*| < dc

09. Januar 2001 40

KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:

→ jede gefundene Zuordnung wird aus den Merkmalbildern eliminiert

→ nach Bestimmung aller ZC‘s aus Wσ und Wσ ‘ wird der der gesamte Algorithmus ab der Bestimmung der GDH‘s neu gestartet

→ Algorithmus terminiert, wenn keine neuen ZC‘s gefunden werden, oder alle ZC‘s in der feinsten Auflösung zugeord- net wurden

09. Januar 2001 41

KorrespondenzanalyseHistogrammbasierte Korrespondenzanalyse:

Verwendung von Farbinformationen:

• analog zu Grauwertbildern• Hinzunahme eines weiteren Kriteriums:

Verwendung von 3 Differenzfarbspektren Drg, Dgb und Dbr:

Drg (x,y) = r(x,y) – g(x,y) (andere analog)

→ Vorzeichen der Differenzfarbgradienten sind für jedes Spektrum für beide Kandidaten gleich

(GAUSS* Drg)δδx

09. Januar 2001 42

Stereoanalyse

Triokulare Stereoanalyse:

• 3 Anordnungen gebräuchlich:

1. Rechtwinklige komplanare Anordnung

Vorteil:• einfache Bestimmung der Epipolarlinien

Nachteil:• Ausrichtung• Erschütterungsproblematik

09. Januar 2001 43

Stereoanalyse

Triokulare Stereoanalyse:

• 3 Anordnungen gebräuchlich:

2. kollineare Anordnung:

Vorteil:• einfache Epipolarlinien

Nachteil:• Ausrichtung• Erschütterungsproblematik• Mehrdeutigkeiten

09. Januar 2001 44

Stereoanalyse

Triokulare Stereoanalyse:

• 3 Anordnungen gebräuchlich:

3. „freie“ Anordnung

Vorteil:• Korrespondenzproblem kann mit Geometrie gelöst werden

Nachteil:• Bestimmung der Epipolarlinien

09. Januar 2001 45

Stereoanalyse

Triokulare Stereoanalyse:

Zwei verschiedene Zuordnungsstrategien:

• Pixel wird nur zugeordnet, wenn in allen Bildern eine

Korrespondenz bestimmt wurde

• Pixel wird zugeordnet, wenn in mindestens zwei

Bildern eine Korrespondenz bestimmt wurde

09. Januar 2001 46

Stereoanalyse

Triokulare Stereoanalyse:

Beispiel anhand eines geometrischen Verfahrens:

09. Januar 2001 47

Zusammenfassung

• Geometrie eines AufnahmesystemsGeometrie eines Aufnahmesystems

• Annahmen und EinschränkungenAnnahmen und Einschränkungen

• Intensitätsbasierte KorrespondenzanalyseIntensitätsbasierte Korrespondenzanalyse

• Merkmalsbasierte KorrespondenzanalyseMerkmalsbasierte Korrespondenzanalyse

• Stereoanalyse mit drei KamerasStereoanalyse mit drei Kameras

09. Januar 2001 48

Vielen Dank für dieAufmerksamkeit –

F r a g e n ?