Projektive Abbildung Videokamera - KIT · Sensor-Koord.- System S: x,y Perspektivisches Zentrum:...
Transcript of Projektive Abbildung Videokamera - KIT · Sensor-Koord.- System S: x,y Perspektivisches Zentrum:...
-
Projektive Abbildung Videokamera
Perspektivisches Abbildungsmodell
„Lochkamera-Modell“
Sensor-Koord.-
System S: x,y
Welt-Koor-
dinaten-
system W:
X, Y, Z
Perspektivisches
Zentrum: Ursprung des
Kamera-Koordinaten-
systems K: XK,YK,ZK,
parallel zu S Objekt
-punkt
H P
XPZ YPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YK PZ
X
Y
Z
f
w
q
Bildpunkt
Kammerkonst. c
O
Weltkoordinaten-
Pixelkoordinaten
1. Weltkoordinaten-
Kamerakoordinaten
2. Kamerakoordinaten-
Sensorkoordinaten
3. Sensorkoordinaten-
Pixelkoordinaten
-
Perspektivisches Abbildungsmodell
Pixel-
Koordina-
tensystem: u,v
Sensor-Koordinatensystem
Objektpunkt O: Weltkoord. [XO,YO,ZO]T
Kamerakoord. [XKO,YK
O,ZK
O]T
Persp. Zentrum PZ: [XPZ,YPZ,ZPZj]T
Bildpunkt P: [xP,yP]T
Hauptpunkt H: [xH,yH]T
u
v
Sensor-Koord.-
System S: x,y
Welt-Koor-
dinaten-
system W:
X, Y, Z
Perspektivisches
Zentrum: Ursprung des
Kamera-Koordinaten-
systems K: XK,YK,ZK,
parallel zu S Objekt
-punkt
H P
XPZ YPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YK PZ
X
Y
Z
f
w
q
Bildpunkt
Kammerkonst. c
x
y
H
O
Projektive Abbildung Videokamera
-
Perspektivisches Abbildungsmodell
Interne Koordinatentransformation
Objektpunkt O in Kamerakoord.: [XKO,YK
O,ZK
O]T
Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]
T
1. Projektion Kamera-Koord. in Sensor-Koord.
mittels Strahlensatz:
Projektion in homogenen Koordinaten:
Sensor-Koord.-
System S: x,y
Perspektivisches
Zentrum: Ursprung des
Kamera-Koordinaten-
systems K: XK,YK,ZK,
parallel zu S Objekt
-punkt
H P Hauptpunkt
ZK
XK
YK PZ
Bildpunkt
Kammerkonst. c
O :d.Kamerakoorin Bildpunkt
/
/ :Koord. homogene
K
O
K
O
K
O
K
O
P
P
K
O
K
O
K
OP
P
Z
Y
X
Z
c
c
y
x
cb
ca
c
b
a
Y
X
Z
c
y
x
Projektive Abbildung Videokamera
KO
K
O
K
O
K
O
P
P
K
O
K
O
K
O
K
O
P
P
K
O
K
O
K
O
P
P
Z
Yc
Z
Xc
y
x
Z
Y
Z
X
c
yc
x
Z
Y
X
c
y
x
:Koord.homogenen in
-
Perspektivisches Abbildungsmodell
Interne Koordinatentransformation
Objektpunkt O in Kamerakoord.: [XKO,YK
O,ZK
O]T
Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]
T
2. Korrektur, wenn Hauptpunkt nicht in
Bildmitte:
Sensor-Koord.-
System S: x,y
Perspektivisches
Zentrum: Ursprung des
Kamera-Koordinaten-
systems K: XK,YK,ZK,
parallel zu S Objekt
-punkt
H P
ZPZ
Hauptpunkt
ZK
XK
YK PZ
Bildpunkt
Kammerkonst. c
O
HP
HP
yy
xx
y
x
Projektive Abbildung Videokamera
c
y
x
cy
cx
c
y
x
p
p
H
H
100
/10
/01
-
Pixel-
Koordina-
tensystem: u,v
u
v
x
y
H
Perspektivisches Abbildungsmodell
Sensor-Pixel-Koordinatentransformation
3. Umrechnung Sensor-Koord.
xP,yP in Pixel-Koord. u,v
y
M
x
M
y
xu
u
vv vM
uM
x
y
Die Bildmittelpunktskoordinaten uM und vM sowie x und y sind aus den Angaben des
Sensorherstellers entnehmbar.
Sensor-Koordinatensystem
Projektive Abbildung Videokamera
100
00
00
100
/10
/01
v1
1
y
x
M
M
cv
cu
c
u
c
y
x
cv
cu
c
y
xu
c
u
y
x
M
M
y
x
M
M
100
00
00
100
/10
/01
100
00
00
0
vv
1
1
1
1
c
y
x
v
u
P
P
y
x
100
0
0
0
1
0
1
c
y
x
cy
cx
P
P
H
H
100
/10
/01
-
Pixel-
Koordina-
tensystem: u,v
u
v
x
y
H
Optische Detektoren
Perspektivisches Abbildungsmodell
Kamera-Pixel-Koordinatentransformation
Umrechnung Sensor-Koord.
in Pixel-Koord. (in homogenen Koord.)
vM
uM
x
y
Sensor-Koordinatensystem
Projektive Abbildung Videokamera
c
y
x
vc
ucu
c
y
x
v
uu
P
P
y
x
P
P
y
x
100
0
0
1
v
100
0
0
c-
v
0
1
0
1
0
1
0
1
K
O
K
O
K
O
Z
Y
X
100
0
0
1
v 01
0
1
vc
ucu
y
x
Sensor-Koord.-
System S: x,y
Perspektivisches
Zentrum: Ursprung des
Kamera-Koordinaten-
systems K: XK,YK,ZK,
parallel zu S Objekt
-punkt
H P
ZPZ
Hauptpunkt
ZK
XK
YK PZ
Bildpunkt
Kammerkonst. c
O
Umrechnung Kamera-Koord.
in Sensor-Koord.
:Koord.homogenen in
K
O
K
O
K
O
P
P
Z
Y
X
c
y
x
-
Optische Detektoren
Perspektivisches Abbildungsmodell
4. Transformation Welt- in Kamera-Koord.
Welt-Koor-
dinaten-
system W:
X, Y, Z
Kamera-
Koordinaten-
System
K: XK,YK,ZK
Objekt
-punkt
XPZ YPZ
ZPZ
ZO
YO
XO
XK
YK
X
Y
Z
f
w
q
O
ZK
PZO
PZO
PZO
j
K
O
K
O
K
O
ZZ
YY
XX
R
Z
Y
X
),,( w
Translation und Rotation
PZ: Perspektivisches
Zentrum
100
0cossin
0sincos
)(
cos0sin
010
sin0cos
)(
cossin0
sincos0
001
)(
)()()(),,(
3
2
1
321
qq
qq
q
ww
www
qwqw
R
R
R
RRRR
333231
232221
131211
RRR
RRR
RRR
Projektive Abbildung Videokamera
-
100
0cossin
0sincos
)(
cos0sin
010
sin0cos
)(
cossin0
sincos0
001
)(
)()()(),,(
321
321
qq
qq
q
ww
www
qwqw
RRR
RRRR
333231
232221
131211
RRR
RRR
RRR
fwqfwqwqfwqw
fwqfwqwqfwqw
fqqf
coscossinsincoscossincossincossinsin
cossinsinsinsincoscoscossinsinsincos
sinsincoscoscos
R
Optische Detektoren
Perspektivisches Abbildungsmodell
4. Transformation Welt- in Kamera-Koord.
Rotationsmatrix
Projektive Abbildung Videokamera
-
Optische Detektoren
Perspektivisches Abbildungsmodell
4. Welt-Kamera-Koordinatentransformation
PZO
PZO
PZO
K
O
K
O
K
O
ZZ
YY
XX
R
Z
Y
X
),,( w
Projektive Abbildung Videokamera
11000
100
010
001
1000
0
0
0
1
333231
232221
131211
O
O
O
PZ
PZ
PZ
K
O
K
O
K
O
Z
Y
X
Z
Y
X
RRR
RRR
RRR
Z
Y
X
In homogenen Koordinaten:
Welt-Koor-
dinaten-
system W:
X, Y, Z
Kamera-
Koordinaten-
System
K: XK,YK,ZK
Objekt
-punkt
XPZ YPZ
ZPZ
ZO
YO
XO
XK
YK
X
Y
Z
f
w
q
O
ZK
11000
11000
333231
232221
131211
333231333231
232221232221
131211131211
O
O
O
z
y
x
O
O
O
PZPZPZ
PZPZPZ
PZPZPZ
Z
Y
X
tRRR
tRRR
tRRR
Z
Y
X
ZRYRXRRRR
ZRYRXRRRR
ZRYRXRRRR
-
Optische Detektoren
Perspektivisches Abbildungsmodell
5. Zusammensetzung zur Welt-Pixel-Koordinatentransformation Sensor-Koord.-
System S: x,y
Welt-Koor-
dinaten-
system W:
X, Y, Z
Perspektivisches
Zentrum: Ursprung des
Kamera-Koordinaten-
systems K: XK,YK,ZK,
parallel zu S Objekt
-punkt
H P
XPZ YPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YK PZ
X
Y
Z
f
w
q
Bildpunkt
Kammerkonst. c
O
Projektive Abbildung Videokamera
110001
333231
232221
131211
O
O
O
z
y
x
K
O
K
O
K
O
Z
Y
X
tRRR
tRRR
tRRR
Z
Y
X
100
0
0
1
v 01
0
1
vc
ucu
y
x
10100
0010
0001
K
O
K
O
K
O
Z
Y
X
100
0
0
1
v 01
0
1
vc
ucu
y
x
110000100
0010
0001
333231
232221
131211
O
O
O
z
y
x
Z
Y
X
tRRR
tRRR
tRRR
134333231
24232221
14131211
Z
Y
X
pppp
pppp
pppp
v
u
-
Optische Detektoren
Perspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene
Projektive Abbildung Videokamera
1
mit
11
oder
1
1100
0
0
1
zu
Dann wird
3231
0
1
32022
1
31021
1
0
1
32012
1
31011
1
3231
0
1
32022
1
31021
1
0
1
32012
1
31011
1
3231
2221
1211
0
1
0
1
int
z
zyyyy
zxxxx
O
O
O
O
z
zyyyy
zxxxx
O
O
z
y
x
y
x
ext
tRR
tvtcRvRcRvRc
tutcRuRcRuRc
HY
X
Hv
u
Y
X
tRR
tvtcRvRcRvRc
tutcRuRcRuRc
Y
X
tRR
tRR
tRR
vc
uc
v
u
XKPKp
100
0
0
1
v 01
0
1
vc
ucu
y
x
110000100
0010
0001
333231
232221
131211
O
O
O
z
y
x
Z
Y
X
tRRR
tRRR
tRRR
Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0
XKPKp ext
int
oder
-
Optische Detektoren
Perspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene
Projektive Abbildung Videokamera
333231
232221
131211
3231
0
1
32022
1
31021
1
0
1
32012
1
31011
1
hhh
hhh
hhh
1
mit
11
z
zyyyy
zxxxx
O
O
tRR
tvtcRvRcRvRc
tutcRuRcRuRc
HY
X
Hv
u
In homogenen Koordinaten: lineare Darstellung
In kartesischen Koordinaten: nicht-lineare Darstellung
333231
232221
333231
131211
hhh
hhh
hhh
hhh
OO
OO
OO
OO
YX
YXv
YX
YXu
-
Zwei-Ansichten-Abbildung Videokamera
Optische Detektoren
Allgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien
Allgemeine projektive Transformation
zwischen Ebenen:
Nicht-linear, undef. wenn Nenner Null:
explizites Hinzufügen einer Linie mit
Punkten im Unendlichen Projektive Ebene
LGS in homogenen Koordinaten
Nach: Robert T. Collins: Projective Reconstruction of Approximately Planar Scenes,
Proc. SPIE 1839, pp. 174-185
333231
232221
333231
131211 ,hhh
hhh
hhh
hhh
eiche Punktfür unendl
EbenePunkte in für endl. ss
kSkalar
shhh
hhh
hhh
s
k
0
1
0
333231
232221
131211
x
y
x´
y´
´
´
x‘‘
y‘‘
‘‘
‘‘
Homographie
H1
Homographie
H2
C1
affin
Objektebene
C2
affin
Lochkamera1 Lochkamera2
-
Optische Detektoren
Allgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien
Einander entsprechende Punkte in
irgendwelchen zwei Ebenen der Abbildung
sind über eine Homographie verbunden.
Ist die Abweichung der realen Kamera
vom Lochkameramodell linear, ist das
Bild eine affine Transformation der reinen
Lochkamera-Abbildung.
Gesamtabbildung: H1C1
Affine Abb. Untergruppe von Homographie
H1C1 ist ebenfalls Homographie.
x
y
x´
y´
´
´
x‘‘
y‘‘
‘‘
‘‘
Homographie
H1
Homographie
H2
C1
affin
Objektebene
C2
affin
Lochkamera1 Lochkamera2
v´
v´
v´´
v´´
2
1
1 :t
t
y
x
rq
po
v
uC
Zwei-Ansichten-Abbildung Videokamera
-
Optische Detektoren
Perspektivisches Abbildungsmodell für Ebenen: Homographien
Zwei-Ansichten-Abbildung Videokamera
H0w: Homographie bildet Weltebene auf erste Bildebene ab.
Hii-1: Homographien zwischen Bildern
01
0
1
21 w
i
i
i
i
i
w HHHHH
-
Optische Detektoren
Perspektivisches Abbildungsmodell für Ebenen: Homographien
Berechnung einer Homographie
Skalierung, so dass h33 1 (h´ij=hij/h33), ausmultiplizieren, umstellen:
Für N Punktepaare i,i und ´i, ´i 1
-
Optische Detektoren
Perspektivisches Abbildungsmodell für Ebenen: Homographien
Berechnung einer Homographie: Vorgehen
1. Vorstufe: Datennormierung
rTrrTryss
xss
Tyss
xss
T
rTrd
syxd
rTrd
syxd
rrrrrr
r
ii
N
i
ii
N
i
i
N
i
i
ii
N
i
ii
N
i
i
N
i
i
NN
~ und
~:
100
0
0
und
100
0
0
mit
~2
N
1,
N
1y,
N
1x
~2
N
1,
N
1y,
N
1x
.2ttelwert Abstandsmi auf alierungAbstandssk und gin Ursprun ungtverschiebSchwerpunk
:,,, :Bild2in und ,,, :1 Bildin
Punkteierenden korrespondder Mengefür Normierung
1
22
11
1
22
11
2121
Zwei-Ansichten-Abbildung Videokamera
-
Optische Detektoren
Perspektivisches Abbildungsmodell für Ebenen: Homographien
Berechnung einer Homographie: Vorgehen
2. Berechnung der „normierten“ Homographie
3. „Denormierung“ der „normierten“ Homographie
SVDmit z.B. Lösung~~~
ˆ
~
~
~
~
~
~
~
~
~
~
~
~
~~~~1~~
000
~~~~0001~~
~~~~1~~
000
~~~~0001~~
1
1
32
31
23
22
21
13
12
11
111111
111111
bhA
h
h
h
h
h
h
h
h
N
N
NNNNNN
NNNNNN
Zwei-Ansichten-Abbildung Videokamera
-
Optische Detektoren
Perspektivisches Abbildungsmodell für Ebenen: Homographien
Anwendung: Mosaicing
Zwei-Ansichten-Abbildung Videokamera
-
Sensor-Koord.-
System S: x, y
Welt-Koor-
dinaten-
system W:
X, Y, Z
Perspektivisches
Zentrum: Ursprung des
Kamera-Koordinaten-
systems K: XK,YK,ZK,
parallel zu S Objekt
-punkt
H P
XPZ YPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YK
PZ
X
Y
Z
f
w
q
Bildpunkt
Kammerkonst. c
O
Ebenen-basierte Bestimmung der Pose einer Kamera
-
1
mit
11
oder
1
1100
0
0
1
zu
Dann wird
3231
0
1
32022
1
31021
1
0
1
32012
1
31011
1
3231
0
1
32022
1
31021
1
0
1
32012
1
31011
1
3231
2221
1211
0
1
0
1
int
z
zyyyy
zxxxx
O
O
O
O
z
zyyyy
zxxxx
O
O
z
y
x
y
x
ext
tRR
tvtcRvRcRvRc
tutcRuRcRuRc
HY
X
Hv
u
Y
X
tRR
tvtcRvRcRvRc
tutcRuRcRuRc
Y
X
tRR
tRR
tRR
vc
uc
v
u
XKPKp
100
0
0
1
v 01
0
1
vc
ucu
y
x
110000100
0010
0001
333231
232221
131211
O
O
O
z
y
x
Z
Y
X
tRRR
tRRR
tRRR
Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie
1. Projektive Abbildung einer Ebene: Homographie
Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0
XKPKp ext
int
oder
-
3231
2221
2
1211
2!
32312221
2
1211
2
2
2
21
32
22
12
2
31
21
11
1
333231
232221
131211
3231
2221
1211
323121
33
23
13
3
32
22
12
2
31
21
11
1
333231
232221
131211
~~
~~~~
0~~~~~~1
~
~
~
,
~
~
~
~~~
~~~
~~~
1~
.0,0,0
,,
hh
hhyhhxchhhhyhhx
crr
h
hc
y
hc
x
r
h
hc
y
hc
x
r
hhh
hhh
hhh
tRR
ty
cR
y
cR
y
c
tx
cR
x
cR
x
c
H
rrrrrr
R
R
R
r
R
R
R
r
R
R
R
r
RRR
RRR
RRR
R
T
z
y
x
TTT
Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie
2. Bestimmung der Kammerkonstanten aus der Homographie mit xH=yH=u0=v0=0
100
0
0
1
v 01
0
1
vc
ucu
y
x
110000100
0010
0001
333231
232221
131211
O
O
O
z
y
x
Z
Y
X
tRRR
tRRR
tRRRFür die Spaltenvektoren der in
enthaltenen Rotationsmatrix
gilt wechselseitige Orthogonalität
Bestimmung der Kammerkonstanten mit erster Orthogonalitätsbedingung
-
3212133
212
31
22
21
22
11
22
312
2
212
2
2
112
21
21
3231
2221
2
1211
2
32
22
12
2
31
21
11
1
321
,, :
, ~~~1
~~~
11
:1
~~
~~~~
~
~
~
,
~
~
~
1
rrrRrrrr
rrhchyhx
c
hc
hy
c
hx
rr
rr
hh
hhyhhxc
h
hc
y
hc
x
r
h
hc
y
hc
x
r
rrr
Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie
3. Bestimmung der Rotationsmatrix
Spaltenvektoren der Rotationsmatrix sind Einheitsvektoren des gedrehten Koordinatensystems
wobei aus voriger
Orthogonalitätsbedingung
Bestimmung von so, dass
Bestimmung von aus weiterer Orthogonalitätsbedingung
Einsetzen
von und c
-
33
23
13
33
23
13
3
~
~
~
1~
~
~
~
~
h
cyh
cxh
t
t
ty
c
tx
c
h
h
h
hH
z
y
x
z
y
x
T
PZ
PZ
PZ
T
z
y
x
PZ
PZ
PZ
PZ
PZ
PZ
z
y
x
t
t
t
RRR
RRR
RRR
Z
Y
X
RRR
RRR
RRR
RRR
RRR
RRR
t
t
t
RRR
RRR
RRR
Z
Y
X
Z
Y
X
RRR
RRR
RRR
t
t
t
333231
232221
131211
333231
232221
131211
1
333231
232221
131211
1
333231
232221
131211
333231
232221
131211
mit
Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie
4. Bestimmung der Translation
Die dritte Spalte der Homographiematrix lautet
Mit c und aus vorheriger Rechnung ist Translationsvektor bestimmt.
Mit dem Translationsvektor und der Rotationsmatrix wird die Lage des persp. Zentrums berechnet.
-
H
XPZ
ZPZ
ZK
XK
YK
PZ
X
Y
Z
f
w
q
YPZ
Rechteck in Objektebene
Seitengerade l1
des Rechtecks
Seitengerade l2
des Rechtecks
Ebene E1 aufgespannt
durch l1 und PZ Ebene E2 aufgespannt
durch l2 und PZ
Schnittgerade zwi-
schen E1 und E2
Schnittgerade l´2
zwischen E2 und
Sensorfläche
Schnittgerade l´1
zwischen E1 und
Sensorfläche
Normalen-
vektor von E2
Normalen-
vektor von E1
Seitengeraden des Rechtecks:
Die Abbildung einer Geraden l1 geht durch PZ.
Sie bildet damit eine Ebene E1, welche die
Sensorfläche in einer Geraden l1´ schneidet.
Ebenso ergeben sich E2 und l2´ für die parallele
Gerade l2 der gegenüber liegenden Seite
des Rechtecks.
Die beiden Ebenen E1 und E2 schneiden sich
in einer Geraden parallel zu l1 und l2, deren
Richtungseinheitsvektor einer der Einheitsvek-
toren des Marken-Koordinatensystems ist.
steht senkrecht auf und ,
bestimmt durch
Kreuzprodukt.
wird durch die anderen
Seitengeraden und und
deren Ebenen mit und
bestimmt:
steht senkrecht auf und :
´:´´;:´
:;:
20221011
20221011
xxlxxl
xxlxxl
n2
n1
2ˆ
Me
1ˆ
Me
3ˆ
Me
Mê
2ˆ
Me
2n
1n
21
212
ˆnn
nneM
1ˆ
Me
1l 2l
2n
1n
21
211
ˆnn
nneM
3ˆ
Me
1ˆ
Me
2ˆ
Me
213ˆˆˆ
MMM eee
Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinaten
einer intern kalibrierten Kamera
-
H
XPZ
ZPZ
ZK
XK
YK
PZ
X
Y
Z
f
w
q
YPZ
Rechteck in Objektebene
Seitengerade l1
des Rechtecks
Seitengerade l2
des Rechtecks
Ebene E1 aufgespannt
durch l1 und PZ Ebene E2 aufgespannt
durch l2 und PZ
Schnittgerade zwi-
schen E1 und E2
Schnittgerade l´2
zwischen E2 und
Sensorfläche
Schnittgerade l´1
zwischen E1 und
Sensorfläche
Normalen-
vektor von E2
Normalen-
vektor von E1
Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinaten
einer intern kalibrierten Kamera
Bestimmung der Normalenvektoren:
Die Abbildung l1´ der Geraden l1 durch PZ liegt ebenfalls in Ebene E1. Somit kann E1
(d.h. ) durch Bestimmung von l1´ aus dem Bild
mithilfe der internen Kalibrierparameter
Hauptpunkt H und Kammerkonste c berech-
net werden.
Ebenso kann aus l2´ berechnet werden.
Nach Segmentierung und z.B. Hough-Trans-
formation: Geradengleichung für l1´in Bild-
koordinaten
n2
n1
1ˆ
Me
2ˆ
Me
3ˆ
Me
2n
1n
1101 wrr
Pixel-
Koordina-
tensystem: u,v u
v
x
y
H
vM
uM
x
y
Sensor-Koordinatensystem 10r
1w
-
Bestimmung der Normalenvektoren:
Transformation der Bildgeraden in das Kamera-Koordinatensystem:
1. Transformation vom Pixel- in das Sensor-Koordinatensystem
2. Transformation in das Kamera-Koordinatensystem:
3. Gleichung für Normalenvektor der Ebene durch l1´ und projektives Zentrum PZ
als Kreuzprodukt des Richtungsvektors der Geraden und Differenzvektor zwischen
Aufpunkt der Geraden und PZ:
Pixel-
Koordina-
tensystem: u,v u
v
x
y
H
vM
uM
x
y
Sensor-Koordinatensystem 10r
1w
MPy
MPx
p
p uu
y
x
vv
y
x
M
PPS rrr0
0,
c
wrrr
c
rrr
P
HM
PP
H
S
K 1101
1
110110111011 :nKoordinate-Sensorin iert transform:l´ Gerade
wrrwrrr
wrr
P
M
PPP
M
PPS
PPP
1v
1u
,11
c
wv
P ,101
c
rrru HM
PP
11
111ˆ
uv
uvn
Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinaten
einer intern kalibrierten Kamera
-
Bestimmung der Marken-Koordinatensystemachsen:
Normalenvektoren der Ebenen durch parallele Markenberandungen l1 und l2
ergeben Koordinatenachse als Kreuzprodukt:
Analoges Verfahren für zweites, zum ersten senkrechtes Parallelenpaar und der Rechteckmarke.
Die dritte Achse ergibt sich aus dem Kreuzprodukt der beiden ersten
Und damit die Rotationsmatrix der Marke gegenüber der Kamera
Pixel-
Koordina-
tensystem: u,v u
v
x
y
H
vM
uM
x
y
Sensor-Koordinatensystem 10r
1w
110110111011 :nKoordinate-Sensorin iert transform:l´ Gerade
wrrwrrr
wrr
P
M
PPP
M
PPS
PPP
,11
c
wv
P ,101
c
rrru HM
PP
11
111ˆ
uv
uvn
220220222022 :nKoordinate-Sensorin iert transform:l´ Gerade
wrrwrrr
wrr
P
M
PPP
M
PPS
PPP
,22
c
wv
P ,202
c
rrru HM
PP
22
222ˆ
uv
uvn
212ˆˆˆ nneM
1l 2l
211ˆˆˆ nneM
213ˆˆˆ
MMM eee
321 ˆˆˆ MMM eeeR
Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinaten
einer intern kalibrierten Kamera
-
Optische Detektoren
Perspektivisches Abbildungsmodell
Bestimmung der Modellparameter
Interne Parameter:
• Hauptpunkt-Koordinaten
xH, yH
• Kammerkonstante:
c
• Skalenfaktoren:
x, y.
Externe Parameter:
• Weltkoordinaten des
Perspektivischen Zentrums:
XPZ, YPZ, ZPZ
• Drehwinkel zwischen Welt- und
Kamera-Koordinatensystem:
f, w, q
Abbildungsmodelle Videokamera
Sensor-Koord.-
System S: x, y
Welt-Koor-
dinaten-
system W:
X, Y, Z
Perspektivisches
Zentrum: Ursprung des
Kamera-Koordinaten-
systems K: XK,YK,ZK,
parallel zu S Objekt
-punkt
H P
XPZ YPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YK PZ
X
Y
Z
f
w
q
Bildpunkt
Kammerkonst. c
O
-
Bestimmung der Abbildungsparameter: Kalibrierung
Schätzung der Parameter auf Basis genau vermessener Szenenmerkmale (z.B.
Kalibrierpunkte) und zugeordneter Bildmerkmale.
• Menge von Modellparametern {p}
• Menge der Punkte (Weltkoordinaten) der Szenenmerkmale durch
Vermessung
• Menge der Punkte (Bildkoordinaten) der Bildmerkmale durch
Bildauswertung (automatisch oder interaktiv oder automatisch mit
iterativer Verbesserung)
Damit Menge von Zuordnungen:
Bestimmung des optimalen Parametervektors p: Minimierung der Quadratabweichungen
der Positionen der projizierten Szenenmerkmale von den Positionen der Bildmerkmale:
Kamerakalibrierung Videokamera
s
s
s
Modell
p
z
y
x
Tv
u
nizyxs Tsisisii ,...,1,],,[
lisbzZii hgi
,...,1],,[
mivub Tiii ,...,1,],[
)(}),...,1{()(},...,1{:},,...,1{, jiijii ghnhggmgjiljimit
min)(1
2
l
i
h
Modell
pg iisTb
Siehe Prof.Dr. Trommer: Praktikum Systemoptimierung,
Versuch 7
-
Optische Detektoren
• Modellierung von Abweichungen vom perspektivischen Abbildungsmodell
Korrekturterme zu
Erweiterung:
Abbildungsmodelle Videokamera
dx und dy können Verzeichnungen sein vom Typ
• Radial symmetrisch dxsym
• Radial asymmetrisch dxasy so dass dx = dxsym + dxasy + dxtan
• Tangential dxtan und dy = dysym + dyasy + dytan
dy
dx
y
x
Y
X
Z
c
y
x
H
H
K
O
K
O
K
OP
P
H
H
K
O
K
O
K
OP
P
y
x
Y
X
Z
c
y
x
-
Optische Abbildung Videokamera
Optische Detektoren
Abbildungsprozess: Aberration Verzerrungen
Radiale Vergrößerungsänderungen.
Positive Verzerrung Negative Verzerrung
Kissenförmige Tonnenförmige
Verzeichnung Verzeichnung
-
Optische Detektoren
Modellierung von radial symmetrischen Abweichungen
Modellierung durch ungeradzahliges Polynom:
Wobei r der Bildradius ist: r² = x² + y². r0 ist der Nulldurchgang der Verzeichnungskurve.
Somit erhält man für den radial symmetrischen Korrekturterm:
Bei normalen Objektiven genügt ein Polynom mit zwei Koeffizienten.
Einparametrige Alternative von Lenz:
Abbildungsmodelle Videokamera
)()()( 607
3
4
0
5
2
2
0
3
1 rrrArrrArrrAdrsym
yr
drdyundx
r
drdx
sym
sym
sym
sym
2
2
411
411
Kr
Krrdrsym
Verzeichnungsparameter K
sym
sym
H
H
K
O
K
O
K
OP
P
dy
dx
y
x
Y
X
Z
c
y
x
-
Modellierung von radial symmetrischen Abweichungen
Beispiel
Abbildungsmodelle Videokamera
-
Modellierung von radial asymmetrischen und tangentialen Abweichungen
Mehrere Modellierungen
Conrady:
Zusätzliche Berücksichtigung einer nicht-ebenen Bildfläche (Brown):
Für Videokameras genügt meist die Modellierung radial symmetrischer Abweichungen:
[Lenz, Tsai]
Abbildungsmodelle Videokamera
E10
-
Effekt radial symmetrischer und tangentialer Abweichungen
Abbildungsmodelle Videokamera
-
Modellierung von Affinität
Unterschiedliche Pixelgröße in x- und y-Richtung
dxaff = Sxy x und dyaff = 0
Abbildungsmodelle Videokamera
-
Abbildung der Bildpunkte auf Elemente der Grauwertmatrix:
Abbildungsmodelle Videokamera
Pixel-
Koordina-
tensystem
Bildkoordinatensystem
u
v
u = sx(x + N/2)
v = sy( y + M/2)
sx = Abtastfrequenz / (Pixeltakt*horiz. Pixelabstand)
sy = 1 / vertikaler Pixelabstand
Beispiel Parametervektor:
K
S
s
s
y
x
c
Z
Y
X
p
xy
y
x
H
H
O
O
O
j
j
j
w
Rotationswinkel
äußere
Orientierung
Translation
Kammerkonstante
Hauptpunkt
innere
Skalierungsfaktoren Orientierung
Verzerrungsfaktoren
-
Optische Abbildung Videokamera
Optische Detektoren
Abbildungsprozess: Dicke paraxiale Linse
Objektebene Bildebene
Tatsächlicher
Strahlenpfad Zur Konstruktion
benutzter Pfad
Abbildungskonstruktion: Strahl von P parallel zu opt. Achse bis H´, von H´ über F´
Strahl von P über F nach H, von H parallel zu opt. Achse -> Schnittpunkt P´ def. S´.
H H´
Hauptebenen
-
Optische Abbildung Videokamera
Optische Detektoren
Abbildungsprozess: Sphärische Aberrationen
Strahlen mit unterschiedlichem Abstand vom Linsenzentrum haben unterschiedliche
Brennweite
-
Optische Abbildung Videokamera
Optische Detektoren
Abbildungsprozess: Linsensysteme (Abbildungsoptik aus mehreren dicken Linsen)
H11 H12 P1 P2 H21 H22
h
h
H11
H22
-
Optische Abbildung Videokamera
Optische Detektoren
Abbildungsprozess: Aberration Negatives Koma
Die transversale Vergrößerung nimmt mit wachsender Strahlhöhe ab.
-
Optische Abbildung Videokamera
Optische Detektoren
Abbildungsprozess: Aberration Positives Koma
Je größer der Kreisdurchmesser auf der Linse, desto größer der Kreisdurchmesser in
der Bildebene.
Bildebene
Objektebene
KomaT
KomaV
-
Optische Abbildung Videokamera
Optische Detektoren
Abbildungsprozess: Aberration Astigmatismus
Die Brennweiten unterscheiden sich für die sagittale und für die meridionale Ebene.
Objekt-
punkt
Sagittales
Bild
Meridionales
Bild
Kleinster
Fehler
-
Optische Abbildung Videokamera
Optische Detektoren
Abbildungsprozess: Zusammenfassung primäre Aberrationen
Aberration Radial (Unschärfe) Axial (fokale Verschiebung)
Sphärische Aberration y³ y²
Coma y²h
Astigmatismus y h² h²
Feldkrümmung y h² h²
Verzerrung h³
h: Strahlhöhe, y: Apertur
-
Zwei-Ansichten-Abbildung Videokamera
PZ PZ`
p1 p2
R,t – 6 Parameter
Relative Orientierung zweier Kameras
P Objektpunkt-Welt
PZ: perspektivisches Zentrum
Kamera 1
p1: Bildpunkt von P in
Kamera 1
PZ`: perspektivisches Zentrum
Kamera 1
p2: Bildpunkt von P in
Kamera 2
-
Zwei-Ansichten-Abbildung Videokamera
PZ PZ`
p1 p2
3D – Koordinaten des Weltpunktes
P Objektpunkt-Welt
PZ: perspektivisches Zentrum
Kamera 1
p1: Bildpunkt von P in
Kamera 1
PZ`: perspektivisches Zentrum
Kamera 1
p2: Bildpunkt von P in
Kamera 2
1133
1
32
1
31
1
24
1
23
1
22
1
21
1
14
1
13
1
12
1
11
1
1
1
Z
Y
X
ppp
pppp
pppp
v
u
1133
2
32
2
31
2
24
2
23
2
22
2
21
2
14
2
13
2
12
2
11
2
2
2
Z
Y
X
ppp
pppp
pppp
v
u
2411331231132122113112111
14
1
133
1
13
1
132
1
12
1
131
1
11
1
1
24
1
23
1
22
1
21
1
33
1
32
1
31
1
1
14
1
13
1
12
1
11
1
33
1
32
1
31
1
1
1
1
pZvppYvppXvppv
pZuppYuppXuppu
pZpYpXpZpYpXpv
pZpYpXpZpYpXpu
2422332232232222223122122
14
2
233
2
13
2
232
2
12
2
231
2
11
2
2
24
2
23
2
22
2
21
2
33
2
32
2
31
2
2
14
2
13
2
12
2
11
2
33
2
32
2
31
2
2
1
1
pZvppYvppXvppv
pZuppYuppXuppu
pZpYpXpZpYpXpv
pZpYpXpZpYpXpu
LGS für X,Y,Z
-
Zwei-Ansichten-Abbildung Videokamera
PZ PZ`
p1 p2
3D – Koordinaten des Weltpunktes
P Objektpunkt-Welt
PZ: perspektivisches Zentrum
Kamera 1
p1: Bildpunkt von P in
Kamera 1
PZ`: perspektivisches Zentrum
Kamera 1
p2: Bildpunkt von P in
Kamera 2
2411331231132122113112111
14
1
133
1
13
1
132
1
12
1
131
1
11
1
1
pZvppYvppXvppv
pZuppYuppXuppu
2422332232232222223122122
14
2
233
2
13
2
232
2
12
2
231
2
11
2
2
pZvppYvppXvppv
pZuppYuppXuppu
LGS für X,Y,Z
Voraussetzungen:
• Kameramodelle exakt bekannt
• Bildkoordinaten der homologen Punkte bekannt
-
Zwei-Ansichten-Abbildung Videokamera
Epipolargeometrie
PZ PZ`
p p`
Bildebene
Sensorfläche
Bildebene
Sensorfläche
Objektpunkt-Welt
Basislinie
Epipolarlinien
Epipole
e e`
p p`
P
-
Zwei-Ansichten-Abbildung Videokamera
Perspektivisches Zentrum
Kamera1
Perspektivisches Zentrum
Kamera2
Ebenen, die sich in
Basislinie schneiden
Ideale
Stereo-
Anordnung
Zeilen der idealen Stereo-Anordnung (photogrammetrischer Normalfall):
Ebenen, die sich in Basislinie schneiden
Abbildung dieser Ebenen in realen Kameras:
Epipolarlinien
-
Zwei-Ansichten-Abbildung Videokamera
PZ PZ`
p p`
Bildebene
Sensorfläche
Bildebene
Sensorfläche
Objektpunkt-Welt
Basislinie
Epipolarlinien
Epipolargeometrie
Korrespondierende Bildpunkte liegen auf Epipolarlinien
-
Zwei-Ansichten-Abbildung Videokamera
Epipolargeometrie und Homographie:
Homographie-induzierte Parallaxe
PZ PZ`
p p`
Objektpunkt-Welt P
e e`
p p`
o o
o o
o o
o
E pE
H
pH`
p` und pH` liegen
auf Epipolarlinie
B1 B2
H bezgl.
Schrift-
tafel
H.B1 überlagert
mit B2
-
Zwei-Ansichten-Abbildung Videokamera
Epipolargeometrie und Homographie
PZ PZ`
p p`
Objektpunkte-Welt
e e`
o o
o o
o o
o
E
H
o
o
o
o o
Bestimmung des Epipols als Schnittpunkt zweier Epipolarlinien.
Epipolarlinie jeweils bestimmt durch Bildpunkt des Objektpunkts des einen Bildes und
den durch H transformierten Bildpunkt des Objektpunkts des anderen Bildes.
-
Zwei-Ansichten-Abbildung Videokamera
Epipolargeometrie und Homographie
H x'xl
Epipolarlinien Bildzeilen
-
Zwei-Ansichten-Abbildung Videokamera
Epipolargeometrie und Homographie
Rektifizierung durch polare Reparameterisierung bezüglich Epipolen
Erhalte Länge der Epipolarlinien.
Wähle Winkelinkrement q so, dass Pixel nicht komprimiert werden.
Ursprungsbild
Funktioniert für alle relativen Bewegungen.
Garantiert minimale Bildgröße.
Epipol
rmax
rmin
q
x
y
Rektifiziertes Bild
q
r
Resampling
-
Zwei-Ansichten-Abbildung Videokamera
Ideale
Stereo-
Anordnung
Ursprungsbild
rmax
rmin
q
x
y
q
r
Ursprungsbild
rmax
rmin
q
x
y
q
r
-
Zwei-Ansichten-Abbildung Videokamera
Ideale
Stereo-
Anordnung
o o
PZ1 PZ2
D
c x1 x2
Aus Geradenschnitt:
c
yzy
c
xzx
xx
cBz
PP
PP
P
,
21
B
z
x
P z P
-
Zwei-Ansichten-Abbildung Videokamera
Epipolargeometrie, Homographie und Fundamentalmatrix
Fundamentalmatrix F: Abbildung des Bildpunktes x aus Bildebene B1 auf zugehörige
Epipolarlinie l` in Bildebene B2.
Berechnung mittels Homographie
6655 H x'xH x'xe '
x1,x2,x3,x4 in Ebene, x5,x6 außerhalb Ebene
Berechnung von H aus x1,x2,x3,x4
He 'F
l`
B1 B2