Projektive Abbildung Videokamera Perspektivisches Abbildungsmodell „Lochkamera-Modell“...

Projektive Abbildung Videokamera

Perspektivisches Abbildungsmodell„Lochkamera-Modell“

Sensor-Koord.-System S: x,y

Welt-Koor-dinaten-system W:X, Y, Z

PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S

Objekt-punkt

y

x

H P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK

PZ

X

Y

Z

Bildpunkt

Kammerkonst. c

O

Weltkoordinaten-Pixelkoordinaten

1. Weltkoordinaten-Kamerakoordinaten

2. Kamerakoordinaten-Sensorkoordinaten

3. Sensorkoordinaten-Pixelkoordinaten

Perspektivisches Abbildungsmodell

Pixel-Koordina-tensystem: u,v

Sensor-Koordinatensystem

Objektpunkt O: Weltkoord. [XO,YO,ZO]T Kamerakoord. [XK

O,YKO,ZK

O]T Persp. Zentrum PZ: [XPZ,YPZ,ZPZj]T

Bildpunkt P: [xP,yP]T

Hauptpunkt H: [xH,yH]T

u

v




Objekt-punkt

y

x

H P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK

PZ

X

Y

Z

Bildpunkt

Kammerkonst. c

x

y

H

O

Projektive AbbildungVideokamera

Perspektivisches AbbildungsmodellInterne Koordinatentransformation

Objektpunkt O in Kamerakoord.: [XKO,YK

O,ZKO]T

Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]T

1. Projektion Kamera-Koord. in Sensor-Koord.mittels Strahlensatz:

Projektion in homogenen Koordinaten:


PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek

t-punkt

y

x

H PHauptpunkt

ZK

XK

YK

PZ

Bildpunkt

Kammerkonst. c

O :d.Kamerakoorin Bildpunkt

/

/ :Koord. homogene

KO

KO

KO

KO

P

P

KO

KO

KOP

P

Z

Y

X

Z

c

c

y

x

cb

ca

c

b

a

Y

X

Z

c

y

x


KO

KO

KO

KO

P

P

KO

KO

KO

KO

P

P

KO

KO

KO

P

P

Z

Yc

Z

Xc

y

x

Z

YZ

X

c

yc

x

Z

Y

X

c

y

x

:Koord.homogenen in

Perspektivisches AbbildungsmodellInterne Koordinatentransformation

Objektpunkt O in Kamerakoord.: [XKO,YK

O,ZKO]T

Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]T

2. Korrektur, wenn Hauptpunkt nicht inBildmitte:



t-punkt

y

x

H P

ZPZ

Hauptpunkt

ZK

XK

YK

PZ

Bildpunkt

Kammerkonst. c

O

HP

HP

yy

xx

y

x


c

y

x

cy

cx

c

y

x

p

p

H

H

100

/10

/01


u

v

x

y

H

Perspektivisches AbbildungsmodellSensor-Pixel-Koordinatentransformation

3. Umrechnung Sensor-Koord. xP,yP in Pixel-Koord. u,v

yM

xM

y

xu

u

vvvM

uM

x

y

Die Bildmittelpunktskoordinaten uM und vM sowie x und y sind aus den Angaben desSensorherstellers entnehmbar.



100

00

00

100

/10

/01

v 1

1

y

x

M

M

cv

cu

c

u

c

y

x

cv

cu

c

y

xu

c

u

y

x

M

M

y

x

M

M

100

00

00

100

/10

/01

100

00

00

0

vv

1

1

1

1

c

y

x

v

u

P

P

y

x

100

0

0

01

01

c

y

x

cy

cx

P

P

H

H

100

/10

/01


u

v

x

y

H

Optische DetektorenPerspektivisches AbbildungsmodellKamera-Pixel-Koordinatentransformation

Umrechnung Sensor-Koord. in Pixel-Koord. (in homogenen Koord.)

vM

uM

x

y



c

y

x

vc

ucu

c

y

x

v

uu

P

P

y

x

P

P

y

x

100

0

0

1

v

100

0

0

c-

v

01

01

01

01

KO

KO

KO

Z

Y

X

100

0

0

1

v 01

01

vc

ucu

y

x



t-punkt

y

x

H P

ZPZ

Hauptpunkt

ZK

XK

YK

PZ

Bildpunkt

Kammerkonst. c

O

Umrechnung Kamera-Koord. in Sensor-Koord.

:Koord.homogenen in

KO

KO

KO

P

P

Z

Y

X

c

y

x

Optische DetektorenPerspektivisches Abbildungsmodell4. Transformation Welt- in Kamera-Koord.


Kamera-Koordinaten-System K: XK,YK,ZK

Objekt-punkt

XPZYPZ

ZPZ

ZO

YO

XO

XK

YK

X

Y

Z

O

ZK

PZO

PZO

PZO

jKO

KO

KO

ZZ

YY

XX

R

Z

Y

X

),,( 6

Translation und Rotation

PZ: PerspektivischesZentrum

100

0cossin

0sincos

)(

cos0sin

010

sin0cos

)(

cossin0

sincos0

001

)(

)()()(),,(

3

2

1

321

R

R

R

RRRR

6

6

6

6666

333231

232221

131211

RRR

RRR

RRR


100

0cossin

0sincos

)(

cos0sin

010

sin0cos

)(

cossin0

sincos0

001

)(

)()()(),,(

321

321

RRR

RRRR

666

6666

333231

232221

131211

RRR

RRR

RRR

coscossinsincoscossincossincossinsin

cossinsinsinsincoscoscossinsinsincos

sinsincoscoscos

R6

Optische DetektorenPerspektivisches Abbildungsmodell4. Transformation Welt- in Kamera-Koord.Rotationsmatrix


Optische DetektorenPerspektivisches Abbildungsmodell4. Welt-Kamera-Koordinatentransformation

PZO

PZO

PZO

KO

KO

KO

ZZ

YY

XX

R

Z

Y

X

),,( 6


11000

100

010

001

1000

0

0

0

1333231

232221

131211

O

O

O

PZ

PZ

PZ

KO

KO

KO

Z

Y

X

Z

Y

X

RRR

RRR

RRR

Z

Y

X

In homogenen Koordinaten:


Kamera-Koordinaten-System K: XK,YK,ZK

Objekt-punkt

XPZYPZ

ZPZ

ZO

YO

XO

XK

YK

X

Y

Z

O

ZK

11000

11000

333231

232221

131211

333231333231

232221232221

131211131211

O

O

O

z

y

x

O

O

O

PZPZPZ

PZPZPZ

PZPZPZ

Z

Y

X

tRRR

tRRR

tRRR

Z

Y

X

ZRYRXRRRR

ZRYRXRRRR

ZRYRXRRRR

Optische DetektorenPerspektivisches Abbildungsmodell5. Zusammensetzung zur Welt-Pixel-Koordinatentransformation Sensor-Koord.-

System S: x,y



Objekt-punkt

y

x

H P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK

PZ

X

Y

Z

Bildpunkt

Kammerkonst. c

O


110001333231

232221

131211

O

O

O

z

y

x

KO

KO

KO

Z

Y

X

tRRR

tRRR

tRRR

Z

Y

X

100

0

0

1

v 01

01

vc

ucu

y

x

10100

0010

0001

KO

KO

KO

Z

Y

X

100

0

0

1

v 01

01

vc

ucu

y

x

110000100

0010

0001

333231

232221

131211

O

O

O

z

y

x

Z

Y

X

tRRR

tRRR

tRRR

134333231

24232221

14131211

Z

Y

X

pppp

pppp

pppp

v

u

Optische DetektorenPerspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene


1

mit

11

oder

1

1100

0

0

1

zu

Dann wird

3231

01

320221

310211

01

320121

310111

3231

01

320221

310211

01

320121

310111

3231

2221

1211

01

01

int

z

zyyyy

zxxxx

O

O

O

O

z

zyyyy

zxxxx

O

O

z

y

x

y

x

ext

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

HY

X

Hv

u

Y

X

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

Y

X

tRR

tRR

tRR

vc

uc

v

u

XKPKp

66

666

100

0

0

1

v 01

01

vc

ucu

y

x

110000100

0010

0001

333231

232221

131211

O

O

O

z

y

x

Z

Y

X

tRRR

tRRR

tRRR

Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0

XKPKp ext

666 int

oder

Optische DetektorenPerspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene


333231

232221

131211

3231

01

320221

310211

01

320121

310111

hhh

hhh

hhh

1

mit

11

z

zyyyy

zxxxx

O

O

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

HY

X

Hv

u

66

In homogenen Koordinaten: lineare Darstellung

In kartesischen Koordinaten: nicht-lineare Darstellung

333231

232221

333231

131211

hhh

hhh

hhh

hhh

OO

OO

OO

OO

YX

YXv

YX

YXu

Zwei-Ansichten-AbbildungVideokamera

Optische DetektorenAllgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien

Allgemeine projektive Transformation zwischen Ebenen:

Nicht-linear, undef. wenn Nenner Null:explizites Hinzufügen einer Linie mit Punkten im Unendlichen Projektive EbeneLGS in homogenen Koordinaten

Nach: Robert T. Collins: Projective Reconstruction of Approximately Planar Scenes, Proc. SPIE 1839, pp. 174-185

333231

232221

333231

131211 ,hhh

hhh

hhh

hhh

eiche Punktfür unendl

EbenePunkte in für endl. ss

kSkalar

shhh

hhh

hhh

s

k

0

1

0

333231

232221

131211

x

y

x´

y´

´

´

x‘‘

y‘‘

‘‘

‘‘

HomographieH1

Homographie H2

C1

affin

Objektebene

C2

affin

Lochkamera1 Lochkamera2

Optische DetektorenAllgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien

Einander entsprechende Punkte inirgendwelchen zwei Ebenen der Abbildungsind über eine Homographie verbunden.

Ist die Abweichung der realen Kameravom Lochkameramodell linear, ist dasBild eine affine Transformation der reinenLochkamera-Abbildung.

Gesamtabbildung: H1C1

Affine Abb. Untergruppe von Homographie H1C1 ist ebenfalls Homographie.

x

y

x´

y´

´

´

x‘‘

y‘‘

‘‘

‘‘

HomographieH1

Homographie H2

C1

affin

Objektebene

C2

affin

Lochkamera1 Lochkamera2

v´

v´

v´´

v´´

2

11 :

t

t

y

x

rq

po

v

uC


Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien


H0w: Homographie bildet Weltebene auf erste Bildebene ab.

Hii-1: Homographien zwischen Bildern

010

121 w

ii

ii

iw HHHHH

66

666


Berechnung einer Homographie

Skalierung, so dass h33 1 (híj=hij/h33), ausmultiplizieren, umstellen:

Für N Punktepaare i,i und í, í 1iN ergibt sich LGS in Matrixschreibweise:

232221333231

131211333231

333231

232221

333231

131211 ,hhhhhh

hhhhhh

hhh

hhh

hhh

hhh

3231232221

3231131211

2322213231

1312113231

´´´´´

´´´´´

´´´1´´

´´´1´´

hhhhh

hhhhh

hhhhh

hhhhh

SVDmit z.B. Lösung´ˆ

´

´

´

´

´

´

´

´

1000

0001

1000

0001

1

1

32

31

23

22

21

13

12

11

111111

111111

bhA

h

h

h

h

h

h

h

h

N

N

NNNNNN

NNNNNN

6



Berechnung einer Homographie: Vorgehen

1. Vorstufe: Datennormierung

rTrrTryss

xss

Tyss

xss

T

rTrd

syxd

rTrd

syxd

rrrrrr

r

ii

N

iii

N

ii

N

ii

ii

N

iii

N

ii

N

ii

NN

6666

6

6

~ und

~:

100

0

0

und

100

0

0

mit

~2

N

1,

N

1y,

N

1x

~2

N

1,

N

1y,

N

1x

.2ttelwert Abstandsmi auf alierungAbstandssk und gin Ursprun ungtverschiebSchwerpunk

:,,, :Bild2in und ,,, :1 Bildin

Punkteierenden korrespondder Mengefür Normierung

1

22

11

1

22

11

2121



Berechnung einer Homographie: Vorgehen

2. Berechnung der „normierten“ Homographie

3. „Denormierung“ der „normierten“ Homographie

SVDmit z.B. Lösung~~~

ˆ

~

~

~

~

~

~

~

~

~

~

~

~

~~~~1~~000

~~~~0001~~

~~~~1~~000

~~~~0001~~

1

1

32

31

23

22

21

13

12

11

111111

111111

bhA

h

h

h

h

h

h

h

h

N

N

NNNNNN

NNNNNN

6



Anwendung: Mosaicing


Sensor-Koord.-System S: x, y



Objekt-punkt

y

x

H P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK

PZ

X

Y

Z

Bildpunkt

Kammerkonst. c

O

Ebenen-basierte Bestimmung der Pose einer Kamera

1

mit

11

oder

1

1100

0

0

1

zu

Dann wird

3231

01

320221

310211

01

320121

310111

3231

01

320221

310211

01

320121

310111

3231

2221

1211

01

01

int

z

zyyyy

zxxxx

O

O

O

O

z

zyyyy

zxxxx

O

O

z

y

x

y

x

ext

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

HY

X

Hv

u

Y

X

tRR

tvtcRvRcRvRc

tutcRuRcRuRc

Y

X

tRR

tRR

tRR

vc

uc

v

u

XKPKp

66

666

100

0

0

1

v 01

01

vc

ucu

y

x

110000100

0010

0001

333231

232221

131211

O

O

O

z

y

x

Z

Y

X

tRRR

tRRR

tRRR

Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie

1. Projektive Abbildung einer Ebene: Homographie

Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0

XKPKp ext

666 int

oder

3231

22212

12112!

323122212

12112

22

21

32

22

12

2

31

21

11

1

333231

232221

131211

3231

2221

1211

323121

33

23

13

3

32

22

12

2

31

21

11

1

333231

232221

131211

~~

~~~~0

~~~~~~1

~

~

~

,~

~

~

~~~

~~~

~~~

1~

.0,0,0

,,

hh

hhyhhxchhhhyhhx

crr

h

hc

y

hc

x

r

h

hc

y

hc

x

r

hhh

hhh

hhh

tRR

ty

cR

y

cR

y

c

tx

cR

x

cR

x

c

H

rrrrrr

R

R

R

r

R

R

R

r

R

R

R

r

RRR

RRR

RRR

R

T

z

y

x

TTT

6

6


2. Bestimmung der Kammerkonstanten aus der Homographie mit xH=yH=u0=v0=0

100

0

0

1

v 01

01

vc

ucu

y

x

110000100

0010

0001

333231

232221

131211

O

O

O

z

y

x

Z

Y

X

tRRR

tRRR

tRRRFür die Spaltenvektoren der in

enthaltenen Rotationsmatrix

gilt wechselseitige Orthogonalität

Bestimmung der Kammerkonstanten mit erster Orthogonalitätsbedingung

3212133

21231

2221

2211

22

312

2212

2

2112

21

21

3231

22212

12112

32

22

12

2

31

21

11

1

321

,, :

, ~~~1

~~~

11

:1

~~

~~~~

~

~

~

,~

~

~

1

rrrRrrrr

rrhchyhx

c

hc

hy

ch

x

rr

rr

hh

hhyhhxc

h

hc

y

hc

x

r

h

hc

y

hc

x

r

rrr

6


3. Bestimmung der Rotationsmatrix

Spaltenvektoren der Rotationsmatrix sind Einheitsvektoren des gedrehten Koordinatensystems

wobei aus voriger Orthogonalitätsbedingung

Bestimmung von so, dass

Bestimmung von aus weiterer Orthogonalitätsbedingung

Einsetzen von und c

33

23

13

33

23

13

3

~

~

~

1~

~

~~

~

hc

yh

cxh

t

t

ty

c

tx

c

h

h

h

hH

z

y

x

6

z

y

x

T

PZ

PZ

PZ

T

z

y

x

PZ

PZ

PZ

PZ

PZ

PZ

z

y

x

t

t

t

RRR

RRR

RRR

Z

Y

X

RRR

RRR

RRR

RRR

RRR

RRR

t

t

t

RRR

RRR

RRR

Z

Y

X

Z

Y

X

RRR

RRR

RRR

t

t

t

333231

232221

131211

333231

232221

131211

1

333231

232221

131211

1

333231

232221

131211

333231

232221

131211

mit


4. Bestimmung der Translation

Die dritte Spalte der Homographiematrix lautet

Mit c und aus vorheriger Rechnung ist Translationsvektor bestimmt.

Mit dem Translationsvektor und der Rotationsmatrix wird die Lage des persp. Zentrums berechnet.

H

XPZ

ZPZ

ZK

XK

YK

PZ

X

Y

Z

YPZ

Rechteck in Objektebene

Seitengerade l1

des Rechtecks

Seitengerade l2

des Rechtecks

Ebene E1 aufgespanntdurch l1 und PZ


Schnittgerade zwi-schen E1 und E2

Schnittgerade l´2 zwischen E2 undSensorfläche


Normalen-vektor von E2


Seitengeraden des Rechtecks:

Die Abbildung einer Geraden l1 geht durch PZ.Sie bildet damit eine Ebene E1, welche die Sensorfläche in einer Geraden l1´ schneidet.Ebenso ergeben sich E2 und l2´ für die paralleleGerade l2 der gegenüber liegenden Seite des Rechtecks.Die beiden Ebenen E1 und E2 schneiden sichin einer Geraden parallel zu l1 und l2, derenRichtungseinheitsvektor einer der Einheitsvek-toren des Marken-Koordinatensystems ist. steht senkrecht auf und ,bestimmt durchKreuzprodukt. wird durch die anderenSeitengeraden und und deren Ebenen mit und bestimmt:

steht senkrecht auf und :

´:´´;:´

:;:

20221011

20221011

xxlxxl

xxlxxl

n2

n1

2ˆ

Me

1ˆ

Me

3ˆ

Me

Me

2ˆ

Me

2n

1n

21

212

ˆnn

nneM

1ˆ

Me

1l 2l

2n

1n

21

211

ˆnn

nneM

3ˆ

Me

1ˆ

Me

2ˆ

Me

213ˆˆˆ

MMM eee

Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera

H

XPZ

ZPZ

ZK

XK

YK

PZ

X

Y

Z

YPZ

Rechteck in Objektebene

Seitengerade l1

des Rechtecks

Seitengerade l2

des Rechtecks



Schnittgerade zwi-schen E1 und E2






Bestimmung der Normalenvektoren:Die Abbildung l1´ der Geraden l1 durch PZliegt ebenfalls in Ebene E1. Somit kann E1

(d.h. ) durch Bestimmung von l1´ aus dem Bildmithilfe der internen KalibrierparameterHauptpunkt H und Kammerkonste c berech-net werden.Ebenso kann aus l2´ berechnet werden.Nach Segmentierung und z.B. Hough-Trans-formation: Geradengleichung für l1´in Bild-koordinaten

n2

n1

1ˆ

Me

2ˆ

Me

3ˆ

Me

2n

1n

1101 wrr


u

v

x

y

H

vM

uM

x

y

Sensor-Koordinatensystem10r

1w

Bestimmung der Normalenvektoren:

Transformation der Bildgeraden in das Kamera-Koordinatensystem:

1. Transformation vom Pixel- in das Sensor-Koordinatensystem

2. Transformation in das Kamera-Koordinatensystem:

3. Gleichung für Normalenvektor der Ebene durch l1´ und projektives Zentrum PZals Kreuzprodukt des Richtungsvektors der Geraden und Differenzvektor zwischenAufpunkt der Geraden und PZ:


u

v

x

y

H

vM

uM

x

y


1w

MPy

MPx

p

p uu

y

x

vv

y

x

MPPS rrr

0

0,

66

c

wrrr

c

rrr

PHM

PPH

SK 1101

1

66

1101101

11011 :nKoordinate-Sensorin iert transform:l´ Gerade

wrrwrrr

wrrP

MPPP

MPPS

PPP

666

1v

1u

,11

c

wv

P 6

,101

c

rrru HM

PP 6

11

111

ˆuv

uvn


Bestimmung der Marken-Koordinatensystemachsen:

Normalenvektoren der Ebenen durch parallele Markenberandungen l1 und l2

ergeben Koordinatenachse als Kreuzprodukt:

Analoges Verfahren für zweites, zum ersten senkrechtes Parallelenpaar und der Rechteckmarke.

Die dritte Achse ergibt sich aus dem Kreuzprodukt der beiden ersten

Und damit die Rotationsmatrix der Marke gegenüber der Kamera


u

v

x

y

H

vM

uM

x

y


1w

1101101


wrrwrrr

wrrP

MPPP

MPPS

PPP

666

,11

c

wv

P 6

,101

c

rrru HM

PP 6

11

111

ˆuv

uvn

2202202


wrrwrrr

wrrP

MPPP

MPPS

PPP

666

,22

c

wv

P 6

,202

c

rrru HM

PP 6

22

222

ˆuv

uvn

212ˆˆˆ nneM

1l 2l

211ˆˆˆ nneM

213ˆˆˆ

MMM eee

321ˆˆˆ

MMM eeeR6


Optische DetektorenPerspektivisches AbbildungsmodellBestimmung der Modellparameter

Interne Parameter: • Hauptpunkt-Koordinaten xH, yH • Kammerkonstante: c • Skalenfaktoren:x, y.

Externe Parameter:• Weltkoordinaten des Perspektivischen Zentrums: XPZ, YPZ, ZPZ • Drehwinkel zwischen Welt- und Kamera-Koordinatensystem:

Abbildungsmodelle Videokamera

Sensor-Koord.-System S: x, y



Objekt-punkt

y

x

H P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK

PZ

X

Y

Z

Bildpunkt

Kammerkonst. c

O

Bestimmung der Abbildungsparameter: Kalibrierung

Schätzung der Parameter auf Basis genau vermessener Szenenmerkmale (z.B. Kalibrierpunkte) und zugeordneter Bildmerkmale.

• Menge von Modellparametern {p}• Menge der Punkte (Weltkoordinaten) der Szenenmerkmale durch Vermessung

• Menge der Punkte (Bildkoordinaten) der Bildmerkmale durch Bildauswertung (automatisch oder interaktiv oder automatisch mit iterativer Verbesserung)

Damit Menge von Zuordnungen:

Bestimmung des optimalen Parametervektors p: Minimierung der Quadratabweichungen der Positionen der projizierten Szenenmerkmale von den Positionen der Bildmerkmale:

KamerakalibrierungVideokamera

s

s

sModell

p

z

y

x

Tv

u 6

nizyxs Tsisisii ,...,1,],,[

lisbzZii hgi ,...,1],,[

mivub T

iii ,...,1,],[

)(}),...,1{()(},...,1{:},,...,1{, jiijii ghnhggmgjiljimit

min)(1

2

l

ih

Modellpg ii

sTb

Siehe Prof.Dr. Trommer: Praktikum Systemoptimierung,Versuch 7

Optische Detektoren

• Modellierung von Abweichungen vom perspektivischen Abbildungsmodell

Korrekturterme zu

Erweiterung:

AbbildungsmodelleVideokamera

dx und dy können Verzeichnungen sein vom Typ

• Radial symmetrisch dxsym

• Radial asymmetrisch dxasy so dass dx = dxsym + dxasy + dxtan

• Tangential dxtan und dy = dysym + dyasy + dytan

dy

dx

y

x

Y

X

Z

c

y

x

H

H

KO

KO

KOP

P

H

H

KO

KO

KOP

P

y

x

Y

X

Z

c

y

x

Optische AbbildungVideokamera

Optische Detektoren

Abbildungsprozess: Aberration VerzerrungenRadiale Vergrößerungsänderungen.

Positive Verzerrung Negative Verzerrung

Kissenförmige Tonnenförmige Verzeichnung Verzeichnung

Optische Detektoren

Modellierung von radial symmetrischen Abweichungen

Modellierung durch ungeradzahliges Polynom:

Wobei r der Bildradius ist: r² = x² + y². r0 ist der Nulldurchgang der Verzeichnungskurve.

Somit erhält man für den radial symmetrischen Korrekturterm:

Bei normalen Objektiven genügt ein Polynom mit zwei Koeffizienten.

Einparametrige Alternative von Lenz:


)()()( 60

73

40

52

20

31 rrrArrrArrrAdrsym

yr

drdyundx

r

drdx sym

symsym

sym

2

2

411

411

Kr

Krrdrsym

Verzeichnungsparameter K

sym

sym

H

H

KO

KO

KOP

P

dy

dx

y

x

Y

X

Z

c

y

x

Modellierung von radial symmetrischen Abweichungen

Beispiel


Modellierung von radial asymmetrischen und tangentialen Abweichungen

Mehrere Modellierungen

Conrady:

Zusätzliche Berücksichtigung einer nicht-ebenen Bildfläche (Brown):

Für Videokameras genügt meist die Modellierung radial symmetrischer Abweichungen:[Lenz, Tsai]


E10

Effekt radial symmetrischer und tangentialer Abweichungen


Modellierung von Affinität

Unterschiedliche Pixelgröße in x- und y-Richtung

dxaff = Sxy x und dyaff = 0


Abbildung der Bildpunkte auf Elemente der Grauwertmatrix:


Pixel-Koordina-tensystem

Bildkoordinatensystem

u

v

u = sx(x + N/2)v = sy( y + M/2)

sx = Abtastfrequenz / (Pixeltakt*horiz. Pixelabstand)sy = 1 / vertikaler Pixelabstand

Beispiel Parametervektor:

K

S

s

s

y

x

c

Z

Y

X

p

xy

y

x

H

H

O

O

O

j

j

j

Rotationswinkel äußere Orientierung

Translation

KammerkonstanteHauptpunkt

innereSkalierungsfaktoren Orientierung

Verzerrungsfaktoren


Optische Detektoren

Abbildungsprozess: Dicke paraxiale Linse

Objektebene Bildebene

TatsächlicherStrahlenpfad Zur Konstruktion

benutzter Pfad

Abbildungskonstruktion: Strahl von P parallel zu opt. Achse bis H´, von H´ über F´Strahl von P über F nach H, von H parallel zu opt. Achse -> Schnittpunkt P´ def. S´.

H H´

Hauptebenen


Optische Detektoren

Abbildungsprozess: Sphärische Aberrationen

Strahlen mit unterschiedlichem Abstand vom Linsenzentrum haben unterschiedliche Brennweite


Optische Detektoren

Abbildungsprozess: Linsensysteme (Abbildungsoptik aus mehreren dicken Linsen)

H11 H12 P1 P2 H21 H22

h

h

H11

H22


Optische Detektoren

Abbildungsprozess: Aberration Negatives KomaDie transversale Vergrößerung nimmt mit wachsender Strahlhöhe ab.


Optische Detektoren

Abbildungsprozess: Aberration Positives KomaJe größer der Kreisdurchmesser auf der Linse, desto größer der Kreisdurchmesser in der Bildebene.

Bildebene

Objektebene

KomaT

KomaV


Optische Detektoren

Abbildungsprozess: Aberration AstigmatismusDie Brennweiten unterscheiden sich für die sagittale und für die meridionale Ebene.

Objekt-punkt

SagittalesBild

MeridionalesBild

KleinsterFehler


Optische Detektoren

Abbildungsprozess: Zusammenfassung primäre Aberrationen

Aberration Radial (Unschärfe) Axial (fokale Verschiebung)

Sphärische Aberration y³ y²

Coma y²h

Astigmatismus y h² h²

Feldkrümmung y h² h²

Verzerrung h³

h: Strahlhöhe, y: Apertur


PZ PZ`

p1 p2

R,t – 6 Parameter

Relative Orientierung zweier KamerasP Objektpunkt-Welt

PZ: perspektivisches Zentrum Kamera 1p1: Bildpunkt von P in Kamera 1

PZ`: perspektivisches Zentrum Kamera 1p2: Bildpunkt von P in Kamera 2


PZ PZ`

p1 p2

3D – Koordinaten des WeltpunktesP Objektpunkt-Welt



1133

132

131

124

123

122

121

114

113

112

111

1

1

1

Z

Y

X

ppp

pppp

pppp

v

u

1133

232

231

224

223

222

221

214

213

212

211

2

2

2

Z

Y

X

ppp

pppp

pppp

v

u

24

1133

123

1132

122

1131

121

11

141

1331

131

1321

121

1311

111

1

241

231

221

211

331

321

311

1

141

131

121

111

331

321

311

1

11

pZvppYvppXvppv

pZuppYuppXuppu

pZpYpXpZpYpXpvpZpYpXpZpYpXpu

24

2233

223

2232

222

2231

221

22

142

2332

132

2322

122

2312

112

2

242

232

222

212

332

322

312

2

142

132

122

112

332

322

312

2

11

pZvppYvppXvppv

pZuppYuppXuppu

pZpYpXpZpYpXpvpZpYpXpZpYpXpu

LGS für X,Y,Z


PZ PZ`

p1 p2

3D – Koordinaten des WeltpunktesP Objektpunkt-Welt



24

1133

123

1132

122

1131

121

11

141

1331

131

1321

121

1311

111

1

pZvppYvppXvppv

pZuppYuppXuppu

24

2233

223

2232

222

2231

221

22

142

2332

132

2322

122

2312

112

2

pZvppYvppXvppv

pZuppYuppXuppu

LGS für X,Y,Z

Voraussetzungen:

•Kameramodelle exakt bekannt•Bildkoordinaten der homologen Punkte bekannt


Epipolargeometrie

PZ PZ`

p p`

Bildebene

Sensorfläche

Bildebene

Sensorfläche

Objektpunkt-Welt

Basislinie

Epipolarlinien

Epipole

e e`

p p`

P


Perspektivisches ZentrumKamera1

Perspektivisches ZentrumKamera2

Ebenen, die sich in Basislinie schneiden

BasislinieIdealeStereo-

Anordnung

Zeilen der idealen Stereo-Anordnung (photogrammetrischer Normalfall):Ebenen, die sich in Basislinie schneiden

Abbildung dieser Ebenen in realen Kameras:Epipolarlinien


PZ PZ`

p p`

Bildebene

Sensorfläche

Bildebene

Sensorfläche

Objektpunkt-Welt

Basislinie

Epipolarlinien

Epipolargeometrie

Korrespondierende Bildpunkte liegen auf Epipolarlinien


Epipolargeometrie und Homographie:Homographie-induzierte Parallaxe

PZ PZ`

p p`

Objektpunkt-WeltP

e e`

pp`

o o

oo

o o

o

E pE

H

pH`

p` und pH` liegenauf Epipolarlinie

B1 B2

H bezgl. Schrift-tafel

H.B1 überlagertmit B2


Epipolargeometrie und Homographie

PZ PZ`

p p`

Objektpunkte-Welt

e e`

o o

oo

o o

o

E

H

o

o

o

oo

Bestimmung des Epipols als Schnittpunkt zweier Epipolarlinien.

Epipolarlinie jeweils bestimmt durch Bildpunkt des Objektpunkts des einen Bildes und den durch H transformierten Bildpunkt des Objektpunkts des anderen Bildes.



H x'xl

EpipolarlinienBildzeilen



Rektifizierung durch polare Reparameterisierung bezüglich Epipolen

Erhalte Länge der Epipolarlinien.Wähle Winkelinkrement so, dass Pixel nicht komprimiert werden.

Ursprungsbild

Funktioniert für alle relativen Bewegungen.Garantiert minimale Bildgröße.

Epipol

rmax

rmin

x

y

Rektifiziertes Bild

r

Resampling



Anordnung

Ursprungsbild

rmax

rmin

x

y

r

Ursprungsbild

rmax

rmin

x

y

r



Anordnung

o o

PZ1 PZ2

D

cx1

x2

Aus Geradenschnitt:

c

yzy

c

xzx

xx

cBz

PP

PP

P

,

21

B

z

x

PzP


Epipolargeometrie, Homographie und Fundamentalmatrix

Fundamentalmatrix F: Abbildung des Bildpunktes x aus Bildebene B1 auf zugehörige Epipolarlinie l` in Bildebene B2.

Berechnung mittels Homographie

6655 H x'xH x'xe '

x1,x2,x3,x4 in Ebene, x5,x6 außerhalb Ebene

Berechnung von H aus x1,x2,x3,x4

He 'F

l`

B1 B2

Projektive Abbildung Videokamera Perspektivisches Abbildungsmodell „Lochkamera-Modell“...

Documents

Transcript of Projektive Abbildung Videokamera Perspektivisches Abbildungsmodell „Lochkamera-Modell“...