Computer Vision 1_Seite 1

Beispiel Andocksystem (ADS) Komponenten im System

Flugha

fenge

bäud

e

Passagierbrücke

Rollfeld

Einroll-leitlinie

StoppositionVideokamera

B 737-300

Display

Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp vorgeschriebene Stoppposition.

Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen.

Computer Vision 1_Seite 2

ADS im Flughafen-Informationssystem Komponenten im System

Leitsystem

Tower

Vorfeld-kontrolle

Gate

Touchdownzeit, Flugzeugtyp, Flugnummer

Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer

Gateankunftzeit (ist), Stopposition

ADSRegler:Display

Video-auswertung Flugzeugmodell

Status, Position, Winkel, Zeit

TypLage

Computer Vision 1_Seite 3

ADS: Systemanforderungen Komponenten im System

ADSRegler:Display

Video-auswertung Flugzeugmodell

Status, Position, Winkel, Zeit

TypLage

● Sensor: CCD-Videokamera im PAL-Format (576x768 Pixel)

● Hardware / Platform: Standard-PC-System / Betriebssystem Windows NT

● Messfrequenz: mindestens 12 Hz

● Messgenauigkeit: Bugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/- 2°

● Operationelle Anforderungen: Fehltyperkennung, Pushbackerkennung, Multi-Leitlinienfähigkeit

● Beleuchtung: Tageslicht, Flutlicht, Allwetterfähigkeit bis Cat III Sichtbedingung

Computer Vision 1_Seite 4

Die Messung erfolgt in zwei Schritten:

1. Bestimmung der Position des Flugzeugs im Bild.

2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum):

ADS: Messaufgabe Komponenten im System

z

y

Szenenpunkt

Objektpunkt aufder Bildebene, z.B. Triebwerksmitte

Bildebene

Sehstrahl

Rollfeld(Boden)

Höhe der Triebwerksmitte über

dem Boden

Voraussetzung: Die Abbildungseigenschaften der Kamera und die Orientierung zwischen Kamera und Boden ist bekannt.

Computer Vision 1_Seite 5

Erinnerung: Kameramodell und -kalibrierung

Kamerakalibirierung (Eichung) = Ermittlung eines Parametersatzes, so dass das Kameramodell das Abbildungsverhalten der Kamera möglichst gut approximiert.

Begriffe

Kameramodell

=

Mathematische Beschreibung (Approximation) des realen Abbildungsverhaltens des Sensors.

z.B. Lochkamera: Die Transformation P : R³ → R² ist durch 5 Parameter gegeben:f Brennweite (Abstand Ursprung Koordinatensystem und Bildebene) (cx, cy) Bildhauptpunkt (Durchstoßpunkt der z-Achse im Bild in Pixeln)dx / dy Breite / Höhe eines Pixels in der Einheit des Kamerakoordinatensystems

yc

c

yx

c

c

x

czy

dfjc

zx

dfi +⋅=+⋅=

Computer Vision 1_Seite 6

Kamerakalibrierung Begriffe

Kalibrierkörper und die IDs undWeltkoordinaten der Marken

z.B. SchachbrettmusterGröße der Quadrate 2 cm

Marke 0(0, 0, 0)T

Marke 1(2, 0, 0)T

Marke 3(4, 0, 0)T

Marke 8(0, 2, 0)T

gemessen (soll)

Bild vom Kalibrierkörperund die Bildkoordinaten der Marken

Was wird für die Kamerakalibrierung benötigt?

projiziert (ist)

Computer Vision 1_Seite 7

Kamerakalibrierung Begriffe

Bemerkungen zu den Kalibriermarken:

● Auch Landmarken kommen als Kalibriermarken in Frage (z.B. Markierungen auf dem Rollfeld von Flughäfen).

● Auch mit (ausreichend genauen) CAD-Modellen können Kameras kalibriert werden: Dann wird die Lageschätzung um die Kameraparameter erweitert.

gemessen (soll)

projiziert (ist)

Computer Vision 1_Seite 8

Bemerkungen:

● Standard für CCD-Kameras: Kalibrierung nach Roger Tsai (Lochkamerasystem plus radiale Verzeichnung)

● Die Kalibriermarken müssen alle relevanten Bereiche des Bildes abdecken.

● Eine echte 3D-Verteilung der Marken stabilisiert die Kalibrierung.

● Die Mindestanzahl an Kalibriermarken ist durch die Anzahl der zu bestimmenden Parameter gegeben (eine Marke liefert zwei Gleichungen!)

Kamerakalibrierung Begriffe

Radial verzeichnetesSchachbrettmuster(Fischauge)

Computer Vision 1_Seite 9

ADS: Kameramodell Komponenten im System

Abbildungsmodell nachRoger Tsai (Lochkamera plus radiale Verzeichnung)

Bringe Markierungen auf dem Boden an und ziehe ein Bild mit diesen Markierungen ein.

Projiziere die Markierungen auf das Bild (rote Kreuze)

Optimiere die Abbildungsparameter, so dass projizierte Markierungen und abgebildete Markierungen möglichst gut übereinstimmen.

Computer Vision 1_Seite 10

Die Messung erfolgt in zwei Schritten:

1. Bestimmung der Position des Flugzeugs im Bild.

2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum).

ADS: Messaufgabe Komponenten im System

Lösung hier: Suche bestimmte Objektpunkte im Bild durch Schablonenanpassung.

Computer Vision 1_Seite 11

Kreuzkorrelation Komponenten im System

Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt

Kreuzkorrelation von g und s.

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛

⎟⎟⎠

⎞⎜⎜⎝

⎛

=

∑∑∑∑

∑∑−

=

−

=

−

=

−

=

−

=

−

=

1

0

1

0

21

0

1

0

2

1

0

1

0

),(),(

),(),(),(

B

x

H

y

B

x

H

y

B

x

H

y

yxsyxg

yxsyxgsgKorr

Computer Vision 1_Seite 12

Schablonenanpassung Komponenten im System

● Gegeben seien ein Bild g und eine Schablone s.

● Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition die Kreuzkorrelation.

● An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist die Kreuzkorrelation am größten.

Bild g

Schablone s

Kreuz-korrelationsbild

Computer Vision 1_Seite 13

ADS: Objektmodell Komponenten im System

Objektmodellierung: Modell aus Triebwerkseinlass, Frontscheibe, Hauptfahrwerk (in Form von Schablonen) und deren geometrischer Zusammenhang (Gitter)

Die Übereinstimmung des Modells mit dem Bild wird durch Schablonenanpassung (z.B. Korrelationskoeffizient) gemessen.

Schablonen,starres Gitter

Centerline

Stopposition

Computer Vision 1_Seite 14

ADS: Suchvorgang im Fangbereich Komponenten im System

141

81121

161201

241281

321361

ce3ce

5ce24ce

20ce16ce

12ce17ce

13ce10ce

21ce23ce

26ce9ce

2

- 0.100.10.20.30.40.50.60.70.80.9

Kor

rela

tions

w

Bild-Nr.Sequenz

Korrelationsverlauf beim Vorgang "Searching" für Sequenzen mit folgenden Merkmalen: Flugzeugtyp: 737; Kamera: color; Mittelwert-Template. ce3

ce4ce5ce25ce24ce19ce20ce8ce16ce15ce12ce6ce17ce18ce13ce14ce10ce11ce21ce22ce23ce7ce26ce27ce9ce1ce2

Sequenz Bild-Nummer

Kor

rela

tions

wer

t

Korrelationsverlauf für verschiedene Sequenzen

3D-Template an Suchpositiontransformieren

Suchposition festlegen

Start

Flugzeugposition über 3D-Fit berechnen

Tracking

Korr. berechnen für Umgebungum Suchposition

Template gefundenKorr>Schwellwert

Nein

Ja

Bild einziehen

Computer Vision 1_Seite 15

ADS: Objektverfolgung Komponenten im System

Schablone an aktuelle Flugzeugposition transformieren

Aktuelle Flugzeugposition aus "Searching"

Start

Stop-Postion

Korrelation für Schabloneberechnen

ja

nein

Stop

Aktuelle Flugzeugposition über 3D-Fit berechnen

Bild einziehen

Schablone mit aktuellemBildinhalt überblenden

Computer Vision 1_Seite 16

ADS: Verfolgungsergebnisse Komponenten im System

1

38

75

112

149

186

223

260297

334371

t3d_

3t3

d_4

t3d_

5t3

d_25

t3d_

24t3

d_19

t3d_

20t3

d_8

t3d_

16t3

d_15

t3d_

12t3

d_6

t3d_

17t3

d_18

t3d_

13t3

d_14

t3d_

10t3

d_11

t3d_

21t3

d_22

t3d_

23t3

d_7

t3d_

26t3

d_27

t3d_

9t3

d_1

t3d_

2

0

0.2

0.4

0.6

0.8

1

Korrelationswert

Bild-Nr.

Sequenz

KKV-Werte für "Tracking" Vorgang; Fluzeugtyp: 737; Kamera: SW; 3D; 5 Pt3d_3t3d_4t3d_5t3d_25t3d_24t3d_19t3d_20t3d_8t3d_16t3d_15t3d_12t3d_6t3d_17t3d_18t3d_13t3d_14t3d_10t3d_11t3d_21t3d_22t3d_23t3d_7t3d_26t3d_27t3d_9t3d_1t3d_2

Korrelationsverlauf für verschiedene Sequenzen

Sequenz

Bild-Nummer

Computer Vision 1_Seite 17

ADS: Auswerteergebnisse Komponenten im System

Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5

0

5

10

15

20

25

30

-0,5

0 0,5

0

5

10

15

20

25

30

1 33 65 97 129

161

193

225

257

289

321

353

385

417

449

481

Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7

0

5

10

15

20

25

-0,5 00

5

10

15

20

251 33 65 97 129

161

193

225

257

289

321

353

385

417

449

481

Computer Vision 1_Seite 18

ADS: Auswerteergebnisse Komponenten im System

0

10

20

30

40

50

60

70

80

90

-5 0 5 10 15 20

0

10

20

30

40

50

60

-2 -1,5 -1 -0,5 0

Computer Vision 1_Seite 19

Zusammenfassung

Operationelle Lösungskonzept SystemanforderungenAnforderungen Bildauswertung

Geschwindigkeit SensorenNutzungskonzept

Latenzzeit Aufgabendefinition SzeneDatensätze

Genauigkeit Algorithmen Kommunikations-HW-/SW-Konzept Einbindung

Einsatz- EchtzeitlösungRandbedingungen Trainingsumgebung Hardware

TestumgebungZuverlässigkeit Systemintegration

BetriebssystemVerfügbarkeit

Komponenten im System