Computer Vision3_Seite 1 Bildauswertungskomponenten im System Beispiel Andockleitsystem (ADS)...

Computer Vision

3_Seite 1

Bildauswertungskomponenten im System

Beispiel Andockleitsystem (ADS)

Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp vorgeschriebene Stopposition.Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen.

Flugha

feng

ebäu

de

Passagierbrücke

Rollfeld

Einroll-leitlinie

StoppositionVideokamera

B 737-300

Display

Computer Vision

3_Seite 2

Leitsystem

Tower

Vorfeld-kontrolle

Gate

Touchdownzeit, Flugzeugtyp, Flugnummer

Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer

Gateankunftzeit (ist), Stopposition, On-block time

ADSRegler:Display

Video-auswertung Flugzeugmodell

Status, Position, Winkel, Zeit

TypLage

Bildauswertungskomponenteim Flughafen-Informations-system


Computer Vision

3_Seite 3

Systemanforderungenan den „Videosensor“

GateGateankunftzeit (ist), Stopposition, On-block time

ADSRegler:Display

Video-auswertung Flugzeugmodell

Status, Position, Winkel, Zeit

TypLage

Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer

Primärsensor: CCD- Videokamera mit Tageslich/Flutlichtmit 576*768 Pixel (Sensorelementen)Standard-PC-System, Betriebssystem Windows NTInformationsgewinnung mit Mindestmeßfrequenz 12 HzBugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/-2°FehltyperkennungPushbackerkennungMulti-Leitlinien-FähigkeitAllwetterfähigkeit bis Cat III Sichtbedingung


Computer Vision

3_Seite 4

Sensorkalibrierung

Abbildungsmodell nachRoger Tsai


Computer Vision

3_Seite 5

Modellierung

Informationsgewinnung durch ModellanpassungFlugzeugmodell aus Triebwerkseinlass, Windshield, Hauptfahrwerk und deren geometrischen Zusammenhang wird an Bildinhalt (Merkmale) angepaßt.Übereinstimmungsmaß: Kreuzkovarianz

Bei kalibrierter Kamera Zuordnung Bildkoordinaten-Weltkoordinaten

Fangbereich

Templates,starres Gitter

Centerline

Stopposition


Computer Vision

3_Seite 6

Merkmalsextraktion Zeit

Flugzeug-Template

Raumkanten

Original

Raum-Zeit-Kanten

Raumkantenbild

Grauwertbild

Raum-Zeit-Kantenbild


Computer Vision

3_Seite 7

Suchvorgang im Fangbereich

3D-Template an Suchpositiontransformieren

Suchposition festlegen

Start

F lu g ze ug p o sitio n ü b er 3 D -F it b ere ch n e n

T ra c k in g

KKV berechnen für Umgebungum Suchposition

Template gefundenKKV>Schwellwert

Nein

Ja

Bild einziehen

1

41

81

121

161

201241

281321

361

ce3ce

5

ce24

ce20

ce16

ce12

ce17

ce13

ce10

ce21

ce23

ce26ce

9ce2

- 0.100.10.20.30.40.50.60.7

0.8

0.9

Ko

rrela

tio

nsw

ert

Bild-Nr.Sequenz

Korrelationsverlauf beim Vorgang "Searching" für Sequenzen mit folgenden Merkmalen: Flugzeugtyp: 737; Kamera: color; Mittelwert-Template. ce3

ce4

ce5

ce25

ce24

ce19

ce20

ce8

ce16

ce15

ce12

ce6

ce17

ce18

ce13

ce14

ce10

ce11

ce21

ce22

ce23

ce7

ce26

ce27

ce9

ce1

ce2


Computer Vision

3_Seite 8

Objektverfolgung

Template an aktuelle Flugzeugposition transformieren

Aktuelle Flugzeugposition aus "Searching"

Start

Stop-Postion

KKV für Templateberechnen

ja

nein

Stop

Aktuelle Flugzeugposition über 3D-Fit berechnen

Bild einziehen

Template mit aktuellemBildinhalt überblenden


Computer Vision

3_Seite 9

Verfolgungsergebnisse mit kalibriertem Sensor

1

38

75

112

149

186

223

260

297

334

371

t3d_

3

t3d_

4

t3d_

5

t3d_

25

t3d_

24

t3d_

19

t3d_

20

t3d_

8

t3d_

16

t3d_

15t3

d_12

t3d_

6t3

d_17

t3d_

18t3

d_13

t3d_

14t3

d_10

t3d_

11t3

d_21

t3d_

22t3

d_23

t3d_

7t3

d_26

t3d_

27t3

d_9

t3d_

1t3

d_2

0

0.2

0.4

0.6

0.8

1

Korrelationswert

Bild-Nr.

Sequenz

KKV-Werte für "Tracking" Vorgang; Fluzeugtyp: 737; Kamera: SW; 3D; 5 Pt3d_3

t3d_4

t3d_5

t3d_25

t3d_24

t3d_19

t3d_20

t3d_8

t3d_16

t3d_15

t3d_12

t3d_6

t3d_17

t3d_18

t3d_13

t3d_14

t3d_10

t3d_11

t3d_21

t3d_22

t3d_23

t3d_7

t3d_26

t3d_27

t3d_9

t3d_1

t3d_2


Computer Vision

3_Seite 10

Weitere Aufgaben der Bildauswertung im System

Teilaufgabe „Detektion des Pushback-Vorgangs“

Teilaufgabe „Detektion eines unangemeldeten Flugzeugs“

Teilaufgabe „Bestimmung der Sichtbedingungen“

Teilaufgabe „Selbsttest“


Computer Vision

3_Seite 11

Auswerteergebnisse

Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5

0

5

10

15

20

25

30

-0,5

0 0,5

0

5

10

15

20

25

30

1 33 65 97 129

161

193

225

257

289

321

353

385

417

449

481

Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7

0

5

10

15

20

25

-0,5 0

0

5

10

15

20

251 33 65 97 129

161

193

225

257

289

321

353

385

417

449

481


Computer Vision

3_Seite 12

Auswerteergebnisse

0

10

20

30

40

50

60

70

80

90

-5 0 5 10 15 20

0

10

20

30

40

50

60

-2 -1,5 -1 -0,5 0


Computer Vision

3_Seite 13

Zusammenfassung

Operationelle Lösungskonzept SystemanforderungenAnforderungen Bildauswertung

Geschwindigkeit SensorenNutzungskonzept

Latenzzeit Aufgabendefinition SzeneDatensätze

Genauigkeit Algorithmen Kommunikations-HW-/SW-Konzept Einbindung

Einsatz- Echtzeitlösung Randbedingungen Trainingsumgebung Hardware

Testumgebung Zuverlässigkeit Systemintegration

BetriebssystemVerfügbarkeit

Computer Vision

3_Seite 14

Szeneninterpretation

Regelung

FahrzeugUmgebung

Soll-Trajektorie

Sollbahnpl.Kollisionsver

m.

Situations-analyse

Routenplanung

Reiseziele

Route

Fahrauftrag

Fahrer

erwartete Fahrerhandlung

Gefährdung

MMK

Koordinierungs-komponente

Warnung

Gefährdungs-analyse

Beispiel Szeneninterpretation im Fahrerassistenzsystem

S1

S2

...

Sm

F1

...

Fj

...

Fk

SensorenAuswerte-funktionen

Computer Vision

3_Seite 15


FahrzeugUmgebung

Soll-Trajektorie

Sollbahnpl.Kollisionsver

m.

Situationsanalyse

Routenplanung

Route

Fahrauftragerwartete Fahrerhandlung

Gefährdung

Gefährdungs-analyse

Beispiel Szeneninterpretation im Fahrerassistenzsystem

Koordinierungs-komponente

S1

S2

...

Sm

F1

...

Fj

...

Fk


Computer Vision

3_Seite 16


S1

S2

...

Sm

F1

...

Fj

...

Fk


Abbildungsmodell

Sensorbewegungsmodell

Szenenmodell

Objektmodell

Objektbewegungsmodell

Merkmalselektion, Modellauswahl

Merkmalsextraktion für ModelleKanten, Ecken, Flecken,Texturmaße, Verschiebungsvektorfelder, ...

Parameterschätzung von expliziten und impliziten Modellen

Klassifikation der geschätzten ParameterPhys. Gesetze, Expertensysteme, Fuzzy Logic, Lernende Klass.

Änderungsanalyse

Messung der räumlichen und zeitlichen Kohärenzender geschätzten Parameter

Szenendynamikmodell

Computer Vision

3_Seite 17


Änderungen in der Kamera erfassten Szene führen zu Änderungen im Bild

Mögliche Ursachen für Bildänderungen

• Änderungen in der Szenenbeleuchtung• Änderungen von Form oder Material sichtbarer Objektoberflächen• Änderungen der Eigenstrahlung sichtbarer Objektoberflächen• Relativbewegung zwischen Sensor und Objektoberflächen• Änderung der Abbildungsparameter• Prozessrauschen

Abbildungsmodell


Szenenmodell

Objektmodell


Szenendynamikmodell

Computer Vision

3_Seite 18


Änderungen in Bildfolgen oft nicht eindeutigNutzung von a priori Wissen über Randbedingungen zur Einschränkung

von Modellparametern

Informationsextraktion im jeweiligen (Modell)kontext durch entsprechende Verfahren1. Nicht-zyklisches Schema2. Interpretationszyklus für Einzelbilder3. Interpretationszyklus für Bildfolgen

Abbildungsmodell


Szenenmodell

Objektmodell


Szenendynamikmodell

Computer Vision

3_Seite 19


Nicht-zyklisches Schema der Bildauswertung

Nutzung von a priori Wissen über Randbedingungen zur Einschränkung von Modellparametern

Sensorik Ikonik Symbolik

Aufnahme Vorverarbeitung Merkmal/Primitiven-Extr. Estimation Klassifikation Aktion

Szene digit. Bild. Vorverarb. Bild Merkmalsvektor/Prim.-Liste Aussage Ergebnis z.B. Gradientenbild z.B. Kreislinien-Liste z.B. gut/schlecht

Anwendung bei überwiegend stationären Verhältnissen, wie z.B. in der automatischen Sichtprüfung in der Produktion von Standardteilen.

Computer Vision

3_Seite 20

Szeneninterpretation – generisches Systemkonzept

Interpretationszyklus für Einzelbilder

Zuordnung von Modellausprägungen zu Bilddaten

Generische räumliche Beschreibung(parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung)

Modellausprägungen(Parametersätze)

Parameterschätzung,Klassifikation

Merkmale,Primitive

Modellelemente

ProjektionModellwelt-Bild

DigitalisiertesBild

Modellwelt

Synthetisches Bild,Szenenskizze

Bildsensor Display

Signal-verarbeitung

Bildauswertung

Synthese

BestimmtArt

Verfahrenextrahieren

BestimmtArt

Modifiziert

Computer Vision

3_Seite 21

Szeneninterpretation – generisches Systemkonzept

Interpretationszyklus für Bildfolgen

Zeitlicher Zusammenhang zwischen räumlichen Beschreibungen Generische räumliche Beschreibung

DigitalisiertesBild

Modellwelt

Bildsensor

Signal-verarbeitung

Bildauswertung

t0 + n*d

Generische räumliche Beschreibung

DigitalisiertesBild

Modellwelt

Bildsensor

Signal-verarbeitung

Bildauswertung

t0+d


DigitalisiertesBild

Modellwelt

Bildsensor

Signal-verarbeitung

Bildauswertung

t0

Generische zeitliche Beschreibung

(parametrisierte Modelle für Objekt-, Szenen-,

Beleuchtungs-, Sensordynamik)

. . .

Prädiktion

Prädiktion

Computer Vision

3_Seite 22

Szeneninterpretation – Situationsmodellierung

Situationsgraphen

Situation: generische Beschreibung aller wesentlichen Sachverhalte

• Zustandsbeschreibung aller relevanten Objekte und ihrer Relationen zueinander• Alternativen für die zeitliche Entwicklung des aktuellen Zustands• Handlungsmöglichkeiten, die mit einem Zustand verbunden sindZustandsbeschreibung

• Physikalische Beziehungen zu einem Zeitpunkt zwischen an der Situation beteiligten Körpern• Intentionen der Körper im Situationskontext• Potentielles Verhalten der Körper

Computer Vision

3_Seite 23


SituationsgraphenModellieren Abfolgen von Situationen mithilfe von Situationsknoten,die durch Prädiktionskanten miteinander verbunden sind.Situationsknoten enthalten

Zustandsschema, das in Situationen ausgeprägt wird, in denen der im Zustandsschema beschriebene Zustand vorliegt

Handlungsschema, das in Situationen ausgeprägt wird und eine durchzuführende Aktion festlegt

Zustandsschema

Handlungsschema

Zustandsschema

Handlungsschema1

.

.

.

N...2

1

SituationsknotenPrädiktionskante

Situationsgraph nach Krüger

Computer Vision

3_Seite 24


SituationsgraphenModellierung der zeitlichen Abfolge von Situationen:

Ausgangpunkt aktueller SituationsknotenFinde eine Prädiktionskante, die zu einem Situationsknoten mit

ausprägbarem Zustandsschema führt.Im Erfolgsfall wird dieser Knoten zum aktuellen Knoten.Die Prädiktionskanten beinhalten auch einen Bindungsknoten, der angibt,

welche Ausprägungen auf den nachfolgenden Situationsknoten übernommen werden.

Jede Prädiktionskante besitzt eine Priorität: Reihenfolge der Anwendbarkeitsprüfung der Nachfolgeknoten.

Zustandsschema

Handlungsschema

Zustandsschema

Handlungsschema1

.

.

.

N...2

1



Computer Vision

3_Seite 25

Einordnung der Bildauswertung

Zustandsschema

Handlungsschema

Zustandsschema

Handlungsschema1

.

.

.

N...2

1




DigitalisiertesBild

Modellwelt

Bildsensor

Signal-verarbeitung

Bildauswertung

t0 + n*d


DigitalisiertesBild

Modellwelt

Bildsensor

Signal-verarbeitung

Bildauswertung

t0+d


DigitalisiertesBild

Modellwelt

Bildsensor

Signal-verarbeitung

Bildauswertung

t0

Generische zeitliche Beschreibung

(parametrisierte Modelle für Objekt-, Szenen-,

Beleuchtungs-, Sensordynamik)

. . .

Prädiktion

Prädiktion

Ausprägung

Computer Vision3_Seite 1 Bildauswertungskomponenten im System Beispiel Andockleitsystem (ADS)...

Documents

Transcript of Computer Vision3_Seite 1 Bildauswertungskomponenten im System Beispiel Andockleitsystem (ADS)...