Computer Vision1_Seite 1

Prof. Dr. Norbert Link

Beiträge von

L. Berger W. EnkelmannM. Esswein F. HeimesN. Heinze A. KornW. Krüger M. MüllerG. Saur N. Rehfeld

Computer Vision

Computer Vision1_Seite 2

Inhalt Einführung Szeneninterpretation Bildentstehung Informationsgewinnung aus Einzelbildern

Merkmalsextraktion Merkmalsauswertung Koordinatensysteme Sensorkalibrierung Freiheitsgradschätzung

Informationsgewinnung aus Bildfolgen Objektverfolgung Verschiebungsvektorfelder Bewegungsschätzung

Bildauswertungskomponenten im System Zusammenfassung und Ausblick

Computer Vision1_Seite 3

ÜberblickEinführung

Was ist ein Bild?

Anwendungsbeispiele Zielsetzung und Vorgehensweise

Bildauswertungskomponenten Detektion im BildLokalisierung in der WeltVerfolgungIdentifikationAnalyse

Bildauswertungskomponenten im System Zusammenfassung

Computer Vision1_Seite 4

Was ist ein Bild? Einführung

Mikrowellen-Radar-Bild der Venus

Präsentation im Computer

Ausschnitt

Picture element: „Pixel“Koordinaten Zeile i = 151, Spalte j = 55Grauwert g = 208g(151,55) = 208

Computer Vision1_Seite 5

Was ist ein Bild? Einführung

Obiges Bild: 40.000 Helligkeitsmesswerte der Oberfläche der Venus• angeordnet in einem Array mit 200 Spalten und 200 Zeilen• Werte werden nummeriert mit Zeilenindex j von 0 ... 199 und Spaltenindex i von 0 ... 199• Ursprüngliche Messwerte: Rückgestreute Mikrowellenenergie des jeweiligen Venus-Oberflächenelements• Bild repräsentiert die Messwerte durch Grauwerte 0 ... 255

0: keine Energie rückgestreut schwarz,255: maximale Energie rückgestreut weiß

Allgemein:• Anzahl Zeilen und Spalten (Bildgröße) sensorabhängig (bis 12000 x 240000)• Grauwerteanzahl (linearer Dynamikbereich) sensorabhängig (heute bis 16 bit)• Ursprüngliche Messwerte sensorabhängig (z.B. emittierte Infrarot-Energie)• Auch Volumenbilder sind möglich (3D-Anordnung von Grauwerten, z.B. CT)• Farbbild enthält für jedes Pixel mehrere Werte (z.B. R G B)

Computer Vision1_Seite 6

Von einem Weltpunktrückgestreute Lichtenergie

Auf einen Bildpunktauftreffende Lichtenergie

• Objektiv lenkt Lichtenergiestrom von einem Weltpunkt auf einen Bildpunkt der Sensorfläche.• Sensor wandelt Lichtenergiestrom

in elektrisches Signal.

Was ist ein Bild? Einführung

Computer Vision1_Seite 7

Was ist ein Bild? Einführung

Computer Vision1_Seite 8

Objekt Kamera

Objektiv

Bildsensor

CCD-Kamera-Chip

Sensorfläche

Ausleselogik

Ausschnitt

Sensorelemente(Pixel), ca. 5 µm Abmessung

Was ist ein Bild?

Computer Vision1_Seite 9

AnwendungsbeispieleObjektverfolgung aus Bildfolgen mit einer statischen Kamera

Freigelände-und GebäudeüberwachungSecurity Verkehr Kundenströme

Hintergrundschätzung bildpunktweise Detektion abweichender Grauwerte

Zusammenfassung zu Objekten Objektverfolgung Spurbildung Spurauswertung

Bildkoordinaten-Weltkoordinaten

Computer Vision1_Seite 10

Übersichtskamera

Segmentkamera

Nachgeführte Detailkamera

AnwendungsbeispieleObjektverfolgung aus Bildfolgen mit mehreren statischen KamerasLandungsüberwachung auf Flughäfen

Zusätzlich Transformation zwischen Kamera-Koordinatensystemen

Computer Vision1_Seite 11

AnwendungsbeispieleObjektverfolgung –identifizierung und –analyse aus Bildfolgen

Qualitätsprüfung•Vollständigkeit•Richtigkeit•Maßhaltigkeit

Anbauteile- Mustervergleich

Flugzeug-Rumpfschalen-Produktion

Schätzung der Lageparam. Rumpfschale im Kamera-Koordinatensystem

Anbauteile-Orientierung im Schalen-Koordinatensystem

Berechnung der sichtbaren Anbauteilkonturen in Bildkoordinaten

Mustervergleich Bildausschnitt mit Referenzbild

Merkmalsextraktion für Nieten

Computer Vision1_Seite 12

AnwendungsbeispieleObjektdetektion, -lokalisierung, -erkennung und –analyse aus Einzelbildern

Luft- und Satellitenbildauswertung• Landnutzung• Umweltüberwachung• Städtewachstum• Aufklärung

65

Geocoding

Raffinerieanalyse

• Tankanzahl• Orientierung• Größe

Einzeltankanalyse• Durchm .• Höhe• Kapaz.

Tanklageranalyse

Abrüstungskontrolle

Merkmalsextraktion aus der Karte

Merkmalsextraktion aus dem Bild

Klassifikation der Merkmale

Transformationsbestimmung Bild-Karte

Objektvermessung

Computer Vision1_Seite 13

AnwendungsbeispieleObjektdetektion, -erkennung, -positions- und –lagemessung und -verfolgungin Bildsequenzen statischer Kameras

Flugzeug-Andockleitsysteme

Flugha

fenge

bäud

e

Passagierbrücke

Rollfeld

Einroll-leitlinie

StoppositionVideokamera

B 737-300

Display

Suche nach Flugzeugtemplate Bild-Weltkoordinaten

Parameterschätzung (Lage und Position) durch Modellanpassung

Objektverfolgung

Computer Vision1_Seite 14

Anwendungsbeispiele

Fahrspurverfolgung, Detektion und Verfolgung anderer Verkehrsteilnehmeraus BildfolgenFahrerassistenzsysteme

• Spurhalteassistent• Automatische Cruise Control• Kollissionswarner• ...

Extraktion von Merkmalen der Fahrbahnmarkierung

Schätzung der Lageparam. Fahrspur im Kamera-Koordinatensystem

Schätzung der Eigenbewegung der Kamera

Bewegungskompensation für Fahrbahnebene

Bewegungskompensiertes Differenzbild

Binarisierung des bew.komp. Differenzbildes

Datenfusion

Computer Vision1_Seite 15

Anwendungsbeispiele

Arten der Anwendung• Emulation von Teilfähigkeiten menschlichen Sehens• Quantitative Messung in Bildern• Auswertung auch nicht-fokaler und nicht-optischer Sensoren

Komplexität• Aufgabenstellung• Variationsbandbreite der Randbedingungen

Computer-Fähigkeiten

Menschl.Fähigkeiten gutschwach

gut

2

4

6

Kognitive Verarbeitung

Quantitative Auswertung

Daten-Speicherung / -

Zugriff

Sensorvielfalt

Muster- erkennung

Bildauswertung ist ein universell einsetzbares Werkzeug.

Zusammenfassung

Computer Vision1_Seite 16

Anwendungsbeispiele

Sensoren• Video: sichtbar-optisch, focal plane array, Bildsequenz• Radar: nicht-optisch, nicht-fokal, scannend, Einzelbild

Algorithmen• Merkmalsextraktion• Merkmalsanalyse: Klassifikation, Templatematching• Ballung• Koordinatentransformation: Welt-Bild, Welt-Karte, Bild-Bild• Modell-Parameterschätzung• Bewegungsschätzung• Tracking• Fusion

Komponenten der Lösungen

Zusammenfassung