Computer Vision Maschinensehen - HS-KARLSRUHElaas0002/Skripte/CV1_Einfuehrung.pdf · Computer...

Computer Vision 1_Seite 1

Prof. Dr. Norbert Link

Computer VisionMaschinensehen


Dr.-Ing. Astrid Laubenheimer

Diplom-Mathematikerin

Fachhochschule Karlsruhe - Hochschule für Technik, IAF (damals IIT)Projektarbeit (BMBF und EU) im Bereich Bildverarbeitung und Intelligente Systeme

Fraunhofer Institut für Informations- und Datenverarbeitung IITBAbteilung Autonome Systeme und MaschinensehenGruppe Bildgestützte EchtzeitsystemePromoviert an der Fakultät für Elektrotechnik und Informationstechnik

Skripte und email:http://www.home.hs-karlsruhe.de/~laas0002/[email protected]

Wer bin ich?


Was ist ein Bild?

Wie entsteht ein Bild?

Anwendungsbeispiele

Zusammenfassung

Inhalte der Einführung


Was ist ein Bild?

Farbbild

Schwarz-Weiß-Bild (Grauwertbild)

Einführung


Intensität(Helligkeit) Farbe, z.B. RGB Wärme: IR

(Infrarot)

Diese Bilder visualisieren die reflektierte elektromagnetische Energie.(verschiedene Frequenzbänder)

Passiv

Aktiv

Röntgenstrahlung Mikrowellen-Radar

Was ist ein Bild? Einführung

sichtbar!

Magnet Resonanz


Mikrowellen-Radar-Bild der Venus

Ausschnitt

Picture element: „Pixel“Koordinaten: Spalte x = 151, Zeile y = 55, Grauwert g = 208Schreibweise: g(151,55) = 208


Ein Bild als Zahlenmatrix:

Spalte

Zeile


Das Venus-Bild:

• 40.000 Messwerte der Oberfläche der Venus• angeordnet in einer Zahlenmatrix mit 200 Spalten und 200 Zeilen• Die Werte werden indiziert mit

Zeilenindex y von 0 ... 199 und Spaltenindex x von 0 ... 199

hier: Ursprung (0,0) in der linken oberen Ecke

• Ursprüngliche Messwerte: Rückgestreute Mikrowellenenergie des jeweiligen Venus-Oberflächenelements.

• Bild repräsentiert diese Messwerte durch Grauwerte 0 ... 255 (8 bit):

0: keine Energie rückgestreut schwarz,255: maximale Energie rückgestreut weiß

x

y



Allgemeiner:

• Anzahl Zeilen und Spalten (Bildgröße) sensorabhängig (bis 12 000 x 240 000)Typische Bildgrößen sind z.B.:

• 768 x 576 Pixel• 640 x 480 Pixel (VGA-Bildgröße), 320 x 240, ...• 800 x 600 (SVGA)

• Grauwerteanzahl (Dynamikbereich) ist sensorabhängig (heute bis 16 bit).

• Auch Bilder mit anderen Datentypen (float, int32 etc.) finden Anwendung: z.B. als Zwischenergebnis bei der Bildverarbeitung.



Farbbilder: Enthält für jedes Pixel mehrere Werte (mehrere Kanäle)

Beispiel: Rot Grün Blau (RGB)

Koordinaten:Spalte x = 151, Zeile y = 55, Kanal d = 0Schreibweise: g(151,55, 0) = 255

Was ist ein Bild?

x

y

d

Einführung

Lena(oder Lenna)

rot

grün

blau


Farbbilder: Enthält für jedes Pixel mehrere Werte (mehrere Kanäle)

Beispiel: Hue Saturation Intensity (HSI) - Farbton, Sättigung, Helligkeit


Lena(oder Lenna)

Farbton

Sättigung

Helligkeit

Sättigung

Helligkeit

Farbton


Volumenbilder: 3D-Anordnung von Grauwerten

• Computer Tomographie (CT) oder• Magnet Resonanz (MR):


x

y

z

MR Studie.

Quelle: The Stanford volume data archive.http://www-graphics.stanford.edu/data/voldata/


// Grauwertbild als Matrixunsigned char g[breite][hoehe];

// Referenzierung:g[x][y] = ...

// Grauwertbild als arrayunsigned char g[breite*hoehe];

// Referenzierung:g[y*breite + x] = ...


Ein Bild im Rechner:

oder

// Farbbild als Matrixunsigned char g[breite][hoehe][tiefe];

// Referenzierung:g[x][y][d] = ...

// Farbbild als arrayunsigned char g[breite*hoehe*tiefe];

// Referenzierung:g[d*breite*hoehe + y*breite + x] = ...


Was ist ein Bild?

template<typename T> struct CImg{// Membervariablenunsigned int width; // Breite unsigned int height; // Hoeheunsigned int depth; // Anzahl Kanaeleunsigned int dim; // Anzahl BilderT *data; // Bilddaten

// Memberfunktionen

CImg(const unsigned int dx=0, const unsigned int dy=1,const unsigned int dz=1,const unsigned int dv=1)

{width = dx; height = dy;depth = dz; dim = dy;const unsigned int s = size();if (s > 0) data = new T[s];

else{data = NULL; width=height=depth=dim=0;

}}

const unsigned int size() const{ return width*height*depth*dim;

}

~CImg() {if (data != NULL) delete[] data;

}

// ...viele weitere Memberfunktionen....

};

// Instanzierung z.B. fuer 8bit-Bild:...CImg<unsigned char> myImage(200, 200, 1, 1);...

Einführung

Ein Bild als Instanz einer Klasse: Angelehnt an CImg von INRIA

INRIA:INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE

www.inria.fr



y-Achse

g(x,y)

xy-Ebene

Ein Bild als Höhenmodell: „Grauwertgebirge“

x

y

Das Bild g kann als (diskrete) Funktion auf (einem Gitter) der xy-Ebene aufgefasst werden: g(x,y)



Umgekehrt: Eine Funktion als Bild?

Beispiel Gaußfunktion:

20=σ

410−⋅

y-Achse

x-Achse

x‘

y‘

2

22

222

1),( σ

πσ

yx

eyxG+

−=

???


Was ist ein Bild?

g(x)

x

QuantisierenAbtasten

x x

Diskretisierung im Eindimensionalen:

Gegeben: Kontinuierliche Funktion bzw. analoges Signal gGesucht: Diskrete Funktion bzw. digitales Signal

• Abtasten (Sampling): Die Funktion wird an diskreten, äquidistanten Punkten abgetastet.

• Quantisieren: Der kontinuierliche Wertebereich wird auf endlich viele Werte eingeschränkt (z. B. durch Runden).

Einführung


Was ist ein Bild?

Diskretisierung im Zweidimensionalen:

• Die Funktion wird an jedem Gitterpunkt abgetastet.• Die Funktionswerte werden quantisiert.

2=σ

410−⋅

2

22

222

1),( σ

πσ

yx

eyxG+

−=

Einführung

x

y

g(x,y)


Was ist ein Bild?

Resampling zum ganzzahligen Verkleinern eines Bildes

Wie grob kann abgetastet werden, ohne dass Informationsverluste bzw. Informationsverfälschungen entstehen?

Antwort: Abtasttheorem (später)...

Original...

jedes 2. Pixel

jedes 3. Pixel

jedes 2. Pixeljedes 3. Pixel ... 4. ...

... 5. ...

jedes 2. Pixel

Einführung



Resampling zum Verkleinern eines Bildes

Original...

jedes 1,5te Pixelx x+1

y

y+1

x+δx

y+δy

Allgemeiner: Wie können Grauwerte zwischen den ganzzahligen Indizes bestimmt werden?



Nächster Nachbar

x x+1

y

y+1

x+δx

y+δy

Suche den nächstgelegenen Gitterpunkt und verwende dessen Grauwert.



Bilineare Interpolation

(x,y+1)

(x+1,y+1)(x,y)

(x+1,y)

x x+1

y

y+1

x+δx

y+δy

)1,1()1,()1(),1()1(),()1)(1(),(

++++−+

+−+−−=++

yxgyxgyxgyxgyxg

yxyx

yxyxyx

δδδδ

δδδδδδ

Gewichteter Mittelwert der vier benachbarten Grauwerte durch• zwei lineare Interpolationen längs x-Achse (grün),• anschließend eine lineare Interpolation längs y-Achse (rot) und Das Ergebnis ist i.A. keine ganze Zahl ⇒ Quantisierung erforderlich!


Was ist ein Bild?

Quantisieren zur Reduktion der Grauwerte (oder Farben)

Wie grob kann quantisiert werden, ohne dass Informationsverluste entstehen?Antwort: Quantisierungstheorem

256 Grauwerte 5 Grauwerte

Einführung

Quantisieren


Wie entsteht ein Bild? Einführung

Consumer Kameras und Camcorder

Radar (SAR)

Videokameras für den industriellen Einsatz

IR-Videokameras

ScannerMR-Tomograph

CT-Gerät


Von einem Weltpunktrückgestreute Lichtenergie

Auf einen Bildpunktauftreffende Lichtenergie

• Objektiv lenkt Lichtenergiestrom von einem Weltpunkt auf einen Bildpunkt der Sensorfläche.

• Sensor wandelt Lichtenergiestrom in elektrisches Signal.




Beispiel für einen Bildsensor: CCD-Sensor (Charge Coupled Device)

1

2

3

4

1) Ausleseregister2) Schieberegister3) Fotodiodenfeld4) Videosignal

• Photonen treffen auf die Fotodioden und erzeugen Ladung.

• Die Ladungen werden in die Schieberegister ausgelesen.

• Die Ladung wird Zeile für Zeile ins Ausleseregister transportiert.

Signal am Chip-Ausgang ist analog (Spannung)

-> A/D Wandler


CCD-Kamera-Chip

Sensorfläche

Ausleselogik

Ausschnitt

Sensorelemente(Pixel), ca. 5 µm Abmessung

Farbfilter

Linsen

Fotozellen

Wie entsteht ein Bild?



Alternativen zum Frame Grabber:

Übertragung des Videosignals via

• USB• Firewire


• MedizinDigitale MammographieKrebszellendetektion

• ProduktionRumpfschalenLogistik

• ÜberwachungVerkehrFlughafenSecurityEinzelhandel

• FahrzeugführungAndocksystemFahrerassistenzsysteme

Anwendungsbeispiele für maschinelles Sehen


Anwendungsbeispiele: Digitale Mammographie

DetektierteMikro-Kalzi-fikationen

Einführung


Anwendungsbeispiele: Krebszellendetektion Einführung

Klassifikator, der die Farbeneines Pixels und seiner

Nachbarn betrachtet

Mikroskopbild RGB⇓

HSI

Ergebnisbild

Lösung:Schritt 1 FarbraumtransformationSchritt 2 Klassifikation

Krebs(weiß)

Gesund(schwarz)

Schritt 3 Entfernung zu kleiner Strukturen, Auftrennung von Clustern

Schritt 4 Zählung

H S I


Anwendungsbeispiele: Produktion Einführung

Rumpfschalen-QualitätsprüfungAufgaben:

• Vollständigkeit• Richtigkeit• Maßhaltigkeit

Flugzeug-Rumpfschalen-Produktion

Anbauteile- Mustervergleich

• Randabstandsprüfung der Nieten• Vollständigkeit und Richtigkeit der

Anbauteile


Anwendungsbeispiele: Produktion Einführung

Logistik: Depalettierung

Roboterarm (KuKa) mit

• Matrixgreifer• Kamera

Scandurchlauf:

• Lagebestimmung


Anwendungsbeispiele: Verkehr

Verkehrsstrommessung

Verkehrssituationsanalyse

Einführung

Bewegungsschätzung!


Übersichtskamera

Segmentkamera

Nachgeführte Detailkamera

Landungsüberwachung auf Flughäfen

EinführungAnwendungsbeispiele: Verkehr


Anwendungsbeispiele: Überwachung

Security: Freigelände-und Gebäudeüberwachung

Statische Kamera

Master-Slave-Kamera

Schwenk-Neige-Kamera

Einführung


Anwendungsbeispiele: Überwachung

Aufklärung mittels Luft- und Satellitenbildauswertung

• Landnutzung• Umweltüberwachung• Städtewachstum• Aufklärung

Abrüstungskontrolle

Einführung


Anwendungsbeispiele: Einzelhandel

Kundenstrom-Messung

Einführung


Anwendungsbeispiele: Fahrzeugführung

Flugzeug-Andockleitsysteme

Flugha

fenge

bäud

e

Passagierbrücke

Rollfeld

Einroll-leitlinie

StoppositionVideokamera

B 737-300

Display

Einführung


Anwendungsbeispiele: Fahrzeugführung

Fahrerassistenzsysteme

• Spurhalteassistent• Automatische Kollisionsvermeidung• Kollisionswarnung

...

Detektion und Verfolgung anderer Verkehrsteilnehmeraus Bildfolgen

Einführung


Arten der Anwendung:• Emulation (funktionelles

Nachbilden) von Teilfähigkeiten des menschlichen Sehens

• Quantitative Messung in Bildern

• Auswertung von (für den Menschen) nicht sichtbaren Spektren

Computer-Fähigkeiten

Menschl.Fähigkeiten gutschwach

gut

2

4

6

Kognitive Verarbeitung

Quantitative Auswertung

Daten-Speicherung / -

Zugriff

Sensorvielfalt

Muster-erkennung

Bildauswertung ist ein universell einsetzbares Werkzeug!

EinführungZusammenfassung


xy

z

Kamerakoordinatensystemmit focus (Brennweite) f:

Bildebene

f

Sehstrahl

Wie wird die Abbildung modelliert? Einführung

Modellierung der Projektion:

Lochkamerasystem (Zentralprojektion)Orthogonalprojektion

z

y

Szenenpunkt

Projektionen aufdie Bildebene

Bildebene

Sehstrahl

Interne Parameter=

Kameraparameter!


Wie wird die Abbildung modelliert? Einführung

Welt-zu-Kameratransformation:

xy

z

x

y

z

Welt-zu-KameraTransformation

Kamerakoordinatensystem

Szenen-, Objekt- oderWeltkoordinatensystem

Lageparameter=

Externe Parameter!

Computer Vision Maschinensehen - HS-KARLSRUHElaas0002/Skripte/CV1_Einfuehrung.pdf · Computer...

Documents

Transcript of Computer Vision Maschinensehen - HS-KARLSRUHElaas0002/Skripte/CV1_Einfuehrung.pdf · Computer...