Computervisualistik Integration - uni-koblenz.deagas/lehre/ws0910/cvi/CVIh.pdf · Numerik Analysis...

Computervisualistik Integration

Dietrich Paulus

Wintersemester 2009/10

WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 0-1

CV Integration

Modulverantwortlicher Stefan Muller

Veranstaltung von Stefan Muller und Dietrich Paulus

Beteiligung von Jurgen Ebert, Lutz Priese, Steffen Staab,Karin Harbusch

Veranstaltung im Master Computervisualistik

Anrechenbar im Diplomstudiengang als Veranstaltung der CV

4 ECTS / LP


Gesamtubersicht I

1 Gliederung

2 Einleitung

3 Bildentstehung

4 Licht und Farbe

5 Interpretation von Bildern


Gesamtubersicht II

1 Gliederung1.1 CV Master1.2 Vorlesungen der CG1.3 Vorlesungen der AGAS1.4 Vorlesung CVI1.5 Quellen

2 Einleitung2.1 Unterschiede und Gemeinsamkeiten2.2 Licht und Farbe2.3 Photogrammetrie2.4 Modelle

3 Bildentstehung3.1 Einleitung3.2 Technischer Aufbau3.3 Storquellen


Gesamtubersicht III

3.4 Biologische Bildentstehung3.5 Abtastung3.6 Modelle3.7 Geometrie3.8 Orientierungsverfahren

4 Licht und Farbe4.2 Farbe4.3 Farberaume4.4 Abstande4.5 Kalibrierung4.6 Metamerie4.7 Color Constancy

5 Interpretation von Bildern5.1 Prinzipien5.2 Modelle


Gesamtubersicht IV

5.4 Orientierungsverfahren5.5 Objekterkennung5.6 Semantic Web und Ontologien5.7 Object Models5.8 Model Matching


1: Gliederung 1.1: CV Master

Wahlpflicht Forschungspraktikum,Sem Pflicht Wahlpflicht Wahlpflicht Mathematik / Interdisziplinarer Seminare, Soft ECTS SWS

CV CV Informatik Theoretische Bereich CV SkillsInformatik

Wahlpflicht AsthetikWahlpflicht Mathe / (3 ECTS, 2 SWS)

1. CV-Integration Wahlpflicht CV Informatik Theoretische ProjektmanagementJahr (4 ECTS, 2 SWS) (6 ECTS, 4 SWS) (6 ECTS, 4 Informatik Wahl aus (3 ECTS, 2 SWS) 31 20WS SWS) (6 ECTS, 4 Interdisziplinar

SWS) (3 ECTS, 2 SWS)Bildverarbeitung Team- und

III Fuhrungstraining1. (5 ECTS, 3 SWS) Wahlpflicht CV (3 ECTS, 2 SWS)Jahr (3 ECTS, 2 SWS) Seminar CV 29 18SS Computergraphik III (4 ECTS, 2 SWS)

(5 ECTS, 3 SWS) Forschungspraktiku(9 ECTS, 6 SWS)

Wahlpflicht Elektronische2. Wahlpflicht Mathe / BildbearbeitungJahr Wahlpflicht CV Informatik Theoretische (6 ECTS, 4 SWS) Seminar Informatik 30 19WS (5 ECTS, 3 SWS) (6 ECTS, 4 Informatik Wahl aus (4 ECTS, 2 SWS)

SWS) (6 ECTS, 4 InterdisziplinarSWS) (3 ECTS, 2 SWS)

Masterarbeit 30 20

WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 1.1-1

1: Gliederung 1.2: Vorlesungen der CG

CG

CG1

CG2

AnSim

ARVR

CVI

CG3

PCG

EZR


1: Gliederung 1.3: Vorlesungen der AGAS

1 Bildverarbeitung 1Die Veranstaltung behandelt den Anfang derBildverarbeitungskette: Bildaufnahme, einfach Filter, Punkteund Linien bis hin zu Segmenten. Statistik wird nichtverwendet. Programmier-Ubungen und Programmbeispielewerden in C++ geschrieben.

2 Bildverarbeitung 2Diese Vorlesung baut auf Bildverarbeitung 1 auf, behandeltkomplexere Merkmale und Objekterkennung. Ein bisschenStatistik wird verwendet. Die Programmiersprache ist C++.

3 Bildverarbeitung 3In BV3 geht es erstmals um 3D, Bildfolgen und Bewegung.Programmiersprache ist Matlab/Octave.



4 Medizinische Bildverarbeitung 1 (MI1)Diese Veranstaltung behandelt alles, was mit Rontgen undmedizinischen Videodaten zu tun hat, von Entstehung bis zurInterpretation. Es wird wenig Statistik verwendet und alsProgrammiersprache dient Matlab/Octave.

5 Medizinische Bildverarbeitung 2 (MI2)Die Veranstaltung MedBV2 enthalt im gegensatz zu MedBV1viel Statistik. Programmiersprache ist Matlab/Octave.

6 Pattern RecognitionIn PR gibt es viel StatistikIm Winter 2009/10: Dr. Marcin Grzegorzek



7 CV-IntegrationCV-I behandelt Themen aus CG und BV und derenGemeinsamkeiten (und Unterschiede).Themen

ProjektionsartenProjektive GeometrieHomogene KoordinatenPlenoptische FunktionFarbraumeMetamerieSensorcharakteristikaRadiometrische Kalibrierung

8 IPCV (Sommerschule, unregelmaßig)

9 Industrielle BildverarbeitungVeranstaltung im Bachelor. Anwendungsorientiert, vieleBeispiele, relativ einfache Algorithmen, SystemeErstmals im Winter 2009/10 durch Yannick Coulier, FhGErlangen, Blockveranstaltung



10 AMSSLAM, Robotik, Sensoren, Laser, Registrierung, Fusion

11 MTI-KolloquiumMedizinische Themen, nicht nur fur MedizinischeBildverarbeitung interessant.http://www.uni-koblenz.de/MTI/kolloquium


http://www.uni-koblenz.de/MTI/kolloquium


BV1

IBV

BV2

BV3

PRC

IPCV

AMS

MI1 MI2

MTI

CVI

AGAS



Statistics MI2

AMS

PRC

Linear Algebra

BV3

C++ BV1

Octave

MI1

Numerik

Analysis 1 Analysis 2BV2

IBV

IPCV

MTI

CVI



Vorlesungssprache

The language of science is English

Vorlesungsunterlagen generell auf Englisch1

Ausnahme: CVI – Folien auf Deutsch

Vorlesungen auf Deutsch

Handapperat

Erganzendes Material auf den Webseiten der Veranstaltungen

Evaluation

1Vorlesungsunterlagen sind kein Skript, sondern eine Arbeitserleichterung.Sie ersetzen nicht das Literaturstudium


Teilweise Material auch aus anderen Vorlesungen - hier mit deutschem Text


Dilbert, 17.09.2009Hier naturlich kein Powerpoint, sondern PDF (aus LATEX) - wassonst



Sprechstunden

Dietrich Paulus: Mittwoch 13:30-15:00 Uhr(nach Voranmeldung per E-Mail an [email protected])

Detlev Droege


mailto:[email protected]

1: Gliederung 1.4: Vorlesung CVI

Inhalt laut Modulhandbuch I

Radiometrische und photometrische Grundlagen

Spektren, XYZ-Farben und V(lambda)-Kurve

Photometrisches Strahlungsaquivalent

Die 5 Großen und ihre Einheiten : Licht und Farbe

Integration von photometrischen Großen in das rgb-System

Photometrische Konsistenz

CCD-Eigenschaften, Kamera-Eigenschaften,High-Dynamic-Range (HDR) Bilder

Tone-Mapping

Rendering Equation

Herleitung der Rendering Equation

Unterschiede zu colorimetrischen Modellen



Inhalt laut Modulhandbuch II

Materialbeschreibungen

BRDF und ihre Annaherungen

Methoden zur Erstellung und Vermessung

Dreidimensionalitat

3D Rekonstruktion (Rechnersehen)

3D Modellierung (Computergraphik)

Gemeinsamkeiten und Unterschiede (am Beispiel vomMPEG7)

Projektionsmodelle



Computervisualistik Integration

Computergraphik

DAS BILD

Bildverarbeitung und Bildinterpretation

Gemeinsamkeiten erkennenUnterschiede verstehen



V0: WS 2007/08: Paulus / Muller und Beitrage von Ebert, PrieseV1: WS 2008/09: Paulus / Muller und Beitrage von Ebert, Staab,Priese, HarbuschV2: WS 2009/10: Paulus / Muller und Beitrage von Ebert, Staab,Priese, HarbuschIm Rahmen dieser Vorlesung werden die Grundlagen undgrundsatzlichen Modelle der Bildentstehung aus Sicht derComputergraphik, der Bildverarbeitung und des Rechnersehensvorgestellt, ganzheitlich betrachtet und gegenubergestellt. DieVeranstaltung wird von 2 Dozenten (je einer aus Bildverarbeitungund Computergraphik) gemeinsam gehalten.


1: Gliederung 1.5: Quellen

Der Abschnitt 3.8 basiert auf

Wolfgang Forstner (2000): Moderne Orientierungsverfahren.Photogrammetrie — Fernerkundung — Geoinformation 2000(3): 163 – 176.

Richard Hartley, Andrew Zisserman (2003): Multiple ViewGeometry in Computer Vision – Second Edition. CambridgeUniversity Press, Cambridge, UK.

Texte, Bilder und Formeln zur projektiven Geometrie stammen vonProf. Dr. Helmut Meyer, Universitat der Bundeswehr, MunchenFigure 3.7-4 ist dem Skript von Helmut Meyer entnommen und inder Notation angepasst.Die Texte und Bilder zum Abtasttheorem (Abs. 3.5) zur Codierungund zu Abs. 5.7, 5.8 stammen von Heinrich Niemann (Erlangen)aus den Vorlesung ME1 und ME2. Material hierzu findet sich inseinen Buchern Niemann (1990, 2007)


2: Einleitung

Outline

Zusammenfassung 2: Einleitung

In diesem Abschnitt werden eher”philosophische“ Gedanken uber den

Begriff”Bild“ angestellt.

sab2-0


2: Einleitung 2.1: Unterschiede und Gemeinsamkeiten

Outline (Subsection Handout)

2: Einleitung

Zusammenfassung 2.1: Unterschiede und Gemeinsamkeiten

In diesem Abschnitt werden die Inhalte der Vorlesung eingefuhrt und

erklart, worum es sich bei den Themen handelt.

sab2-1



Wer hat recht?

Computergraphik ? (Stefan Muller)

Rechnersehen ? (Dietrich Paulus)

Photogrammetrie ? (Helmut Meyer)



Gibt es nur eine Wahrheit?



Grundlage der Bildentstehnung und des Bildverstehens

Physik

Anatomie

Physiologie

Psychologie

→ Gesamtprozess individuellNicht allein deswegen: es gibt mehrere gultige Interpretationen



Ernsthafte Bildverarbeitung muss den Bildentstehungsprozessverstehen und modellieren.Fur das Rechnersehen ist das sogar unerlasslich!



GraphikBildText Sound

SyntheseText

AnalyseSehen

Figure 2.1-1: Synthese und Analyse


2: Einleitung 2.2: Licht und Farbe


2: Einleitung

Zusammenfassung 2.2: Licht und Farbe

Licht und Farbe sind die zentralen Thema der Vorlesung.

Licht und Farbe werden in der CG und BV ahnlich betrachtet. Es

geht nun darum, Unterschiede und Gemeinsamkeiten zu klaren, was

Terminologie, Ausschnitt aus der Physik und technische Umsetzung

angeht.

sab2-2



Bild

1 Welt → Sensor → ← Bild2 Welt → Sensor(en) → Computer → Bild3 Weltmodell + Sensormodell → Bild4 Sensormodell ← Bild5 Weltmodell ← Sensormodell + Bild(er)6 Welt + Sensoren → Computer → Bild7 Karte ← Sensormodell + Bild(er)

1: Sensorbilder2: Computed Imaging3: Computergrafik4: Kalibrierung5: Bildanalye6: Visualisierung7: Photogrammetrie

Bilder: Medizinische Bildverarbeitung

a

aQuelle: http://www.givenimaging.com


http://www.givenimaging.com


Licht

Welt Sensor Bild

Licht GeometrieObjekte/Bild Quantisierung Bild/IdeeReflektion Spektrum

Physik Mathematik

Bildanalyse: Bildentstehung in der KameraComputergraphik: Bildentstehung in der Modellkamera, Bild-beobachtung

Beobachtungsmodell (auch erforderlich in der CG!)Aufgaben/Themen fur die Vorlesung



Model

Instanz

beschreibt

Aufbereitung

beobachtet

beobachtet

Medium

Mensch

Sensor

Welt

Beschreibung

BeschreibungBild

Graphik

Analyse

Themen:1 Bildentstehung 2 Licht und Farbe3 Modelle 4 Forschung und Anwendung


2: Einleitung 2.3: Photogrammetrie


2: Einleitung

Zusammenfassung 2.3: Photogrammetrie

Die Photogrammetrie ist eine Wissenschaft, die CG und BV verwendet.

Hier wird kurz eingefuhrt, um welche Themen sich die Photogramme-

trie kummert.

sab2-3



Bildgroße (Luftaufnahme) 23cm × 23cmAmateurkameras: 24mm × 36mmqc

Helmut Meyer



Definition 2.1

Photogrammetrie Photogrammetrie und Fernerkundung dienen zurberuhrungslosen Erfassung und Vermessung von Objekten mit Hilfevon Bildern. Die fruher eigenstandigen Gebiete

”Photogrammetrie“

mit Schwerpunkt auf geometrischen Fragen und”Fernerkundung“,

die sich vor allem mit der Bildinterpretation befasst, wachsen heuteimmer mehr zusammen. Diese Entwicklung soll durch das ’&’ inPhotogrammetrie & Fernerkundung ausgedruckt werden.

http://www.ipi.uni-hannover.de/52.html

Wesentliche Anwendungsbereiche von Photogrammetrie &

Fernerkundung sind die Erfassung und Aktualisierung topographischer

Daten fur Geo-Informationssysteme (GIS), die Erfassung von

Umweltparametern (z. B. Landbedeckung, Wasserverschmutzung,

Bodenerosion) sowie die 3D-Vermessung von Objekten in Industrie,

Medizin, Architektur, Archaologie und anderen Disziplinen. Der

Zusammenhang von Photogrammetrie & Fernerkundung mit anderen

Bereichen des Vermessungswesens ist in der Graphik verdeutlicht.


http://www.ipi.uni-hannover.de/52.html

2: Einleitung 2.4: Modelle


2: Einleitung

Zusammenfassung 2.4: Modelle

a

aTextvorschlage bitte schicken an [email protected]



2: Einleitung 2.4: Modelle

Modellebegriff

Physikalische Modelle (implizit)

BildentstehungFarbeReflektion

Szenegraph (explizit, CG)

Objektmodelle (explizit, CG, BV)

Objekterkennung (explizit, BV)

Modellbegriff der Softwartechnik / Semantic Web


3: Bildentstehung

Outline

Zusammenfassung 3: Bildentstehung

a




3: Bildentstehung 3.1: Einleitung


3: Bildentstehung

Zusammenfassung 3.1: Einleitung

a




3: Bildentstehung 3.1: Einleitung

CG: Hauptsachlich Lichtund MaterialBV: HauptsachlichKamera

Gemeinsamkeiten:

Graphische Modelle (Szenengraph, Semantische Netze)

(NEU) BRDF-Modellierung (Heigl and Niemann (1999); Heiglet al. (1999))


3: Bildentstehung 3.2: Technischer Aufbau


3: Bildentstehung

Zusammenfassung 3.2: Technischer Aufbau

In diesem Abschnitt werden Kameras erklart

sab3-2



Beleuchtung

Objektpunkt

in der Szene

xc

y c

zc

Reflektierte Strahlung

Optisches System

Kamera–Koordinatensystemc

Bildpunkt

Bildebene

z

x

(x i, y i

)T

i

Figure 3.2-1: Entstehung zweidimensionaler Bildinformation (nachPosch (1990))



Videostandards: CCIR (comite consultatif international desradiocommunications), EIA (electronics industriesassociation), digitales Video RS-422Historie: Bildrohrenheute: CCD (charge coupled device) Kamerasheute: CMOS2

Mittels Photodioden: kein Ubersprechen, da das Licht eineKapazitat entladt im Gegensatz zur Akkumulation vonLadung bei einerCCD!außerdem weniger Stromverbrauch, als CCDFullfaktor ca. 50% (Verhaltnis der empfindlichen Flache zurGesamtflache), Verstarker nah am Sensor! Dunkelstrom ca.100pA/cm2 (CCD 5− 10pA/cm2)CCD Chips bestehen aus lichtempfindlichen Elementen,genannt Pixel (picture elements)Auflosung: steigt standig: typischerweise 756× 581 heute biszu 60 Megapixel



Vorteile gegenuber Rohren: klein, billig, hohe Dynamik, großerlinearer BereichPixel ubertragt Licht (400nm to 1000nm) in Ladung (charge),die gemessen wirdweitere Effekte: thermische Effekte der Rauschen verursachtBelichtung des CCD Chips: elektronischer Shutter

2Fruher: C-MOS hatte starkeres Rauschen als CCD, heute scheint dasbehoben zu sein



Prinzip der CCD Kamera

memory

process.

videosignal

syncgenerat.

videointegration

control

dx

dy

gerade Zeilen

ungerade Zeilen

Sen

sor

arra

y

Figure 3.2-2: Prinzip der CCD Kamera



Zwei Bauprinzipien:1 Strahlteilung mittels Prisma, um drei Farbauszuge zu

bekommen, die auf 3 CCD Chips aufgenommen werden

Vorteil: hohrere Auflosung und Qualitataber: teurer, anfalliger gegen mechanische Erschutterungbenotigen spezielle Optik

2 Filter auf dem CCD-Chip fur verschidene Farbauszuge(ahnlich wie das Auge)

Vorteil: billig, keine speziellle Linse erforderlichNachteil: Geringere Auflosung

Farbstandards:

Europa: PAL (phase alternation line) und SECAM(sequential couleur a memoire) basierend auf CCIR

US: RS170, RS170a bekannt als NTSC (national televisionsystem committee)



1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

Rot-Pixel: 1

Grun-Pixel: 2

Grun-Pixel: 3

Blau-Pixel: 4

Makro-Pixel

(einfaches Modell)

Figure 3.2-3: Prinzip der 1-Chip CCD FarbkameraWS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.2-7


1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

Figure 3.2-4: Makro-Pixel der 1-Chip CCD Farbkamera



Typische Probleme des CCD Sensors:

Dunkelstrom unwichtig fur normale Anwendungen; Problemfur Astronomie

Ubersprechen: Nachbarelemente sprechen auch an



Progressive Scan Cameras

Interlace kann reduziert werden durch

Verwendung nur eines Halbbilds (fields)Tiefpassfilterung und Unterabtastungsehr kurze Belichtungszeit



Sensor: RechteckCCD (charge-coupled device) odf CMOS (complimentarymetal-oxide semiconductor) Sensoren

integration

control

process.

videosignal

video

dxdy

gerade Zeilen

ungerade Zeilen

Sen

sor

arra

y

Figure 3.2-5: Artefakte durch Bewegung



Interlace Sensoren:Bild wird in zwei Frames getrennt

gerade Zeilen

ungerade Zeilen

Verdoppelt die Rate fur die menschliche WahrnehmungBewegungsartefakte im Rechnersehen

Progressive scan Ganzes Bild auf einmal

Weiter Probleme:

Quadratische Pixel

Rechteckige Pixel dx × dy



1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

1 2

3 4

Grun: 2 Grun: 3

Blau: 4Rot: 1

LensBeam splitter

CCDs

RGB

CCD

CCDFilter for blue

Electro

nics

Filter for green

Filter for red

Figure 3.2-6: Farbaufnahme mit CCD Sensoren



Human Perception I

Auge des Menschen / Retina als Ideengeber fur Kamerabau

Linse

Retina

Iris


3: Bildentstehung 3.3: Storquellen


3: Bildentstehung

Zusammenfassung 3.3: Storquellen

Bildverarbeitung muss generell damit rechnen, dass Bilder fehlerhaft,

gestort oder ungenau sind. Hierfur wird im Folgenden ein einfaches

Modell angegeben.

sab3-3



Storquellen

Blooming

Dunkelstrom (Normalverteilt?)

Photonenrauschen (Poisson-verteilt)

Quantisierungsrauschen



Additives Rauschen:

g(t) = f (t) + n(t) . (3.3-1)

Zum Vergleich (hier nicht verwendet)Multiplikatives Rauschen:

g(t) = f (t) · n(t) . (3.3-2)



Weitere Storquellen

Optik

VerzerrungChromatische Aberration

Elektronik

Ubertragung

Außerdem: prinzipielle Beschrankungen der Physik, z. B. durchWellenlange des Lichts, Lichtgeschwindigkeit, Abtast-Theorem



Folge

Bildanalyse muss zurechtkommen mit (d. h., modellieren)

Unsicherheit

Ungenauigkeit

Unwissenheit

Unvollstandigkeit

→ Statistik und Bewertungsmaße


3: Bildentstehung 3.4: Biologische Bildentstehung


3: Bildentstehung

Zusammenfassung 3.4: Biologische Bildentstehung

a





Cornea

Fovea

Nerven

Retina

Nasale Seite

Optische

Achse

Pupille

Figure 3.4-1: Querschnitt des Auges



R−G S−W B−Y

BGR

Photorezeptoren

Figure 3.4-2: Schematische Darstellung der Reizverarbeitung in derNetzhaut entsprechend der Zonentheorie. (Vgl. Lang (1995))

L,M,S Photorezeptoren fur lang-, mittel- und kurzwelligesWS 09/10 Computervisualistik Integration (c) Dietrich Paulus 3.4-3


Dreikomponententheorie von Helmholtz

Drei verschieden Rezeptoren in der Netzhaut

Erklart additive Farbmischung

Erklart Farbfehlsichtigkeit

Erklart aber andere Aspekte des Farbensehens nicht

Gegenfarbentheorie Hering (1920)

Deutliche Wahrnehmungsunterschiede bunt-unbunt

Als rein empfindet man rot, grun, blau und gelb (Urfarben)

Rot ist nie grunlich oder Gelb blaulich (Gegenfarbenpaare)

Es gibt verschiedene Empfindlichkeiten fur Farbunterschiede

Zonentheorie von Kries (1920)

Kombination beider Theorien

Dreikomponenten auf Ebene der Sehzellen

Gegenfarben auf Ebene der Reizverarbeitung



Themen

Retina (→ RGB / Sensorik)

Farbwahrnehmung (→ Farbraume, v(λ))

Nervensystem (→ Vorverarbeitung, Filter)

Gehirn (→ Modelle, Wahrnehmung)


v lambda wird von Stefan Mueller eingefuehrt

3: Bildentstehung 3.5: Abtastung


3: Bildentstehung

Zusammenfassung 3.5: Abtastung

a





Abtasttheorem

t

digital analoganalog

MonitorBild-Matrix

Lautsprecher

f

f

Folge v. Abtastwerten

f (x , y)

fi

Mikrophon

fijx

y

t

f (t) f (t)

f (x , y)

Figure 3.5-1: ADDA Wandlung



Eigenschaften der Fouriertransformation:

Ortsbereich Frequenzbereich

Skalierung f (at) 1|a|F ( ξ

a)

Verschiebung f (t − t0) exp(−iξt0)F (ξ)

Symmetrie −1/(2π) · F (t) f (−ξ)

Ableitung dn f (t)/d tn (i ξ)n F (ξ)

Table 3.5-1: Einige Eigenschaften der Fourier-Transformation



3 4 5 6

Wie reprasentiert man Muster der oben gezeigten Art?

3SAR image from http://www.sandia.gov/RADAR/images/dc_big.jpg4Interferometrische Bildauswertung aus Merz et al. (1998)5PET Bild (Centro PET Complutense, Madrid, Spain, freigegeben)6

”Standardbild der Bildverarbeitung“: Lena, Playboy, copyright unklar


http://www.sandia.gov/RADAR/images/dc_big.jpg


Darstellung eines Musters - 2:Ein Muster wurde in Kapitel 1 definiert als Funktion

f(x) =

f1(x1, x2, . . . , xn)f2(x1, x2, . . . , xn)

. . .fm(x1, x2, . . . , xn)

.

Wie kann man eine solche Funktion darstellen?Im Allgemeinen hat eine derartige Funktion einen

kontinuierlichen Wertevorrat fur die x-Werte und einenkontinuierlichen Wertevorrat fur die Amplitudenwerte f ,

d. h. es gibt nicht-abzahlbar unendlich viele Funktionswerte.Ein Digitalrechner kann aber nur

endlich viele Werte speichern,endlich viele bits verarbeiten.

Man muss also die Funktion f(x) durch einen Vektor oder eineZahlenfolge f mit endlich vielen Werten approximieren.Dieses ist der/ein Zweck der Codierung



Codierung:Die Codierung erfolgt, indem man

die Amplituden (oder Funktionswerte) an endlich vielen, (hier:aquidistanten) Stutzstellen misst:Abtastung,

die Funktionswerte mit endlich vielen ganzzahligen Wertendarstellt:Quantisierung.

Aufnahme und Wiedergabe eines Musters

Vorfilterung Abtastung Codierung

SpeicherungUbertragungVerarbeitung

DecodierungNachfilterung

- - -

?

Aufnahmedes Musters

Wiedergabedes Musters



Probleme:1 Wieviele Abtastwerte braucht man?

Oder wie groß soll die Schrittweite bei der Abtastung sein?=⇒ Satz 3.2

2 Wieviele Quantisierungsstufen braucht man fur dieAmplituden?=⇒ Satz 3.3

3 Wie soll man die Quantisierungskennlinie wahlen?=⇒ Satz 3.5



Abtasttheorem — 1:

Definition 3.1

Die Funktion f (x) habe die Fourier Transformierte

F (ξ) =

∫ ∞

−∞f (x)e−iξx dx = FTf (x)

und es gelte

F (ξ) = 0 fur |ξ| > ξ0 = 2πBx .

Dann heißt f (x) bandbegrenzt im Frequenzbereich (−Bx ,Bx).



Theorem 3.2

(Abtasttheorem)Die Funktion f (x) sei bandbegrenzt im Frequenzbereich (−Bx ,Bx).Dann ist f (x) vollstandig bestimmt durch die Abtastwerte

fj = f (j∆x) , j = 0,±1,±2, . . . ,

wenn man als Abstand oder Schrittweite der Abtastwerte

∆x <1

2Bx=

π

ξ0wahlt.

Man kann f (x) aus der Interpolationsformel

f (x) =

∞∑

j=−∞

fjsin[2πBx(x − j∆x)]

2πBx(x − j∆x)

exakt rekonstruieren.



Abtasttheorem — Beweis (1):Erinnerung 1: Fourier Transformation (Fourier Integral)

F (ξ) =

∫ ∞

−∞f (x) exp [−iξx ]dx ,

f (x) =1

2π

∫ ∞

−∞F (ξ) exp [iξx ] dξ

Erinnerung 2: Fourier Reihe (Fourier Entwicklung) einer Funktion,die im Intervall (−ξ0, ξ0) periodisch ist.

F (ξ) =

∞∑

j=−∞

aj exp

[i2π

jξ

2ξ0

],

aj =1

2ξ0

∫ ξ0

−ξ0

F (ξ) exp

[−i2π

jξ

2ξ0

]dξ ,



Beweisidee 1:Wir berechnen f (x) aus dem Umkehrintegral der FT.Beweisidee 2:Dabei denken wir uns F (ξ) als eine Periode einer gedanklichperiodisch fortgesetzten Funktionund entwickeln F (ξ) in eine Fourier Reihe.



Abtasttheorem — Beweis (2):Da F (ξ) bandbegrenzt im Intervall (−ξ0, ξ0) ist, kann man es indiesem Intervall gemaß

F (ξ) =

∞∑

j=−∞

aj exp

[i2π

jξ

2ξ0

]

in eine Fourier Reihe entwickeln mit den Entwicklungskoeffizienten



aj =1

2ξ0

∫ ξ0

−ξ0

F (ξ) exp

[−i2π

jξ

2ξ0

]dξ

=1

2π

π

ξ0

∫ ξ0

−ξ0

F (ξ) exp

[iξ−jπ

ξ0

]dξ

= f

(−jπ

ξ0

)π

ξ0

= f (−j∆x)∆x

Dabei wurde ∆x = 12Bx

= πξ0

gesetzt.



Damit erhalt man fur F (ξ)

F (ξ) =

∞∑

j=−∞

f (−j∆x) exp [ijξ∆x ] ∆x

=∞∑

j=−∞

f (j∆x) exp [−ijξ∆x ]∆x .



Abtasttheorem — Beweis (3):Nun setzen wir den letzten Ausdruck fur F (ξ) in dasUmkehrintegral fur f (x) ein.

f (x) =1

2π

∫ ξ0

−ξ0

∞∑

j=−∞

f (j∆x) exp [−ijξ∆x ]∆x

exp [iξx ] dξ

=1

2π

∞∑

j=−∞

f (j∆x)

∫ ξ0

−ξ0

exp [iξ(x − j∆x)] ∆x dξ

=∞∑

j=−∞

f (j∆x)∆x

2π

[exp [iξ(x − j∆x)]

i(x − j∆x)

]ξ0

−ξ0

=∞∑

j=−∞

f (j∆x)∆x

2π

2 sin(ξ0(x − j∆x))

(x − j∆x).



Beachten wir nun, dass ξ0 = 2πBx , ∆x = 12Bx

und f (j∆x) = fj , sofolgt

f (x) =

∞∑

j=−∞

fjsin[2πBx(x − j∆x)]

2πBx(x − j∆x)



Anmerkung:Die exakte Rekonstruktion von f (x) erfordert offenbar dieSchrittweite ∆x = 1/(2Bx ) und eine unendliche Summe vonAbtastwerten.Fur die Approximation zeitlich begrenzter Funktionen mit einerendlichen Summe ist Vorfilterung und ∆x < 1/(2Bx ) sinnvoll.



Band– und Zeitbegrenzung:

Theorem 3.3

Es gibt keine Funktion (in L2), die sowohl bandbegrenzt als auchzeitbegrenzt ist (außer der identisch verschwindenden Funktion).

Beweis: s. z. B. R.E.A.C. Paley, N. Wiener: The Fourier Transformin the Complex Domain. American Mathematical Society.Providence RI, 1934

Folge: je schmaler eine Funktion im Zeit/Ortsbereich ist, um sobreiter ist sie im Frequenzbereich (und umgekehrt).



Abtasttheorem — 2:Man braucht einen Kompromiss zwischen

1 Genauigkeit der Darstellung,hohe Genauigkeit, viele Abtastwerte, kleine Schrittweite,

2 Speicherbedarf fur die Darstellung,wenig Speicherbedarf, wenig Abtastwerte, große Schrittweite.

Wir setzen also

f (x , y) → fj ,k

fj ,k = f (x0 + j∆x , y0 + k∆y) (3.5-1)

j = 0, 1, . . . ,Mx − 1 , k = 0, 1, . . . ,My − 1



Ohne Beschrankung der Allgemeinheit setzen wir weiterx0 = y0 = 0 sowie ∆x = ∆y = 1 Einheit.

Dann ist

fj ,k = f (j , k)



Abtastung: Es gibt drei regelmaßige Zerlegungen der Ebene.

6?y- x -x

6y

90.....................................................................................................6 - -

x

y

- xbb bb y

60..................................................................6jP TT TT TTTT TT TT TTTT TT TT P TTTT TTTTTTTTTTTT P

m mm mm ml ll ll lj jj jj j



Quantisierungsstufen - 1:

Quantisierung

-

6

r

r

r

r

0

1

2

3

f ′j

fmin fmax

fj -s

- -fj f ′j

6

-j

6

-j

fj f ′j

0

1

2

3

q q q q



Quantisierungsrauschen

nj = fj − f ′j

Signal-zu-Rausch Verhaltnis

r ′ =Ef 2

j En2

j

Annahme: Das Intervall (fmin, fmax) wird mit L = 2B Stufenquantisiert, die durch ganze Zahlen 0, 1, . . . , 2B − 1 gegeben sind.



Quantisierungsstufen - 2:

Theorem 3.4

Unter den im Beweis genannten Voraussetzungen und mit

r = 10 log10 r ′

gilt die Beziehung

r = 6B − 7, 2 .

In Worten: Wenn man ein bit mehr fur die Quantisierung nimmt,verbessert sich das Signal-zu-Rausch-Verhaltnis um 6dB.



Beweis: (Theorem 3.4)Es sei Ef = En = 0Die Zahl der Quantisierungsstufen sei so groß, dass derQuantisierungsfehler n nahezu gleichverteilt ist.Wenn s die Schrittweite des Quantisierers ist, so ist dieVerteilungsdichte des Fehlers

p(n) =

1s

fur −s2 ≤ n ≤ s

20 sonst .

Dabei ist vorausgesetzt, dass der Quantisierer nicht ubersteuertwird.Damit erhalt man fur die Varianz des Fehlers

En2j =

∫ s2

−s2

1

sn2 d n =

s2

12.



Mit der Bezeichnung

σf =√

Ef 2j

und der Annahme

fmin = −4σf , fmax = 4σf

erhalt man als Schrittweite

s =8σf

2B.

Einsetzen ergibt die Behauptung (nach Logar.)

r ′ = 12 · 22B−6 .



Quantisierungskennlinie:

-

-

f ′j

fja1

fmin

a2 a3 a4 aL+1

fmax

b1 b2 b3 bL

Fehlermaß

ε =L∑

ν=1

∫ aν+1

aν

(f − bν)2p(f ) df ,



Die optimale Quantisierungskennlinie ist durch die Werte aν , bν

definiert, fur die der Fehler ε minimiert wird.

Theorem 3.5

Die optimalen Werte aν , bν , welche ε minimieren, sind durch dieGleichungen

aν =bν−1 + bν

2, ν = 2, 3, . . . ,L = 2B ,

bν =

∫ aν+1

aνfp(f ) df

∫ aν+1

aνp(f ) df

, ν = 1, . . . ,L .

gegeben.Dabei ist vorausgesetzt, dass p(f = aν) 6= 0 ist.



Beweis: (Theorem 3.5)Die Bildung der partiellen Ableitung von ε nach bν und Nullsetzenderselben ergibt

∂ε

∂bν=

∫ aν+1

aν

−2(f − bν)p(f ) df = 0 .

Daraus folgt der Ausdruck fur die bν .



Analog erhalt man fur aν

∂ε

∂aν=

∂

∂aν

[. . .

∫ aν

aν−1

(f − bν−1)2p(f )df (3.5-2)

+

∫ aν+1

aν

(f − bν)2p(f )df

+ . . .]

= (aν − bν−1)2p(aν)− (aν − bν)

2p(aν)

= 0



Auflosen nach aν ergibt die andere Gleichung.Man erkennt: eine lineare Quantisierungskennlinie (mitgleichgroßen Quantisierungsstufen) ist nur dann optimal, wenn dieSignalamplituden gleichverteilt sind.



Erganzungen

Eine Codierung nach obigem Verfahren heißt auch Puls CodeModulation (PCM). Sie ist Ausgangspunkt der weiterenVerarbeitung.

Auf Codierverfahren mit speziellen Eigenschaften wurde nichteingegangen:

minimale Zahl von Bit zur CodierungFehlererkennung und -korrektur

Ein spezielles Codierverfahren ist die Lauflangencodierung.Es werden Paare (Grauwert,Lauflange) angegebenoder Paare (Grauwertsprung,Koordinaten).

Ein weiteres spezielles Verfahren ist die Kettencodierung



Resampling Methoden

Fourier Transformation

Interpolation

z. B. bei rechteckigen → quadratischen Pixeln



Aliasing

-1

-0.5

0

0.5

1

0 1 2 3 4 5 6 7 8

erte

-1

-0.5

0

0.5

1

0 1 2 3 4 5 6 7 8

Figure 3.5-2: Cosinus mit s Hz (links) abgetastet mit s/2 ((rechts))


3: Bildentstehung 3.6: Modelle


3: Bildentstehung


Computergraphik und Bildanalyse (Rechnersehen) bedienen sich dersel-ben Beschreibung von Geometrie. Mit homogenen Koordinaten werdengeometrische Objekte einfach beschrieben und transformiert.Diese Technik benutzt ausschließlich lineare Algebra.

Der folgende Abschnitt stammt von Helmut Meyer (vgl. Abs. 1.5).

sab3-6



Optische Sensoren:

CCD Kameras

Objektive (Zoom, Fix-focus, etc.)

Projektionsmodelle: Kameramodell

Perspektivische Projektion

Parallel Projektion

Schwach-perspektivische Projektion

Einfach−→ Lochkameramodell



Abstand

(xi, yi)T

zc

yc

(xc, yc, zc)T

zyi

F

−F

y

Tiefe

Figure 3.6-1: Lochkameramodell



Parallelprojektion

Tele-Objektiv

Telezentrischens Objektiv

Ursprung im LochEinfache Gleichungen

xi =F xc

zc

yi =F yc

zc

, (3.6-1)



Parallelprojketion

Ahnliche Gleichungen bei Ursprung in der Bildebene (verschobenum F )Wir setzen zc := F + z und berechnen den Limes

xi = limF→ 8

F xc

F + z= xc yi = lim

F→ 8

F yc

F + z= yc (3.6-2)



Brennpunkt

Bildebene

y

xy

x

Figure 3.6-2: Perspektivische (links) und orthographische (rechts)Projektion



Optik

FBlende

pc

pi

y c

y i

d d ′

Figure 3.6-3: Dunne Linse mit Blende



Lochkameramodell

x i = Fxc

zcy i = F

y c

zc. (3.6-3)

Dunnes Linsenmodell: d ′ Objektweite und d Bildweite

1

F=

1

d ′+

1

d. (3.6-4)



Abstand

(xi, yi)T

zc

yc

(xc, yc, zc)T

zyi

F

−F

y

Tiefe

Figure 3.6-4: Lochkameramodell



Mit homogenen Koordinaten wird aus dem Lochkameramodell einelineare Gleichung:

(x i

y i

)=

(Fxc/zc

Fy c/zc

)7→

Fxc

Fy c

zc

(3.6-5)

Wir erhalten die folgende Abbildung IP3 → IP

2:

uvw

=

Fxc

Fy c

zc

=

F 0 0 00 F 0 00 0 1 0

︸︷︷︸Pper

xc

y c

zc

1

(3.6-6)


3: Bildentstehung 3.7: Geometrie


3: Bildentstehung

Zusammenfassung 3.7: Geometrie

a





tx

−ty

tz

φx

φy

φz

2D Bild

3D Objekt

Weltkoordinatensystem w

Kamera-koordinaten-

system c

R, t

Figure 3.7-1: Transformation von Koordinatensystemn



Weltkoordinatensystem (w): beschreibt festen Referenzpunkt(im Prinzip beliebig gewahlt). (euklidisch xw,homogen xw)

Objektkoordinatensystem: Objektpunkte .Verwendung in der Computergraphik, nicht imRechnersehen

Kamerakoordinatensystem (c): an der (moglichereweisebeweglichen) Kamera. (euklidisch xc, homogen xc)

Bildkoordinatensystem (i): 2D -Koordinatensystem mitUrsprung auf optischer Achse in der Bildebene(euklidisch xi, homogen xi)

Pixelkoordinatensystem (p): 2D -Koordinatensystem, diskret,Ursprung normalerweise oben links. (euklidisch xp,homogen xp)

Pixelkoordinatensystem (m): 2D -Koordinatensystem, Ursprungin der Bildmitte M. (euklidisch xM, homogen xM)



xM

yM

xMH

yMH

H

M

Figure 3.7-2: Bildzentrum und Koordinatensysteme



zw

yw

xw

HpM

xM

yM

cw

F

pw

M

Figure 3.7-3: Homogene Kamera I



xM, yM Bildkoordinaten, bezogen auf MxMH , xM

H Bildkoordinaten des Hauptpunkts H bezogen auf dasBildzentrum MxM, yM, zM raumliche Bildkoordinaten bezogen auf dasBildzentrum MBildpunkt pM mit Koordinaten

(xM, yM, 0

)T bezogen auf das

Bildzentrum MF = KamerakonstanteProjektionszentrum cw mit (xM

c , xMc ,−F ) bezogen auf das

Bildzentrum MProjektionszentrum cw mit (xw

c , ywc , zw

c ) in WeltkoordinatenObjektpunkt pw = (xw, yw, zw)



zw

yw

xw

HpM

xM

yM

cw

F

pw

M

Figure 3.7-4: Homogene Kamera



xw

yw

zw

−

xwc

ywc

zwc

= s

xM

yM

0

−

xMc

yMc

−F



xw − xwc = s(xM − xM

c )yw − yw

c = s(yM − yMc )

zw − zwc = sF

xw−xwc

zw−zwc

= xM−xMc

Fyw−yw

c

zw−zwc

= yM−yMc

F

(3.7-1)

xw = xwc + (zw − zw

c )xM − xM

c

F, xM = xM

c + Fxw − xw

c

zw − zwc

yw = ywc + (zw − zw

c )yM − yM

c

F, yM = yM

c + Fyw − yw

c

zw − zwc



Kollinearitatsgleichungen

xM = xMc

zw−zwc

zw−zwc

+ F xw−xwc

zw−zwc

yM = yMc

zw−zwc

zw−zwc

+ F yw−ywc

zw−zwc

u′ = xMc (zw − zw

c ) + F (xw − xwc )

v ′ = yMc (zw − zw

c ) + F (yw − ywc )

w ′ = zw − zwc

(3.7-2)

u′

v ′

w ′

=

F 0 xM

c

0 F yMc

0 0 1

∣∣∣∣∣∣

−Fxwc − xM

c zwc

−Fywc − yM

c zwc

−zwc

xw

yw

zw

1

y = Px (3.7-3)



Ubergang zu euklidischen Koordinaten, Separierung in Matrizen furHauptunkt und Kamerakonstante



y =

1 0 xM

c

0 1 yMc

0 0 1

F (xw − xw

c )F (yw − yw

c )zw − zw

c

(3.7-4)

=

1 0 xM

c

0 1 yMc

0 0 1

F 0 00 F 00 0 1

∣∣∣∣∣∣

000

xw − xwc

yw − ywc

zw − zwc

1

(3.7-5)

=

1 0 xM

c

0 1 yMc

0 0 1

F 0 0 00 F 0 00 0 1 0

1 0 0 −xwc

0 1 0 −ywc

0 0 1 −zwc

0 0 0 1

xw

yw

zw

1



Die Kollinearitatsbediungung in Matrixform wird fur die Projektionauf den Bildschirm in der Computergraphik verwendet, da siemittels Vektorarithmetik extrem schnell berechenbar ist.



Dasselbe gilt auch fur Pixelkoordinaten mit Ursprung oben links.

(x i, y i) = (0, 0)

= (Hxp,Hy

p)

(0, 0)p

yp/i

xp/j

x i

y i

Figure 3.7-5: Koordinatensysteme der Bildebene



Allgemeine AbbildungsgleichungenGegeben:

Objektpunkt P(X)

Außere Orientierung der Kamera durch

Projektionszentrum c′(xwc) und

Rotationsmatrix R

Innere Orientierung modelliert durch

Kamerakonstante F

Hauptpunkt (xMc

, yMc

)

Maßstabsunterschied s der Achsen und Scherung der Achsen θ



Θ

x

y

u

v

Hx

Hy

op

o i

p

Figure 3.7-6: Pixelkoordinatensystem



x/y Koordinatensystem:

Ideales Koordinatensystem (wie bisher verwendet)(Bildkoordinatensystem mit Ursprung oi)

u/v Koordinatensystem:

Reales Pixelkoordinatensystem, (Ursprung op)

Θ: Winkel zwischen den Achsen,

kx, ky: Einheiten von u und v Achsen, im Hinblick aufEinheiten im x/y System

(Hx , Hy ): (verzerrt) Koordinaten des Ursprungs i im x/ySystem


3: Bildentstehung 3.8: Orientierungsverfahren


3: Bildentstehung

Zusammenfassung 3.8: Orientierungsverfahren

Computergraphik und Bildanalyse (Rechnersehen) bedienen sich dersel-ben Beschreibung von Geometrie. Mit homogenen Koordinaten werdengeometrische Objekte einfach beschrieben und transformiert.Diese Technik benutzt ausschließlich lineare Algebra.

Der folgende Abschnitt stammt von Helmut Meyer (vgl. Abs. 1.5).

sab3-8



Orientierungsverfahren I

Orientierungsverfahren auf Grundlage der projektivenGeometrieOrientierungsverfahren = pose estimation

Diese Orientierungsverfahren stellen direkte Losungen bereit,d. h. sie benotigen keine Naherungswerte und keineIterationen. Dies ist fur automatische Verfahren imNahbereich in vielen Fallen essentiell.

Geraden und Kegelschnitt e, wie z. B. Ellipsen, konnen anStelle von oder zusammen mit Punkten fur die Orientierunggenutzt werden.



Orientierungsverfahren II

Fur Anwendungen wie bildgestutzte Fahrzeugnavigation odervor allem erweiterte Realitat (augmented reality ) mithead-mounted Displays ist eine stabile und genaueOrientierung in Echtzeit erforderlich. Allerdings ist dieKamerageometrie, d. h. die innere Orientierung, oft nichtbekannt und/oder instabil.

Reprasentation und Projektion auf Grundlage projektiverGeometrie ist Standard im Bereich Computergrafik.



Stratifikation geometrischer RaumeGeometrische Raume konnen in Ebenen, d. h. Strata,7 unterteiltwerden, die durch ihre Eigenschaften charakterisiert sind.Ausgangspunkt ist, dass aus einer projektiven Abbildung ohneZusatzwissen nur der

”projektive Raum“ rekonstruiert werden kann.

Aus dem projektiven Raum kann man weder Langen noch Winkelund damit auch keine parallelen Geraden entnehmen. Letztereschneiden sich in

”Fluchtpunkten“. Das einzige, was der projektive

Raum erhalt (Table 3.8-1) sind”Doppelverhaltnisse“.

7lokal abgeschlossene Teile, die zusammenhangende glatteMannigfaltigkeiten sind



Fur vier Punkte auf einer Objektgerade (Figure 3.8-1) gilt:

AC

AD:

BC

BD=

A′C ′

A′D ′:

B ′C ′

B ′D ′.

A’B’C’

D’AB

C D

Figure 3.8-1: Doppelverhaltnis

Doppelverhaltnisse: Invarianten, d. h. Maße, die unter dem zu einer

”Ebene“ (Stratum) gehorigen Typ von Transformation erhalten

bleiben.



Im Weiteren

euklidische,

ahnliche,

affine und

projektive Raume

mit verschiedenen Invarianten:

Im zur Modellierung des 3D Raumes meist verwendeteneuklidischen Raum sind Langen und Winkel und damit auchLangenverhaltnisse nicht paralleler Geraden definiert.

Der ahnliche Raum unterscheidet sich vom euklidischen durchden undefinierten Maßstab. Dieser Raum kann nach derrelativen Orientierung aus zwei mit kalibrierter Kameraaufgenommenen projektiven Abbildungen rekonstruiertwerden.



Der in der rechten Abbildung dargestellte affine Raum zeichnetsich dadurch aus, dass parallele Geraden erhalten bleiben. DieWinkel zwischen ihnen konnen sich allerdings andern.

Im weiter oben dargestellten projektiven Raum gelten dagegennur die oben angesprochenen Doppelverhaltnisse.

Raum bestimmt durch Invariante Maße

projektiv Doppelverhaltnisse

affin Ebene im ∞ Langenverhaltnisse paralleler Geraden

ahnlich absoluter Kegelschnitt Winkel, Langenverhaltnisse nicht paralleler Geraden

euklidisch Maßstab Langen

Table 3.8-1: Invariante Maße


4: Licht und Farbe

Outline

Zusammenfassung 4: Licht und Farbe

a




4: Licht und Farbe 4.1: Einleitung

Siehe Abs. 3.4


4: Licht und Farbe 4.2: Farbe


4: Licht und Farbe

Zusammenfassung 4.2: Farbe

a




4: Licht und Farbe 4.2: Farbe

Farbe I

Was ist Farbe?

Wie stellen wir Farbe im Rechner da? → Farbraume

Wie nehmen wir Farbdifferenzen wahr? → Farbabstande


4: Licht und Farbe 4.3: Farberaume


4: Licht und Farbe

Zusammenfassung 4.3: Farberaume

a





CCD Kameras mit RGB:

RGB

=

0.842 0.156 0.091−0.129 1.320 −0.2030.008 −0.069 0.897

RperzeptivGperzeptivBperzeptiv

(4.3-1)



G

R

B

gelb(1,1,0)

(1,1,1)

rot(1,0,0)

magenta

(1,0,1)(0,0,1)blau

cyan(0,1,1)

(0,1,0)

schwarz(0,0,0)

weiß

grun

Figure 4.3-1: RGB-Farbwurfel



Der intensitatsnormierte rg–Farbraum, mit den Komponenten(r , g)T ergibt sich aus den RGB–Werten durch

(rg

)=

1

R + G + B

(RG

). (4.3-2)

Auf eine dritte Komponente kann verzichtet werden, da sich mitb = B/ (R + G + B) fur alle Pixel r + g + b = 1 ergibt.



Der YUV–Farbraum wird im europaischen Fernsehen verwendet.Die Konvertierung ist eine lineare Transformation desRGB–Farbraums:

YUV

=

Y

B − YR − Y

(4.3-3)

=

0.299 0.587 0.114−0.299 −0.587 1− 0.114

1− 0.299 −0.587 −0.114

RGB

Der Y –Kanal bildet dabei das Grauwertbild.



Der RGB–Farbraum besitzt den Nachteil, dass in einigen Bereichennegative Komponenten erforderlich sind, um fur den menschlichenBetrachter alle Farben darstellen zu konnen.RGB nach XYZ:X , Y und Z werden dabei als imaginar bezeichnet, da sie keinentatsachlich existierenden Gewichtungen fur monochromatischeLichter entsprechen, die in der Colorimetrie als primare Stimuliverwendet werden konnten.



Colorimetry I

−1.0−2.0 1.0

1.0

2.0

500

645.2444.4

526.3

555

400

470

480

490

r

g

(R)(B)

(G )

(E )



Colorimetry II

$x$

$y$

0.0 0.2 0.3 0.4 0.5 0.6 0.7 0.80.10.0

0.1

0.2

0.4

0.5

0.6

0.7

0.8

0.3

($G$)

($R$)

700

600

550500

470

380($B$)

Figure 4.3-2: xy–Diagramm des XYZ–Farbraums



Colorimetry III

Kurven der Spektralwerte bezuglich des so genanntenNormvalenztripels X ,Y ,Z



Die HSI– und HSL–Farbraume stellen Farben durch Hue,Saturation, Intensity / Luminanz dar. Die Wertebereiche liegen furH ∈ [0 . . . 2π], S ∈ [0 . . . 1], I ∈ [0 . . . 1].Konvertierung komplizierter, in der Literatur nicht einheitlich:

S =√

R2 + G 2 − R ∗ G − R ∗ B − B ∗ G

I =R + G + B

3

α =

π/2 wenn G > B3π/2 wenn B > G

H =

1 wenn G = B

1/2π(α− arctan((R − I )

√3/(G − B))

)sonst

(4.3-4)



L

S

R

c000

0,0Schw

H

CyGr

c120G

Bl Mag

W

c240

Figure 4.3-3: HLS–Farbraum



(Pomierski and Gross 1995) verwenden einen physiologischmotivierten Farbraum mit den Komponenten (RG ,BY ,WB),dessen Transformation in (4.3-5) angegeben ist.

RGBYWB

=

0.5 −1 0.5−0.875 0 0.875

1.5 1.5 1.5

RGB

(4.3-5)

Die so genannte Unbuntachse , die durch die Vektoren gebildetwird, die als weiß, grau oder schwarz wahrgenommen werden,ergibt sich hier als die WB Achse.



Aufbauend auf dem XYZ–Farbraum entwickelte die C.I.E. zwei sogenannte uniforme Farbraume: Abstande perzeptiv mittelsEuklid’scher DistanzDie beiden Farbraume werden als Luv–Farbraum undLab–Farbraum bezeichnet. Ersterer wurde von der CIE im Jahr1964 folgendermaßen definiert:

L∗ = 116 3

√Y

Yn− 16, (4.3-6)

u∗ = 13L∗(u′ − u′n), (4.3-7)

v∗ = 13L∗(v ′ − v ′n) (4.3-8)



Dabei gilt:

u′ =4X

X + 15Y + 3Z, (4.3-9)

v ′ =9Y

X + 15Y + 3Z, (4.3-10)

u′n =

4Xn

Xn + 15Yn + 3Zn

, (4.3-11)

v ′n =

9Yn

Xn + 15Yn + 3Zn(4.3-12)

Die Werte Xn, Yn und Zn sind die in den XYZ–Farbraumtransformierten Tristimulus–Werte des Stimuls gleicher Energie E ,also

Xn = 98.10, Yn = 100.00, Zn = 117.70 R ,G ,B ∈ [0, 100] nach (??)(4.3-13)



Fur Werte Y /Yn < 0.01 wird zur Berechnung vonL∗ statt derobigen folgende Formel verwendet: L∗ = 903.3Y /Yn. Fur dieweiteren Betrachtungen sei die Notation

fLuv = (L∗, u∗, v∗)T

eingefuhrt. Der Lab–Farbraum wurde von der C.I.E. im Jahr 1976definiert und lasst sich aus dem XYZ–Farbraum berechnen:

a∗ = 500

(3

√X

Xn

− 3

√Y

Yn

), (4.3-14)

b∗ = 200

(3

√Y

Yn

− 3

√Z

Zn

)(4.3-15)

Der Wert L∗ wird ebenso wie beim Luv–Farbraum berechnet.Entsprechend wird auch hier die Notation fLab = (L∗, u∗, v∗)T

eingefuhrt.



Zur Berechnung von Mischfarben hat der Luv–Raum im Gegensatzzum Lab–Raum den Vorteil, dass im uv–Diagramm der Punkt derMischfarbe auf der Geraden liegt, die durch die beiden Punkte derentsprechend zu mischenden Teilfarben bestimmt wird.



Ein Vertreter der Farbraume, in denen Farbinformation vonIntensitat getrennt ist, ist der YCrCb–Farbraum. Seine ersteKomponente Y steht fur die Luminanz . Die Komponenten Cr undCb enthalten die Chromazitat , die Farbigkeit.

C

B

M

R

G

W

Cb0,5

0,5−0,5

−0,5

Cr

Y

Figure 4.3-4: Die Lage der wichtigsten Farben in der Cr–Cb–Farbebenenach (Wang and Chang 1997): Blau (B), Magenta (M), Rot (R), Geld(Y), Grun (G), Cyan (C) und Weiß (W)



YCbCr

=

0.2989 0.5866 0.1145−0.1688 −0.3312 0.50000.5000 −0.4184 −0.0816

RGB

(4.3-16)


4: Licht und Farbe 4.4: Abstande


4: Licht und Farbe

Zusammenfassung 4.4: Abstande

a





Maß fur Qualitat eines Filters signal-to-noise ratio (SNR). FurFarbbildpaare definieren wir:

SNR = 10 log10

E [fiTfi]

E [niTni]

, (4.4-1)

wobei f i der Farbvektor und ni der Rauschvektor ist.



CIELAB Farb-Metrik

∆E∗ab =

√(∆L∗

ab)2 + (∆a∗ab)

2 + (∆b∗ab)

2 . (4.4-2)

Ein Wert von ∆E∗ab = 1 resp. ∆E∗

CH = 1 entspricht der minimalmenschlich wahrnehmbaren Farbdifferenz CIELAB Farbmetrikdurch CIE (International Commission on Illumination) verwendetden uniformen L∗a∗b∗ Farbraum.

lightness-axis L∗, red-green-axis a∗, yellow-blue-axis b∗ Sangwineand Horne (1998)

In diesem Farbraum: Euklidischer Abstand entsprichtWahrnehmung Zhang and Wandell (1998). Die Symbole∆L∗

ab,∆a∗ab und ∆b∗ab bedeuten komponentenweise Differenz



Die Farbdifferenz (4.4-2): ist nicht genau genug Zhang andWandell (1998). Neue Metrik CIE94 berechnet gewichteteEuklid’sche Distanz im L∗C∗H∗ Raum.Dieser Farbraum verwendet Polarkoordinaten fur Chroma C∗ undHue H∗ anstelle der kartesischen Koordinaten a∗ und b∗ im L∗a∗b∗

Raum. Chroma

C∗ab =

√(a∗)2 + (b∗)2 , (4.4-3)

und Hue

H∗ab = arctan

b∗

a∗. (4.4-4)

CIE94 Farbdifferenzen L∗C∗H∗ Raum durch

∆E∗CH =

√(∆L∗

ab

kLSL

)2

+

(∆C∗

ab

kCSC

)2

+

(∆H∗

ab

kHSH

)2

. (4.4-5)

kL, kS und kH Parameter (experimentell ermittelt) Zhang andWandell (1998)



Parameter Zhang and Wandell (1998):

kL = kS = kH = SL = 1 (4.4-6)

SC = 1 + 0.045¯C∗ab (4.4-7)

SH = 1 + 0.015¯C∗ab (4.4-8)

Die Werte SC und SH werden von den Mittelwerten des Chromasberechnet ¯C

∗ab fur die zwei gegebenen Farb-Stimuli.


4: Licht und Farbe 4.5: Kalibrierung


4: Licht und Farbe

Zusammenfassung 4.5: Kalibrierung

a





Radiometrische Kalibrierung

Color Checker

x

ρλ(x)

E (λ)

CCD-Chip Rk(λ)

Bild sk(x)

1K

Figure 4.5-1: Sensor, Reflektivitat, Messung



K Sensoren pro Bildpunkt, typischerweise je ein Sensor fur Rot,Grun und Blau, haben spektrale Empfindlichkeiten von

Rk(λ), (k = 1, . . . ,K ) (4.5-1)

Dadurch tastet jeder Sensor k im Punkt x folgendeEnergieverteilung des Lichts ab

sk(x) =

∫ ∞

0E (λ) · ρ(x, λ) · Rk(λ) dλ (4.5-2)

ρk(x) = Fk

(tb · e(x) · n(x)

∫ ∞

0E (λ) · ρ(x, λ) · Rk(λ)dλ

)

(4.5-3)

Fk = photometrische Antwortfunktion des k-ten Kanalstb = Belichtungszeite(x) = Einheitsvektor in Richtung Lichtquelle von der Stelle xausn(x) = Einheitsvektor der Oberflachennormalen an der Stelle x



Diskrete Gerate-Empfindlichkeiten I

nach Alsam and Finlayson (2002): Summe von L = 31Abtastungen

sk(x) =

L∑

λ=1

Eλ · ρλ(x) · Rk,λ ·∆λ . (4.5-4)

Vektor E = [Eλ]λ=1...L: spektrale Energie des Lichts,Vektor ρ(x) = [ρλ(x)]λ=1...L: diskrete Reflektanz an Position xMatrix R = [Rk,λ]

k=1,...,K ,λ=1...L diskrete spektraleEmpfindlichkeitskurven



Diskrete Gerate-Empfindlichkeiten II

Wir schreiben die Matrix R als Vektor

r := (R1,1 . . . R1,L,R2,1 . . . R2,L, . . . RK ,1 . . . RK ,L)

Wir definieren eine (KN × LK ) - Matrix A bestehend ausSensorantworten gemessen an N Punkten, entweder 0 oderProdukten aus Eλ · ρλ

s = Ar (4.5-5)



Diskrete Gerate-Empfindlichkeiten III

Im Speziellen, mit K = 3 ergibt dies

s1,r

s1,g

s1,b

. . .sN,r

sN,g

sN,b

= A

Rr,1

Rr,2...

Rr,L

. . .Rb,1

Rb,2...

Rb,L

(4.5-6)

Empirisches Ergebnis: A hat Rang 6 bis 8 Maloney (1986);Parkkinen et al. (1989).Einschrankungen zur Regularisierung Alsam and Finlayson (2002):



Diskrete Gerate-Empfindlichkeiten IV

1 Sensor Positivitat:Rk,λ ≥ 0 wobeil k ∈ 1, . . . ,K, λ ∈ 1, . . . ,L

2 Sensor-Glattheit:|Rk,λ − Rk,λ+1| ≤ T fur eine Schwelle T undλ ∈ 1, . . . ,L− 1

3 Unimodalitat:∀k∃κ : Rk,λ < Rk,λ+1 fur λ ≤ κ und Rk,λ > Rk,λ+1 fur λ > κ

4 beschrankter Vorhersagefehler:|si −

∑Lj=1 Ai ,j · rj | ≤ ǫ fur i ∈ 1, . . . ,N.



Diskrete Gerate-Empfindlichkeiten V

In Paulus et al. (2002)

geringfugig schwachere Einschrankungen fuhren zu linearemProblem

Losung mit SVD(A) = UΣVT

Lineare Approximation der Kalibrierzusammenhange

r =(VPΣ2VT + µ · G

)−1VPΣUTs . (4.5-7)

mit

Regularisierungsparameter µMatrix P zum Erzwingen des RangsMatrix D



Diskrete Gerate-Empfindlichkeiten VI

Simultane OptimierungOptimierung der Kriterien 1–4In einigen Fallen geringfugig schwachere Einschrankungen.Ungleichungen durch Zielfunktion erseztKriterium 4 wird beschrieben durch

||Ar − s||2 → min . (4.5-8)

Leicht abgeschwachte Version des Kriteriums 2:

K∑

k=1

L−1∑

λ=1

(Rk,λ − Rk,λ+1)2 → min . (4.5-9)



Diskrete Gerate-Empfindlichkeiten VII

Indem hier Qudrate statt der Norm |Rk,λ − Rk,λ+1| verwendetwerden, ergibt sich eine Bestrafung großerer Abstande. Wirdefinieren eine L× L Matrix8

G =[Gi ,j

]=

1 −1 0 0 . . . . . . 0−1 2 −1 0 . . . . . . 00 −1 2 −1 0 . . . 0

. . .0 . . . 0 −1 2 −1 00 . . . . . . 0 −1 2 −10 . . . . . . . . . 0 −1 1

(4.5-10)



Diskrete Gerate-Empfindlichkeiten VIII

und eine weitere K · L× K · L Matrix

G =

G′

0 · · · 0

0 G · · · 0...

......

...

0 0 0 G′′

mit

[G ′

i ,j

]=

0 falls i = 1, j = 2

Gi ,j sonst[G ′′

i ,j

]=

0 falls i = L− 1, j = L

Gi ,j sonst

(4.5-11)Damit wird Einschrankung 2 zu

L∑

k=1

L−1∑

λ=1

(rk,λ − rk,λ+1)2 = rTGr→ min . (4.5-12)

Ableitungen∂

∂rrTGr = 2 · rTG , (4.5-13)



Diskrete Gerate-Empfindlichkeiten IX

da G symmetrisch ist. Verknupfung von (4.5-12) mit (4.5-8) ergibt

f := ||Ar − s||2 + µ||rTGr|| → min (4.5-14)

fur ein festes µ > 0. Ableitungen von (4.5-14) ergeben

∂f

∂r= 2rTATA− 2sTA + 2µ · rTG (4.5-15)

– einen Vektor der Dimension K · L.



Diskrete Gerate-Empfindlichkeiten X

Wir setzen∂f

∂r= 0

und losen das fur r, wie im Folgenden gezeigt wird. Wir erhalten

rT(ATA + µ ·G

)= sTA . (4.5-16)



Diskrete Gerate-Empfindlichkeiten XI

Da(ATA + µ · G

)symmetrisch und positiv definitit ist, erhalten

wir

r =(ATA + µ ·G

)−1ATs . (4.5-17)

Dies ist eine Regularisierung ahnlich einer TikhonovRegularisierung, wie sie in Piana and Brown (1998) verwendet wird.



Diskrete Gerate-Empfindlichkeiten XII

Rang-EinschrankungEinschrankung, dass rank (A) ≤ 8.Faktorisierung

A = UΣVT

mittels SVD,Σ: Diagonalmatrix der Singularwerte σi of AΣ = diag (σi ) with σi ≥ σi+1.Wir definieren eine Matrix

P = [Pij ]i ,j=1...N



Diskrete Gerate-Empfindlichkeiten XIII

wobei Pij = 1 fur die ersten 8 Elemente der Diagonalwerte

P =

1 0 0 0 0 0 0 0 00 1 0 0 0 0 0 0 00 0 1 0 0 0 0 0 00 0 0 1 0 0 0 0 00 0 0 0 1 0 0 0 00 0 0 0 0 1 0 0 00 0 0 0 0 0 1 0 00 0 0 0 0 0 0 1 0

Erzeuge Σ′ als

Σ′ = PΣ



Diskrete Gerate-Empfindlichkeiten XIV

Uberprufe P9,9 = σ9 > θ fur eine kleine Schwelle θ; Falls das nichtder Fall ist, kann die Messmatrix A nicht korrekt sein oder sieenhalt zu viel Rauschen.

Einsetzen in (4.5-17) ergibt

r =(VPΣ2VT + µ ·G

)−1VPΣUTs . (4.5-18)



Diskrete Gerate-Empfindlichkeiten XV

TestdatenVon Kobus Barnard Barnard et al. (2002): Daten fur K = 3 andL = 101.9

Gemessen mit D65 Beleuchtung

8Vergl. die Matrix zur 2. Ableitung in Barnard and Funt (2002).9Verfugbar im Internet in

http://www.cs.berkeley.edu/~kobus/research/data/camera_calibration/index.html.WS 09/10 Computervisualistik Integration (c) Dietrich Paulus 4.5-18

http://www.cs.berkeley.edu/~ kobus/research/data/camera_calibration/index.html


Eigene (neuere) Arbeiten:

HDR (mit Unterstutzung des FB3 (Physik))

Endoskopie (in Zusammenarbeit mit der FhG, Erlangen),Munzenmayer et al. (2006)

Schatzung der Kamerasensitivitaten (bei bekannterBeleuchtung)

Schatzung der Beleuchtung (bei bekannten Sensitivitaten)



Lichtquelle HDR-Kamera

λ

LinseLinse Spiegel

Photodiode

MonochromatorPolarisationsfilter

Figure 4.5-3: Versuchsaufbau



0

200

400

600

800

1000

1200

1400

1600

400 450 500 550 600 650 700

Wavelength

G1-KanalB-KanalR-Kanal

G2-KanalPix

elwer

t

Figure 4.5-4: Sensorantwortenbei 15mW

0

200

400

600

800

1000

1200

1400

400 450 500 550 600 650 700 750

5mW10mW15mW20mW

Wellenlange

Pix

elwer

t

Figure 4.5-5: Sensorantwort furGrun 1 bei 5, 10, 15 und 20mW



-0.0005

0.0000

0.0005

0.0010

0.0015

0.0020

0.0025

0.0030

400 450 500 550 600 650 700

Radia

nce

[W/(s

r∗

m2)]

Wavelength [nm]

OriginalConstrained PE

Schatzung des Beleuchtungsspektrums

0.0

0.2

0.4

0.6

0.8

1.0

400 450 500 550 600 650 700

Refl

ectivi

tyS

Wavelength [nm]

OriginalReconstructed

P5 = J18 (∆E∗

ab= 3.31, εæ = 2.25)

Figure 4.5-6: (a) Schatzung des Beleuchtungsspektrums mitµ∗ = 0.00001, r∗ = 3, ν∗ = 0.1 im Vergleich zur Referenzmessung. (b)Schatzung des Oberflachenspektrums eines grunen Patchs (J18) mittelsWiener-Inverse (ρ = 0.99). (aus Munzenmayer et al. (2006))


4: Licht und Farbe 4.6: Metamerie


4: Licht und Farbe

Zusammenfassung 4.6: Metamerie

a





Thanks to Fogra (Andreas Kraushaar)



FWS, Aachen, 2008

Andreas Kraushaar | [email protected] 3

Farben sind Taten des Lichts, ...



FWS, Aachen, 2008


...,Taten und Leiden



FWS, Aachen, 2008


„Die haben‘s nicht gewusst.“



FWS, Aachen, 2008


Im 19. Jahrhundert war eine dem Scheele-Grün verwandte Farbe, das seit 1814 hergestellte „Schweinfurter Grün“, eine Verbindung aus

Kupferarsenit und Kupferacetat, sehr beliebt. Wegen ihrer Brillanz und ihres bei Tages- und Kunstlicht gleich bleibenden Tons wurde sie im

Biedermeier besonders gern als Tapetenfarbe benutzt“

E. Vaupel, Kultur & Technik 04/2005

Die schon



FWS, Aachen, 2008


2. Warum Multispektraltechnik?

Heute

• metamere Reproduktion

• ein Beobachter (z.B. 2°)

• eine Lichtart (z.B. D50)

• dreikomponentige Farbe

(„Unterabtastung“)

• durchgängige Verarbeitung von Spektren

• weniger Lichtartmetamerie

• weniger Beobachtermetamerie

• Glanz, Textur, ...

Morgen?


5: Interpretation von Bildern

Outline

Zusammenfassung 5: Interpretation von Bildern

a




5: Interpretation von Bildern 5.1: Prinzipien



Zusammenfassung 5.1: Prinzipien

a




5: Interpretation von Bildern 5.1: Prinzipien

Classification of simple patterns

f f ′ c

Lernen

KlassifikationSignal

Stichprobe

Vor-verarbeitung

Merkmals-extraktion

Ergebnis

κ


5: Interpretation von Bildern 5.2: Modelle




a





Modelle in CG und CV

implizite

explizite

Software-Modelle



Coding, Filter etc.

Preprocessing

Lines, Regions, ... Words ...

Mainly data driven (bottom up)

Objects

Dialog

Model driven analysis (top down)

Inference

State Description

Segmentation into ...

Recognition of ...

Utterances

R



Stukturelle Modelle

Unterscheidung nach Broy and Rumpe (2007)

Modelle in der Softwaretechnik (explizt)

Modelle in der klassischen Ingenieurwissenschaften / Physik(Formeln)

Modelle der Bildanalyse ahnlich zu denen der Softwaretechnik(Technik: UML)

Eigenschaften eines Modells nach Stachowiak (1973) (vgl. Broyand Rumpe (2007))

hat einen Zweck

hat einen Bezug zum Original

ist eine Abstraktion des Originals


5: Interpretation von Bildern 5.4: Orientierungsverfahren



Zusammenfassung 5.4: Orientierungsverfahren

Orientierungsverfahren dienen der Feststellung des Sichtpunkts und derOrientierung der Kamera (oder des Beobachters) in der Welt.

Neben den Verfahren, die in Abs. 3.8 eingefuhrt wurden, konnen auch

modellbasierte Methoden verwendet werden, die im Folgenden erklart

werden.

sab5-4



Teilproblem: Pose-Schatzung I

In der Regel: Gleichungssystem mit Punkten im Bild undunbekannten Transformationsparametern

Punkte Haralick et al. (1989), DeMenthon and Davis (1992)

Segmente : Dhome et al. (1989), Rehrmann and Priese (1998)

Spezifische Merkmale von Segmenten (Form, Punkte auf demUmriss): Geraden Kumar and Hanson (1994),Konturen Marchand et al. (1999), Punkte aufKonturen Drummond and Cipolla (2002),

Merkmale im Frequenzraum : Guo et al. (2005)

Relativ abstrakte Merkmale : Lowe (2004)

Zuordnungsstarategien:

PCA : Gonzalez and Woods (2001)



Teilproblem: Pose-Schatzung II

Nearest Neighbor Search Nayar et al. (1996)

Randomized Trees Lepetit et al. (2005)

Homographieschatzung: ((Hartley and Zisserman 2003, S. 87ff)),Direct Linear Transformation Faugeras (1993),Genc et al. (2002): bild- und modellbasierte Poseschatzung mitWissensakquisition



Zentrale Bereiche fur die Wissensbasierte Bildanalyse nach Liedtkeand Ender (1989)

Reprasentation

Kontrolle

Nach Abrams et al. (1993) KBIA in den 80’er Jahren popular –aber Fehlschlag!10

Erfolgreich z. B. aus Erlangen: Niemann et al. (1996) Sagerer(1985); Niemann et al. (1985, 1990); ERNEST Niemann et al.(1990) Fischer et al. (1998)Ebenfalls bedeutsam: Wissensakquisition und Lernen

10In der Veroffentlichung fehlen Referenzen auf die erfolgreichen Systeme der90’er Jahre in Deutschland



Beispiele: Body Tracking Thome et al. (2006)

Body Tracking aus Thome et al. (2006)



Analyse durch Synthese

Sicht auf 3-D-Modell Vergleich Kameraaufnahme

S(Renderbild,Kamerabild)

Bilderzeugung mitParametervektor (rx , ry , rz , tx , ty , tz)

Erkenntnis: Graphik bietet machtige Werkzeuge – aber einfacheReprasentation



Bild f

ModellM ModelleMi

Parametervektor a, z. B. (R, t)

Graphikfunktion G (M; a) liefert Bild g

Abstandsfunktion d(g, f)

Poseerkennung : a∗ = argminad(f,G (M; a))

Objekterkennung (a∗, i) = argmina,id(f,G (Mi ; a))

Weitere Probleme:

Startwerte fur a

Wahl der Optimierungsfunktion (vgl. http://www.nr.com)

Parametierung (z. B. der Rotation) ( faire Parametierung)


http://www.nr.com


Schatzung der F-Matrix



Parametrierung I

fair

geeignet (z. B. Quaternionen statt R)

ggf. Normieren



Parametrierung II

If the only tool that you have is a hammer, everything looks like anail11

LSE nicht immer optimal!

Bayes / MAP

Min Entropy / MMI

nichtlineare Optimierung

etc.

11Old saying credited to Abraham Maslow, a famous psychologistWS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.4-10


Zuordnung

Bilder

Merkmale

Segmentierungsergebnisse



Bezeichnungen / Begriffe

Bild Welt

Segmente ObjekteGruppierungen Szenen

Punkt im Bild ObjektpunktLinie, Polyline Objektkante

Region, Polygon FlacheVolumen-Kontour Korper


5: Interpretation von Bildern 5.5: Objekterkennung



Zusammenfassung 5.5: Objekterkennung

Objekterkennung ist eines der zentralen Probleme des Bildverste-

hens. In vielen Fallen werden explizite Objektmodelle zur Erkennung

eingesetzt. Hier ergeben sich Querbezuge zu anderen Disziplinen,

insbesondere zur Softwaretechnik und Computergraphik.

sab5-5



Just an outline:Store knowledge about the world in a so-called model that ideallyhas approximately the same structure as the result of featureextraction or segmentationMatch features to modelChoose best fitting model

Example: model cube by wire frame (lines), match them to thelines segmented in the image

This is – of course – oversimplified. Matching as well as modelingis a very complex topic.



Messwerte

(4,3)

KreisKreis KreisKreisKreisKreisKreis

RechteckRechteck

Gruppe

Figure 5.5-1: Erkennen eines Dominosteins



Modelle fur die Bildverarbeitung

Mogliche geometrische Modellierungen je nach Anwendungsfall:

(a) kantenorientiert

(b) flachenorientiert

(c) volumenorientiert

a)

KAPITEL 3. MODELLE DREIDIMENSIONALER OBJEKTE 25(a) (b) (c)Bild 3.2: (a) eine volumenorientierte, (b) eine kantenorientierte und (c) eine achenori-entierte Modellierung eines 3DObjektssowie die Bestimmung des vom Objekt eingenommenen Raumes unmoglich. Letzterer kann le-diglich naherungsweise durch Bildung der konvexen Hulle [Meh84a, Seite 93] der Punkte desModells geschatzt werden.3.2.2 Flachenorientierte ModellierungEin Flachenmodell enthalt die Darstellung der Flachen, die das Objekt begrenzen, durchFlachenelemente (engl. surfacepatches) [Shi87, Seiten 189195, 293207]. Dies sind gewohnlichFlachen mit einer einfachen analytischen Beschreibung, z.B. Quadriken [Fau86] oder Approxi-mationen von Freiform achen mit Bezier oder BSplineFlachen [New86, Kapitel 21]. Bei der achenorientierten Modellierung (engl. boundary representation) ist eine Bestimmung verdeck-ter Flachen und Linien des 3DObjekts und die Bestimmung des vom 3DObjekt eingenomme-nen Raumes nur dann moglich, wenn zusatzlich fur jede Flache bekannt ist, auf welcher Seitesich das Volumen des Korpers bendet. Dies kann, wie in [Xu90], durch die Orientierung derFlachennormalen vom Volumen des Korpers weg geschehen. Solche Flachenmodelle werden inder Literatur sowohl als Volumenmodelle [Xu90, Seite 19] als auch als Flachenmodelle [Bal82,Seiten 266268] eingeordnet. Bild 3.2(c) skizziert ein Flachenmodell des in Bild 3.2(a) darge-stellten 3DObjekts. Je nach Art der fur die Modellierung zugelassenen Flachentypen, ergibtsich auch hier das Problem, da die Darstellung nicht eindeutig ist.3.2.3 Volumenorientierte ModellierungDas Volumenmodell eines 3DObjekts (engl. volumetric representation) deniert die Ausdeh-nung des 3DObjekts durch Volumenelemente. Diese Denition kann durch die Zerlegung in

b)


c)




Probleme

Fehler im Sensor

Ungenauigkeit durch Digitalisierung

Fehler in der Segmentierung

Unsicherheit der Zuordnung

→ Suchproblem



(4,3) (4,4)

KreisKreisKreisKreis KreisKreisKreisKreisKreisKreis KreisKreisKreisKreisKreis

RechteckRechteckRechteckRechteck

GruppeGruppe

Figure 5.5-2: Suchproblem beim Erkennen eines Dominosteins



Suchproblem der Analyse

m2m4

m1

m3

o1

o2

o3 o4

o5o6

o7

o8



M’

NilP

NilM

P’

Figure 5.5-3: Association



Menge der moglichen Zuordnungen

Suchbaum

Kombinatorische Explosion

Pruning benotigt

Erfordert Strategie



Verstehen erfordert Wissen, das explizit in einer Wissensbasisgespeichert ist

Gutemaße der Segmentierung sind erforderlich

Suchproblem (Ungarischer Algorithmus, A∗–Graphsuche,dynamische Programmierung)


5: Interpretation von Bildern 5.6: Semantic Web und Ontologien



Zusammenfassung 5.6: Semantic Web und Ontologien

a




5: Interpretation von Bildern 5.6: Semantic Web und Ontologien

Semantic Web

Modern

teilweise traditionelle Ideen neu aufbereitet

Beschreibungslogik

Deduktion


5: Interpretation von Bildern 5.7: Object Models



Zusammenfassung 5.7: Object Models

a





1. MODELLE



2D– und 3D–Modelle:Mit Objekterkennung werden hier zwei Teilaufgabenzusammengefasst, namlich die

Identifikation (oder die Klassifikation) — die Ermittlung derObjektklasse oder des symbolischen Klassennamens

Lokalisation — die Ermittlung der Lage im Raum (3D) oderin der Ebene (2D)Bei einem starren Korper erfordert das die Berechnung

fur den 3D–Fall — von 3 Koordinaten fur die Translation und3 Winkeln fur die Rotationfur den 2D–Fall — von 2 Koordinaten und 1 Winkel

EinModell enthalt die rechnerinterne Reprasentation derEigenschaften eines Objekts, die zu seiner Identifikation undLokalisation notwendig sind.



Man unterscheidet

3D–Modelle — in dreidimensionalen Objektkoordinatensie modellieren das 3D–Objekt

2D–Modelle — in zweidimensionalen ObjektkoordinatenSie modellieren eine Ansicht (Projektion) des 3D–Objekts

Modelle konnen globale und/oder lokale Attribute (oder Merkmaleoder Eigenschaften) enthalten.lokale Ansatze sind nutzlich z. B. bei teilweisen Verdeckungen



Schematisiertes Beispiel:

-xo

3

yo

6zo

u

-xo

6yo

u

-xw

3

yw

6zw

BBBBM

αu!!!!!!!!

.............................................................................

.............................................................................

....................................................................

................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

...................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

...........................................................................................................................

-xp

6yp

αu

BBBBBBBBBBBBBBBBBB

-xw3yw

6zw

.........................................................................................

..........................................................................................

.............................................................

.......................................................................................................................................................................................................................

...........................................................................................................................................................................................................................................................................................................................................................................................................................................

............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

.....................................................................................................................................

....................................................................................................................................

-xp

6yp

BBBBBBBBB

BBBBBBBBB

BBBB



Modellstruktur (1):Ein ModelM hat (in der Bildanalyse)

einen symbolischen Namen T

Attribute oder Eigenschaften, Merkmale A

Teile P , die selbst Objektmodelle sind

Konkretisierungen K in Richtung auf die Daten

Spezialisierungen V zur kompakteren Darstellung

strukturelle Relationen S zwischen seinen Attributen oderdenen seiner Teile

Bewertung G von Instanzen

Instanzen, d. h. Auftreten im Bild



Modellstruktur (2):Es gibt spezielle Objektmodelle oder –teile ohne weitere Teile —dieses sind die atomaren ObjekteVoraussetzung:Segmentierung und Modelle sind so aufeinander abgestimmt, dassdie Segmentierungsobjekte atomare Objekte im Sinne derObjektmodelle liefern.Ansich ist obige Voraussetzung trivial — wir haben(stillschweigend) auch in BV1 stets angenommen, dass Merkmaleund Klassen in diesem Sinne

”zusammenpassen“



Beispiel (1):

Linie Flache

Haus hausMiets-

Dach

?

QQQQs

-*

konk

spez

teil

M =

(D : Haus,

A : (Laenge 7→ Fl),P : DachK : (Linie,Flaeche)V : Mietshaus,S(Dach ueber Giebel) 7→ F )∗,

(G 7→ F )

)



von Objekten2D-Ansichten

ElektromotorenTeile von

Lufterflugel

Linie

kreisformig

gerade

Bewertung GRelationen SAttribute A

Lufterrad C

Nummer 1 ILufterrad

Signal fKamera

-modl

M-spez

V

?

konk K

-spez-

*

teil P

-inst

L

?konk· · ·

?konk

Modellschema Wissensbasis Ergebnisse



Beispiel (2): PKW



Beispiel (3): 2D Objekt

Grauwertbild Segmentierungsergebnis

2D Modell AnalyseergebnisWS 09/10 Computervisualistik Integration (c) Dietrich Paulus 5.7-12


Beispiel (4): 2D Ansichten eines 3D Objekts



Modelltypen:Wir unterscheiden zwei Typen von Modellen

1 Modelle, die exakte Definitionen der Zahl, Klasse undrelativen Lage der in ihnen enthaltenen Objekte geben

Thorax–RontgenaufnahmeGebaudegrundriss

hier variieren nur die Attribute der Modellelemente2 Modelle, die nur Restriktionen zu Zahl, Klasse und relativer

Lage von Objekten enthalten

StraßenverkehrSchaltplan

hier variieren Zahl, Attribute und Relationen derModellelemente

3 dazu kommen Mischtypen



2. STRATEGIEN



Problematik:ein 2D–Bild eines 3D–Objekts:Aufgabe : Klassifikation (Ωκ) von i. A. mehreren Objekten

und deren Lokalisation (R, t),(3 – 6 Freiheitsgrade)

Beispiel : Klassifikation und Lokalisation industrieller Teile

heuristische : κ = argminMλd(Mλ, A) + Suche

Losung hypothetisiere und teste

optimale : Rκ, tκ = argmaxRκ,tκ p(A|Bκ,Rκ, tκ)

Losung ⇒ globale Sucheκ = argmaxΩλ

P(Ωλ | A) : Bayes

keine Suche

Probleme : A, M, P, ⊆, Suche



Prototypefλ

-x3

y6z

1 2

345 6

7

8

Bild f

-x

3y6z

*

Aufgabe : Klassifikation (Ωκ) von i. A. mehreren Objektenund deren Lokalisation (R, t),(3 – 6 Freiheitsgrade)

Beispiel : Klassifikation und Lokalisation industrieller Teile

heuristische Lösung :κ = argminMλ d(Mλ,A) + Suche

hypothetisiere und teste

optimale Lösung : Rκ, tκ = argmaxRκ,tκp(A|Bκ, Rκ, tκ)

⇒ globale Sucheκ = argmaxΩλ P (Ωλ | A) : Bayeskeine Suche

Probleme : A, M, P , ⊆, Suche

...........................................................................

...........................................................................

............................................................................

..................................................................

..................................................................

....................................

....................................

..............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

............................................................................................................................................

....................................................................

............................................................................................................................................................................................

..................................................

......................................................................................................................................................................................................

............................................................................

...........................................................................

..........................................................

................................

...................... ................

45

98

1112

............................................................

........................................................................................................................................................................................................................................................................................................................................

.........................................

................................

.......................

...................................................................

................................

.......................

12

3...............................................................................................

.....................................................................................................................................................................................................................................................................................................................................................................................................................................................

......................................................................................................................................................................................................................

67

10

13

Mκ ?

...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................1 2 3 4 5 6 7 8

A ?

...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................4 5 6 7 8 9 10 11 12 13

.......................................................................................................................................................................................................................................................................................................................................................................................................................................

...............................................................................................................................................................................................................................

.......................................................................................................................................................................................

.............................................................................................................................................................................................................................................................................

..........................................................................................................................................................

..........................................................................................................................................................

......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

.........................................................................................................(R, t)κ



die drei prinzipiellen Strategien (1):daten–getriebene Strategie: (bottom–up, data–driven)

FOR alle Segmentierungsobjekte im segmentierten Bild

wahle ein Segmentierungsobjekt, z. B. eine lange Linie, einegroße Flache

suche Modell(e) mit ahnlichen Segmentierungsobjekten

erhohe Bewertung fur die Modelle, die das Segmentierungsob-jekt enthaltenu.U. erniedrige die Bewertung aller Modelle, die es nichtenthalten

nimm an, dass die Objekte im Bild enthalten sind, deren Bewertunguber einer Schwelle liegt



modell–getriebene Strategie: (top–down, model–driven)

FOR alle Modelle

wahle ein Modell und versuche es, im Bild zu verifizierenz. B. mit der verallgemeinerten Hough–Transformation (s.u.)oder durch Suche nach den Modellbestandteilen im Bild

berechne ein Maß der Ubereinstimmung zwischen Modell undBild

nimm an, dass die Objekte im Bild enthalten sind, deren Bewertunguber einer Schwelle liegtDie Lageschatzung ist hier nicht ausdrucklich Bestandteil derStrategie.In einfachen Fallen wird sie durch Speicherung von Modellen furverschiedene Ansichten bestimmt.



Kombination der obigen beiden Strategien ergibt dieHypothetisiere–und–Teste Strategie: (hypothesize–and–test)

bestimme eine oder mehrere anfangliche Hypothesen oder Zuordnungen (Pi ∈Mκ; Oj ∈ A)dieses erfolgt auf Grund einiger weniger großer Teile

berechne Schatzwert a′′ der unbekannten Lageparameter a oder einiger Kom-ponenten von a

suche nach weiteren kompatiblen Zuordnungen (Pk ; Ol) und berechne damitfehlende Komponenten von a

Ende Hypothetisierungsphase -- Start Testphase

generiere eine vollstandige Liste von Zuordnungen mit den geschatztenParametern

IF Zahl der passenden Zuordnungen ist genugend groß

THEN nimm an, dass das vom Modell Mκ reprasentierte Objekt im Bildvorhanden ist

eliminiere die erfolgreich zugeordneten Segmentierungsobjekte Oj

UNTIL wenigstens p% der Segmentierungsobjekte sind zugeordnet



Die HT ist ein wichtiges Element in vielen Algorithmen zurObjekterkennung


9: Fourier Transformation

Outline

Zusammenfassung 9: Fourier Transformation

a




9: Fourier Transformation 9.1: Eingangsbemerkungen



Zusammenfassung 9.1: Eingangsbemerkungen

a





Alle Vektoren v ∈ IR2 konnen als Linearkombination geschrieben

werden

v = a1e1 + a2e2 , (9.1-1)

wobei die Koeffizienten a1, a2 ∈ IR. Der Vektorraum fur Polynomewird durch den unendlichen Raum der Monome xn|n ≥ 0generiert. Ein Polynom

h(x) =n∑

k=0

hk xk (9.1-2)

vom Grad n wird eindeutig durch seine n + 1 Koeffeizientenh0, h1, . . . , hn bestimmt.



empty

−10 −5 0 5 10

1

2

3

4

5

−10 −5 0 5 10

1

2

3

4

5

t t

f (t) = π − 29∑

k=1

cos(kt)

k2f (t) = π − 2

9∑

k=1

sin(kt)

k

Figure 9.1-1: Linearkombination trigonometrischer Funktionen


9: Fourier Transformation 9.2: Fourier-Reihen



Zusammenfassung 9.2: Fourier-Reihen

a





Definition der Fourier Reihe:

f (t) =a0

2+∑

k≥1

(ak cos(kt) + bk sin(kt)) , (9.2-1)

Dirichlet:Unter gewissen Bedingungen konvergiert diese Serie gegen eineperiodische Funktion f (t).

Ergebnis: Jede periodische Funktion kann charakterisiert werdendurch die Koeffienten der Fourier Serie a0, a1, . . . und b1, b2, . . .

Problem: Wie findet man die Fourier Koeffizienten?



Dazu multiplizieren wir beide Seiten von (9.2-1) mit cos(lt) undberechne das Integral uber [−π, π] fur die Ergebnisfunktion. Durchdie Orthogonalitat der trigonometrischen Funktionen, d. h., furganze Zahlen k und l ,

π∫

−π

sin(kt) cos(lt) dt = 0 und

π∫

−π

sin(kt) sin(lt) dt =

π∫

−π

cos(kt) cos(lt) dt =

0, wenn k 6= lπ,wenn k = l

,

Wir erhalten . . . die Euler Formeln.



Euler-Formeln: Sei die Funktion f (t) eine 2π–periodischeFunktion; Die Fourier-Koeffizienten lassen sich durch folgendeFormeln berechnen:

ak =1

π

π∫

−π

f (t) cos(kt) dt . (9.2-2)

bk =1

π

π∫

−π

f (t) sin(kt) dt . (9.2-3)

Diese Formeln heißen Euler Formeln.



Beispiel:

f (t) =

1, wenn 0 < t ≤ π2

−1, wenn π2 < t ≤ 3π

2

1, wenn 3π2 < t ≤ 2π

. (9.2-4)

ak =

0, wenn k gerade ist

4kπ sin

(kπ2

), sonst

. (9.2-5)



-1.5

-1

-0.5

0

0.5

1

1.5

-10 -5 0 5 10-1.5

-1

-0.5

0

0.5

1

1.5

-10 -5 0 5 10-1.5

-1

-0.5

0

0.5

1

1.5

-10 -5 0 5 10

Figure 9.2-1: Die ersten drei Summanden der Fourier Serie aus (9.2-4)



00−10 5 10

−1

−0.5

0.5

−5

..

f (t)

t

Figure 9.2-2: Uberlagerung der Funktionen aus Figure 9.2-1 und dreiweiteren Summanden der Serie


9: Fourier Transformation 9.3: Fourier-Transformation



Zusammenfassung 9.3: Fourier-Transformation

a





Grundlegende Idee: Umschreiben der Fourier Serie mit komplexenZahlenEuler-Formel:

exp(±iφ) = cos φ± i sinφ , (9.3-1)

Damit werden die Sinus- und Cosinus- Terme umgeschrieben zu:

cos(kt) =1

2(exp(ikt) + exp(−ikt)) (9.3-2)

and

sin(kt) =1

2i(exp(ikt)− exp(−ikt)) . (9.3-3)

Einsetzen in die Fourier Serie

f (t) =1

2π

+∞∑

k=−∞

ckexp(ikt) , (9.3-4)



wobei:where

ck =

π(ak − i bk), wenn k ≥ 0

π(a|k| + i b|k|), sonst. (9.3-5)

Damit ergibt sich die komplexe Serie durch:

ck =

π∫

−π

f (t)exp(−ikt) dt . (9.3-6)



Fourier-Transformation

Annahme: Periodizitatsintervall von f (t) sei unendlich. DieSumme (9.3-4) wird zum Integralund die Koeffizienten ck werdenzu einer kontinuierlichen Gewichtsfunktion c(k) der Variable k .



c(k) =

+∞∫

−∞

f (t)exp(−ikt) dt . (9.3-7)



Definition: Die Fourier-Transformation F (ξ) von f (t) ist definiertals:

F (ξ) =

+∞∫

−∞

f (t)exp(−iξt) dt = FTf . (9.3-8)

Beispiel

f (t) =

1 falls |t| < t00 sonst ,

(9.3-9)



-1.5

-1

-0.5

0

0.5

1

1.5

-10 -5 0 5 10-1.5

-1

-0.5

0

0.5

1

1.5

-40 -20 0 20 40-1.5

-1

-0.5

0

0.5

1

1.5

-40 -20 0 20 40

Figure 9.3-1: Kontinuierliche Funktion, Fourier Transformation undderen Absolutbetrag



Inverse Fourier Transform I

f (t) =1

2π

+∞∫

−∞

F (ξ)exp(iξt) dξ . (9.3-10)



Inverse Fourier Transform II

Eigenschaften der Fourier-Transformation

Ortsbereich Frequenzbereich

Skalierung f (at) 1|a|F ( ξ

a)

Verschiebung f (t − t0) exp(−iξt0)F (ξ)

Symmetrie −1/(2π) · F (t) f (−ξ)

Ableitung dn f (t)/d tn (i ξ)n F (ξ)

Table 9.3-1: Einige Eigenschaften der Fourier-Transformation



Inverse Fourier Transform III

Faltungstheorem:Falls

h(t) = f (t) ⋆ g(t) =

+∞∫

−∞

f (x) g(t − x) dx (9.3-11)

gilt fur die Fourier-Transformation

H(ξ) = F (ξ)G (ξ) , (9.3-12)



Inverse Fourier Transform IV

Beweis:

H(ξ) =

+∞∫

−∞

h(t)exp(−iξt) dt =

+∞∫

−∞

+∞∫

−∞

f (x) g(t − x) dx exp(−iξt) dt

=

+∞∫

−∞

f (x)

+∞∫

−∞

g(t − x)exp(−iξt)dt

dx

=

+∞∫

−∞

f (x) exp(−iξx)G (ξ) dx = F (ξ)G (ξ) . (9.3-13)

q.e.d.



Inverse Fourier Transform V

F (ξ) =H(ξ)G (ξ)

h(t) = f (t) ⋆ g(t)

H(ξ) = F (ξ)G (ξ)

f (t)

FT FT−1

Figure 9.3-2: Anwendung des Faltungstheorems


9: Fourier Transformation 9.4: Diskrete Fourier-Transformation



Zusammenfassung 9.4: Diskrete Fourier-Transformation

a





Zur Berechnung der FT eines diskreten Signalsf0, f1, . . . , fM−1, wird die diskrete FT benotigt.where µ ∈ [0, . . . M − 1]

Fν =

M−1∑

t=0

ft ·(exp(−i2π

ν

M))t

= DFTf . (9.4-1)



Offensichtlich:

1 die diskrete FT ist linear und kann als Matrix angegebenwerden;

2 Fν ist eine Linearkombination der Nulldurchgange einesPolynoms



Berechnung der diskreten Fourier Transformation (DFT ) kanngeschrieben werden in Matrix-Form als:

xM − 1 = 0 (9.4-2)

Seien mtν = exp(−i2π tνM

) die Potenzen der Losungen dieserGleichung.



Seien

m = exp(−i2π

M) (9.4-3)

und

mtν = exp(−i2πtν

M) (9.4-4)

die Potenzen der Gleichungslosung von oben. Die Wurzel m wirdgewohlich die M–te Einheitswurzel genannt, und wir wissen:Es gilt:

M−1∑

t=0

exp(−i2πt

M) = 0 . (9.4-5)

Mit Gleichung (9.4-1) fur ν = 0, 1, 2, . . . ,M − 1, erhalten wirfolgendes lineares Gleichungssystem:



DFT als Matrix:

F0

F1

F2...

FM−1

=

1 1 1 · · · 11 m m2 · · · mM−1

1 m2 m4 · · · m2(M−1)

......

......

...

1 mM−1 m2(M−1) · · · m(M−1)2

︸︷︷︸Dm

f0f1f2...

fM−1


9: Fourier Transformation 9.5: Complexe Zahlen



Zusammenfassung 9.5: Complexe Zahlen

a





Berechnung von Potenzen komplexer ZahlenZerteilung in gerade und ungerade Potenzen

zn = z2n′ =(z2)n′

, (9.5-1)

for arbitrary numbers z .



Noch einfacher

z = a + i b =√

a2 + b2exp(i arctan(b/a)) , (9.5-2)

zn =(√

a2 + b2)n

exp(i arctan(b/a) · n) . (9.5-3)


9: Fourier Transformation 9.6: Invers diskrete Fourier Transformation



Zusammenfassung 9.6: Invers diskrete Fourier Transformation

a





Was ist eine inverse FT?Antwort:

fn =1

M

M−1∑

ν=0

Fνexp(i2πνn/M) (9.6-1)



Die inverse FT DFT−1 kann durch Invertierung der Matrix Dm

berechnet werden. Weil die Komponenten von Dm als(Dm)u,v = muv berechnet werden, schließen wir

(Dm ·Dm−1)u,v =

M−1∑

t=0

mutm−tv

=

M−1∑

t=0

exp(− i2π

M· t(u − v))

=

M, falls u = v0, sont .

(9.6-2)

Die inverse FT ist ebenfalls linear

(Dm)−1 =1

MDm−1 , (9.6-3)



wobei

Dm−1 =

1 1 1 · · · 1

1 m−1 m−2 · · · m−(M−1)

1 m−2 m−4 · · · m−2(M−1)

......

......

...

1 m−(M−1) m−2(M−1) · · · m−(M−1)2

(9.6-4)

Eigenschaften in Table 9.3-1 gelten auch fur die DFT


9: Fourier Transformation 9.7: 2–D Fourier Transform



Zusammenfassung 9.7: 2–D Fourier Transform

a




9: Fourier Transformation 9.7: 2–D Fourier Transform

Erweiterung der DFT auf 2-D

Fµ,ν =N−1∑

u=0

M−1∑

v=0

fu,vexp(−i2πuµ

N)exp(−i2π

vν

M)

=N−1∑

u=0

(M−1∑

v=0

fu,vexp(−i2πvν

M)

)exp(−i2π

uµ

N) .(9.7-1)

Strategy for DFT of an image:

1 Fourier transform each line

2 put the resulting vectors as lines into a matrix

3 Fourier transform each column of this matrix

4 put the resulting vectors as columns into a matrix

This will convert an input image into a complex matrix: its Fouriertransform


10: Literaturangaben

Outline

Zusammenfassung 10: Literaturangaben

a




11: References

S. Abrams, P.K. Allen, and K.A. Tarabanis. Dynamic sensorplanning. In Proceedings Workshop DARPA, pages 599–607,1993.

G. A. Agoston. Color Theory and Its Application in Art andDesign. Springer–Verlag, Berlin Heidelberg New York, 1987.

A. Alsam and Graham D. Finlayson. Recovering spectralsensitivities with uncertainty. In Proceedings of the Firstinternational Conference CGIV, pages 22–26, Poitiers, France,2002. The Society for Imaging Science and Technology.

Kobus Barnard and Brian V. Funt. Camera characterization forcolor research. Color Research and Application, 27(3):153–164, 2002.

Kobus Barnard, Lindsay Martin, and Brian V. Funt. A data set forcolor research. Color Research and Application, 27(3):148–152, 2002.

P.J. Besl and R.C. Jain. Three-dimensional object recognition.ACM Computing Surveys, 17:75–145, 1985.

Manfred Broy and Bernhard Rumpe. Modulare hierarchische


11: References

modellierung als grundlage der software- undsystementwicklung. Informatik Spektrum, 30(1), 2007.

G.A. Carpenter and W.D. Ross. ART-EMAP: A neural networkarchitecture for object recognition by evidence accumulation.IEEE Trans. on Neural Networks, 6:805–818, 1995.

Daniel DeMenthon and Larry S. Davis. Model-based object pose in25 lines of code. In ECCV ’92: Proceedings of the SecondEuropean Conference on Computer Vision, page 335 343,London, UK, 1992. Springer-Verlag.

Michel Dhome, Marc Richetin, Jean-Thierry Lapreste, and GerardRives. Determination of the attitude of 3d objects from asingle perspective view. IEEE Trans. Pattern Anal. Mach.Intell., 11(12):1265–1278, 1989.

Tom Drummond and Roberto Cipolla. Real-time visual tracking ofcomplex structures. IEEE Trans. Pattern Anal. Mach. Intell.,24(7):932 946, 2002.

S. Edelman. Representation without reconstruction. ComputerVision, Graphics, and Image Processing: Image Understanding,


11: References

60:92–94, 1994.Olivier D. Faugeras. Three-Dimensional Computer Vision: A

Geometric Viewpoint. MIT Press, Cambridge, Massachusetts,1993.

J. Fischer, H. Niemann, and E. Noeth. A real-time and any-timeapproach for a dialog system. In Proc. International WorkshopSpeech and Computer (SPECOM’98), pages 85–90, St.Petersburg, 1998.

Y. Genc, S. Riedel, F. Souvannavong, C. Akinlar, and NassirNavab. Marker-less tracking for ar: A learning-basedapproach. In Anne Jacobs, editor, ISMAR ’02: Proceedings ofthe first IEEE and ACM International Symposium on Mixedand Augmented Reality (ISMAR 2002), 30 September - 1October, Darmstadt, Germany, pages 295–304. IEEEComputer Society, 2002.

Rolf Gierling. Farbmanagement. Moderne Industrie Buch AG amp;Co. KG, Bonn2, 2001.

Rafael C. Gonzalez and Richard E. Woods. Digital Image


11: References

Processing. Prentice Hall, 2. edition, 2001.W.E.L. Grimson. Object Recognition by Computer: The Role of

Geometric Constraints. The MIT Press, Cambridge, MA, 1990.Xiaoxin Guo, Zhiwen Xu, Yinan Lu, and Yunjie Pang. An

application of fourier-mellin transform in image registration. InCIT, pages 619–623. IEEE Computer Society, 2005.

R.M. Haralick, H. Joo, C.N. Lee, X. Zhuang, V.G. Vaidya, andM.B. Kim. Pose estimation from corresponding point data. 19(6):1426–1446, 1989.

Richard I. Hartley and Andrew Zisserman. Multiple View Geometryin Computer Vision. Cambridge University Press, 2 edition,2003.

B. Heigl and H. Niemann. Camera calibration from extendedimage sequences for lightfield reconstruction. In WorkshopVision, Modeling and Visualization, page 43 50, Erlangen,Germany, 1999.

Benno Heigl, Mark Pollefeys, Reinhard Koch, and Luc J. Van Gool.Plenoptic modeling and rendering from image sequences taken


11: References

by a hand held camera. In Wolfgang Forstner, J.M. Buhmann,A. Faber, and P. Faber, editors, Mustererkennung 1999, pages94–101, Heidelberg, 1999. Springer Verlag.

Ewald Hering. Grundzuge der Lehre vom Lichtsinn. SpringerVerlag, Berlin, 1920. Sonderabdruck aus dem Handbuch derAugenheilkunde I. Teil XII. Kapitel.

A.K. Jain and P.J. Flynn, editors. Three-Dimensional ObjectRecognition Systems. Elsevier, Amsterdam, 1993.

Rakesh Kumar and Allen R. Hanson. Robust methods forestimating pose and a sensitivity analysis. CVGIP: ImageUnderst., 60(3):313 342, 1994.

Heinwig Lang. Farbwiedergabe in den Medien. Muster-SchmidtVerlag, Gottingen / Zurich, 1995.

Vincent Lepetit, Pascal Lagger, and Pascal Fua. Randomized treesfor real-time keypoint recognition. In Conference on ComputerVision and Pattern Recognition, San Diego, CA, pages775–781, 2005.

C.-E. Liedtke and M. Ender. Wissensbasierte Bildverarbeitung.


11: References

Springer, Heidelberg, 1989.David G. Lowe. Distinctive image features from scale-invariant

keypoints. International Journal of Computer Vision, 60(2):91–110, 2004.

L. T. Maloney. Evaluation of linear models of surface spectralreflectance with small numbers of parameters. J. Opt. Soc.Am. A, 3:1673–1683, 1986.

’Eric Marchand, Patrick Bouthemy, Franccois Chaumette, andVal’erie Moreau. Robust real-time visual tracking using a2d-3d model-based approach. In International Conference onComputer Vision, pages 262–268, 1999.

Torsten Merz, Dietrich Paulus, and Heinrich Niemann. Featureextraction from interferograms for phase distribution analysis.In M. Kujawinska, G. Brown, and M. Takeda, editors, LaserInterferometry IX: Techniques and Analysis, pages 181–191.SPIE, 1998.

Christian Munzenmayer, Dietrich Paulus, and Thomas Wittenberg.A spectral color correction framework for medical applications.


11: References

IEEE Transactions on Biomedical Engineering, 53(2):254–265, 2006.

Shree K. Nayar, Masahiro Watanabe, and Minori Noguchi.Real-time focus range sensor. IEEE Transactions on PatternAnalysis and Machine Intelligence, 18(12):1186–1198, 1996.

H. Niemann, H. Bunke, I. Hofmann, G. Sagerer, F. Wolf, andH. Feistel. A knowledge based system for analysis of gatedblood pool studies. Pattern Analysis and Machine Intelligence,7(3):246 – 259, 1985.

H. Niemann, G. Sagerer, S. Schroder, and F. Kummert. Ernest: Asemantic network system for pattern understanding. IEEETransactions on Pattern Analysis and Machine Intelligence, 9:883–905, 1990.

H. Niemann, V. Fischer, D. Paulus, and J. Fischer. Knowledgebased image understanding by iterative optimization. InG. Gorz and St. Holldobler, editors, KI 96: Advances inArtificial Intelligence, volume 1137 (Lecture Notes in ArtificialIntelligence), page 287 301. Springer, Berlin, 1996.


11: References

Heinrich Niemann. Pattern Analysis and Understanding, volume 4.Springer Verlag, Heidelberg, 1990.

Heinrich Niemann. Klassifikation von Mustern, 2. uberarbeiteteund erweiterte Auflage im Internet. 2007.

J. Parkkinen, J. Hallikanen, and T. Jaaskelainen. Characteristicspectra of munsell colors. J. Opt. Soc. Am. A, 6:318–322,1989.

Dietrich Paulus, Joachim Hornegger, and L. Csink. Linearapproximation of sensitivity curve calibration. In K.-H. Franke,editor, 8. Workshop Farbbildverarbeitung, pages 3–10,Ilmenau, 2002. Schriftenreihe des Zentrums fquot;ur Bild- undSignalverarbeitung.

Piana and J.C. Brown. Optimal inversion of hard x-raybremsstrahlung spectra. Astron. Astrophys. Suppl., 132:291–299, 1998.

T. Pomierski and Horst-Michael Gross. Verfahren zurempfindungsgemaßen farbumstimmung. In Mustererkennung1995, 17. DAGM-Symposium, pages 473–480, London, UK,


11: References

1995. Springer-Verlag.Stefan Posch. Automatische Tiefenbestimmung aus

Grauwertstereobildern. Deutscher Universitats Verlag,Wiesbaden, 1990.

R.J. Prokop and A.P. Reeves. A survey of moment basedtechniques for unoccluded object recognition. ComputerVision, Graphics, and Image Processing: Graphical Models andImage Processing, 54(5):438–460, 1992.

Volker Rehrmann and Lutz Priese. Fast and robust segmentation ofnatural color scenes. In Roland T. Chin and Ting-Chuen Pong,editors, 3rd Asian Conference on Computer Vision (ACCV’98),number 1351, pages 598–606. Springer Verlag, 1998.

G. Sagerer. Darstellung und Nutzung von Expertenwissen fur einBildanalysesystem. Springer, Berlin, 1985.

Stephen J. Sangwine and R. E. N. Horne. The Colour ImageProcessing Handbook. Chapman Hall, London, 1998.

H. Stachowiak. Allgemeine Modelltheorie. Springer, 1973.P. Suetens, P. Fua, and A.J. Hanson. Computational strategies for


11: References

object recognition. ACM Computing Surveys, 24(1):5–61,1992.

Nicolas Thome, Djamel Merad, and Serge Miguet. Human bodypart labeling and tracking using graph matching theory. InAVSS ’06: Proceedings of the IEEE International Conferenceon Video and Signal Based Surveillance, page 38, Washington,DC, USA, 2006. IEEE Computer Society.

Carlo Tomasi and Takeo Kanade. Shape and Motion from ImageStreams: a Factorization Method, Full Report on theOrthographic Case. Technical Report CMU-CS-92-104,Carnegie Mellon University, 1992.

Hermann von Helmholtz. Handbuch der Physiologischen Optik.Verlag von Leopold Voss, Leipzig.

Johannes von Kries. Handbuch der Physiologie des Menschen,volume 3, pages 109–282. Friedrich Vieweg amp; SohnVerlag/GWV Fachverlage GmbH, Braunschweig, 1920.

H. Wang and S.-F. Chang. A highly efficient system for automaticface region detection in mpeg video. IEEE Transactions on


11: Literaturangaben

Circuits and Systems for Video Technology, 7(4):615–628,1997.

Gunter Wyszecki and W. S. Stiles. Color Science: Concepts andMethods, Quantitative Data and Formulas. Wiley, secondedition, 1982.

Xuemei Zhang and Brian A. Wandell. Color image fidelity metricsevaluated using image distortion maps. Signal Processing, 70(3):201–214, 1998.


12: Tabellen

Outline

Zusammenfassung 12: Tabellen

a




12: Tabellen 12.1: Notation


12: Tabellen

Zusammenfassung 12.1: Notation

a




13: Tabellen Notation

pi Punkt, page 118

pi Punkt, page 118

x i Bildkoordinaten x bezogen auf Bildmittelpunkt, page 118

y i Bildkoordinaten y bezogen auf Bildmittelpunkt, page 118

ow Optisches Zentrum, page 118

xw eukl. X (Bildkoord.), page 118

yw eukl. Y (Bildkoord.), page 118

zw eukl. Z (Bildkoord.), page 118

F Kamerakonstante, page 118

H Hauptpunkt, page 118

M Bildmittelpunkt, page 118

c′ HM: Projektionszentrum, page 128

κ Index for Classes, page 224



Pper Projection model matrix, page 113

ρ Reflexions–Koeffizient, page 166

Θ Verzeichnungswinkel, page 129

c Focal point, page 128

c1 Focal point left, page 8

c2 Focal point left, page 8

A Matrix of E and S terms, page 169

c Merkmal, page 224

dx Pixel Size X, page 47

dy Pixel Size Y, page 47

E Spektrale Energieverteilung der Licht-quelle, page 166

G Matrix for enforcing constraints, page 172

H Hauptpunkt, page 117



kx Skalierte Brennweite fur x , page 130

ky Skalierte Brennweite fur y , page 130

L Anzahl Frequenzen, page 168

M Bildzentrum, page 116

P HM: Raumpunkt, page 128

s Scale Factor, page 121

R rotmatrix, page 115

c Kamerakoordinatensystem, page 8

i Bildkoordinatensystem, page 8

p Rechnerkoordinatensystem, page 8

w Weltkoordinatensystem, page 8


13: Tabellen 13.1: Index


13: Tabellen

Zusammenfassung 13.1: Index

a





Index I

augmented reality, 300132

Blooming, 300059

CCD, 300054

CCIR, 300048, 300052

CMOS, 300054

coordinate system

- camera, 300116

- image, 300116

- object, 300116

- pixel, 300116

- world, 300116

correlation coefficient, 300344



Index II

covariance, 300342

covariance matrix, 300342

density, 300329

DFT, 300371

Dunkelstrom, 300045, 300059

estimation

- pose, 300132

Euler’s formula, 300352

Fahrzeugnavigation, 300132

Fourier

- series complex, 300359

function



Index III

- density, 300329

Gauss

- distribution, 300330

Hough transform, 300279

information, 300338

Interlace, 300054

Kegelschnitt, 300132

kernel, 300311

linear

- composition, 300349

Luminanz, 300158

moment



Index IV

- absolute, 300336

NTSC, 300048, 300052

nullspace, 300311

Orientierungsverfahren, 300132

PAL, 300048, 300052

Photonenrauschen, 300059

polynomial, 300349

Progressive scan, 300054

Quantisierungsrauschen, 300059

Retina, 300064

root of unity, 300371

SECAM, 300048



Index V

Unbuntachse, 300153

Ungenauigkeit, 300062

Unsicherheit, 300062

Unwissenheit, 300062

vector space, 300349

Verteilung

- Normal-, 300059

- Poisson, 300059


Computervisualistik Integration - uni-koblenz.deagas/lehre/ws0910/cvi/CVIh.pdf · Numerik Analysis...

Documents

Transcript of Computervisualistik Integration - uni-koblenz.deagas/lehre/ws0910/cvi/CVIh.pdf · Numerik Analysis...