DBV1-1 # 1

Klassifizierung von Bildgebungsverfahrennach der Frequenz

# 1 Antwort

DBV1-1 # 2

Welche Kategorien von Bildverarbeitunggibt es?

# 2 Antwort

Image enhancement Wahrnehmbarkeit von Informationen erhöhenoder nachfolgende technische Verarbeitungsschritte erleich-tern

Image restoration Artefakte verringern (Bewegungsunschärfe, Quan-tenrauschen etc)

Compression and Coding Quellen- und Kanalkodierung

Picture analysis Merkmalsextraktion, pattern recognition

DBV1-2 # 3

Wahrnehmbarer Wellenlängenbereich desAuges?

# 3 Antwort

380nm - 780nm

Unempfindlich im Infrarotbereich, da die Temperatur des Auges dieWahrnehmung stören würde

Brechungsindex der Hornhaut (Cornea) n=1.38, alles andere im Strah-lengang ca. 1.4

DBV1-2 # 4

Farbempfindlichkeit der Zapfen (Cones)?

# 4 Antwort

DBV1-2 # 5

Was heißt CCD und wie funktioniert es?

# 5 Antwort

Charge-Coupled Device

Sensor-Array aus Si-Fotodioden, die erzeugte Ladung speichern. Aus-lesen der Information über MOSFETs zeilenweise, Speicherung imZeilen-Shift-Register (“interline transfer”).

Nachteile: Externer Takt benötigt, 12V Stromversorgung, nur Full-Frame-Readout

DBV1-2 # 6

Photon zu Elektron-Umwandlung imCCD: Anzahl der Elektronen und

digitales Signal

# 6 Antwort

Anzahl der erzeugten Elektronen:

Mit: E Bestrahlungsstärke, w pitch of cell, S Empfindlichkeit, ηQuanteneffizienz (wieviel Elektronen pro einfallender Lichtenergie)

Digitales Signal s(m, n) = g · Ne(m, n) mit g Verstärkungsfaktor

DBV1-2 # 7

CCD Dark Current Compensation

# 7 Antwort

CCD Sensor liefert auch ein Signal in absoluter Dunkelheit “DarkCurrent”, temperaturabhängig

Kompensation, indem ein Teil des Sensors mit Maske abgedecktwird und dieser Teil Referenz für optisches Schwarz darstellt.

DBV1-2 # 8

Farbdarstellung beim CCD

# 8 Antwort

• Beam Splitter: Drei Prismen trennen 1. Blau 2. Rot 3. Grünauf jeweils separate CCD, deren Matrizen perfekt ausgerichtetsein müssen

• Polymer Streifenfilter

• Mosaic Mask Filter/Bayer Pattern/Color filter array (CFA)

Nachteile: geringere Auflösung, Farbinterpolation (Demosaicking)benötigt -> Artefakte bei hochfrequenten Kanten

DBV1-2 # 9

OLP

# 9 Antwort

• Optischer Tiefpass zwischen Linse und Sensor,um Farbartefakte durch Bayer-Pattern zu mini-mieren

• Doppelbrechung an Quarzkristallen

• Grün verdoppelt, Rot & Blau vervierfacht

DBV1-2 # 10

CMOS Sensor

# 10 Antwort

• Sensor, Ausleseelektronik und A/D Schaltung auf gleichemChip

• 5V-2.5V, geringer Stromverbrauch

• nur ROI auslesen möglich

DBV1-2 # 11

Geometrie der Lochkamera

# 11 Antwort

DBV1-2 # 12

Vergrößerungsfaktor der Lochkamera

# 12 Antwort

M =bZ

DBV1-2 # 13

Dünne Linse / Thin Lens

# 13 Antwort

Jeder Strahl, der auf der einen Seite der Linse gebrochen wird, wirdauch augenblicklich auf der anderen Seite gebrochen.

DBV1-2 # 14

Geometrie mit dünner Linse

# 14 Antwort

1f = 1

b + 1Z

DBV1-2 # 15

Field Of View

# 15 Antwort

Menschliches Auge ca. 45°, weniger ist Teleoptik, mehr ist Weit-winkel

DBV1-2 # 16

Irradiance / Bestrahlungsstärke

# 16 Antwort

W/m2

Leistung des Lichts pro Einheitsfläche am Punkt p

DBV1-2 # 17

Radiance / Strahldichte

# 17 Antwort

W/m2

Energie des vom Punkt p ausgesandten Lichts pro Einheitsflächerechtwinklig zur Ausbreitungsrichtung v

DBV1-2 # 18

Lambert’sche Oberflächenrelektion

# 18 Antwort

Modelliert die Reflektion von matten Oberflächen, Reflektion gleichin alle Oberflächenrichtungen

Aus IT · n kommt cos(ϕ) zwischen Einfallsvektor und Oberflächen-normale (Skalarprodukt!)

DBV1-2 # 19

Blendenzahl / F-Zahl

# 19 Antwort

• F =fD

• einfallendes Licht ins proportional zur Fläche A = πD2

4

• höheres f, gleiches D: weniger Licht der Welt außen, da Strah-lenbündel schmaler

DBV1-2 # 20

Zusammenhang Blendenzahl undBestrahlungsstärke

# 20 Antwort

E(p) =L(p)F2 · const

Multiplikation von F mit 1.4 halbiert E(p)

DBV1-2 # 21

Hyperfokalabstand

# 21 Antwort

Alles zwischen Hyperfokalabstand Zh und ∞ ist scharf, da bei end-licher Pixelgröße eine gewisse Unschärfe erlaubt werden kann.

Zh =f 2

εF+ f ≈

f 2

εF

DBV1-2 # 22

Tiefenschärfe / Depth-of-Field

# 22 Antwort

DBV1-3 # 23

Arten von Röntgenbildgebung

# 23 Antwort

Radiografie Projektionsbildgebung (Bild)

Fluroskopie dynamische Röntgenbildgebung (Video)

• analog screen film

• storage phosphor systems (SPS)

• dynamic x-ray detectors (II/TV)

• flat panel detectors

DBV1-3 # 24

Aufbau Röntgenröhre

# 24 Antwort

- Im Bleifenster 1-2mm Kupfer als Filter, um niederenergetischeStrahlung herauszufiltern (schädlich, aber nicht bildgebend)

- Wirkungsgrad ca. 1%

DBV1-3 # 25

Maximale Energie der Röntgenstrahlung

# 25 Antwort

Ekin = e · UB = h · fg

e=1.6e-19 As Elektronenladung, Ub Beschleunigungsspannung

h=6.6e-34 Js Plancks Konstante, fg maximale Frequenz der Rönt-genstrahlung

Daraus resultiert z.B. für UB = 120kV , dass Fg = 2.9 · 1010GHz

DBV1-3 # 26

Röntgenspektrum

# 26 Antwort

DBV1-3 # 27

4 Arten der Entstehung vonRöntgenstrahlung

# 27 Antwort

a) eintreffendes Elektron schlägt eines aus Schale -> Ionisierung,keine Strahlung (99% der Energie)

b) eintreffendes wird nahe des Atomkerns gebremst (Bremsstrah-lung)

c) kernnahes Elektron (K, L, M, N-Schale) wird herausgeschlagen-> charakteristische Strahlung

d) Full-Stop auf Atomkern -> gesamte kin. Energie wird als Bremss-trahlung frei

DBV1-3 # 28

Lambert-Beers-Gesetz

# 28 Antwort

Monoenergetische Röntgenstrahlung gedämpft durch: Absorption,Compton- und kohärente Streuung

i.A. µ von Ort und Energie abhängig->Übergang µ =∫ d

0 µ(E, z)dz

DBV1-3 # 29

Compton-Streuung

# 29 Antwort

Eintreffendes Elektron der Röntgen-Strahlung verliert durch Inter-aktion mit Elektronen auf den äußeren Schalen Energie (Wellenlän-ge erniedrigt sich)

DBV1-3 # 30

kohärente Streuung

# 30 Antwort

Streuung bei dichter Materie zurück in die Richtung, aus der dieStrahlung kommt. Deutlicher ausgeprägt bei kohärenter Strahlungals bei “normaler”

DBV1-3 # 31

Beam hardening

# 31 Antwort

Photonen niedriger Energie werden stärker gedämpft als Photonenhöherer Energie; Mittelwert der Strahlungsenergie verschiebt sichdadurch nach oben

DBV1-3 # 32

Screen film systems

# 32 Antwort

Photofilm zwischen zwei Schichten “intensifyer”, der Röntgenstrah-lung in sichtbares Licht umwandelt (fluorecence), das wiederum denFilm belichtet.

DBV1-3 # 33

Storage Phosphor System

# 33 Antwort

Phosphorplatte wird mit Röntgenstrahlung belichtet, Elektronen wer-den in höheres Energieniveau gehoben und verbleiben dort (bis 1-2Wochen)

In Ausleseeinheit “stubst” Laser die Elektronen an, sie fallen herun-ter und geben Licht ab, das detektiert wird, Platte ist zurückgesetztund kann erneut verwendet werden.

Kein Umbau zum Einsatz der SPS notwendig, Formkompatibel zuscreen film

DBV1-3 # 34

II/TV Röntgensystem

# 34 Antwort

Cäsium-Iodid-Schicht wandelt X-Ray in Elektronen, diese werdenim Image Intensifyer verstärkt (beschleunigt) und am output win-dow in sichtbares Licht gewandelt, das von einer Kamera aufgenom-men wird.

CsI: Nadelartige Struktur, dadurch gute MTF (wenig Streuung), lei-der Absorption von ca. 65% der Strahlung

DBV1-3 # 35

Flat Panel Detector

# 35 Antwort

• Solid-state sensor (bis 43 · 43cm2), hellerals II/TV-Kombination, keine Verzerrungdurch gebogenen entrance screen

• hoher Dynamikbereich (low dose fluros-copy + high quality radiography)

• Szintillations-Beschichtung mit CsI:TI(Cäsium-Iodid Tallium-Iodid)

• Rauschquellen: Kondensatoren, Verstär-ker, Leitungskapazität

DBV1-3 # 36

Szintillator

# 36 Antwort

Ein Szintillator ist ein Körper, der beim Durchgang von energierei-chen geladenen Teilchen oder Photonen angeregt wird und die An-regungsenergie in Form von Licht (meist im UV- oder sichtbarenBereich) wieder abgibt. Diesen Vorgang bezeichnet man als Szintil-lation (von lateinisch scintillare: „funkeln, flackern“).

DBV1-3 # 37

NEQ

# 37 Antwort

Noise equivalen quanta

S NR =S

Nq= q

Quantenrauschen ist Poisson-verteilt, q ist mittlere Anzahl Quantenpro Pixel, S = q2 Singalenergie, Nq = q Energie des Quantenrau-schens

SNR steigt mit steigendem Quantenfluss, Systemrauschen senkt NEQ.

DBV1-3 # 38

DQE

# 38 Antwort

Detected Quantum Efficience

Normierte und frequenzunabhängige Form der NEQ

DBV1-3 # 39

Geometrie der Röntgenbildgebung

# 39 Antwort

• Identisch mit der Lochkamera bis auf den Punkt, dass das Bildnicht auf dem Kopf steht.

• Unschärfe, da Fokalpunkt auf Anode nicht infinitesimal klein(anode-heel effect)

DBV1-3 # 40

Schema Photomultiplier

# 40 Antwort

DBV1-4 # 41

Ausgang bei Faltung mit PSF h(x,y)

# 41 Antwort

DBV1-4 # 42

Eigenschaften LSI

# 42 Antwort

Linear Shift Invariant

• Verschiebung am Eingang bewirkt Verschiebung am Ausgang,keine Änderung der Amplitude bei Verschiebung

DBV1-4 # 43

Bivariate Cosinuswelle

# 43 Antwort

s(x, y) = cos[2π( fxx + fyy)] = Ree j2π f T x

• fx, fy Ortsfrequenzen (Anzahl Linienpaare/mm)

• Winkel des Normalenvektors: tan(ϕ) = λxλy

=fyfx

• Frequenz der Wellenfronten: fr = 1λr

=√

f 2x + f 2

y

DBV1-4 # 44

Symmetrien der Fouriertransformation

# 44 Antwort

DBV1-4 # 45

LSI-Systeme und Eigenfunktionen

# 45 Antwort

Komplexwertige sin() und cos() (also komplexer e-Term) könnenals Eigenfunktionen von 2D-LSI-Systemen aufgefasst werden. DieÜbertragungsfunktion H(f) entspricht dann dem Eigenwert.

DBV1-4 # 46

Definition Fouriertransformation

# 46 Antwort

DBV1-4 # 47

Fourier-Spektrum eines 2D-Dirac Pulses

# 47 Antwort

Ein 2D-Dirac-Puls entspricht einem Punkt im Ortsraum. Im Fre-quenzraum entspricht dies einer Eins, d.h. einer homogenen Flächeunendlicher Ausdehnung mit dem Wert 1.

Der Dirac-Puls verändert daher Signale bei Faltung im Ortsbereichoder Multiplikation im Frequenzbereich nicht

DBV1-4 # 48

Separabilität der Fourier-Transformation

# 48 Antwort

Die Fourier-Transformation kann nacheinander für beide Koordina-ten berechnet werden:

DBV1-4 # 49

2D-Fouriertransformation von separablenSignalen

# 49 Antwort

Wenn s(x,y) separabel ist -> s(x) s(y)

Dann entspricht die Fouriertransformierte der Gesamtfunktion demProdukt der 1D-Fouriertransformierten der Einzelfunktionen.

S ( fx, fy) = S 1( fx) · S 2( fy)

DBV1-4 # 50

Eigenschaften der Fouriertransformation

# 50 Antwort

Generell: Spektrum eines reellen Signals ist im Allgemeinen kom-plex

Linearität as(x) + bg(x) aS ( f ) + bG( f )

Skalierung s(ax, by) 1|ab|S ( fx

a ,fyb )

inverses Verhalten strecken stauchen

Translation s(x − x0) = S ( f )e− j2π f T x0

Additiver Phasenterm, keine Änderung des Amplitudenspek-trums. D.h.: Phase enthält Ortsinformation! Ohne Phase keineRekonstruktion möglich!

Rotation Drehung von s(x,y) um γ resultiert in Drehung des Spek-trums ebenfalls um γ

DBV1-4 # 51

Laplace-Operator

# 51 Antwort

Differenzierung ist richtungsabhängig. Richtungsunabhängige Dif-ferenzierung zweiter Ordnung ist über 2D-Laplace-Operatpr mög-lich.

∆ H( f ) = −4π2( f 2x + f 2

y )

Der Laplace-Operator entspricht einem verschiebungsinvarianten iso-tropen Hochpass!

DBV1-4 # 52

Spektrum einer Sinuswelle

# 52 Antwort

Diracs auf der Wellenfront-Normalen durch den Ursprung.

DBV1-4 # 53

Hesse’sche Form einer Geraden

# 53 Antwort

aT x0 = const.

Wobei a der Normalenvektor der Geraden ist.

DBV1-4 # 54

Symmetrie der Fourier-Transformation

# 54 Antwort

sg(x) reell und gerade S ( f ) reell und gerade

su(x) reel und ungerade dann S ( f ) ungerade und imaginär

Allgemeine Signale können in gerade und ungerade Anteile aufge-teilt werden und jeder Teil separat fouriertransformiert werden. DieErgebnisse ergeben dann den Real- bzw. Imaginärteil der Gesamt-funktion (sog. hermitian).

Man benötigt lediglich einen Halbraum des Fourierspektrums, wennreellwertige Signale verarbeitet werden.

DBV1-4 # 55

Terminologie PSF, OTF, MTF, PTF

# 55 Antwort

DBV1-4 # 56

LSI-Modell eines Objektivs

# 56 Antwort

• 2D-PSF ist eine milchige Scheibe (verwischt aufgrund vonBeugung)

• Begrenzung der optischen Bildgebung aufgrund von Beugung

• Rayleigh-Kriterium zur Begrenzung der Auflösung:∆x = 1.22λFAbstand der Hauptkeule zum ersten Minimum (dark ring)

DBV1-5 # 57

Hankel-Transformation

# 57 Antwort

Für rotationssymmetrische Ortsfunktionen kann der Exponentialteilder Fouriertransformation separat gelöst werden und ergibt die Bes-selfunktion J0. Dadurch geht die 2D-Fouriertransformation in die1D-Hankeltransformation über.

s0(r)H S 0(R) = 2π

∫ ∞0

rs0(r)J0(2πrR)dr

Die inverse Hankeltransformation ist identisch zur Hankeltransfor-mation (R statt r, S 0 statt s0. HT beschreibt Relation zwischen ro-tationssymmetrischem Signal und seinem rotationssymmetrischemSpektrum. (d.h. rotierte Besselfkt. statt überlagerte si() bei rect())

DBV1-5 # 58

Fourier-Slice-Theorem

# 58 Antwort

Projektion einer Variable durch Integration (“wegintegrieren”), Trans-formation nach der verbleibenden

Aufgrund des Rotationstheorems gilt diese Annahme für Integrati-on entlang beliebiger Richtungen (Projektionsschnitte der Spektral-komponenten entlang (fx,fy)-Achse

Eine Projektion auf eine Achse im Ortsraum entspricht dem Spek-trum entlang dieser Achse im Fourierraum.

DBV1-5 # 59

Filtered Back Projection

# 59 Antwort

Back Projection: Wert des Projektionsintegrals entlang des Integrati-onsweges gemittelt auftragen, für jeden Winkel (also jeden Weg dergedrehten Projektionen) wiederholen und dann das Bild überlagern.

Filterung zur Kantenerhaltung notwendig, z.B. Multiplikation mitHochpass |R|

DBV1-5 # 60

Houndsfield Units (HU)

# 60 Antwort

• Referenz an Dämpfung von Wasserµr =

µ(x,y)−µ(H2O)µ(H2O) · 1000

• Für Anzeige variable Grauwertfenster (hohe Dynamik von Luft(-1000) bis Knochen (3000)); Knochenfenster/Gewebefenster

DBV1-6 # 61

Pixel-Nachbarschaften im rechteckigenRaster

# 61 Antwort

• 4-Punkt-Nachbarschaft: Gemeinsame Seite

• 8-Punkt-Nachbarschaft: Gemeinsame Ecke

DBV1-6 # 62

Schritte der A/D-Konvertierung

# 62 Antwort

1. Abtasten

2. Quantisieren (Runden auf nächsten Wert)Quantisierungsrauschen ∈ −0.5S w . . . 0.5S w mit Sw Quanti-sierungsschrittweite

3. Binärcodierung des quantisierten Werts

DBV1-6 # 63

Aliasing

# 63 Antwort

Hohe Frequenzen werden fälschlicherweise auf tiefe abgebildet.

Abhilfe: Tiefpassfilterung mit Grenzfrequenz halber Abtastrate vorAbtastung.

DBV1-6 # 64

Ideale Abtastung

# 64 Antwort

Spektrum periodisch wiederholt, keine Überlappung (Aliasing) derWiederholungen, wenn mind. mit Nyquist-Rate abgetastet.

DBV1-6 # 65

Rekonstruktion eines abgetasteten Signals

# 65 Antwort

(Interpolation mit si()-Funktionen)

DBV1-6 # 66

ortsdiskrete Fourier-Transformation vons(m,n)

# 66 Antwort

Transformiert diskrete Ortssignale in ein kontinuierliches, periodi-sches Spektrum

Rücktransformation:

DBV1-6 # 67

Diskrete Fourier Transformation

# 67 Antwort

Diskreter Ort in diskrete Frequenzkoeffizienten transformiert.

DBV1-6 # 68

Band-limited interpolation

# 68 Antwort

Ziel: Ideale Pixel-Interpolation, um Bilder ohne Artefakte zu ver-größern

Step interpolation: wird pixelig; BL interpolation: weicher Über-gang

DBV1-6 # 69

Wieso DCT statt DFT für JPEG?

# 69 Antwort

• Bessere mittlere Energiekonzentrationder DCT-Koeffizienten

DBV1-6 # 70

Signaleigenschaften und Eigenschaftenihrer Transformationen

# 70 Antwort

DBV1-7 # 71

Point Operations

# 71 Antwort

Bei einer Punktoperation wird für jedes Pixel eine Funktion ange-wandt, die nur von seinem Grauwert, nicht von den Nachbarn, ab-hängt.

Beispiele:“digitales Negativ”, Kontraststeigerung, Gamma-Korrektur, Grau-wertfenster

Homogene P.O. über das ganze Bild gleicher Funktionsbezug

Inhomogene P.O. örtlich variierende Funktion (z.B. ortsabh. De-tektorempfindlichkeit kompensieren oder Staubpixel-Korrektur)

DBV1-7 # 72

Beispiel für Punktoperation zurVerbesserung der Grauwertdynamik/des

Kontrastes

# 72 Antwort

DBV1-7 # 73

Gamma-Korrektur

# 73 Antwort

Zusammenhang zwischen einfallender Bestrahlungsstärke E und Grau-wert ist meistens (absichtlich) nichtlinear:

smn ∝ Eγmn, γ = 0.5 . . . 2.2

Für quantitative Aussagen Gammakorrektur durch:

gmn =Q

Q1γ

· s1γ

mn

Q: maximaler Grauwert (z.B. 255)

DBV1-7 # 74

Histogrammtypen

# 74 Antwort

Ein Histogramm bildet die Grauwerthäufigkeit ab. Normalisiertesund kumuliertes Histogramm:

DBV1-7 # 75

Histogramm-Equalisierung

# 75 Antwort

Ziel: flache, homogene Grauwertverteilung, idealerweise:

h(i) =MN

Q + 1bzw. h(i) =

1Q + 1

Grauwerte können nicht aufgeteilt werden, sie können nur verscho-ben oder überlagert werden. Bei der Spreizung entstehen diskreteLinienspektren.

Durch Verwendung des kumulierten Histogramms können Bereichestarker Grauwertänderung gespreizt, andere gestaucht werden

DBV1-7 # 76

Look-up Tables (LUT)

# 76 Antwort

Anstatt für jeden Pixel aufwendig typecast, log oder Skalierung zuberechnen, einmal für alle möglichen Grauwerte vorberechnen, inder LUT ablegen und dann nur noch vergleichen und ersetzen derPixel aus dem Bild (Speedup)

DBV1-7 # 77

Image Averaging

# 77 Antwort

Mittelung über gleiche Pixel in zeitlich aufeinanderfolgenden Bil-dern -> Quantenrauschen von Röntgenaufnahmen kann vermindertwerden

DBV1-7 # 78

DSA

# 78 Antwort

Digital Subtraction Angiography

• ein Bild ohne Kontrastmittel, um den Hintergrund aufzuneh-men

• ein Bild mit gespritztem Kontrastmittel

• a) von b) abziehen -> deutliche Blutgefäßstruktur mit starkvermindertem Hintergrund

DBV1-7 # 79

Beispiel Multikanal-Punktoperation:RGB->YUV Transformation

# 79 Antwort

• YUV Hauptstandart für Farb-Fernsehen, weil abwärtskompa-tibel zu SW-Fernseher (Y ist Luminanz)

• Transformation von Gamma-korrigiertem RGB-Material

• Farbkomponenten U,V geringere Bandbreite (1.3 MHz ge-genüber 5.5 MHz für Y)

DBV1-8 # 80

FIR-Filter

# 80 Antwort

Bezeichnungen: Faltungsmaske, Filtermaske, Faltungskern

2D diskrete Faltung:

“Sliding window operation” / Gleitendes Fenster

DBV1-8 # 81

Moving average

# 81 Antwort

Quadratisches Fenster der Größe (2M +1)2 Pixel, Details kleiner alshalbe Fenstergröße werden herausgemittelt.

Übertragungsfunktion:* H_a ist periodisch* Ortsfrequenzen sind normalisiert* je größer M, desto stärker Tiefpass* Sidelobes wg rect() o-o si()

DBV1-8 # 82

Ziel der Background Compression

# 82 Antwort

DBV1-8 # 83

Unscharfe Maske

# 83 Antwort

1. Hintergrundinformation extrahierendurch gleitenden Mittelwertfilter

2. Differenzbild aus Original und Tiefpass-gefiltertem

3. Differenzbild verstärken (harmonisationfactor ca. 0.8 bei Röntgen) und auf dasOriginal addieren

4. entspricht einem Hochpass

DBV1-8 # 84

Edge Enhancement

# 84 Antwort

Ähnlich wie unscharfe Maske (Karte # 83), aber sehr schwachenTiefpassfilter verwenden (M=1..5), wodurch nur sehr feine Detailsim Tiefpassbild wegfallen -> Differenzbild enthält Kanteninforma-tion, die mit α versärkt wird.

DBV1-8 # 85

Gauß’scher Tiefpass / Binomialfilter

# 85 Antwort

• Gauß-Funktion im Orts- und Frequenzbereich ähnlich -> kei-ne Nebenkeulen wie rect-si

• Im diskreten Fall Binomialfilter gute Annäherung an Gauß

• Kern gegeben durch Binomialkoeffizienten 1/4 [1 2 1]

• Übertragungsfunktion cos(W−1)(π fx)cos(W−1)(π fy), W Fil-terlänge

• größere Kerne durch Faltung von zwei kleinen

• Anwendung: unsharp masking, Rauschunterdrückung

DBV1-9 # 86

Homomorpher Filter

# 86 Antwort

Grauwert eines Bildpunktes kann dargestellt werden als Produkt ausBestrahlungsstärke und Reflektivität

s(m, n) = l(m, n) · r(m, n)

Bestrahlungsstärke (Illumination) variiert langsam über dem Bild(tieffrequent)->Homogenisieren, nur Reflektivität (Kanten) verstär-ken

Homomorpher Filter wendet log() an, um Multiplikation in Additionzu überführen:

log[s(m, n)] = log[l(m, n)] + log[r(m, n)]

(homogene Punktoperation)

DBV1-9 # 87

Rank Order Filter

# 87 Antwort

Sortieren die Grauwerte innerhalb des Filterfensters nach Wert undlesen den Output an fester Position aus:

• Mitte: Median Filter

• Rechts (höchster): Maximum Filter

• Links (kleinster): Minimum Filter

Nichtlinearer Filter, bildet diskrete Grauwerte auf diskrete Grauwer-te ab (keine Rundungen)

DBV1-9 # 88

Medianfilter

# 88 Antwort

• Gut geeignet für impulsartige Fehler (Bit-Fehler)

• Schärfeverlust (wie alle LSI-Filter)

• starke, große Impulse werden nicht entfernt

• Sprünge bleiben erhalten, nur isolierte Pulse werden entferntSalt & Pepper kann sehr gut entfernt werden

DBV1-9 # 89

Maximumfilter

# 89 Antwort

• Gibt größten Grauwert aus

• Dunkle Flächen kleiner als Filterfenster werden entfernt

• Kanten von großen dunklen Bereichen waschen aus

DBV1-9 # 90

Max-Min-Filter

# 90 Antwort

• Min-Filter ist dual zum Max-Filter

• Kombination kompensiert die Erosion der Kanten

DBV1-9 # 91

Tophat Filter

# 91 Antwort

• Differenz aus Original und Max-Min-gefilterter Version

• lokal dunkle Bereiche bleiben erhalten (z.B. Blutgefäße mitKontrastmittel)

DBV1-9 # 92

FIR/Media Hybrid Filter (FMH)

# 92 Antwort

• Kombination aus Medianfilter mit Eckendetektor

DBV1-10 # 93

Gradientenbasierter Kantendetektor

# 93 Antwort

• relativ breite Kantenbereiche durch Schwellwertoperation

• Edge thinning: mindestens in einer Richtung auf lokales Ma-ximum testen, um die Position der Kante genauer aufzulösen(Punkt des Maximums)

DBV1-10 # 94

Isotroper Kantendetektor

# 94 Antwort

• Muss rotations-invariant sein

• Gradient erfüllt dies nicht, der Betrag des Gradienten hinge-gen schon (unabhängig von ϕ)

• in Praxis nur annähernd rotations-invariant wg Grauwertinter-polation bei Drehung im diskreten Raster

DBV1-10 # 95

2D diskreter Kantendetektor

# 95 Antwort

• partielle Ableitungen gehen in endliche Differenzen über ->Faltungskerne!

• Hochpass bei tiefen Frequenzen (Rauschanfällig!), Tiefpassbei hohen (sin())

• Verminderung der Rauschanfälligkeit durch Tiefpassfilterungrechtwinklig zur Kantensuchrichtung

• Separable Filtermaske

DBV1-10 # 96

Roberts Kantendetektor

# 96 Antwort

Kantendetektion durch Schwellwert und Suche des lokalen Maxi-mums

DBV1-10 # 97

Prewitt Kantendetektor

# 97 Antwort

DBV1-10 # 98

Sobel Kantendetektor

# 98 Antwort

Jeweils Ableitung nach einer Richtung, dann Wurzel aus der Qua-dratsumme der Ableitungen bilden -> liefert Kantenbild.

DBV1-10 # 99

Probleme bei gradientenbasiertenVerfahren

# 99 Antwort

• Bei Gradientenverfahren ist eine Schwellwertoperation undanschließend eine Bestimmung des lokalen Maximums erfor-derlich (edge thinning)

• es können Lücken in der Kante entstehen

DBV1-10 # 100

Idee der Laplace-basiertenKantendetektion

# 100 Antwort

• suche Nulldurchgänge der zweiten Ableitung ∆ f (x, y)

• isotrop im Frequenzbereich:

• Kantenstrukturen sind geschlossen, kein edge thinning erfor-derlich

• Nachteil: Starker HP->Rauschen! -> Kombination mit Gauß’schemTiefpass

DBV1-10 # 101

Marr-Hildreth-Operator

# 101 Antwort

• Kombination aus Laplace-Filter und Gauß’schem Tiefpass, umRauschanfälligkeit zu minimieren

• Bandpass

• Passbandbreite über Parameter a einstellbar

DBV1-10 # 102

LoG

# 102 Antwort

• Laplacian of Gaussian

• Realisierung des Marr-Hildreth-Konzepts durch Gauß-TP-Filterungmit anschließender Laplace-Operation

DBV1-10 # 103

Laplace Faltungskern

# 103 Antwort

DBV1-10 # 104

DoG

# 104 Antwort

• Difference of Gaussians

• Alternative Marr-Hildreth-Operation (statt LoG)

• Differenz zweier Gauß-Filter mit unterschiedlicher Breite

• nähert für kleine Raumfrequenzen Laplace an (->Taylor Ent-wicklung!)

DBV1-u # 105

CYGM-Pattern

# 105 Antwort

Alternative zum Bayer-Pattern, genauere Luminanzinformation, da-her besserer Dynamikumfang, aber schlechtere Farbwiedergabe.

DBV2-1 # 106

3 Schritte der Kantenerkennung

# 106 Antwort

1. Rauschunterdrückung (Noise Smoothing): So stark wie mög-lich, aber ohne Kanten zu verwischen oder feine zu entfernen

2. Kantenbetonung (Edge Enhancement): Filter, dessen Antwortan Kanten hoch ist, niedrig überall sonst

3. Kantenerkennung (Edge Localization): Entscheidung welcheMaxima der Filterantwort wirklich Kanten entsprechen: Thin-ning auf 1 pixel-Kanten, Schwellwert für Filterantwort

Gute Erkennung: wenig Rauschen, wenig Kantenverlust

Gute Lokalisierung: erkannte Kantenposition nahe an tatsächlicher

DBV2-1 # 107

Localization-Detection-Tradeoff

# 107 Antwort

Ein großer Filterkern unterdrückt Rauschen besser, ein kleinerer lo-kalisiert die Kanten besser.

Das Produkt aus Erkennung D und Lokalisierung L ist konstant,es kann über die Filtermaskengröße abgestimmt werden, welcherAspekt wichtiger ist.

DBV2-1 # 108

Canny-Detektor

# 108 Antwort

• 2D-Gauß-Filterung, dann 2D-Gradient bilden

• Kantenstärke und -normale aus Gradient bestimmen

DBV2-1 # 109

Canny-Algorithmus

# 109 Antwort

1. Start mit einem verrauschten Eingangsbild x(i, j)

2. Faltung mit Gauß’schem Filterkern

3. Für jedes Pixel:

(a) diskrete Gradienteninformation berechnen in beide Rich-tungen

(b) Kantenstärke durch s(i, j) =√

yi(i, j)2 + y j(i, j)2

(c) Orientierung durch θ(i, j) = arctan( y j(i, j)y j(i, j)

)

DBV2-1 # 110

Filterfunktion Canny

# 110 Antwort

gi(i, j, σ) = [δ(i + 1, j) − δ(i, j)] ∗ g(i, j, σ)

g j(i, j, σ) = [δ(i, j + 1) − δ(i, j)]︸ ︷︷ ︸diskrete Ableitung nach j

∗g(i, j, σ)

Mit separablem 2D-Gauß:

g(i, j, σ) = e−i2

2σ2 · e−j2

2σ2

DBV2-1 # 111

Eigenschaften mit Gradient von Faltungmit Gauß

# 111 Antwort

∇(g ∗ x) = ∇g ∗ x

Werte von ∇g können in einer LUT gespeichert werden. Außerdemist Gauß separabel, d.h. die Operation mit LUT kann für jede Di-mension getrennt durchgeführt werden.

DBV2-1 # 112

Nonmaxima Suppression Algorithm

# 112 Antwort

• Kantenstärke liefert dicke Bereiche, nun soll nur das 1-Pixel-Maximum bestimmt werden (vermutlichster Ort für die Kan-te)

1. Quantisiere die Orientierung auf 0 deg, 45 deg, 90 deg, 135 deg

2. 3x3 Nachbarschaft wird auf dem Pixel platziert

3. wenn die Kantenstärke entlang der Orientierung nicht größerist als die der Nachbarpixel, wird das Pixel auf Null gesetzt,ansonsten als lokales Maximum gehalten.

DBV2-1 # 113

Entfernen von Kantenrauschen

# 113 Antwort

• Einführung eines Schwellwertes, alle Kantenstärken unter Schwell-wert werden zu Null gesetzt

• Problem Schwellwertwahl: feine Kanten aber kein Rauschensollen erhalten bleiben

• Abhilfe: Hysterese Schwellwert: Zwei Kantenbilder, eins mithohem Schwellwert, eins mit tiefem. Unsichere Kantenpixelbleiben nur erhalten, wenn sie im Bild mit hohem Schwellwertverbunden wären

DBV2-1 # 114

Wichtige Eigenschaften desCanny-Detektors

# 114 Antwort

• geringe Fehlalarmquote: false positive muss fast immer grö-ßer als τ sein

• wenig Verlust schwacher Kanten, da diese für Verlust fast be-ständig unter τ liegen müssen

• Output: Kantenzentrum, -stärke und -orientierung

• Liste verbundener Kantenstrukturen aus Hysterese-Schwellwert

• Y-Verbindungen werden durch Nonmaxima-Suppression auf-geteilt

DBV2-2 # 115

Definition Orientierung

# 115 Antwort

DBV2-2 # 116

Gradientenbasierte Richtungsanalyse

# 116 Antwort

1. Bilde den Gradienten (Richtung maximalen Anstiegs)

2. ϕ = arctan2( sy

sx)

3. Ergebnis ∈ [−π..π], dabei reicht [− π2 ..π2 ]

4. d.h. gleiche Orientierungen variieren ±π

DBV2-2 # 117

Orientierung durch Varianz

# 117 Antwort

1. s(x, y) = s(xcos(ϕ) − ysin(ϕ), xsin(ϕ) + ycos(ϕ)

2. Q(ϕ) =!

Ω( ∂∂x sϕ(x, y))2dxdy

3. Orientierung ist Argument θ, das Q(ϕ) minimiert!

4. Substitution nach x, y liefert dx dy = |J| dx dy

5. Q(ϕ) = cos2ϕ · Jyy + sin2ϕ · Jxx + sin(2ϕ) · Jxy

6. Jyy =!

s2x(x, y)dxdy analog für die anderen. Integration in

Praxis durch Faltung mit großem Tiefpass

7. Orientierung nach ∂∂ϕ

Q(ϕ) = 0: tan(2θ) =2Jxy

Jyy−Jxx

DBV2-2 # 118

Orientierung durch Varianz inTensorschreibweise

# 118 Antwort

Das Problem entspricht

Lösung ist Eigenwertproblem und liefert gesuchten Vektor v als Ei-genvektor des kleinsten Eigenwerts λ

DBV2-2 # 119

Gradient in beliebige Richtung

# 119 Antwort

Ein Gradient in beliebige Richtung x kann zurückgeführt werden auf

∂

∂xs(x, y) = sx(x, y)cos(ϕ) + sy(x, y)sin(ϕ)

Ableitung in horizontaler und vertikaler Richtung gewichtet mit sin(),cos()

DBV2-2 # 120

Test auf einfache oder doppelteOrientierung

# 120 Antwort

• Ohne Eigensystemanalyse direkt aus J bestimmbar

• K = detJ = λ1λ2 = JxxJyy − J2xy

• H = traceJ = λ1 + λ2 = Jxx + Jyy

• Homogene Region: K=H=0

• Einfache Orientierung: K=0, H>0

• Vertrauenstest: KH2 < ε ≈ 0.2

DBV2-2 # 121

Mixed Orientation Parameter Vector

# 121 Antwort

Ansonsten fast identische Tensorformulierung (Länge T in Neben-bedingung statt 1). Wenn rank J = 2, dann zwei Orientierungen

DBV2-2 # 122

Tensor J für Modell mit zweiOrientierungen

# 122 Antwort

DBV2-3 # 123

Subbandaufteilung durch hierarchischangewandte unscharfe Maske

# 123 Antwort

• Wenn die Subband-Bilder nicht verändert werden, ist idealeRekonstruktion möglich!

• Nachteil: Bilddaten werden vervielfacht, Rechenaufwand steigtmit größer werdenden Filtermasken

• Abhilfe: Downsampling der Bilder auf jeder Stufe!

DBV2-3 # 124

2-fach Downsampler

# 124 Antwort

• setzt jede zweite Zeile/Spalte zu Null, anschließend selektiertman z.B. alle geraden Zeilen

• verbreitert das Spektrum um Faktor 2, gewichtet mit 0.5

DBV2-3 # 125

Upsampler

# 125 Antwort

Fügt jeweils eine Null zwischen den Werten ein.

DBV2-3 # 126

Spektrum Downsampler

# 126 Antwort

DBV2-3 # 127

Spektrum Upsampler

# 127 Antwort

DBV2-3 # 128

Strukturbild Laplace-Pyramide

# 128 Antwort

DBV2-3 # 129

Was ist eine Laplace-Pyramide?

# 129 Antwort

Kombination aus unscharfer Maske mit Downsampling/Upsampling.

Die Filter entsprechen von Ebene zu Ebene der Gauß-Pyramide,die Subbänder, da Differenz von gaußgefilterten Funktionen, einerLaplace-Pyramide (DoG)

Subbänder werden durch stetige Downsampling in Oktaven unter-teilt (0.5, 0.25, 0.125...)

DBV2-4 # 130

Structure Boost

# 130 Antwort

Nichtlineare, kontrastabhängige Filterung. Schwache Kontraste wer-den angehoben, andere nicht.

DBV2-4 # 131

Spatiotemporal Gain

# 131 Antwort

ortsbezogene Verstärkungen können z.B. Punktoperationen sein (Kon-trast erhöhen).

Zusätzlich Erweiterung um zeitabhängigen Verstärkungsfaktor, z.B.durch Bewegung feinere Blutgefäße entdeckt und diese Differenzaus der Zeitabfolge wir ebenfalls verstärkt dargestellt.

DBV2-4 # 132

Hintergrund-Abschwächung

# 132 Antwort

Die Subband-Pyramide wird genutzt, um auf der untersten Ebeneden Hintergrund abzuschwächen (Reduktion des Kontrasts des Tiefpass-Bildes). Damit das Bild nicht dunkler wird, muss die Helligkeit umden gleichen Faktor erhöht werden (auf der untersten Ebene).

DBV2-4 # 133

FMH-Filter

# 133 Antwort

Filter mit Kantendetektoren -> Werden rund-herum keine Kanten detektiert, wird das Pi-xel ein bisschen eingeebnet, weil es dann sehrwahrscheinlich ein Rauschpixel ist.Multiskalen-FMH-Filter wendet FMH auf je-dem Subband an -> sehr gut geeignet für Un-terdrückung des Rauschens in Röntgenbildern

DBV2-5 # 134

z-Transformation

# 134 Antwort

• e− j2π f n wird durch z−n ersetzt

•

• multivariat entsprechend mit Mehrfachsummen

• entspricht Fourier-Trafo ausgewertet auf Kreis e− j2π fx bzw. fy

DBV2-5 # 135

Energiekomplementärer Filter

# 135 Antwort

• Filter sind dann Energiekomplementär, wenn sich das Spek-trum des Filters und seiner modulierten Version genau zu 1aufaddieren.

• Kriterium benötigt für ideale Rekonstruktion

• entspricht: |H( f )|2 + |H( f − 12 )|2 = 1

DBV2-5 # 136

z-Transformierte des dyadischenDown-/Upsamplers

# 136 Antwort

• Downsampler:

• Upsampler:

DBV2-5 # 137

Übertragungseigenschaften einerZweikanal-Filterbank

# 137 Antwort

Perfekte Rekonstruktion, wenn der zweite Anteil Q(z) null wird.Dies wird von Quadratur Spiegel Filtern (QMF) erfüllt.QMF-Bedingung wird für linearphasige (symmetrische) Filter nurfür Filter der Länge 2 (-> schlechte Frequenztrennung) oder idealesinc()-ähnliche IIR-Filter erfüllt (haben aber Nebenmaxima).

DBV2-5 # 138

Ein vorgestellter Filter fürQMF-Filterbänke?

# 138 Antwort

• Johnston QMF-16 filter prototype

• Kompromiss: linearphasig (=symmetrisch), möglichst gute Fre-quenztrennung, endliche Filterlänge

DBV2-5 # 139

Strukturbild 4-Band Filterbank

# 139 Antwort

DBV2-5 # 140

JPEG2000 / Filterbänke

# 140 Antwort

Erst Zeilen, dann Spalten filtern!

* LL: geglättetes und verkleinertes Originalbild* LH: horizontale Bildelemente* HL: vertikale Bildelemente* HH: diagonale Strukturen

DBV2-5 # 141

Uniforme Filterbank

# 141 Antwort

Alle Subbänder haben die gleiche Bandbreite!

Erzeugung durch rekursive Teilbandzerlegung (nicht pyramidisch,wie bei JPEG2000!)

DBV2-5 # 142

Octave Filter Bank - DWT - Strukturbild

# 142 Antwort

• nicht-uniforme Filterbank: einzelne Subbänder unterschiedli-che Bandbreite

• zusätzliches Verzögerungsglied, um Verzögerung der mehr-fach abgetasteten Bilder zu kompensieren

• DWT nicht shift-invariant: starke Schwankung der Subband-energien bei Verschiebung (Laplace ist invariant)

DBV2-6 # 143

Arten von Triangulation

# 143 Antwort

Aktive mit Laserpunkt oder -strich abrastern (Energie wird von au-ßen aufgebracht) bzw. “negative Beleuchtung”->Schattenstrich;über strukturiertes Licht (Farbe, Struktur) können mehrere Durch-gänge gleichzeitig aufgenommen werden

Passive nur durch Stereokamera und Versatz der Bilder gegenein-ander, keine Energie von außen einbringen

DBV2-6 # 144

Struktur Geometrie aktive Triangulation

# 144 Antwort

DBV2-6 # 145

Gleichung Rekonstruktion X-Koordinateaktive Triangulation

# 145 Antwort

DBV2-7 # 146

Extrinsische Kameraparameter

# 146 Antwort

• Wo befindet sich die Kamera?

• Translation t und Rotation R

DBV2-7 # 147

Intrinsische Kameraparameter

# 147 Antwort

• Was ist es für eine Kamera?

• Linear: Pixelgröße, Brennweite, Bildhauptpunkt (Sensor ver-schiebt sich um einige Pixel durch Fertigungstoleranzen; istder Punkt wo Objektivachse die Bildebene schneidet)

• Nichtlinear: Geometrische Verzerrungen der Optik, evtl. Win-kel zwischen Linse und Bildebene

5 Intrinsische Parameter: f , sx, sy, cm, cn

DBV2-7 # 148

Affine Transformation

# 148 Antwort

• keine perspektivische Verzerrung, nur Rotation und Translati-on -> Homogene Transformation

• 11 Parameter (6 extrinsische, 5 intrinsische)

DBV2-7 # 149

Verzeichnungen

# 149 Antwort

Tonnen in den Ecken zum Bildmittelpunkt verschoben

Kissen in den Ecken nach außen verschoben

Modelliert als zusätzlicher intrinsischer Parameter Dx = xd · kr2,Dy = yd · kr2 (Radialshift)

DBV2-7 # 150

Kamerakalibration

# 150 Antwort

• bekannte Geometrie

• 3D-Körper notwendig, da teuer manchmal nur ein Stift-Aufsatz

• für N bekannte Punkte auf dem Kalibrationskörper wird einGleichungssystem mit N Gleichungen erstellt, wodurch dieKamera-Parameter bestimmt werden können

DBV2-8 # 151

Horopter

# 151 Antwort

• Ebene, auf der bei gegebener FixationObjekte einfach gesehen werden

• davor: gekreuzt, dahinter: ungekreuzteDisparität

• Vieth-Müller-Kreis durch Fixationspunktund Projektionszentrum jedes Auges

• empirischer Horopter weiter außen

DBV2-8 # 152

Panum’s area

# 152 Antwort

Objekte in einem kleinen Bereich um den Ho-ropter werden einfach wahrgenommen.

DBV2-8 # 153

Epipolargeometrie

# 153 Antwort

• Epipolarebene (P-O1-O2)

• Epipolarlinie: Bild des Sehstrahls der an-deren Kamera zu Punkt P

• Epipolarbedingung: KorrespondierendePunkte nur auf Epipolarlinie

DBV2-8 # 154

Rekonstruktion Z aus Epipolargeometrie

# 154 Antwort

DBV2-8 # 155

Epipol

# 155 Antwort

• Punkt, an dem die Basislinie zwischenbeiden Kameras die Bildebene durch-stößt.

• linker Epipol ist Bild des rechten Projek-tionszentrums auf der linken Bildebene

• alle Epipolarlinien laufen durch den Epi-pol

DBV2-8 # 156

Essentielle Matrix / Fundamentalmatrix

# 156 Antwort

Essentielle Matrix 3x3, beschreibt die Epipolargeometrie in konti-nuierlichen Koordinaten bezogen auf den Bildhauptpunkt

Fundamentalmatrix 3x3, Beschreibung in diskreten Pixelkoordi-naten bzgl. oberer linker Ecke (digitaler Nullpunkt)

DBV2-8 # 157

Koplanaritätsbedingung(Epipolargeometrie)

# 157 Antwort

(Pl − t)T · [t × Pl] = 0

(Pl− t) entspricht Pr und die beiden sollen in einer Ebene verlaufen.

DBV2-8 # 158

Essentielle Matrix

# 158 Antwort

• Aus Koplanaritätsbedingung ergibt sich PTr R[t × Pl] = 0

• kann umgeschrieben werden zu PTr · E · Pl = 0

• E = RS und S aus Kreuzprodukt:

• E ist dann die Essentielle Matrix

• pTr · E · pl = 0 beschreibt Epipolarlinie in rechter Kamera bei

gegebenem pl

DBV2-8 # 159

Fundamentalmatrix

# 159 Antwort

• Verbindung zwischen Bildpunkten und Epipolarlinien in dis-kreten Pixelkoordinaten

• Epipolar-Geradengleichung qTr Fql = 0

• mit Fundamentalmatrix: F = (M−1r )T · E · M−1

l

• intrinsische Parameter fließen ein

DBV2-8 # 160

Übersicht E und F

# 160 Antwort

DBV2-9 # 161

8-Punkt-Algorithmus

# 161 Antwort

• F33 kann zu 1 gesetzt werden (F muss nur bis auf Faktor be-stimmt werden)

• –> 8 Punktpaare zur Kalibration notwendig

• Wenn mehr als 8 Punktpaar, linear least squares minimieren

• daraus ermitteltes F ist in aller Regel nicht singulär: DurchSingulärwertzerlegung singuläres F finden (Singulärwertzer-legung, kleinsten Singulärwert zu Null setzen, Zerlegung rück-gängig machen -> F ist singulär)

DBV2-9 # 162

Rectification

# 162 Antwort

• Epipolarlinien nicht parallel zu Bildzeilen -> Rectifizierungprojiziert Bild auf eine Ebene parallel zur Basislinie und derSchnittlinie der ehemaligen Bildebenen

• dadurch einfache Suche entlang Bildzeilen möglich

• für Rectification Interpolation benötigt

• Drehung der anderen Kamera wird rückgängig gemacht (FolieBV2-9-9)

DBV2-9 # 163

Rekonstruktion des Punktes P beiTriangulation, wenn sich die Sehstrahlen

nicht schneiden

# 163 Antwort

Idealerweise liegt der Punkt P im Schnittpunkt der beiden Gerade.Durch Toleranzen sind die Strahlen in aller Regel windschief.

Daher berechne den kürzesten Abstand auf beiden Geraden (stehtsenkrecht auf beiden Geraden) und lege P auf dieser Gerade in dieMitte zwischen beiden Strahlen.

DBV2-9 # 164

Algorithmus zur Rekonstruktion eines3D-Punktes

# 164 Antwort

1. Berechne Strahlen in Koordinaten z.B. der linken Kamera (Dre-hung gegenüber Weltkoordinaten rückgängig machen und inneue Seite drehen, bzw. Differenz der Translationsvektoren)

2. suche Vektor w, der auf beiden Strahlen senkrecht steht

3. löse Gleichung für a,b, c

4. gesuchter 3D-Punkt ist

DBV2-9 # 165

Gleichung Rotation und Translation vonWeltkoordinaten in Kamerakoordinaten

# 165 Antwort

DBV2-9 # 166

Möglichkeiten der Disparitätsschätzung /

Bildpaare suchen

# 166 Antwort

korrelationsbasiert liefert dicht besetzte Disparitätskarte, aber auchviele falsche TrefferBlock matching: Minimiere quadratische Differenz eines fes-ten Blocks aus dem linken Bild entlang Epipolarlinie im rech-ten Bild; Alternativ Kreuzkorrelation

merkmalsbasiert liefert schwach besetzte Disparitätskarte, homo-gene Flächen fallen heraus; dafür aber verlässliche Punkte,die vermutlich in beiden Bildern recht eindeutig identifiziertwerden können

DBV2-9 # 167

Order Constraint

# 167 Antwort

Punkte, die im linken Bild entlang einer Geraden liegen, kommenim rechten Bild in der Regel in der gleichen Anordnung vor

Disparitätsvektoren kreuzen sich praktisch nie!

DBV2-9 # 168

Annahmen bei der Disparitätsschätzung

# 168 Antwort

• Suchregion kann entlang der Epipolarlinie eingeschränkt wer-den, wenn die maximale Verschiebung bekannt ist

• Disparitätsvektoren kreuzen sich praktisch nie

• wenn mehrere Blöcke dem Referenzblock sehr ähnlich sind,wähle den Vektor, der den umliegenden Disparitätsvektorenam ähnlichsten ist (keine Sprünge; strukturelle Randbedin-gung)

• anschließend Postprocessing: Medianfilter o.ä. Vorsicht beiFußballaufzeichnungen Ausreißer Fußball

DBV2-9 # 169

Wie können Verdeckungen erkanntwerden?

# 169 Antwort

• das verwendete Ähnlichkeitsmaß überschreitet eine Schwellenicht

• Disparitätsvektoren kreuzen sich nicht

• Disparitätsvektoren zeigen auf unterschiedliche Pixel, es kön-nen nicht zwei auf das gleiche Pixel zeigen

DBV2-9 # 170

Algorithmus merkmalsbasierteDisparitätsschätzung

# 170 Antwort

1. Extrahiere für beide Bilder Merkmale, z.B. Linienstrukturen,Ecken, Kanten

2. für jedes Merkmal im linken Bild, berechne das Ähnlichkeits-maß eines Merkmals im rechten Bild

3. speicher den Disparitätsvektor zum Merkmal, dass das ÄMminimiert

DBV2-10 # 171

Time to impact

# 171 Antwort

• völlig unabhängig von Kameraparametern, keine Informatio-nen über 3D-Abmessungen des Objekts benötigt, keine Kali-bration der Kamera

• τ =y(t)y′(t)

DBV2-10 # 172

Beschreibung von 3D Bewegung

# 172 Antwort

Überlagerung von Translation und Rotation

DBV2-10 # 173

Informationen aus dem optischen Fluss

# 173 Antwort

• Geschwindigkeit und Richtung der Bewegung

• relative Bewegung von Bildregionen (motion segmentation)

• Bewegungsbahn von Objekten

• Stereobilder aus zwei verschiedenen zeitlichen Bildern vonzwei Positionen (Kamerafahrt)

• time to inpact (Kollisionserkennung)

DBV2-10 # 174

FOE

# 174 Antwort

• Focus of expansion

• bei Translationsbewegung der Kamera auf das Objekt zu

• Bewegungsvektoren kommen aus FOE heraus

DBV2-10 # 175

FOC

# 175 Antwort

• Focus of contraction

• Kamera von Objekt weg

• alle Bewegungsvektoren zeigen in den FOC hinein

DBV2-11 # 176

Brightness Constancy Constraint

# 176 Antwort

Annahmen:

• Helligkeit/Beleuchtung ändert sich nur marginal von frame zuframe

• Bestrahlungsstärke überall proportional zur Strahlungsstärke

• d.h. zeitliche Kontraständerungen werden nur durch Bewe-gung hervorgerufen

• ausgedrückt durch BCCE

DBV2-11 # 177

BCCE

# 177 Antwort

Brightness Constancy Contraint Equation

bzw.

ds/dt Helligkeitsänderung eines festgewählten Punktes, nach An-nahmen =0

Nur der Geschwindigkeitsanteil projiziert auf den Grauwertgradi-enten kann ermittelt werden. Daher mehrere Punkte und eine Eckebenötigt, um die Bewegung voll zu erfassen.

DBV2-11 # 178

Wann weichen optischer Fluss undwirkliche Bewegung voneinander ab?

# 178 Antwort

• homogene Fläche bewegt sich: kein optischer Fluss

• Lichtquelle bewegt, d.h. bewegte Glanzlichter: nur optischerFluss, keine zugrundeliegende Bewegung

DBV2-11 # 179

Differential Motion Estimation

# 179 Antwort

• verwendet BCCE-Bedingung

• minimiere durch Ableitung

1. Vorfilterung (Bild für sich und zeitlich mit kleinem Binomial-filter)

2. für jedes Pixel Orientierungstensor J berechnen

3. wenn der kleinere Eigenwert einen Schwellwert überschreitet,berechne b und damit Geschwindigkeitsvektor u

DBV2-11 # 180

Spatiotemporaler Tensor J

# 180 Antwort

Für Bewegungsschätzung mit Eigensystemanalyse, ähnlich Vorge-hen bei Richtungsdetektion

DBV2-11 # 181

Bewegungsschätzung Eigenwertanalyse

# 181 Antwort

rang J = 0 keine Bewegung detektierbar

rang J = 1 Bewegung in Richtung des Grauwertgradienten detek-tierbar (Aperturproblem)

rang J = 2 Bewegungsvektoren einer Ecke bestimmbar

rang J = 3 Annahme der einfachen Bewegung verletzt, z.B. über-lagerung mehrerer Bewegungen

DBV2-11 # 182

Block Matching basierteBewegungsschätzung

# 182 Antwort

• mittels mean square, mean absolute oder Kreuzkorrelation derGrauwertdifferenz

• Rechenzeit kann gespart werden duch

– hierarchische Multiskalensuche

– Suche nur auf einer heruntergetasteten Farbkomponente

– Interpolation zwischen springenden Referenzblöcken

– Kandidaten nach Dreiecksungleichung verwerfen

DBV2-11 # 183

Accelerated Block Matching

# 183 Antwort

• Nutzt Dreiecksungleichung, d.h. absolute Differenz der Grau-werte ist kleiner als die Differenz der Absolutgrauwerte vonTest- und Referenzblock

• Absolutgrauwertsumme über LSI-Filter berechnen

• nur noch für Kandidaten die wirkliche absolute Differenz be-rechnen

• im schlimmsten Fall Overhead, weil Abschätzung für jedenBlock behauptet er wäre kleiner (LSI-Filter verursacht dannOverhead)

• im Schnitt 50% Ersparnis

DBV2-12 # 184

Hough-Transformation für Linien

# 184 Antwort

• Linie spezifiziert durch Steigung m und y-Achsenschnitt n

• Linie bildet sich auf einen Punkt im (m,n)-Raum ab

• Punkt entspricht Gerade im (m,n)-Raum

• zwei Punkte transformieren sich auf zwei Linien. Deren Schnitt-punkt zurücktransformiert ergibt die Verbindungslinie

DBV2-12 # 185

Linienstrukturen aus Einzelpixelnerkennen mit Hough-Transformation

# 185 Antwort

1. für jeden Punkt die entsprechende Gerade im Parameterraumeintragen

2. Parameterraum zählt für jeden Matrixpunkt, wie oft eine Liniedurch ihn geht

3. Die Punkte mit den höchsten Zählerständen (Schwellwertope-ration!) definieren erkannte Geradenstrukturen

4. Rücktransformation und Einzeichnen der Geraden

DBV2-12 # 186

Wie wird das Problem unendlicherSteigung bei der Hough-Transformation

umgangen?

# 186 Antwort

Indem die Geraden nicht über Steigung und Achsenschnittpunkt,sondern in Hesse’scher Normalenform über Abstand und Winkel de-finiert werden.

Ein Punkt entspricht dann einem Sinusoid im Parameterraum. DerRest mit der Akkumulationsmatrix bleibt gleich.

DBV2-12 # 187

Prinzip Hough-Transformation

# 187 Antwort

• Hough-Transformation ist ein parametrischer Algorithmus (Struk-tur parametrisieren, z.B. Gerade durch Winkel und Abstand inHesse-Form oder KReis durch Mittelpunkt und Radius)

• Algorithmus trägt die vom Kantendetektor gelieferten Punktein Parameterraum ein und stimmt über Akkumulationsmatrixab, wie wahrscheinlich die Punkte zu eienr Struktur gehören.