1. Detektion von Kontrasten im Bild 2. Detektion ... · PDF fileDetektion zweidimensionaler...

Teil IV-B: Detektion von Strukturen in Signalen

1. Detektion von Kontrasten im Bild

2. Detektion zweidimensionaler Struktur

3. Auflösungs-Pyramiden und Adaptive Glättung

Problemstellung – Diskrete Differentiation

Ziel: Detektion von Orten starker (abrupter) Änderung in der Helligkeitsfunktion

§ Ableitung 1. Ordnung

à starke Änderung ~ max. SteigungUnterscheidung von

. Dunkel – Hell (DL)

. Hell – Dunkel (LD)Übergängen

§ Ableitung 2. Ordnung

à Übergang = Wendepunkt ~ NulldurchgangUnterscheidung von Bereichen mit

. Links – Rechts

. Rechts – Links Krümmung

Kontrastdetektion und Ableitungen

(R.C. Gonzalez, R.E. Woods. Digital image processing. Addison-Wesley, 1993)

Detektion von Kontrasten im Bild

Generelles Problem :

Die genannten Ansätze motivieren sich aus der Analysis für ein-dimensionale

Funktionen f(x) ! Eine Diskontinuität kann jedoch jede beliebige, a priori

unbekannte Orientierung im Bild besitzen !

Wie kann man diese Konzepte auf den zwei-dimensionalen Fall übertragen ?

Intensität

Ort

Richtungsableitung 1. Ordnung (1stDD)

è Funktionen von zwei Unabhängigen, f(x, y)

Vektor-Notation:

ε

y

x( sin ε = cos (90-ε) )

( ) ( )

f

f

fyxf

m y

x

∇⋅=

⋅=

∂∂

ε

εε

u

sincos,

( )

yx

yx

ff

y

fm

x

fmyxf

m

⋅+⋅=

∂

∂+

∂

∂=

∂

∂

εε sincos

,

ε

f∇

εu

Gradient : Richtung des stärksten Anstiegs

à Richtung θ ε [0, 360], für die

Berechnung: Ableitung von nach ε

§ Richtung :

§ Betrag :

( )yxfm

,∂

∂

θ

y

x

∆

∇− ≡

= θε

x

y

f

f1tan

( ) max, →∂

∂yx

m

f

( ) ( ) ffff yxm ∇≡+=∇

2/122θ

Laplace-Operator

Standard-Definition (à für beliebige Anzahl unabhängiger Variablen, hier speziell für 2D)

è Invarianz der Berechnung der 2. Ableitung bzgl. Koordinatensystem

( ) yyxx ffy

f

x

fyxf +=

∂

∂+

∂

∂=∆

2

2

2

2

,

Differenzenoperatoren zur Approximation der 1. und 2. Ableitung

à Die numerische Differentiation mit Differenzen-Masken kann als Faltung notiert werden (z.B. Ableitung der 1. Ordnung)

Einfache (diskrete) Kontrastdetektion

( ) ( ) ( )yxDyxfyxf xx ,,, ∗≈



Ableitung 1. Ordnung

mit =

-1 1 -1 1 Rückwärts- / Vorwärtsdifferenz

Zentrale Differenz-1 0 1


( ) ( ) ( )yxDyxfyxf xx ,,, ∗≈

( )yxDx ,




mit =


mit =

-1 1 -1 1 Rückwärts- / Vorwärtsdifferenz

Zentrale Differenz-1 0 1


1 -2 1

( ) ( ) ( )yxDyxfyxf xx ,,, ∗≈

( )yxDx ,

( )yxDxx ,

1

-11-1

Einfache Masken zur Schätzung des Gradienten

§ 2 x 2 - und 3 x 3 - Masken

§ Numerischer Differenzenoperator als 2D Maske• Vorwärtsdifferenz (in x- und y-Richtung)• orthogonale Richtung à δ-Impuls

è (sehr) störungsanfällig !

X

X

i i

j

j

Koordinatensystem

x

y

0

0 00

0 00

00

0 00

00

W = W =x y

Abhilfe: Hinzunahme weiterer Nachbarelemente durch Box-Glättungin orthogonaler Richtung

§ Robert‘s Kreuz-Operator („cross operator“)

Gradient:

-1 1

-1 1

1-1

1

i

j

x

y

0

0

0

W = W =x y1

-1 -1-1

0 00

11

1

-1-1

A

C D

B

( ) ( ) ( ) ( ) ( )[ ][ ]CBDA

jifjifjifjifjiGR

−−=

+−+++−≈

,max

1,,1,1,1,max,

1

010

§ Prewitt- und Sobel-Operator

è Verbesserung der Stabilität durch• Verwendung der zentralen Differenz sowie• abstandsabhängige Glättung ( à Sobel )

a) Prewitt

Gradient:

-1

0 1-1

0 1-1

00

-1 -1-1

11

W = W =x y

( ) ( ) ( )jifjifjiG yxP ,,, +≈

2

020

b) Sobel

à distanzabhängige Gewichtung in orthogonaler Richtung

Gradient:

-2

0 1-1

0 1-1

00

-2 -1-1

11

W = W =x y

(~ Binomialkoeffizienten)

( ) ( ) ( )jifjifjiG yxS ,,, 22 +≈

Anwendung der diskreten Gradientenoperatoren

Beispiel: Sobel Operator

Originalbild (Cell.jpg)

Ergebnis Gx-MaskeErgebnis Gy-Maske

Gradient| ∇I | ≈ |Gx ∗ I| + |Gy ∗ I|

20-2

0 1-1

0 1-1

Originalbild (Tomo1451.jpg)



Vergleich von Resultaten

Robert‘s Kreuz-Operator Prewitt-Operator Sobel-Operator

Vergleich von Resultaten (cont‘d)

Robert‘s Kreuz-Operator Prewitt-Operator Sobel-Operator

(CT40.jpg)

( )

( )σσσ

σσπσσ

,,11

2exp1

2

1,,

2

2

2

2

22

2

2

4

yxGx

yxxyxGxx

⋅

−⋅−=

+−⋅

−⋅

−=

Differential-Operatoren mit Gauss‘scher Glättung

Trägerfunktion – Gauss‘sche Dichte

Partielle Ableitungen

1. Ordnung in x :

2. Ordnung in x :

( )

+−=

2

22

2 2exp

2

1,,

σπσσ

yxyxG

( )

( )σσ

σπσσ

,,

2exp

2,,

2

2

22

4

yxGx

yxxyxGx

⋅−=

+−

−=

Laplace:

Separierbarkeit (àà Effizienz der Berechnung)

Die Eigenschaft der Separierbarkeit lässt sich auch bei der Berechnung partieller Ableitungen ausnutzen, da z.B. gilt:

( ) ( ) ( )σσσ ,,,, yGxGdx

dyxGx ⋅=

( ) ( ) ( )[ ]

[ ] ( )σσσ

σσπσσ

,,/2/1

2exp/22/1,,

222

2

222224

yxGr

yxyxyxG

⋅−⋅−=

+−⋅+−⋅−=∆

( )

−⋅

−=

2

2

2

2

2exp

2

1

2exp

2

1,,

σσπσσπσ

yxyxG

G(x, σ) G(y, σ)

Gyy(x,y)

Impulsantworten (Faltungsmasken)

G(x,y) -Gx(x,y)

Gxx(x,y)

xy

∆G(x,y) -∆G(x,y)

(„Mexican hat“)

Anwendung – Gradientenoperatoren aus Gauss‘schen Masken




Originalbild (Tomo1451.jpg)



Vergleich der Ergebnisse – Sobel vs. Gauss

Sobel-Operator Gauss‘sche Glättung

Anwendung – LoG („Laplacian-of-Gaussian“)


Ergebnis σ1 = 3 pixels Ergebnis σ2 = 4 pixels

Ansätze

§ Schwellwert

Problem : Möglichst kleine Schwelle, um alle Kontraste zu erfassen; jedoch möglichst hohe Schwelle, um unempfindlich gegenüber Störungen (Rauschen) zu sein!

§ Alternativen:

• Lokale Gradienten-Maxima

• Nullstellen der 2. Ableitung

Bestimmung von Diskontinuitäten

T| ∇f |

#

( ) TfyxE >∇= ,

Nulldurchgänge der Laplace-Antworten („zero-crossing“ (z.c.) -Detektion)

§ Schema

§ Diskrete Masken (Operationalisierung)

: horizontal : vertikal

Resultate

(a) Originalbild, (b) Laplace (kontinuierlich), (c) Laplace (binarisiert, s/w), (d) Nulldurchgänge

(D. Marr. Vision. W.H. Freeman, 1982)

Resultate – Beispielanwendung „Cell.jpg“

Oben: LoG (kontinuierlich), Unten: Nulldurchgänge

σ1 = 3 σ2 = 4

Canny-Operator (Kontrastdetektion in 2D)

I. Richtung des stärksten Anstiegs einer Gauss-gefilterten Intensitäts- (Bild-) Funktion (vgl. Richtungsableitung)

Ort der stärksten Steigung: z.c. der 2. Richtungsableitung in Richtung θ

II. Approximation von Richtungsmasken (verschiedene Orientierungen)

§ 6 Orientierungen, Elongation

§ Konkatenation / Überlagerung von Antworten nicht-elongierter Masken

è Verbesserung der Robustheit

Messung der Abweichungen (Varianz) der Einzelbeiträge

Dynamische Längenanpassung(mittels Abweichungskriterium)

IG ∗∂ σθ

III. Lokale Nicht-Maximum Unterdrückung („non-maximum suppression“)

Verteilung von Antworten bei der Berechnung von Gradienten

Breite ~ Lokalisations-Unsicherheit („positional uncertainty“)

Amplitude ~ örtliche variierende Kontraste

hier: Selektion des Ortes maximaler Antwort

Problem: Maximum muss jeweils orthogonal zur Richtung des Kontrastesbestimmt werden, nicht jedoch entlang des Kontrastes, da die Kontinuität der resultierenden Repräsentation erhalten bleiben soll !

Interpolation auf diskretem Gitter

Konturverlauf


Konturverlauf

bilineare Interpolation


Vergleich und Maximum-Selektion

Konturverlauf

ii-1 i+1

IF ∇f > ∇f ∧ ∇f > ∇f

THEN max∇f := ∇fi i+1i-1 i

i

bilineare Interpolation

IV. Adaptives Schwellwertverfahren („hysteresis thresholding“)

Ziel: Unterdrückung nicht-signifikanter Kandidaten à SchwellwertProblem der Festlegung eines Schwellwertniveaus

geg.:

è Kontur wird als Funktion der Bogenlänge s innerhalb des Intervalls [a, b]repräsentiert !

Kontur aus lokal benachbarten Kantenpunkten (à 8er Nachbarschaft);Repräsentation als (doppelt) verkettete Liste

ab

C(s)

∃ P ∈ C(s) : ∇f( C(s) ) = r ≥ Tu

Methode: Festlegung von 2 Schwellwerten

Tl untere Schwelle (à Unterdrückung von Rauschen)

| ∇f | < Tl ⇒ Punkte werden in jedem Fall eliminiert !

Tu obere Schwelle (à geforderter Mindestkontrast)

| ∇f | > Tu ⇒ Punkte werden in jedem Fall erhalten !

è es bleibt der Bereich innerhalb des Intervalls [Tl, Tu]

Kriterium:

⇒ alle direkt und indirekt verbundenen Konturpunkte

(~ „closed path“) mit Tu > r ≥ Tl werden erhalten

à Vermeidung von „streaking“-Phänomenen !

∇ f( C(s) )

Tu

Tls

Störungen

signifikante Kontraste

Ergebnisse

Oben:Sobel-Operator (kontinuierlich)

Schwellwert-Operation:

Kontrast-Punkte | ∇f | > T35

Kontrast-Punkte | ∇f | > T50

Unten:Canny-Operator (kontinuierlich, nach non-max. suppression) als Funktion der Filtergrösse

σ = 1, 2, 3 pixel

(E. Trucco, A. Verri. Introductory techniques for 3-D computer vision. Prentice-Hall, 1998)

Vergleich zwischen Operatoren

Sobel-OperatorGradienten-Betragglobale Schwelle (T = 3, 10)

Laplace von Gauss (~ Differenz von Gauss):

Zentrum σc = 1.12

Umgebung σs = 1.94

Canny-Operator (inkl. non-max. suppression) als Funktion der Filtergrösse

σ = 0.7, 1.4 pixelverschiedene Schwellen Tmax

(A. Pinz. Bildverstehen. Springer, 1994)

Einordnung – Struktur in digitalen Bildern

Ausschnitte eines „Grauwert-Gebirges“

Detektion zweidimensionaler Struktur

Ecken, KrümmungKontraste (Kanten) Regionen (Flächen)

Resultierende Klassen von Grauwertvariationen in 2D Bildern

§ Intrinsisch 0-dimensionale Variationen

à konstante Grauwertfläche

L(x) = const.


à repliziertes 1D Profil

L(x) = L(n x)


à Ecken und Kreuzungen

(vgl. G. Krieger, C. Zetsche. Nonlinear image operators for the evaluation of local intrinsic dimensionality. IEEE Trans. on Image Processing 5(6):1026-1041, 1996)

.

I. Parallele Verarbeitungspfade

i. Lineare Strukturen :

Kontraste, Linien, ...

ii. 2-dimensionale Strukturen :

Ecken, Endpunkte, ...

Lineare Verfahren zur Detektion von Eck-/Endpunkten

Merkmale durch Anwendung spezialisierter Detektoren

i.

ii.

II. Hierarchische Schemata

i. Lineare Strukturen :

Filterung für (intrinsisch)

1-dimensionale Strukturenz.B. Differentialoperatoren

i. ii.

linear à Orientierungsfeld

nichtlinear à Gradient

ii. 2-dimensionale Strukturen :

§ Gerichtete Differenzen- oder Differentialoperatoren(Richtung entsprechend des Richtungsfeldes)

§ Zentrum-Umfeld Interaktion

Σ

+

-

z.B.

Σ

+

-

z.B.

( ) ( )vuvu vuuGvuuG σσσσ ,;,,;, 00 −−+

( ) ( )σδ ;,, yxGyx −

Problem:

Lineare Detektoren für instrinsisch 2-dimensionale

Intensitätsänderungen (Ecken, Enden, etc.)

reagieren auch auf intrinsisch 1-dimensionale

Strukturen (Balken, Sinuswellen, etc.)

Alternativen:

§ Anwendung einer Familie von Operatoren im Sinne einer lokalen 2D Taylor-Entwicklung des gefilterten Signals

§ Verwendung alternativer Verfahren à nichtlineare Operatoren

Bsp.: Strukturtensor

Lokale Messung von Struktur

Ziel: Direkte lokale Auswertung des Verlaufs der Grauwertfunktion zur möglichst robusten Charakterisierung der Geometrie

§ Definition des Strukturtensors :

§ Berechnung des lokalen Tensors :

§ Symmetrische Matrix ...

Berechnung der Eigenwerte λ1, λ2 und

der zugehörigen Eigenvektoren v1, v2 (wobei v1 ⊥ v2 !)

Strukturtensor

( )( ) ( ) ( )( )

=

∇⊗∇∗=∇

yyxy

xyxx

T

JJ

JJ

ggGgJ xxx σσρσρ

( ) ( )( ) ( ) ( )

( ) ( ) ( )

⋅

⋅=∇⊗∇

xxx

xxxxx 2

2

yyx

yxxT

ggg

ggggg

Charakterisierung der Grauwertstruktur

§ Diagonalisierung von J

§ Lösung

1. Eigenwerte λ1, λ2

2. Eigenvektoren v1, v2

=

2

1

0

0

λ

λρJ

( )

+−+−= 22

11 4

21

xyyyxxxxyy

xy

JJJJJ

J

vv

( )

+−±+= 22

2,1 42

1xyyyxxyyxx JJJJJλ

12, vv ⊥

Deskriptoren lokaler Struktur

I. Regionen konstanter Helligkeit (intrinsich 0-D Struktur):

à Jρ ist die Nullmatrix !

II. Gerichtete Kontraste (intrinsisch 1-D Struktur):

à Richtung des Grauwertkontrastes:

III. Ecken (intrinsisch 2-D Struktur):

à eine Ecke ist ein Ort, für den der kleinere Eigenwert λ2 genügend gross ist !

021 =>> λλ

021 == λλ

021 >>≥ λλ

( )xv g∇||1

Resultate

Synthetisches Grauwert-Schachbrett:§ zwei Realisierungen Gauss‘schen Rauschens mit std. = 2; § Eckpunkte ~ unterer rechter Eckpunkt in 15 x 15 pixel Nachbarschaft

(Signifikanzniveau: Histogramm von λ2-Werten, Schwelle)

(E. Trucco, A. Verri. Introductory techniques for 3-D computer vision. Prentice-Hall, 1998)

Ergebnisse (cont‘d)

Computer-Tomogramm „CT40.jpg“

Schema: Struktur-Tensor (Gradient: [-1 0 1]; Glättung (Binomialfilter): ρ = √7/2, Maske: 15 El.)Skalierung (m) der Eigenwerte und Berechnung von m • det(.) = m2 (λ1 • λ2), Schwelle

Ergebnisse (cont‘d)

MRI „Tomo1451.jpg“

Schema: Struktur-Tensor (Gradient: [-1 0 1]; Glättung (Binomialfilter): ρ = √7/2, Maske: 15 El.)Skalierung (m) der Eigenwerte und Berechnung von m • det(.) = m2 (λ1 • λ2), Schwelle

Generator-Schema zur Reduktion (REDUCE)

§ Normalisierung

§ (Achsen-) Symmetrie

§ Gleiche Beiträge der Funktionswerte

§ Einhaltung des Abtasttheorems durch Glättung

Reduktion der Ortsauflösung – Gauss-Pyramide

k-1

kii-1 i+1

ii-1 i+1c b ca b ( wg. 2. Symmetrie )

Auflösungs-Pyramiden und Adaptive Glättung

Gauss-Pyramide (4 Ebenen)

Binomial-Maske für die Glättung zur anschliessenden Reduktion :

w(x) = 1/16 · [ 1 4 6 4 1 ]

256 x 256 128 x 128 64 x 64 32 x 32

Expansion durch Interpolation (Invertierung der REDUCE-Operation)

EXPAND ( . ) = REDUCE ( . )

mit m(M+1, N+1) → m(2M+1, 2N+1)

allgemein: g = EXPAND( g )

wobei gl,n : Ergebnis der n-maligen Expansion von gl

gl,0 = gl

2D Interpolation:

wobei nur Beiträge in die Summe eingehen, für die und

INTEGER-Werte liefern !

Hinweis: Die bei der Reduktion entfernten Frequenzanteile können durch die Expansion nicht wieder rekonstruiert werden !

( ) ( )

−−⋅= −

−= −=

∑ ∑ 2,

2,4, 1,

2

2

2

2,

njmignmwjig nl

m nnl

l, n l, n - 1

-1

g (M/2, N/2)l, 1

g (M, N)l-1

2

mi −2

nj −

Konstruktion

Folge von Fehler-Residuen L0, L1, ..., Ln (Differenzen zweier Ebenen der Gauss-Pyramide)

Laplace-Pyramide

Laplace-Pyramide

( )

kk

kkk

gg

gEXPANDgL

−=

−= + 1,1

+ - + +- - + -

Glättung – Lineare homogene Diffusion

Einordnung:

Lineare Diffusion entsprechend der Wärmeleitung

mit

Diffusion und adaptive Bildglättung

( ) uuut ∆=∇⋅⋅∇=∂ ρ

( ) ( )xx Iu =0,

Glättung durch Faltung mit Gaussverteilung:

mit

( ) ( ) ( )xxx σGIIt ∗=∂

t2=σ

Lokal adaptive Diffusion

§ Inhomogene Glättung

• Linear

• Nicht-linear

g(.) ist eine skalare Funktion ( Fluss Φ = g(.) • ∇u mit Φ || ∇u )

( )( )uugut ∇⋅∇⋅∇=∂2

Kontrast

( )( )ugut ∇⋅⋅∇=∂ x

Lokal adaptive Diffusion

§ Inhomogene Glättung

• Linear

• Nicht-linear

g(.) ist eine skalare Funktion ( Fluss Φ = g(.) • ∇u mit Φ || ∇u )

§ Nicht-lineare Glättung in mehreren Dimensionen

mit und

( )( )uugut ∇⋅∇⋅∇=∂2

Kontrast

( )( )ugut ∇⋅⋅∇=∂ x

( )( )uugukk x

m

kxt ∂⋅∇∂=∂ ∑

=

2

1σ

( ) ( )xx Iu =0, 0=∂ Ω∂un

Anwendungen (1, m = 2)

Links: Original, MRI „Tomo1451.jpg“Rechts: Resultat der nichtlinearen Diffusion, 800 Iterationen

(J. Weickert, B. ter Haar Romeny, M.A. Viergever. Efficient and reliable scheme fornonlinear diffusion filtering. IEEE Trans. on Image Processing, 7: 398-410, 1998)

Anwendungen (2, m = 3)

Links:Original,3-D Ultraschallbild (10 Wochen alter Fötus), 138 x 208 x 138 [voxel]

Rechts:Resultat der nichtlinearen Diffusion

(J. Weickert. A review of nonlinear diffusion filtering.In B. ter Haar Romeny, L. Florack, J. Koenderink, M. Viergever (eds.). Scale-space theory in computer vision. Lecture Notes in Computer Science, Vol. 1252, Springer, 1997, pp. 3-28)

1. Detektion von Kontrasten im Bild 2. Detektion ... · PDF fileDetektion zweidimensionaler...

Documents

Transcript of 1. Detektion von Kontrasten im Bild 2. Detektion ... · PDF fileDetektion zweidimensionaler...