Logo Diffusion Filters and Wavelets 1 Diffusion Filters and Wavelets: What can they learn from each...

Diffusion Filters and Wavelets 1Logo

Diffusion Filters and Wavelets:What can they learn from each otherKlassisches Beispiel für Signal-Denoising:

Gegeben ein Signal:

Gewünscht ist eine Näherung an das ursprüngliche Signal, durch Entfernen des „Rauschens“, ohne dabei wichtige Strukturen zu verlieren, wie zB.Kanten.

Dafür gibt es verschieden Ansätze, wie zB. Wavelet Techniken und PDEs

Im Folgenden werden wir 2 Techniken betrachten bzw. vergleichen:

- Wavelet Shrinkage und

- nonlinear Diffusion

Störung additive

Signal cheursprüngli ,n

znzf


Inhalt

Wavelets

Wavelet shrinkage 1D

Nonlinear Diffusion

Total Variation Diffusion

Gemeinsamkeiten bei Space Discrete Diffusion

Zusammenhang von Diffusivities und Shrinkage Functions 1D

2D Haar Wavelet Transformation

Diffusion-Inspired 2D Wavelet Shrinkage


Beispiele für Wavelets

• Meyer

• Morlet

• Mexican Hat


Haar Wavelet

Alfred Haar, 1909

Einfachste Wavelet Basis

sonst0

1x1/21

1/2x01

ψ(x)


Wavelets

L²(R). raumFunktionen im lbasisOrthonorma einedefinert System Dieses

i)xψ(22(x)ψ

.Funktionen

von Systemsaffinen einesFunktion erzeugende diesomit ist t Ein Wavele

L²(R). des Basis einegibt und sampling‘ ‚criticalman nennt WahlDiese

Nnm,a,nb ,2a

:zu wählenfolgt wieb und afür Wertedielhaft ist vortei Es

waveletsBabyψ wavelet,Motherψ

RRb)(a,a

btψ

a

1(t)ψ

jj/2ji

m

ba,

ba,


Skalierungsfunktionen

(x)Iφ(x)

einfachsehr sfunktion Skalierung dieseist etsHaar Wavel Bei

Hochpass. und -Tief idealem von Rolle die Forminerter verallgeme

in also übernehmen Wavelet undsfunktion Skalierung f.tion von Rekonstruk

dier dann wiedeerlauben ψ und φmit tionen Transformader Ergebnisse Die

berechnet.

nformationDifferenzi die wirdψWavelet passenden dazu demMit reduziert.

zunehmend fFunktion der Auflösung die wirdφsfunktion Skalierungder Mit

sfunktionSkalierungman nennt φ

Z}k,jj,ψ,{φ

Formder Basen leorthonormaman betrachtet Alternativ

(0,1)

0jk

jk

0


Wichtige Ergebnisse zur Existenz entsprechender Skalierungsfunktionen und Wavelets

)(),()()(0

:alsogilt Es

(R)L Wumesen Unterraorthogonaldazu einesionen Basisfunkt (t)ψ die und

(R)LV es Unterraumeinesionen Basisfunkt (t)φ die sind Zkfür

.L desionen Basisfunkt Zkμ,für

k)tψ(22(t)ψ

k)tφ(22(t)φ

bilden Weitersψ(t). eWaveletsorthogonal

gedazugehöri sowiegibt φ(t)n sfunktioneSkalierung es dass zeigen,sich lässt Es

2μ

μk

2μ

μk

2

μμμk

μμμk

ttdttt lklk


Eigenschaften von V und W

(R)LW...WWVV

(R)LV...VV...V{0}

ionenBasisfunktder gkeit Vollständi 3.

,WV ,WVV

... ,WWVV ,WVV

nteil)Differenza und .Mittelwert von (bzw.

teil Waveletanund -sSkalierung von Summe direkte 2.

Wf(2t)Wf(t) ,W W

,Vf(2t)Vf(t) ,VV

:äumeder Unterr ngSchachtelu 1.

2100

210-

μμμμ1μ

1002001

1μμ1μμ

1μμ1μμ


Die Haar Funktionen


Wavelets

2

1h ,

2

1h ,

2

1gg

1)φ(2x22

1φ(2x)2

2

11)φ(2xφ(2x)ψ(x)

1),φ(2x22

1φ(2x)2

2

11)φ(2xφ(2x)φ(x)

sonst0

1t0.5für 1

0.5t0für 1

ψ(t) sonst0

1t0für 1φ(t)

:nungilt etsHaar WavelFür

g1)(h ψ,ψh k),φ(2th2ψ(t)

φ,φg k),φ(2tg2φ(t)

1010

k1k

k1k

00k

kk

1k

00k

kk


Diskrete Wavelet Transformation

Ziiff )( diskretes 1-D Signaleine stückweise konstante Funktion

ji

ji

ni

ni

Zi

n

j Zi

ji

ji

ni

ni

ψf,d

φf,c

ψdφcf


Bsp. Haar Wavelet Zerlegung

]2[

]2[

]2,0[

]1,1[

]2

3,

2

1,

2

1,

2

1[

]2

1,

2

1,

2

5,

2

1[

]2,1,0,1,2,3,0,1[

4

4

3

3

2

2

1

c

d

c

d

c

d

cy

12

0)2)1(,2(

)(n

kkkk xIy nn


„two scale relation“

2

dcc,

2

dcc

:tionRekonstruk2

ccd,

2

ccc

:ignalDifferenzs und signalMittelwert

:etsHaar Wavel von Fall imten Koeffiziender Berechnung

ji

ji1j

12i

ji

ji1j

2i

1j12i

1j2ij

i

1j12i

1j2ij

i


Wavelet shrinkage

ji

ji

ni

ni ψf,dφf,c

)(dS jiθ

Wavelet shrinkage versucht Rauschen aus den Wavelet-Koeffizienten zu eliminierenDiese wird in 3 Schritten gemacht:• Berechne die Koeffizienten

• Füge eine shrinkage function mit einem threshold Paramter zu den Wavelet-Koeffizienten hinzu

• Rekonstruktion der rauschfreien Version u von f

Zi

n

j Zi

ji

jiθ

ni

ni )ψ(dSφcu


shrinkage functions

[0,1])(λλxS(x)

θ|x|θsgn(x)x

θ|x|0(x)Sθ

θ|x|x

θx

θ|x|0(x)S 2

θ

|x|θx

θ|x|θθθ

)θ|x(|θsgn(x)

θ|x|0

(x)S

2

2112

12

1

θ,θ 21

θ|x|x

θ|x|0(x)Sθ

Linear shrinkage:Soft shrinkage:

Garrote shrinkage:

Firm shrinkage:

Hard shrinkage:


Diskretes translations-invariantes Schema1ii

1iii

0i

1N0ii dd,cc,fc,)(ff

Haar Wavelet shrinkage auf einer Ebene produziert das folgende Signale

2

ffS

2

1

2

ff

2

)(dScu

2

ffS

2

1

2

ff

2

)(dScu

)(uu

12i2iθ

12i2iiθi12i

12i2iθ

12i2iiθi2i

1N0ii

Single Haar Wavelet shrinkage teilt das Input Signal in aufeinanderfolgende Pixel Paare auf.Pixel 2i hat somit keine direkte Verbindung zu seinem Nachhbar 2i-1Die Prozedur ist somit nicht invariant bzgl. Translation des Input Signals.


Diskretes translations-invariantes Schema

10)(

N

iiuu

‚Cycle Spinning‘: das Input Signal wir verschoben, entrauscht mittels wavelet shrinkage, zurück-verschobenund dann wird der Durchschnitt über alle diese Verschiebungen genommen.

In unserem Fall benötigt man nur eine zusätzliche Verschiebung um Translationsinvarianz zu erzielen.

Shifted haar wavelet shrinkage:

2

ffS

2

1

2

ffu

2

ffS

2

1

2

ffu

2i12iθ

2i12i2i

2i12iθ

2i12i12i


Diskretes translations-invariantes Schema

Durchschnitt bilden …

2

ffS

22

1

2

ffS

22

1

4

f2ff

2

uuu

i1iθ

1iiθ

1ii1i

iii

Ein Schritt bei verschiebungsinvarianter Haar wavelet shrinkage


Nonlinear Diffusion Filtering

f(x)u(x,0)mit uugu Prozesses

Diffusion eines Lösung als f(x), Signals eines

t)u(x,Signalen n gefilterte von Familie

eine Fall 1D imliefert Diffusion Nonlinear

xxxt

Details.

contrast" low" alshwommen iger verscKanten wen starke

rdenDadurch we .in fallend isenormalerwe und

negativnicht ist ,bezeichnet y"diffusivit" wird

s

sg


Diffusivity Funktionen


TV Diffusion

TV-Diffusivity eignet sich gut zum Entrauschen von Signalen. Allerdings ist TV-Diffusivity unbeschränkt, wodurch bei den zugehörigen numerischen Algorithmen Schwierigkeiten auftreten können. Gewöhnlich wird daher TV-Diffusion durch Näherung ersetzt um sie zu beschränken.

Allerdings kann diese regularisation unerwünschte Blurring Effekte zu Folge haben.

x

x

x

t uu

u

22

1


Explizites, diskretisiertes Schema

Um Diffusion auf diskrete Signale anwenden zu können, muss die PDE diskretisiert werden. Ein solches explizites Schema für nonlinear Diffusion im 1D-Fall kann folgendermaßen geschrieben werden:

k

iki

ki

ki

ki

ki

ki

ki

ki

ki

ki

ki

ki

ki

ki

ki

ki

ki

ki

ki

uuuuguuuuguu

uuuuguuuuguu

11111

1111

1


Beispiel Denoising


Gemeinsamkeiten bei Space Discrete Diffusion

Wir schauen uns die Verbindungen zwischen soft Haar Wavelet Shrinkage und TV-Diffusion im space-discrete Fall an.

Wir werden analytische Lösung für ein simples Szenario „finden“ und können dieses simple Szenario als bildenden Block für ein numerisches Schema für TV-Diffusion verwenden.


Wavelet Shrinkage eines 2-pixel Signals (1)

),( 10 ff

2,

2

)2

1,

2

1(),

2

1,

2

1(

1010 ffd

ffc

||0

||sgn)(

dif

difdddS

Wavelet Shrinkage (Haar basis) eines 2-pixel signals

Scaling function, Wavelet und Koeffizienten

Shrinkage Function:

,2

)( ,

2

)(10

dScu

dScu

Shrinkage und Synthesis Step:


Wavelet Shrinkage eines 2-pixel Signals (2)

elseff

fffffu

elseff

fffffu

2

)(

2/)sgn(2

2

)(

2/)sgn(2

01

01011

1

01

01010

0

Führt zu folgendem gefilterten Signal


TV Diffusion eines 2-pixel Signals (1)

xx

xt u

uu

01

011

01

010 ,

uu

uuu

uu

uuu

Space Discrete TV Diffusion

erzeugt folgendes System

1100 )0( ,)0( fufu

mit Anfangswerten


TV Diffusion eines 2-pixel Signals (2)

elseff

fftfftfu

elseff

fftfftfu

2

)(2/)sgn(

2

)(2/)sgn(

01

01011

1

01

01010

0

führt zu der analytischen Lösung:

äquivalent zu soft Haar shrinkage mit threshold

t2


Wavelet inspiriertes Schema für TV Diffusion (1)

2

2

Wir können die Äquivalenz bei 2-Pixeln und die Gedankengänge zu shift invariant Wavelet Shrinkage nutzen um ein numerisches Schema für TV Diffusion mit time step size zu erhalten.

a) TV Diffusion mit time step size

b) TV Diffusion mit time step size

c) Ermittle Durchschnitt beider Resultate

auf

auf ),( 212 jj uu

),( 122 jj uu

Ein Schritt dieses iterativen Verfahrens ist äquivalent zu shift invariant Haar Wavelet shrinkage mit threshold 22



ki

ki

ki

ki

ki

ki

ki

ki

ki

kik

i

Ni

ki

Ni

ki

uuh

uu

uuh

uu

uuv

hv

u

11

11

11

10

1

10

0,2

2min

0,2

2max

2

:2ji Pixelfür nun

folgt Fall pixel-2 imgen Beobachtununseren Aus

.mit Size Grid Spatial die und )(mit a.)von

Ergebnis das bezeichnen Wir .)(durch gegeben

schritt Iterationsten -k beim Signalunser Sei



)uu4τ

h)min(1,usgn(u

h

τ

)uu4τ

h)min(1,usgn(u

h

τuu

:insgesamt und

)uu4τ

h)min(1,usgn(u

h

2τuw

:b.)für analog

)4

,1min()sgn(2

:Folger In weitere

k1i

ki

k1i

ki

ki

k1i

ki

k1i

ki

1ki

k1i

ki

k1i

ki

ki

1ki

111

ki

ki

ki

ki

ki

ki uu

huu

huv



Wir haben nun ein explizites Schema, welches sich auch als stabil und (unter gewißen Einschränkungen) als konsistent zur kontinuierlichen TV-Diffusion erweist. Weiters erzielt es ähnlich gute Ergebnisse wie das regularisierte Schema, welches mehr unerwünschte Blurring Effekte zur Folge haben kann.


Verallgemeinerung für 2D FallAuf ähnliche, aber kompliziertere Art und Weise kann man die vorherigen Überlegungen auf den 2dimensionalen Fall ummünzen. Beatrachtet wird dabei ein 2x2 Bild, bei dem die Äquivalenz der Lösungen von Haar Wavelet Shrinkage und space-discrete TV-Diffusion gezeigt werden kann. Diese 4 Pixel Lösung kann wieder als bildender Block für ein numerisches Schema für die 2D TV Diffusion verwendet werden.


Zusammenhang von Diffusivitiesund Shrinkage Functions

|)ffg(|τ4

1)f(f|)ffg(|τ

4

1)f(f

4

f2ffu

2

ffS

22

1

2

ffS

22

1

4

f2ffu

i1ii1i1ii1ii1ii1i

i

i1iθ

1iiθ

1ii1ii

2

xS

x4τ

2

4τ

1|)xg(|

|)),x2(|4x(1(x)S

|)xg(|τ4

1x

2

xS

22

1

θ

θ

θ

τg

Zusammenhang zw. „shift-invariant single scale haar wavelet shrinkage“und diffusivity g eines explizit nicht-linearen diffusion Schemas.

Es hat sich gezeigt, dass diffusion-inspired shrinkage Funktionen die bestenEntrauschungseigenschaften besitzen.


Diffusion inspired Shrinkage Functions


Von Shrinkage Funktion zu Diffusivity



Die Haar Wavelet Transformation wird beschrieben durcheinen Tiefpass-Filter L und einen Hochpass-Filter H

2

1,

2

1:H,

2

1,

2

1:L

Der einfachste Weg eine 2D Wavelet Transformation zu erzeugen,ist es separierbare Filter zu verwenden.



n1,...,lfürwundw,wteKoeffizienWavelet

nEbenederaufvKomponenteTiefpasslxy

ly

lx

n

Die 2D Wavelet Transformation wird nun beschrieben durch

Diese Repräsentation wird erzeugt durch alternierendes Anwendenvon Hoch- und Tiefpass-Filtern in x und y Richtung.

fvwobeiv*H(y)*H(x)w

v*H(y)*L(x)w

v*L(y)*H(x)w

v*L(y)*L(x)v

0l1lxy

l1ly

l1lx

l1l

Für die Glättung wird wie im 1D Fall auf die Wavelet Koeffizienten die shrinkage Funktion angewendet. Das gefilterte Bild u wird dann durch eine inverse Prozedur berechnet.


2D Haar Wavelet shrinkage

Wir betrachten nun eine einzelne Zerlegungsebene und die einzelnen Schritte beider Wavelet shrinkage (translations-invariant). Hierzu muss man sich 2x2 Nachbarschaften anschauen in welche das Pixel (i,j) involviert ist.


2D Haar Wavelet shrinkage

))S(w)S(w)S(w)S(w)S(w)S(w

)S(w)S(w)S(w)S(w)S(w)S(wvvv(v8

1u

bilden.uundu,u,u

über Mittel dasman musserhalten zu Ebeneeiner auf shrinkage

etHaar Wavel 2Deiner Resultat licheschlussend das auf Um

δ. und γβ,für man erhält Resultat Ähnliche

Signalsngefiltertedesj)(i,StellederanPixeldas...u

berechnen))S(w)S(w)S(w(v2

1u3)

anwendenwundw,waufFunktionshrinkage2)

wundw,w,vberechne1)

:werdenberechnet Punkte folgendenun müssen aft Nachbarsch der Bzgl.

δxy

δy

δx

γxy

γy

γx

βxy

βy

βx

αxy

αy

αx

δγβαji,

δji,

γji,

βji,

αji,

αji,

αxy

αy

αx

ααji,

αxy

αy

αx

αxy

αy

αx

α



Kanäle.enen verschieddiefür Regeln shrinkage

dlichenunterschie von Verwendung dieist Fall 2dden für ndÜberrasche

w)S(w

)),)()((41(w)S(w

)),)()((41(w)S(w

:nBedingungefolgenden den unter äquivalent sind zwei Die

shrinkage' wavelet level-single' und iteration'diffusion 'von Vergleich

))(w)g((wg wobei

4141

41418

1

diffusion'nonlinear 'einer Iteration einzelne Eine

xyxy

22yy

22xx

2ωy

2ωx

ω

yx

yx

δxy

δδy

δx

γxy

γγy

γx

βxy

ββy

βx

αxy

ααy

αx

δγβαi,j

wwg

wwg

)w)τg)(ww(w)τg)(ww(w

)τg)(w(ww)τg)(w(wvvv(vu


ENDE

Logo Diffusion Filters and Wavelets 1 Diffusion Filters and Wavelets: What can they learn from each...

Documents

Transcript of Logo Diffusion Filters and Wavelets 1 Diffusion Filters and Wavelets: What can they learn from each...