Independent Component Analysis (ICA) undihre Moglichkeiten in den Geowissenschaften

Norbert MarwanArbeitsgruppe Nichtlineare Dynamik

Universitat Potsdam

Inhalt

1. Motivation

2. Independent Component Analysis (ICA)

3. Anwendung auf gesteinsmagnetische Messungen

4. Ausblick

Motivation

Verstandnis der Erzeugung des Erdmagnetfeldes (Geodynamo)bzw. dessen Variation

Palaointensitat

ü

Climate

Sediments

magnetic properties(e.g. remanent magnetization)

EarthMagnetic Field

exogene processes(e.g. weathering)

endogene processes(e.g. bio-activity) magnetization

Palaointensitat

ü

Climate

Sediments

magnetic properties(e.g. remanent magnetization)

EarthMagnetic Field

exogene processes(e.g. weathering)

endogene processes(e.g. bio-activity) magnetization

→ Trennung der verschiedenen Signalquellen aus diesem Signal-Mix

Grundlegendes Modell

Cocktail-Party Problem:n unabhangige Quellen-Signale si(t),m Beobachtungen x j(t) – lineare Mischungen von si

~x(t) = A~s(t)

Aufgabe:Trennung der Quell-Signale si anhand der Beobachtungen, d. h. Schatzungder Mischungs-Matrix A → Blind Source Separation.

Grundlegendes Modell

Cocktail-Party Problem:n unabhangige Quellen-Signale si(t),m Beobachtungen x j(t) – lineare Mischungen von si

~x(t) = A~s(t)

Aufgabe:Trennung der Quell-Signale si anhand der Beobachtungen, d. h. Schatzungder Mischungs-Matrix A → Blind Source Separation.

Methoden:1. Principle component analysis (PCA) – unkorrelierte Komponenten2. Independent component analysis (ICA) – statistisch unabhangigeKomponenten

Unabhangigkeit ⇒ Unkorreliertheit

Unabhangigkeit:px,y(x, y) = px(x) py(y)

Unkorreliertheit:

cov(x, y) = 〈x y〉

=+∞∫−∞

+∞∫−∞

x y px,y(x, y) dx dy

=+∞∫−∞

x px(x) dx+∞∫−∞

y py(y) dy

= 〈x〉 〈y〉

Unkorreliertheit 6⇒ Unabhangigkeit

Verbundverteilungen von unabhangigen, gleichverteilten Zufallsva-riablen (links) und ihre unkorrelierten – aber nicht unabhangigen –Mischungen (rechts)

Spezialfall: unkorrelierte Variablen mit einer Gaußschen Verbundver-teilung

px,y(x, y) =1

2πe−

x2+y22 =

1√2π

e−x22

1√2π

e−y22 = px(x) py(y)

Schatzverfahren fur die ICA

Nichtlineare Dekorrelation:finde solche Komponenten yi, welche unkorreliert sind und dessentransformierte Komponenten fi(yi) unkorreliert sind ( fi sind geeig-nete nichtlineare Funktionen) – Mutual Information, NichtlinearePCA, algorithmische Methoden (JADE: Kumulanten-Tensoren)

Maximale Nichtgaußianitat:finde lokale Maxima von Nichtgaußianitat von Linearkombinatio-nen y = ∑ bi xi; jedes lokale Maximum liefert eine unabhangigeKomponente

Motivation fur maximale Nichtgaußianitat

Zentraler Grenzwertsatz: Die Verteilung der Summe von unabhangi-gen Zufallsgroßen ist naher an der Gaußverteilung als die Verteilun-gen der zugrundeliegenden Zufallsgroßen.

Motivation fur maximale Nichtgaußianitat

Zentraler Grenzwertsatz: Die Verteilung der Summe von unabhangi-gen Zufallsgroßen ist naher an der Gaußverteilung als die Verteilun-gen der zugrundeliegenden Zufallsgroßen.

~x = A~s, mit den Beobachtungen ~x und den Quellen~s.

Wir betrachten die Linearkombination y = ∑i bixi (entspricht y =~bTA~s). Solch ein Vektor ~b, bei dem ~bTA nur eine nichttriviale Kom-ponente hat, liefert genau eine unabhangige Komponente.

→ schatzen von~b so, daß y maximal nichtgauß ist

Maße fur Nichtgaußianitat

Kurtosis:kurt = 〈x4〉 − 3[〈x2〉]2

Negentropy:J(~x) = H(~xgauss)− H(~x).

ICA-Programme fur Matlab

• FastICA(http://www.cis.hut.fi/projects/ica/fastica)

• EEGLAB(http://www.sccn.ucsd.edu/~scott/ica-download-form.html)

• JADE(ftp://sig.enst.fr/pub/jfc/Algo/Jade)

Probleme

Losbarkeit:

• Daten durfen nicht gaußverteilt sein.

Eindeutigkeit der Losung:Die ICA kann nicht eindeutig bestimmen

1. die Anzahl der unabhangigen Komponenten,

2. die Reihenfolge der unabhangigen Komponenten,

3. die Varianzen der unabhangigen Komponenten,

4. das Vorzeichen der unabhangigen Komponenten.

Eindeutigkeit der Losung

Varianzen der unabhangigen Komponenten:

xi = ∑ Ai j s j = ∑(

Ai j

λ j

) (λ j s j

)= ∑ A′

i j s′j

Reihenfolge der unabhangigen Komponenten:

xi = ∑ Ai j s j = ∑(

Ai j Pjk) (

PTkl sl

)= ∑ A′′

ik s′′k

Illustration

Quellen: s1(t) = sin(

2π

800t)

(IID transf.)

s2(t) =∣∣∣∣ cos

(2π

424t)∣∣∣∣

s3(t) = sin(

2π

233t)

Misch-Signale: x1(t) = 0.1 s1(t) + 0.8 s2(t) + 0.01ξ1

x2(t) = 0.5 s1(t) + 0.4 s2(t) + 0.02ξ2

x3(t) = s3(t)

s1(t) ist auf Gleichverteilung transformiert; ξi ist gleichverteiltes Rau-schen

Original und Mischungs 1

Quellen−Signale

0 1000 2000 3000 4000 5000

−2

0

2

x 1

Misch−Signale

0 1000 2000 3000 4000 5000

−2

0

2

s 2

0 1000 2000 3000 4000 5000

−2

0

2

x 2

0 1000 2000 3000 4000 5000

−2

0

2

s 3

0 1000 2000 3000 4000 5000

−2

0

2

x 3

0 1000 2000 3000 4000 5000

−2

0

2

PCA und ICAs 1P

CA

PCA

0 1000 2000 3000 4000 5000

−2

0

2

s 1ICA

ICA

0 1000 2000 3000 4000 5000

−2

0

2

s 2PC

A

0 1000 2000 3000 4000 5000

−2

0

2

s 2ICA

0 1000 2000 3000 4000 5000

−2

0

2

s 3PC

A

0 1000 2000 3000 4000 5000

−2

0

2

s 3ICA

0 1000 2000 3000 4000 5000

−2

0

2

PCA

Die PCA zerlegt die Beobachtungen in drei unkorrelierte Signale~s = V~x, z. B. durch Eigenwertzerlegung der Kovariance-Matrix

C = EDET, V = ED−1/2ET

mit

V =

1.32 −1.32 0.040.54 0.54 −0.020.00 −0.04 −1.00

APCA = V−1 =

0.38 0.93 0.00−0.38 0.92 −0.04

0.01 −0.04 −1.00

∣∣∣∣a11

a12

∣∣∣∣ = 0.41∣∣∣∣a21

a22

∣∣∣∣ = 0.41

PCA

Die PCA zerlegt die Beobachtungen in drei unkorrelierte Signale~s = V~x, z. B. durch Eigenwertzerlegung der Kovariance-Matrix

C = EDET, V = ED−1/2ET

mit

V =

1.32 −1.32 0.040.54 0.54 −0.020.00 −0.04 −1.00

APCA = V−1 =

0.38 0.93 0.00−0.38 0.92 −0.04

0.01 −0.04 −1.00

Orig.:

0.1 0.8 0.00.5 0.4 0.00.0 0.0 1.0

∣∣∣∣a11

a12

∣∣∣∣ = 0.41 (0.125)∣∣∣∣a21

a22

∣∣∣∣ = 0.41 (1.25)

ICA

Die ICA zerlegt die Beobachtungen in drei unabhangige Signale~s = W~x mit

W =

−0.90 1.42 0.031.11 −0.15 0.020.01 0.01 1.00

AICA = W−1 =

0.11 0.99 −0.010.77 0.63 0.01

−0.01 −0.01 1.00

∣∣∣∣a11

a12

∣∣∣∣ = 0.11∣∣∣∣a21

a22

∣∣∣∣ = 1.22

ICA

Die ICA zerlegt die Beobachtungen in drei unabhangige Signale~s = W~x mit

W =

−0.90 1.42 0.031.11 −0.15 0.020.01 0.01 1.00

AICA = W−1 =

0.11 0.99 −0.010.77 0.63 0.01

−0.01 −0.01 1.00

Orig.:

0.1 0.8 0.00.5 0.4 0.00.0 0.0 1.0

∣∣∣∣a11

a12

∣∣∣∣ = 0.11 (0.125)∣∣∣∣a21

a22

∣∣∣∣ = 1.22 (1.25)

Verteilungens

1 und s

2 (original Quellen) x

1 und x

2 (gemischtes Signal)

s1PCA und s

2PCA s

1ICA und s

2ICA

Anwendung auf gesteinsmagnetische Daten

gesteinsmagnetische Messungen von Seesedimenten (Lago Grande diMonticchio in Italien)Modell:

NRM = f1(F) + f2(c) + f3(s), c, s = f (C)

ARM = g1(c) + g2(ssmall)

κ = h1(c) + h2(slarge)

NRM – naturliche remanente Magnetisierung; ARM – anhysteretische remanenteMagnetisierung;κ – Suszeptibilitat; F – Erdmagnetfeld; C – Klima; c – Konzentrationund s – Korngroße magnetischer Minerale

Anwendung auf gesteinsmagnetische Daten

gesteinsmagnetische Messungen von Seesedimenten (Lago Grande diMonticchio in Italien)Modell:

NRM = f1(F) + f2(c) + f3(s), c, s = f (C)

ARM = g1(c) + g2(ssmall)

κ = h1(c) + h2(slarge)

NRM – naturliche remanente Magnetisierung; ARM – anhysteretische remanenteMagnetisierung;κ – Suszeptibilitat; F – Erdmagnetfeld; C – Klima; c – Konzentrationund s – Korngroße magnetischer Minerale

→ Separation der Faktoren F, c und s mittels ICA

DatenN

RM

20 [m

A/m

]

10 20 30 40 50 60 70 80 90 100 1100

50

100

150

κ

Time [kyr]10 20 30 40 50 60 70 80 90 100 1100

2000

4000

6000

8000

AR

M20

[mA

/m]

10 20 30 40 50 60 70 80 90 100 1100

200

400

600

800

Ergebnis

Die ICA liefert drei ICs si (~x = A~s) mit der Mischungs-Matrix

A =

16 −4 −12205 −897 −931

16 −36 −136

welche ein Signal des Erdmagnetfeldes (s1) und ein Klima-Signal (s2and s3) beinhalten.

ErgebnisIC

1 (M

−Fie

ld)

10 20 30 40 50 60 70 80 90 100 110−2

0

2

4

6

8

IC2

10 20 30 40 50 60 70 80 90 100 110

−4

−2

0

2

10 20 30 40 50 60 70 80 90 100 110−6

−4

−2

0

2

IC3

Time [kyr]

Test des Ergebnisses

Korrelationskoeffizienten zwischen den ICs und den zugrundeliegen-den Signalen bzw. einem Proxy fur das Klima zeigen die deutlicheTrennung dieser Quellen:

NRM ARM κ NRMκ

NRMARM Q CLIM

s1 0.80 0.11 0.16 0.51 0.49 −0.07 0.02s2 −0.18 −0.26 −0.69 0.41 −0.03 0.19 0.15s3 −0.58 −0.96 −0.71 0.08 0.16 0.21 0.19

Q – Quercus Pollen; CLIM – Proxy fur globale Temperatur

Test des Ergebnisses

die erste IC s1 enthalt viel weniger klimatischen Einfluß als diegewohnlich benutzten Verhaltnisse NRM/ARM und NRM/κ

P Q CLIM

s1 −0.03 −0.07 0.02NRM/κ −0.15 0.15 0.21NRM/ARM −0.09 0.06 0.10

Q – Quercus Pollen, P – Pinus Pollen; CLIM – Proxy fur globale Tem-peratur

Vergleich mit SINT800 Referenz

SINT800

s1 0.21NRM 0.19NRM/κ 0.10NRM/ARM 0.11

IC1

(M−F

ield

)

10 20 30 40 50 60 70 80 90 100 110−1

0

1

2

3

Time [kyr]

SIN

T800

10 20 30 40 50 60 70 80 90 100 1102

4

6

8

10

Ausblick

• Separation von raumlichen Signalen (Standard bei EEG/MEG-Messungen)

• problematisch bei nichtlinearen Uberlagerungen und Laufzeitun-terschieden (z. B. seismographische Messungen) → neue Algorith-men (Harmeling et al., 2002, 2003)

Zusammenfassung

1. ICA ist genereller als PCA (Unabhangigkeit statt Unkorreliertheit)

2. ICA separiert vermischte Signale

3. Anwendung der ICA auf gesteinsmagnetische Daten liefert ein Si-gnal der Intensitat des Erdmagnetfeldes, welches besser mit derSINT800-Referenz korreliert als die bisher verwendeten Signal-Verhaltnisse

Literatur

Hyvarinen, A., Karhunen, J., Oja,E.: Independent Component Analysis,Wiley, New York, 2001