Cesaire J. Kueté F. - TU Dortmundduerre/Vortrag6.pdf · Cesaire J. Kueté F. (TU Dortmund)...
Transcript of Cesaire J. Kueté F. - TU Dortmundduerre/Vortrag6.pdf · Cesaire J. Kueté F. (TU Dortmund)...
Hauptkomponentenanalyse für funktionale Daten
Cesaire J. Kueté F.
Hauptkomponentenanalyse(Wintersemester 2014/2015)
24. November 2014
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 1 / 32
Inhaltsverzeichnis
1 Einleitung
2 Klassische HauptkomponentenanalyseDe�nitionDie Hauptkomponenten
3 Funktionale HauptkomponentenanalyseDe�nitionEigenwerte und EigenfunktionenMultiple funktionale HauptkomponentenanalyseAnwendung und Interpretation der Hauptkomponenten
4 Schluss
5 Aufgabe
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 2 / 32
Einleitung
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 3 / 32
Einleitung
Hauptkomponentenanalyse: Finden eines minimalen Unterraums zurleichten Interpretation der Beobachtungen mit minimalemInformationsverlust.
Ziel
1 Klassische Hauptkomponentenanalyse
Suchen nach U ⊆ RK , so dass die Projektion der
Originalbeobachtungen die beste ist.
2 Funktionale Hauptkomponentenanalyse
Suchen nach H ⊆ L2K , so dass die beobachteten Funktionen
möglichst gut approximiert werden.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 4 / 32
Einleitung
Funktionale Hauptkomponentenanalyse
Betrachtet werde eine funktionale Zufallsvariable xi (t) nach (Ramsay undSilverman, 1997), dann ist die klassische Hauptkomponentenanalyse nichtmehr anwendbar.
Einige Anwendungen: Dynamik von Übertragung der Stimmübertragung,
Longitudinalstudie, Variation der Temperatur ...
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 5 / 32
Funktionale Hauptkomponentenanalyse: Motivation
Abbildung: Wetterstation Beispiel
0 100 200 300
−3
0−
10
10
Tag
Te
mp
era
tur
Originalfunktionen
BeobachtungMittelfkt
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 6 / 32
HauptkomponentenanalyseWie geht man damit um?
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 7 / 32
Klassische Hauptkomponentenanalyse
De�nition:
Betrachte y = (y1, y2, ..., yn)T ∈ Rn und x = (x1, x2, ..., xn)T ∈Rn .
1 < x , y >=n∑
i=1yixi ist das Skalarprodukt zwischen y und x .
2 X =
x1,1 x1,2 · · · x1,kx2,1 x2,2 · · · x2,k...
.... . .
...xn,1 xn,2 · · · xn,k
∈ Rn×k
ist die Matrix der zentrierten Beobachtungen.
Die Matrix SX := 1n−1X
′X ist die empirische Kovarianzmatrix.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 8 / 32
Klassische Hauptkomponentenanalyse
x̃1, x̃2, ..., x̃n ∈ U ist die beste l-dimensionale Approximation von x1, x2, ...,
xn genau dann, wenn
1 SSE =n∑
i=1‖xi − x̃i‖2,minimal ist.
d.h.n∑
i=1‖xi − x̃i‖2 = min{
n∑i=1‖xi − x∗i ‖2, rg([x∗1 , x
∗2 , ..., x
∗n ]) ≤ l}
2 rg([x̃1, x̃2, ..., x̃n])≤ l
Problemstellung: Suche die beste l-dimensionale lineare Approximation
von x1, x2, ..., xn ∈ Rk .
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 9 / 32
Klassische Hauptkomponentenanalyse
x̃1, x̃2, ..., x̃n ∈ U ist die beste l-dimensionale Approximation von x1, x2, ...,
xn genau dann, wenn
1 SSE =n∑
i=1‖xi − x̃i‖2,minimal ist.
d.h.n∑
i=1‖xi − x̃i‖2 = min{
n∑i=1‖xi − x∗i ‖2, rg([x∗1 , x
∗2 , ..., x
∗n ]) ≤ l}
2 rg([x̃1, x̃2, ..., x̃n])≤ l
Problemstellung: Suche die beste l-dimensionale lineare Approximation
von x1, x2, ..., xn ∈ Rk .
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 9 / 32
Klassische Hauptkomponentenanalyse
x̃1, x̃2, ..., x̃n ∈ U ist die beste l-dimensionale Approximation von x1, x2, ...,
xn genau dann, wenn
1 SSE =n∑
i=1‖xi − x̃i‖2,minimal ist.
d.h.n∑
i=1‖xi − x̃i‖2 = min{
n∑i=1‖xi − x∗i ‖2, rg([x∗1 , x
∗2 , ..., x
∗n ]) ≤ l}
2 rg([x̃1, x̃2, ..., x̃n])≤ l
Problemstellung: Suche die beste l-dimensionale lineare Approximation
von x1, x2, ..., xn ∈ Rk .
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 9 / 32
Klassische Hauptkomponentenanalyse
x̃1, x̃2, ..., x̃n ∈ U ist die beste l-dimensionale Approximation von x1, x2, ...,
xn genau dann, wenn
1 SSE =n∑
i=1‖xi − x̃i‖2,minimal ist.
d.h.n∑
i=1‖xi − x̃i‖2 = min{
n∑i=1‖xi − x∗i ‖2, rg([x∗1 , x
∗2 , ..., x
∗n ]) ≤ l}
2 rg([x̃1, x̃2, ..., x̃n])≤ l
Problemstellung: Suche die beste l-dimensionale lineare Approximation
von x1, x2, ..., xn ∈ Rk .
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 9 / 32
Klassische Hauptkomponentenanalyse
Sei B = {u1, ..., uk} ⊆ U. Voraussetzungen für die l-dimensionale bestelineare Approximation:
1 uh =k∑
i=1αiXi , ∀h ∈ {1, ..., k}.
2 Orthogonalität < ug , uh >= 0, ∀h 6= g
3 Normalität: ∀h ∈ {1, ..., k} ‖uh‖ = 1.
4 Minimierung der Fehler:
uh = arg maxuh !S2X̃h
= uhX′Xuh = u′hSXuh.
Unter u′gSXuh = 0 ∀g ∈ {1, ..., h − 1}.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 10 / 32
Klassische Hauptkomponentenanalyse
Sei B = {u1, ..., uk} ⊆ U. Voraussetzungen für die l-dimensionale bestelineare Approximation:
1 uh =k∑
i=1αiXi , ∀h ∈ {1, ..., k}.
2 Orthogonalität < ug , uh >= 0, ∀h 6= g
3 Normalität: ∀h ∈ {1, ..., k} ‖uh‖ = 1.
4 Minimierung der Fehler:
uh = arg maxuh !S2X̃h
= uhX′Xuh = u′hSXuh.
Unter u′gSXuh = 0 ∀g ∈ {1, ..., h − 1}.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 10 / 32
Klassische Hauptkomponentenanalyse
Sei B = {u1, ..., uk} ⊆ U. Voraussetzungen für die l-dimensionale bestelineare Approximation:
1 uh =k∑
i=1αiXi , ∀h ∈ {1, ..., k}.
2 Orthogonalität < ug , uh >= 0, ∀h 6= g
3 Normalität: ∀h ∈ {1, ..., k} ‖uh‖ = 1.
4 Minimierung der Fehler:
uh = arg maxuh !S2X̃h
= uhX′Xuh = u′hSXuh.
Unter u′gSXuh = 0 ∀g ∈ {1, ..., h − 1}.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 10 / 32
Klassische Hauptkomponentenanalyse
Sei B = {u1, ..., uk} ⊆ U. Voraussetzungen für die l-dimensionale bestelineare Approximation:
1 uh =k∑
i=1αiXi , ∀h ∈ {1, ..., k}.
2 Orthogonalität < ug , uh >= 0, ∀h 6= g
3 Normalität: ∀h ∈ {1, ..., k} ‖uh‖ = 1.
4 Minimierung der Fehler:
uh = arg maxuh !S2X̃h
= uhX′Xuh = u′hSXuh.
Unter u′gSXuh = 0 ∀g ∈ {1, ..., h − 1}.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 10 / 32
Klassische Hauptkomponentenanalyse
Eigenproblem: Finden einer Lösung der Eigengleichung
(X̃ )uh = Xuh =√λhuh
Der erste Eigenvektor entspricht dem erstgröÿten Eigenwert und trägt die
erste Hauptkomponente.
Der zweite Eigenvektor entspricht dem zweitgröÿten Eigenwert und trägt
die zweite Hauptkomponente.
usw...
Sie erklären den gröÿten bzw. zweit-, drittgröÿten, ... Teil der durch U
erklärten Variabilität.
Es gibt maximal r = min{n, k} <∞ Eigenwerte bzw. Eigenvektoren.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 11 / 32
Klassische Hauptkomponentenanalyse
Eigenproblem: Finden einer Lösung der Eigengleichung
(X̃ )uh = Xuh =√λhuh
Der erste Eigenvektor entspricht dem erstgröÿten Eigenwert und trägt die
erste Hauptkomponente.
Der zweite Eigenvektor entspricht dem zweitgröÿten Eigenwert und trägt
die zweite Hauptkomponente.
usw...
Sie erklären den gröÿten bzw. zweit-, drittgröÿten, ... Teil der durch U
erklärten Variabilität.
Es gibt maximal r = min{n, k} <∞ Eigenwerte bzw. Eigenvektoren.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 11 / 32
Klassische Hauptkomponentenanalyse
Eigenproblem: Finden einer Lösung der Eigengleichung
(X̃ )uh = Xuh =√λhuh
Der erste Eigenvektor entspricht dem erstgröÿten Eigenwert und trägt die
erste Hauptkomponente.
Der zweite Eigenvektor entspricht dem zweitgröÿten Eigenwert und trägt
die zweite Hauptkomponente.
usw...
Sie erklären den gröÿten bzw. zweit-, drittgröÿten, ... Teil der durch U
erklärten Variabilität.
Es gibt maximal r = min{n, k} <∞ Eigenwerte bzw. Eigenvektoren.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 11 / 32
Klassische Hauptkomponentenanalyse
Eigenproblem: Finden einer Lösung der Eigengleichung
(X̃ )uh = Xuh =√λhuh
Der erste Eigenvektor entspricht dem erstgröÿten Eigenwert und trägt die
erste Hauptkomponente.
Der zweite Eigenvektor entspricht dem zweitgröÿten Eigenwert und trägt
die zweite Hauptkomponente.
usw...
Sie erklären den gröÿten bzw. zweit-, drittgröÿten, ... Teil der durch U
erklärten Variabilität.
Es gibt maximal r = min{n, k} <∞ Eigenwerte bzw. Eigenvektoren.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 11 / 32
Klassische Hauptkomponentenanalyse
Eigenproblem: Finden einer Lösung der Eigengleichung
(X̃ )uh = Xuh =√λhuh
Der erste Eigenvektor entspricht dem erstgröÿten Eigenwert und trägt die
erste Hauptkomponente.
Der zweite Eigenvektor entspricht dem zweitgröÿten Eigenwert und trägt
die zweite Hauptkomponente.
usw...
Sie erklären den gröÿten bzw. zweit-, drittgröÿten, ... Teil der durch U
erklärten Variabilität.
Es gibt maximal r = min{n, k} <∞ Eigenwerte bzw. Eigenvektoren.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 11 / 32
Klassische Hauptkomponentenanalyse
Eigenproblem: Finden einer Lösung der Eigengleichung
(X̃ )uh = Xuh =√λhuh
Der erste Eigenvektor entspricht dem erstgröÿten Eigenwert und trägt die
erste Hauptkomponente.
Der zweite Eigenvektor entspricht dem zweitgröÿten Eigenwert und trägt
die zweite Hauptkomponente.
usw...
Sie erklären den gröÿten bzw. zweit-, drittgröÿten, ... Teil der durch U
erklärten Variabilität.
Es gibt maximal r = min{n, k} <∞ Eigenwerte bzw. Eigenvektoren.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 11 / 32
Funktionale Hauptkomponentenanalyse
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 12 / 32
Funktionale Hauptkomponentenanalyse
Betrachte eine Funktion xi (t), mit t stetig.Gegeben sei H ⊆ L2 ein funktionaler Unterraum.
De�nition
Gegeben sei h ∈ H
1 Die Projektion von xi entlang h ∈ H ist
< h, xi > (t) =∫xi (t)h(t)dt und < •, • > ist das Skalarprodukt.
< h, xi >2 die durch h erklärte Variabilität und
1N
N∑i=0
< h, xi >2 gemeinsame erklärte Variabilität.
2 kov(s,t) = 1N
N∑i=0
xi (t)xi (s) empirische Kovarianz zwischen s und t.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 13 / 32
Funktionale Hauptkomponentenanalyse
Hauptkomponentenanalyse
Die folgenden Voraussetzungen müssen von H erfüllt werden.
(i) Sei hi ∈ H, dann gilt hi (t) =N∑i=0
αix(t)dt.
(ii) ∀hi , hj mit i 6= j < hi , hj >=∫hi (t)hj(t)dt = 0.
(iii) ∀h ∈ H∫h2(t)dt = 1.
(iv) Die h ∈ H erfüllen die Eigengleichung∫kov(s, t)h(t)dt = ρh(s) ...
(E).
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 14 / 32
Funktionale Hauptkomponentenanalyse
Eigenwerte und Eigenfunktionen
Der so genannte Kovarianzsoperator V entlang h wird so de�niert, dass
Vh =∫kov(•, t)h(t)dt und die Eigengleichung (E) lässt sich als Vh = ρh
umschreiben.
Es gilt∫h(s)ρh(s) =
∫∫h(s)kov(s, t)h(t)dtds = ρ. ρ bezieht sich auf
einen Eigenwert, während h sich auf eine Eigenfunktion bezieht.
Frage: Wie löst man die Eigengleichung (E)?
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 15 / 32
Funktionale Hauptkomponentenanalyse
Eigenwerte und Eigenfunktionen
Der so genannte Kovarianzsoperator V entlang h wird so de�niert, dass
Vh =∫kov(•, t)h(t)dt und die Eigengleichung (E) lässt sich als Vh = ρh
umschreiben.
Es gilt∫h(s)ρh(s) =
∫∫h(s)kov(s, t)h(t)dtds = ρ. ρ bezieht sich auf
einen Eigenwert, während h sich auf eine Eigenfunktion bezieht.
Frage: Wie löst man die Eigengleichung (E)?
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 15 / 32
Funktionale Hauptkomponentenanalyse
Berechnung von Eigenwerten und Eigenfunktionen: zwei Grundideen
Lösung der Eigengleichung
1 Diskretisieren der Integrale
Im Fall der äquidistanten Zeitpunkte lautet die Eigengleichung:
V h̃ = λh̃, wobei V und h̃ sich auf das Diskretisieren von V bzw. h
beziehen. λ ist ein Eigenwert von V , d.h. λ2 ist ein Eigenwert von
V TV .
2 Ausdruck der beobachteten Funktionen in Bezug auf eine
Funktionalbasis
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 16 / 32
Funktionale Hauptkomponentenanalyse
Lösung der Eigengleichung: 2. Idee Fortsetzung
Gegeben sei eine bel. Funktionalbasis Φ, mit dim(Φ) = K ≤ Nt
Sei xi (t) =K∑j=1
αijΦj(t), die Gewichtsmatrix
A =
α1,1 α1,2 · · · α1,K
α2,1 α2,2 · · · α2,K...
.... . .
...αN,1 αn,2 · · · αN,K
∈ RN×K und Φ1, · · · ,ΦK die Funktionen
der Basis Φ.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 17 / 32
Funktionale Hauptkomponentenanalyse
Lösung der Eigengleichung: 2. Idee Fortsetzung
Dann lautet die Eigengleichung (E):1N S
12A′AS
12µ = ρµ, wobei
µ = S12 h̃
S =< Φ̃, Φ̃ >
Φ̃ ∈ L2K und h̃ ∈ RK , sodass h = h̃′Φ
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 18 / 32
Funktionale Hauptkomponentenanalyse
Lösung der Eigengleichung: 2. Idee Fortsetzung
Bemerkung:
-∫h̃′Φ̃′Φ̃h̃ = 1⇒ ‖h‖ = 1.
- Falls Φ Orthonormalbasis, wird nur 1NA′A der Eigengleichung
betrachtet.
- Für N klein, werden die beobachteten Funktionen als die Funktionen
der Basis Φ betrachtet und es folgt A′A = IN .
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 19 / 32
Funktionale Hauptkomponentenanalyse: Verallgemeinerung
Multiple funktionale Hauptkomponentenanalyse
Gegeben sei F = (f1, · · · , fK )′ ∈ L2K .
- < Fi ,Fj >=K∑
g=1
∫fgi fgj ist das Skalarprodukt zwischen Fi und Fj .
- ‖F‖ = 1⇔K∑i=1
∫f 2i = 1, F ist ein normierter Vektor
- K (s, t) =
kov11(s, t) · · · kov1K (s, t)...
. . ....
kovK1(s, t) · · · kovKK (s, t)
ist die empirische Kovarianzmatrix zwischen zwei beliebigen stetigenVariablen s und t.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 20 / 32
Funktionale Hauptkomponentenanalyse: Verallgemeinerung
Multiple funktionale Hauptkomponentenanalyse - Fortsetzung.
Die Komponenten von K (s, t) werden so gebildet:
kovii (s, t) =1N
N∑i=1
fi (s)fi (t)
kovij(s, t) =1N
N∑i=1
fi (s)fj(t),
kovij(s, t) = kovji (t, s)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 21 / 32
Funktionale Hauptkomponentenanalyse: Verallgemeinerung
Multiple funktionale Hauptkomponentenanalyse - Fortsetzung.
Die Komponenten von K (s, t) werden so gebildet: Es folgt dann die
Eigengleichung∫K (s, t)h = ρh, wobei h = (h1, · · · , hK )′ und
(G):
∫kov11(s, t)h1 + · · ·+ kov1Khk = ρh1
......∫
kovK1(s, t)h1 + · · ·+ kovKKhk = ρhK
ist das Eigengleichungssystem.
Es ist genauso wie die Gleichung der univariaten funktionalen
Hauptkomponentenanalyse lösbar.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 22 / 32
Funktionale Hauptkomponentenanalyse
Anwendung und Interpretation: Wetterstationen-Beispiel
Tabelle: Namen der kanadischen Wetterstationen
Arvida, Que. Kapuskasing, Ont. St. John's, n�dBeaverlodge, B.C. London, Ont. Sydney, N.S.Calgary, Alta. Montreal, Que. The Pas, Man.Charlottetown, P.E.I Ottawa, Ont. Thunder Bay, Ont.Churchill, Man Prince Albert, Sask. Toronto, Ont.Dawson, Yukon Prince George, B.C. Vancouver, B.CEdmonton, Alta Prince Rupert, B.C. Victoria, B.CFredericton, N.B. Quebec City, Que. Whitehorse, YukonHalifax, N.S. Regina, Sask. Winnipeg, Man.Inuvik, N.W.T. Resulte, N.W.T. Yarmouth, N.S.Iqualuit,N.W.T. Sche�erville, Que. YellowKnife, N.W.T.Kamloops, B.C. Sherbrooke, Que.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 23 / 32
Funktionale Hauptkomponentenanalyse: Interpretation
Abbildung: Darstellung der Originalen Daten
0 100 200 300
−3
0−
10
10
Tag
Te
mp
era
tur
Originalfunktionen
BeobachtungMittelfkt
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 24 / 32
Funktionale Hauptkomponentenanalyse: Interpretation Forts.
Abbildung: Die vier ersten Hautkomponenten
0 50 150 250 350−0
.10
0.0
0
Tag
Tem
pe
ratu
r
HK1HK2HK3HK4
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 25 / 32
Funktionale Hauptkomponentenanalyse: Interpretation Forts.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 26 / 32
Funktionale Hauptkomponentenanalyse: Interpretation Fortz.
Abbildung: Biplot im Raum der zwei ersten Hauptkomponenten
−300 −100 100
−50
050
100
HK 1
HK
2
St. Johns
Halifax
Sydney Yarmouth
Charlottvl
Fredericton
Scheffervll
Arvida BagottvilleQuebec Sherbrooke
Montreal Ottawa
Toronto London Thunderbay
Winnipeg The Pas
Churchill
Regina Pr. Albert Uranium Cty
Edmonton
Calgary
Kamloops
VancouvVictoria
Pr. George
Pr. Rupert
Whitehorse
Dawson
Yellowknife
Iqaluit
Inuvik
Resolute
Projektion der Stationen
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 27 / 32
Tabelle: Vergleich
klassische Analyse funktionale Analyse
X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )
′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K
Daten Elemente aus RK
Kurven ∈ L2K ([t1, tK ])
Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,
wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]
Eigengleichung Xh =√λh
∫K(•, t)h = ρh
Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)
Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2
K ([t1, tK ])
Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen
getragen ∈ L2K ([t1, tK ]) getragen
N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische
Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 28 / 32
Tabelle: Vergleich
klassische Analyse funktionale Analyse
X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )
′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K
Daten Elemente aus RK
Kurven ∈ L2K ([t1, tK ])
Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,
wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]
Eigengleichung Xh =√λh
∫K(•, t)h = ρh
Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)
Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2
K ([t1, tK ])
Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen
getragen ∈ L2K ([t1, tK ]) getragen
N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische
Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 28 / 32
Tabelle: Vergleich
klassische Analyse funktionale Analyse
X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )
′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K
Daten Elemente aus RK
Kurven ∈ L2K ([t1, tK ])
Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,
wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]
Eigengleichung Xh =√λh
∫K(•, t)h = ρh
Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)
Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2
K ([t1, tK ])
Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen
getragen ∈ L2K ([t1, tK ]) getragen
N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische
Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 28 / 32
Tabelle: Vergleich
klassische Analyse funktionale Analyse
X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )
′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K
Daten Elemente aus RK
Kurven ∈ L2K ([t1, tK ])
Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,
wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]
Eigengleichung Xh =√λh
∫K(•, t)h = ρh
Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)
Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2
K ([t1, tK ])
Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen
getragen ∈ L2K ([t1, tK ]) getragen
N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische
Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 28 / 32
Tabelle: Vergleich
klassische Analyse funktionale Analyse
X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )
′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K
Daten Elemente aus RK
Kurven ∈ L2K ([t1, tK ])
Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,
wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]
Eigengleichung Xh =√λh
∫K(•, t)h = ρh
Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)
Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2
K ([t1, tK ])
Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen
getragen ∈ L2K ([t1, tK ]) getragen
N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische
Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 28 / 32
Tabelle: Vergleich
klassische Analyse funktionale Analyse
X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )
′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K
Daten Elemente aus RK
Kurven ∈ L2K ([t1, tK ])
Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,
wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]
Eigengleichung Xh =√λh
∫K(•, t)h = ρh
Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)
Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2
K ([t1, tK ])
Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen
getragen ∈ L2K ([t1, tK ]) getragen
N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische
Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 28 / 32
Tabelle: Vergleich
klassische Analyse funktionale Analyse
X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )
′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K
Daten Elemente aus RK
Kurven ∈ L2K ([t1, tK ])
Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,
wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]
Eigengleichung Xh =√λh
∫K(•, t)h = ρh
Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)
Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2
K ([t1, tK ])
Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen
getragen ∈ L2K ([t1, tK ]) getragen
N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische
Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 28 / 32
Tabelle: Vergleich
klassische Analyse funktionale Analyse
X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )
′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K
Daten Elemente aus RK
Kurven ∈ L2K ([t1, tK ])
Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,
wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]
Eigengleichung Xh =√λh
∫K(•, t)h = ρh
Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)
Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2
K ([t1, tK ])
Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen
getragen ∈ L2K ([t1, tK ]) getragen
N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische
Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 28 / 32
Tabelle: Vergleich
klassische Analyse funktionale Analyse
X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )
′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K
Daten Elemente aus RK
Kurven ∈ L2K ([t1, tK ])
Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,
wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]
Eigengleichung Xh =√λh
∫K(•, t)h = ρh
Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)
Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2
K ([t1, tK ])
Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen
getragen ∈ L2K ([t1, tK ]) getragen
N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische
Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 28 / 32
Aufgabe
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 29 / 32
Aufgabe
Teil I Betrachten wir wieder die Eigengleichung (E):∫kov(s, t)h(t)dt = ρh(s).
Diskretisieren der Integrale (Folie 16): Zeigen Sie das Resultat.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 30 / 32
Aufgabe
Teil II Betrachten wir wieder das Beispiel der Wetterstationen1 Laden Sie die Pakete "fda".2 Schauen Sie sich das Objekt "dailyän.
3 Erstellen Sie mit folgenden Parametervektoren (0, 2π365)′
2und range
(0, 365)′ einen Di�. Operator.4 Erstellen Sie weiter ein funktionales Operator-Objekt mit dem Befehl
fdPar.5 Führen Sie dann die Glättung über den Zeitraum 1 bis 365 durch.6 Führen Sie mit Hilfe von pca.fd eine funktionale
Hauptkomponentenanalyse durch. Berücksichtigen Sie dafür nur dievier ersten Hauptkomponenten.Hinweis: Stellen Sie zunächst die Hauptkomponenten in einer Gra�k
dar und plotten Sie wie in Folie 26 die Hauptkomponenten ± die
mittlere Funktion. Ein Biplot wäre auch für die Interpretation Hilfreich.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 31 / 32
Ramsay, J. und Silverman, B. W. (1997).Functional Data Analysis.Springer, New York.
Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 32 / 32