Multivariate Daten.
♦ Multivariate Daten : Mehrere Variablen pro Versuchsperson
→Werte pro Vp zu Vektoren zusammenfassen !
? Beispiele :
? Normierung eines Intelligenztests mit 3 Untertests
− verbale, rechnerische, raumliche Intelligenz
→ Ergebnisse in 3-Vektor zusammenfassen
Mogliches Ergebnis einer Vp : ( 10, 7, 9 )′ :
− 10 Punkte verbal, 7 Punkte rechnerisch, 9 Punkte raumlich
Gegebenenfalls Verlangerung des Vektors durch weitere
Variablen (Alter, Geschlecht)
? Therapieverlauf : Befindlichkeitsdaten zu vier Messzeitpunkten
Ergebnis ( 4, 7, 6, 8 )′ einer Vp :
− Aus 4 (vorher) wird uber 7 und 6 schließlich 8 (nachher)
? Zusammenhang von Personlichkeit und Physiologie
Funf Personlichkeitsmaße (Extraversion, Neurotizismus, ...)
Vier physiologische Variablen (Herzrate, Atemfrequenz, ...)
Jede Vp liefert 2 Vektoren :
− einen 5-Vektor (Personlichkeit)
− einen 4-Vektor (Physiologie)
2.1 Grundbegriffe MS13 1
Datenmatrix :
� n Zeilen ←→ Personen
� p Spalten ←→ Variablen
? Datenmatrix X von drei Intelligenzwerten bei funf Personen :
5 10 8
4 6 3
2 3 3
6 12 3
8 14 13
� Ergebnisvektor der i-ten Versuchsperson : xi
( transponierte i-te Zeile von X )
? Ergebnis der dritten Versuchsperson : x3 = ( 2, 3, 3 )′
� Bezeichnungen :
− Variablen : Xj oder xj
− Variablenvektor : x
� Statt’Variablenvektor ‘ auch :
’p-dimensionale Variable ‘
2.1 Grundbegriffe MS13 2
Kennwerte.
? Datenmatrix X :
5 10 8
4 6 3
2 3 3
6 12 3
8 14 13
� Mittelwertvektor : x
� Kovarianzmatrix : S
? Im Beispiel :
x =
5
9
6
S =
4 7.8 6
7.8 16 11
6 11 16
• Bei unabhangigem Ziehen aus einer Population ist
Su : =n
n− 1S
(elementweise) erwartungstreu fur die theoretische
Kovarianzmatrix
♦ Su heißt korrigierte Stichprobenkovarianzmatrix
� u : unbiased
? Im Beispiel :
Su =
5 9.75 7.5
9.75 20 13.75
7.5 13.75 20
2.1 Grundbegriffe MS13 3
SSCP-Matrix.
♦ nS = (n− 1) Su heißt SSCP-Matrix
4 Vorstufe fur Kovarianzmatrizen
− Keine Division durch n oder n− 1
B SSCP :’Sum of Squares and Cross Products ‘
B Eintrage :
− Produkte der Abweichungen vom jeweiligen Mittelwert bilden
− Aufsummieren
? SSCP-Matrix im Beispiel :20 39 30
39 80 55
30 55 80
Korrelationsmatrix.
? Korrelationsmatrix des Beispiels : 1 0.975 0.75
0.975 1 0.6875
0.75 0.6875 1
4 Einsen in der Diagonale
2.1 Grundbegriffe MS13 4
Zentrieren.
♣ Univariate Situation :
−Werte von n Personen in einer Variable X
→ Datenvektor x = (x1, . . . , xn )′
? Beispiel : Funf Personen liefern x = ( 10, 8, 7, 6, 14 )′
4 Unterschiedliche Verwendung von Vektoren :
−Werte einer Person in mehreren Variablen ( multivariat )
−Werte mehrerer Personen in einer Variablen ( univariat )
� 1n = ( 1, . . . , 1 )′ : Spaltenvektor aus n Einsen
− Kurz : 1
• Mittelwert:
x =1
n1′n x
? Im Beispiel :
x =1
5(1, 1, 1, 1, 1)
10
8
7
6
14
=45
5= 9
4 Eigentlich (1× 1)-Matrix
2.1 Grundbegriffe MS13 5
♦ x : Zentrierter Datenvektor ( x von allen Werten abziehen )
• Zentrieren :
x = x− 1(x)
? Im Beispiel :
x =
10
8
7
6
14
−
1
1
1
1
1
(
9)
=
10
8
7
6
14
−
9
9
9
9
9
=
1
−1
−2
−3
5
→ Einsetzen und Umformen :
x = x− 1(x) = x− 1
(1
n1′x
)= x− 1
n1 (1′x) = x− 1
n(11′) x
= Ix− 1
n(11′) x =
(I− 1
n(11′)
)x =: Znx
♦ I− (1/n)11′ =: Zn : Zentriermatrix
− Kurz : Z
? Beispiel:
Z5 =
1 0 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
−1
5
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
=
.8 −.2 −.2 −.2 −.2−.2 .8 −.2 −.2 −.2−.2 −.2 .8 −.2 −.2−.2 −.2 −.2 .8 −.2−.2 −.2 −.2 −.2 .8
2.1 Grundbegriffe MS13 6
Eigenschaften der Zentriermatrix.
• Zentrieren mit Z :
x = Zx
• Idempotenz :
Z2 = Z
• Symmetrie :
Z′ = Z
• Zusammen :
Z′Z = Z
• Es gilt :
Z1 = 0
on Zentrieren ! �
2.1 Grundbegriffe MS13 7
Zentrieren und Varianzen/Kovarianzen.
♣ Situation :
− X und Y sind an denselben n Versuchspersonen erhoben
− Ergebnisse : Datenvektoren x und y
→ Kovarianz :
KovX,Y =1
n
n∑i=1
(xi − x) (yi − y)
Abweichungen vom Mittelwert miteinander multiplizieren
Produkte aufsummieren
Summe durch n teilen
• KovX,Y =1
n< x, y> =
1
nx′ y
? Beispiel :
x =
10
8
7
6
14
y =
4
6
5
3
7
−→ x =
1
−1
−2
−3
5
y =
−1
1
0
−2
2
1
5x′ y =
1
5
(1 −1 −2 −3 5
)−1
1
0
−2
2
=1
5· 14 = 2.8
2.1 Grundbegriffe MS13 8
Kovarianz und Zentriermatrix.
• KovX,Y =1
nx′Zy
on x′y = (Zx)′(Zy) = x′Z′Zy = x′Zy �
• Spezialfall Varianz :
S2X =
1
nx′Zx
Zentrieren einer Datenmatrix.
♣ Multivariate Situation :
− n Personen
− p Variablen
− Datenmatrix X
• Mittelwertvektor :
x =1
nX′1n
• Zentrieren aller Spalten von X :
X = ZX
2.1 Grundbegriffe MS13 9
SSCP- und Kovarianzmatrizen mit zentrierten Daten.
• SSCP-Matrix :
X′ X
on (i, j)-Element von X′X :
i-te Zeile von X′ mal j-te Spalte von X
→ Produkt der zentrierten Daten der Variablen i und j �
• Kovarianzmatrizen :
S =1
nX′X Su =
1
n− 1X′X
• SSCP-Matrix und Kovarianzmatrizen sind symmetrisch
on (X′X)′ = X′X′′ = X′X �
SSCP- und Kovarianzmatrizen mit Zentriermatrix.
• Die SSCP-Matrix ist X′ZX
on X′X = (ZX)′ZX = X′Z′ZX = X′ZX �
• Daher :
S =1
nX′ZX Su =
1
n− 1X′ZX
! Formeln nicht fur praktische Rechnung geeignet !
2.1 Grundbegriffe MS13 10
Affine Abbildungen.
4 Verallgemeinerung der univariaten linearen Transformationen
♦ Eine affine Abbildung ist ein f : Rp → Rq von der Form
f(x) = Ax + b
Dabei ist A eine (q × p)-Matrix und b ein q-Vektor
� A : linearer Anteil
� b : Verschiebungsvektor
? Beispiel : Vorhersage von zwei Vordiplomsnoten mit Hilfe von
drei Schulnoten wie in der multiplen Regression :
Schulnoten : x
Vorhergesagte Vordiplomsnoten : y
→ Regressionsgleichungen :
y = Ax + b
Ausgeschrieben :(y1y2
)=
(a11 a12 a13a21 a22 a23
)x1x2x3
+
(b1b2
)=
(a11x1 + a12x2 + a13x3 + b1a21x1 + a22x2 + a23x3 + b2
)
→ Regressionsgewichte in A additive Konstanten in b
→ y ist’affine Transformation ‘ von x
2.1 Grundbegriffe MS13 11
? Beispiel : Linearkombinationen im Sinn der univariaten Statistik
Y =∑ajXj + b
Mit x = (X1, . . . , Xp)′ a = (a1, . . . , ap)
′ :
→ Y = a′x + b
→ Linearkombinationen sind affine Transformationen
Linearer Anteil : a′ Verschiebungs’vektor ‘ : b
? Beispiel : Komponentenweise z-Transformation
− Gegeben : Variablenvektor x
� Vx , V1/2x , V
−1/2x : Diagonalmatrizen der Varianzen,
Streuungen und Kehrwerte der Streuungen von x
? Beispiel :
S =
4 7.8 6
7.8 16 11
6 11 16
Vx =
4 0 0
0 16 0
0 0 16
V1/2x =
2 0 0
0 4 0
0 0 4
V−1/2x =
1/2 0 0
0 1/4 0
0 0 1/4
Komponentenweise z-Transformation :
z = V−1/2x (x− x) = V
−1/2x x−V
−1/2x x
→ Komponentenweise z-Transformation ist affine Abbildung
2.1 Grundbegriffe MS13 12
Affine Transformationen und Datenmatrizen.
♣ Gegeben : (n× p )-Datenmatrix X
→ Transformiere die Daten aller Versuchspersonen affin mit
y = Ax + b
? Datenmatrix der transformierten Daten ?
? Mittelwertvektor ?
? Kovarianzmatrix ?
? Beispiel :
− Vorhersage y von 2 Vordiplomsnoten durch 3 Schulnoten x
y = Ax + b
20 Versuchspersonen
Datenmatrix X der Originaldaten : ( 20× 3 )-Matrix
→ Datenmatrix Y der transformierten Daten : ( 20× 2 )-Matrix
2.1 Grundbegriffe MS13 13
Transformierte Datenmatrix.
• Die Matrix Y der transformierten Daten ist
Y = XA′ + 1nb′
on Transformation spaltenweise :
Y′ = AX′ + b1′
Transponieren liefert Ergebnis �
→ Folgerungen :
• Der Mittelwertvektor y der transformierten Daten ist
Ax + b
B Transformation angewendet auf x
• Die zentrierte transformierte Datenmatrix Y ist
Y = XA′
2.1 Grundbegriffe MS13 14
Kennwerte der transformierten Daten.
• Ist Sx die Kovarianzmatrix der Originaldaten und Sy die der
transformierten Daten, so gilt
Sy = ASxA′
on Begrundung :
Sy =1
nY′ Y =
1
n(XA′)′ (XA′) =
1
nA′′X′ XA′
= A
(1
nX′ X
)A′ = ASxA
′ �
B Analoge Formeln fur SSCP-Matrix und korrigierte
Stichprobenkovarianzmatrix
• Mittelwertvektor und Kovarianzmatrix von y = Ax + b :
y = Ax + b
Sy = ASxA′
→ Anwendung : Korrelationsmatrix von x :
V−1/2x Sx V
−1/2x
2.1 Grundbegriffe MS13 15
Kovarianzen und Varianzen.
♣ Gegeben : Datenmatrix X mit Kovarianzmatrix S
− U = a′x + b , V = c′x + d : Univariate Linearkombinationen
• Kovarianz :
KovU,V = a′Sc
• Spezialfall Varianz :
S2U = a′Sa
• Mittelwert und Varianz von U = a′x + b :
u = a′x + b
S2U = a′Sa
2.1 Grundbegriffe MS13 16
Positive Semidefinitheit.
♦ Eine symmetrische Matrix A heißt positiv semidefinit , falls
fur alle x folgende Beziehung gilt :
x′Ax ≥ 0
4 Verallgemeinerung der nichtnegativen Zahlen
• Kovarianzmatrizen sind symmetrisch und positiv semidefinit
on Fur jedes a ist a′Sa ≥ 0 , da Varianz von U = a′x �
? Ist jede positiv semidefinite Matrix mogliche Kovarianzmatrix,
so wie jede nichtnegative Zahl mogliche Varianz ist ?
? Kriterien fur positive Semidefinitheit ?
→ Spater : Jedes positiv semidefinite K kann als K = AA′
geschrieben werden ( alle Matrizen (p× p) )
• Gibt es p unkorrelierte Variablen der Varianz 1 , so ist jede
positiv semidefinite (p× p)-Matrix K eine mogliche
Kovarianzmatrix
on Mit Sx = I und y = Ax gilt
Sy = AIA′ = AA′ = K �
4 Voraussetzung uber unkorrelierte Variable meist harmlos
→’positiv semidefinite Matrix ‘ und
’mogliche Kovarianzmatrix ‘
sind praktisch synonym
2.1 Grundbegriffe MS13 17
Gesamtvarianz.
4 Beschreibung der Variabilitat der Daten → Kovarianzmatrix
4 Kovarianzmatrix enthalt Einzelvarianzen und Informationen
uber lineare Zusammenhange
B Nachteil : Unubersichtlichkeit
→Wunsch : Kennzeichnung der Variabilitat durch nur eine Zahl
Informationsverlust
♦ Gesamtvarianz : Summe der Einzelvarianzen
→ Die Gesamtvarianz ist die Spur der Kovarianzmatrix
? Beispiel :
S =
4 7.8 6
7.8 16 11
6 11 16
→ Gesamtvarianz ist 4 + 16 + 16 = 36
4 Das Konzept der Gesamtvarianz kann sinnvoll sein, wenn
− die Variablen inhaltlich miteinander zu tun haben
− die Skalen’harmonieren ‘
B Problematisch : Große skalenbedingte Varianzen von
Einzelvariablen konnen Gesamtvarianz dominieren
? Beispiel : Messung in mm statt in km
2.1 Grundbegriffe MS13 18
Zufallsvektoren.
♣ Gegeben :
− p eindimensionale Zufallsvariable xi auf demselben W-Raum
→ Zusammenfassung zu Zufallsvektor x :
x =
x1x2...
xp
� Symbole von Zufallsvariablen : meist Kleinbuchstaben
? Beispiele :
? Eine Person soll in einer Untersuchung mehrere Werte liefern
− z.B. Ergebnisse in verschiedenen Untertests einer Testbatterie
? Eine zu ziehende Versuchsperson ist durch ihre Werte in
mehreren Variablen gekennzeichnet
− z.B. mehrere Personlichkeitsvariablen
2.1 Grundbegriffe MS13 19
Erwartungswert.
♦ Der Erwartungswert oder Erwartungswertvektor wird
komponentenweise gebildet :
E(x) = E(
x1x2...
xp
) =
E(x1)
E(x2)...
E(xp)
� Symbole : fette griechische Buchstaben :
E(x) = µ =
µ1µ2...
µp
2.1 Grundbegriffe MS13 20
Kovarianzmatrix.
♦ Die Kovarianzmatrix des Zufallsvektors x hat als Elemente
die Kovarianzen der Komponenten des Zufallsvektors :
V(x) =
Kov(x1, x1) Kov(x1, x2) . . . Kov(x1, xp)
Kov(x2, x1) Kov(x2, x2) . . . Kov(x2, xp)...
... · · · ...
Kov(xp, x1) Kov(xp, x2) . . . Kov(xp, xp)
� Symbol : meist Σ ( mit Elementen σij )
• Symmetrie : Σ′ = Σ
B Diagonalelemente σii : Varianzen der Komponenten von x
→ Alternativschreibweise mit E(x) = µ :
V(x) = E ((x− µ)(x− µ)′)
♦ Die Gesamtvarianz eines Zufallsvektors ist die Summe der
Varianzen der Einzelvariablen
→ Spur der Kovarianzmatrix
4 Korrelationsmatrix : analog zur Kovarianzmatrix
� Streuung einer eindimensionalen Variable x : σ(x)
2.1 Grundbegriffe MS13 21
Matrix der Kovarianzen.
♣ Gegeben auf demselben W-Raum :
− Zufallsvektoren x und y ( p- und q-dimensional )
♦ Die Matrix C(x,y) der Kovarianzen der Komponenten von x
und y heißt Matrix der Kovarianzen von x und y
4 C(x,y) ist (p× q)-Matrix
− (i, j)-Element : Kov(xi, yj)
? Beispiel : Untersucht werden sollen (in derselben Population)
− zwei Personlichkeitsvariable x1, x2 (→ 2-Zufallsvektor x)
− drei Intelligenzkomponenten y1, y2, y3 (→ 3-Zufallsvektor y)
C(x,y) =
(Kov(x1, y1) Kov(x1, y2) Kov(x1, y3)
Kov(x2, y1) Kov(x2, y2) Kov(x2, y3)
)
B Unterscheide : Kovarianzmatrix und Matrix der Kovarianzen
• C(y,x) = (C(x,y))′
• V(x) = C(x,x)
→ Alternativschreibweise : Mit E(x) = µ und E(y) = ν :
C(x,y) = E ((x− µ)(y − ν)′)
2.1 Grundbegriffe MS13 22
Affine Transformationen.
♣ Gegeben :
− x : p-Zufallsvektor
− A : (r × p)-Matrix
− b : r-Vektor
Bilde neuen r-Zufallsvektor u durch die Vorschrift
u = Ax + b
�’Affine Transformation ‘ von x
B Die i−te Komponente von u ist
ui =∑
aijxj + bi
4’Linearkombination ‘ im Sinn der univariaten Statistik
4 Doppelte Bedeutung von u = Ax + b :
− Transformation konkreter Datenvektoren
− Bildung eines neuen Zufallsvektors
2.1 Grundbegriffe MS13 23
? Beispiel :
− Lineare Vorhersagen u1, u2 von 2 Leistungstests mit den
Scores x1, x2, x3 aus einem dreiteiligen Intelligenztest :
u1 = a11x1 + a12x2 + a13x3 + b1
u2 = a21x1 + a22x2 + a23x3 + b2
→ Kurz:
u = Ax + b
4 Spezialfall : u eindimensional
Ublicherweise werden hier die Koeffizienten in einem
p−Spaltenvektor a zusammengefasst :
u =∑
aixi + b = a′x + b
− Linearer Anteil : a′
−’Verschiebungsvektor ‘ : b
2.1 Grundbegriffe MS13 24
Kennwerte bei affinen Transformationen.
• Ist u = Ax + b , so gilt :
E(u) = A E(x) + b
• Ist u = Ax + b und y weiterer Zufallsvektor, so gilt :
C(u,y) = C(Ax + b,y) = A C(x,y)
• Ist v = Cy + d, so gilt :
C(x,v) = C(x,Cy + d) = C(x,y) C′
• Kombiniert :
C(u,v) = C(Ax + b,Cy + d) = A C(x,y) C′
• Spezialfall : Ist u = Ax + b, so gilt :
V(u) = A V(x) A′
2.1 Grundbegriffe MS13 25
Kennwerte bei affinen Transformationen.
• Ist u = Ax + b , E(x) = µ , V(x) = Σ , so gilt :
E(u) = Aµ + b
V(u) = AΣA′
• Spezialfall (u eindimensional ) : Ist u = a′x + b , so gilt :
E(u) = a′µ + b
V(u) = a′Σa
• Kovarianzmatrizen sind symmetrisch und positiv semidefinit
• Spezialfall : Ist u = ax + b , so gilt :
E(u) = aµ + b
V(u) = a2 Σ
2.1 Grundbegriffe MS13 26
Summen von Zufallsvektoren.
♣ Situation :
− x , y : p−Zufallsvektoren ( auf demselben W-Raum ! )
• E(x + y) = E(x) + E(y)
B Analog : Differenzen, Linearkombinationen ax + by
• Ist u ein weiterer q-Zufallsvektor, so gilt
C(x + y,u) = C(x,u) + C(y,u)
• Analog :
C(x,u + v) = C(x,u) + C(x,v)
• Kombiniert :
C(x + y,u + v) = C(x,u) + C(x,v) + C(y,u) + C(y,v)
• Spezialfall :
V(x + y) = V(x) + V(y) + C(x,y) + C(y,x)
• Noch spezieller : x und y unkorreliert ( komponentenweise )
V(x + y) = V(x) + V(y)
2.1 Grundbegriffe MS13 27
Nochmal : Summen von Zufallsvektoren.
x , y : p-dimensionale Zufallsvariable
Fasse zusammen :
z =
(x
y
)
Erwartungswert :
E(z) =
(E(x)
E(y)
)
Kovarianzmatrix :
V(z) =
(V(x) C(x,y)
C(y,x) V(y)
)
Summe als affine Abbildung :(I I)(x
y
)= Ix + Iy = x + y
→ Folgerung :
V(x + y) =(I I)( V(x) C(x,y)
C(y,x) V(y)
)(I
I
)
= V(x) + C(x,y) + C(y,x) + V(y)
2.1 Grundbegriffe MS13 28
Variablenraum und Personenraum.
? Beispiel einer Datenmatrix : 1 −2
2 1
−3 1
→ Zwei Darstellungsweisen : Variablenraum und Personenraum
Variablenraum Personenraum
Punkte/Vektoren Personen Variablen
Achsen Variablen Personen
1
1
s
ss
p1
p2p3..........................................................................................................................................................................................
...................X2
.......................................................................................................................................................................................................................................... ...................
X1
............................................................................................................................................................... ...................
........................................
........................................
.....................................
........................................
........................................
........................................................
...................
............................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
....................
...................
...........................................................................................................................................................
..................
.........
................
........
..............
.......
..............
.......
.......
.......
.......
.......
.......
.......
................
.........
...........................................................
pppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppp pppppppppppppppp.........
....
..................
.......................
pppppppppppppppppppppppppppppppppppppppppppp
P1
P2
P3
1
11
x1
x2
? Beispiel : Einfache lineare Regression mit n Personen :
− Im Variablenraum (Dimension 2) : Punktwolke mit n Punkten
− Im Personenraum (Dimension n) : Zwei n-Vektoren
2.2 Geometrische Veranschaulichungen MS13 29
Punktwolken im Variablenraum.
♣ Gegeben : (n× p)-Datenmatrix X
→ Zeilen ↔ Personen Spalten ↔ Variablen
B xij : Wert der i-ten Versuchsperson in der j-ten Variable
� Variablen : x1, . . . , xp, zusammengefasst zu Variablenvektor x
� xi : transponierte i-te Zeile : Ergebnis der i-ten Vp
B Achtung : Unterschiedliche Bedeutungen von xi – Kontext !
→ Mittelwertvektor ( Zentroid )
x =1
n
n∑i=1
xi
→ Schwerpunkt der p-dimensionalen Punktwolke im
Variablenraum
2.2 Geometrische Veranschaulichungen MS13 30
? Beispiel : Datenmatrix X :
2 1
4 3
1 1
5 2
3 3
? x4 = ( 5, 2 )′ ( 4. Vp )
x = ( 3, 2 )′
Darstellung im Variablenraum :
1
1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................
x1
x2
r
r
rr
rs
x4
x
? Kovarianzmatrix :
S =
(2 .8
.8 .8
)
2.2 Geometrische Veranschaulichungen MS13 31
Interpretation der Spur der Kovarianzmatrix.
♣ Voraussetzungen fur die geometrische Darstellung :
− Achsen sind orthogonal
− Einheiten sind gleich lang
• Die Spur der Kovarianzmatrix ist gleichzeitig der
durchschnittliche quadrierte Abstand vom Zentroid.
? Im Beispiel :
S =
(2 .8
.8 .8
)
Spur(S) = 2.8 : durchschnittlicher quadrierter Abstand von x
1
1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................
x1
x2
r
r
rr
rs
.............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
............................
............................
............................
............................
............................
............................................................................................................................................................................................................................................................................................................................................................................
x
4 Spur von S ist naturliche Verallgemeinerung der Varianz
2.2 Geometrische Veranschaulichungen MS13 32
4 Sonderfall :
• Die Spur einer Kovarianzmatrix ist genau dann 0, wenn die
Daten konstant sind
• Der durchschnittliche quadrierte Abstand eines Punktes v von
den xi ist
1
n
∑‖xi − v‖2 = Spur(S) + ‖ x− v‖2
1
1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................
x1
x2
r
r
rr
rrs
....................................................
....................................................
..............................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
......................................................................................................................................................................................................................................................................................................................................................................................................................
............................................................................
......................................................................
............................
............................
...........................................................................................................
.........................................................................................................................
..............................................................................................................................
x
v
B Folgerung : x hat zu den xi kleinsten durchschnittlichen
quadrierten Abstand
4 Theoretischer Fall : ganz analog
2.2 Geometrische Veranschaulichungen MS13 33
Variablentransformationen.
♠ Ein zentrales Prinzip der multivariaten Statistik :
→ Variablen durfen beliebig durch Linearkombinationen ersetzt
werden, solange dies ohne’Informationsverlust ‘ moglich ist
♦ Der Ubergang von Originalvariablen zu neuen Variablen heißt
Variablentransformation
4 Manche Transformationen sind inhaltlich gut interpretierbar,
andere dienen statistisch motivierten Zwecken
? Beispiel : x1 und x2 sind Untertests eines Intelligenztests
Verbale und rechnerische Intelligenz
Neue Variable : y1 = x1 + x2 und y2 = x2 − x1
Interpretation : Gesamtintelligenz und Spezialisierung
→ Rekonstruierbarkeit der x-Variablen aus den y-Variablen:
x1 = 1/2 (y1 − y2)x2 = 1/2 (y1 + y2)
→ Die y-Variablen
− enthalten die gleiche Information wie die x-Variablen
− nur unter anderen Gesichtspunkten
? Haben die x-Variablen eigentlich einen hoheren Status? Warum?
2.2 Geometrische Veranschaulichungen MS13 34
Lineare Variablentransformationen.
♦ Neue Variablen : Linearkombinationen der Originalvariablen
ohne additive Konstanten
� Originalvariablen : x Neue Variablen : y
→ Zusammenfassung der Koeffizienten zu Spalten einer Matrix G
♦ G heißt Koeffizientenmatrix
? Im Beispiel :
− y1 = x1 + x2 y2 = x2 − x1
→
G =
(1 −1
1 1
)
Zusammenfassung der Variablen zu Vektoren x und y
→y = G′x
B G wird transponiert !
? Im Beispiel :
→
y =
(y1y2
)=
(1 1
−1 1
)(x1x2
)= G′x
2.2 Geometrische Veranschaulichungen MS13 35
→ Transformationsgleichung :
y = G′x
B Zwei Interpretationen
− Definition der neuen Variablen
− Umrechnung von Datenvektoren
→ Prazisierung der Formulierung’ohne Informationsverlust ‘
→ G soll invertierbar sein
Dann ist x rekonstruierbar :
x = G′−1 y
? Im Beispiel :
G−1 =1
2
(1 1
−1 1
)
Rucktransformation :
x = G′−1 y =1
2
(1 −1
1 1
)(y1y2
)=
1
2
(y1 − y2y1 + y2
)
2.2 Geometrische Veranschaulichungen MS13 36
Interpretation als Koordinatentransformation.
Neues Koordinatensystem gegeben durch die Spalten von G′−1
Neue Koordinaten von x sind y = (G′−1)−1x = G′x
B Dies ist die Transformationsgleichung !
? Im Beispiel:
G′−1 =
(1/2 −1/2
1/2 1/2
)
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................x2
........................................................................................................................................................................................................................................................................................................................................................................................................................... ...................
x1
s
........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
..................
....................................................
...............................................................................................................................................................................................................................................................................................................................................................................................................................................................
...................y1y2
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
................
....................................................................................................
..........................................................................
....
...
Zu x = ( 4, 3 )′ gehort y = ( 7, −1 )′
• Lineare Variablentransformation mit Koeffizientenmatrix G
←→ Koordinatenwechsel zum G′−1 -Koordinatensystem
2.2 Geometrische Veranschaulichungen MS13 37
Affine Variablentransformationen.
♦ Neue Variablen : Linearkombinationen der Originalvariablen,
additive Konstanten sind moglich
? Modifikation des ersten Beispiels
x1, x2 : Verbale und rechnerische Intelligenz
Mittelwerte : 5 und 3 Streuungen : 2 und .5
→ Neue Variablen : Gesamtintelligenz und Spezialisierung
Sinnvoll : Erst z-Transformation
z1 = (x1 − 5)/2 z2 = (x2 − 3)/(.5)
→ Einsetzen :
y1 = z1 + z2 = (x1 − 5)/2 + (x2 − 3)/(.5) = (1/2)x1 + 2x2 − 8.5
y2 = z2 − z1 = (x2 − 3)/(.5)− (x1 − 5)/2 = −(1/2)x1 + 2x2 − 3.5
→ Kurz :
y = G′x + h
− mit Koeffizientenmatrix
G =
(.5 −.52 2
)
− und Konstantenvektor
h =
(−8.5
−3.5
)
2.2 Geometrische Veranschaulichungen MS13 38
→ Affine Variablentransformation allgemein :
y = G′x + h
→ Forderung (’Kein Informationsverlust ‘ ) :
− G soll invertierbar sein
→ Umkehrtransformation :
x = G′−1(y − h) = G′−1y −G′−1h
Interpretation als affine Koordinatentransformation.
Neues Koordinatensystem gegeben
− durch die Spalten von G′−1
− und Nullpunkt −G′−1h
Neue Koordinaten von x sind
y = (G′−1)−1x− (G′−1)−1(−G′−1h) = G′x + h
B Dies ist die Transformationsgleichung !
2.2 Geometrische Veranschaulichungen MS13 39
? Im Beispiel :
G =
(.5 −.52 2
)h =
(−8.5
−3.5
)
→ Daher :
G′−1 =
(1 −1
.25 .25
)−G′−1h =
(5
3
)
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
..........................
...................
x2
....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... ...................
x1
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
..................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
.................................................................
............................................
............................................
............................................
............................................
............................................
............................................
............................................
............................................
............................................
............................................
y1y2
s....................................................................................................
..............................................................................
............
............
............
....
......................
........
Zu x = (6, 1)′ gehort y = (−3.5, −4.5)′
( Optische Tauschung ! )
• Affine Variablentransformation mit Koeffizientenmatrix G
und Konstantenvektor h
←→affiner Koordinatenwechsel zu dem G′−1 -Koordinatensystem
mit Nullpunkt in −G′−1h
2.2 Geometrische Veranschaulichungen MS13 40
4 Alternativ :
Eigenes Koordinatensystem fur transformierte Daten
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
..........................
................... x2
..................................................................................................................................................................................................................................................................................................................................................................... ...................
x1
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
............................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
....................................................
...........................................................
...................
......................
......................
......................
......................
......................
........... ........... ........... ........... ........... ........... ........... ........... ........... ...........
y1y2
rrrr r r r r r r
rrr r r
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
..........................
...................y2
........................................................................................................................................................................................................................................................... ...................
y1rr
rr rr
rr r
r r rrr r
4 Anwendung fur Abbildungen der Form y = Ax oder
y = Ax + b mit invertierbarem A :
Setze G = A′ und gegebenenfalls h = b
→ Interpretiere Abbildung als Variablentransformation
oder als Koordinatentransformation
? Einfachster Fall : y = ax+ b mit a 6= 0
Interpretation als Koordinatenwechsel
− Neue Einheit : 1/a Neuer Nullpunkt : −b/a
? Beispiel : y = −2x+ 3
−3 −2 −1 0 1 2 3
9 8 7 6 5 4 3 2 1 0 -1 -2 -3
x
yr
Zu x = 2.5 gehort y = −2
2.2 Geometrische Veranschaulichungen MS13 41
Umschreiben von Linearkombinationen.
→ Ziel : Drucke eine Linearkombination u der xi aus
als Linearkombination der yi
? Beispiel : Intelligenzvariablen x , Transformation y = G′x + h
G =
(.5 −.52 2
)h =
(−8.5
−3.5
)
? Gegeben : u = x1 + 2 x2 − 7 ( Vorhersage des Studienerfolgs )
→ Schreibe u als Linearkombination von y1 und y2
→ Allgemeine Situation :
− y = G′x + h −→ x = G′−1(y − h)
− u = a′x + b
Einsetzen und Umformen :
u = a′(G′−1(y − h)) + b
= a′G′−1y − a′G′−1h + b
= (G−1a)′y + (b− a′G′−1h)
→ Neuer Koeffizientenvektor : G−1a
− Neue Konstante : b − a′G′−1h
2.2 Geometrische Veranschaulichungen MS13 42
? Beispiel : Intelligenzvariablen x
− Variablentransformation y = G′x + h mit
G =
(.5 −.52 2
)h =
(−8.5
−3.5
)
− Gegeben : u = x1 + 2x2 − 7
→ Schreibe u als Linearkombination von y1 und y2
a = ( 1, 2 )′ b = −7
G−1a = ( 1.5, −.5 )′ b− a′G′−1h = 4
→ u = 1.5 y1 − .5 y2 + 4
→ Analog : Umschreiben von affinen Abbildungen
− Gegeben : u = Ax + b
→ Aufgabe : Drucke u aus mit Hilfe von y
• Losung : u = (AG′−1)y + (b−AG′−1h)
4 Ergebnis ist wieder affine Transformation
− Neuer linearer Anteil : AG′−1
− Neuer Verschiebungsvektor : b−AG′−1h
2.2 Geometrische Veranschaulichungen MS13 43
Kovarianztreue Darstellungen.
→ Ziel : Reprasentiere Variablen durch Vektoren, so dass die
Kovarianz dem Skalarprodukt entspricht
4 Vorteile
− Verknupfung von statistischen mit geometrischen Konzepten
− Veranschaulichung statistischer Sachverhalte
4 Hier : theoretischer Fall – empirischer Fall ganz analog
� Notationen :
− Variablen : X, Y , . . .
− Entsprechende Vektoren : x, y, . . .
− Streuung von X : σ(X)
−Winkel zwischen x und y : ∠(x,y)
♦ Eine Darstellung einer Menge von Variablen durch Vektoren
heißt kovarianztreu, wenn die Kovarianz von zwei Variablen
gleich dem Skalarprodukt der entsprechenden Vektoren ist
2.2 Geometrische Veranschaulichungen MS13 44
Eigenschaften kovarianztreuer Darstellungen.
− Definition :
Kov(X, Y ) = <x, y>
− X = Y :
σ(X) = ‖x‖
− Korrelation :
ρ(X, Y ) =Kov(X, Y )
σ(X)σ(Y )=
<x, y>
‖x‖‖y‖= cos(∠(x,y))
→ Also :
− Streuungen ↔ Langen
− Korrelationen ↔ Winkel (via Kosinus)
B Nullkorrelation ↔ Orthogonalitat
2.2 Geometrische Veranschaulichungen MS13 45
? Beispiel einer kovarianztreuen Darstellung :
− Gegeben : Variablen X und Y
− Streuungen : σ(X) = 2 σ(Y ) = .5
− Korrelation : .5
Winkel : 60◦
→ Kovarianztreue Darstellung :
................................................................................................................................................................................................................................................................................................................ ...................x
..............................................................................................................y................................. .............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.........................................................
.........................................................
......................................................................................
......................................................................................
......................................................................................
Existenz kovarianztreuer Darstellungen.
• Sind X1, . . . , Xm endlich viele Variablen, so existieren
kovarianztreue Darstellungen dieser Variablen.
• Ist der Rang der Kovarianzmatrix K der Variablen gleich k,
so existieren sogar kovarianztreue Darstellungen im Rk.
on Begrundung: Schreibe mit geeignetem B(m× k):
K = BB′
→ Zeilen von B sind Reprasentanten der Xi �
• Sind x1, . . .xm kovarianztreue Darstellung von X1, . . . , Xm,
so ist der Rang der xi gleich dem Rang der Kovarianzmatrix
2.2 Geometrische Veranschaulichungen MS13 46
? Herstellung von Darstellungen fur wenige Variablen :
Rechne Korrelationen in Winkel um (via arccos)
Setze Vektoren geeigneter Langen in diesen Winkeln zusammen
? Anwendung : Abschatzung moglicher Korrelationen
− Gegeben : ρXY = .5 und ρY Z = .788
? Frage : ρXZ = ?
Umrechnung in Winkel :
∠(x,y) = 60◦ ∠(y, z) = 38◦
∠(x, z) liegt zwischen 60◦− 38◦ = 22◦ und 60◦+ 38◦ = 98◦
Ruckrechnung in Korrelationen :
→ ρXZ liegt zwischen .927 und −.139
2.2 Geometrische Veranschaulichungen MS13 47
Erweiterung kovarianztreuer Darstellungen.
• Eine kovarianztreue Darstellung von X1, . . . , Xm durch
x1, . . . ,xm kann zu einer kovarianztreuen Darstellung aller
Linearkombinationen Y der Xi erweitert werden, so dass gilt:
(i) <y1, y2> = Kov(Y1, Y2)
(ii) ‖y‖ = σ(Y )
(iii) cos(∠(y1,y2)) = ρ(Y1, Y2)
(iv) y1 = y2 genau dann, wenn Y1 − Y2 = konstant (f.s.)
(v)∑aiYi + b wird reprasentiert durch
∑aiyi
• Die Vektoren, die Linearkombinationen der Xi reprasentieren,
sind dabei genau die Elemente des Erzeugnisses V der xi
4 Variablen, die sich nur um eine additive Konstante
unterscheiden, werden durch denselben Vektor reprasentiert
B Additive Konstanten fallen weg
4 Linearkombinationen werden respektiert
B Verschiedene Bedeutung von’Linearkombination ‘ :
− Statistik :∑aiXi + a0
− Lineare Algebra :∑aixi
→ Unterschied : Additive Konstanten, die aber oft irrelevant sind
4 Alle Vektoren in V reprasentieren Variablen
B Jedoch : Nicht nur eine ( additive Konstanten ! )
2.2 Geometrische Veranschaulichungen MS13 48
Lote.
................................................................................................................................................................................................................................................................................................................ ...................x
................................................................................................................................................................................................................................................................................
y
.................................................................................................................................................................. ...................
bx..................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
.........................................................................................................................................................................................
α............................................................
......
♣ X, Y ↔ x, y
• Lot von y auf x → bx mit
b = ρ(X, Y )σ(Y )
σ(X)
• Abstand zum Nullpunkt :
| ρ(X, Y ) | σ(Y )
• | ρ(X, Y ) | = Abstand zu Null / Lange von y
4 Korrelation ↔ Lange der’Projektion ‘ ( bis auf σ(Y ) )
4 Vorzeichen der Korrelation ↔ Seite des Fußpunktes
4 Besonders angenehm : σ(Y ) = 1
4 b : Regressionsgewicht (Y auf X )
B b kann direkt auf der’x -Skala‘ abgelesen werden
B ‖bx‖ / ‖y‖ = | ρ | ‖bx‖ / ‖x‖ = | Regressionsgewicht |
2.2 Geometrische Veranschaulichungen MS13 49
Ein Beispiel.
? Nochmal : Das Intelligenzbeispiel
− x1, x2 : Verbale und rechnerische Intelligenz
− σ(x1) = 2 σ(x2) = .5
− Zusatzlich : ρ(x1, x2) = .5
arccos(.5) = 60◦
Kovarianztreue Darstellung :
................................................................................................................................................................................................................................................................................................................ ...................x1
..............................................................................................................x2 .............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.............................
.........................................................
.........................................................
......................................................................................
......................................................................................
......................................................................................
− u = x1 + 2x2 − 7 : Vorhersage des Studienerfolgs
Darstellung :
................................................................................................................................................................................................................................................................................................................ ...................x1
..............................................................................................................x2
..............................................................................................................
..............................................................................................................
..............................................................................................................
.................................................................. ...................u
......................................................................................
..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
.............................................................................................................................................................................................................................................................................................
4 Koeffizienten von u ↔ Koordinaten von u im x1-x2-System
B Koeffizientenvektor von u = Koordinatenvektor von u
2.2 Geometrische Veranschaulichungen MS13 50
Darstellung von x1 , x2 , u
................................................................................................................................................................................................................................................................................................................ ...................x1
..............................................................................................................x2
..............................................................................................................
..............................................................................................................
..............................................................................................................
.................................................................. ...................
u
B Moglichkeit der graphischen Ermittlung von
− σ(u) = 2.65
− ρ(u, x1) = .95 ρ(u, x2) = .76 ( Winkel : 19.1◦ und 40.9◦ )
Lote auf x1 und x2 :
................................................................................................................................................................................................................................................................................................................ ...................x1
..............................................................................................................x2
..............................................................................................................
..............................................................................................................
..............................................................................................................
.................................................................. ...................u
.........................
......
......
......
......
......
......
......
......
..
..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
........................................................................................................................................................................................................................................................................................................................................................................................................
4 Mogliche Aussagen uber Korrelationen :
− Vergleich von ρ(u, x1) und ρ(u, x2) : ρ(u, x1) ist großer
− Vorzeichen der Korrelationen : beide positiv
− Ermittlung der Korrelationen uber Quotienten von Langen
4 Korrelationen sind proportional zu Langen der’Projektionen ‘
2.2 Geometrische Veranschaulichungen MS13 51
? Variablentransformation
− Neue Variablen y1, y2 : Gesamtintelligenz und Spezialisierung
− Koeffizientenmatrix :
G =
(.5 −.52 2
)
Darstellung :
................................................................................................................................................................................................................................................................................................................ ...................x1
..............................................................................................................x2
........................................................................
........................................................................
........................................................................
.....................................................................y1
..........................................
..........................................
..........................................
.......................................................y2
.........................................................
.........................................................
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
.............................................................................................................................................................................................................................................................................................
4 Graphische Bestimmung beispielsweise :
− ρ(y1, y2) = 0
4 y1 und y2 bilden alternative Basis
B Zum Basiswechsel gehorende Matrix : G
2.2 Geometrische Veranschaulichungen MS13 52
? Umschreiben von u = x1 + 2x2 − 7 auf y-Variablen
Neuer Koeffizientenvektor
= Koordinatenvektor im neuen System
................................................................................................................................................................................................................................................................................................................ ..............................................................................................................
...................
..............................................................................................................
..............................................................................................................
..............................................................................................................
.................................................................. ...................u
........................................................................
........................................................................
........................................................................
.....................................................................y1
..........................................
..........................................
..........................................
.......................................................y2
.........................................................................................
....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
...........................................................................................................................................................................................................................................................................................................................................................................................................................................
→ Koordinatenvektor ( 1.5, −.5 )′ = Neuer Koeffizientenvektor
4 Ermittlung der neuen Koeffizienten von u bezuglich y1 , y2↔ Koordinatentransformation
4Wegen Orthogonalitat von y1 und y2 :
− Koordinatenlinien sind gleichzeitig Lote
− Neue Koeffizienten sind proportional zu den Korrelationen
Allgemeiner Fall:
− Variablentransformation mit Koeffizientenmatrix G
↔ Basiswechsel mit zugehoriger Matrix G
− Umrechnen von Koeffizientenvektoren
↔ Koordinatentransformation
2.2 Geometrische Veranschaulichungen MS13 53
Geometrische Veranschaulichung von
Linearkombinationen.
4 Linearkombinationen spielen zentrale Rolle in der multivariaten
Statistik
B Reduktion multivariater Probleme auf univariate
♦ Linearkombinationen von Variablen X1, . . . , Xp sind neue
Variablen der Form
Y =∑
aiXi + b
B Unterschiedlicher Sprachgebrauch: Lineare Algebra ↔ Statistik
� a = (a1, . . . , ap)′ heißt Koeffizientenvektor
? Beispiel : Bildung des Gesamtscores eines Tests als gewichtete
Summe von einzelnen Untertests
B Ist x Vektor aus Messwerten, so ergibt sich y als
y = a′x + b = <a, x> + b
♦ Eine Linearkombination mit ‖a‖ = 1 heißt
standardisierte Linearkombination ( SLK )
→ Zunachst : Untersuchung von SLKn mit b = 0
2.2 Geometrische Veranschaulichungen MS13 54
Darstellung von SLKn (b = 0) im Variablenraum.
♣ Daten sind Punkte xi im p-dimensionalen Variablenraum
− Achsen : orthogonal mit gleichen Einheiten
V : Der vom Koeffizientenvektor a erzeugte Unterraum
Koordinatensystem auf V : durch a definiert
1
1
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......................
...................
X2
................................................................................................................................................................................................................................................................................................................ ...................
X1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
...............
...............
...............
...............
...............
...............
...............
...............
...............
rr
.............................
........................................................................................................a
V
B Vorteil : Einheit hat auch im Variablenraum die Lange 1
4 In V und Rp wird mit gleichen Maß gemessen
B Nullpunkte fallen zusammen
→ y = <a, x> : Koordinate der Projektion von x auf V
? Beispiel : a = (.8, .6)′ ↔ Y = .8X1 + .6X2 ( SLK )
? x1 = −2, x2 = 1 → y = .8 · (−2) + .6 · 1 = −1
? Weiteres Beispiel : Koordinaten
2.2 Geometrische Veranschaulichungen MS13 55
→ Mehrere Punkte :
1
1
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......................
...................
X2
................................................................................................................................................................................................................................................................................................................ ...................
X1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
...............
...............
...............
...............
...............
...............
...............
...............
...............
rr
.............................
rr
...............
........................................................................................................a
V
B Differenz der y-Werte ↔ Abstand in Richtung a
Darstellung beliebiger Linearkombinationen.
B Zusatzlich : Affiner Koordinatenwechsel auf V
1
1
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......................
...................
X2
................................................................................................................................................................................................................................................................................................................ ...................
X1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
.............................. ............... ........
......................
...............
...............
...............
rr
.............................
V
01
? Beispiel : Y = 2X1 + 1.5X2 − 4
? x1 = −2, x2 = 1 → y = 2 · (−2) + 1.5 · 1 − 4 = −6.5
2.2 Geometrische Veranschaulichungen MS13 56
Orthogonale Projektionen und Quadratsummen.
♣ Gegeben : Varianzanalytische Situation :
− J Bedingungen
− nj Beobachtungen in Bedingung j
−∑nj = N
− AV : Y
− Mj : Gruppenmittelwerte
− M : Gesamtmittelwert
� Zusammenfassung aller Beobachtungen zu Vektor y (Lange N)
? Beispiel (J = 3) :
1 2 3
9 1 3
9 3 2
6 7
→ y = ( 9, 9, 6, 1, 3, 3, 2, 7 )′
4 Mogliche Ergebnisse der VA sind jetzt Vektoren im RN
� Zur Anschaulichkeit: Oft’gruppierte‘ Schreibweise
2.2 Geometrische Veranschaulichungen MS13 57
Wichtige Unterraume und Projektionen.
� V : Vektoren, die innerhalb der Gruppen konstant sind
� P : Projektion auf V
4 P ersetzt alle Beobachtungen durch die Gruppenmittelwerte
♦ Designmatrix X:
X =
1 0 0
1 0 0
1 0 0
0 1 0
0 1 0
0 0 1
0 0 1
0 0 1
B Direkte Wiedergabe des Versuchsdesigns
4 Spalten bilden Basis von V
2.2 Geometrische Veranschaulichungen MS13 58
→ Bestimmung der Projektion auf V mit Hilfe von X
Koordinaten mit (X′X)−1X′
Projektion ist X(X′X)−1X′
? Koordinaten : Gruppenmittelwerte. Im Beispiel :
(X′X)−1X′y =
1/3 0 0
0 1/2 0
0 0 1/3
1 1 1 0 0 0 0 0
0 0 0 1 1 0 0 0
0 0 0 0 0 1 1 1
9
9
6
1
3
3
2
7
=
1/3 0 0
0 1/2 0
0 0 1/3
24
4
12
=
8
2
4
? Projektion im Beispiel:
X(X′X)−1X′y =
1 0 0
1 0 0
1 0 0
0 1 0
0 1 0
0 0 1
0 0 1
0 0 1
8
2
4
=
8
8
8
2
2
4
4
4
2.2 Geometrische Veranschaulichungen MS13 59
→ Komplementare Projektion zu P
Die komplementare Projektion zu P ist I−P
� Bezeichnung : Pw
� Vw := V ⊥ = Bild(Pw )
Anwendung von Pw auf y liefert Abweichungen von den Mj
? Im Beispiel :
y:
1 2 3
9 1 3
9 3 2
6 7
Py:
1 2 3
8 2 4
8 2 4
8 4
Pwy:
1 2 3
1 -1 -1
1 1 -2
-2 3
4 ‖Pwy‖2 = SSw
2.2 Geometrische Veranschaulichungen MS13 60
→ Projektion auf den von 1 erzeugten Unterraum
♦ Pm : Projektion auf den von 1 erzeugten Unterraum Vm
Anwendung auf y : Ersetzung aller Werte durch M
→ Komplementare Projektion : I − Pm
B Dies ist die Zentriermatrix
� Bezeichnung : I − Pm = Pt
� Vt := Bild(Pt )
? Im Beispiel :
y:
1 2 3
9 1 3
9 3 2
6 7
Pmy:
1 2 3
5 5 5
5 5 5
5 5
Pty:
1 2 3
4 -4 -2
4 -2 -3
1 2
4 ‖Pty‖2 = SSt
2.2 Geometrische Veranschaulichungen MS13 61
→ SSb
4 Vm ⊆ V
→ Folgerung : (Vm, V⊥m ∩ V ) ist orthogonale Zerlegung von V
Projektion auf V ⊥m ∩ V ist P − Pm
� Bezeichnung : P − Pm = Pb
� Vb := Bild(Pb )
Anwendung von Pb auf y liefert Abweichung der Mj von M
? Im Beispiel :
y:
1 2 3
9 1 3
9 3 2
6 7
Py:
1 2 3
8 2 4
8 2 4
8 4
Pmy:
1 2 3
5 5 5
5 5 5
5 5
Pby:
1 2 3
3 -3 -1
3 -3 -1
3 -1
4 ‖Pby‖2 = SSb
2.2 Geometrische Veranschaulichungen MS13 62
→ Orthogonale Zerlegung von Vt
4 (Vb, Vw) ist orthogonale Zerlegung von Vt
Pt = Pb + Pw
Pty = Pby + Pwy
‖Pty‖2 = ‖Pby‖2 + ‖Pwy‖2
→ SSt = SSb + SSw
• Fazit : Die Quadratsummenzerlegung ergibt sich
aus der orthogonalen Zerlegung von Vt in Vb und Vw
→ Dimensionen :
− dim (Vb ) = J − 1
− dim (Vw ) = N − J
B Freiheitsgrade des F -Bruchs
4 Fur den Vektor µ der Erwartungswerte der Beobachtungen gilt
‖Pbµ‖2 =∑
njα2j
B ‖Pbµ‖2/σ2 ist der NZP des F -Bruchs
2.2 Geometrische Veranschaulichungen MS13 63
Regulare Kovarianzmatrizen
und Tschebyscheffsche Ungleichung.
♣ Situation : p Variablen x
− Zentroid : x Kovarianzmatrix : S
− Rang(S) = p
♦ h : Relative Haufigkeit
→ Tschebyscheffsche Ungleichung ( k > 0 gegeben ) :
h((x− x)′S−1(x− x) ≥ k2
)≤ p
k2
? Beispiel p = 1 :
(x− x)2/S2 ≥ k2 ⇔ |x− x| ≥ kS
→ h (|x− x| ≥ kS) ≤ 1
k2
2.3 Kovarianzmatrizen und Verteilungen MS13 64
Geometrische Deutung.
(x− x)′S−1(x− x) ≥ k2 ⇔ x 6∈ E(S, x, k)
4 E(S, x, k) ist E(S, x, 1) , vergroßert um Faktor k
♦ E(S, x, 1) : Verteilungsellipsoid
→ Tschebyscheffsche Ungleichung :
h((x− x)′S−1(x− x) ≥ k2
)≤ p
k2
• Die relative Haufigkeit von Daten außerhalb des k-fachen
Verteilungsellipsoids ist hochstens p/k2
→ Umgekehrt
• Die relative Haufigkeit von Daten innerhalb des k-fachen
Verteilungsellipsoid ist mindestens 1− p/k2
2.3 Kovarianzmatrizen und Verteilungen MS13 65
? Schon bekanntes Beispiel :
S =
(2 .8
.8 .8
)x =
(3
2
)
Eigenwerte von S : 2.4 , .4 ( Wurzeln : 1.55 , .63 )
Eigenvektoren : (2
1
) (−.51
)
Daten mit E(S, x, 1) und 2-fachem Ellipsoid :
1
1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................
x1
x2
r
r
rr
rrx
.............................................................................................................................................
......................................................................................................................................................................................................................................................................................................................................................
...........................
.........................................................................................................
............................
............................
............................
............................
............................
............................
............................
...........
......
......
...........................................
..........
.........................................................................................................................
.........
.......
..
Tschebyscheff :
− Datenanteil in der 2-fachen Verteilungsellipse :
≥ 1 − 2
22= 1 − 1
2=
1
2
B Tschebyscheff rechnet mit dem schlimmsten Fall
2.3 Kovarianzmatrizen und Verteilungen MS13 66
Streuungsverhalten der Daten.
4 Oft gibt E(S, x, 1) gut die Form der Punktwolke wieder
4 Volumen von E(S, x, 1) :√det(S) × Einheitskugelvolumen
→ det(S) gibt Hinweis auf die Streuung der Punktwolke
→ det(S) ist mogliche Verallgemeinerung der univariaten Varianz
− ebenso wie Spur(S)
B Spur ist Summe, Determinante ist Produkt der Eigenwerte
4 Noch bessere Charakterisierung der multivariaten Streuung
durch Eigenwerte (und Eigenvektoren) → Ellipsoid
? Beispiel : p = 1
→ Verteilungsellipsoid ist hier das Intervall ] x − S, x + S [
4 Alles analog fur Zufallsvariablen (M ↔ E, h ↔ P )
2.3 Kovarianzmatrizen und Verteilungen MS13 67
Kennwerte von eindimensionalen Linearkombinationen.
♣ Situation :
− x : p-dimensionale Variable
− x : Zentroid
− S : Kovarianzmatrix, positiv definit
→ Betrachte Linearkombination :
y = a′x + b
→ Mittelwert : y = a′x + b
→ Varianz : S2y = a′Sa
→ Geometrische Darstellung :
− Orthogonale Projektion auf den von a erzeugten Unterraum
− mit geeigneten Koordinaten
→ Bild des Verteilungsellipsoids E(S, x, 1) :
E(a′Sa, a′x + b, 1) = E(S2y , y, 1
)B E
(S2y , y, 1
)= ] y − Sy, y + Sy [
2.3 Kovarianzmatrizen und Verteilungen MS13 68
→ Sonderfall : Standardisierte Linearkombinationen
? Beispiel mit den bekannten Daten :
S =
(2 .8
.8 .8
)x =
(3
2
)
− SLK : y = .96x1 + .28x2
1
1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................
x1
x2
r
r
rr
rrx
.............................................................................................................................................
......................................................................................................................................................................................................................................................................................................................................................
...........................
...............
...............
...............
...............
...............
...............
...............
...............
..............................................
..............................................
..............................................
..............................................
..............................................
..............................................
..............................................
..............................................
..............................................
..............................................
..............................................
..............................................
..............................................
..............................................................
...................
y
r rr
rrr......
..........................
..........
........
..............................
................
........................................................................................................................................................... y
..........................................................................................................................................................................................................................
Streuung der SLK =
halber’Durchmesser ‘ von E(S, x, 1) in Richtung a
→ SLKn geben durch ihre Streuungen eine Vorstellung von der
Form des Ellipsoids
B Hinweis auf Große der Streuung der Punktwolke in Richtung
des Koeffizientenvektors
2.3 Kovarianzmatrizen und Verteilungen MS13 69
Multivariate z-Transformationen.
♣ Situation :
− x : p-dimensionale Variable
− x : Zentroid
− S : Kovarianzmatrix, positiv definit
♦ Eine multivariate z-Transformation ist eine Transformation
z = Ax + b
mit A(p× p) und
z = 0 und V (z) = I
→ Die Komponenten von z sollen
− standardisiert ( Mittelwert 0, Varianz 1 )
− und unkorreliert sein
4Wegen 0 = z = Ax + b folgt b = −Ax
→ Alternativdarstellung : z = A(x − x)
2.3 Kovarianzmatrizen und Verteilungen MS13 70
? Welches sind geeignete Matrizen A ?
→ Forderung : ASA′ = I
→ Mogliche Losung : A = S−1/2
� Mahalanobistransformation ( bezuglich S )
B Vergleiche : z = S−1/2(x− x) ←→ z = (x− x)/SX
→Weitere Moglichkeit mit Spektralsatz
S = LL′ ( L : orthogonale normalisierte Eigenvektoren )
A = L−1
→ASA′ = L−1LL′L′−1 = I
→ Geometrische Deutung von z = L−1(x − x) :
Affiner Koordinatenwechsel
− neuer Nullpunkt : x
− Achsen und Einheiten in(L−1
)−1= L
4 Neues Koordinatensystem also :
− Achsen in Richtung der Eigenvektoren
− Einheiten sind Wurzeln aus Eigenwerten
2.3 Kovarianzmatrizen und Verteilungen MS13 71
? Illustration der z-Transformation ( uber Spektralsatz )
− links : Neues Koordinatensystem und Ellipse
− rechts : z-transformierte Daten: Ellipse wird zu Kreis
1
1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................
x1
x2
r
r
rr
r
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
.........................................................
.................................................................................................................................................................................................................................................................................................................................................................
.........
..........
..........
.........
..........
.........
.........
.........
.........
.........
......... z1z2
11
. ...
...............
.................................. . . . . . . . . .
. . .. . .
1
1
................................................................................................................................................................................................................................................ ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......................
...................
z1
z2
rrrr
r........
.....
............................ . . . . . . . .
...........
4 Viele mogliche z-Transformationen im Multivariaten
4 Immerhin :
• Bei allen z-Transformationen z = A(x − x) gilt :
A′A = S−1
2.3 Kovarianzmatrizen und Verteilungen MS13 72
Mahalanobisdistanz.
? Motivierendes Beispiel : Stellenbewerbung
− Zwei Bewerber
→ Kriterium : Personlichkeitsvariablen
− Ordnung (O)
− Sauberkeit (S)
− Punktlichkeit (P)
− Grundstimmung (G)
→ Idealprofil : 4, 3, 3, 4
Wilhelm Wohlgemuth : 1, 2, 1, 5
Max Murrisch : 5, 4, 5, 1
O S P G
1.........................................................................................................................................................................................................................................
...................
........................................................................................................................................................................................................................................
............................
............................
...............................................................................................................
.......................................................................................................................................................................................................................................................
............................
............................
..........................................................................................................................................................................
IWW
MM
? Wen nehmen ?
→ Aufgabe : Profile vergleichen ! ( Bewerber mit Ideal )
2.3 Kovarianzmatrizen und Verteilungen MS13 73
→ Aufgabe : Profile vergleichen !
� Eine Moglichkeit :
Profile als Punkte im R4
Euklidischer Abstand als Ahnlichkeitsmaß
→Wahle Bewerber mit kleinstem Abstand zum Idealprofil
→ Also :
− Skalenweise Differenzen quadrieren
− Aufsummieren
− Vergleichen
→ Problem : Abhangigkeit von Skalierung der Variablen
− Losungsmoglichkeit : Vergleichbarkeit uber z-Transformationen
→Weiteres Problem : Korrelationen
2.3 Kovarianzmatrizen und Verteilungen MS13 74
? Einfaches Beispiel : Nur zwei Variablen x1 und x2
− Idealprofil : 3, 2
− Bewerber A : 2.5, 2.8
− Bewerber B : 1.9, 1.5
Geometrische Darstellungen :
x1 x2
1
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
........................
...................
...........................................................................................................................
............................................
.........
.............................................................................
I
A
B
1
1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................
x1
x2
rrr.....
..............
. .. . .
xA
xB
xI
→ A ist geeigneter
→ Zusatzinformation :
− Idealprofil ist Durchschnitt vieler Erfolgreicher
− Kovarianzmatrix ist bekannt
2.3 Kovarianzmatrizen und Verteilungen MS13 75
→ Darstellung mit Ellipse und multivariate z-Transformation
1
1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................
x1
x2
rrrxA
xB
xI
.............................................................................................................................................
......................................................................................................................................................................................................................................................................................................................................................
...........................
1
................................................................................................................................................................................................................................................ ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......................
...................
z1
z2
rr
rzA
zB zI ............................................................
.........................
..........................................................................................................................................................................................................................................................................................................................................................................
→ B passt eher in die Population der Erfolgreichen
→ Alternativvorschlag zum Profilvergleich
� Erst multivariate z-Transformation, dann Abstandsbildung
→ Diese Distanz ist die Mahalanobisdistanz
B Statistisch motiviertes Distanzmaß
B Misst gewissermaßen statistische Abweichung ( hier : von Norm )
♦ Mahalanobisdistanz von x1 und x2 bezuglich S :((x2 − x1)
′S−1(x2 − x1))1/2
2.3 Kovarianzmatrizen und Verteilungen MS13 76
→ Spezialfall :
−Wahl der Mahalanobistransformation als z-Transformation
→ Dann :
− Mahalanobisdistanz ist euklidische Distanz zwischen
Mahalanobis-transformierten Punkten
? Welche Punkte besitzen die Mahalanobisdistanz r zu x ?
Bedingung :
(x − x)′S−1(x − x) = r2
→ Ergebnis : Oberflache von E(S, x, r)
B Das Ellipsoid E(S, x, r) ist die Menge der Punkte,
deren Mahalanobisdistanz vom Zentroid < r ist
4 Enge Beziehung zwischen Verteilungsellipsoid und
Mahalanobisdistanz
2.3 Kovarianzmatrizen und Verteilungen MS13 77
Definition der Hauptkomponenten.
♣ Ausgangspunkt : In einer Stichprobe sind erhoben
− p Variablen x1, . . . , xp ( x )
− x : Zentroid
− S : Kovarianzmatrix
→ Spektralzerlegung S = GDG′
− D enthalt die absteigenden Eigenwerte λ1, . . . , λp von S
− G enthalt spaltenweise zugehorige Eigenvektoren
♦ Die Hauptkomponenten sind die Komponenten des Vektors
y := G′(x − x)
4 Die j-te Hauptkomponente ist SLK der Variablen xi
− Koeffizientenvektor : Eigenvektor zu λj
− Mittelwert : 0
4 Vorteil der Zentriertheit :
→ Uber/Unterdurchschnittlichkeit ist unmittelbar erkennbar
2.4 Hauptkomponenten MS13 78
Hauptkomponententransformation.
♦ Die Transformation
y := G′(x − x)
heißt Hauptkomponententransformation
B Koeffizientenmatrix : G
→ Die Transformation ist affin wegen
y = G′(x − x) = G′x − G′x
→ Umkehrung :
x = Gy + x
B x kann aus y vollstandig rekonstruiert werden
B Kein Informationsverlust
2.4 Hauptkomponenten MS13 79
? Beispiel : Datenmatrix 2 1
4 3
1 1
5 2
3 3
x =
(3
2
)S =
(2 .8
.8 .8
) Eigenwerte : 2.4 .4
Eigenvektoren :
√1
5
(2
1
) √1
5
(−1
2
)( Lange 1 )
G =1√5
(2 −1
1 2
)
→ Hauptkomponententransformation :
y = G′(x − x) =1√5
(2 1
−1 2
)((x1x2
)−
(3
2
))
=
(0.894 0.447
−0.447 0.894
) (x1x2
)−
(3.578
0.447
)
→ Ausgeschrieben :
y1 = 0.894x1 + 0.447x2 − 3.578
y2 = −0.447x1 + 0.894x2 − 0.447
B Beachte : Summe der quadrierten Koeffizienten ist 1
2.4 Hauptkomponenten MS13 80
Transformierte Werte :−1.342 −0.447
1.342 0.447
−2.236 0
1.789 −0.894
0.447 0.894
Geometrische Interpretation :
→ Hauptkomponententransformation
y = G′(x − x)
Koordinatenwechsel zu neuem affinen Koordinatensystem
− Neuer Nullpunkt : x
− Neue Achsen : parallel sind zu den Eigenvektoren von S
− Einheiten der Lange 1
1
1
.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.........................
...................
x1
x2
r
r
rr
r
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
............................
.........................................................
.................................................................................................................................................................................................................................................................................................................................................................
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
...............
y1y2
1
1
........
.............................
.......................................................................................
...........
.
1
1
................................................................................................................................................................................................................................................ ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......................
...................
y1
y2
rrr
r
r................
..........
...............
.........
......................................................................................
2.4 Hauptkomponenten MS13 81
Distanzen bei Hauptkomponententransformation.
• Hauptkomponententransformation : Distanzen bleiben erhalten
B Grund : Orthogonalitat von G
→ Fur x1 und x2 mit Bildern y1 und y2 gilt also
‖y2 − y1‖2 = ‖x2 − x1‖2
B Die’Metrik ‘ bleibt gleich, Abstande andern sich nicht
B Zentrale Eigenschaft
− fur unterschiedlichen Zugange zur Hauptkomponentenanalyse
− fur Interpretation
→Wunschenswert :
− Euklidischer Abstand ist inhaltlich sinnvoll interpretierbar
→ Gleicher Abstand von Punktepaaren ←→
inhaltlich gleiche Unterschiede der Probandenpaare (!!!)
B Nicht zusammenhangende Skalen der Einzelvariablen
→ Interpretation der Hauptkomponenten ist problematisch
2.4 Hauptkomponenten MS13 82
Kennwerte der Hauptkomponenten.
→ Zentroid :
y = G′x − G′x = 0
→ Kovarianzmatrix:
G′SG′′ = G′GDG′G′′ = D
• Hauptkomponenten : standardisierte Linearkombinationen
− zentriert
− unkorreliert
− Varianzen : Eigenwerte von S
4 Definition ist uneindeutig
→ besonders bei multiplen Eigenwerten
→ Mehrere Moglichkeiten der speziellen Wahl von G
B Kaum negative Konsequenzen fur praktische Zwecke
2.4 Hauptkomponenten MS13 83
Viele Fragen – eine Antwort :
Hauptkomponenten.
� Varianzmaximierung
→ Die Hauptkomponenten ziehen aus den Daten sukzessiv
maximale Varianzanteile heraus
→ Alternative Charakterisierung
→ Ziel : Erfasse mit Linearkombinationen moglichst viel
Unterschiedlichkeit der Daten
4 Sinnvoll : Beschrankung auf SLKn
− Messen mit dem multivariaten Maß
− Vorteil : Varianz ist’Varianz‘ der Punktwolke in Richtung des
Koeffizientenvektors
→ Varianz als Maß der erfassten Datenvariation
→ Direkter Vergleich unterschiedlicher SLKn ist moglich
4 Keine wesentliche Einschrankung
→ Jede Linearkombination ist eine umskalierte SLK
B Voraussetzung fur sinnvolle Interpretation :
→ Distanzen ←→ Maß der Verschiedenheit
2.4 Hauptkomponenten MS13 84
? Welche SLK besitzt maximale Varianz ?
Formal :
SLK sei ∑aixi + b = a′x + b
B ‖a‖ = 1
Varianz der SLK ist
a′Sa
Aufgabe also :
→ Maximiere mit a der Lange 1 den Ausdruck
a′Sa
→ Losungen:
− Eigenvektoren der Lange 1 zum großten Eigenwert
− Das Maximum ist der großte Eigenwert
• Die erste Hauptkomponente ist eine Losung des Problems
• Charakterisierung der ersten Hauptkomponente uber
Varianzmaximierung ohne Bezug zum Spektralsatz
4 Analog hat die letzte Hauptkomponente minimale Varianz
2.4 Hauptkomponenten MS13 85
Charakterisierung der weiteren Hauptkomponenten.
→ Aufgabe :
− Finde eine SLK maximaler Varianz,
− die zur ersten Hauptkomponente unkorreliert ist !
B Varianz soll nicht’mehrfach ‘ erfasst werden
→ Losung : Zweite Hauptkomponente
− Varianz : Zweiter Eigenwert
... und so weiter ...
→ Aufgabe : Finde sukzessiv q zentrierte SLKn yi
− mit jeweils maximaler Varianz
− unter der Nebenbedingung der Unkorreliertheit
→ Losung : Erste q Hauptkomponenten
4 Problemfall : S singular
→ Etwas kompliziertere Formulierungen
4 Bemerkenswert : Die Koeffizientenvektoren sind orthogonal
B Dies folgt nicht aus der Unkorreliertheit !
2.4 Hauptkomponenten MS13 86
→ Inhaltliche Bedeutung der Varianzmaximierung ?
→ Voraussetzung fur Interpretierbarkeit :
→ Ausdehnungen der Punktwolke in unterschiedlichen Richtungen
sollen inhaltlich sinnvoll vergleichbar sein
→ Unter der Voraussetzung
Euklidische Distanz ←→ Maß der Verschiedenheit
→ Maximale Ausdehnung ←→ Deutlichste Verschiedenheit
→ In der ersten Hauptkomponente zeigen sich die Unterschiede
zwischen den Versuchspersonen am deutlichsten
4 Vorteil der Zentriertheit :
Vorzeichen zeigt Uber- oder Unterdurchschnittlichkeit
→ Entsprechend fur die weiteren Hauptkomponenten
4 Zur Forderung der Unkorreliertheit
→ Vorangehende Hauptkomponenten leisten nichts zur
Vorhersage der folgenden ( im Sinne der linearen Regression )
2.4 Hauptkomponenten MS13 87
Partitionierung der Hauptkomponenten.
→ Partitionierung der Hauptkomponenten
− in die ersten q ( wichtigen )
− und die letzten p− q ( unwichtigen )
y =
(y1
y2
)
→ Analoge Zerlegung von G :
G = (G1|G2)
→ Hauptkomponententransformation dann :
(y1
y2
)=
(G1′
G2′
)(x − x)
y1 = G1′(x− x) y2 = G2
′(x− x)
2.4 Hauptkomponenten MS13 88
→ Hauptkomponententransformation partitioniert :
(y1
y2
)=
(G1′
G2′
)(x − x)
y1 = G1′(x− x) y2 = G2
′(x− x)
Rucktransformation x = Gy + x :
x = (G1|G2)
(y1
y2
)+ x
= G1y1 + G2y2 + x
= ( G1y1 + x ) + G2y2
B Zerlegung in wichtigen und unwichtigen Anteil
Analoge Zerlegung von D :
D =
(D1 0
0 D2
)
B D1, D2 : erste q und letzte p− q Eigenwerte
4 D1, D2 : Kovarianzmatrizen von y1 und y2
2.4 Hauptkomponenten MS13 89
� Optimale Vorhersage.
→ Finde q Variablen, die x optimal vorhersagen
− im Sinne der multivariaten multiplen ( linearen ) Regression
B Summe der quadrierten Abweichungen soll minimal werden
4 Bedeutung der Metrik !
→ Losung : Die ersten q Hauptkomponenten
BWeitere Losungen uber Variablentransformationen
→ Vorhersagegleichung :
x = G1y1 + x
Aufgeklarte Varianz : Summe der q großten Eigenwerte
Fehlervarianz : Summe der letzten p− q Eigenwerte
B Vergleiche mit Rekonstruktion der Originalvariablen :
x = ( G1y1 + x ) + G2y2
Der Vorhersagefehler e ist G2y2
2.4 Hauptkomponenten MS13 90
� Datenreduktion.
→ Ziel : Beschreibe Probanden mit weniger ( q ) Dimensionen
bei moglichst kleinem Fehler !
Prazisierung :
− Zugelassene Transformationen : Affine Abbildungen
− Zur Rekonstruktion zugelassen : Affine Abbildungen
− Fehler : Durchschnitt der quadrierten Abweichungen der
Originaldaten von den rekonstruierten Daten
B Abweichungsmaß verwendet Metrik des Variablenraums
→ Losung : Die ersten q Hauptkomponenten
BWeitere Losungen uber Variablentransformationen
→ Rekonstruierte Daten :
G1y1 + x
4’Rekonstruktion ‘ ist nur approximativ
→ Durchschnittliche quadrierte Abweichung :
Summe der letzten p− q Eigenwerte von S
B Naherungsweise Beurteilung der Ahnlichkeit von Probanden :
− Auch durch y1-Abstande ( statt x-Abstande )
2.4 Hauptkomponenten MS13 91
Wahl von q.
→ Originaldaten = rekonstruierte Originaldaten + Fehler
→’Aufgeklarte ‘ Varianz :
λ1 + . . . + λq
→ Fehlervarianz :
λq+1 + . . . + λp
B Kompromiss bei Datenreduktion :
→ Verringerung der Dimension ↔ Fehlervarianz
2.4 Hauptkomponenten MS13 92
Hauptkomponentenanalyse und Faktorenanalyse.
Rucktransformation der Hauptkomponenten mit G2y2 = e :
x = ( G1y1 + x ) + e
4 Ahnlichkeit zur Faktorenanalyse !
− Fehler sind mit y1 (’Faktoren ‘ ) unkorreliert
→ Unterschiede :
− Fehlende Standardisierung ( unwesentlich )
− Fehler sind untereinander nicht unkorreliert
B Entscheidender Unterschied :
− Hauptkomponenten sind aus Daten konstruiert
− Faktoren sind hypothetisch
B Entgegengesetzte Sichtweise :
− Faktorenanalyse : Faktoren erklaren Variable
− Hauptkomponentenanalyse : Hauptkomponenten sind
( gut brauchbare ) Linearkombinationen der Variablen
2.4 Hauptkomponenten MS13 93
Standardisierte Hauptkomponenten.
− Oft verwendet
− Standardisierung hat gelegentlich Vorteile
− Ahnliche Darstellungen wie bei Faktorenanalyse ( ??! )
→ Transformationen der Hauptkomponenten
− Unter vielen Aspekten den Hauptkomponenten gleichwertig
B Abstandsinformation geht verloren !
� zj : Standardisierte j-te Hauptkomponente
� z : Vektor der standardisierten Hauptkomponenten
→ Berechnung :
z = D−1/2y = D−1/2G′(x − x)
4 Multivariate z-Transformation
→ Nach Entscheidung fur q Hauptkomponenten
� z1 : die ersten q der zj
→ Berechnung :
z1 = D1−1/2y1
2.4 Hauptkomponenten MS13 94
→ Rekonstruktion der Originalvariablen.
4 Gemeint ist : Approximative Rekonstruktion
x = G1y1 + x = G1D11/2D1
−1/2y1 + x = G1D11/2z1 + x
� Abkurzung : L1 = G1D11/2
4 Spalten von L1 : Normalisierte Eigenvektoren von S
→ Rekonstruktion der Originalvariablen dann :
x = L1z1 + x
→ Eigenschaften von L1
− i-te Zeile : Regressionsgewichte fur Vorhersage von xi durch z1
− Summe der quadrierten Elemente zeilenweise :
Aufgeklarte Varianz ( absolut )
− Skalarprodukt von zwei Zeilen : Kovarianz von xi und xj
− Spalten sind orthogonal
− Summe der quadrierten Elemente spaltenweise :
Eigenwerte λj von S
BWegen Unkorreliertheit :
− Eigenwert λj gibt multivariat durch zj aufgeklarte Varianz
4 Ahnlichkeit zur Ladungsmatrix der Faktorenanalyse
2.4 Hauptkomponenten MS13 95
? Beispiel
Kovarianzmatrix von 4 Variablen x1, x2, x3, x4 :
S =
2.7 1.4 0.28 1.54
1.4 12.3 3.46 0.28
0.28 3.46 12.3 1.4
1.54 0.28 1.4 2.7
Eigenwerte : 16, 9, 4, 1
Eigenvektoren der Lange 1 sind Spalten von
G =
0.1 0.1 0.7 0.7
0.7 0.7 −0.1 −0.1
0.7 −0.7 −0.1 0.1
0.1 −0.1 0.7 −0.7
→ Entscheidung : 2 Hauptkomponenten reichen
− Varianzaufklarung : 25/30 = 5/6 = .833
Berechnung von L1 :
L1 = G1D11/2 =
0.1 0.1
0.7 0.7
0.7 −0.7
0.1 −0.1
(
4 0
0 3
)=
0.4 0.3
2.8 2.1
2.8 −2.1
0.4 −0.3
2.4 Hauptkomponenten MS13 96
L1 : 0.4 0.3
2.8 2.1
2.8 −2.1
0.4 −0.3
→ Eigenschaften von L1
− Spalten sind normalisierte Eigenvektoren
− Quadratsummen spaltenweise : 16 und 9 ( Eigenwerte )
− Quadratsummen zeilenweise : .25, 12.25, 12.25, .25
( Varianzaufklarung – vgl. : 2.7, 12.3, 12.3, 2.7 )
− Quadratsumme insgesamt : 25 ( Gesamtaufklarung, vgl.: 30 )
− Skalarprodukte zeilenweise : Kovarianzen der Vorhersagen
B Kovarianztreue Darstellungen : Analog zur Faktorenanalyse
B Rotationen : Analog zur Faktorenanalyse
2.4 Hauptkomponenten MS13 97
Beschreibung einer Rotation.
♦ Rotierte ( erste ) Hauptkomponenten : u
Von Bedeutung einerseits :
� Kovarianzen oder Korrelationen der u-Variablen
andererseits : Zusammenhang von x und u
→ Aspekte :
� Herstellung von u aus x
� Kovarianzen oder Korrelationen zwischen x und u
� Vorhersage von x durch u
4 Vergleiche :
− Faktorstruktur und Faktormuster in Faktorenanalyse
→ Ein Aspekt mehr !
2.4 Hauptkomponenten MS13 98
Abschließende Bemerkungen.
4 Hauptkomponenten haben viele angenehme Eigenschaften :
− Optimale Erfassung der Variabilitat
− Gute Beschreibung der Ausmaße der Punktwolke
− Optimale Approximation der Daten mit weniger Dimensionen
− Optimale Datenreduktion
− Optimale Vorhersage im Sinne der linearen Regression
B Nutzlich fur weitere Verarbeitung vieler Variablen :
→ Datenreduktion
? Beispiel :
− Vorhersage weiterer Variablen mit multipler Regression
→ Zusatzlicher scheinbarer Vorteil : Unkorreliertheit
B Probleme der Multikollinearitat sind nur verlagert
→Wesentlich :
− Abstande im Variablenraum sind inhaltlich interpretierbar
2.4 Hauptkomponenten MS13 99
→ Problem : Hauptkomponenten bei Umskalierung der Variablen
− Beispiel : Einzelskalen ohne inhaltlichen Zusammenhang
→ Zugehoriges Transformationsverhalten der Hauptkomponenten
ist ( praktisch ) unkalkulierbar
− Interpretationen vor und nach Reskalierung konnen vollig
unterschiedlich sein
→ Hauptkomponentenanalyse bei Variablen, deren Skalen ohne
Zusammenhang sind, ist wenig sinnvoll
→ Losungsvorschlag :
− Analyse von standardisierten Daten
− Also : Korrelationsmatrix statt Kovarianzmatrix
4 Losung durch Normierung – oder nur Scheinlosung ?
? Wieso sind standardisierte Skalen weniger willkurlich ?
→ Oft : Statistische Vergleichbarkeit ( naturliche Schwankung )
2.4 Hauptkomponenten MS13 100
Mittelwertvektor und empirische Kovarianzmatrix.
♣ Ausgangspunkt : Zu erhebende Datenmatrix X
− n Zeilen ↔ Versuchspersonen (oder Versuchsobjekte)
− p Spalten ↔ Variablen
4 i-te Zeile : Werte der i-ten Vp in den p Variablen
� xi : transponierte i-te Zeile, Ergebnisvektor der i-ten Vp
4 j-te Spalte : Werte der n Vpn in der j-ten Variable
− der zur j-ten Variable gehorende Datenvektor
♣ Generelle Annahme :
− Die xi sind unabhangig
− Alle xi haben die gleiche Verteilung
− Erwartungswert : µ Kovarianzmatrix : Σ
? Beispiele :
? Datenvektoren zu unabhangig aus einer Population zu
ziehenden Personen
? Datenvektoren, die zu unabhangigen Replikationen desselben
Versuchs gehoren
2.5 Verteilungen MS13 101
→ Mittelwertvektor x :
• E(x) = µ V(x) = (1/n)Σ
Mittelwert in Matrizenschreibweise :
x = (1/n) X′1
Kovarianzmatrix :
S = (1/n) X′ZX
→ E(S) = ((n− 1)/n) Σ
� Su := (n/(n− 1)) S Erwartungswert : Σ
B u :’unbiased ‘ oder
’unverzerrt ‘, d.h. erwartungstreu
� nS = (n− 1) Su = X′ZX : SSCP-Matrix
− Erwartungswert : (n − 1) Σ
B Sum of Squares and Cross Products
4 Vorstufe fur S und Su
2.5 Verteilungen MS13 102
Die multivariate Normalverteilung.
♦ Ein p-dimensionaler Zufallsvektor x heißt multinormalverteilt,
wenn jede Linearkombination der Komponenten von x
mit Varianz 6= 0 normalverteilt ist
� Alternativformulierung : Die xi sind gemeinsam normalverteilt
• Mit x ist auch jedes y = Ax + b multinormalverteilt
→ Existenz multinormalverteilter Variablen :
• Ist Σ(p× p) positiv semidefinit und µ ein p-Vektor, so gibt
es eine multinormalverteilte Variable x mit Erwartungswert
µ und Kovarianzmatrix Σ
→ Charakterisierung durch Erwartungswert und Kovarianzmatrix :
• Durch den Erwartungswert µ und die Kovarianzmatrix Σ ist
eine Multinormalverteilung eindeutig bestimmt
♦ Die Multinormalverteilung mit Erwartungswert µ und
Kovarianzmatrix Σ heißt
N(µ,Σ) oder Np(µ,Σ)
� Besitzt x diese Verteilung, so schreibt man
x ∼ Np(µ,Σ)
2.5 Verteilungen MS13 103
♣ Voraussetzung: x ∼ Np(µ,Σ)
� Σ singular :
→ x nimmt mit Wahrscheinlichkeit 1 Werte in dem affinen
Unterraum parallel zu Bild(Σ) durch µ an
� Σ regular :
→ Die Verteilung von x besitzt Dichtefunktion :
1√det(2πΣ)
e−1
2(x− µ)′Σ−1(x− µ)
Dichtefunktion ist konstant auf der Oberflache von E(Σ, µ, r)
B Diese Punkte haben Mahalanobisdistanz r zu µ
? Beispiel : Einige Hohenlinien der N2(µ,Σ)-Verteilung mit
µ =
(2
1
)und Σ =
(2 .8
.8 .8
)
1
1
....................................................................................................................................................................................................................................................................................................................................................................................... ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......................
...................
x1
x2
p................................................
...................................................................................................................................................................................................................
...............................................................................................................................................................................................................................................
...................................................................................................................................
.................................................................................................................................................................................................................................................................................................
................................
.................................................................................................................................
.........................................................................................................................................................................................................................................................................................................................................................
.........................................
...............................................................................................................................................................
......................................................................................................................................................................................................................................................................................................................................................................................................
.................................
................................................................................................................................................................................................
.............................................................................................................................................................................................................................................................................................................................................................................................................................................
..........................................
.............................................
..............................................................................................................................................................................................................
....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
............................................
.................................
.......................................................................................................................................................................................................................................................................
............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
..............................................
...................................
........................
....................................................................................................................................................................................................................................................................................................
.............................
............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
..........................................
..................................
............................
2.5 Verteilungen MS13 104
Gemeinsame Verteilungen.
♦ Zwei Zufallsvektoren x und y heißen gemeinsam
(multi)normalverteilt, falls der Zufallsvektor (x,y)
multinormalverteilt ist
B Aneinanderfugen:
(x1, . . . , xp)′ , (y1, . . . , yq)
′ → (x1, . . . , xp, y1, . . . , yq)′
B x und y mussen auf dem gleichen Wahrscheinlichkeitsraum
definiert sein
? Beispiel : Zwei mehrdimensionale Merkmale auf der gleichen
Population (die dann aber unendlich groß sein musste)
♦ Die Verteilung von (x,y) heißt gemeinsame Verteilung von
x und y
→ Analog fur mehr als zwei Zufallsvektoren
♣ Haufige Situation : Aus x ∼ Np(µ,Σ) werden mehrere neue
Variable yi = Aix + bi hergestellt
− Dann sind die yi gemeinsam multinormalverteilt
− C(yi,yj) = AiΣA′j
− Ist C(yi,yj) = 0 , so sind yi und yj unabhangig
2.5 Verteilungen MS13 105
Univariate Anwendungen.
♣ Situation :
− x1, . . . , xn sind unabhangige Versionen von x ∼ N(µ, σ2)
− Mittelwert : x Korrigierte Stichprobenvarianz : s2
Fur x = (x1, . . . , xn)′ gilt
x ∼ Nn(µ1, σ2I)
• x und s2 sind unabhangig und es gilt
x ∼ N(µ, σ2/n) und (n− 1)s2 ∼ σ2χ2n−1
B Begrundung uber Projektionen auf orthogonale Unterraume
→ Projektionen auf Unterraume :
♣ Situation ( Beispiel : Varianzanalyse ) :
− x ∼ Nn(µ, σ2I) (µ ist jetzt beliebig)
− P ist orthogonale Projektion auf U mit dim(U) = m
• ‖Px‖2 ∼ σ2χ2m, δ2 mit δ2 = ‖Pµ‖2/σ2
2.5 Verteilungen MS13 106
• ‖Px‖2 ∼ σ2χ2m, δ2 mit δ2 = ‖Pµ‖2/σ2
B Nonzentralitatsparameter : Ersetze x durch µ
− Zusatzlich : Division durch σ2
B Spezialfall : P = I
‖x‖2 ∼ σ2χ2n, δ2 mit δ2 = ‖µ‖2/σ2
→ Orthogonalitat und Unabhangigkeit :
• Ist x ∼ Nn(µ, σ2I) und sind P1, . . . ,Pk orthogonale
Projektionen auf paarweise orthogonale Unterraume, so sind
die Variablen ‖Pix‖2 gemeinsam unabhangig
• Ist x ∼ Nn(µ, σ2I) , ferner P eine orthogonale Projektion
auf einen Unterraum U und y = Ax + b mit AP = 0 ,
so sind die Variablen ‖Px‖2 und y unabhangig
B Unabhangigkeit ↔ Orthogonalitat
? Anwendungsbeispiel : Varianzanalyse
2.5 Verteilungen MS13 107
Die Situation der multivariaten Varianzanalyse.
♣ Situation wie univariate Varianzanalyse, außer :
− p abhangige Variablen Y1, . . . , Yp statt nur einer
? Beispiel : Auswirkung von Entspannungsverfahren
→ Mehrere Entspannungsindikatoren
� Notation :
− J : Anzahl der Bedingungen
− nj : Anzahl der Beobachtungen in Bedingung j
− N : Gesamtzahl der Beobachtungen (∑nj )
− p : Anzahl der abhangigen Variablen
− yj : Abhangige Variable in Bedingung j ( p-Zufallsvektor )
− µj : Erwartungswert von yj
→ Hypothesen :
H0 : µ1 = µ2 = . . . = µJ
H1 : nicht H0
B Gleichzeitige Suche nach Unterschieden in p Dimensionen
→ Vergleiche Variation innerhalb mit Variation der Zentroide
2.6 Multivariate Varianzanalyse MS13 108
? Beispiel : 3 Gruppen , 2 Variable
− Zwei Entspannungsverfahren und Kontrollgruppe
− Abhangige Variablen : Herzrate und Hautwiderstand
→ Datenmatrix :
Y =
8 2
7 1
6 3
3 2
1 4
7 3
4 5
4 4
4 J = 3 n1 = 3 n2 = 2 n3 = 3 N = 8 p = 2
→ Mittelwertvektoren yj und y ( gesamt )
y1 =
(7
2
)y2 =
(2
3
)y3 =
(5
4
)y =
(5
3
)
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
rrrb
bue
2.6 Multivariate Varianzanalyse MS13 109
Quadratsummenzerlegung.
→ Ziel : Zerlegung der Datenvariation in
− Variation zwischen den Gruppen
− Variation innerhalb der Gruppen
→ Erinnerung an univariate Varianzanalyse :
SSt = SSb + SSw
Formulierung mit Hilfe von Projektionen :
y′Pty = y′Pby + y′Pwy
SSt = SSb + SSw
B Erinnerung :
− Pb und Pw sind orthogonal
− Pt = Pb + Pw
− Pt ist die Zentriermatrix
2.6 Multivariate Varianzanalyse MS13 110
→ Quadratsummenzerlegung
B Hilfsmittel : Projektionen Pt = Pb + Pw
→Wie im Univariaten :
y′Pty = y′Pby + y′Pwy
SSt = SSb + SSw
− so auch im Multivariaten :
Y′PtY = Y′PbY + Y′PwY
T = B + W
? Im Beispiel:
T =
(40 −12
−12 12
)B =
(30 −6
−6 6
)W =
(10 −6
−6 6
)
4 T , B und W sind
− symmetrische (p× p)-Matrizen
− positiv semidefinit
B Der Rang von B ist hochstens J − 1
2.6 Multivariate Varianzanalyse MS13 111
Deutung von T, B und W.
Pt ist die Zentriermatrix
→ T = Y′PtY ist die SSCP-Matrix aller Daten
4 T ist Indikator fur Gesamtvariation (Vorstufe zu S)
B Erinnerung an P und Pw
− P : Daten −→ Zellmittelwerte
− Pw : Daten −→ Residuen
? Beispiel :
Y =
8 2
7 1
6 3
3 2
1 4
7 3
4 5
4 4
PY =
7 2
7 2
7 2
2 3
2 3
5 4
5 4
5 4
PwY =
1 0
0 −1
−1 1
1 −1
−1 1
2 −1
−1 1
−1 0
Erinnerung : Pb = PtP = PPt
Folgerung : Pb = P′PtP
2.6 Multivariate Varianzanalyse MS13 112
→ Deutung von B
Wegen Pb = P′PtP
B = Y′PbY = Y′(P′PtP)Y = (PY)′Pt(PY)
→ B ist die SSCP-Matrix zu PY
B In PY sind die Daten durch ihre Gruppenzentroide ersetzt
4 B ist Indikator fur die Variation der Gruppenzentroide
4 Der Rang von B ist hochstens J − 1
− Rang ist Dimension der affinen Hulle der Zentroide
→ Deutung von W
W = Y′PwY = Y′P′wPwY = (PwY)′(PwY)
→ PwY : Zellenweise Zentrierung
Y =
8 2
7 1
6 3
3 2
1 4
7 3
4 5
4 4
PY =
7 2
7 2
7 2
2 3
2 3
5 4
5 4
5 4
PwY =
1 0
0 −1
−1 1
1 −1
−1 1
2 −1
−1 1
−1 0
2.6 Multivariate Varianzanalyse MS13 113
→ Deutung von W
Partitioniere PwY durch die Gruppengrenzen
PwY =
Y1...
YJ
� Benennung Yj wegen Zentrieren zellenweise
? Beispiel:
Y1 =
8 2
7 1
6 3
Y1 =
1 0
0 −1
−1 1
Berechnung von W:
W = (PwY)′(PwY) =(Y′1 . . . Y′J
)Y1...
YJ
=∑
Y′jYj
? Im Beispiel:
W =
(10 −6
−6 6
)=
(2 −1
−1 2
)+
(2 −2
−2 2
)+
(6 −3
−3 2
)
4 W ist Summe der Gruppen-SSCP-Matrizen
2.6 Multivariate Varianzanalyse MS13 114
Zwischenergebnis :
− T : SSCP-Matrix der Daten
− B : SSCP-Matrix der Gruppenzentroide
− W : SSCP-Matrix der Residuen
Dividiere T = B + W durch N
→ Additive Zerlegung der Kovarianzmatrix der Daten in
− Kovarianzmatrix der Zentroide
− Kovarianzmatrix der Residuen
Deutung der Diagonalelemente von T , B und W :
→ SSt , SSb und SSw der Einzelvariablen
→ Diagonale von T = B + W :
− Univariate Quadratsummenzerlegungen
? Im Beispiel :(40 −12
−12 12
)=
(30 −6
−6 6
)+
(10 −6
−6 6
)
2.6 Multivariate Varianzanalyse MS13 115
Berechnungen.
! Formeln T = Y′PtY, B = Y′PbY, W = Y′PwY
sind nicht zur praktischen Rechnung geeignet
→ T : SSCP-Matrix
− Bis auf (1/N) Kovarianzmatrix der Daten
→ W : Summe der Gruppen-SSCP-Matrizen
→ Berechnung von B :
B =∑
nj(yj − y)(yj − y)′
4 Verallgemeinerung der univariaten Formel fur SSb
? Im Beispiel :
B = 3
(2
−1
)(2 −1
)+2
(−3
0
)(−3 0
)+3
(0
1
)(0 1
)=
(30 −6
−6 6
)
BWegen T = B + W :
→ Nur zwei großere Rechnungen notig
2.6 Multivariate Varianzanalyse MS13 116
Verteilungsvoraussetzungen.
4 B und W spielen zentrale Rolle bei der Auswertung
? Verteilung ?
→ Hierzu : Verteilungsvoraussetzungen fur Y
− Also : Voraussetzungen der multivariaten Varianzanalyse
B Y ist jetzt Zufallsmatrix
♣ Die Zeilen von Y sind
− gemeinsam unabhangig
− jeweils Np(µj,Σ)-verteilt mit invertierbarem Σ
4 Voraussetzungen analog zur univariaten Varianzanalyse :
− Unabhangigkeit
− Normalverteilung
− Varianzhomogenitat
→ Folgerung : E ( W / (N − J) ) = Σ
4 Bei Gultigkeit von H0 :
− Alle Zeilen von Y haben gleichen Erwartungswert µ
B Weitere Voraussetzung : N ≥ J + p
2.6 Multivariate Varianzanalyse MS13 117
Teststatistiken.
B Im Unterschied zum univariaten Fall :
→ Vier ublicherweise verwendete Teststatistiken
−Wilks’ Λ
− Roys Maximalwurzel
− Pillai-Bartlett-Spur
− Hotelling-Lawley-Spur
4 Ein Hintergrund : Verschiedene Konstruktionsprinzipien
→ Unterschiedliche Eignung in unterschiedlichen Situationen
4 Spezialfall p = 1 : Alle Tests sind aquivalent zu F
B Im Fall p ≥ 2 :
− Es kann sein, dass ein Test signifikant wird, ein anderer nicht
B Grundlage aller Tests : B und W
→ Genauer : Nur die Eigenwerte von W−1B
2.6 Multivariate Varianzanalyse MS13 118
Wilks’ Λ.
♦ Wilks’ Λ ist definiert als
Λ =det(W)
det(W + B)=
det(W)
det(T)
? Berechnung im Beipiel :
T =
(40 −12
−12 12
)B =
(30 −6
−6 6
)W =
(10 −6
−6 6
)
→ Λ =det(W)
det(T)=
24
336= .0714
4 Interpretation :
− Vergleich der Streuung in den Zellen mit der Gesamtstreuung
B Kleine Werte sprechen gegen H0
2.6 Multivariate Varianzanalyse MS13 119
→ Verteilung von Λ
♦ Verteilung von Λ unter H0 : Λ(p, ne, nh)
− p : Anzahl der Variablen
− ne : Fehlerfreiheitsgrade N − J
− nh : Hypothesenfreiheitsgrade J − 1
4 Freiheitsgrade wie im Univariaten
? Im Beispiel : Λ(2, 5, 2)-Verteilung unter H0
Kritischer Wert (5%) : .117368
→Wegen Λ = .0714 wird H0 verworfen
B Links abschneiden !
4 Bezeichnung der Parameter ist uneinheitlich
4 Oft Approximationen durch F -Verteilungen nach geeigneten
Transformationen
2.6 Multivariate Varianzanalyse MS13 120
Roys Maximalwurzel.
! Leider unterschiedliche Definitionen
♦ Definition 1 :
− Roys Maximalwurzel θ1 ist der großte Eigenwert von T−1B
♦ Definition 2 :
− Roys Maximalwurzel λ1 ist der großte Eigenwert von W−1B
B Unterscheidung durch Bezeichnung θ1 oder λ1
4 T−1B und W−1B sind im Allgemeinen nicht symmetrisch
→ Sie haben trotzdem p nichtnegative Eigenwerte
4’Wurzel‘ : Nullstelle des charakteristischen Polynoms
� Auch : großter Eigenwert
? Im Beispiel :
T−1B =
(6/7 0
5/14 1/2
)W−1B =
(6 0
5 1
)
Eigenwerte : 6/7 und 1/2, bzw. 6 und 1
→ θ1 = 6/7 = 0.8571 λ1 = 6
2.6 Multivariate Varianzanalyse MS13 121
B θ1 und λ1 sind ineinander transformierbar :
λ1 =θ1
1− θ1θ1 =
λ11 + λ1
B Transformationen sind streng monoton
→ Tests sind nur oberflachlich verschieden
Interpretation zunachst schwierig
Die Eigenwerte von T−1B und W−1B
− gestatten eine Art Vergleich von B mit T bzw. W
→ Große Werte sprechen gegen H0
♦ Verteilung von θ1 unter H0 : θmax(p, ne, nh)
? Im Beispiel : θmax(2, 5, 2)-Verteilung unter H0
Kritischer Wert (5%) : .8577
→Wegen θ1 = .8571 wird H0 nicht verworfen
B Rechts abschneiden !
B Λ war signifikant !
2.6 Multivariate Varianzanalyse MS13 122
Die Pillai-Bartlett-Spur.
♦ Die Pillai-Bartlett-Spur ist die Spur von T−1B
? Im Beispiel :
T−1B =
(6/7 0
5/14 1/2
)
→ Die Pillai-Bartlett-Spur ist 6/7 + 1/2 = 19/14 = 1.3571
4 Interpretation : Eine Art Vergleich zwischen B und T
→ Große Werte sprechen gegen H0
Die Hotelling-Lawley-Spur.
♦ Die Hotelling-Lawley-Spur ist die Spur von W−1B
? Im Beispiel :
W−1B =
(6 0
5 1
)
→ Die Hotelling-Lawley-Spur ist 6 + 1 = 7
4 Interpretation : Eine Art Vergleich zwischen B und W
→ Große Werte sprechen gegen H0
4 Bei Pillai-Bartlett-Spur und Hotelling-Lawley-Spur :
− Oft Approximationen durch F -Verteilungen nach geeigneten
Transformationen
2.6 Multivariate Varianzanalyse MS13 123
Spezialfall J = 2 : Hotellings T 2.
→ Erwartungstreue Schatzung von Σ durch
Su =1
n1 + n2 − 2W =
1
n1 + n2 − 2(n1S1 + n2S2 )
♦ Hotellings T 2 ( im Zweistichprobenfall ) ist
T 2 =n1n2n1 + n2
( y2 − y1 )′ S−1u ( y2 − y1 )
B T 2 ist Schatzung
− der quadrierten Mahalanobisdistanz von y2 und y1
− bezuglich Kovarianzmatrixn1 + n2n1n2
Σ von y2 − y1
B Spezialfall p = 1 : T 2 = t2
→ H0 ist fur große Werte zu verwerfen
4 Aquivalenz zur Hotelling-Lawley-Spur HLS :
→ T 2 = (N − 2) HLS
2.6 Multivariate Varianzanalyse MS13 124
? Beispiel : 2 Gruppen mit je 3 Personen, p = 2
Y =
8 2
7 1
6 3
7 3
4 5
4 4
Zentroide :
y1 =
(7
2
)y2 =
(5
4
)
SSCP-Matrizen :(2 −1
−1 2
) (6 −3
−3 2
)
y2 − y1 =
(−2
2
)Su =
1
4
(8 −4
−4 4
)=
(2 −1
−1 1
)
→
T 2 =n1n2n1 + n2
( y2 − y1 )′ S−1u ( y2 − y1 )
=3 · 33 + 3
(−2 2
) (1 1
1 2
) (−2
2
)= 6
2.6 Multivariate Varianzanalyse MS13 125
Testen von T 2.
� p : Variablen N : Versuchspersonen
→ Unter H0 :
F =N − p− 1
(N − 2)pT 2 ∼ Fp,N−p−1
Vergleiche mit Fp,N−p−1;α
? Im Beispiel : (α = 5%)
F =N − p− 1
(N − 2)pT 2 =
6− 2− 1
(6− 2) 2T 2 =
3
86 = 2.25
Fp,N−p−1;α = F2, 3; .05 = 9.55
→ Nicht signifikant
2.6 Multivariate Varianzanalyse MS13 126
Eigenwerte.
� λ1, . . . , λp : Eigenwerte von W−1B (absteigend)
� θ1, . . . , θp : Eigenwerte von T−1B (absteigend)
• θi =λi
1 + λiλi =
θi1− θi
B Gleiche Eigenvektoren
1
1
....................................................................................................................................................................................................................................................................................................................................................................................... ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
......................
...................
x
yy = x/(1 + x)
..................................................
...............................................
.......................................................................................................
.......................................................................................................................................................................
1
1
.................................................................................................................................................................. ..........................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
........................
...................
y
x
x = y/(1− y)
........................................................................................................................................................................................................................................................................................................
4 Transformationen sind monoton
2.6 Multivariate Varianzanalyse MS13 127
Eigenwerte und Statistiken.
− Λ =
p∏i=1
1
1 + λi=
p∏i=1
(1− θi)
− θ1 =λ1
1 + λ1λ1 =
θ11− θ1
− Spur(T−1B) =
p∑i=1
λi1 + λi
=
p∑i=1
θi
− Spur(W−1B) =
p∑i=1
λi =
p∑i=1
θi1− θi
? Im Beispiel :
λ1 = 6 λ2 = 1 θ1 = 6/7 θ2 = 1/2
Beispielsweise gilt θ1 = λ1/(1 + λ1) = 6/(1 + 6) = 6/7
− Λ =
p∏i=1
(1− θi) = (1− 6/7)(1− 1/2) = 1/14 = .0174
− Spur(T−1B) =
p∑i=1
θi = 6/7 + 1/2 = 19/14 = 1.3571
− Spur(W−1B) =
p∑i=1
λi = 6 + 1 = 7
2.6 Multivariate Varianzanalyse MS13 128
Spezialfall J = 2.
Rang(B) ≤ 1
λ2, . . . , λp und θ2, . . . , θp sind 0
→ Alle Statistiken sind monotone Funktionen von λ1
• Alle vier Statistiken sind aquivalent
4 Aquivalenz auch zu Hotellings T 2
Invarianz.
Invertierbare Transformation aller Daten mit u = Ay + b
Varianzanalyse mit den transformierten Daten
→ Teststatistiken bleiben gleich
• Invarianz der Tests bei invertierbaren affinen Transformationen
2.6 Multivariate Varianzanalyse MS13 129
Wahl der Statistik.
? Welche Statistik soll man wahlen ?
→ Aspekte fur eine Antwort :
− Tradition
− Robustheit
− Moglichkeit von post-hoc-Tests
− Power
� Robustheit
→ Viel spricht fur die Pillai-Bartlett-Spur
� Moglichkeit von post-hoc-Tests
− bezuglich Unterschieden zwischen einzelnen Gruppen
( multivariate Kontraste )
− Linearkombinationen der Variablen
( Beispiel : Effekte in den einzelnen Originalvariablen )
→ Maximalwurzel ist UI-Test
→ Leider Anfalligkeit gegen Verletzung der Annahmen
2.6 Multivariate Varianzanalyse MS13 130
� Power
→ Antwort abhangig
− von der Struktur der Erwartungswertkonstellation
− von dem Streuungsverhalten des Fehlers ( Σ )
Mogliche Strukturen :
− Konzentrierte Nonzentralitatsstruktur
Die µj liegen fast auf einer Geraden
→ Maximalwurzel reagiert sensibel
− Diffuse Nonzentralitatsstruktur
Die µj streuen gleichmaßig in J − 1 Richtungen
nach Mahalanobistransformation bezuglich Σ
→ Die drei anderen Statistiken sind vorzuziehen
2.6 Multivariate Varianzanalyse MS13 131
Multivariates oder univariates Testen ?
→ Alternativen :
− Multivariate Varianzanalyse
− Univariate Varianzanalysen mit den Originalvariablen
→ Multivariate Varianzanalyse berucksichtigt alle
Linearkombinationen
? Sind (im Prinzip) alle Linearkombinationen interessant ?
→ Multivariate Varianzanalyse
? Geht es ausschließlich um die Originalvariablen ?
? Zusatzlich : Alpha-Adjustierung ?
→ Ohne Adjustierung : Eher univariate Analysen
→ Mit Adjustierung : Uneindeutig
4 Generell besser : Gezielte Fragen und passende Antworten
B Manchmal merkwurdige’Regeln ‘
2.6 Multivariate Varianzanalyse MS13 132
? Multivariate und univariate Tests im Beispiel
♣ Die Matrizen :
T =
(40 −12
−12 12
)B =
(30 −6
−6 6
)W =
(10 −6
−6 6
)
4 J = 3 n1 = 3 n2 = 2 n3 = 3 N = 8 p = 2
B Λ war signifikant auf 5%-Niveau
→ Univariate F -Tests der beiden Variablen
Ergebnisse : (30/2)/(10/5) = 7.5 (6/2)/(6/5) = 2.5
F2, 5; .05 = 5.79
→ Signifikanz fur y1 (keine Adjustierung)
F2, 5; .025 = 8.43
→ Mit Adjustierung : Keine Signifikanz
Untersuche U = Y1 + Y2
F = (24/2)/(4/5) = 15
→ Effekt besonders deutlich bei geeigneter Linearkombination
→ Potentieller Vorteil der multivariaten Betrachtung
2.6 Multivariate Varianzanalyse MS13 133
Diskriminanzfunktionen.
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
rrrb
bue
? Frage :
−Wo zeigt sich der Unterschied zwischen den Gruppen besonders
deutlich ?
− Als Variable : In welcher Linearkombination ?
− Geometrisch : In welcher Richtung ?
B Die Streuung innerhalb ist zu berucksichtigen
→ Prazisierung :
−Welche Linearkombination liefert ein maximales F ?
Gegeben : Linearkombination U =∑aiYi + b
→ Koeffizientenvektor : a
SSb = a′Ba
SSw = a′Wa
→ F =SSb/(J − 1)
SSw/(N − J)=
(N − J)
(J − 1)
a′Ba
a′Wa
2.6 Multivariate Varianzanalyse MS13 134
→ Ziel : Maximierea′Ba
a′Wa
→ Losung :
− Maximum ist der großte Eigenwert λ1 von W−1B
− a ist zugehoriger Eigenvektor
→ Der maximale F -Bruch ist
(N − J)
(J − 1)λ1
? Im Beispiel :
W−1B =
(6 0
5 1
)
λ1 = 6 a = (1, 1)′
U = Y1 + Y2
Maximales F : (5/2) · 6 = 15
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
rrrb
bue
............................................................................................................
.....................
..........................
.....................................................................................................
............................................................................................................
.....................
..........................
.....................................................................................................
............................................................................................................
.....................
..........................
.....................................................................................................
.......................................................................................................................................................................................................................................................................................................................................................................................................................................
2.6 Multivariate Varianzanalyse MS13 135
Veranschaulichung :
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
............................................................................................................
.....................
..........................
.....................................................................................................
r............................................................................................................
.....................
..........................
.....................................................................................................
r ............................................................................................................
.....................
..........................
.....................................................................................................
r.........
..................
..................
..................
..................
..................
..................
..................
..................
..................
..
..................
..................
..................
..................
..................
..................
..................
....
.............................................................
..................
..................
................
.........
.........................................................................................................................................................................................................................................................................................................................................................................................................
rr rrr
r.........
..................
..................
..................
..................
..................
..................
..................
................
...............................
..................
.............
B Deutliche Gruppentrennung ( jedenfalls teilweise )
→ Zum Vergleich
Eine weitere Linearkombination : Y2
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
............................................................................................................
.....................
..........................
.....................................................................................................
r............................................................................................................
.....................
..........................
.....................................................................................................
r ............................................................................................................
.....................
..........................
.....................................................................................................
r......................................................................................................................................................................................................................................................................
................................................................................................................................................................................................................................................................................................................................................
.................................................
...........................................................................................................................
.................................................................................................................................................................................
...........................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
....
rr rrrr
...........................................................................................................................................................................................................................................................................................................
......................................................................................
......................................................................................................................................................................................................................
Hier starkere’Uberlappung‘
→ Auch anschaulich : Kleineres F zu erwarten
2.6 Multivariate Varianzanalyse MS13 136
Standardisierungen.
→ Falls U maximales F liefert, so auch jedes cU + d
→ Standardisieren !
→ Standardisieren allgemein :
U =∑aiYi + c Linearkombination
Koeffizientenvektor : a
Forderung : Mittelwert soll 0 werden
Forderung : Varianz soll 1 werden
? Welche Varianz ?
→ Auswahl der Versuchsbedingungen oft willkurlich
→ Gesamtvarianz dann nicht interpretierbar
→ Standardisiere bezuglich der Varianz innerhalb der Gruppen !
→ Enspricht Varianz in Einzelbedingung oder Einzelpopulation
♦ Varianz innerhalb der Gruppen : Varianz der Fehler
2.6 Multivariate Varianzanalyse MS13 137
Kovarianz innerhalb der Gruppen.
♣ Gegeben Linearkombinationen
U =∑
aiYi + c V =∑
biYi + d
− Koeffizientenvektoren : a , b
→ Theoretische Kovarianz innerhalb der Gruppen : a′Σb
W/(N − J) schatzt Σ erwartungstreu
→ Erwartungstreue Schatzung von a′Σb durch
a′ (W/(N − J)) b = a′Wb/(N − J)
♦ Kovarianz von U und V innerhalb der Gruppen :
a′Wb/(N − J)
♦ Varianz von U innerhalb der Gruppen :
a′Wa/(N − J)
♦ Korrelation von U und V innerhalb der Gruppen :
a′Wb/(N − J)√a′Wa/(N − J)
√b′Wb/(N − J)
=a′Wb√
(a′Wa)(b′Wb)
4 Dies ist die gleichzeitig die Korrelation der Fehler
♦ Bezeichnung : Innergruppen-Korrelationen
2.6 Multivariate Varianzanalyse MS13 138
→ Ziel : Standardisierung von U =∑aiYi + b
→ Transformation : c U + d
c = ±√
(N − J)/a′Wa
d = −c (a′y + b)
→Wahle das positive c
→ Standardisierung :
c U + d =
√N − Ja′Wa
(∑aiYi − a′y
)=
√N − Ja′Wa
∑ai(Yi − Yi)
� Yi : Mittelwert aller Daten von Yi
→ Neuer Koeffizientenvektor :√
(N − J)/(a′Wa) a
→ Neue additive Konstante : −√
(N − J)/(a′Wa) a′y
B Auch die Originalvariablen Yi konnen so standardisiert werden
♦ Zi : Standardisierte Originalvariable Yi
? Im Beispiel :
Z1 =√
5/10 (Y1 − 5) = .707Y1 − 3.535
Z2 =√
5/6 (Y2 − 3) = .913Y2 − 2.739
2.6 Multivariate Varianzanalyse MS13 139
Erste Diskriminanzfunktion.
♣ Situation :
− U =∑aiYi ist Linearkombination mit maximalem F
− Koeffizientenvektor : a
− a ist Eigenvektor zum großten Eigenwert λ1 von W−1B
→ Standardisierung
♦ Die Standardisierung von U heißt erste Diskriminanzfunktion
� Bezeichnung : D1
B Standardisierung macht MSw zu 1
? Erste Diskriminanzfunktion im Beispiel :
D1 = 1.118Y1 + 1.118Y2 − 8.944
4 Eindeutigkeit hangt von Multiplizitat von λ1 ab
− Multiplizitat 1 : Eindeutigkeit bis auf Vorzeichen
2.6 Multivariate Varianzanalyse MS13 140
Interpretation der Diskriminanzfunktion.
? Wieso sollte sie interpretierbar sein ?
→ Anhaltspunkte :
− Koeffizienten
− Korrelationen mit den Yi
? Welche Korrelationen ?
− Innergruppenkorrelationen womoglich oft sinnvoller
→ Bei Koeffizienten oft weitere Standardisierung
Umschreiben auf standardisierte Variablen
4 Vergleiche etwa : Ubergang zu β-Gewichten
? Im Beispiel :
D1 = 1.581Z1 + 1.225Z2
B Berechnung der Koeffizienten :
− a : Eigenvektor von W−1B zu λ1
− wii : i-tes Diagonalelement von W
− i-ter Koeffizient :√wii/a′Wa ai
? Korrelationen im Beispiel : .632 und 0
4’Diskrepanz ‘ zwischen Koeffizienten und Korrelationen
2.6 Multivariate Varianzanalyse MS13 141
Weitere Diskriminanzfunktionen.
♣ Die erste Diskriminanzfunktion trennt die Gruppen optimal
? Welche Funktion trennt am zweitbesten etc.
→ Frage nur sinnvoll bei Nebenbedingungen
→ Nebenbedingung :
− Innergruppenkorrelation zu vorherigen Funktionen soll 0 sein
♦ Nach Standardisierung : Zweite, dritte ... Diskriminanzfunktion
→ Herstellung :
− Aus Eigenvektoren zu den weiteren Eigenwerten von W−1B
− Aufpassen bei multiplen Eigenwerten !
4 Die Diskriminanzfunktionen sind auch global unkorreliert
? Anzahl der ( sinnvollen ) Diskriminanzfunktionen ?
→ Anzahl der Eigenwerte 6= 0 von W−1B
→ Dimension des von den µj erzeugten affinen Unterraums
− Theoretische Ebene !
→ Hochstens J − 1
2.6 Multivariate Varianzanalyse MS13 142
? Zweite Diskriminanzfunktion im Beispiel
Zweiter Eigenwert von W−1B : 1
Zugehoriger Eigenvektor : (0, 1)′
→ Zweite Diskriminanzfunktion ist Standardisierung von Y2
D2 = .913Y2 − 2.739 oder D2 = Z2
→ Innergruppenkorrelationen mit Y1 , Y2 : −.775 , 1
Graphische Veranschaulichung der Diskriminanzfunktionen
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
............................................................................................................
.....................
..........................
.....................................................................................................
r............................................................................................................
.....................
..........................
.....................................................................................................
r ............................................................................................................
.....................
..........................
.....................................................................................................
r.........
..................
..................
..................
..................
..................
..................
..................
..................
..................
..
..................
..................
..................
..................
..................
..................
..................
....
.............................................................
..................
..................
................
.........
.........................................................................................................................................................................................................................................................................................................................................................................................................
rr rrr
r.........
..................
..................
..................
..................
..................
..................
..................
................
...............................
..................
.............
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
............................................................................................................
.....................
..........................
.....................................................................................................
r............................................................................................................
.....................
..........................
.....................................................................................................
r ............................................................................................................
.....................
..........................
.....................................................................................................
r......................................................................................................................................................................................................................................................................
................................................................................................................................................................................................................................................................................................................................................
.................................................
...........................................................................................................................
.................................................................................................................................................................................
...........................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
....
rr rrrr
...........................................................................................................................................................................................................................................................................................................
......................................................................................
......................................................................................................................................................................................................................
4 Geraden zu D1 und D2 sind hier nicht senkrecht
B Vorsicht mit der Assoziation unkorreliert-senkrecht
4 Hier ist der 2. Eigenwert auch der kleinste
→ D2 ist eine Linearkombination , die am schlechtesten trennt
2.6 Multivariate Varianzanalyse MS13 143
Sonderfall : Zwei Gruppen.
Hochstens ein Eigenwert von W−1B ist ungleich 0
→ Nur die erste Diskriminanzfunktion ist interessant
� Sprechweise :’Die ‘ Diskriminanzfunktion
→ Bestimmung :
Mit v = (y2 − y1) gilt hier :
W−1B =n1n2
(n1 + n2 − 2) (n1 + n2)S−1u vv′
Folgerung : der großte Eigenwert ist
λ1 =n1n2
(n1 + n2 − 2) (n1 + n2)v′S−1u v
Zugehoriger Eigenvektor beispielsweise :
S−1u v
Zugehoriger F -Bruch :
F =N − JJ − 1
λ1 =N − 2
1λ1 =
n1n2(n1 + n2)
v′S−1u v
B Hotellings T 2
2.6 Multivariate Varianzanalyse MS13 144
→ Standardisierung
Multiplikation von a = S−1u v mit
√N − Ja′Wa
=
√N − 2
(S−1u v)′(N − 2) Su(S−1u v)=
√1
v′S−1u v
→ Koeffizientenvektor :
d1 =√
1/ (v′S−1u v) S−1u v
→ Additive Konstante :
−√
1/ (v′S−1u v) v′S−1u y
→ Standardisierung der Variablen selbst
� s2i : Diagonalelemente von Su
B Varianzschatzungen der univariaten t-Statistiken
→ Standardisierte Variablen :
Zi =1
si(Yi − yi) =
1
siYi −
yisi
Standardisierte Diskriminanzfunktionen in Zi :
→ Komponenten von d1 mal zugehorige si
2.6 Multivariate Varianzanalyse MS13 145
? Beispiel.
♣ Situation (n1 = n2 = 3 )
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
rrr b
bbu
e
y1 =
(7
2
)y2 =
(5
4
)Su =
(2 −1
−1 1
)
Standardisierung der Variablen :
Z1 = Y1/√
2 − 6/√
2 = .707Y1 − 4.243
Z2 = Y2/√
1 − 3/√
1 = Y2 − 3
v′S−1u v = 4
λ1 =3 · 3
(3 + 3− 2)(3 + 3)· 4 =
3
2= 1.5
4 T 2 = 4λ1 = 6
2.6 Multivariate Varianzanalyse MS13 146
→ Diskriminanzfunktion
Eigenvektor :
S−1u v =
(0
2
)
Standardisierung :
d1 =1√4
(0
2
)=
(0
1
)
Additive Konstante : −√
1/4 · 6 = −3
→ D1 = Y2 − 3
→ D1 = Z2
2.6 Multivariate Varianzanalyse MS13 147
? Projektion senkrecht zur Verbindung der Zentroide ?
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
rrr b
bbu
e..................................................................
.......
..................................
.......................
................................
................................................................................................
r...........................................................................................................................................................................................................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.....
...........................................................................................................................................................................................................................................................................................
.....................................................................................................................................................................................................................................................................
...........................................................................................................................................................................................................................................................................................................................................................................
r
r
................................................................................................................................................................................................................................................................................
...........................................................................................................
.......................
................................
................................................................................................
r
...........................................................................................................................................................................................................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.....
...........................................................................................................................................................................................................................................................................................
.....................................................................................................................................................................................................................................................................
...........................................................................................................................................................................................................................................................................................................................................................................
r
r
................................................................................................................................................................................................................................................................................
....
....
....
....
....
....
.
→ Nein ! Erste Diskriminanzfunktion :
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
rrr b
bbu
e..................................................................
.......
..................................
.......................
................................
................................................................................................
r
...........................................................................................................................................................................................................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.....
...................................................................................................................................................................................
.........................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.... rr ......................................................................................................................................................................................................................
...........................................................................................................
.......................
................................
................................................................................................
r...........................................................................................................................................................................................................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.....
........................................................................................................................................................................................................................................................................
..............................................................................................................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
....
rr ...........................................................................................................................................................................................................................................................................................................
4’Zweite Diskriminanzfunktion ‘ :
1
1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................
...................
y1
y2
rrr b
bbu
e..................................................................
.......
..................................
.......................
................................
................................................................................................
r...........................................................................................................................................................................................................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.....
..................
..................
..................
..................
..................
..................
..................
..................
..................
..............
..................
..................
..................
..................
..................
..................
..................
.
.......................................................................................................................................................................................................................................................................................................................................................................................................................................
rr
..................
..................
..................
..................
..................
..................
..................
..................
.......
...........................................................................................................
.......................
................................
................................................................................................
r
...........................................................................................................................................................................................................................................................................................................................................................................................................................................
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.......
.....
..................
..................
..................
.
......
.......................................................................................................................................................................................................................................................................................................................................................................................................................................
rr.........
..................
....
4 Geraden zu den Diskriminanzfunktionen hier nicht senkrecht
2.6 Multivariate Varianzanalyse MS13 148
Top Related