Multivariate Daten. Beispiele - uni-kiel.de · on F ur jedes a ist a0Sa 0, da Varianz von U = a0x...

Multivariate Daten.

♦ Multivariate Daten : Mehrere Variablen pro Versuchsperson

→Werte pro Vp zu Vektoren zusammenfassen !

? Beispiele :

? Normierung eines Intelligenztests mit 3 Untertests

− verbale, rechnerische, raumliche Intelligenz

→ Ergebnisse in 3-Vektor zusammenfassen

Mogliches Ergebnis einer Vp : ( 10, 7, 9 )′ :

− 10 Punkte verbal, 7 Punkte rechnerisch, 9 Punkte raumlich

Gegebenenfalls Verlangerung des Vektors durch weitere

Variablen (Alter, Geschlecht)

? Therapieverlauf : Befindlichkeitsdaten zu vier Messzeitpunkten

Ergebnis ( 4, 7, 6, 8 )′ einer Vp :

− Aus 4 (vorher) wird uber 7 und 6 schließlich 8 (nachher)

? Zusammenhang von Personlichkeit und Physiologie

Funf Personlichkeitsmaße (Extraversion, Neurotizismus, ...)

Vier physiologische Variablen (Herzrate, Atemfrequenz, ...)

Jede Vp liefert 2 Vektoren :

− einen 5-Vektor (Personlichkeit)

− einen 4-Vektor (Physiologie)

2.1 Grundbegriffe MS13 1

Datenmatrix :

� n Zeilen ←→ Personen

� p Spalten ←→ Variablen

? Datenmatrix X von drei Intelligenzwerten bei funf Personen :

5 10 8

4 6 3

2 3 3

6 12 3

8 14 13

� Ergebnisvektor der i-ten Versuchsperson : xi

( transponierte i-te Zeile von X )

? Ergebnis der dritten Versuchsperson : x3 = ( 2, 3, 3 )′

� Bezeichnungen :

− Variablen : Xj oder xj

− Variablenvektor : x

� Statt’Variablenvektor ‘ auch :

’p-dimensionale Variable ‘


Kennwerte.

? Datenmatrix X :

5 10 8

4 6 3

2 3 3

6 12 3

8 14 13

� Mittelwertvektor : x

� Kovarianzmatrix : S

? Im Beispiel :

x =

5

9

6

S =

4 7.8 6

7.8 16 11

6 11 16

• Bei unabhangigem Ziehen aus einer Population ist

Su : =n

n− 1S

(elementweise) erwartungstreu fur die theoretische

Kovarianzmatrix

♦ Su heißt korrigierte Stichprobenkovarianzmatrix

� u : unbiased

? Im Beispiel :

Su =

5 9.75 7.5

9.75 20 13.75

7.5 13.75 20


SSCP-Matrix.

♦ nS = (n− 1) Su heißt SSCP-Matrix

4 Vorstufe fur Kovarianzmatrizen

− Keine Division durch n oder n− 1

B SSCP :’Sum of Squares and Cross Products ‘

B Eintrage :

− Produkte der Abweichungen vom jeweiligen Mittelwert bilden

− Aufsummieren

? SSCP-Matrix im Beispiel :20 39 30

39 80 55

30 55 80

Korrelationsmatrix.

? Korrelationsmatrix des Beispiels : 1 0.975 0.75

0.975 1 0.6875

0.75 0.6875 1

4 Einsen in der Diagonale


Zentrieren.

♣ Univariate Situation :

−Werte von n Personen in einer Variable X

→ Datenvektor x = (x1, . . . , xn )′

? Beispiel : Funf Personen liefern x = ( 10, 8, 7, 6, 14 )′

4 Unterschiedliche Verwendung von Vektoren :

−Werte einer Person in mehreren Variablen ( multivariat )

−Werte mehrerer Personen in einer Variablen ( univariat )

� 1n = ( 1, . . . , 1 )′ : Spaltenvektor aus n Einsen

− Kurz : 1

• Mittelwert:

x =1

n1′n x

? Im Beispiel :

x =1

5(1, 1, 1, 1, 1)

10

8

7

6

14

=45

5= 9

4 Eigentlich (1× 1)-Matrix


♦ x : Zentrierter Datenvektor ( x von allen Werten abziehen )

• Zentrieren :

x = x− 1(x)

? Im Beispiel :

x =

10

8

7

6

14

−

1

1

1

1

1

(

9)

=

10

8

7

6

14

−

9

9

9

9

9

=

1

−1

−2

−3

5

→ Einsetzen und Umformen :

x = x− 1(x) = x− 1

(1

n1′x

)= x− 1

n1 (1′x) = x− 1

n(11′) x

= Ix− 1

n(11′) x =

(I− 1

n(11′)

)x =: Znx

♦ I− (1/n)11′ =: Zn : Zentriermatrix

− Kurz : Z

? Beispiel:

Z5 =

1 0 0 0 0

0 1 0 0 0

0 0 1 0 0

0 0 0 1 0

0 0 0 0 1

−1

5

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

=

.8 −.2 −.2 −.2 −.2−.2 .8 −.2 −.2 −.2−.2 −.2 .8 −.2 −.2−.2 −.2 −.2 .8 −.2−.2 −.2 −.2 −.2 .8


Eigenschaften der Zentriermatrix.

• Zentrieren mit Z :

x = Zx

• Idempotenz :

Z2 = Z

• Symmetrie :

Z′ = Z

• Zusammen :

Z′Z = Z

• Es gilt :

Z1 = 0

on Zentrieren ! �


Zentrieren und Varianzen/Kovarianzen.

♣ Situation :

− X und Y sind an denselben n Versuchspersonen erhoben

− Ergebnisse : Datenvektoren x und y

→ Kovarianz :

KovX,Y =1

n

n∑i=1

(xi − x) (yi − y)

Abweichungen vom Mittelwert miteinander multiplizieren

Produkte aufsummieren

Summe durch n teilen

• KovX,Y =1

n< x, y> =

1

nx′ y

? Beispiel :

x =

10

8

7

6

14

y =

4

6

5

3

7

−→ x =

1

−1

−2

−3

5

y =

−1

1

0

−2

2

1

5x′ y =

1

5

(1 −1 −2 −3 5

)−1

1

0

−2

2

=1

5· 14 = 2.8


Kovarianz und Zentriermatrix.

• KovX,Y =1

nx′Zy

on x′y = (Zx)′(Zy) = x′Z′Zy = x′Zy �

• Spezialfall Varianz :

S2X =

1

nx′Zx

Zentrieren einer Datenmatrix.

♣ Multivariate Situation :

− n Personen

− p Variablen

− Datenmatrix X

• Mittelwertvektor :

x =1

nX′1n

• Zentrieren aller Spalten von X :

X = ZX


SSCP- und Kovarianzmatrizen mit zentrierten Daten.

• SSCP-Matrix :

X′ X

on (i, j)-Element von X′X :

i-te Zeile von X′ mal j-te Spalte von X

→ Produkt der zentrierten Daten der Variablen i und j �

• Kovarianzmatrizen :

S =1

nX′X Su =

1

n− 1X′X

• SSCP-Matrix und Kovarianzmatrizen sind symmetrisch

on (X′X)′ = X′X′′ = X′X �

SSCP- und Kovarianzmatrizen mit Zentriermatrix.

• Die SSCP-Matrix ist X′ZX

on X′X = (ZX)′ZX = X′Z′ZX = X′ZX �

• Daher :

S =1

nX′ZX Su =

1

n− 1X′ZX

! Formeln nicht fur praktische Rechnung geeignet !


Affine Abbildungen.

4 Verallgemeinerung der univariaten linearen Transformationen

♦ Eine affine Abbildung ist ein f : Rp → Rq von der Form

f(x) = Ax + b

Dabei ist A eine (q × p)-Matrix und b ein q-Vektor

� A : linearer Anteil

� b : Verschiebungsvektor

? Beispiel : Vorhersage von zwei Vordiplomsnoten mit Hilfe von

drei Schulnoten wie in der multiplen Regression :

Schulnoten : x

Vorhergesagte Vordiplomsnoten : y

→ Regressionsgleichungen :

y = Ax + b

Ausgeschrieben :(y1y2

)=

(a11 a12 a13a21 a22 a23

)x1x2x3

+

(b1b2

)=

(a11x1 + a12x2 + a13x3 + b1a21x1 + a22x2 + a23x3 + b2

)

→ Regressionsgewichte in A additive Konstanten in b

→ y ist’affine Transformation ‘ von x


? Beispiel : Linearkombinationen im Sinn der univariaten Statistik

Y =∑ajXj + b

Mit x = (X1, . . . , Xp)′ a = (a1, . . . , ap)

′ :

→ Y = a′x + b

→ Linearkombinationen sind affine Transformationen

Linearer Anteil : a′ Verschiebungs’vektor ‘ : b

? Beispiel : Komponentenweise z-Transformation

− Gegeben : Variablenvektor x

� Vx , V1/2x , V

−1/2x : Diagonalmatrizen der Varianzen,

Streuungen und Kehrwerte der Streuungen von x

? Beispiel :

S =

4 7.8 6

7.8 16 11

6 11 16

Vx =

4 0 0

0 16 0

0 0 16

V1/2x =

2 0 0

0 4 0

0 0 4

V−1/2x =

1/2 0 0

0 1/4 0

0 0 1/4

Komponentenweise z-Transformation :

z = V−1/2x (x− x) = V

−1/2x x−V

−1/2x x

→ Komponentenweise z-Transformation ist affine Abbildung


Affine Transformationen und Datenmatrizen.

♣ Gegeben : (n× p )-Datenmatrix X

→ Transformiere die Daten aller Versuchspersonen affin mit

y = Ax + b

? Datenmatrix der transformierten Daten ?

? Mittelwertvektor ?

? Kovarianzmatrix ?

? Beispiel :

− Vorhersage y von 2 Vordiplomsnoten durch 3 Schulnoten x

y = Ax + b

20 Versuchspersonen

Datenmatrix X der Originaldaten : ( 20× 3 )-Matrix

→ Datenmatrix Y der transformierten Daten : ( 20× 2 )-Matrix


Transformierte Datenmatrix.

• Die Matrix Y der transformierten Daten ist

Y = XA′ + 1nb′

on Transformation spaltenweise :

Y′ = AX′ + b1′

Transponieren liefert Ergebnis �

→ Folgerungen :

• Der Mittelwertvektor y der transformierten Daten ist

Ax + b

B Transformation angewendet auf x

• Die zentrierte transformierte Datenmatrix Y ist

Y = XA′


Kennwerte der transformierten Daten.

• Ist Sx die Kovarianzmatrix der Originaldaten und Sy die der

transformierten Daten, so gilt

Sy = ASxA′

on Begrundung :

Sy =1

nY′ Y =

1

n(XA′)′ (XA′) =

1

nA′′X′ XA′

= A

(1

nX′ X

)A′ = ASxA

′ �

B Analoge Formeln fur SSCP-Matrix und korrigierte

Stichprobenkovarianzmatrix

• Mittelwertvektor und Kovarianzmatrix von y = Ax + b :

y = Ax + b

Sy = ASxA′

→ Anwendung : Korrelationsmatrix von x :

V−1/2x Sx V

−1/2x


Kovarianzen und Varianzen.

♣ Gegeben : Datenmatrix X mit Kovarianzmatrix S

− U = a′x + b , V = c′x + d : Univariate Linearkombinationen

• Kovarianz :

KovU,V = a′Sc

• Spezialfall Varianz :

S2U = a′Sa

• Mittelwert und Varianz von U = a′x + b :

u = a′x + b

S2U = a′Sa


Positive Semidefinitheit.

♦ Eine symmetrische Matrix A heißt positiv semidefinit , falls

fur alle x folgende Beziehung gilt :

x′Ax ≥ 0

4 Verallgemeinerung der nichtnegativen Zahlen

• Kovarianzmatrizen sind symmetrisch und positiv semidefinit

on Fur jedes a ist a′Sa ≥ 0 , da Varianz von U = a′x �

? Ist jede positiv semidefinite Matrix mogliche Kovarianzmatrix,

so wie jede nichtnegative Zahl mogliche Varianz ist ?

? Kriterien fur positive Semidefinitheit ?

→ Spater : Jedes positiv semidefinite K kann als K = AA′

geschrieben werden ( alle Matrizen (p× p) )

• Gibt es p unkorrelierte Variablen der Varianz 1 , so ist jede

positiv semidefinite (p× p)-Matrix K eine mogliche

Kovarianzmatrix

on Mit Sx = I und y = Ax gilt

Sy = AIA′ = AA′ = K �

4 Voraussetzung uber unkorrelierte Variable meist harmlos

→’positiv semidefinite Matrix ‘ und

’mogliche Kovarianzmatrix ‘

sind praktisch synonym


Gesamtvarianz.

4 Beschreibung der Variabilitat der Daten → Kovarianzmatrix

4 Kovarianzmatrix enthalt Einzelvarianzen und Informationen

uber lineare Zusammenhange

B Nachteil : Unubersichtlichkeit

→Wunsch : Kennzeichnung der Variabilitat durch nur eine Zahl

Informationsverlust

♦ Gesamtvarianz : Summe der Einzelvarianzen

→ Die Gesamtvarianz ist die Spur der Kovarianzmatrix

? Beispiel :

S =

4 7.8 6

7.8 16 11

6 11 16

→ Gesamtvarianz ist 4 + 16 + 16 = 36

4 Das Konzept der Gesamtvarianz kann sinnvoll sein, wenn

− die Variablen inhaltlich miteinander zu tun haben

− die Skalen’harmonieren ‘

B Problematisch : Große skalenbedingte Varianzen von

Einzelvariablen konnen Gesamtvarianz dominieren

? Beispiel : Messung in mm statt in km


Zufallsvektoren.

♣ Gegeben :

− p eindimensionale Zufallsvariable xi auf demselben W-Raum

→ Zusammenfassung zu Zufallsvektor x :

x =

x1x2...

xp

� Symbole von Zufallsvariablen : meist Kleinbuchstaben

? Beispiele :

? Eine Person soll in einer Untersuchung mehrere Werte liefern

− z.B. Ergebnisse in verschiedenen Untertests einer Testbatterie

? Eine zu ziehende Versuchsperson ist durch ihre Werte in

mehreren Variablen gekennzeichnet

− z.B. mehrere Personlichkeitsvariablen


Erwartungswert.

♦ Der Erwartungswert oder Erwartungswertvektor wird

komponentenweise gebildet :

E(x) = E(

x1x2...

xp

) =

E(x1)

E(x2)...

E(xp)

� Symbole : fette griechische Buchstaben :

E(x) = µ =

µ1µ2...

µp


Kovarianzmatrix.

♦ Die Kovarianzmatrix des Zufallsvektors x hat als Elemente

die Kovarianzen der Komponenten des Zufallsvektors :

V(x) =

Kov(x1, x1) Kov(x1, x2) . . . Kov(x1, xp)

Kov(x2, x1) Kov(x2, x2) . . . Kov(x2, xp)...

... · · · ...

Kov(xp, x1) Kov(xp, x2) . . . Kov(xp, xp)

� Symbol : meist Σ ( mit Elementen σij )

• Symmetrie : Σ′ = Σ

B Diagonalelemente σii : Varianzen der Komponenten von x

→ Alternativschreibweise mit E(x) = µ :

V(x) = E ((x− µ)(x− µ)′)

♦ Die Gesamtvarianz eines Zufallsvektors ist die Summe der

Varianzen der Einzelvariablen

→ Spur der Kovarianzmatrix

4 Korrelationsmatrix : analog zur Kovarianzmatrix

� Streuung einer eindimensionalen Variable x : σ(x)


Matrix der Kovarianzen.

♣ Gegeben auf demselben W-Raum :

− Zufallsvektoren x und y ( p- und q-dimensional )

♦ Die Matrix C(x,y) der Kovarianzen der Komponenten von x

und y heißt Matrix der Kovarianzen von x und y

4 C(x,y) ist (p× q)-Matrix

− (i, j)-Element : Kov(xi, yj)

? Beispiel : Untersucht werden sollen (in derselben Population)

− zwei Personlichkeitsvariable x1, x2 (→ 2-Zufallsvektor x)

− drei Intelligenzkomponenten y1, y2, y3 (→ 3-Zufallsvektor y)

C(x,y) =

(Kov(x1, y1) Kov(x1, y2) Kov(x1, y3)

Kov(x2, y1) Kov(x2, y2) Kov(x2, y3)

)

B Unterscheide : Kovarianzmatrix und Matrix der Kovarianzen

• C(y,x) = (C(x,y))′

• V(x) = C(x,x)

→ Alternativschreibweise : Mit E(x) = µ und E(y) = ν :

C(x,y) = E ((x− µ)(y − ν)′)


Affine Transformationen.

♣ Gegeben :

− x : p-Zufallsvektor

− A : (r × p)-Matrix

− b : r-Vektor

Bilde neuen r-Zufallsvektor u durch die Vorschrift

u = Ax + b

�’Affine Transformation ‘ von x

B Die i−te Komponente von u ist

ui =∑

aijxj + bi

4’Linearkombination ‘ im Sinn der univariaten Statistik

4 Doppelte Bedeutung von u = Ax + b :

− Transformation konkreter Datenvektoren

− Bildung eines neuen Zufallsvektors


? Beispiel :

− Lineare Vorhersagen u1, u2 von 2 Leistungstests mit den

Scores x1, x2, x3 aus einem dreiteiligen Intelligenztest :

u1 = a11x1 + a12x2 + a13x3 + b1

u2 = a21x1 + a22x2 + a23x3 + b2

→ Kurz:

u = Ax + b

4 Spezialfall : u eindimensional

Ublicherweise werden hier die Koeffizienten in einem

p−Spaltenvektor a zusammengefasst :

u =∑

aixi + b = a′x + b

− Linearer Anteil : a′

−’Verschiebungsvektor ‘ : b


Kennwerte bei affinen Transformationen.

• Ist u = Ax + b , so gilt :

E(u) = A E(x) + b

• Ist u = Ax + b und y weiterer Zufallsvektor, so gilt :

C(u,y) = C(Ax + b,y) = A C(x,y)

• Ist v = Cy + d, so gilt :

C(x,v) = C(x,Cy + d) = C(x,y) C′

• Kombiniert :

C(u,v) = C(Ax + b,Cy + d) = A C(x,y) C′

• Spezialfall : Ist u = Ax + b, so gilt :

V(u) = A V(x) A′


Kennwerte bei affinen Transformationen.

• Ist u = Ax + b , E(x) = µ , V(x) = Σ , so gilt :

E(u) = Aµ + b

V(u) = AΣA′

• Spezialfall (u eindimensional ) : Ist u = a′x + b , so gilt :

E(u) = a′µ + b

V(u) = a′Σa

• Kovarianzmatrizen sind symmetrisch und positiv semidefinit

• Spezialfall : Ist u = ax + b , so gilt :

E(u) = aµ + b

V(u) = a2 Σ


Summen von Zufallsvektoren.

♣ Situation :

− x , y : p−Zufallsvektoren ( auf demselben W-Raum ! )

• E(x + y) = E(x) + E(y)

B Analog : Differenzen, Linearkombinationen ax + by

• Ist u ein weiterer q-Zufallsvektor, so gilt

C(x + y,u) = C(x,u) + C(y,u)

• Analog :

C(x,u + v) = C(x,u) + C(x,v)

• Kombiniert :

C(x + y,u + v) = C(x,u) + C(x,v) + C(y,u) + C(y,v)

• Spezialfall :

V(x + y) = V(x) + V(y) + C(x,y) + C(y,x)

• Noch spezieller : x und y unkorreliert ( komponentenweise )

V(x + y) = V(x) + V(y)


Nochmal : Summen von Zufallsvektoren.

x , y : p-dimensionale Zufallsvariable

Fasse zusammen :

z =

(x

y

)

Erwartungswert :

E(z) =

(E(x)

E(y)

)

Kovarianzmatrix :

V(z) =

(V(x) C(x,y)

C(y,x) V(y)

)

Summe als affine Abbildung :(I I)(x

y

)= Ix + Iy = x + y

→ Folgerung :

V(x + y) =(I I)( V(x) C(x,y)

C(y,x) V(y)

)(I

I

)

= V(x) + C(x,y) + C(y,x) + V(y)


Variablenraum und Personenraum.

? Beispiel einer Datenmatrix : 1 −2

2 1

−3 1

→ Zwei Darstellungsweisen : Variablenraum und Personenraum

Variablenraum Personenraum

Punkte/Vektoren Personen Variablen

Achsen Variablen Personen

1

1

s

ss

p1

p2p3..........................................................................................................................................................................................

...................X2

.......................................................................................................................................................................................................................................... ...................

X1

............................................................................................................................................................... ...................

........................................

........................................

.....................................

........................................

........................................

........................................................

...................

............................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

....................

...................

...........................................................................................................................................................

..................

.........

................

........

..............

.......

..............

.......

.......

.......

.......

.......

.......

.......

................

.........

...........................................................

pppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppppp pppppppppppppppp.........

....

..................

.......................

pppppppppppppppppppppppppppppppppppppppppppp

P1

P2

P3

1

11

x1

x2

? Beispiel : Einfache lineare Regression mit n Personen :

− Im Variablenraum (Dimension 2) : Punktwolke mit n Punkten

− Im Personenraum (Dimension n) : Zwei n-Vektoren

2.2 Geometrische Veranschaulichungen MS13 29

Punktwolken im Variablenraum.

♣ Gegeben : (n× p)-Datenmatrix X

→ Zeilen ↔ Personen Spalten ↔ Variablen

B xij : Wert der i-ten Versuchsperson in der j-ten Variable

� Variablen : x1, . . . , xp, zusammengefasst zu Variablenvektor x

� xi : transponierte i-te Zeile : Ergebnis der i-ten Vp

B Achtung : Unterschiedliche Bedeutungen von xi – Kontext !

→ Mittelwertvektor ( Zentroid )

x =1

n

n∑i=1

xi

→ Schwerpunkt der p-dimensionalen Punktwolke im

Variablenraum


? Beispiel : Datenmatrix X :

2 1

4 3

1 1

5 2

3 3

? x4 = ( 5, 2 )′ ( 4. Vp )

x = ( 3, 2 )′

Darstellung im Variablenraum :

1

1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................

x1

x2

r

r

rr

rs

x4

x

? Kovarianzmatrix :

S =

(2 .8

.8 .8

)


Interpretation der Spur der Kovarianzmatrix.

♣ Voraussetzungen fur die geometrische Darstellung :

− Achsen sind orthogonal

− Einheiten sind gleich lang

• Die Spur der Kovarianzmatrix ist gleichzeitig der

durchschnittliche quadrierte Abstand vom Zentroid.

? Im Beispiel :

S =

(2 .8

.8 .8

)

Spur(S) = 2.8 : durchschnittlicher quadrierter Abstand von x

1

1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................

x1

x2

r

r

rr

rs

.............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

............................

............................

............................

............................

............................

............................................................................................................................................................................................................................................................................................................................................................................

x

4 Spur von S ist naturliche Verallgemeinerung der Varianz


4 Sonderfall :

• Die Spur einer Kovarianzmatrix ist genau dann 0, wenn die

Daten konstant sind

• Der durchschnittliche quadrierte Abstand eines Punktes v von

den xi ist

1

n

∑‖xi − v‖2 = Spur(S) + ‖ x− v‖2

1

1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................

x1

x2

r

r

rr

rrs

....................................................

....................................................

..............................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

......................................................................................................................................................................................................................................................................................................................................................................................................................

............................................................................

......................................................................

............................

............................

...........................................................................................................

.........................................................................................................................

..............................................................................................................................

x

v

B Folgerung : x hat zu den xi kleinsten durchschnittlichen

quadrierten Abstand

4 Theoretischer Fall : ganz analog


Variablentransformationen.

♠ Ein zentrales Prinzip der multivariaten Statistik :

→ Variablen durfen beliebig durch Linearkombinationen ersetzt

werden, solange dies ohne’Informationsverlust ‘ moglich ist

♦ Der Ubergang von Originalvariablen zu neuen Variablen heißt

Variablentransformation

4 Manche Transformationen sind inhaltlich gut interpretierbar,

andere dienen statistisch motivierten Zwecken

? Beispiel : x1 und x2 sind Untertests eines Intelligenztests

Verbale und rechnerische Intelligenz

Neue Variable : y1 = x1 + x2 und y2 = x2 − x1

Interpretation : Gesamtintelligenz und Spezialisierung

→ Rekonstruierbarkeit der x-Variablen aus den y-Variablen:

x1 = 1/2 (y1 − y2)x2 = 1/2 (y1 + y2)

→ Die y-Variablen

− enthalten die gleiche Information wie die x-Variablen

− nur unter anderen Gesichtspunkten

? Haben die x-Variablen eigentlich einen hoheren Status? Warum?


Lineare Variablentransformationen.

♦ Neue Variablen : Linearkombinationen der Originalvariablen

ohne additive Konstanten

� Originalvariablen : x Neue Variablen : y

→ Zusammenfassung der Koeffizienten zu Spalten einer Matrix G

♦ G heißt Koeffizientenmatrix

? Im Beispiel :

− y1 = x1 + x2 y2 = x2 − x1

→

G =

(1 −1

1 1

)

Zusammenfassung der Variablen zu Vektoren x und y

→y = G′x

B G wird transponiert !

? Im Beispiel :

→

y =

(y1y2

)=

(1 1

−1 1

)(x1x2

)= G′x


→ Transformationsgleichung :

y = G′x

B Zwei Interpretationen

− Definition der neuen Variablen

− Umrechnung von Datenvektoren

→ Prazisierung der Formulierung’ohne Informationsverlust ‘

→ G soll invertierbar sein

Dann ist x rekonstruierbar :

x = G′−1 y

? Im Beispiel :

G−1 =1

2

(1 1

−1 1

)

Rucktransformation :

x = G′−1 y =1

2

(1 −1

1 1

)(y1y2

)=

1

2

(y1 − y2y1 + y2

)


Interpretation als Koordinatentransformation.

Neues Koordinatensystem gegeben durch die Spalten von G′−1

Neue Koordinaten von x sind y = (G′−1)−1x = G′x

B Dies ist die Transformationsgleichung !

? Im Beispiel:

G′−1 =

(1/2 −1/2

1/2 1/2

)

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................x2

........................................................................................................................................................................................................................................................................................................................................................................................................................... ...................

x1

s

........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

..................

....................................................

...............................................................................................................................................................................................................................................................................................................................................................................................................................................................

...................y1y2

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

................

....................................................................................................

..........................................................................

....

...

Zu x = ( 4, 3 )′ gehort y = ( 7, −1 )′

• Lineare Variablentransformation mit Koeffizientenmatrix G

←→ Koordinatenwechsel zum G′−1 -Koordinatensystem


Affine Variablentransformationen.

♦ Neue Variablen : Linearkombinationen der Originalvariablen,

additive Konstanten sind moglich

? Modifikation des ersten Beispiels

x1, x2 : Verbale und rechnerische Intelligenz

Mittelwerte : 5 und 3 Streuungen : 2 und .5

→ Neue Variablen : Gesamtintelligenz und Spezialisierung

Sinnvoll : Erst z-Transformation

z1 = (x1 − 5)/2 z2 = (x2 − 3)/(.5)

→ Einsetzen :

y1 = z1 + z2 = (x1 − 5)/2 + (x2 − 3)/(.5) = (1/2)x1 + 2x2 − 8.5

y2 = z2 − z1 = (x2 − 3)/(.5)− (x1 − 5)/2 = −(1/2)x1 + 2x2 − 3.5

→ Kurz :

y = G′x + h

− mit Koeffizientenmatrix

G =

(.5 −.52 2

)

− und Konstantenvektor

h =

(−8.5

−3.5

)


→ Affine Variablentransformation allgemein :

y = G′x + h

→ Forderung (’Kein Informationsverlust ‘ ) :

− G soll invertierbar sein

→ Umkehrtransformation :

x = G′−1(y − h) = G′−1y −G′−1h

Interpretation als affine Koordinatentransformation.

Neues Koordinatensystem gegeben

− durch die Spalten von G′−1

− und Nullpunkt −G′−1h

Neue Koordinaten von x sind

y = (G′−1)−1x− (G′−1)−1(−G′−1h) = G′x + h

B Dies ist die Transformationsgleichung !


? Im Beispiel :

G =

(.5 −.52 2

)h =

(−8.5

−3.5

)

→ Daher :

G′−1 =

(1 −1

.25 .25

)−G′−1h =

(5

3

)

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

..........................

...................

x2

....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................... ...................

x1

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

..................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

.................................................................

............................................

............................................

............................................

............................................

............................................

............................................

............................................

............................................

............................................

............................................

y1y2

s....................................................................................................

..............................................................................

............

............

............

....

......................

........

Zu x = (6, 1)′ gehort y = (−3.5, −4.5)′

( Optische Tauschung ! )

• Affine Variablentransformation mit Koeffizientenmatrix G

und Konstantenvektor h

←→affiner Koordinatenwechsel zu dem G′−1 -Koordinatensystem

mit Nullpunkt in −G′−1h


4 Alternativ :

Eigenes Koordinatensystem fur transformierte Daten

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

..........................

................... x2

..................................................................................................................................................................................................................................................................................................................................................................... ...................

x1

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

............................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

....................................................

...........................................................

...................

......................

......................

......................

......................

......................

........... ........... ........... ........... ........... ........... ........... ........... ........... ...........

y1y2

rrrr r r r r r r

rrr r r

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

..........................

...................y2

........................................................................................................................................................................................................................................................... ...................

y1rr

rr rr

rr r

r r rrr r

4 Anwendung fur Abbildungen der Form y = Ax oder

y = Ax + b mit invertierbarem A :

Setze G = A′ und gegebenenfalls h = b

→ Interpretiere Abbildung als Variablentransformation

oder als Koordinatentransformation

? Einfachster Fall : y = ax+ b mit a 6= 0

Interpretation als Koordinatenwechsel

− Neue Einheit : 1/a Neuer Nullpunkt : −b/a

? Beispiel : y = −2x+ 3

−3 −2 −1 0 1 2 3

9 8 7 6 5 4 3 2 1 0 -1 -2 -3

x

yr

Zu x = 2.5 gehort y = −2


Umschreiben von Linearkombinationen.

→ Ziel : Drucke eine Linearkombination u der xi aus

als Linearkombination der yi

? Beispiel : Intelligenzvariablen x , Transformation y = G′x + h

G =

(.5 −.52 2

)h =

(−8.5

−3.5

)

? Gegeben : u = x1 + 2 x2 − 7 ( Vorhersage des Studienerfolgs )

→ Schreibe u als Linearkombination von y1 und y2

→ Allgemeine Situation :

− y = G′x + h −→ x = G′−1(y − h)

− u = a′x + b

Einsetzen und Umformen :

u = a′(G′−1(y − h)) + b

= a′G′−1y − a′G′−1h + b

= (G−1a)′y + (b− a′G′−1h)

→ Neuer Koeffizientenvektor : G−1a

− Neue Konstante : b − a′G′−1h


? Beispiel : Intelligenzvariablen x

− Variablentransformation y = G′x + h mit

G =

(.5 −.52 2

)h =

(−8.5

−3.5

)

− Gegeben : u = x1 + 2x2 − 7

→ Schreibe u als Linearkombination von y1 und y2

a = ( 1, 2 )′ b = −7

G−1a = ( 1.5, −.5 )′ b− a′G′−1h = 4

→ u = 1.5 y1 − .5 y2 + 4

→ Analog : Umschreiben von affinen Abbildungen

− Gegeben : u = Ax + b

→ Aufgabe : Drucke u aus mit Hilfe von y

• Losung : u = (AG′−1)y + (b−AG′−1h)

4 Ergebnis ist wieder affine Transformation

− Neuer linearer Anteil : AG′−1

− Neuer Verschiebungsvektor : b−AG′−1h


Kovarianztreue Darstellungen.

→ Ziel : Reprasentiere Variablen durch Vektoren, so dass die

Kovarianz dem Skalarprodukt entspricht

4 Vorteile

− Verknupfung von statistischen mit geometrischen Konzepten

− Veranschaulichung statistischer Sachverhalte

4 Hier : theoretischer Fall – empirischer Fall ganz analog

� Notationen :

− Variablen : X, Y , . . .

− Entsprechende Vektoren : x, y, . . .

− Streuung von X : σ(X)

−Winkel zwischen x und y : ∠(x,y)

♦ Eine Darstellung einer Menge von Variablen durch Vektoren

heißt kovarianztreu, wenn die Kovarianz von zwei Variablen

gleich dem Skalarprodukt der entsprechenden Vektoren ist


Eigenschaften kovarianztreuer Darstellungen.

− Definition :

Kov(X, Y ) = <x, y>

− X = Y :

σ(X) = ‖x‖

− Korrelation :

ρ(X, Y ) =Kov(X, Y )

σ(X)σ(Y )=

<x, y>

‖x‖‖y‖= cos(∠(x,y))

→ Also :

− Streuungen ↔ Langen

− Korrelationen ↔ Winkel (via Kosinus)

B Nullkorrelation ↔ Orthogonalitat


? Beispiel einer kovarianztreuen Darstellung :

− Gegeben : Variablen X und Y

− Streuungen : σ(X) = 2 σ(Y ) = .5

− Korrelation : .5

Winkel : 60◦

→ Kovarianztreue Darstellung :

................................................................................................................................................................................................................................................................................................................ ...................x

..............................................................................................................y................................. .............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.........................................................

.........................................................

......................................................................................

......................................................................................

......................................................................................

Existenz kovarianztreuer Darstellungen.

• Sind X1, . . . , Xm endlich viele Variablen, so existieren

kovarianztreue Darstellungen dieser Variablen.

• Ist der Rang der Kovarianzmatrix K der Variablen gleich k,

so existieren sogar kovarianztreue Darstellungen im Rk.

on Begrundung: Schreibe mit geeignetem B(m× k):

K = BB′

→ Zeilen von B sind Reprasentanten der Xi �

• Sind x1, . . .xm kovarianztreue Darstellung von X1, . . . , Xm,

so ist der Rang der xi gleich dem Rang der Kovarianzmatrix


? Herstellung von Darstellungen fur wenige Variablen :

Rechne Korrelationen in Winkel um (via arccos)

Setze Vektoren geeigneter Langen in diesen Winkeln zusammen

? Anwendung : Abschatzung moglicher Korrelationen

− Gegeben : ρXY = .5 und ρY Z = .788

? Frage : ρXZ = ?

Umrechnung in Winkel :

∠(x,y) = 60◦ ∠(y, z) = 38◦

∠(x, z) liegt zwischen 60◦− 38◦ = 22◦ und 60◦+ 38◦ = 98◦

Ruckrechnung in Korrelationen :

→ ρXZ liegt zwischen .927 und −.139


Erweiterung kovarianztreuer Darstellungen.

• Eine kovarianztreue Darstellung von X1, . . . , Xm durch

x1, . . . ,xm kann zu einer kovarianztreuen Darstellung aller

Linearkombinationen Y der Xi erweitert werden, so dass gilt:

(i) <y1, y2> = Kov(Y1, Y2)

(ii) ‖y‖ = σ(Y )

(iii) cos(∠(y1,y2)) = ρ(Y1, Y2)

(iv) y1 = y2 genau dann, wenn Y1 − Y2 = konstant (f.s.)

(v)∑aiYi + b wird reprasentiert durch

∑aiyi

• Die Vektoren, die Linearkombinationen der Xi reprasentieren,

sind dabei genau die Elemente des Erzeugnisses V der xi

4 Variablen, die sich nur um eine additive Konstante

unterscheiden, werden durch denselben Vektor reprasentiert

B Additive Konstanten fallen weg

4 Linearkombinationen werden respektiert

B Verschiedene Bedeutung von’Linearkombination ‘ :

− Statistik :∑aiXi + a0

− Lineare Algebra :∑aixi

→ Unterschied : Additive Konstanten, die aber oft irrelevant sind

4 Alle Vektoren in V reprasentieren Variablen

B Jedoch : Nicht nur eine ( additive Konstanten ! )


Lote.

................................................................................................................................................................................................................................................................................................................ ...................x

................................................................................................................................................................................................................................................................................

y

.................................................................................................................................................................. ...................

bx..................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

.........................................................................................................................................................................................

α............................................................

......

♣ X, Y ↔ x, y

• Lot von y auf x → bx mit

b = ρ(X, Y )σ(Y )

σ(X)

• Abstand zum Nullpunkt :

| ρ(X, Y ) | σ(Y )

• | ρ(X, Y ) | = Abstand zu Null / Lange von y

4 Korrelation ↔ Lange der’Projektion ‘ ( bis auf σ(Y ) )

4 Vorzeichen der Korrelation ↔ Seite des Fußpunktes

4 Besonders angenehm : σ(Y ) = 1

4 b : Regressionsgewicht (Y auf X )

B b kann direkt auf der’x -Skala‘ abgelesen werden

B ‖bx‖ / ‖y‖ = | ρ | ‖bx‖ / ‖x‖ = | Regressionsgewicht |


Ein Beispiel.

? Nochmal : Das Intelligenzbeispiel

− x1, x2 : Verbale und rechnerische Intelligenz

− σ(x1) = 2 σ(x2) = .5

− Zusatzlich : ρ(x1, x2) = .5

arccos(.5) = 60◦

Kovarianztreue Darstellung :

................................................................................................................................................................................................................................................................................................................ ...................x1

..............................................................................................................x2 .............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.............................

.........................................................

.........................................................

......................................................................................

......................................................................................

......................................................................................

− u = x1 + 2x2 − 7 : Vorhersage des Studienerfolgs

Darstellung :

................................................................................................................................................................................................................................................................................................................ ...................x1

..............................................................................................................x2

..............................................................................................................

..............................................................................................................

..............................................................................................................

.................................................................. ...................u

......................................................................................

..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

.............................................................................................................................................................................................................................................................................................

4 Koeffizienten von u ↔ Koordinaten von u im x1-x2-System

B Koeffizientenvektor von u = Koordinatenvektor von u


Darstellung von x1 , x2 , u

................................................................................................................................................................................................................................................................................................................ ...................x1

..............................................................................................................x2

..............................................................................................................

..............................................................................................................

..............................................................................................................

.................................................................. ...................

u

B Moglichkeit der graphischen Ermittlung von

− σ(u) = 2.65

− ρ(u, x1) = .95 ρ(u, x2) = .76 ( Winkel : 19.1◦ und 40.9◦ )

Lote auf x1 und x2 :

................................................................................................................................................................................................................................................................................................................ ...................x1

..............................................................................................................x2

..............................................................................................................

..............................................................................................................

..............................................................................................................

.................................................................. ...................u

.........................

......

......

......

......

......

......

......

......

..

..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

........................................................................................................................................................................................................................................................................................................................................................................................................

4 Mogliche Aussagen uber Korrelationen :

− Vergleich von ρ(u, x1) und ρ(u, x2) : ρ(u, x1) ist großer

− Vorzeichen der Korrelationen : beide positiv

− Ermittlung der Korrelationen uber Quotienten von Langen

4 Korrelationen sind proportional zu Langen der’Projektionen ‘


? Variablentransformation

− Neue Variablen y1, y2 : Gesamtintelligenz und Spezialisierung

− Koeffizientenmatrix :

G =

(.5 −.52 2

)

Darstellung :

................................................................................................................................................................................................................................................................................................................ ...................x1

..............................................................................................................x2

........................................................................

........................................................................

........................................................................

.....................................................................y1

..........................................

..........................................

..........................................

.......................................................y2

.........................................................

.........................................................

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

.............................................................................................................................................................................................................................................................................................

4 Graphische Bestimmung beispielsweise :

− ρ(y1, y2) = 0

4 y1 und y2 bilden alternative Basis

B Zum Basiswechsel gehorende Matrix : G


? Umschreiben von u = x1 + 2x2 − 7 auf y-Variablen

Neuer Koeffizientenvektor

= Koordinatenvektor im neuen System

................................................................................................................................................................................................................................................................................................................ ..............................................................................................................

...................

..............................................................................................................

..............................................................................................................

..............................................................................................................

.................................................................. ...................u

........................................................................

........................................................................

........................................................................

.....................................................................y1

..........................................

..........................................

..........................................

.......................................................y2

.........................................................................................

....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

...........................................................................................................................................................................................................................................................................................................................................................................................................................................

→ Koordinatenvektor ( 1.5, −.5 )′ = Neuer Koeffizientenvektor

4 Ermittlung der neuen Koeffizienten von u bezuglich y1 , y2↔ Koordinatentransformation

4Wegen Orthogonalitat von y1 und y2 :

− Koordinatenlinien sind gleichzeitig Lote

− Neue Koeffizienten sind proportional zu den Korrelationen

Allgemeiner Fall:

− Variablentransformation mit Koeffizientenmatrix G

↔ Basiswechsel mit zugehoriger Matrix G

− Umrechnen von Koeffizientenvektoren

↔ Koordinatentransformation


Geometrische Veranschaulichung von

Linearkombinationen.

4 Linearkombinationen spielen zentrale Rolle in der multivariaten

Statistik

B Reduktion multivariater Probleme auf univariate

♦ Linearkombinationen von Variablen X1, . . . , Xp sind neue

Variablen der Form

Y =∑

aiXi + b

B Unterschiedlicher Sprachgebrauch: Lineare Algebra ↔ Statistik

� a = (a1, . . . , ap)′ heißt Koeffizientenvektor

? Beispiel : Bildung des Gesamtscores eines Tests als gewichtete

Summe von einzelnen Untertests

B Ist x Vektor aus Messwerten, so ergibt sich y als

y = a′x + b = <a, x> + b

♦ Eine Linearkombination mit ‖a‖ = 1 heißt

standardisierte Linearkombination ( SLK )

→ Zunachst : Untersuchung von SLKn mit b = 0


Darstellung von SLKn (b = 0) im Variablenraum.

♣ Daten sind Punkte xi im p-dimensionalen Variablenraum

− Achsen : orthogonal mit gleichen Einheiten

V : Der vom Koeffizientenvektor a erzeugte Unterraum

Koordinatensystem auf V : durch a definiert

1

1

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......................

...................

X2

................................................................................................................................................................................................................................................................................................................ ...................

X1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

...............

...............

...............

...............

...............

...............

...............

...............

...............

rr

.............................

........................................................................................................a

V

B Vorteil : Einheit hat auch im Variablenraum die Lange 1

4 In V und Rp wird mit gleichen Maß gemessen

B Nullpunkte fallen zusammen

→ y = <a, x> : Koordinate der Projektion von x auf V

? Beispiel : a = (.8, .6)′ ↔ Y = .8X1 + .6X2 ( SLK )

? x1 = −2, x2 = 1 → y = .8 · (−2) + .6 · 1 = −1

? Weiteres Beispiel : Koordinaten


→ Mehrere Punkte :

1

1

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......................

...................

X2

................................................................................................................................................................................................................................................................................................................ ...................

X1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

...............

...............

...............

...............

...............

...............

...............

...............

...............

rr

.............................

rr

...............

........................................................................................................a

V

B Differenz der y-Werte ↔ Abstand in Richtung a

Darstellung beliebiger Linearkombinationen.

B Zusatzlich : Affiner Koordinatenwechsel auf V

1

1

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......................

...................

X2

................................................................................................................................................................................................................................................................................................................ ...................

X1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

.............................. ............... ........

......................

...............

...............

...............

rr

.............................

V

01

? Beispiel : Y = 2X1 + 1.5X2 − 4

? x1 = −2, x2 = 1 → y = 2 · (−2) + 1.5 · 1 − 4 = −6.5


Orthogonale Projektionen und Quadratsummen.

♣ Gegeben : Varianzanalytische Situation :

− J Bedingungen

− nj Beobachtungen in Bedingung j

−∑nj = N

− AV : Y

− Mj : Gruppenmittelwerte

− M : Gesamtmittelwert

� Zusammenfassung aller Beobachtungen zu Vektor y (Lange N)

? Beispiel (J = 3) :

1 2 3

9 1 3

9 3 2

6 7

→ y = ( 9, 9, 6, 1, 3, 3, 2, 7 )′

4 Mogliche Ergebnisse der VA sind jetzt Vektoren im RN

� Zur Anschaulichkeit: Oft’gruppierte‘ Schreibweise


Wichtige Unterraume und Projektionen.

� V : Vektoren, die innerhalb der Gruppen konstant sind

� P : Projektion auf V

4 P ersetzt alle Beobachtungen durch die Gruppenmittelwerte

♦ Designmatrix X:

X =

1 0 0

1 0 0

1 0 0

0 1 0

0 1 0

0 0 1

0 0 1

0 0 1

B Direkte Wiedergabe des Versuchsdesigns

4 Spalten bilden Basis von V


→ Bestimmung der Projektion auf V mit Hilfe von X

Koordinaten mit (X′X)−1X′

Projektion ist X(X′X)−1X′

? Koordinaten : Gruppenmittelwerte. Im Beispiel :

(X′X)−1X′y =

1/3 0 0

0 1/2 0

0 0 1/3

1 1 1 0 0 0 0 0

0 0 0 1 1 0 0 0

0 0 0 0 0 1 1 1

9

9

6

1

3

3

2

7

=

1/3 0 0

0 1/2 0

0 0 1/3

24

4

12

=

8

2

4

? Projektion im Beispiel:

X(X′X)−1X′y =

1 0 0

1 0 0

1 0 0

0 1 0

0 1 0

0 0 1

0 0 1

0 0 1

8

2

4

=

8

8

8

2

2

4

4

4


→ Komplementare Projektion zu P

Die komplementare Projektion zu P ist I−P

� Bezeichnung : Pw

� Vw := V ⊥ = Bild(Pw )

Anwendung von Pw auf y liefert Abweichungen von den Mj

? Im Beispiel :

y:

1 2 3

9 1 3

9 3 2

6 7

Py:

1 2 3

8 2 4

8 2 4

8 4

Pwy:

1 2 3

1 -1 -1

1 1 -2

-2 3

4 ‖Pwy‖2 = SSw


→ Projektion auf den von 1 erzeugten Unterraum

♦ Pm : Projektion auf den von 1 erzeugten Unterraum Vm

Anwendung auf y : Ersetzung aller Werte durch M

→ Komplementare Projektion : I − Pm

B Dies ist die Zentriermatrix

� Bezeichnung : I − Pm = Pt

� Vt := Bild(Pt )

? Im Beispiel :

y:

1 2 3

9 1 3

9 3 2

6 7

Pmy:

1 2 3

5 5 5

5 5 5

5 5

Pty:

1 2 3

4 -4 -2

4 -2 -3

1 2

4 ‖Pty‖2 = SSt


→ SSb

4 Vm ⊆ V

→ Folgerung : (Vm, V⊥m ∩ V ) ist orthogonale Zerlegung von V

Projektion auf V ⊥m ∩ V ist P − Pm

� Bezeichnung : P − Pm = Pb

� Vb := Bild(Pb )

Anwendung von Pb auf y liefert Abweichung der Mj von M

? Im Beispiel :

y:

1 2 3

9 1 3

9 3 2

6 7

Py:

1 2 3

8 2 4

8 2 4

8 4

Pmy:

1 2 3

5 5 5

5 5 5

5 5

Pby:

1 2 3

3 -3 -1

3 -3 -1

3 -1

4 ‖Pby‖2 = SSb


→ Orthogonale Zerlegung von Vt

4 (Vb, Vw) ist orthogonale Zerlegung von Vt

Pt = Pb + Pw

Pty = Pby + Pwy

‖Pty‖2 = ‖Pby‖2 + ‖Pwy‖2

→ SSt = SSb + SSw

• Fazit : Die Quadratsummenzerlegung ergibt sich

aus der orthogonalen Zerlegung von Vt in Vb und Vw

→ Dimensionen :

− dim (Vb ) = J − 1

− dim (Vw ) = N − J

B Freiheitsgrade des F -Bruchs

4 Fur den Vektor µ der Erwartungswerte der Beobachtungen gilt

‖Pbµ‖2 =∑

njα2j

B ‖Pbµ‖2/σ2 ist der NZP des F -Bruchs


Regulare Kovarianzmatrizen

und Tschebyscheffsche Ungleichung.

♣ Situation : p Variablen x

− Zentroid : x Kovarianzmatrix : S

− Rang(S) = p

♦ h : Relative Haufigkeit

→ Tschebyscheffsche Ungleichung ( k > 0 gegeben ) :

h((x− x)′S−1(x− x) ≥ k2

)≤ p

k2

? Beispiel p = 1 :

(x− x)2/S2 ≥ k2 ⇔ |x− x| ≥ kS

→ h (|x− x| ≥ kS) ≤ 1

k2

2.3 Kovarianzmatrizen und Verteilungen MS13 64

Geometrische Deutung.

(x− x)′S−1(x− x) ≥ k2 ⇔ x 6∈ E(S, x, k)

4 E(S, x, k) ist E(S, x, 1) , vergroßert um Faktor k

♦ E(S, x, 1) : Verteilungsellipsoid

→ Tschebyscheffsche Ungleichung :

h((x− x)′S−1(x− x) ≥ k2

)≤ p

k2

• Die relative Haufigkeit von Daten außerhalb des k-fachen

Verteilungsellipsoids ist hochstens p/k2

→ Umgekehrt

• Die relative Haufigkeit von Daten innerhalb des k-fachen

Verteilungsellipsoid ist mindestens 1− p/k2


? Schon bekanntes Beispiel :

S =

(2 .8

.8 .8

)x =

(3

2

)

Eigenwerte von S : 2.4 , .4 ( Wurzeln : 1.55 , .63 )

Eigenvektoren : (2

1

) (−.51

)

Daten mit E(S, x, 1) und 2-fachem Ellipsoid :

1

1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................

x1

x2

r

r

rr

rrx

.............................................................................................................................................

......................................................................................................................................................................................................................................................................................................................................................

...........................

.........................................................................................................

............................

............................

............................

............................

............................

............................

............................

...........

......

......

...........................................

..........

.........................................................................................................................

.........

.......

..

Tschebyscheff :

− Datenanteil in der 2-fachen Verteilungsellipse :

≥ 1 − 2

22= 1 − 1

2=

1

2

B Tschebyscheff rechnet mit dem schlimmsten Fall


Streuungsverhalten der Daten.

4 Oft gibt E(S, x, 1) gut die Form der Punktwolke wieder

4 Volumen von E(S, x, 1) :√det(S) × Einheitskugelvolumen

→ det(S) gibt Hinweis auf die Streuung der Punktwolke

→ det(S) ist mogliche Verallgemeinerung der univariaten Varianz

− ebenso wie Spur(S)

B Spur ist Summe, Determinante ist Produkt der Eigenwerte

4 Noch bessere Charakterisierung der multivariaten Streuung

durch Eigenwerte (und Eigenvektoren) → Ellipsoid

? Beispiel : p = 1

→ Verteilungsellipsoid ist hier das Intervall ] x − S, x + S [

4 Alles analog fur Zufallsvariablen (M ↔ E, h ↔ P )


Kennwerte von eindimensionalen Linearkombinationen.

♣ Situation :

− x : p-dimensionale Variable

− x : Zentroid

− S : Kovarianzmatrix, positiv definit

→ Betrachte Linearkombination :

y = a′x + b

→ Mittelwert : y = a′x + b

→ Varianz : S2y = a′Sa

→ Geometrische Darstellung :

− Orthogonale Projektion auf den von a erzeugten Unterraum

− mit geeigneten Koordinaten

→ Bild des Verteilungsellipsoids E(S, x, 1) :

E(a′Sa, a′x + b, 1) = E(S2y , y, 1

)B E

(S2y , y, 1

)= ] y − Sy, y + Sy [


→ Sonderfall : Standardisierte Linearkombinationen

? Beispiel mit den bekannten Daten :

S =

(2 .8

.8 .8

)x =

(3

2

)

− SLK : y = .96x1 + .28x2

1

1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................

x1

x2

r

r

rr

rrx

.............................................................................................................................................

......................................................................................................................................................................................................................................................................................................................................................

...........................

...............

...............

...............

...............

...............

...............

...............

...............

..............................................

..............................................

..............................................

..............................................

..............................................

..............................................

..............................................

..............................................

..............................................

..............................................

..............................................

..............................................

..............................................

..............................................................

...................

y

r rr

rrr......

..........................

..........

........

..............................

................

........................................................................................................................................................... y

..........................................................................................................................................................................................................................

Streuung der SLK =

halber’Durchmesser ‘ von E(S, x, 1) in Richtung a

→ SLKn geben durch ihre Streuungen eine Vorstellung von der

Form des Ellipsoids

B Hinweis auf Große der Streuung der Punktwolke in Richtung

des Koeffizientenvektors


Multivariate z-Transformationen.

♣ Situation :

− x : p-dimensionale Variable

− x : Zentroid

− S : Kovarianzmatrix, positiv definit

♦ Eine multivariate z-Transformation ist eine Transformation

z = Ax + b

mit A(p× p) und

z = 0 und V (z) = I

→ Die Komponenten von z sollen

− standardisiert ( Mittelwert 0, Varianz 1 )

− und unkorreliert sein

4Wegen 0 = z = Ax + b folgt b = −Ax

→ Alternativdarstellung : z = A(x − x)


? Welches sind geeignete Matrizen A ?

→ Forderung : ASA′ = I

→ Mogliche Losung : A = S−1/2

� Mahalanobistransformation ( bezuglich S )

B Vergleiche : z = S−1/2(x− x) ←→ z = (x− x)/SX

→Weitere Moglichkeit mit Spektralsatz

S = LL′ ( L : orthogonale normalisierte Eigenvektoren )

A = L−1

→ASA′ = L−1LL′L′−1 = I

→ Geometrische Deutung von z = L−1(x − x) :

Affiner Koordinatenwechsel

− neuer Nullpunkt : x

− Achsen und Einheiten in(L−1

)−1= L

4 Neues Koordinatensystem also :

− Achsen in Richtung der Eigenvektoren

− Einheiten sind Wurzeln aus Eigenwerten


? Illustration der z-Transformation ( uber Spektralsatz )

− links : Neues Koordinatensystem und Ellipse

− rechts : z-transformierte Daten: Ellipse wird zu Kreis

1

1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................

x1

x2

r

r

rr

r

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

.........................................................

.................................................................................................................................................................................................................................................................................................................................................................

.........

..........

..........

.........

..........

.........

.........

.........

.........

.........

......... z1z2

11

. ...

...............

.................................. . . . . . . . . .

. . .. . .

1

1

................................................................................................................................................................................................................................................ ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......................

...................

z1

z2

rrrr

r........

.....

............................ . . . . . . . .

...........

4 Viele mogliche z-Transformationen im Multivariaten

4 Immerhin :

• Bei allen z-Transformationen z = A(x − x) gilt :

A′A = S−1


Mahalanobisdistanz.

? Motivierendes Beispiel : Stellenbewerbung

− Zwei Bewerber

→ Kriterium : Personlichkeitsvariablen

− Ordnung (O)

− Sauberkeit (S)

− Punktlichkeit (P)

− Grundstimmung (G)

→ Idealprofil : 4, 3, 3, 4

Wilhelm Wohlgemuth : 1, 2, 1, 5

Max Murrisch : 5, 4, 5, 1

O S P G

1.........................................................................................................................................................................................................................................

...................

........................................................................................................................................................................................................................................

............................

............................

...............................................................................................................

.......................................................................................................................................................................................................................................................

............................

............................

..........................................................................................................................................................................

IWW

MM

? Wen nehmen ?

→ Aufgabe : Profile vergleichen ! ( Bewerber mit Ideal )


→ Aufgabe : Profile vergleichen !

� Eine Moglichkeit :

Profile als Punkte im R4

Euklidischer Abstand als Ahnlichkeitsmaß

→Wahle Bewerber mit kleinstem Abstand zum Idealprofil

→ Also :

− Skalenweise Differenzen quadrieren

− Aufsummieren

− Vergleichen

→ Problem : Abhangigkeit von Skalierung der Variablen

− Losungsmoglichkeit : Vergleichbarkeit uber z-Transformationen

→Weiteres Problem : Korrelationen


? Einfaches Beispiel : Nur zwei Variablen x1 und x2

− Idealprofil : 3, 2

− Bewerber A : 2.5, 2.8

− Bewerber B : 1.9, 1.5

Geometrische Darstellungen :

x1 x2

1

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

........................

...................

...........................................................................................................................

............................................

.........

.............................................................................

I

A

B

1

1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................

x1

x2

rrr.....

..............

. .. . .

xA

xB

xI

→ A ist geeigneter

→ Zusatzinformation :

− Idealprofil ist Durchschnitt vieler Erfolgreicher

− Kovarianzmatrix ist bekannt


→ Darstellung mit Ellipse und multivariate z-Transformation

1

1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................

x1

x2

rrrxA

xB

xI

.............................................................................................................................................

......................................................................................................................................................................................................................................................................................................................................................

...........................

1

................................................................................................................................................................................................................................................ ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......................

...................

z1

z2

rr

rzA

zB zI ............................................................

.........................

..........................................................................................................................................................................................................................................................................................................................................................................

→ B passt eher in die Population der Erfolgreichen

→ Alternativvorschlag zum Profilvergleich

� Erst multivariate z-Transformation, dann Abstandsbildung

→ Diese Distanz ist die Mahalanobisdistanz

B Statistisch motiviertes Distanzmaß

B Misst gewissermaßen statistische Abweichung ( hier : von Norm )

♦ Mahalanobisdistanz von x1 und x2 bezuglich S :((x2 − x1)

′S−1(x2 − x1))1/2


→ Spezialfall :

−Wahl der Mahalanobistransformation als z-Transformation

→ Dann :

− Mahalanobisdistanz ist euklidische Distanz zwischen

Mahalanobis-transformierten Punkten

? Welche Punkte besitzen die Mahalanobisdistanz r zu x ?

Bedingung :

(x − x)′S−1(x − x) = r2

→ Ergebnis : Oberflache von E(S, x, r)

B Das Ellipsoid E(S, x, r) ist die Menge der Punkte,

deren Mahalanobisdistanz vom Zentroid < r ist

4 Enge Beziehung zwischen Verteilungsellipsoid und

Mahalanobisdistanz


Definition der Hauptkomponenten.

♣ Ausgangspunkt : In einer Stichprobe sind erhoben

− p Variablen x1, . . . , xp ( x )

− x : Zentroid

− S : Kovarianzmatrix

→ Spektralzerlegung S = GDG′

− D enthalt die absteigenden Eigenwerte λ1, . . . , λp von S

− G enthalt spaltenweise zugehorige Eigenvektoren

♦ Die Hauptkomponenten sind die Komponenten des Vektors

y := G′(x − x)

4 Die j-te Hauptkomponente ist SLK der Variablen xi

− Koeffizientenvektor : Eigenvektor zu λj

− Mittelwert : 0

4 Vorteil der Zentriertheit :

→ Uber/Unterdurchschnittlichkeit ist unmittelbar erkennbar

2.4 Hauptkomponenten MS13 78

Hauptkomponententransformation.

♦ Die Transformation

y := G′(x − x)

heißt Hauptkomponententransformation

B Koeffizientenmatrix : G

→ Die Transformation ist affin wegen

y = G′(x − x) = G′x − G′x

→ Umkehrung :

x = Gy + x

B x kann aus y vollstandig rekonstruiert werden

B Kein Informationsverlust


? Beispiel : Datenmatrix 2 1

4 3

1 1

5 2

3 3

x =

(3

2

)S =

(2 .8

.8 .8

) Eigenwerte : 2.4 .4

Eigenvektoren :

√1

5

(2

1

) √1

5

(−1

2

)( Lange 1 )

G =1√5

(2 −1

1 2

)

→ Hauptkomponententransformation :

y = G′(x − x) =1√5

(2 1

−1 2

)((x1x2

)−

(3

2

))

=

(0.894 0.447

−0.447 0.894

) (x1x2

)−

(3.578

0.447

)

→ Ausgeschrieben :

y1 = 0.894x1 + 0.447x2 − 3.578

y2 = −0.447x1 + 0.894x2 − 0.447

B Beachte : Summe der quadrierten Koeffizienten ist 1


Transformierte Werte :−1.342 −0.447

1.342 0.447

−2.236 0

1.789 −0.894

0.447 0.894

Geometrische Interpretation :

→ Hauptkomponententransformation

y = G′(x − x)

Koordinatenwechsel zu neuem affinen Koordinatensystem

− Neuer Nullpunkt : x

− Neue Achsen : parallel sind zu den Eigenvektoren von S

− Einheiten der Lange 1

1

1

.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.........................

...................

x1

x2

r

r

rr

r

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

............................

.........................................................

.................................................................................................................................................................................................................................................................................................................................................................

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

...............

y1y2

1

1

........

.............................

.......................................................................................

...........

.

1

1

................................................................................................................................................................................................................................................ ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......................

...................

y1

y2

rrr

r

r................

..........

...............

.........

......................................................................................


Distanzen bei Hauptkomponententransformation.

• Hauptkomponententransformation : Distanzen bleiben erhalten

B Grund : Orthogonalitat von G

→ Fur x1 und x2 mit Bildern y1 und y2 gilt also

‖y2 − y1‖2 = ‖x2 − x1‖2

B Die’Metrik ‘ bleibt gleich, Abstande andern sich nicht

B Zentrale Eigenschaft

− fur unterschiedlichen Zugange zur Hauptkomponentenanalyse

− fur Interpretation

→Wunschenswert :

− Euklidischer Abstand ist inhaltlich sinnvoll interpretierbar

→ Gleicher Abstand von Punktepaaren ←→

inhaltlich gleiche Unterschiede der Probandenpaare (!!!)

B Nicht zusammenhangende Skalen der Einzelvariablen

→ Interpretation der Hauptkomponenten ist problematisch


Kennwerte der Hauptkomponenten.

→ Zentroid :

y = G′x − G′x = 0

→ Kovarianzmatrix:

G′SG′′ = G′GDG′G′′ = D

• Hauptkomponenten : standardisierte Linearkombinationen

− zentriert

− unkorreliert

− Varianzen : Eigenwerte von S

4 Definition ist uneindeutig

→ besonders bei multiplen Eigenwerten

→ Mehrere Moglichkeiten der speziellen Wahl von G

B Kaum negative Konsequenzen fur praktische Zwecke


Viele Fragen – eine Antwort :

Hauptkomponenten.

� Varianzmaximierung

→ Die Hauptkomponenten ziehen aus den Daten sukzessiv

maximale Varianzanteile heraus

→ Alternative Charakterisierung

→ Ziel : Erfasse mit Linearkombinationen moglichst viel

Unterschiedlichkeit der Daten

4 Sinnvoll : Beschrankung auf SLKn

− Messen mit dem multivariaten Maß

− Vorteil : Varianz ist’Varianz‘ der Punktwolke in Richtung des

Koeffizientenvektors

→ Varianz als Maß der erfassten Datenvariation

→ Direkter Vergleich unterschiedlicher SLKn ist moglich

4 Keine wesentliche Einschrankung

→ Jede Linearkombination ist eine umskalierte SLK

B Voraussetzung fur sinnvolle Interpretation :

→ Distanzen ←→ Maß der Verschiedenheit


? Welche SLK besitzt maximale Varianz ?

Formal :

SLK sei ∑aixi + b = a′x + b

B ‖a‖ = 1

Varianz der SLK ist

a′Sa

Aufgabe also :

→ Maximiere mit a der Lange 1 den Ausdruck

a′Sa

→ Losungen:

− Eigenvektoren der Lange 1 zum großten Eigenwert

− Das Maximum ist der großte Eigenwert

• Die erste Hauptkomponente ist eine Losung des Problems

• Charakterisierung der ersten Hauptkomponente uber

Varianzmaximierung ohne Bezug zum Spektralsatz

4 Analog hat die letzte Hauptkomponente minimale Varianz


Charakterisierung der weiteren Hauptkomponenten.

→ Aufgabe :

− Finde eine SLK maximaler Varianz,

− die zur ersten Hauptkomponente unkorreliert ist !

B Varianz soll nicht’mehrfach ‘ erfasst werden

→ Losung : Zweite Hauptkomponente

− Varianz : Zweiter Eigenwert

... und so weiter ...

→ Aufgabe : Finde sukzessiv q zentrierte SLKn yi

− mit jeweils maximaler Varianz

− unter der Nebenbedingung der Unkorreliertheit

→ Losung : Erste q Hauptkomponenten

4 Problemfall : S singular

→ Etwas kompliziertere Formulierungen

4 Bemerkenswert : Die Koeffizientenvektoren sind orthogonal

B Dies folgt nicht aus der Unkorreliertheit !


→ Inhaltliche Bedeutung der Varianzmaximierung ?

→ Voraussetzung fur Interpretierbarkeit :

→ Ausdehnungen der Punktwolke in unterschiedlichen Richtungen

sollen inhaltlich sinnvoll vergleichbar sein

→ Unter der Voraussetzung

Euklidische Distanz ←→ Maß der Verschiedenheit

→ Maximale Ausdehnung ←→ Deutlichste Verschiedenheit

→ In der ersten Hauptkomponente zeigen sich die Unterschiede

zwischen den Versuchspersonen am deutlichsten

4 Vorteil der Zentriertheit :

Vorzeichen zeigt Uber- oder Unterdurchschnittlichkeit

→ Entsprechend fur die weiteren Hauptkomponenten

4 Zur Forderung der Unkorreliertheit

→ Vorangehende Hauptkomponenten leisten nichts zur

Vorhersage der folgenden ( im Sinne der linearen Regression )


Partitionierung der Hauptkomponenten.

→ Partitionierung der Hauptkomponenten

− in die ersten q ( wichtigen )

− und die letzten p− q ( unwichtigen )

y =

(y1

y2

)

→ Analoge Zerlegung von G :

G = (G1|G2)

→ Hauptkomponententransformation dann :

(y1

y2

)=

(G1′

G2′

)(x − x)

y1 = G1′(x− x) y2 = G2

′(x− x)


→ Hauptkomponententransformation partitioniert :

(y1

y2

)=

(G1′

G2′

)(x − x)

y1 = G1′(x− x) y2 = G2

′(x− x)

Rucktransformation x = Gy + x :

x = (G1|G2)

(y1

y2

)+ x

= G1y1 + G2y2 + x

= ( G1y1 + x ) + G2y2

B Zerlegung in wichtigen und unwichtigen Anteil

Analoge Zerlegung von D :

D =

(D1 0

0 D2

)

B D1, D2 : erste q und letzte p− q Eigenwerte

4 D1, D2 : Kovarianzmatrizen von y1 und y2


� Optimale Vorhersage.

→ Finde q Variablen, die x optimal vorhersagen

− im Sinne der multivariaten multiplen ( linearen ) Regression

B Summe der quadrierten Abweichungen soll minimal werden

4 Bedeutung der Metrik !

→ Losung : Die ersten q Hauptkomponenten

BWeitere Losungen uber Variablentransformationen

→ Vorhersagegleichung :

x = G1y1 + x

Aufgeklarte Varianz : Summe der q großten Eigenwerte

Fehlervarianz : Summe der letzten p− q Eigenwerte

B Vergleiche mit Rekonstruktion der Originalvariablen :

x = ( G1y1 + x ) + G2y2

Der Vorhersagefehler e ist G2y2


� Datenreduktion.

→ Ziel : Beschreibe Probanden mit weniger ( q ) Dimensionen

bei moglichst kleinem Fehler !

Prazisierung :

− Zugelassene Transformationen : Affine Abbildungen

− Zur Rekonstruktion zugelassen : Affine Abbildungen

− Fehler : Durchschnitt der quadrierten Abweichungen der

Originaldaten von den rekonstruierten Daten

B Abweichungsmaß verwendet Metrik des Variablenraums

→ Losung : Die ersten q Hauptkomponenten

BWeitere Losungen uber Variablentransformationen

→ Rekonstruierte Daten :

G1y1 + x

4’Rekonstruktion ‘ ist nur approximativ

→ Durchschnittliche quadrierte Abweichung :

Summe der letzten p− q Eigenwerte von S

B Naherungsweise Beurteilung der Ahnlichkeit von Probanden :

− Auch durch y1-Abstande ( statt x-Abstande )


Wahl von q.

→ Originaldaten = rekonstruierte Originaldaten + Fehler

→’Aufgeklarte ‘ Varianz :

λ1 + . . . + λq

→ Fehlervarianz :

λq+1 + . . . + λp

B Kompromiss bei Datenreduktion :

→ Verringerung der Dimension ↔ Fehlervarianz


Hauptkomponentenanalyse und Faktorenanalyse.

Rucktransformation der Hauptkomponenten mit G2y2 = e :

x = ( G1y1 + x ) + e

4 Ahnlichkeit zur Faktorenanalyse !

− Fehler sind mit y1 (’Faktoren ‘ ) unkorreliert

→ Unterschiede :

− Fehlende Standardisierung ( unwesentlich )

− Fehler sind untereinander nicht unkorreliert

B Entscheidender Unterschied :

− Hauptkomponenten sind aus Daten konstruiert

− Faktoren sind hypothetisch

B Entgegengesetzte Sichtweise :

− Faktorenanalyse : Faktoren erklaren Variable

− Hauptkomponentenanalyse : Hauptkomponenten sind

( gut brauchbare ) Linearkombinationen der Variablen


Standardisierte Hauptkomponenten.

− Oft verwendet

− Standardisierung hat gelegentlich Vorteile

− Ahnliche Darstellungen wie bei Faktorenanalyse ( ??! )

→ Transformationen der Hauptkomponenten

− Unter vielen Aspekten den Hauptkomponenten gleichwertig

B Abstandsinformation geht verloren !

� zj : Standardisierte j-te Hauptkomponente

� z : Vektor der standardisierten Hauptkomponenten

→ Berechnung :

z = D−1/2y = D−1/2G′(x − x)

4 Multivariate z-Transformation

→ Nach Entscheidung fur q Hauptkomponenten

� z1 : die ersten q der zj

→ Berechnung :

z1 = D1−1/2y1


→ Rekonstruktion der Originalvariablen.

4 Gemeint ist : Approximative Rekonstruktion

x = G1y1 + x = G1D11/2D1

−1/2y1 + x = G1D11/2z1 + x

� Abkurzung : L1 = G1D11/2

4 Spalten von L1 : Normalisierte Eigenvektoren von S

→ Rekonstruktion der Originalvariablen dann :

x = L1z1 + x

→ Eigenschaften von L1

− i-te Zeile : Regressionsgewichte fur Vorhersage von xi durch z1

− Summe der quadrierten Elemente zeilenweise :

Aufgeklarte Varianz ( absolut )

− Skalarprodukt von zwei Zeilen : Kovarianz von xi und xj

− Spalten sind orthogonal

− Summe der quadrierten Elemente spaltenweise :

Eigenwerte λj von S

BWegen Unkorreliertheit :

− Eigenwert λj gibt multivariat durch zj aufgeklarte Varianz

4 Ahnlichkeit zur Ladungsmatrix der Faktorenanalyse


? Beispiel

Kovarianzmatrix von 4 Variablen x1, x2, x3, x4 :

S =

2.7 1.4 0.28 1.54

1.4 12.3 3.46 0.28

0.28 3.46 12.3 1.4

1.54 0.28 1.4 2.7

Eigenwerte : 16, 9, 4, 1

Eigenvektoren der Lange 1 sind Spalten von

G =

0.1 0.1 0.7 0.7

0.7 0.7 −0.1 −0.1

0.7 −0.7 −0.1 0.1

0.1 −0.1 0.7 −0.7

→ Entscheidung : 2 Hauptkomponenten reichen

− Varianzaufklarung : 25/30 = 5/6 = .833

Berechnung von L1 :

L1 = G1D11/2 =

0.1 0.1

0.7 0.7

0.7 −0.7

0.1 −0.1

(

4 0

0 3

)=

0.4 0.3

2.8 2.1

2.8 −2.1

0.4 −0.3


L1 : 0.4 0.3

2.8 2.1

2.8 −2.1

0.4 −0.3

→ Eigenschaften von L1

− Spalten sind normalisierte Eigenvektoren

− Quadratsummen spaltenweise : 16 und 9 ( Eigenwerte )

− Quadratsummen zeilenweise : .25, 12.25, 12.25, .25

( Varianzaufklarung – vgl. : 2.7, 12.3, 12.3, 2.7 )

− Quadratsumme insgesamt : 25 ( Gesamtaufklarung, vgl.: 30 )

− Skalarprodukte zeilenweise : Kovarianzen der Vorhersagen

B Kovarianztreue Darstellungen : Analog zur Faktorenanalyse

B Rotationen : Analog zur Faktorenanalyse


Beschreibung einer Rotation.

♦ Rotierte ( erste ) Hauptkomponenten : u

Von Bedeutung einerseits :

� Kovarianzen oder Korrelationen der u-Variablen

andererseits : Zusammenhang von x und u

→ Aspekte :

� Herstellung von u aus x

� Kovarianzen oder Korrelationen zwischen x und u

� Vorhersage von x durch u

4 Vergleiche :

− Faktorstruktur und Faktormuster in Faktorenanalyse

→ Ein Aspekt mehr !


Abschließende Bemerkungen.

4 Hauptkomponenten haben viele angenehme Eigenschaften :

− Optimale Erfassung der Variabilitat

− Gute Beschreibung der Ausmaße der Punktwolke

− Optimale Approximation der Daten mit weniger Dimensionen

− Optimale Datenreduktion

− Optimale Vorhersage im Sinne der linearen Regression

B Nutzlich fur weitere Verarbeitung vieler Variablen :

→ Datenreduktion

? Beispiel :

− Vorhersage weiterer Variablen mit multipler Regression

→ Zusatzlicher scheinbarer Vorteil : Unkorreliertheit

B Probleme der Multikollinearitat sind nur verlagert

→Wesentlich :

− Abstande im Variablenraum sind inhaltlich interpretierbar


→ Problem : Hauptkomponenten bei Umskalierung der Variablen

− Beispiel : Einzelskalen ohne inhaltlichen Zusammenhang

→ Zugehoriges Transformationsverhalten der Hauptkomponenten

ist ( praktisch ) unkalkulierbar

− Interpretationen vor und nach Reskalierung konnen vollig

unterschiedlich sein

→ Hauptkomponentenanalyse bei Variablen, deren Skalen ohne

Zusammenhang sind, ist wenig sinnvoll

→ Losungsvorschlag :

− Analyse von standardisierten Daten

− Also : Korrelationsmatrix statt Kovarianzmatrix

4 Losung durch Normierung – oder nur Scheinlosung ?

? Wieso sind standardisierte Skalen weniger willkurlich ?

→ Oft : Statistische Vergleichbarkeit ( naturliche Schwankung )


Mittelwertvektor und empirische Kovarianzmatrix.

♣ Ausgangspunkt : Zu erhebende Datenmatrix X

− n Zeilen ↔ Versuchspersonen (oder Versuchsobjekte)

− p Spalten ↔ Variablen

4 i-te Zeile : Werte der i-ten Vp in den p Variablen

� xi : transponierte i-te Zeile, Ergebnisvektor der i-ten Vp

4 j-te Spalte : Werte der n Vpn in der j-ten Variable

− der zur j-ten Variable gehorende Datenvektor

♣ Generelle Annahme :

− Die xi sind unabhangig

− Alle xi haben die gleiche Verteilung

− Erwartungswert : µ Kovarianzmatrix : Σ

? Beispiele :

? Datenvektoren zu unabhangig aus einer Population zu

ziehenden Personen

? Datenvektoren, die zu unabhangigen Replikationen desselben

Versuchs gehoren

2.5 Verteilungen MS13 101

→ Mittelwertvektor x :

• E(x) = µ V(x) = (1/n)Σ

Mittelwert in Matrizenschreibweise :

x = (1/n) X′1

Kovarianzmatrix :

S = (1/n) X′ZX

→ E(S) = ((n− 1)/n) Σ

� Su := (n/(n− 1)) S Erwartungswert : Σ

B u :’unbiased ‘ oder

’unverzerrt ‘, d.h. erwartungstreu

� nS = (n− 1) Su = X′ZX : SSCP-Matrix

− Erwartungswert : (n − 1) Σ

B Sum of Squares and Cross Products

4 Vorstufe fur S und Su


Die multivariate Normalverteilung.

♦ Ein p-dimensionaler Zufallsvektor x heißt multinormalverteilt,

wenn jede Linearkombination der Komponenten von x

mit Varianz 6= 0 normalverteilt ist

� Alternativformulierung : Die xi sind gemeinsam normalverteilt

• Mit x ist auch jedes y = Ax + b multinormalverteilt

→ Existenz multinormalverteilter Variablen :

• Ist Σ(p× p) positiv semidefinit und µ ein p-Vektor, so gibt

es eine multinormalverteilte Variable x mit Erwartungswert

µ und Kovarianzmatrix Σ

→ Charakterisierung durch Erwartungswert und Kovarianzmatrix :

• Durch den Erwartungswert µ und die Kovarianzmatrix Σ ist

eine Multinormalverteilung eindeutig bestimmt

♦ Die Multinormalverteilung mit Erwartungswert µ und

Kovarianzmatrix Σ heißt

N(µ,Σ) oder Np(µ,Σ)

� Besitzt x diese Verteilung, so schreibt man

x ∼ Np(µ,Σ)


♣ Voraussetzung: x ∼ Np(µ,Σ)

� Σ singular :

→ x nimmt mit Wahrscheinlichkeit 1 Werte in dem affinen

Unterraum parallel zu Bild(Σ) durch µ an

� Σ regular :

→ Die Verteilung von x besitzt Dichtefunktion :

1√det(2πΣ)

e−1

2(x− µ)′Σ−1(x− µ)

Dichtefunktion ist konstant auf der Oberflache von E(Σ, µ, r)

B Diese Punkte haben Mahalanobisdistanz r zu µ

? Beispiel : Einige Hohenlinien der N2(µ,Σ)-Verteilung mit

µ =

(2

1

)und Σ =

(2 .8

.8 .8

)

1

1

....................................................................................................................................................................................................................................................................................................................................................................................... ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......................

...................

x1

x2

p................................................

...................................................................................................................................................................................................................

...............................................................................................................................................................................................................................................

...................................................................................................................................

.................................................................................................................................................................................................................................................................................................

................................

.................................................................................................................................

.........................................................................................................................................................................................................................................................................................................................................................

.........................................

...............................................................................................................................................................

......................................................................................................................................................................................................................................................................................................................................................................................................

.................................

................................................................................................................................................................................................

.............................................................................................................................................................................................................................................................................................................................................................................................................................................

..........................................

.............................................

..............................................................................................................................................................................................................

....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

............................................

.................................

.......................................................................................................................................................................................................................................................................

............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

..............................................

...................................

........................

....................................................................................................................................................................................................................................................................................................

.............................

............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

..........................................

..................................

............................


Gemeinsame Verteilungen.

♦ Zwei Zufallsvektoren x und y heißen gemeinsam

(multi)normalverteilt, falls der Zufallsvektor (x,y)

multinormalverteilt ist

B Aneinanderfugen:

(x1, . . . , xp)′ , (y1, . . . , yq)

′ → (x1, . . . , xp, y1, . . . , yq)′

B x und y mussen auf dem gleichen Wahrscheinlichkeitsraum

definiert sein

? Beispiel : Zwei mehrdimensionale Merkmale auf der gleichen

Population (die dann aber unendlich groß sein musste)

♦ Die Verteilung von (x,y) heißt gemeinsame Verteilung von

x und y

→ Analog fur mehr als zwei Zufallsvektoren

♣ Haufige Situation : Aus x ∼ Np(µ,Σ) werden mehrere neue

Variable yi = Aix + bi hergestellt

− Dann sind die yi gemeinsam multinormalverteilt

− C(yi,yj) = AiΣA′j

− Ist C(yi,yj) = 0 , so sind yi und yj unabhangig


Univariate Anwendungen.

♣ Situation :

− x1, . . . , xn sind unabhangige Versionen von x ∼ N(µ, σ2)

− Mittelwert : x Korrigierte Stichprobenvarianz : s2

Fur x = (x1, . . . , xn)′ gilt

x ∼ Nn(µ1, σ2I)

• x und s2 sind unabhangig und es gilt

x ∼ N(µ, σ2/n) und (n− 1)s2 ∼ σ2χ2n−1

B Begrundung uber Projektionen auf orthogonale Unterraume

→ Projektionen auf Unterraume :

♣ Situation ( Beispiel : Varianzanalyse ) :

− x ∼ Nn(µ, σ2I) (µ ist jetzt beliebig)

− P ist orthogonale Projektion auf U mit dim(U) = m

• ‖Px‖2 ∼ σ2χ2m, δ2 mit δ2 = ‖Pµ‖2/σ2


• ‖Px‖2 ∼ σ2χ2m, δ2 mit δ2 = ‖Pµ‖2/σ2

B Nonzentralitatsparameter : Ersetze x durch µ

− Zusatzlich : Division durch σ2

B Spezialfall : P = I

‖x‖2 ∼ σ2χ2n, δ2 mit δ2 = ‖µ‖2/σ2

→ Orthogonalitat und Unabhangigkeit :

• Ist x ∼ Nn(µ, σ2I) und sind P1, . . . ,Pk orthogonale

Projektionen auf paarweise orthogonale Unterraume, so sind

die Variablen ‖Pix‖2 gemeinsam unabhangig

• Ist x ∼ Nn(µ, σ2I) , ferner P eine orthogonale Projektion

auf einen Unterraum U und y = Ax + b mit AP = 0 ,

so sind die Variablen ‖Px‖2 und y unabhangig

B Unabhangigkeit ↔ Orthogonalitat

? Anwendungsbeispiel : Varianzanalyse


Die Situation der multivariaten Varianzanalyse.

♣ Situation wie univariate Varianzanalyse, außer :

− p abhangige Variablen Y1, . . . , Yp statt nur einer

? Beispiel : Auswirkung von Entspannungsverfahren

→ Mehrere Entspannungsindikatoren

� Notation :

− J : Anzahl der Bedingungen

− nj : Anzahl der Beobachtungen in Bedingung j

− N : Gesamtzahl der Beobachtungen (∑nj )

− p : Anzahl der abhangigen Variablen

− yj : Abhangige Variable in Bedingung j ( p-Zufallsvektor )

− µj : Erwartungswert von yj

→ Hypothesen :

H0 : µ1 = µ2 = . . . = µJ

H1 : nicht H0

B Gleichzeitige Suche nach Unterschieden in p Dimensionen

→ Vergleiche Variation innerhalb mit Variation der Zentroide

2.6 Multivariate Varianzanalyse MS13 108

? Beispiel : 3 Gruppen , 2 Variable

− Zwei Entspannungsverfahren und Kontrollgruppe

− Abhangige Variablen : Herzrate und Hautwiderstand

→ Datenmatrix :

Y =

8 2

7 1

6 3

3 2

1 4

7 3

4 5

4 4

4 J = 3 n1 = 3 n2 = 2 n3 = 3 N = 8 p = 2

→ Mittelwertvektoren yj und y ( gesamt )

y1 =

(7

2

)y2 =

(2

3

)y3 =

(5

4

)y =

(5

3

)

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

rrrb

bue


Quadratsummenzerlegung.

→ Ziel : Zerlegung der Datenvariation in

− Variation zwischen den Gruppen

− Variation innerhalb der Gruppen

→ Erinnerung an univariate Varianzanalyse :

SSt = SSb + SSw

Formulierung mit Hilfe von Projektionen :

y′Pty = y′Pby + y′Pwy

SSt = SSb + SSw

B Erinnerung :

− Pb und Pw sind orthogonal

− Pt = Pb + Pw

− Pt ist die Zentriermatrix


→ Quadratsummenzerlegung

B Hilfsmittel : Projektionen Pt = Pb + Pw

→Wie im Univariaten :

y′Pty = y′Pby + y′Pwy

SSt = SSb + SSw

− so auch im Multivariaten :

Y′PtY = Y′PbY + Y′PwY

T = B + W

? Im Beispiel:

T =

(40 −12

−12 12

)B =

(30 −6

−6 6

)W =

(10 −6

−6 6

)

4 T , B und W sind

− symmetrische (p× p)-Matrizen

− positiv semidefinit

B Der Rang von B ist hochstens J − 1


Deutung von T, B und W.

Pt ist die Zentriermatrix

→ T = Y′PtY ist die SSCP-Matrix aller Daten

4 T ist Indikator fur Gesamtvariation (Vorstufe zu S)

B Erinnerung an P und Pw

− P : Daten −→ Zellmittelwerte

− Pw : Daten −→ Residuen

? Beispiel :

Y =

8 2

7 1

6 3

3 2

1 4

7 3

4 5

4 4

PY =

7 2

7 2

7 2

2 3

2 3

5 4

5 4

5 4

PwY =

1 0

0 −1

−1 1

1 −1

−1 1

2 −1

−1 1

−1 0

Erinnerung : Pb = PtP = PPt

Folgerung : Pb = P′PtP


→ Deutung von B

Wegen Pb = P′PtP

B = Y′PbY = Y′(P′PtP)Y = (PY)′Pt(PY)

→ B ist die SSCP-Matrix zu PY

B In PY sind die Daten durch ihre Gruppenzentroide ersetzt

4 B ist Indikator fur die Variation der Gruppenzentroide

4 Der Rang von B ist hochstens J − 1

− Rang ist Dimension der affinen Hulle der Zentroide

→ Deutung von W

W = Y′PwY = Y′P′wPwY = (PwY)′(PwY)

→ PwY : Zellenweise Zentrierung

Y =

8 2

7 1

6 3

3 2

1 4

7 3

4 5

4 4

PY =

7 2

7 2

7 2

2 3

2 3

5 4

5 4

5 4

PwY =

1 0

0 −1

−1 1

1 −1

−1 1

2 −1

−1 1

−1 0


→ Deutung von W

Partitioniere PwY durch die Gruppengrenzen

PwY =

Y1...

YJ

� Benennung Yj wegen Zentrieren zellenweise

? Beispiel:

Y1 =

8 2

7 1

6 3

Y1 =

1 0

0 −1

−1 1

Berechnung von W:

W = (PwY)′(PwY) =(Y′1 . . . Y′J

)Y1...

YJ

=∑

Y′jYj

? Im Beispiel:

W =

(10 −6

−6 6

)=

(2 −1

−1 2

)+

(2 −2

−2 2

)+

(6 −3

−3 2

)

4 W ist Summe der Gruppen-SSCP-Matrizen


Zwischenergebnis :

− T : SSCP-Matrix der Daten

− B : SSCP-Matrix der Gruppenzentroide

− W : SSCP-Matrix der Residuen

Dividiere T = B + W durch N

→ Additive Zerlegung der Kovarianzmatrix der Daten in

− Kovarianzmatrix der Zentroide

− Kovarianzmatrix der Residuen

Deutung der Diagonalelemente von T , B und W :

→ SSt , SSb und SSw der Einzelvariablen

→ Diagonale von T = B + W :

− Univariate Quadratsummenzerlegungen

? Im Beispiel :(40 −12

−12 12

)=

(30 −6

−6 6

)+

(10 −6

−6 6

)


Berechnungen.

! Formeln T = Y′PtY, B = Y′PbY, W = Y′PwY

sind nicht zur praktischen Rechnung geeignet

→ T : SSCP-Matrix

− Bis auf (1/N) Kovarianzmatrix der Daten

→ W : Summe der Gruppen-SSCP-Matrizen

→ Berechnung von B :

B =∑

nj(yj − y)(yj − y)′

4 Verallgemeinerung der univariaten Formel fur SSb

? Im Beispiel :

B = 3

(2

−1

)(2 −1

)+2

(−3

0

)(−3 0

)+3

(0

1

)(0 1

)=

(30 −6

−6 6

)

BWegen T = B + W :

→ Nur zwei großere Rechnungen notig


Verteilungsvoraussetzungen.

4 B und W spielen zentrale Rolle bei der Auswertung

? Verteilung ?

→ Hierzu : Verteilungsvoraussetzungen fur Y

− Also : Voraussetzungen der multivariaten Varianzanalyse

B Y ist jetzt Zufallsmatrix

♣ Die Zeilen von Y sind

− gemeinsam unabhangig

− jeweils Np(µj,Σ)-verteilt mit invertierbarem Σ

4 Voraussetzungen analog zur univariaten Varianzanalyse :

− Unabhangigkeit

− Normalverteilung

− Varianzhomogenitat

→ Folgerung : E ( W / (N − J) ) = Σ

4 Bei Gultigkeit von H0 :

− Alle Zeilen von Y haben gleichen Erwartungswert µ

B Weitere Voraussetzung : N ≥ J + p


Teststatistiken.

B Im Unterschied zum univariaten Fall :

→ Vier ublicherweise verwendete Teststatistiken

−Wilks’ Λ

− Roys Maximalwurzel

− Pillai-Bartlett-Spur

− Hotelling-Lawley-Spur

4 Ein Hintergrund : Verschiedene Konstruktionsprinzipien

→ Unterschiedliche Eignung in unterschiedlichen Situationen

4 Spezialfall p = 1 : Alle Tests sind aquivalent zu F

B Im Fall p ≥ 2 :

− Es kann sein, dass ein Test signifikant wird, ein anderer nicht

B Grundlage aller Tests : B und W

→ Genauer : Nur die Eigenwerte von W−1B


Wilks’ Λ.

♦ Wilks’ Λ ist definiert als

Λ =det(W)

det(W + B)=

det(W)

det(T)

? Berechnung im Beipiel :

T =

(40 −12

−12 12

)B =

(30 −6

−6 6

)W =

(10 −6

−6 6

)

→ Λ =det(W)

det(T)=

24

336= .0714

4 Interpretation :

− Vergleich der Streuung in den Zellen mit der Gesamtstreuung

B Kleine Werte sprechen gegen H0


→ Verteilung von Λ

♦ Verteilung von Λ unter H0 : Λ(p, ne, nh)

− p : Anzahl der Variablen

− ne : Fehlerfreiheitsgrade N − J

− nh : Hypothesenfreiheitsgrade J − 1

4 Freiheitsgrade wie im Univariaten

? Im Beispiel : Λ(2, 5, 2)-Verteilung unter H0

Kritischer Wert (5%) : .117368

→Wegen Λ = .0714 wird H0 verworfen

B Links abschneiden !

4 Bezeichnung der Parameter ist uneinheitlich

4 Oft Approximationen durch F -Verteilungen nach geeigneten

Transformationen


Roys Maximalwurzel.

! Leider unterschiedliche Definitionen

♦ Definition 1 :

− Roys Maximalwurzel θ1 ist der großte Eigenwert von T−1B

♦ Definition 2 :

− Roys Maximalwurzel λ1 ist der großte Eigenwert von W−1B

B Unterscheidung durch Bezeichnung θ1 oder λ1

4 T−1B und W−1B sind im Allgemeinen nicht symmetrisch

→ Sie haben trotzdem p nichtnegative Eigenwerte

4’Wurzel‘ : Nullstelle des charakteristischen Polynoms

� Auch : großter Eigenwert

? Im Beispiel :

T−1B =

(6/7 0

5/14 1/2

)W−1B =

(6 0

5 1

)

Eigenwerte : 6/7 und 1/2, bzw. 6 und 1

→ θ1 = 6/7 = 0.8571 λ1 = 6


B θ1 und λ1 sind ineinander transformierbar :

λ1 =θ1

1− θ1θ1 =

λ11 + λ1

B Transformationen sind streng monoton

→ Tests sind nur oberflachlich verschieden

Interpretation zunachst schwierig

Die Eigenwerte von T−1B und W−1B

− gestatten eine Art Vergleich von B mit T bzw. W

→ Große Werte sprechen gegen H0

♦ Verteilung von θ1 unter H0 : θmax(p, ne, nh)

? Im Beispiel : θmax(2, 5, 2)-Verteilung unter H0

Kritischer Wert (5%) : .8577

→Wegen θ1 = .8571 wird H0 nicht verworfen

B Rechts abschneiden !

B Λ war signifikant !


Die Pillai-Bartlett-Spur.

♦ Die Pillai-Bartlett-Spur ist die Spur von T−1B

? Im Beispiel :

T−1B =

(6/7 0

5/14 1/2

)

→ Die Pillai-Bartlett-Spur ist 6/7 + 1/2 = 19/14 = 1.3571

4 Interpretation : Eine Art Vergleich zwischen B und T


Die Hotelling-Lawley-Spur.

♦ Die Hotelling-Lawley-Spur ist die Spur von W−1B

? Im Beispiel :

W−1B =

(6 0

5 1

)

→ Die Hotelling-Lawley-Spur ist 6 + 1 = 7

4 Interpretation : Eine Art Vergleich zwischen B und W


4 Bei Pillai-Bartlett-Spur und Hotelling-Lawley-Spur :

− Oft Approximationen durch F -Verteilungen nach geeigneten

Transformationen


Spezialfall J = 2 : Hotellings T 2.

→ Erwartungstreue Schatzung von Σ durch

Su =1

n1 + n2 − 2W =

1

n1 + n2 − 2(n1S1 + n2S2 )

♦ Hotellings T 2 ( im Zweistichprobenfall ) ist

T 2 =n1n2n1 + n2

( y2 − y1 )′ S−1u ( y2 − y1 )

B T 2 ist Schatzung

− der quadrierten Mahalanobisdistanz von y2 und y1

− bezuglich Kovarianzmatrixn1 + n2n1n2

Σ von y2 − y1

B Spezialfall p = 1 : T 2 = t2

→ H0 ist fur große Werte zu verwerfen

4 Aquivalenz zur Hotelling-Lawley-Spur HLS :

→ T 2 = (N − 2) HLS


? Beispiel : 2 Gruppen mit je 3 Personen, p = 2

Y =

8 2

7 1

6 3

7 3

4 5

4 4

Zentroide :

y1 =

(7

2

)y2 =

(5

4

)

SSCP-Matrizen :(2 −1

−1 2

) (6 −3

−3 2

)

y2 − y1 =

(−2

2

)Su =

1

4

(8 −4

−4 4

)=

(2 −1

−1 1

)

→

T 2 =n1n2n1 + n2

( y2 − y1 )′ S−1u ( y2 − y1 )

=3 · 33 + 3

(−2 2

) (1 1

1 2

) (−2

2

)= 6


Testen von T 2.

� p : Variablen N : Versuchspersonen

→ Unter H0 :

F =N − p− 1

(N − 2)pT 2 ∼ Fp,N−p−1

Vergleiche mit Fp,N−p−1;α

? Im Beispiel : (α = 5%)

F =N − p− 1

(N − 2)pT 2 =

6− 2− 1

(6− 2) 2T 2 =

3

86 = 2.25

Fp,N−p−1;α = F2, 3; .05 = 9.55

→ Nicht signifikant


Eigenwerte.

� λ1, . . . , λp : Eigenwerte von W−1B (absteigend)

� θ1, . . . , θp : Eigenwerte von T−1B (absteigend)

• θi =λi

1 + λiλi =

θi1− θi

B Gleiche Eigenvektoren

1

1

....................................................................................................................................................................................................................................................................................................................................................................................... ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

......................

...................

x

yy = x/(1 + x)

..................................................

...............................................

.......................................................................................................

.......................................................................................................................................................................

1

1

.................................................................................................................................................................. ..........................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

........................

...................

y

x

x = y/(1− y)

........................................................................................................................................................................................................................................................................................................

4 Transformationen sind monoton


Eigenwerte und Statistiken.

− Λ =

p∏i=1

1

1 + λi=

p∏i=1

(1− θi)

− θ1 =λ1

1 + λ1λ1 =

θ11− θ1

− Spur(T−1B) =

p∑i=1

λi1 + λi

=

p∑i=1

θi

− Spur(W−1B) =

p∑i=1

λi =

p∑i=1

θi1− θi

? Im Beispiel :

λ1 = 6 λ2 = 1 θ1 = 6/7 θ2 = 1/2

Beispielsweise gilt θ1 = λ1/(1 + λ1) = 6/(1 + 6) = 6/7

− Λ =

p∏i=1

(1− θi) = (1− 6/7)(1− 1/2) = 1/14 = .0174

− Spur(T−1B) =

p∑i=1

θi = 6/7 + 1/2 = 19/14 = 1.3571

− Spur(W−1B) =

p∑i=1

λi = 6 + 1 = 7


Spezialfall J = 2.

Rang(B) ≤ 1

λ2, . . . , λp und θ2, . . . , θp sind 0

→ Alle Statistiken sind monotone Funktionen von λ1

• Alle vier Statistiken sind aquivalent

4 Aquivalenz auch zu Hotellings T 2

Invarianz.

Invertierbare Transformation aller Daten mit u = Ay + b

Varianzanalyse mit den transformierten Daten

→ Teststatistiken bleiben gleich

• Invarianz der Tests bei invertierbaren affinen Transformationen


Wahl der Statistik.

? Welche Statistik soll man wahlen ?

→ Aspekte fur eine Antwort :

− Tradition

− Robustheit

− Moglichkeit von post-hoc-Tests

− Power

� Robustheit

→ Viel spricht fur die Pillai-Bartlett-Spur

� Moglichkeit von post-hoc-Tests

− bezuglich Unterschieden zwischen einzelnen Gruppen

( multivariate Kontraste )

− Linearkombinationen der Variablen

( Beispiel : Effekte in den einzelnen Originalvariablen )

→ Maximalwurzel ist UI-Test

→ Leider Anfalligkeit gegen Verletzung der Annahmen


� Power

→ Antwort abhangig

− von der Struktur der Erwartungswertkonstellation

− von dem Streuungsverhalten des Fehlers ( Σ )

Mogliche Strukturen :

− Konzentrierte Nonzentralitatsstruktur

Die µj liegen fast auf einer Geraden

→ Maximalwurzel reagiert sensibel

− Diffuse Nonzentralitatsstruktur

Die µj streuen gleichmaßig in J − 1 Richtungen

nach Mahalanobistransformation bezuglich Σ

→ Die drei anderen Statistiken sind vorzuziehen


Multivariates oder univariates Testen ?

→ Alternativen :

− Multivariate Varianzanalyse

− Univariate Varianzanalysen mit den Originalvariablen

→ Multivariate Varianzanalyse berucksichtigt alle

Linearkombinationen

? Sind (im Prinzip) alle Linearkombinationen interessant ?

→ Multivariate Varianzanalyse

? Geht es ausschließlich um die Originalvariablen ?

? Zusatzlich : Alpha-Adjustierung ?

→ Ohne Adjustierung : Eher univariate Analysen

→ Mit Adjustierung : Uneindeutig

4 Generell besser : Gezielte Fragen und passende Antworten

B Manchmal merkwurdige’Regeln ‘


? Multivariate und univariate Tests im Beispiel

♣ Die Matrizen :

T =

(40 −12

−12 12

)B =

(30 −6

−6 6

)W =

(10 −6

−6 6

)

4 J = 3 n1 = 3 n2 = 2 n3 = 3 N = 8 p = 2

B Λ war signifikant auf 5%-Niveau

→ Univariate F -Tests der beiden Variablen

Ergebnisse : (30/2)/(10/5) = 7.5 (6/2)/(6/5) = 2.5

F2, 5; .05 = 5.79

→ Signifikanz fur y1 (keine Adjustierung)

F2, 5; .025 = 8.43

→ Mit Adjustierung : Keine Signifikanz

Untersuche U = Y1 + Y2

F = (24/2)/(4/5) = 15

→ Effekt besonders deutlich bei geeigneter Linearkombination

→ Potentieller Vorteil der multivariaten Betrachtung


Diskriminanzfunktionen.

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

rrrb

bue

? Frage :

−Wo zeigt sich der Unterschied zwischen den Gruppen besonders

deutlich ?

− Als Variable : In welcher Linearkombination ?

− Geometrisch : In welcher Richtung ?

B Die Streuung innerhalb ist zu berucksichtigen

→ Prazisierung :

−Welche Linearkombination liefert ein maximales F ?

Gegeben : Linearkombination U =∑aiYi + b

→ Koeffizientenvektor : a

SSb = a′Ba

SSw = a′Wa

→ F =SSb/(J − 1)

SSw/(N − J)=

(N − J)

(J − 1)

a′Ba

a′Wa


→ Ziel : Maximierea′Ba

a′Wa

→ Losung :

− Maximum ist der großte Eigenwert λ1 von W−1B

− a ist zugehoriger Eigenvektor

→ Der maximale F -Bruch ist

(N − J)

(J − 1)λ1

? Im Beispiel :

W−1B =

(6 0

5 1

)

λ1 = 6 a = (1, 1)′

U = Y1 + Y2

Maximales F : (5/2) · 6 = 15

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

rrrb

bue

............................................................................................................

.....................

..........................

.....................................................................................................

............................................................................................................

.....................

..........................

.....................................................................................................

............................................................................................................

.....................

..........................

.....................................................................................................

.......................................................................................................................................................................................................................................................................................................................................................................................................................................


Veranschaulichung :

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

............................................................................................................

.....................

..........................

.....................................................................................................

r............................................................................................................

.....................

..........................

.....................................................................................................

r ............................................................................................................

.....................

..........................

.....................................................................................................

r.........

..................

..................

..................

..................

..................

..................

..................

..................

..................

..

..................

..................

..................

..................

..................

..................

..................

....

.............................................................

..................

..................

................

.........

.........................................................................................................................................................................................................................................................................................................................................................................................................

rr rrr

r.........

..................

..................

..................

..................

..................

..................

..................

................

...............................

..................

.............

B Deutliche Gruppentrennung ( jedenfalls teilweise )

→ Zum Vergleich

Eine weitere Linearkombination : Y2

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

............................................................................................................

.....................

..........................

.....................................................................................................

r............................................................................................................

.....................

..........................

.....................................................................................................

r ............................................................................................................

.....................

..........................

.....................................................................................................

r......................................................................................................................................................................................................................................................................

................................................................................................................................................................................................................................................................................................................................................

.................................................

...........................................................................................................................

.................................................................................................................................................................................

...........................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

....

rr rrrr

...........................................................................................................................................................................................................................................................................................................

......................................................................................

......................................................................................................................................................................................................................

Hier starkere’Uberlappung‘

→ Auch anschaulich : Kleineres F zu erwarten


Standardisierungen.

→ Falls U maximales F liefert, so auch jedes cU + d

→ Standardisieren !

→ Standardisieren allgemein :

U =∑aiYi + c Linearkombination

Koeffizientenvektor : a

Forderung : Mittelwert soll 0 werden

Forderung : Varianz soll 1 werden

? Welche Varianz ?

→ Auswahl der Versuchsbedingungen oft willkurlich

→ Gesamtvarianz dann nicht interpretierbar

→ Standardisiere bezuglich der Varianz innerhalb der Gruppen !

→ Enspricht Varianz in Einzelbedingung oder Einzelpopulation

♦ Varianz innerhalb der Gruppen : Varianz der Fehler


Kovarianz innerhalb der Gruppen.

♣ Gegeben Linearkombinationen

U =∑

aiYi + c V =∑

biYi + d

− Koeffizientenvektoren : a , b

→ Theoretische Kovarianz innerhalb der Gruppen : a′Σb

W/(N − J) schatzt Σ erwartungstreu

→ Erwartungstreue Schatzung von a′Σb durch

a′ (W/(N − J)) b = a′Wb/(N − J)

♦ Kovarianz von U und V innerhalb der Gruppen :

a′Wb/(N − J)

♦ Varianz von U innerhalb der Gruppen :

a′Wa/(N − J)

♦ Korrelation von U und V innerhalb der Gruppen :

a′Wb/(N − J)√a′Wa/(N − J)

√b′Wb/(N − J)

=a′Wb√

(a′Wa)(b′Wb)

4 Dies ist die gleichzeitig die Korrelation der Fehler

♦ Bezeichnung : Innergruppen-Korrelationen


→ Ziel : Standardisierung von U =∑aiYi + b

→ Transformation : c U + d

c = ±√

(N − J)/a′Wa

d = −c (a′y + b)

→Wahle das positive c

→ Standardisierung :

c U + d =

√N − Ja′Wa

(∑aiYi − a′y

)=

√N − Ja′Wa

∑ai(Yi − Yi)

� Yi : Mittelwert aller Daten von Yi

→ Neuer Koeffizientenvektor :√

(N − J)/(a′Wa) a

→ Neue additive Konstante : −√

(N − J)/(a′Wa) a′y

B Auch die Originalvariablen Yi konnen so standardisiert werden

♦ Zi : Standardisierte Originalvariable Yi

? Im Beispiel :

Z1 =√

5/10 (Y1 − 5) = .707Y1 − 3.535

Z2 =√

5/6 (Y2 − 3) = .913Y2 − 2.739


Erste Diskriminanzfunktion.

♣ Situation :

− U =∑aiYi ist Linearkombination mit maximalem F

− Koeffizientenvektor : a

− a ist Eigenvektor zum großten Eigenwert λ1 von W−1B

→ Standardisierung

♦ Die Standardisierung von U heißt erste Diskriminanzfunktion

� Bezeichnung : D1

B Standardisierung macht MSw zu 1

? Erste Diskriminanzfunktion im Beispiel :

D1 = 1.118Y1 + 1.118Y2 − 8.944

4 Eindeutigkeit hangt von Multiplizitat von λ1 ab

− Multiplizitat 1 : Eindeutigkeit bis auf Vorzeichen


Interpretation der Diskriminanzfunktion.

? Wieso sollte sie interpretierbar sein ?

→ Anhaltspunkte :

− Koeffizienten

− Korrelationen mit den Yi

? Welche Korrelationen ?

− Innergruppenkorrelationen womoglich oft sinnvoller

→ Bei Koeffizienten oft weitere Standardisierung

Umschreiben auf standardisierte Variablen

4 Vergleiche etwa : Ubergang zu β-Gewichten

? Im Beispiel :

D1 = 1.581Z1 + 1.225Z2

B Berechnung der Koeffizienten :

− a : Eigenvektor von W−1B zu λ1

− wii : i-tes Diagonalelement von W

− i-ter Koeffizient :√wii/a′Wa ai

? Korrelationen im Beispiel : .632 und 0

4’Diskrepanz ‘ zwischen Koeffizienten und Korrelationen


Weitere Diskriminanzfunktionen.

♣ Die erste Diskriminanzfunktion trennt die Gruppen optimal

? Welche Funktion trennt am zweitbesten etc.

→ Frage nur sinnvoll bei Nebenbedingungen

→ Nebenbedingung :

− Innergruppenkorrelation zu vorherigen Funktionen soll 0 sein

♦ Nach Standardisierung : Zweite, dritte ... Diskriminanzfunktion

→ Herstellung :

− Aus Eigenvektoren zu den weiteren Eigenwerten von W−1B

− Aufpassen bei multiplen Eigenwerten !

4 Die Diskriminanzfunktionen sind auch global unkorreliert

? Anzahl der ( sinnvollen ) Diskriminanzfunktionen ?

→ Anzahl der Eigenwerte 6= 0 von W−1B

→ Dimension des von den µj erzeugten affinen Unterraums

− Theoretische Ebene !

→ Hochstens J − 1


? Zweite Diskriminanzfunktion im Beispiel

Zweiter Eigenwert von W−1B : 1

Zugehoriger Eigenvektor : (0, 1)′

→ Zweite Diskriminanzfunktion ist Standardisierung von Y2

D2 = .913Y2 − 2.739 oder D2 = Z2

→ Innergruppenkorrelationen mit Y1 , Y2 : −.775 , 1

Graphische Veranschaulichung der Diskriminanzfunktionen

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

............................................................................................................

.....................

..........................

.....................................................................................................

r............................................................................................................

.....................

..........................

.....................................................................................................

r ............................................................................................................

.....................

..........................

.....................................................................................................

r.........

..................

..................

..................

..................

..................

..................

..................

..................

..................

..

..................

..................

..................

..................

..................

..................

..................

....

.............................................................

..................

..................

................

.........

.........................................................................................................................................................................................................................................................................................................................................................................................................

rr rrr

r.........

..................

..................

..................

..................

..................

..................

..................

................

...............................

..................

.............

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

............................................................................................................

.....................

..........................

.....................................................................................................

r............................................................................................................

.....................

..........................

.....................................................................................................

r ............................................................................................................

.....................

..........................

.....................................................................................................

r......................................................................................................................................................................................................................................................................

................................................................................................................................................................................................................................................................................................................................................

.................................................

...........................................................................................................................

.................................................................................................................................................................................

...........................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

....

rr rrrr

...........................................................................................................................................................................................................................................................................................................

......................................................................................

......................................................................................................................................................................................................................

4 Geraden zu D1 und D2 sind hier nicht senkrecht

B Vorsicht mit der Assoziation unkorreliert-senkrecht

4 Hier ist der 2. Eigenwert auch der kleinste

→ D2 ist eine Linearkombination , die am schlechtesten trennt


Sonderfall : Zwei Gruppen.

Hochstens ein Eigenwert von W−1B ist ungleich 0

→ Nur die erste Diskriminanzfunktion ist interessant

� Sprechweise :’Die ‘ Diskriminanzfunktion

→ Bestimmung :

Mit v = (y2 − y1) gilt hier :

W−1B =n1n2

(n1 + n2 − 2) (n1 + n2)S−1u vv′

Folgerung : der großte Eigenwert ist

λ1 =n1n2

(n1 + n2 − 2) (n1 + n2)v′S−1u v

Zugehoriger Eigenvektor beispielsweise :

S−1u v

Zugehoriger F -Bruch :

F =N − JJ − 1

λ1 =N − 2

1λ1 =

n1n2(n1 + n2)

v′S−1u v

B Hotellings T 2


→ Standardisierung

Multiplikation von a = S−1u v mit

√N − Ja′Wa

=

√N − 2

(S−1u v)′(N − 2) Su(S−1u v)=

√1

v′S−1u v

→ Koeffizientenvektor :

d1 =√

1/ (v′S−1u v) S−1u v

→ Additive Konstante :

−√

1/ (v′S−1u v) v′S−1u y

→ Standardisierung der Variablen selbst

� s2i : Diagonalelemente von Su

B Varianzschatzungen der univariaten t-Statistiken

→ Standardisierte Variablen :

Zi =1

si(Yi − yi) =

1

siYi −

yisi

Standardisierte Diskriminanzfunktionen in Zi :

→ Komponenten von d1 mal zugehorige si


? Beispiel.

♣ Situation (n1 = n2 = 3 )

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

rrr b

bbu

e

y1 =

(7

2

)y2 =

(5

4

)Su =

(2 −1

−1 1

)

Standardisierung der Variablen :

Z1 = Y1/√

2 − 6/√

2 = .707Y1 − 4.243

Z2 = Y2/√

1 − 3/√

1 = Y2 − 3

v′S−1u v = 4

λ1 =3 · 3

(3 + 3− 2)(3 + 3)· 4 =

3

2= 1.5

4 T 2 = 4λ1 = 6


→ Diskriminanzfunktion

Eigenvektor :

S−1u v =

(0

2

)

Standardisierung :

d1 =1√4

(0

2

)=

(0

1

)

Additive Konstante : −√

1/4 · 6 = −3

→ D1 = Y2 − 3

→ D1 = Z2


? Projektion senkrecht zur Verbindung der Zentroide ?

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

rrr b

bbu

e..................................................................

.......

..................................

.......................

................................

................................................................................................

r...........................................................................................................................................................................................................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.....

...........................................................................................................................................................................................................................................................................................

.....................................................................................................................................................................................................................................................................

...........................................................................................................................................................................................................................................................................................................................................................................

r

r

................................................................................................................................................................................................................................................................................

...........................................................................................................

.......................

................................

................................................................................................

r

...........................................................................................................................................................................................................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.....

...........................................................................................................................................................................................................................................................................................

.....................................................................................................................................................................................................................................................................

...........................................................................................................................................................................................................................................................................................................................................................................

r

r

................................................................................................................................................................................................................................................................................

....

....

....

....

....

....

.

→ Nein ! Erste Diskriminanzfunktion :

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

rrr b

bbu

e..................................................................

.......

..................................

.......................

................................

................................................................................................

r

...........................................................................................................................................................................................................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.....

...................................................................................................................................................................................

.........................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.... rr ......................................................................................................................................................................................................................

...........................................................................................................

.......................

................................

................................................................................................

r...........................................................................................................................................................................................................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.....

........................................................................................................................................................................................................................................................................

..............................................................................................................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

....

rr ...........................................................................................................................................................................................................................................................................................................

4’Zweite Diskriminanzfunktion ‘ :

1

1.................................................................................................................................................................................................................................................................................................................................................................................................................... .......................................................................................................................................................................................................................................................................................................

...................

y1

y2

rrr b

bbu

e..................................................................

.......

..................................

.......................

................................

................................................................................................

r...........................................................................................................................................................................................................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.....

..................

..................

..................

..................

..................

..................

..................

..................

..................

..............

..................

..................

..................

..................

..................

..................

..................

.

.......................................................................................................................................................................................................................................................................................................................................................................................................................................

rr

..................

..................

..................

..................

..................

..................

..................

..................

.......

...........................................................................................................

.......................

................................

................................................................................................

r

...........................................................................................................................................................................................................................................................................................................................................................................................................................................

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.....

..................

..................

..................

.

......

.......................................................................................................................................................................................................................................................................................................................................................................................................................................

rr.........

..................

....

4 Geraden zu den Diskriminanzfunktionen hier nicht senkrecht


Multivariate Daten. Beispiele - uni-kiel.de · on F ur jedes a ist a0Sa 0, da Varianz von U = a0x...

Documents

Transcript of Multivariate Daten. Beispiele - uni-kiel.de · on F ur jedes a ist a0Sa 0, da Varianz von U = a0x...