Post on 12-Aug-2019
1
Vorlesung:Multivariate Statistik für Psychologen
11. Vorlesung: 18.05.2003
2
Agenda
4. Multivariate Varianzanalysei. Einführung in die multivariate Variananalyseii. Uni- vs. multivariate Varianzanalyseiii. Statistisches Modelliv. Hypothesentestungv. Varianzzerlegung vi. Multivariate Prüfgrößen§ Prüfgrößen bei der MANOVA§ Exkurs: Eigenwerte und Eigenvektoren§ Kriterien zur Auswahl der Multivariaten Prüfgröße
vii. Beispielanalyse mit SPSS§ Daten und Fragestellung§ SPSS-Analyse und Interpretation des Outputs
viii. Post-hoc Tests bei der MANOVA
2
3
Zusammenfassung der letzten Vorlesung: MANOVA I
n Grundidee der multivariaten Varianzanalyse¡ gleichzeitige Testung von Mittelwertsunterschieden verschiedener Gruppen auf
mehreren abhängigen Variablenn Vermeidung kumulierter Alpha-Fehler bei multipler ANOVA (Multiple
Univariate Fragestellung)n Berücksichtigung der Zusammenhänge der abhängigen Variablen à Testung
von Gruppenmittelwertsunterschieden auf Konstruktebene ("Instrinsische" Multivariate Fragstellung)
n Statistisches Modell¡ Verrechnung der Variablenvektoren der aller abhängigen Variablen
n Personenvektoren, Gruppenmittelwertsvektoren, Gesamtmittelwertsvektor
¡ Bildung einer Linearkombination der abhängigen Variablen (gewichtete Summe) zur optimalen Darstellung der vorhandenen Mittelwertsunterschiede
4
Zusammenfassung der letzten Vorlesung: MANOVA II
n Hypothesen der multivariaten Varianzanalyse¡ Nullhypothese
n keine Unterschiede der Mittelwertsvektoren der abhängigen Variablen zwischen den Gruppen
n Interpretation: keine Gruppenunterschiede auf irgendeiner abhängigen Variablen und auf allen Linearkombinationen der abhängigen Variablen
¡ Alternativhypothesen Gruppenunterschiede auf Mittelwertsvektoren der abhängigen Variablenn Interpretation: Unterschiede auf mindestens einer abhängigen Variable (oder
einer Linearkombination der abhängigen Variablen) zwischen mindestens zwei Gruppen
n Problem: keine Information über Art, Größe, Richtung der Unterschiede; unterschiedliche Gruppen; "verantwortliche" Variablen à Post-hoc Tests
3
5
Varianzzerlegung bei der MANOVA III
n Betrachtung der Varianz-Kovarianz-Matrizen¡ Zusammenhänge der abhängigen Variablen untereinander berücksichtigt
¡ durch Faktor erklärte Varianz der einzelnen abhängigen Variablen: Varianzenn ohne Berücksichtigung der Zusammenhänge der abhängigen Variablenà
Überschätzung der durch Faktor erklärten Varianz
¡ durch Faktor erklärte gemeinsame Varianz aller abhängigen Variablen: Kovarianzen
n Varianzzerlegung / Quadratsummenzerlegung¡ Gesamtquadratsumme
n Quadratsumme der abhängigen Variablenn Abweichung aller Personenvektoren vom Gesamtmittelwertsvektorn SSCPTO bzw. Matrix T (Sum of Squares and Cross Products)
6
Varianzzerlegung bei der MANOVA IV
n Varianzzerlegung / Quadratsummenzerlegung¡ Treatmentquadratsumme
n Zwischengruppen- bzw. systematische Effekten Abweichung der Gruppenmittelwertsvektoren vom Gesamtmittelwertsvektor (pro
Person)n SSCPBG bzw. Matrix B
¡ Fehlerquadratsummen Innergruppen- bzw. unsystematische Effekte (im Sinne der Faktoren)n Abweichung der Personenvektoren vom Mittelwertsvektor der jeweiligen Gruppen SSCPWG bzw. Matrix W
n Additivität der Varianzen / Quadratsummen¡ Quadratsummen der systematischen und unsystematischen Effekte ergeben
Gesamtquadratsummen SSCPTO = SSCPBG + SSCPWG bzw. T = B + W
4
7
Multivariate Prüfgrößen I
n Grundprinzip der Prüfgrößen¡ Prüfgrößen sind Kennwerte, deren Verteilung bekannt ist
n bei Erfüllung der Voraussetzungen, z.B. Normalverteilung der Residuenn Beispiel: F-Wert ist F-verteilt
¡ Berechnung aus Kennwerten der Daten, z.B. Standardfehler, Varianzen, Mittelwerte, Mittelwertsdifferenzen
n Prüfgrößen bei der MANOVA¡ Wilk's Lambda
¡ Hotelling-Lawley's Spurkritierium
¡ Pillai-Bartlett's V
¡ Roy's größter Eigenwert
¡ Grundprinzip: Verhältnis erklärter zu nicht-erklärter Varianz-Kovarianz-Matrix
¡ alle vier Prüfgrößen umrechenbar in F-Wert (zur Berechnung des p-Werts)
8
Multivariate Prüfgrößen II
n Beispiel: Wilk's Lambda¡ Verrechnung der Matrix der Zwischengruppeneffekte B und
Innergruppeneffekte W
¡ Formel:
¡ Umrechnung der Prüfgröße in F-Wertn Grund: bekannte Verteilung der Prüfgröße (unter Annahme der Nullhypothese)n Vergleich des F-Werts mit kritischem F-Wert auf Alpha-Fehler-Niveaun statistische Entscheidung
¡ Gütemaß zur Vorhersagekraft der Prädiktorenn Bestimmung des durch alle Faktoren erklärten Varianzanteilsn Formel: n Interpretation
¡ analog zu Determinationskoeffizient R2
¡ einzelner Faktoren nicht additiv (vgl. Multiple Regression)
Λ = =+
W WT B W
Λ
2η
2 1η λ= −
5
9
Multivariate Prüfgrößen III
n Berechnung der multivariaten Prüfgrößen
¡ Wilk's Lambdan Formel:
n entspricht dem Produkt der Eigenwerte der Matrix
¡ Hotelling-Lawley's Spurkriteriumn entspricht der Summe der Eigenwerte von
¡ Pillai-Bartlett's Vn entspricht der Summe der Eigenwerte von
¡ Roy's größter Eigenwertn entspricht dem größten Eigenwert der Matrix
Λ = =+
W WT B W
1−WT
1−BW
1−BT
1−BW
10
Exkurs: Eigenwerte und Eigenvektoren I
n Charakteristik der Kennwerte Eigenwert und Eigenvektor¡ Eigenwerte und Eigenvektoren als statistische Kennwerte
¡ bestimmbar für jede quadratische Matrix n quadratische Matrizen bei MANOVA: Varianz-Kovarianz-Matrizen der
abhängigen Variablen T bzw. der erklärten und nicht-erklärten Varianzanteile der abhängigen Variablen B, W
n Berechnung ¡ eine (n x n)-Matrix hat i.d.R. n reele Zahlen als Eigenwerte und n reelwertige
Vektoren als Eigenvektoren
¡ Definition:
n Legende: Eigenwerte (n Stück)Eigenvektoren (n Stück)
11 1 12 11
21 22 1 12
0
0
a a va a v
λλ
− ⋅ = −
1 n, ,λ λ…1 n, ,v v…
6
11
Exkurs: Eigenwerte und Eigenvektoren II
n Berechnung (Fortsetzung)¡ Aufgabe: Finden der n möglichen Eigenwerte und Eigenvektoren für eine
gegebene (n x n)-Matrix
¡ Beispiel:n Ursprungsmatrix A:
n Eigenwerte:
n Eigenvektoren:
n Beweis (für ersten Eigenwert und ersten Eigenvektor):¡ Eigenwert subtrahieren:
¡ mit Eigenvektor multiplizieren:
5 1
4 2
1 26 1λ λ= =
1 21 1
1 4v v
− = =
5 6 1 1 1
4 2 6 4 4
− − = − −
1 1 1 0
4 4 1 0
− ⋅ = −
12
Exkurs: Eigenwerte und Eigenvektoren III
n Berechnung (Fortsetzung)¡ Berechnung der Eigenwerte und Eigenvektoren durch Lösung des
Gleichungsystemsn
n oder:
det( ) 0λ− =A I
5 1 00
4 2 0λ
λ
− =
7
13
Multivariate Prüfgrößen IV
n Auswahl der Multivariaten Prüfgröße¡ Kriterien
n Ziel der Analyse (siehe Fragestellungen der MANOVA)¡ Gruppenunterschiede auf einzelnen abhängigen Variablen vs.
Linearkombinationen der abhängigen Variablen (Konstruktebene)n Gültigkeit der Annahmen und Voraussetzungen der MANOVA
¡ unterschiedliche Robustheit gegen Voraussetzungsverletzungen¡ Unterschiede in statistischer Power (Größe des Beta-Fehlers, d.h. der
Wahrscheinlichkeit der Entdeckung von Unterschieden)¡ Einsatz der Multivariaten Prüfgrößen
n Pillai-Bartlett's V¡ Ziel: gleichzeitige Testung der Gruppenunterschiede auf einzelnen
abhängigen Variablen¡ sehr robust bei Verletzungen der Annahmen und Voraussetzungen¡ große statistische Power (besonders bei kleinen Stichproben, ungleichen
Stichprobengrößen in Gruppen und Heteroskedastizität)
14
Multivariate Prüfgrößen V
n Auswahl der Multivariaten Prüfgröße (Fortsetzung)¡ Einsatz der Multivariaten Prüfgrößen (Fortsetzung)
n Wilk's Lambda¡ Ziel: Test aller Diskriminanzfunktionen (siehe Diskriminanzanalyse)¡ mittlere Robustheit bei Verletzungen der Annahmen und Voraussetzungen
n Roy's größter Eigenwert¡ Gruppenunterschiede der besten Linearkombination zur Trennung der
Gruppen (entspricht 1. Diskriminanzfaktor, siehe Diskriminanzanalyse)¡ weniger robust bei Voraussetzungsverletzungen¡ größte statistische Power bei erfüllten Annahmen und Voraussetzungen
(bei Verletzung größerer Beta-Fehler à nur Entdeckung großer Gruppenunterschiede)
¡ Hinweis:n bei MANOVA mit einem Faktoren mit zwei Faktorstufen (2 Gruppen):
Wilk's Lambda = Hotelling-Lawley's Spurkriterium = Pillai-Bartlett's V
8
15
Multivariate Prüfgrößen VI
n Simulationsstudie zum Einsatz der Multivariaten Prüfgrößen¡ Quelle: Olson, C.L. (1976). On Choosing a Test Statistic in Multivariate
Analysis of Variance. Psychological Bulletin, 83, 579-586.
¡ Ergebnisse und Empfehlungen hinsichtlich der statistischen Power in Abhängigkeit von Eindimensionalität (hohe Korrelation) der abhängigen Variablen (d.h. Abbildung eines Konstrukts) Noncentrality structure 1 = am empfehlenswertesten 4 = am wenigsten emfehlenswert concentrated diffuse Prüfgröße
Roy's größter Eigenwert 1 4 Hotelling-Lawley's
Spurkriterium 2 3
Wilks Lambda 3 2 Pillai-Bartlett's V 4 1
16
Multivariate Prüfgrößen VII
n Simulationsstudie (Fortsetzung)¡ Ergebnisse und Empfehlungen hinsichtlich der Robustheit gegen Verletzungen
der Annahmen und Voraussetzungenn keine multivariate Normalverteilung à konservativeres Testen (kleiner Alpha-Fehler, geringere statistische Power)
n keine Varianzhomogenität (Heteroskedastizität) à progressiveres Testen (größerer Alpha-Fehler)
Prüfgröße Beurteilung Roy's größter Eigenwert 4 Hotelling-Lawley's Spurkriterium 2 Wilk's Lambda 2 Pillai-Bartlett's V 1
9
17
Beispielanalyse zur MANOVA I
n Daten¡ aus Bortz, J. (51999). Statistik für Sozialwissenschaftler. Berlin: Springer.
S. 176ff.
n Fragestellung¡ Zusammenhang zwischen sozialer Herkunft und verbaler Ausdrucksfähigkeit
bei Kindern
n Operationalisierung¡ Faktor soziale Herkunft
n 3 Faktorstufen/Gruppen: Unterschicht vs. Mittelschicht vs. Oberschicht¡ abhängige Variablen
n Index für Satzlängen (Y1)n Index für Vielfalt der Wortwahl (Y2)n Index für Komplexität der Satzkonstruktionen (Y3)
18
Beispielanalyse zur MANOVA II
n Datensatz
¡ Mittelwertsvektoren
Unterschicht Mittelschicht Oberschicht
Y1 Y2 Y3 Y1 Y2 Y3 Y1 Y2 Y3
3 4 4 2 2 3
3 4 4 5 4 4
4 3 6 5 5 6
3 2 4 5
4 5 3 5
4 5 6 6
4 4 3 4 6
5 6 6 7 5
7 4 6 6 6
Mittelwert 3,0 4,0 4,8 .. 3,5 4,25 5,25 .. 4,2 5,8 5,8
1
3,04,04,8
+
=
y 2
3,54,255,25
+
=
y 3
4,25,85,8
+
=
y3,534,675,27
++
=
y
10
19
Beispielanalyse zur MANOVA III
n Analyse¡ Nullhypothese: keine Mittelwertsunterschiede der 3 Gruppen auf den 3
abhängigen Variablen (bzw. einer Linearkombination der abhängigen Variablen)
¡ Alternativhypothese (unspezifisch): Mittelwertsunterschiede zwischen mindestens 2 Gruppen auf mindestens einer abhängigen Variablen (bzw. einer gewichteten Summe der abhängigen Variablen à Linearkombination)
n Auswahl der Prüfgröße¡ Pillai-Bartlett's V
n pro: stabile Schätzungen trotz kleiner Stichprobe (potentielle Nichterfüllung der Annahmen)
n contra: geringere statistische Power; Vergleich der Einzelvariablen
¡ Roy's größter Eigenwertn pro: Test der Gruppenunterschiede auf Konstruktebenen contra: kein guter Schätzer bei kleinen Stichproben
20
Beispielanalyse zur MANOVA IV
n SPSS-Bedienung
11
21
Beispielanalyse zur MANOVA V
n Output – Modellbewertung
¡ Interpretationn Verwerfung der Nullhypothese abhängig von gewählter Prüfgrößen evtl. Post-hoc Tests erforderlich (Empfehlung hier: Diskriminanzanalyse)
Multivariate Testsc
,990 347,487a 3,000 10,000 ,000
,010 347,487a 3,000 10,000 ,000
104,246 347,487a 3,000 10,000 ,000
104,246 347,487a 3,000 10,000 ,000
,717 2,049 6,000 22,000 ,102
,297 2,784a 6,000 20,000 ,039
2,321 3,481 6,000 18,000 ,018
2,300 8,435b 3,000 11,000 ,003
Pillai's Trace
Wilks' Lambda
Hotelling's Trace
Roy's Largest Root
Pillai's Trace
Wilks' Lambda
Hotelling's Trace
Roy's Largest Root
Effect
Intercept
GRUPPE
Value F Hypothesis df Error df Sig.
Exact statistica.
The statistic is an upper bound on F that yields a lower bound on the significance level.b.
Design: Intercept+GRUPPEc.
22
Beispielanalyse zur MANOVA VI
n Output – Test der Zwischensubjekteffekte (univariate Varianzanalysen)
Tests of Between-Subjects Effects
3,933 a 2 1,967 1,710 ,222
9,783 b 2 4,892 7,775 ,007
2,550 c 2 1,275 1,064 ,376
185,659 1 185,659 161,443 ,000
320,112 1 320,112 508,788 ,000
409,103 1 409,103 341,314 ,000
3,933 2 1,967 1,710 ,222
9,783 2 4,892 7,775 ,007
2,550 2 1,275 1,064 ,376
13,800 12 1,150
7,550 12 ,629
14,383 12 1,199
205,000 15
344,000 15
433,000 15
17,733 14
17,333 14
16,933 14
Dependent Variable
SATZLÄNG
WORTVIEL
SATZKOMP
SATZLÄNG
WORTVIEL
SATZKOMP
SATZLÄNG
WORTVIEL
SATZKOMP
SATZLÄNG
WORTVIEL
SATZKOMP
SATZLÄNG
WORTVIEL
SATZKOMP
SATZLÄNG
WORTVIEL
SATZKOMP
Source
Corrected Model
Intercept
GRUPPE
Error
Total
Corrected Total
Type III Sumof Squares df Mean Square F Sig.
R Squared = ,222 (Adjusted R Squared = ,092)a.
R Squared = ,564 (Adjusted R Squared = ,492)b.
R Squared = ,151 (Adjusted R Squared = ,009)c.
12
23
Post-hoc Tests für die MANOVA I
n Voraussetzung¡ Verwerfung der Nullhypothese der MANOVA
n Interpretation: Unterschiede der Mittelwertsvektoren der abhängigen Variablen (Unterschiede bei mindestens einer abhängigen Variablen oder einer Linear-kombination der abhängigen Variablen) zwischen mindestens zwei Gruppen
n Post-hoc Tests bei nicht-signifikantem Ergebnis der MANOVA nur sehr bedingt interpretierbar
n Fragestellungen¡ Gruppenunterschiede aufgrund welcher abhängigen Variablen bzw. welcher
Linearkombination von abhängigen Variablen (Beitrag der einzelnen Variablen zur Linearkombination)?
¡ Unterschiede zwischen welchen Gruppen?
24
Post-hoc Tests für die MANOVA II
n Übersicht der Post-hoc Tests ¡ Univariate Varianzanalyse
¡ Stepdown Analysis
¡ Diskriminanzanalyse
¡ Beitrag abhängiger Variablen
¡ Multivariate Kontraste
13
25
Post-hoc Tests für die MANOVA III
n Möglichkeit 1: Univariate Varianzanalyse ¡ Ziel
n Identifizierung der abhängigen Variablen mit Gruppenunterschieden
¡ Vorgehenn siehe ANOVA
¡ Vorteiln einfache Interpretierbarkeit
¡ Nachteilen Alpha-Fehler-Kumulierung bei multiplen Tests (ein Test pro abhängiger
Variable) vs. Bonferroni-Korrektur mit geringer statistischer Powern keine Berücksichtigung der Korrelation zwischen abhängigen Variablen (effekte
auf Linearkombinationen der abhängigen Variablen bei MANOVA)n keine Aussage, welche Gruppen unterschiedlichn Standard-Post-hoc Test in SPSS
26
Post-hoc Tests für die MANOVA IV
n Möglichkeit 2: Stepdown Analysis ¡ Ziel
n Identifizierung der für Gruppenunterschiede verantwortlichen abhängigen Variablen
¡ Voraussetzungn a priori Folge der abhängigen Variablen (hypothesengeleitet)
¡ Vorgehenn konzeptionelle Ähnlichkeit zur hierarchischen Regressionn ANOVA für erste abhängige Variable mit allen Faktoren (Test des F-Werts)n Bestimmung der Veränderung des F-Werts durch Hinzunahme weiterer
abhängiger Variablen (unter Berücksichtigung vorher ins Modell aufgenommener Variablen)
¡ Problemen eingeschränkter Geltungsbereich, nur bei a priori Hypothesenn Interpretation der (Nicht-)Effekte
14
27
Post-hoc Tests für die MANOVA V
n Möglichkeit 3: Diskriminanzanalyse ¡ Ziel
n Finden der optimalen Linearkombination(en) der abhängigen Variablen zur optimalen Unterscheidung der Gruppen
¡ Vorgehenn Gruppierungsvariable (Faktor) als abhängige Variable bei DA, abhängige
Variablen der MANOVA als unabhängige Variablen Suche der optimalen Linearkombination(en) à Diskriminanzfaktorenn Test der Gruppenunterschiede auf Diskriminanzfaktoren (siehe ANOVA)
¡ Ergebnisn Vorhandensein von Linearkombinationen zur Unterscheidung der Gruppenn Beitrag der abhängigen Variablen zu dieser/n Variable(n)
¡ Problemen Anwendungsbereich beschränkt auf Fall, dass abhängige Variablen eine
latente Dimension (ein Konstrukt) bilden
28
Post-hoc Tests für die MANOVA VI
n Möglichkeit 4: Beitrag abhängiger Variablen ¡ Ziel
n Bestimmung der für signifikantes MANOVA-Ergebnis maßgeblichen abhängigen Variablen
¡ Vorgehenn Berechnung mehrerer MANOVAs mit Weglassen einzelner abhäng. Variablenn Bestimmung der Veränderung des multivariaten F-Werts in jedem Einzelmodell
gegenüber Gesamtmodell¡ Ergebnis
n Identifizierung der für MANOVA-Effekt im vollständigen Modell unerlässlichen abhängigen Variablen
¡ Problemen Betrachtung des Effekts einzelner abhängiger Variablen; keine
Berücksichtigung gemeinsamer Effekte (Konstruktebene)n exploratives Vorgehen
15
29
Post-hoc Tests für die MANOVA VII
n Möglichkeit 5: Multivariate Kontraste¡ Ziel
n Bestimmung der sich im Mittelwertsvektor unterscheidenden Gruppenn keine Suche nach für Effekt verantwortlichen abhängigen Variablen, sondern
nach sich unterscheidenden Gruppen¡ Vorgehen
n paarweiser Vergleich der Mittelwertsvektoren aller Gruppen (Hotelling's T2 = multivariater T-Test)
n Möglichkeit kombinierter Vergleiche mehrerer Gruppen mit einzelnen Gruppen oder Kombinationen anderer Gruppen (siehe Konstrastkodierung)
n Möglichkeit der Bestimmung der Gruppenunterschiede für einzelne abhängige Variablen oder Linearkombinationen abhängiger Variablen
¡ Problemen (kumuliertes) Alpha-Fehler-Niveau und statistische Powern Interpretation a priori vs. post-hoc Kontrasten (konfirmatorisch vs. explorativ)
30
Ausblick
n Multivariate Varianzanalyse ¡ Annahmen und Voraussetzungen der MANOVA
n Kovarianzanalyse¡ Einführung in die Kovarianzanalyse
¡ Anwendungsbeispiele
¡ Statistisches Modell und Hypothesentestung
¡ Interpretation der Ergebnisse der Kovarianzanalyse
¡ Beispielanalysen in SPSS
¡ Annahmen und Voraussetzungen der Kovarianzanalyse