Kovarianzanalyse
description
Transcript of Kovarianzanalyse
Kovarianzanalyse
09_ancova 1
Kovarianzanalyse1. Störvariablen2. Veranschaulichung der Kovarianzanalyse3. Quadratsummen und „modifizierte“ Quadratsummen4. F-Test5. Reduktion der Fehlervarianz6. Voraussetzungen7. Die Kovarianzanalyse in SPSS
Kovarianzanalyse
09_ancova 2
Kovarianzanalyse• Die Kovarianzanalyse ist ein Verfahren, das eine Varianzanalyse
mit einer Regressionsanalyse kombiniert.• Die Kovarianzanalyse wird eingesetzt, um die Fehlervarianz einer
ANOVA zu verringern und damit die Power zu erhöhen.• Dazu wird der Einfluss einer zusätzlichen Variable aus der AV einer
Varianzanalyse „herauspartialisiert“.
• Beispiel: Vor dem Vergleich der Gedächtnisleistung (AV) zwischen zwei Lernbedingungen (UV) wird der Einfluss des Alters (Kovariate) heraus gerechnet.
Störvariablen
09_ancova 3
Statistische Kontrolle von StörvariablenBeispiel: Untersuchung zum Therapieerfolg • Faktor Geschlecht des Patienten (2-fach) • Faktor Therapieform (3-fach) Es werden ungefähr 2 x 3 x 20 = 120 Vpn benötigt.
• Wenn das Alter (Störvariable) als dritter Faktor (z.B. drei Stufen) berücksichtigt werden soll, braucht man schon 3 x 120 = 360 Vpn.
• Weil ein solches Vorgehen wenig ökonomisch wäre, ist eine statistische Kontrolle des Alters vorzuziehen Kovarianzanalyse
Veranschaulichung der Kovarianzanalyse
09_ancova 4
Theoretisches Vorgehen bei der Kovarianzanalyse:• Ziel: Statistische Kontrolle einer (Stör-) Variablen, die
möglicherweise die Daten der Untersuchung beeinflusst haben könnte:
• Frage: Wie sähen die Ergebnisse aus, wenn die Kovariate in allen Gruppen gleich gewesen wäre?
• (Theoretisches) Vorgehen:1. Die Störvariable wird zusätzlich erhoben2. Ihr Einfluss wird mit eine Kovarianzanalyse „neutralisiert“
Veranschaulichung der Kovarianzanalyse
09_ancova 5
Theoretisches Vorgehen bei der Kovarianzanalyse:• Eine Regressionsanalyse „entfernt“ die Varianz der Kovariate aus
der abhängigen Variablen (AV). • Dies geschieht, indem eine Regression der AV auf die Kovariate
berechnet wird.• Die Regressionsresiduen beschreiben den Anteil der AV, der nicht
durch die Kovariate erklärt werden kann.• Diese Residuen werden als neue AV in eine Varianzanalyse
gegeben Die nach der Regressionsanalyse verbleibende (nicht erklärbare) Varianz mit der Hilfe einer ANOVA erklärt.
Veranschaulichung der Kovarianzanalyse
09_ancova 6
Regression
• Residuum = nicht durch Prädiktor (x) vorhersagbarer „Rest“ des Kriteriums (y).
• Varianz der Residuen (Streuung der Datenpunkte um die Regressionsgerade) = nicht vorhergesagte (erklärte) Varianz
b x a yi i ˆi res i iy b x a y i res i iy y y ˆ
Veranschaulichung der Kovarianzanalyse
09_ancova 7
Beispiel• 20 Schüler lernen eine Programmiersprache.
– UV: 5 verschiedene Lernmethoden– AV: Lernerfolg– Kovariate: mathematische Vorkenntnisse
Der Einfluss der Kovariate auf den Lernerfolg wird statistisch kontrolliert.
Der Effekt der Lehrmethode kann so auch zuverlässig bestimmt werden, wenn zufällig in einer Gruppe viele Probanden mit hohen Vorkenntnissen waren.
Veranschaulichung der Kovarianzanalyse
09_ancova 8
Daten
x: mathematisch-logische Fähigkeiten (Kovariate)y: Lernerfolg (AV)
TrainingVP x y x y x y x y x y1 10 18 22 40 30 38 35 25 11 152 20 17 31 22 31 40 37 45 16 173 15 23 16 28 18 41 41 50 19 204 12 19 17 31 22 40 30 51 25 23
M 14 19.3 22 30.3 25 39.8 36 42.8 18 18.8
51 2 3 4
Veranschaulichung der Kovarianzanalyse
09_ancova 9
1. Schritt: Regression von y auf x
69.1085.0y
69.109.2285.015.30x-ya
85.089.856.1165.0b
65.056.1189.820
1331
56.11202671
89.8201578
x-yab
i
y.x
y.x
y.xy.x
i
x
yxy
x
yxy
yx
xyxy
yy
xx
x
yxy
x
yxy
xss
r
ss
r
ssNSP
r
NSS
s
NSSs
ss
rss
r
Veranschaulichung der Kovarianzanalyse
09_ancova 10
2. Schritt: Bestimmung der Residuen
Wie kann man die Residuen interpretieren? Das Residuum gibt an wie gut eine Person im
Vergleich mit anderen Personen, die die gleichen Vorkenntnisse hatten, abgeschnitten hat.
Bsp. Vp 1: Die Person schneidet für ihre Vorkenntnisse ungefähr durchschnittlich ab.
Bsp. Vp 2: Die Person hat ein deutlich negatives Residuum obwohl sie fast den gleichen Testwert hatte: Für ihre guten Vorkenntnisse hat sie ein eher schlechtes Ergebnis erreicht.
x y y(reg) y(res)
10 18 19.19 -1.19
20 17 27.69 -10.69
15 23 23.44 -0.44
12 19 20.89 -1.89
22 40 29.39 10.61
31 22 37.04 -15.04
16 28 24.29 3.71
17 31 25.14 5.86
30 38 36.19 1.81
31 40 37.04 2.96
18 41 25.99 15.01
22 40 29.39 10.61
35 25 40.44 -15.44
37 45 42.14 2.86
41 50 45.54 4.46
30 51 36.19 14.81
11 15 20.04 -5.04
16 17 24.29 -7.29
19 20 26.84 -6.84
25 23 31.94 -8.94
regres
reg
yyy
bxay
Veranschaulichung der Kovarianzanalyse
09_ancova 11
3. Schritt: ANOVA mit den Residuen
Die ANOVA wird wie immer berechnet:• Quadratsummen (between & within)• Mittlere Quadratsummen• F-Werte• …
1 2 3 4 5-1.19 10.61 1.81 -15.44 -5.04
-10.69 -15.04 2.96 2.86 -7.29-0.44 3.71 15.01 4.46 -6.84-1.89 5.86 10.61 14.81 -8.94-3.55 1.29 7.60 1.67 -7.03
Tatsächliche Berechnung der Kovarianzanalyse
09_ancova 12
• Tatsächlich erfolgt die Berechnung nicht genau wie das gerade veranschaulicht wurde!
• Stattdessen wird die Varianz der Kovariate wird direkt aus den Quadratsummen „entfernt“.
• Das mathematische Vorgehen ist folgendes:1. Quadratsummenzerlegung beider Variablen2. Produktsummenzerlegung3. Entfernen der Varianz der Kovariate: Berechnen der
Modifizierten Quadratsummen4. F-Test
Tatsächliche Berechnung der Kovarianzanalyse
09_ancova 13
1. Quadratsummen• Quadratsummenzerlegung für die AV (y) und die Kovariate (x)
n
i
p
jjij
p
jj
n
i
p
jij
withinbetweentotal
yyyynyy
ySSySSySS
1
2
1
2
11
2
1
)()()(
n
i
p
jjij
p
jj
n
i
p
jij
withinbetweentotal
xxxxnxx
xSSxSSxSS
1
2
1
2
11
2
1
)()()(
Tatsächliche Berechnung der Kovarianzanalyse
09_ancova 14
1. Quadratsummen
482)(1096)(1578)(
xSSxSSxSS
within
between
total
672)(1999)(2671)(
ySSySSySS
within
between
total
TrainingVP x y x y x y x y x y1 10 18 22 40 30 38 35 25 11 152 20 17 31 22 31 40 37 45 16 173 15 23 16 28 18 41 41 50 19 204 12 19 17 31 22 40 30 51 25 23
M 14 19.3 22 30.3 25 39.8 36 42.8 18 18.8
51 2 3 4
Tatsächliche Berechnung der Kovarianzanalyse
09_ancova 15
2. Produktsummen
• Die „Produktsumme“ ist die Vorstufe zur Kovarianz (daher hat die „Kovarianzanalyse“ ihren Namen)
p
j
n
iijijxy yyxxSP
1 1
))((
N
yyxx
NSP
p
j
n
iijij
xyxy
1 1
))((cov
Tatsächliche Berechnung der Kovarianzanalyse
09_ancova 16
Es gilt wie für die Quadratsummen:
withinbetweentotal SPSPSP
p
j
n
ijijjijwithin
p
jjjbetween
p
j
n
iijijtotal
yyxxSP
yyxxnSP
yyxxSP
1 1
1
1 1
))((
))((
))((
Tatsächliche Berechnung der Kovarianzanalyse
09_ancova 17
1813491331
18)75.1823()75.1725(...)25.1918()25.1410(1349)15.3075.18()90.2275.17(4...)15.3025.19()90.2225.14(4
1331)15.3023()90.2225(...)15.3018()90.2210(
15.3090.22
withinbetweentotal
within
between
total
SPSPSP
SPSPSP
yx
p
j
n
ijijjijwithin
p
jjjbetween
p
j
n
iijijtotal
yyxxSP
yyxxnSP
yyxxSP
1 1
1
1 1
))((
))((
))((Training
VP x y x y x y x y x y1 10 18 22 40 30 38 35 25 11 152 20 17 31 22 31 40 37 45 16 173 15 23 16 28 18 41 41 50 19 204 12 19 17 31 22 40 30 51 25 23
M 14 19.3 22 30.3 25 39.8 36 42.8 18 18.8
51 2 3 4
Tatsächliche Berechnung der Kovarianzanalyse
09_ancova 18
3. Modifizierte Quadratsummen (adjusted Sums of Squares) Die Varianz der Kovariate wird aus den Quadratsummen der AV
eliminiert.
)()()()(´
)()()(´
)()()(´
22
2
2
xSSSP
xSSSPySSySS
xSSSPySSySS
xSSSPySSySS
total
total
within
withinbetweenbetween
within
withinwithinwithin
total
totaltotaltotal
Tatsächliche Berechnung der Kovarianzanalyse
09_ancova 19
3. Modifizierte Quadratsummen (adjusted Sums of Squares)
1813491331
within
between
total
SPSPSP
87615771331
482)18(1999)(´
671482)18(672)(´
1547157713312671)(´
22
2
2
ySS
ySS
ySS
between
within
total 482)(1096)(1578)(
xSSxSSxSS
within
between
total
672)(1999)(2671)(
ySSySSySS
within
between
total
)()()()(´
)()()(´
)()()(´
22
2
2
xSSSP
xSSSPySSySS
xSSSPySSySS
xSSSPySSySS
total
total
within
withinbetweenbetween
within
withinwithinwithin
total
totaltotaltotal
Tatsächliche Berechnung der Kovarianzanalyse
09_ancova 20
4. F-Test und Freiheitsgrade
Fkrit = 3.11 signifikanter Effekt der Lernmethode auf den Lernerfolgwenn gleichzeitig die mathematisch-logische Vorkenntnisse
kontrolliert werden.
within
betweenpNp
withinwithin
betweenbetween
MSMSF
pNSSMS
pSSMS
´´
1´´
1´´
1;1
57.448219
471520
671´
21915
876´
14,4
F
MS
MS
within
between
Reduktion der Fehlervarianz
09_ancova 21
Hat die Kovarianzanalyse die Fehlervarianz reduziert?• Eine Reduktion der Fehlervarianz erfolgt nur, wenn Kovariate und
AV korrelieren.• Es muss die Korrelation zwischen der Kovariate und der AV
berechnet werden, die nicht auf die UV zurückgeführt werden kann.“
001.0)²03.0(
03.067248218
)()(
2
w
withinwithin
withinwithin
r
ySSxSSSPr
Reduktion der Fehlervarianz um nur 0.1%!
Voraussetzung der Kovarianzanalyse
09_ancova 22
Voraussetzung der Kovarianzanalyse• Es gelten die normalen Voraussetzungen der ANOVA (Varianz-
homogenität, Intervallskalenniveau, …)• Zusätzlich die Bedingung der homogenen Regressions-
koeffizienten erfüllt sein:– Innerhalb jeder Gruppe wird eine Regressionsgerade bestimmt.– Der Regressionskoeffizient (b) darf sich nicht zwischen den Gruppen
unterscheiden, d.h. die Koeffizienten in der Population (β) müssen gleich sein.
– Statistische Überprüfung: siehe Bortz
Voraussetzung der Kovarianzanalyse
09_ancova 23
Voraussetzung der Kovarianzanalyse• Es gelten die normalen Voraussetzungen der ANOVA (Varianz-
homogenität, Intervallskalenniveau, …)• Zusätzlich die Bedingung der homogenen Regressions-
koeffizienten erfüllt sein:– Innerhalb jeder Gruppe wird eine Regressionsgerade bestimmt.– Der Regressionskoeffizient (b) darf sich nicht zwischen den Gruppen
unterscheiden, d.h. die Koeffizienten in der Population (β) müssen gleich sein.
– Statistische Überprüfung: siehe Bortz
SPSS
09_ancova 24
SPSS
09_ancova 25
Syntax:
glm av by gruppe with kov.
SPSS
09_ancova 26
F-Test für den Einfluss der UV auf die AV, bei Kontrolle der Kovariate
AdjustierteQuadratsummen!
SPSS
09_ancova 27
Vergleich: Ergebnis ohne Kovariate
Kovarianzanalyse
Zusammenfassung
• Die Kovarianzanalyse ist eine Varianzanalyse der Regressionsresiduen
• Ziel: Statistische Kontrolle einer potentiellen Störvariablen.
• Berechnung:– Zerlegung der Quadratsummen von Kovariate und AV– Zerlegung der Produktsummen– Berechnung der modifizierten Quadratsummen– F-Test– Ggf.: Kontrolle der Fehlervarianzreduktion
09_ancova 28