Effektgrößen, Kontraste & Post-hoc-Tests

S.Tomczyk@gmx.net

Mediator- & Moderatoranalyse

Was erinnert ihr?

Erinnerung- Spezielle Verwendungen der Methode:

Regressionsanalyse - Funktion Mediatoranalyse: Vermittlung der

gemeinsamen Varianz über eine Drittvariablen sichtbar machen

- Die vier Schritte der Mediatoranalyse- Funktion Moderatoranalyse: Beeinflussung der

„Höhe“ des Zusammenhangs zwischen zwei Variablen durch eine dritte Variable prüfen

- Zentraler mathematischer Unterschied:Bei der Mediatoranalyse müssen alle Variablen korrelieren, bei der Moderatoranalyse soll die Drittvariable nicht mit Prädiktor/UV korrelieren

Einfaktorielle Varianzanalyse

Was wisst ihr noch?

Erinnerung- Einsetzbar für multiple Mittelwertsvergleiche- Vorteile gegenüber dem t-Test: Vergleich von mehr

als zwei Gruppen mit einem Test bei gleichzeitiger Vermeidung einer Alpha-Fehler-Kummulierung

- Beruht mathematisch auf eine Zerlegung der Varianz in Gesamt-, Gruppen- und Fehlervarianz

- Eine Vorstufe der Varianz stellen dabei die Quadratsummen dar

- Der F-Test relativiert die durch die Gruppenzugehörigkeit erklärte Varianz an der Fehlervarianz

- Die Effektgröße einer ANOVA lässt sich über Eta² bestimmen, dass die erklärte Varianz an der Gesamtvarianz relativiert

EffektgrößenEine signifikante Varianzanalyse erlaubt keine

Aussage über die Größe des statistischen Zusammenhangs!

Daher werden Effektgrößen bestimmt, die von der Stichprobengröße unabhängig und standardisiert sind (prozentualer Anteil erklärter Varianz)

Dies entspricht dem

Determinationskoeffizienten der Regressionsanalyse

EffektgrößenDie durch die Stichproben-Prädiktoren

erklärte Varianz überschätzt meist die Populationsvarianz (Capitalization of Chance), daher erfolgt eine Korrektur durch ω2 :

Dieser Wert wird von SPSS als korrigiertes R2

berichtet.

Thema heute: Kontraste & Post-hoc-Tests

Gliederung

I. Funktion von Kontrasten & Post-hoc-Tests

II. Interpretation wichtiger Post-hoc-Tests

III. Berechnung von Kontrasten

I. Funktion von Kontrasten & post-hoc-Tests

ANOVA: unspezifischer „overall-Test“o Wenn Femp > Fkrit wird die H0 verworfen und

damit die H1 angenommen.

o Es gilt also: μi ≠ μj, für mindestens ein Paar i, j

o Allerdings ist damit noch unklar, welche Mittelwerte sich unterscheiden.

SPT TPT KVT

M1=5 M2=10 M3=12

? ?

?

Kontraste oder post-hoc-Tests

Kontraste oder post-hoc-Tests?

F-Test: signifikant?

keine Vermutung über Gruppenunterschiede

Vermutung über Gruppenunterschiede

post-hoc-Tests

Tukey-HSD-Test Scheffé-Test

paarweiser Vergleich von Mittelwerten

Vergleich von Mittel-wertskombinationen

Kontraste; ersetzen auch den F-Test

II. Interpretation wichtiger Post-hoc-Tests

Post-hoc-Testso Bei signifikantem F-Wert können wir im

Nachhinein prüfen, welche Mittelwerte sich unterscheiden.

o Es gibt verschiedene Verfahren hierzu. Eine besonderes hohe Teststärke haben:- Tukey‘s HSD (Honestly Significant Differences)- Scheffé-Test

Post-hoc-Tests: Tukey´s HSDo Tukey‘s HSD beruht auf dem Vergleich

der Mittelwertsdifferenzen• Ihr müsst den Test nicht rechnen können,

aber wissen, wie man eine SPSS Ausgabe interpretiert

• Der Tukey-HSD-Test führt alle möglichen Mittelwertsvergleiche durch. Eine Differenz ist signifikant, wenn der Unterschied zwischen zwei Mittelwerten xyi und xyj größer ist als die so genannte “Honestly Significant Difference”

Mehrfachvergleiche

Abhängige Variable: mem

Tukey-HSD

-5.0000* 1.12546 .002 -8.0026 -1.9974

-7.0000* 1.12546 .000 -10.0026 -3.9974

5.0000* 1.12546 .002 1.9974 8.0026

-2.0000 1.12546 .219 -5.0026 1.0026

7.0000* 1.12546 .000 3.9974 10.0026

2.0000 1.12546 .219 -1.0026 5.0026

(J) bed2.00

3.00

1.00

3.00

1.00

2.00

(I) bed1.00

2.00

3.00

MittlereDifferenz (I-J)

Standardfehler Signifikanz Untergrenze Obergrenze

95% Konfidenzintervall

Basiert auf beobachteten Mittelwerten.

Die mittlere Differenz ist auf der Stufe .050 signifikant.*.

Tukey´s HSD in SPSS

Post-hoc-Vergleiche: Scheffé-Testo Auch der Scheffé-Test beruht auf

Mittelwertsvergleicheno Analog zu Tukey‘s HSD genügt es, wenn ihr

eine SPSS-Ausgabe interpretieren könnto Der Scheffé-Test hat eine geringere Power

als Tukey‘s HSD

Der Scheffé-Test in SPSSMehrfachvergleiche

Abhängige Variable: mem

Scheffé

-5.0000* 1.12546 .003 -8.1373 -1.8627

-7.0000* 1.12546 .000 -10.1373 -3.8627

5.0000* 1.12546 .003 1.8627 8.1373

-2.0000 1.12546 .246 -5.1373 1.1373

7.0000* 1.12546 .000 3.8627 10.1373

2.0000 1.12546 .246 -1.1373 5.1373

(J) bed2.00

3.00

1.00

3.00

1.00

2.00

(I) bed1.00

2.00

3.00

MittlereDifferenz (I-J)

Standardfehler Signifikanz Untergrenze Obergrenze

95% Konfidenzintervall

Basiert auf beobachteten Mittelwerten.

Die mittlere Differenz ist auf der Stufe .050 signifikant.*.

III. Berechnung von Kontrasten

Kontrasteo Bestehen vor der Datenerhebung

Hypothesen, welche Gruppenmittelwerte sich unterscheiden, werden Kontraste formuliert

o Im Gegensatz zu post-hoc-Tests, prüfen Kontraste nur die a priori vermuteten Mittelwertsdifferenzen auf Signifikanz

Man kann Kontraste daher als geplante Mittelwertsvergleiche bezeichnen

DefinitionDer Kontrast Ψ ist die gewichtete Summe von p Populationsmittelwerten μj, in welcher mindestens ein Gewicht cj ungleich Null ist.

p

jjjc

1

Nomenklatur für die Stichprobe:

p

jjj yc

1

ˆ

Voraussetzung: Die Summe aller Gewichte muss null ergeben.

p

jjc

1

0

Kontrast-Berechnung1. Hypothesen aufstellen

Können im Gegensatz zu post-hoc-Tests auch gerichtet sein!

2. Kontrastgewichte cj formulieren

3. Voraussetzungen prüfen:– Ist Summe aller Gewichte = 0?

– sind Kontraste unabhängig?

4. Kontraste berechnen:

5. Signifikanzprüfung per t-Test

p

jjc

1

0

)Ψ( estvartdf

ˆ

p

jjj cc

121 0

p

jjj yc

1

ˆ

Kontrastgewichte (Kodierung)

Kontrast A B C D

1. A vs. B 1 -1 0 0

2. A,B vs. C,D 1/2 1/2 -1/2 -1/2

3. A,B,C vs. D 1/3 1/3 1/3 -1

Die Kontrastkodierung zeigt die Gewichte für die Mittelwerte:

Voraussetzung prüfen: Addieren sich die Gewichte in jeder Zeile zu null?

Unabhängigkeito Alle formulierten Kontraste müssen

paarweise unabhängig sein.o Nur bei unabhängigen Kontrasten wird eine

α-Fehler Kumulierung verhindert.o Zwei Kontraste sind unabhängig, wenn gilt:

p

jjj cc

121 0

Unabhängigkeit: Beispiel I

Die Unabhängigkeit muss paarweise überprüft werden:

1 und 2?

1 und 3?

2 und 3?

Kontrast A B C D

1. A vs. B 1 -1 0 0

2. A,B vs. C,D 1/2 1/2 -1/2 -1/2

3. A,B,C vs. D 1/3 1/3 1/3 -1

4

121 0

2

10

2

10

2

11

2

11

jjj cc

4

131 010

3

10

3

11

3

11

jjj cc

67.02

1

6

1

6

1

6

1

12

1

3

1

2

1

3

1

2

1

3

1

2

14

132

jjj cc

ok

ok

X

Unabhängigkeit: inhaltlich

Kritischer Punkt: mehrere Kombinationsvergleiche.Ein Faktor darf hierbei nicht…- auf „verschiedenen Seiten“ stehen.- mit unterschiedlichen Kombinationen verglichen

werden.

Kontrast A B C D

1. A vs. B 1 -1 0 0

2. A,B vs. C,D 1/2 ½ -1/2 -1/2

3. A,B,C vs. D 1/3 1/3 1/3 -1

Unabhängigkeit: Beispiel II

Die Unabhängigkeit muss paarweise überprüft werden:

1 und 2?

1 und 3?

2 und 3?

Kontrast A B C D

1. A vs. B 1 -1 0 0

2. A,B vs. C,D 1/2 1/2 -1/2 -1/2

3. C vs. D 0 0 1 -1

4

121 0

2

10

2

10

2

11

2

11

jjj cc

4

131 010

3

10

3

11

3

11

jjj cc

012

11

2

10

2

10

2

14

132

jjj cc

ok

ok

ok

Berechnung der KontrasteKontrast 1: A vs. B

DCBA yyyy 00)1(1ˆ1

Kontrast 2: A & B vs. C & D

DCBA yyyy

2

1

2

1

2

1

2

1ˆ2

Kontrast 3: A & B & C vs. D

DCBA yyyy

1

3

1

3

1

3

1ˆ3

SignifikanzprüfungKontraste werden mit einem t-Test auf Signifikanz überprüft:

p

j j

jwithin n

cMSestvar

pNdf

mit

)Ψ( estvart

1

2

ˆ

:

ˆ

ˆ H0:Der Kontrast ist gleich 0, bzw. die Mittelwerte unterscheiden sich nicht.

H1:Der Kontrast ist ungleich Null, bzw. die Mittelwerte unterscheiden sich.

Analog zu den post-hoc-Tests müsst ihr Kontraste nicht von Hand berechnen, sondern lediglich in SPSS mit ihnen arbeiten können.

Kontrast (Mittelwertsdifferenz)

Standardfehler des Kontrasts

Kontraste in SPSS

Ist dieser Kontrast signifikant?

Das kommt darauf an, ob eine ungerichtete oder eine gerichtete Hypothese formuliert war…

Kontraste vs. Post-hoc-TestsEine ANOVA sagt uns lediglich, ob sich mindestens zwei Gruppen unterscheidenUm herauszufinden welche dies sind, gibt es zwei Möglichkeiten:

1. Post-hoc-Tests, falls vor der Datenerhebung keine Hypothesen bestehen (exploratives Vorgehen)

2. Kontraste, falls vor der Datenerhebung bereits Hypothesen bestanden (hypothesengeleitetes Vorgehen); Kontraste ersetzen auch den F-Test

Bezüglich der Power gilt: Kontraste > Tukey‘s HSD > Scheffé

Unterschiede

mögliche Anzahl = p-1

Leonhart (2008) S. 327

Mögliche und unabhängige Kontraste

Bei p Gruppen können p - 1 unabhängige Kontraste gebildet werden.

Rechenbeispiel: Kontraste

Datensatz & Hypothesen

Hypothesen:a. Therapiemethoden wirken im Vergleich zur Kontrollgruppe.b. Psychotherapien wirken besser als medikamentöse Therapie.c. Es gibt einen Unterschied zwischen Psychotherapien.

Kontrast-Gewichte

ok

ok

ok

Unabhängigkeit

ok

ok

ok

Wie viele unabhängige Kontraste sind hier möglich?

p - 1 = 4 – 1 = 3

Kontrast-Berechnung

93,94,2118,123

111

3

16,10

3

1ˆ

A

24,2108,12)1(112

16,10

2

1ˆ

B

4,04,2108,12011)1(6,101ˆ C

Signifikanzprüfung

Welche Informationen benötigen wir noch?

N

n

MSwithin

tkrit

Vielen Dank für die Aufmerksamkeit!