Unterscheidung zwischen: (1) Korrelationsanalyse(2) Lineare Regressionsanalyse

Eine kleine Wiederholung

Korrelationsanalyse

Beispiel: Korrelationsanalyse

X1 X2 rX1X2

X1 und X2 sind metrisch

Anwendungsbeispiel:• Es wird der Zusammenhang zwischen der Anzahl bisheriger Arbeit-

geber (X1) und dem Einkommen (X2) untersucht (ungerichteter Zusammenhang).

Lineare Regressionsanalyse

Beispiel: Einfache und multiple lineare Regressionsanalyse

X1 Y b1

X2

X3

b2

b3

Y ist metrisch

X1, X2 und X3 sind metrisch oder dummysiert (nein = 0/ ja = 1)---------------------------------------------------------------------------------------------------------------

Y = Kriterium, Regressand

X = Prädiktor, Regressor

Anwendungsbeispiel:• Es wird der Einfluss der Anzahl bisheriger Arbeitgeber (X1) sowie

weiterer Variablen (X2 = Alter, X3 = Nationalität) auf das Einkommen (Y) untersucht (gerichteter Zusammenhang).

Einfache lineare Regressionsanalyse

• Bei b1 bzw. b handelt es sich um einen Steigungsparameter. Es gilt eine Regressionsgerade zu lokalisieren,

• die die empirischen Werte am besten repräsentiert• um die die Punkte im Streudiagramm minimal abweichen/streuen

• Gerade steht als Repräsentant für die Beziehung zwischen X und Y• Gerade wird auch als die Linie der kleinsten Quadrate gezeichnet,

die Vorgehensweise nennt man auch Ordinary Least Squares (OLS, Methode der kleinsten Quadrate)

X1 Y b1

Darstellung einer linearen Beziehung

a) Geometrische Darstellung Regressionsgerade

b) Algebraische Darstellung Regressionsgleichung

a = Regressionskonstante bzw. Schnittpunkt der Geraden y’i mit der Y-Achse

• Das ist jener (Erwartungs-)Wert von Y, wenn X = 0 ist

b = Steigung der Geraden

• +b = Es besteht eine positive Beziehung zwischen X und Y(Gerade verläuft im Streudiagramm von links unten nach rechts oben)

• -b = Es besteht eine negative Beziehung zwischen X und Y(Gerade verläuft im Streudiagramm von links oben nach rechts unten)

ii xba'y

Fiktives Beispiel: xi 0 1 2 3

yi 0 2 4 6

x-Variable

y-Variable

1 3 5

1

3

Regressionsgerade: y’i = 2x

[a = 0, b =2]

5

Fiktives Beispiel: xi 0 1 2 3 4

yi 4 3 2 1 0

x-Variable

y-Variable

1 3 5

1

3 Regressionsgerade: y’i = 4 - x

[a = 4, b =-1]

5

Wie legt man die Gerade am besten in die Punktewolke?

x

y

?

?

Die Methode der kleinsten Quadrate

'1y

'2y

'3y

x

y

Person 1 Person 2

Person 3

Die beste Gerade ist diejenige, bei der wir den geringsten Fehler in der Vor-hersage der Y-Werte auf der Basis der X-Werte begehen sollte für jede Messung so gering wie möglich sein

Positive und negative Abweichungen von den vorhergesagten Werten sollen sich nicht zu Null addieren. Die Messwertabweichungen werden folglich quadriert, die Summe aller Abweichungen minimiert:

'ii yy

min)y(y 2'ii

Varianzzerlegung (1)

2i1 )y(yEationGesamtvari

2y

2i

1 sN

)y(yEanzGesamtvari

• Wenn eine Beziehung zwischen X und Y besteht, dann muss der Vorhersagefehler E2 kleiner sein als E1.

• Wenn E2 = E1, dann besteht zwischen X und Y kein Zusammenhang.

bzw.

bzw.

Regressions-residuum

ei

2i

2ii2 e)y'(yEVariationerklärteNicht

N

e

N

)y'(yEVarianzerklärteNicht

2i

2ii

2

Varianzzerlegung (2) Inhaltliche Bedeutung des Residuums:• Regressionsresiduen enthalten die Anteile der Kriteriumsvariablen

Y, die durch die Prädiktorvariable X nicht erfasst werden. • In diesen Anteilen sind Messfehler der Kriteriumsvariablen

enthalten, aber vor allem auch Bestandteile des Kriteriums, die durch andere, mit der Prädiktorvariablen nicht zusammenhängende Merkmale erklärt werden können.

Des Weiteren berechnen wir die

2i )y(y'VariationErklärte

N

)y(y'VarianzErklärte

2i

bzw.

Varianzzerlegung (3) Gesamtvariation (E1) = Nicht erklärte Variation (E2) +

Erklärte Variationbzw.

Gesamtvarianz (E1) = Nicht erklärte Varianz (E2) + Erklärte Varianz 

Die Varianz der y-Werte (Gesamtvarianz) setzt sich additiv aus der Varianz der Regressionsresiduen (Nicht erklärte Varianz) und der Varianz der vorhergesagten (geschätzten) y’-Werte (Erklärte Varianz) zusammen.

N

)y(y'

N

)y'(ys

N

)y(y 2i

2ii2

y

2i

bzw.

2i

2ii

2i )y(y')y'(y)y(y

Varianzzerlegung (4) Es gilt:

• Die Varianz der Residuen ist bei perfekter Korrelation (r = 1) gleich Null und für r = 0 identisch mit der Varianz der y-Werte, d.h. E2 = E1.

• Hierzu gegenläufig verändert sich die Varianz der vorhergesagten y-Werte (Erklärte Varianz). Sie entspricht der Varianz der y-Werte (Gesamtvarianz), wenn r = 1 ist, und sie ist gleich Null, wenn kein Zusammenhang besteht.

Berechnung der Regressionskoeffizienten a und b (zur Bestimmung der Regressionsgeraden und der vorhergesagten y’-Werte):

2

i

ii

)x(x

)y)(yx(xb

+b besagt, dass mit der Zunahme (Abnahme) der X-Variablen um 1 Einheit, die Y-Variable um b Einheiten steigt (sinkt).

-b besagt, dass mit der Zunahme (Abnahme) der X-Variablen um 1 Einheit, die Y-Variable um b Einheiten sinkt (steigt).

a spiegelt den Erwartungswert der Y-Variablen wider, unter der Bedingung, dass die X-Variable den Wert Null annimmt.

Wertebereich ist [-∞; +∞]

xbyba 0

Exkurs: Wie kommt es zu b und a?

Die Regressionsgerade muss so gewählt werden, dass die Differenz der beobachteten Werte von den vorhergesagten minimal wird:

Die Regressionskoeffizienten a und b sind dann das Resultat der partiellen Ableitungen („Normalengleichungen“):

n

1i

!

iii

n

1i

!

ii

0)x)(bxa(y2b

Q(b)

01))(bxa(y2a

Q(b)

n

1i

2'ii

n

1i

2'ii min)bya(y)y(yQ(b)

Ein Beispiel: X = Alter, Y = Einkommen (in 100 Euro)

Person xi yi xi - (xi - )2 yi - (x i - ) · (y i - )

A 22 12 -20 400 -10 200B 28 24 -14 196 2 -28C 32 14 -10 100 -8 80D 36 26 -6 36 4 -24E 40 18 -2 4 -4 8F 44 28 2 4 6 12G 48 32 6 36 10 60H 52 16 10 100 -6 -60I 56 30 14 196 8 112J 62 20 20 400 -2 -40

∑ 420 220 0 1.472 0 320

2210/220y

y

4201/420x

x x y x

0,2171.472

320

)x(x

)y)(yx(xb

2i

ii

7012,8420,21722xbya

Wie ermittelt wir a und b?

Wie zerlegen wir die Varianz?

Person xi yi y’i ei = yi - y’i y’i + ei (yi - y’i)2 (yi - )2 (y’i - )2

A 22 12 17,65 -5,65 12 31,92 100 18,92B 28 24 18,96 5,04 24 25,40 4 9,24C 32 14 19,83 -5,83 14 33,99 64 4,71D 36 26 20,70 5,30 26 28,09 16 1,69E 40 18 21,57 -3,57 18 12,74 16 0,18F 44 28 22,43 5,57 28 31,02 36 0,18G 48 32 23,30 8,70 32 75,69 100 1,69H 52 16 24,17 -8,17 16 66,75 36 4,71I 56 30 25,04 4,96 30 24,60 64 9,24J 62 20 26,35 -6,35 20 40,32 4 18,92

∑ 420 220 220 0 220 370,43 440 69,56

iii x0,21712,870xbay' Regressionsgleichung:

yi = a + b ∙ xi + ei yi = y’i + ei

y

2210/220y

y

Nicht erklärte Variation Gesamtv. Erklärte Variation

Maße der einfachen linearen Regressionsanalyse:

1) Koeffizient r2:

• wird auch Proportionale Fehlerreduktion, Erklärter Variationsanteil, Determinationskoeffizient und Bestimmtheitsmaß genannt.

ationGesamtvari

VariationErklärte

)y(y

)y'(y)y(y

E

EEr

2i

2ii

2i

1

212

Interpretation: r2 besagt, dass die Variable X .... % (r2 ∙ 100) der Variation der Variable Y linear erklärt bzw. determiniert. Der Wertebereich ist [0; 1].

In unserem Beispiel: 0,158440,00

69,565r2

Koeffizient der Nichtdetermination (1 - r2):

• Der Wert des Koeffizienten besagt, dass .... % der Variation der Variable Y nicht mit der Variable X linear erklärt werden kann (wird in SPSS nicht berechnet).

• Die Variation der Variablen Y wird durch andere Faktoren (Variablen), die unbekannt sind, determiniert.

Es gilt: r2 + (1 - r2) = 1

In unserem Beispiel: 1 - r2 = 1 - 0,158 = 0,842

K = Anzahl der Fälle

J = Anzahl der unabhängigen Variablen

K - J - 1 = Freiheitsgrade (df)

Warum?

• Das Bestimmtheitsmaß wird in seiner Größe durch die Anzahl der Regressoren (unabhängigen Variablen) beeinflusst. Daher wird der Kennwert korrigiert.

1JK

)R(1JRR

222

korr

2) Korrektur des r2-Wertes:(erst relevant in der multiplen Regressionsanalyse)

In unserem Beispiel: 0,0530,1050,1588

0,8420,158

1110

(0,842)10,158R 2

korr

3) Pearsonsche Produkt-Moment-Korrelationskoeffizient r:

 1. Berechnungsmöglichkeit:

2rr

Nachteil: Der Wert des Korrelationskoeffizienten ist hier grundsätzlich vorzeichenlos (Berechnung in SPSS).

2. Berechnungsmöglichkeit:

22 )y(y)x(x

)y)(yx(xr

ii

ii

In unserem Beispiel nach Formel (1): 0,3980,158r

Der Wertebereich ist hier [-1; +1].

Zur Stärke der Beziehung

über 0 bis 0,2 schwach über 0 bis 0,2 1 sehr schwach0,2 bis 0,4 niedrig 0,2 bis 0,4 schwach0,4 bis 0,7 mäßig 0,4 bis 0,6 mittelmäßig0,7 bis 0,9 hoch 0,6 bis 0,8 stark0,9 bis unter 1 sehr hoch 0,8 bis unter 1 sehr stark

1 Brosius, Felix (2002): SPSS 11.0. Bonn: mitp-Verlag, S. 501.

In Lehrbüchern findet man folgende Hinweise:

4) Kovarianz:

• Die Kovarianz ( cov(x,y) ) ist ein Maß für den Grad des miteinander Variierens bzw. Kovariierens der Messwertreihen von X und Y (wird in SPSS im Rahmen der Regressionsanalyse nicht berechnet)

N

)y)(yx(xy)cov(x, ii

Je höher die Kovarianz ist, desto enger ist der Zusammenhang zwi-schen den Variablen. Nachteil: Die Kovarianz ist abhängig vom Maßstab der zugrunde liegenden Variablen bzw. von deren Varianz.

Es gilt: cov(x,y)max = ± sx· sy

In unserem Beispiel: cov(x,y) = 320/10 = 32 , cov(x,y)max = 12,13 · 6,63 = 80,46

In SPSS erhält man für cov(x,y) = 320/10 - 1 = 35,556

Wertebereich Interpretation

cov(x,y) > 0

Positive Kovarianz-Ein überdurchschnittlicher (unterdurchschnittlicher) Wert der

Variablen X entspricht einem überdurchschnittlichen (unter-durchschnittlichen) Wert in Y

cov(x,y) = 0 Keine Kovarianz (keine lineare Beziehung)

cov(x,y) < 0

Negative Kovarianz-Ein überdurchschnittlicher (unterdurchschnittlicher) Wert der

Variablen X entspricht einem unterdurchschnittlichen (über-durchschnittlichen) Wert in Y

yx2

i2

i

ii

ss

y)cov(x,)y(y)x(x

)y)(yx(xr

• Normiert man die Kovarianz durch die beiden Standardabweichun-gen von X und Y, dann erhält man den Korrelationskoeffizienten r.

• Die Division der Kovarianz durch das Produkt der Standardab-weichungen hat zur Folge, dass Maßstabs- bzw. Streuungsunter-schiede zwischen den Variablen kompensiert werden.

• Die Korrelation zweier Variablen entspricht der Kovarianz der z-transformierten Variablen bzw. dem durchschnittlichen Produkt korrespondierender z-Werte.

Zusammenhang zwischen cov(x, y) und r:

2x

2i

ii

s

y)cov(x,

)x(x

)y)(yx(xb

Exkurs: Z-Transformation von X und Y

Person xi yi xi - zxi yi - zyi

A 22 12 -20 -1,65 -10 -1,51B 28 24 -14 -1,15 2 0,30C 32 14 -10 -0,82 -8 -1,21D 36 26 -6 -0,49 4 0,60E 40 18 -2 -0,16 -4 -0,60F 44 28 2 0,16 6 0,90G 48 32 6 0,49 10 1,51H 52 16 10 0,82 -6 -0,90I 56 30 14 1,15 8 1,21J 62 20 20 1,65 -2 -0,30

∑ 420 220 0 0 0 0

2210/220y 4201/420x

x y

x

ixi s

xxz

y

iyi s

yyz

sx = 12,13, sy = 6,63 = 0, sz = 1

z

Berechnung von Beta (Standardisierter Steigungskoeffizient):

• Beta repräsentiert den Steigungskoeffizienten b der z-transfor-mierten Variablen X und Y. D.h. der Steigungskoeffizient b wird bei Standardisierung der Variablen X und Y zu Beta.

Warum wird b standardisiert?• b wird durch die Messeinheit der Variablen beeinflusst und ent-zieht sich

damit einer direkten Vergleichbarkeit im Rahmen der multiplen Regressionsanalyse. Dort wird für jeden b-Wert (bj) ein Beta-Wert berechnet (Betaj). Der Wertebereich ist [-∞; +∞]. In der einfachen

Regressionsanalyse ist Beta = r (redundante Information).

y

x

s

sbBeta

2

i

ii

)x(x

)y)(yx(xb

In unserem Beispiel: Beta = , r = 0,3980,3986,63

12,130,217

Der Wertebereich ist [-1; +1]

Das ist kein Zufall. Für die einfache Regressionsanalyse gilt immer:

• b = Beta = r = cov(x,y), wenn X und Y z-transformiert sind• Standardisierte Regressionskonstante a = 0 (gilt auch für die multiple

Regressionsanalyse)

Warum ist das so? a = 0, da

Jede z-transformierte Variable besitzt immer einen Mittelwert von Nullund eine Standardabweichung von Eins (also s = 1).

b = Beta = r = cov(x,y), da und

und

0b0xbya

yxyx2x

ssrssbetasby)cov(x,

yx ssy)cov(x,r

2x

2i

ii

s

y)cov(x,

)x(x

)y)(yx(xb

yxy

x2xy

x

ss

y)cov(x,

s

s

s

y)cov(x,

s

sbBeta

Verkürzt: , wobei sx = 1 und sy = 1

Standardschätzfehler/Standardfehler des Schätzers:

• Der Standardschätzfehler kennzeichnet die Streuung der y-Werte um die Regressionsgerade und ist damit ein Gütemaß für die Genauigkeit der Regressionsvorhersage.

• Die Genauigkeit der Regressionsvorhersage wächst mit kleiner werdendem Standardschätzfehler.

• Der Standardschätzfehler ermittelt sich aus der Wurzel des Mittels der Quadrate der Residuen.

1JK

)y'(y 2ii

K = Anzahl der FälleJ = Anzahl der unabhängigen Variablen K - J - 1 = Freiheitsgrade (df)

Ohne den Korrekturfaktor K-J-1 hätten wir keine erwartungstreue Schätzung, die Streu-ung der y-Werte um die vorhergesagten Werte würde unterschätzt.

In unserem Beispiel: 6,80546,3041110

370,435

F-Test:

• Der F-Test prüft die Güte der Vorhersage der Daten durch die Regressionsgleichung (Globale Prüfung der Regressionsfunktion).

• Es wird die Nullhypothese geprüft, dass die unbekannten, wahren Regressions-/Steigungsparameter β1 sich nicht von Null unter-scheiden.

• Die Nullhypothese H0 lautet: β1 = 0 Es liegt kein Einfluss in der Grundgesamtheit vor

• Die Alternativhypothese H1 lautet: β1 ≠ 0 (β0 bzw. a ist in der Hypo-these nicht eingeschlossen)

1)J(KVariation/erklärteNicht

JVariation/ErklärteFempirisch

K - J - 1 = df , K = Anzahl der Fälle, J = Anzahl der unabhängigen Variablen

Ermittlung des theoretischen F-Wertes (Ftheoretisch), ein Auszug aus der F-Tabelle:

df/J 1 2 3 4 5 6 7 8 9 101 161,4 199,5 215,7 224,6 230,2 234,0 236,8 238,9 240,5 241,92 18,51 19,00 19,16 19,25 19,30 19,33 19,35 19,37 19,38 19,403 10,13 9,55 9,28 9,12 9,01 8,94 8,89 8,85 8,81 8,794 7,71 6,94 6,59 6,39 6,26 6,16 6,09 6,04 6,00 5,965 6,61 5,79 5,41 5,19 5,05 4,95 4,88 4,82 4,77 4,746 5,99 5,14 4,76 4,53 4,39 4,28 4,21 4,15 4,10 4,067 5,59 4,74 4,35 4,12 3,97 3,87 3,79 3,73 3,68 3,648 5,32 4,46 4,07 3,84 3,69 3,58 3,50 3,44 3,39 3,35… … … … … … … … … … …30 4,17 3,32 2,92 2,69 2,53 2,42 2,33 2,27 2,21 2,16

•Wenn Fempirisch > Ftheoretisch, dann wird H0 zugunsten H1 verworfen. •Der Zusammenhang ist dann statistisch signifikant.

In unserem Beispiel: , Ftheoretisch = 5,32

H0 wird beibehalten. Der Zusammenhang ist auf dem 5%-Niveau nicht signifikant.

1,50246,304

69,565

8/370,435

1/69,565Fempirisch

Standardfehler (standard error, s.e. bzw. sb):

• Der Standardfehler kennzeichnet die Streuung der Regressions-koeffizienten a und b um den Populationsparameter und ist damit ein Gütemaß für die Genauigkeit der Parameterschätzung.

• Die Genauigkeit des Regressionskoeffizienten wächst mit kleiner werdendem Standardfehler.

• Er bildet darüber hinaus die Basis für die Berechnung des Konfidenzintervalls für a und b.

Der Standardfehler von b (sb) = ns

1JK

)y'(y

bvonVarianz2x

2ii

In unserem Beispiel: 1770,10147,2

46,304sb

T-Test:

• Der T-Test prüft, ob die Regressionskoeffizienten a und b in der Grundgesamtheit signifikant von Null verschieden sind.

• Es wird die Nullhypothese geprüft, dass die unbekannten, wahren Regressionskoeffizienten β0 bzw. a und β1 sich nicht von Null unterscheiden.

• Die Nullhypothese H0 lautet: β0 = 0, β1 = 0

• Die Alternativhypothese H1 lautet: β0 ≠ 0, β1 ≠ 0

bempirisch s

bt

Je größer der Standardfehler (sb) ist, desto kleiner fällt der empirische T-Wert aus. D.h. es ist um so wahrscheinlicher, dass H0 nicht abgelehnt wird. Der empirische T-Wert sollte > ± 1,96 sein, damit H0 abgelehnt wird.

In unserem Beispiel: 1,2260,177

0,217t empirisch

Ermittlung des theoretischen T-Wertes (Ttheoretisch), ein Auszug aus der Student-Tabelle:

•Wenn tempirisch > ttheoretisch, dann wird H0 zugunsten H1 verworfen. •Der Zusammenhang ist dann statistisch signifikant.

df/αIrrtumswahrscheinlichkeit α für zweiseitige Fragestellung

0.20 0.10 0.050 0.020 0.010 0.00101 3.078 6.314 12.706 31.821 63.657 318.3092 1.886 2.920 4.303 6.965 9.925 22.3273 1.638 2.353 3.182 4.541 5.841 10.215… … … … … … …7 1.415 1.895 2.365 2.998 3.499 4.7858 1.397 1.860 2.306 2.896 3.355 4.5019 1.383 1.833 2.262 2.821 3.250 4.29710 1.372 1.812 2.228 2.764 3.169 4.144

In unserem Beispiel: tempirisch = 1,226, ttheoretisch = 2,306

H0 wird beibehalten. Der Zusammenhang ist auf dem 5%-Niveau nicht signifikant.

F-Test und T-Test:• Bei nur einer unabhängigen Variablen ist der F-Test für das

Modell auch ein Test der einen Variablen, deren Einfluss hier durch den T-Test geprüft wird.

• Im Fall der einfachen linearen Regression reicht es aus, nur einen dieser beiden Tests durchzuführen.

F-Test in der multiplen Regressionsanalyse:H0: β1 = β2 = … = βj = 0H1: mindestens ein β-Parameter ≠ 0 (β0 ist nicht eingeschlossen)

T-Test in der multiplen Regressionsanalyse:H0: β0 = 0, β1 = 0, …, βj = 0H1: β0 ≠ 0, β1 ≠ 0, …, βj ≠ 0

Konfidenzintervall:

• Das Konfidenzintervall gibt Aufschluss darüber, in welchem Intervall der unbekannte Populationsparameter β0 und β1 liegt.

• Es wird der Frage nachgegangen, welchen Wert die unbekannten, wahren Regressionskoeffizienten annehmen?

• Je größer das Konfidenzintervall ist, desto ungenauer ist die Parameterschät-zung in der Grundgesamtheit bzw. desto unzuverlässiger ist die gefundene Regressionsfunktion bezüglich dieses Parameters.

• Die Breite des Konfidenzintervalls hängt insbesondere von der Höhe des Standardfehlers (sb) ab. Je größer sb ist, desto größer fällt das Konfidenzinter-vall aus und beinhaltet um so wahrscheinlicher den Wert „Null“.

bb stbβstb

In unserem Beispiel erhalten wir für β1 (95%-Konfidenzintervall):

0,1772,3060,217β0,1772,3060,217 1 0,626β0,192 1

Wie sieht das Ganze in SPSS aus?

Modell R R-QuadratKorrigiertes R-Quadrat

Standardfehler des Schätzers

1 ,398 (a) ,158 ,053 6,805a Einflußvariablen : (Konstante), Alterb Abhängige Variable: Einkommen (in 100 Euro)

Modellzusammenfassung (b)

Modell Quadrat-summe df

Mittel der Quadrate F Signifikanz

1 Regression 69,565 1 69,565 1,502 ,255 (a)

Residuen 370,435 8 46,304 Gesamt 440,000 9 a Einflußvariablen : (Konstante), Alterb Abhängige Variable: Einkommen (in 100 Euro)

Modell

Nicht standardisierte Koeffizienten

Standardi-sierte

Koeffizien-ten T

Signifi-kanz

95%-Konfidenz-intervall für B

BStandard-

fehler Beta Unter-grenze

Ober-grenze

1 (Konstante) 12,870 7,754 1,660 ,136 -5,011 30,750 Alter ,217 ,177 ,398 1,226 ,255 -,192 ,626a Abhängige Variable: Einkommen (in 100 Euro)

ANOVA (b)

Koeffizienten (a)

F-Test:Da der p-Wert > α (= 0,05) ist, wird H0 nicht abgelehnt

T-Test für β0 und β1:

Da der p-Wert > α (0,05) ist, wird H0 nicht abgelehnt