12 Das lineare Regressionsmodell - uni-mannheim.de · 12.2.2 Multiple lineare KQ-Regression...

12 Das lineare Regressionsmodell

846


12.1 Einfaches lineares Regressionsmodell

12.1.1 Grundmodell und KQ-Methode

Bestimmtheitsmaß und Standardfehler der Regression

Theoretische KQ-Regression

Statistisches Grundmodell

Eigenschaften der empirischen KQ-Regression

12.1.2 Modellannahmen und theoretische KQ-Regression

Ensembles von Modellannahmen

12.1.3 Verteilungstheoretische Grundlagen

Verteilungen der KQ-Schätzer

850

850

850

856

863

870

870

881

888

888

Konsistenz und Effizienz der KQ-Schätzer 907

Herleitung der KQ-Schätzer 852

Schätzung der Varianzen der KQ-Schätzer

Verteilungen der Inferenzstatistiken

Spezialfall: Binärer Regressor

Fallbeispiel 2: Klassengröße und Lernerfolg

12.1.4 Schätzen und Testen

Konfidenzintervalle und Tests

Adäquatheit bestimmter Modellannahmen

Fallbeispiel 1: Bewässerung und Wachstum

12.2 Einführung in das multiple lineare Regressionsmodell

908

911

912

912

917

923

931

938

948

12.2.1 Partielle lineare KQ-Regression

Empirische partielle Regression

948

948

Theoretische partielle Regression 956


Verbindung von Empirie und Theorie

12.2.2 Multiple lineare KQ-Regression


Fallbeispiel 2 fortgesetzt: Determinanten des Lernerfolgs

Empirische multiple Regression

Theoretische multiple Regression

Statistische Modelle und Inferenz

12.2.3 Fallbeispiele

Fallbeispiel 3: Gewicht und Geschlecht

959

961

961

967

971

972

982

982

985

Fallbeispiel 4: Binäre Regressoren und ANOVA-Modelle 987


849


12.1.1 Grundmodell und KQ-Methode

Statistisches Grundmodell

850

● Hintergrund ●


● Definition ●

851● Interpretation ●


Herleitung der KQ-Schätzer

● Lösung des empirischen Kleinste-Quadrate-Problems ●

852

min��,�� , � mit � �, � = � �� − � − ��

�

��


853

(i)��

= −2 � �� − � − ��

��

= −2 � ��

��+ 2�� + 2� � ��

�

��

!=0

(ii)��

= −2 � �� − � − ��

��

= −2 � ��

��+ 2� � ��

�

��+ 2� � ��

�

��

!=0

(i) �� = � ��

��− � � ��

�

��

⇔ � = �� − ��


854

(ii) � ��

��= � � ��

�

��+ � � ��

�

��

Setze (i) in (ii) ein:

� ��

��= �� − ��

�

��+ � � ��

�

��

⇔ � =1� ∑ �� − ��1� ∑ �� − ��

= "$%"$�

vorausgesetzt: "$� > 0

Die KQ-Koeffizienten (Lösungen):

'� = �� − '��, '� = "$%"$�


● Der Fall einer nicht eindeutigen Lösung ●

855● Übersetzung in eine Schätzmethode ●

'� = (� − '�)�, '� = *+$%*+$�

KQ-Schätzer:


856

Eigenschaften der empirischen KQ-Regression

● Übersicht ●

Achtung! Eigenschaften nur gültig bei KQ-Regression mit � und � (inkl. Achsenabschnitt)


857

● Die KQ-Gerade geht durch den Schwerpunkt ●

> KQ-Gerade als Funktion:

> Daraus ergibt sich

�, � = '� + '�� = �� − '�� + '�� = ��

● Die Summe der gefitteten Werte ist gleich der Summe der y-Werte ●

> Gefitteter Wert:

> Mittelwert der gefitteten Werte:


�,� = 1� � '� + '��

�

��= 1

� � '��

��+ '�

1� � ��

�

��

�, � = '� + '��, wobei '� = �� − '��

�,� = �, �� = '� + '��

�,� = 1� � �,�

�

��


858

= '� + '�� = ��

⇒ �,� = ��

⇒ � �,��

��= � ��

�

��

● Die Summe der KQ-Residuen ist gleich 0 ●

> KQ-Residuum:

> Mittelwert der KQ-Residuen:


.,� = 1� � .,�

�

��= 1

� � �� − �,��

��

.,� = �� − �,�

.,� = 1� � .,�

�

��


859

= 1� � ��

�

��− 1

� � �,��

��= �� − �,� = 0

⇒ .,� = 0⇒ � .,�

�

��= 0

● KQ-Residuen und x-Werte sind unkorreliert ●

> Kovarianz zwischen Residuen und x-Werten:

"$/0 = 1� � ��.,�

�

��− �.,� = 1

� � ��.,��

��

1� � ��.,�

�

��= 0

> Weiter gilt dann (Beweis, siehe LB S. 591):


860

● Gefittete Werte und KQ-Residuen sind unkorreliert ●

> Kovarianz zwischen gefitteten Werte und KQ-Residuen:

"%/0 = 1� � �,�.,�

�

��− �,�.,� = 1

� � �,�.,��

��

1� � �,�.,�

�

��= 0

> Weiter gilt dann:


861

Dies ergibt sich aus

1� � �,�.,�

�

��= 1

� � '� + '�� .,��

��

= 1� � '�.,�

�

��+ 1

� � '��.,��

��

= '� × 1� � .,�

�

��+ '� × 1

� � ��.,��

��

= '�.,� + '� × 1� � ��.,�

�

��

= 0 = 0

= 0


● Es gilt die Streuungszerlegungsformel ●

> Die Streuungszerlegungsformel der KQ-Regression lautet in derder Darstellung über Quadratsummen

� �� − ��

��= � �,� − ��

��+ � �� − �,� ��

��

> Dividiert man auf beiden Seiten durch � und beachtet .,� = 0, erhält man

= �,� = .,��

1� � �� − ��

��= 1

� � �,� − �,� ��

��+ 1

� � .,�� − .,� ��

��

"%� "%� "/0

�

Gesamtstreuung = Erklärte Streuung + Residualstreuung 862

Gesamt-quadratsumme

Erklärte Quadratsumme

Residuenquadrat-summe


Bestimmtheitsmaß und Standardfehler der Regression

863


864

> Zum Nachweis von 2� = 3$%� siehe Lehrbuch S. 595

> Nachweis von 3$%� = '��456476

:

3$%� = "$%"$�"%�

8

�= "$%�

"$�"%�= "$%�

"$9× "$�

"%�= '��

"$�

"%�

> 2� ∈ 0,1 folgt aus 3$% ∈ −1,1


865

● Beispiel 12.1.1 ●

Wir betrachten nochmals das Rechenbeispiel 5.2.9 (vgl. Folie 227).

Beobachtungswerte: (1, 1), (2, 2), (3, 1), (4, 3), (5, 2)

> Berechnung der KQ-Gerade, der gefitteten Werte und der Residuen


866

'� = "$%"$�

=1� ∑ �� − ��1� ∑ �� − ��

= 30 5⁄ − 3 × 1.855 5⁄ − 3� = 0.3

'� = �� − '�� = 1.8 − 0.3 × 3 = 0.9⇒ �, � = '� + '�� = 0.9 + 0.3�

� = 155 = 3

�� = 95 = 1.8

⇒ �,� = 0.9 + 0.3 × 1 = 1.2, usw.

⇒ .,� = �� − �,� = 1 − 1.2 = −0.2, usw.

wird zur Berechnung der KQ-Gerade nicht benötigt


867

> Berechnung des Bestimmtheitsmaßes

2� = '��"$�

"%�= '�� × 1 �⁄ ∑ �� − ��

1 �⁄ ∑ �� − ��

= 0.3� × 55 5⁄ − 3�

19 5⁄ − 1.8� = 0.3� × 20.56

Alternativ:

"/0� = 1

� � .,� − .,� ��

��= 1

� � .,��

��= 1

5 × 1.9 = 0.38

"%� = 1� � ��

�

��− �� = 19 5⁄ − 1.8� = 0.56

≈ 0.3214

⇒ 2� = 1 − "/0�

"%�= 1 − 0.38

0.56 ≈ 0.3214


868

● Standardfehler der Regression ●

> Definition: *D2 = 1� − 2 � .,��

�

��8 = �

� − 2 × "/0�8 Standard Error

of Regression

> Interpretation: ≈ Standardabweichung der KQ-Residuen

⇒ ca. 95% aller Beobachtungen sollten innerhalb eines Schlauchesder Breite 4 × *D2 um die KQ-Gerade herum liegen

> Zusammenhang zum Bestimmtheitsmaß:

Aus und *D2� = �� − 2 × "/0

� folgt

*D2� = �� − 2 × "%� × 1 − 2�

2� = 1 − "/0�

"%�

bzw.

2� = 1 − � − 2� × *D2�

"%�


869

● Beispiel 12.1.2 ●

Sofern man den geschätzten Zusammenhang als wahr unterstellt, kann man das Gewicht mit einer Sicherheit von 95% auf

2 × 8.38EF = 16.76EFgenau prognostizieren.


870

12.1.2 Modellannahmen und theoretische KQ-Regression

Ensembles von Modellannahmen

● Modell KN: Nichtstochastischer Regressor ●

> (A0*) Speziallfall von (A0) mit H )� = �� = 1> ��, (� , … , ��, (� sind unabhängig heterogen verteilt

> (� , … , (� sind unabhängig heterogen verteilt


871

> D (� = D � + �� + J� = D � + D �� + D J�= � + ��

> KL3 (� = KL3 � + �� + J� = KL3 J� = M/�

> J� ~ O 0, M/�

⇒ � + �� + J� = (� ~ O � + �� , M/�


872

● Modell KS: Stochastischer Regressor ●

> J�|)� = �� ~ O 0, M/�

⇒ QRS )� , J� = 0⇒ J� , )� unabhängig


873> KL3 J�|)� = �� = KL3 J� = M/�> D J�|)� = �� = D J� = 0

> Da J� = (� − � − �)� folgt aus (A2):

⇒ )�, J� , … , )�, J� u. i. v.

⇒ J�, … , J� u. i. v. mit J� ~ O 0, M/�

bedingte und unbedingte Homoskedastizität


874

> J� | )� = �� ~ O 0, M/�

⇒ (� | )� = �� ~ O � + �� , M/�

> KL3 (�|)� = �� = KL3 � + �)� + J�|)� = ��

= KL3 J�|)� = �� = M/�= KL3 �)�|)� = �� + KL3 J�|)� = ��

> D (�|)� = �� = D � + �� + J�|)� = ��= D �|)� = �� + D ��|)� = �� + D J�|)� = ��= � + �� + D J�|)� = �� = � + ��


● Beispiel 12.1.3: Bivariate Normalverteilung ●

Annahmen von Modell KS, wobei (A2) konkretisiert wird zu

875


● Modell BH: Bedingt heteroskedastischer Fehler ●

> )� , J� nicht zwingend unabhängig, jedoch unkorreliert (siehe Folie 878)

> Da J� = (� − � − �)� folgt aus (A2):

⇒ )�, J� , … , )�, J� u. i. v.

⇒ J�, … , J� u. i. v. 876


> Keine Aussage über KL3 J�|)� = �� :

⇒ KL3 J�|)� = �� = UR�"V. kann nicht o. W. angenommen werden

⇒

> D J�|)� = �� = D J� = 0

> D (�|)� = �� = D � + �� + J�|)� = ��= ⋯ = � + �� 877

⇒ bedingte Homoskedastizität nicht zwingend gegeben,stattdessen bedingte Heteroskedastizität möglich


> KL3 (�|)� = �� = KL3 � + �)� + J�|)� = ��= ⋯ = KL3 J�|)� = ��

> KL3 J� = D KL3 J�|)� + KL3 D J�|)�

● Modell UHV: Heterogen verteilte Stichprobenvariablen ●

= D KL3 J�|)� =: M/� Unbedingte Homoskedastizität

> Keine Verteilungsaussage über J� oder (�

> Fehler und Regressor sind zwar nicht zwingend unabhängig,jedoch unkorreliert:

QRS )� , J� = D )�J� − D )� D J�= D D )�J� |)�= D )�D J�|)� = 0

878

= 0


● Zusammenfassung ●

879


● Alternativ auch (Xi, Ui) statt (Xi, Yi) ●

● Sonstige Verallgemeinerungen ●

zu (16) und (17) siehe Satz 12.1.2 (Folie 885)

880


Theoretische KQ-Regression

● Überblick ●

● Definition und Eigenschaften ●

min��,�� , � mit �� , � = D ( − � − �) �

> Theoretische KQ-Regression für 2 Zufallsvariablen ) und (:

> Ziel: Minimierung des MSE oder MSFE (Mean Squared Forecast Error)durch besten linearen Prädiktor

> Zunächst einmal gilt:

D ( − � − �) �

= M%� − 2�M$% + ��M$� + Y% − � − �Y$ �= KL3 ( − � − �) + D ( − � − �) �

881


��

= −2 Y% − � − �Y$ !

= 0(i)

��

= −2M$% + 2�M$� − 2Y$ Y% − � − �Y$ !

= 0(ii)

⟺ � = Y% − �Y$

Setze (i) in (ii) ein:

−2M$% + 2�M$� = 0

⟺ � = M$%M$�

Die theoretischen KQ-Koeffizienten (Lösungen):

'� = Y% − �Y$, '� = M$%M$� 882


Analog zu den Eigenschaften der empirischen KQ-Regression(Folie 856) gelten folgende Eigenschaften:

1 �,� Y$ = Y%

2 D (� = D ( = Y%

3 D ( − (� = 04 QRS ( − (�, ) = 05 QRS ( − (�, (� = 06 KL3 ( = KL3 (� + KL3 ( − (�

Theoretische Streuungszerlegungsformel der KQ-Regression

⇒ ℜ� =KL3 (�KL3 ( = 1 −

KL3 ( − (�KL3 (

TheoretischesBestimmtheitsmaß 884


● Zusammenhang zur Modellgeraden in den Modellen KS und BH ●

> Vgl. Eigenschaften (16) und (17) auf Folie 880

> Es gelten die Eigenschaften (9) und (8)

D J� = 0 und QRS )� , J� = 0

885


Y\ = D (� = D � + �)� + J�

⟺ � = Y% − �Y$

= D � + �D )� + D J�

> Mit Annahme (A2), d. h. insbesondere der identischen Verteilung, folgt

= � + �Y$

> Andererseits folgt:

M$% = QRS )� , (� = QRS )�, � + �)� + J�

= �QRS )�, )� + QRS )� , J� = �M$�

⟺ � = M$%M$�

886


● Zusammenhang zur Modellgeraden in den Modellen KN und UHV ●

> Weiter gilt:

M/� = KL3 J� = KL3 (� − � − �)�

= KL3 (� − M$%M$�

)�

= KL3 (� + M$%M$�

�KL3 )� − 2 M$%

M$�QRS )� , (�

= M%� + M$%�

M$�− 2 M$%�

M$�= M%� − M$%�

M$�

= M%� 1 − ]$%�

= M%� 1 − M$%�

M%�M$�

Zusätzliche Konvergenzannahmen benötigt...

887


12.1.3 Verteilungstheoretische Grundlagen

Verteilungen der KQ-Schätzer

● Alternative Darstellungen der KQ-Schätzer ●

Zur Herleitung der Verteilungen der KQ-Schätzer

'� = (� − '�)� und '� = *+$% *+$�⁄erweisen sich gewisse alternative Darstellungen für die Formeln der KQ-Schätzer als hilfreich.


889

> Nachweis von (12.1.48):

(� = 1� � � + �)� + J�

�

��= � + �)� + J

⇒ '� = (� − '�)� = � + �)� + J − '�)�= (� − )� '� − � + J

> Nachweis von (12.1.49):

*+$% = 1� � )� − )� (� − (�

�

��

= 1� � )� − )� � + �)� + J� − � − �)� − J

�

��

= � × 1� � )� − )� ��

��+ 1

� � )� − )� J� − J�

��


890

= � × *+$� + 1� � )� − )� J�

�

��− J × 1

� � )� − )��

��

= 0= � × *+$� + 1� � )� − )� J�

�

��

● Verteilung der KQ-Schätzer im Modell KN ●

'� − � = 1"$�

× 1� � �� − � J�

�

��= � U�J�

�

��

> Herleitung der Verteilung von '�:

⇒ '� = *+$% *+$�⁄ = � + 1*+$�

× 1� � )� − )� J�

�

��

U� = �� − ��"$�

⇒ gewichtete Summe der Fehler mit Gewichten


891

U�J�~ O 0, U��M/�

⇒ '� − � = � U�J��

�� ~ O 0, � U��M/�

�

��

'� − � ~ O 0, M/�

�"$�bzw. '� ~ O �, M/�

�"$�

Da die Fehler J� unabhängig O 0, M/� -verteilt sind, gilt:

Mit

� U��M/��

��= � �� − � �

��"$9M/�

�

��= M/�

�"$9× 1

� � �� − � ��

��= M/�

�"$�

= "$�erhält man daraus dann


892

> Herleitung der Verteilung von '�:

'� − � = −� '� − � + J = � � U�J��

��+ 1

� � J��

��

E� = −�U� + 1�

⇒ gewichtete Summe der Fehler mit Gewichten

= � �U�J��

��+ � 1

� × J��

��= � E�J�

�

��

⇒ '� − � = � E�J��

�� ~ O 0, � E��M/�

�

��Mit

� E��

��= � ��U��

�

��− 2�

� � U��

��+ � 1

��

��

= �� − � �

��"$9= 0

�� = 1

�


893

= ��

��"$9� �� − � ��

��+ 1

� = ��

�"$9× 1

� � �� − � ��

��+ 1

�

= ��

�"$9× "$� + "$�

�"$�= �� + "$�

�"$�

Wegen "$� + �� = 1� � ��

�

��erhalten wir schließlich

'� − � ~ O 0,1� ∑ �� M/�

�"$�bzw. '� ~ O �,

1� ∑ �� M/�

�"$�


894

> Einige verteilungstheoretische Implikationen

D '� = �, D '� = � (Erwartungstreue)

KL3 '� =1� ∑ ��M/��

�"$�

KL3 '� = M/�

�"$�

(vgl. Abb. 12.1.9)

(vgl. Abb. 12.1.8)


895

Achsenabschnitts

● Verteilung der KQ-Schätzer im Modell KS ●

> Da Regressoren stochastisch, jetzt Groß- statt Kleinschreibweise:

'� − � = � Q�J��

��Q� = )� − )�

�*+$�mit

> Da die Gewichte Q� nun stochastisch sind, sind die TermeQ�J� i. A. nicht mehr normalverteilt.


896

> Deshalb jetzt bedingte Betrachtung („Trick“):

Q�J�|)�, … , )� ~ O 0, Q��M/� = O 0, )� − )� �M/�

��*+$�

⇒ '� − �|)�, … , )� ~ O 0, M/�

�*+$�

'�|)�, … , )� ~ O �, M/�

�*+$�

für *+$� > 0

'� − �|)�, … , )� ~ O 0,1� ∑ )�� M/�

�*+$�

bzw.

'�|)�, … , )�~ O �,1� ∑ )�� M/�

�*+$�

und

und


897

> Verteilungstheoretische Implikationen

D '� = D D '�|)�, … , )� = D � = �

D '� = D D '�|)�, … , )� = D � = �

erwartungstreu(bedingt und unbedingt)

KL3 '�|)�, … )� =1� ∑ )�� M/�

�*+$�

KL3 '�|)�, … )� = M/�

�*+$�


898

● Verteilung des KQ-Schätzers für β1 im Modell BH ●

> Da )�, (� , … , )�, (� u. i. v. und J� = (� − � − �)�, sind auch)�, J� , … , )�, J� u.i.v.

⇒ )� − Y$ J�, … , )� − Y$ J� sind u.i.v. mit

D )� − Y$ J� = D D )� − Y$ J�|)� = D )� − Y$ D J�|)�

= D )� − Y$ × 0 = 0 = 0

KL3 )� − Y$ J� = D )� − Y$ �J�� = D D )� − Y$ �J��|)�

= D )� − Y$ �D J��|)�= D )� − Y$ � × KL3 J�|)�

und


899

> Anwendung des ZGWS für u.i.v.-Zufallsvariablen (Satz 7.4.3, Folie 550):

(� =1� ∑ )� − Y$ J��

KL3 )� − Y$ J��

8 ~ O 0,1L

Ebenso gilt:

∗ `� =1� ∑ )� − )� J��

KL3 )� − Y$ J��

8 ~ O 0,1

> Nachweis von ∗ :

1� � )� − )�

�

��J� = 1

� � )� − Y$ + Y$ − )��

��J�

Mit der Zerlegung des Zählerausdrucks

L


900

= 1� � )� − Y$

�

��J� + 1

� � Y$ − )� J��

��

= 1� � )� − Y$

�

��J� + Y$ − )� J

folgt die Zerlegung von ∗ in

1� ∑ )� − )� J��

KL3 )� − Y$ J��

8=

1� ∑ )� − Y$ J��

KL3 )� − Y$ J��

8+ Y$ − )� J

KL3 )� − Y$ J��

8

= (� ~ O 0,1= `� ~ O 0,1 LL = a� b 0Das Verteilungsresultat für `� resultiert aus Slutsky‘s Theorem (Folie 584)

Damit wäre ∗ nachgewiesen. Allerdings fehlt noch der ...


901

> Nachweis von a� b 0:

a� = Y$ − )� M/KL3 )� − Y$ J�

× JM/ �⁄

= c� ~ O 0,1= d� b 0 L

Da J�, … , J� u.i.v. sind mit D J� = 0 und KL3 J� = M/�, folgt

c� ~ O 0,1 mit dem ZGWS. Andererseits sind )�, … , )� u.i.v. L

mit D )� = Y$ und KL3 )� = M$�. Deshalb folgt mit dem GGZ:

)� b Y$ bzw. )� − Y$ b 0

⇒ a� b 0Slutsky‘s Theorem

und schließlich d� b 0.

Mit Slutsky‘s Theorem folgt dann a� b 0.


902

∗∗ 1�8 � )� − )� J�

�

�� ~ O 0, KL3 )� − Y$ J�

L> Für Resultat ∗ auf Folie 888 können wir alternativ auch schreiben

> Kombiniere Satz 12.1.3 (Folie 888) mit ∗∗ + Slutsky‘s Theorem:

�8 '� − � = 1*+$�

× 1�8 � )� − )� J�

�

�� ~ O 0, KL3 )� − Y$ J�

M$� �L

∗∗ b 1 M$�⁄Satz 10.1.4, Folie 658

⇒ �8 '� − � ~ O 0, KL3 )� − Y$ J�M$� �

L

⇔ '� − � ~ O 0, KL3 )� − Y$ J�� M$� �

Lee3R�.

⇔ '� ~ O �, KL3 )� − Y$ J�� M$� �

Lee3R�.


903

> Verteilungstheoretische Implikationen

D '� = � + D 1*+$�

× 1� � )� − )� J�

�

��

= � + D D 1*+$�

× 1� � )� − )� J�

�

��|)�, … , )�

= � + D 1*+$�

× 1� � )� − )� D J�|)�, … , )�

�

��

=D J�|)� = 0= �

⇒ erwartungstreu (unbedingt)

KL3 �8 '� − � ≈ 1M$� � D )� − Y$ �KL3 J�|)�

= KL3 )� − Y$ J�M$� �(Folie 898)

Annahme (A1)


904

> Deutung der approximativen Varianz

D )� − Y$ �KL3 J�|)�

= QRS )� − Y$ �, KL3 J�|)� + M$�D KL3 J�|)�

= Var J� = M/�

D KL3 J�|)� = KL3 J� + KL3 D J�|)� = KL3 J�

Man beachte hierzu (vgl. Satz 7.2.7)

= 0Interpretation:

Bei gegebenen Varianzen von Regressor und Fehler (M$� bzw. M/�)wird die Varianz des KQ-Schätzers '� umso größer, desto stärkerdie quadratische Abweichung des Regressorwerts vom Schwer-punkt mit der bedingten Fehlervarianz positiv korreliert ist. Sie wird kleiner bei negativer Korrelation (vgl. Abb. 12.1.10).


905

> Spezialfall: Homoskedatischer Fehler

KL3 �8 '� − � ≈ 1M$� � D )� − Y$ �M/� = M/�

M$�

⇒ KL3 '� ≈ M/�

�M$�

enger Bezug zu Modell KS (vgl. Folie 896)


906

● Verteilung des KQ-Schätzers für β0 im Modell BH ●

● Verteilung der KQ-Schätzer im Modell UHV ●

> Resultate ohne Herleitung und ohne Deutung:

⇒ �8 '� − � ~ O 0, D i��J��

D i��

L

⇔ '� − � ~ O 0, D i��J��

� D i��

Lee3R�.

⇔ '� ~ O �, D i��J��

� D i��

Lee3R�.

wobei i� = 1 − Y$)�D )��

> Exakte Erwartungstreue liegt auch hier vor


907

Konsistenz und Effizienz der KQ-Schätzer

● Konsistenz der KQ-Schätzer ●

● Effizienz der KQ-Schätzer und Gauß-Markov-Theorem ●

> In den Modellen KS und BH gilt (vgl. Folie 880 bzw. 885):

� = Y% − �Y$ und � = M$% M$�⁄Wegen )� b Y$, (� b Y%, *+$% b M$% und *+$� b M$�

(vgl. etwa Satz 10.1.4, 8.2.3 (Stetigkeitssatz), Beispiel 8.3.6) folgt

j+57j+56

b k57k56

und (� − j+57j+56

× )� b Y% − k57k56

Y$

= '� = � = '� = �

d. h. '� b � und '� b �

> In Modellen KN und UHV zusätzliche Konvergenzannahmen nötig


Schätzung der Varianzen der KQ-Schätzer

● Hintergrund ●

908

> Zur Erinnerung:

Falls )�, … , )� unabhängig O Y, M� , dann gilt:

Y, = )� ~ O Y, k6� , ` = lmnl

k6 �⁄8 ~ O 0,1 und o = lmnlj6 �⁄8 ~ V � − 1

Mit Mlm� = KL3 Y, = M� �⁄ bzw. M,lm� = KL3 Y,p = *� �⁄können wir KI‘s und Teststatistiken konstruieren und notieren

Y, ± r�ns �⁄ Mlm�8

bzw. Y, ± V�n�,�ns �⁄ M,lm�8

und ` = lmnlktm6

8 bzw. o = lmnlkmtm6

8

> Jetzt analog: KI‘s und Tests für � und �

bekannter bzw. geschätzter

Standardfehler


909

● Schätzung der Varianzen im klassischen Fall ●

> Es gelten folgende Verteilungsresultate (vgl. Folien 891, 893 und 896):

M�0�� =

1� ∑ �� M/�

�"$�M�0�

� = M/�

�"$�Modell KN:

Modell KS:

> Die dazu korrespondierenden (konsistenten) Schätzer lauten:

M�0�|$�,…,$u� =

1� ∑ )�� M/�

�*+$�M�0�|$�,…,$u

� = M/�

�*+$�

Mv�0�� = Mv�0�|$�,…,$u

� =1� ∑ )�� M,/�

�*+$�bzw. Mv�0�

� = Mv�0�|$�,…,$u� = M,/�

�*+$�

mit M,/� = *D2� = 1� − 2 � J0��

�

��(vgl. Folie 868)

Nur-Homoskedastizitäs-konsistente Varianzschätzer


910

● Schätzung der Varianzen im Modell BH ●

● Schätzung der Varianzen im Modell UHV ●

> Es gelten folgende Verteilungsresultate (vgl. Folie 902 und 906):

M�0�� ≈ w xy6/y6

� w xy66 mit i� = 1 − l5$y

w $y6und M�0�

� ≈ z{| $ynl5 /y� k56

6

> Die dazu korrespondierenden (konsistenten) Schätzer lauten:

M,�0�� =

1� ∑ i0��J0��

� 1� ∑ i0��

� i0� = 1 − )�)�1� ∑ )��

M,�0�� =

1� ∑ )� − )� �J0��

� *+$��

mit

Man beachte (Folie 898): KL3 )� − Y$ J� = D )� − Y$ �J��

Heteroskedastizitäs-konsistenteoder Heteroskedastizitäts-robusteVarianzschätzer


911

Verteilungen der Inferenzstatistiken

● Hintergrund ●

● Verteilungen im klassischen Modell ●

Verteilung der maßgeblichen Inferenzstatistik (ohne Nachweis):

o}�~ = '� − �Mv�0~

~ V � − 2 für � = 0,1 und � ≥ 3

Verteilung der maßgeblichen Inferenzstatistik (ohne Nachweis):

o�~ = '� − �M,�0~

~ O 0,1 für � = 0,1 und � ≥ 60

● Verteilungen in den Modellen BH und UHV ●

und Mv�0�� bzw. Mv�0�

� wie auf Folie 909

und M,�0�� bzw. M,�0�

� wie auf Folie 910

L


12.1.4 Schätzen und Testen

Konfidenzintervalle und Tests

● Herleitung von Konfidenzintervallen ●

● Konstruktion von Tests ●

> Ansatz in den klassischen Modellen:

1 − � = H −V�n�,�ns �⁄ ≤ o}�~ ≤ V�n�,�ns �⁄ = ⋯= H '� − V�n�,�ns �⁄ × Mv�0~ ≤ � ≤ '� + V�n�,�ns �⁄ × Mv�0~

> Ansatz in den Modellen BH und UHV:

1 − � = H −r�ns �⁄ ≤ o�~ ≤ r�ns �⁄ = ⋯= H '� − r�ns �⁄ × M,�0~ ≤ � ≤ '� + r�ns �⁄ × M,�0~

912


● Zusammenfassung ●

913

Schlange-

Schätzer

Dach-

Schätzer


914


915


● Äquivalenz der Tests auf β1,0 = 0 und ρXY = 0 ●

> Die Teststatistik bezüglich � in den Modellen KN und KS für den Nullhypothesenwert �,� = 0 ist mit derjenigen des Korrelationstests(Folie 836) identisch, d. h. es gilt:

o}�� = o� für �,� = 0> Nachweisskizze:

o}�� = '� − 0Mv�0�

8= *+$% *+$�⁄

M,/� �*+$��8= ⋯ = � − 28 × 2$%

1 − 2$%�8 = o�

> Korrelationstest und Tests in den klassischen Modellen mit �,� = 0 sindäquivalent (führen stets zu identischen Testentscheidungen)

916


Spezialfall: Binärer Regressor

● Hintergrund ●

> Ein Spezialfall eines einfachen linearen Regressionsmodells liegt vor, fallsder Regressor binär (0-1-Variable) ist. Grundsätzlich können damit auch kategoriale Merkmale als Regressoren verwendet werden.

> Inferenz bei binärem Regressor ist äquivalent zur Inferenz über Erwartungs-wertdifferenzen

● Interpretation der Regressionskoeffizienten ●

> Ausgehend vom Modell (� = � + �)� + J� mit binärem )� erhalten wirin allen Modellvarianten mit Annahme (A1), (A1*) und (A1**) dann

D (�|)� = 0 = � und D (�|)� = 1 = � + �> Setzen wir

Y� = D (�|)� = 0 und Y� = D (�|)� = 1 917


erhalten wir die Beziehungen

Y� = � und � = Y� − Y�

● KQ-Schätzer bei binärem Regressor ●

> Nachweis umständlich jedoch mathematisch eigentlich nicht anspruchsvoll

> Ergebnisse sind intuitiv nachvollziehbar!

918


● Varianzschätzer bei binärem Regressor ●

919


● Äquivalenz der Inferenz bezüglich β1 und 1 0 ●

> Ad (i):

identisch mit dem für Y� − Y�:

'� − V�n�,�ns �⁄ × Mv�0� , '� − V�n�,�ns �⁄ × Mv�0�

(�� − (�� − V�n�,�ns �⁄*��

��+ *��

��

8 , (�� − (�� + V�n�,�ns �⁄*��

��+ *��

��

8

KI für �:

920


Tests über � identisch mit denen über Y� − Y�:

o}�� = '� − �,�

Mv�0��8

= (�� − (�� − ��*�� ⁄ + *�� ⁄8 = o}�

> Ad (ii):

falls �,� = ��

identisch mit dem für Y� − Y�:

'� − r�ns �⁄ × M,�0� , '� + r�ns �⁄ × M,�0�

(�� − (�� − r�ns �⁄*+��

O�+ *+��

O�

8 , (�� − (�� + r�ns �⁄*+��

O�+ *+��

O�

8

KI für �:

921


● Tests über 1 0 auch bei stochastischen Gruppenumfängen ●

Tests über � identisch mit denen über Y� − Y�:

o�� = '� − �,�

M,�0��8

= (�� − (�� − ��

*+�� O�⁄ + *+�� O�⁄8= o�

falls �,� = ��

Da in den Modellen KS und BH der Regressor stochastisch modelliert wird,folgt, dass die Konfidenzintervalle und Teststatistiken für Erwartungswert-differenzen auch bei stochastischen Gruppenumfängen O� und O� verwendetwerden können.

922


923

Adäquatheit bestimmter Modellannahmen

● Hintergrund ●

● Noch vor den eigentlichen Annahmen: Repräsentativität ●

Stellen wir uns vor, ein Immobilienexperte möchte den Zusammenhang zwi-schen Wohnfläche und Nettomiete in einer Stadt untersuchen. Dazu nimmter s ich kurzerhand die Wochenendausgabe der ansässigen Lokalzeitung zurHand und notiert alle Angebote des Wohnungsmarktes bezüglich Wohn-fläche und Miete. Eine auf solche Weise gewonnene Stichprobe könnten wirdann als Quasi-Stichprobe erachten (Abschnitt 9.2). Abbildung 12.1.11illustriert verschiedene (stark stilisierte) Situationen, in denen der poten-zielle Auswahlbereich (gestrichelt) die Grundgesamtheit (Dichtekonturen)nicht vollständig abdeckt. Infolgedessen führt dies zu einer mehr oder weni-ger stark ausgeprägten Stichprobenverzerrung. Im Einzelnen könnte mansich dazu folgende Szenarien (1) bis (4) vorstellen:


924

schwarz... wahre Geradegrau... geschätzte Gerade

potenziellerAuswahlbereich

Geschätzte Gerade zu tief Geschätzte Gerade dennoch richtig

Geschätzte Gerade zu flach Geschätzte Gerade zu steil


● Linearitätsannahme ●

● Stochastischer oder nichtstochastischer Regressor ●

● Messfehlerprobleme ●

● Unabhängigkeitsannahme ●

● E(Ui | Xi) = 0 und OVB-Problem ●

925

Annahme impliziert, dass...

... Resteinflüsse auf die abhängige Variable „gleichmäßig um dieGerad herum streuen“

... dass die Eigenschaft (vgl. Folie 878 bzw. 879 Eigenschaft 8)

QRS )� , J� = D )�J� = 0erfüllt ist, welche anhand folgender Leitfrage geprüft wird:


926

> Bejahung der Leitfrage impliziert QRS )� , J� ≠ 0 und damit auchD J�|)� ≠ 0. Die Umkehrung gilt nicht zwingend! Dies bedeutet, dass D J�|)� ≠ 0 nicht zwingend QRS )� , J� ≠ 0 impliziert.

> QRS )�, J� ≠ 0 führt zu einer inkonsistenten Schätzung von �,was sich im Rahmen der späteren Überlegungen zu systematischenVerzerrungen auch formal fassen lässt (vgl. etwa Satz 12.2.3)

> Die durch QRS )�, J� ≠ 0 verursachte asymptotische Verzerrungwird auch als OVB (Omitteld-Variable-Bias) bezeichnet und das da-mit korrespondierende Problem als OVB-Problem.

> In Modell KN QRS �� , J� = 0 per se erfüllt, da �� nichtstochastisch.Leitfrage dennoch von Relevanz (vgl. Fallbeispiel 1 auf Folie 931)


● E(Ui | Xi) = 0, Messfehler- und Endogenitätsproblem ●

● Cov(Xi, Ui) = 0 lässt sich nicht anhand der KQ-Residuen prüfen ●

927

> Das multiple lineare Regressionsmodell stellt einen möglichen Lösungansatz für das OVB-Problem dar (vgl. Abschnitt 12.2)

Auch andere Probleme wie Messfehler oder simultane Kausa-lität können zu D J�|)� ≠ 0 führen (weiterführende Themen)


● Homoskedastischer oder heteroskedastischer Fehler ●

928

> Rein optische Prüfung kann in die Irre führen (vgl. Abb. 12.1.13),insbesondere bei schiefer Verteilung des Regressors

> Statistische Tests auf Heteroskedastizität wie etwa White-Test

> KQ-Methode bei Heteroskedastizität eigentlich ineffizient, effizienteverallgemeinerte KQ-Methode jedoch schwer umsetzbar


● Normalverteilungsannahme ●

● Identisch oder heterogen verteilt ●

● Technische Annahmen ● 929

> Bei Vorliegen von Homoskedastizität sollten die Nur-Homoskedasti-zitätskonsistenten Varianzschätzer (Folie 909) verwendet werden.

> Die unnötige Verwendung der Heteroskedastizitäts-konsistenten Vari-anzschätzer (Folie 910) in Modell BH (d. h. es liegt tatsächlich Homo-skedasizität vor), führt hingegen nur zu einem Effizienzverlust bei derVarianzschätzung. Tendenziell führt dies zu längeren Konfidenzinter-vallen und zu Güteverlusten beim Testen. Da die Schätzer jedoch auchunter Homoskedastizität konsistent sind, bleibt die Inferenz gültig.

> Die fälschliche Unterstellung von Homoskedastizität führt zu inkon-sistenten Varianzschätzungen, was dann verfälschte Sicherheits- undIrrtumswahscheinlichkeiten zur Folge hat (verfälschte Inferenz)


● Fazit und Empfehlung ●

> Einschließlich der Repäsentativität stellen alle mit der AnnahmeD J�|)� = 0

in Verbindung stehenden Aspekte die wichtigsten Prüfsteine dar, da siebei Verletzung zu ernsthaften Verfälschungen (inkonsistenten Schätzun-gen) führen.

> Modell BH mit den heteroskedastizitäts-konsistenten Varianzschätzern stellt für viele Fälle in der Praxis, in denen ein u. i. v.-Schema adäquaterscheint, eine gute Wahl dar. Dabei gilt: Lieber unnötig von Heterske-dastizität ausgehen als fälschlich Homoskedasitzität unterstellen.

930

> Modelle KN, KS und UHV als Spezialfälle in Modell BH enthalten


Fallbeispiel 1: Bewässerung und Wachstum

● Hintergrund ●

931

Problemstellung fiktiv (vgl. Abb. 12.1.14, Folie 933):

Ein Botaniker untersucht den Zusammenhang zwischen Bewässerungs-menge (in Liter) und Wuchshöhe (in Meter) einer bestimmten Pflanze.Dazu züchtet er 5 Exemplare in einem Labor unter identischen Bedingun-gen an. Lediglich die wöchentliche Bewässerungsmenge wählt er unter-schiedlich und variiert diese zwischen 1 und 5 Liter. Sein Modellansatzlautet:

(� = � + �� + J� für � = 1, … , 5,wobei (� die nach 4 Wochen gemessene Wuchshöhe und �� die festgesetztewöchentliche Bewässerungsmenge für die i-te Pflanze ist.


● Modell KN: Diskussion der Modellannahmen ●

932

> Linearitätsannahme (A0):Fachkenntnisse nötig, approximative Linearität, beschränkt aufbestimmten Wertebereich

> Annahme (A1*): J�, … , J� unabhängig O 0, M/�

1. Teilaspekt: D J� = 0Angenommen, Szenario wie in Abb. 12.1.14:Bewässerungsmenge steigt von links nach rechts. Gleichzeitig wirkesich Tageslicht wachstumssteigernd aus. Dann wären die Bewässe-rungsmengen mit den Realisationen der Resteinflüsse (darin ist dasLicht enthalten) tendenziell positiv korreliert (höhere Mengen gehenmit mehr Licht einher und geringere Mengen mit weniger Licht).Formal gilt zwar QRS �� , J� = 0, jedoch erscheint D J� = 0nicht mehr adäquat. Vielmehr sollten die Erwartungswerte der Fehlervon links nach rechts ansteigen. Weitere Szenarien denkbar...


933

2. Teilaspekt: KL3 J� = M/� (Homoskedastizität)

Nicht ganz realistisch, da „natürlicherweise“ mit steigendem Niveau meist die Variabilität zunimmt.

3. Teilaspekt: J�, … , J� unabhängig

Könnte etwa verletzt sein, wenn Pflanzen zu dicht beieinander stehenund sich gegenseitig beeinflussen. Ansonsten realistische Annahme.


● Berechnung ●

934

4. Teilaspekt: Normalverteilte Fehler

In kontrollierten Experimenten erscheint Normalverteilung als die„natürliche Verteilung“ häufig realistisch.

> Beobachtungswerte �� , �� : (1, 1), (2, 2), (3, 1), (4, 3), (5, 2)

> Berechnung der KQ-Schätzer und von 2� (vgl. Folien 865-867):

'� = 0.3, '� = 0.9, 2� = 0.3214> Berechnung des SER (vgl. Tabelle 5.2.4 auf Folie 866):

*D2� = 1� − 2 � .,��

�

��= 1.9

5 − 2 ≈ 0.6333

⇒ *D2 ≈ 0.7958


935

> Berechnung der Nur-Homoskedastizitätskonsistenten Varianzschätzer(vgl. Folien 868, 909):

"$� = 15 � ��

�

��− �� = 55

5 − 3� = 2

⇒ Mv�0�� =

1� ∑ �� M,/�

�"$�= 11 × 0.6333

5 × 2 ≈ 0.6966

⇒ Mv�0�� = M,/�

�*+$�= 0.6333

5 × 2 ≈ 0.0633

M,/� = *D2� = 0.6333

> Berechnung der Standardfehler (SE… Standard Error):

⇒ *D� '� = Mv�0��8 = Mv�0� ≈ 0.8346

⇒ *D� '� = Mv�0��8 = Mv�0� ≈ 0.2516

(„Schlangeschätzer“)


● Ergebnisse und Interpretation ●

936

> 0.95-KI für � und � gemäß Satz 12.1.4 (Folie 913):

'�−V�,�.��,× Mv�0� , '�+V�,�.��,× Mv�0�'�−V�,�.��,× Mv�0� , '�+V�,�.��,× Mv�0�

⇒ �: 0.9 ± 3.18 × 0.83 = −1.74,3.54⇒ �: 0.3 ± 3.18 × 0.25 = −0.50,1.10

Interpretation:In beiden Intervallen 0 enthalten. Beide Koeffizienten sind beieinem Niveau von 5% nicht signifikant von 0 verschieden.


937

Entscheidungsproblem: Wirkt sich höhere Bewässerung signifikantsteigernd auf das Wachstum aus?

Testproblem: i�: � ≤ 0 vs. i�: � > 0

Teststatistik: o}�� = '� − 0Mv�0�

~ V 3� = 0

Testniveau (Signifikanzniveau): � = 0.05Kritischer Wert: U� = V�,�.�� = −2.35, U� = V�,�.�� = 2.35Testprozedur: Falls V�� < −2.35 oder V�� > 2.35, Entscheidung für

i� (Verwerfung von i�), sonst Beibehaltung von i�

> Test zum Niveau 5% bezüglich � gemäß Satz 12.1.4 (Folie 914):

Testergebnis hier: V�� = 0.30.25 = 1.2

⇒ Kein signifikanter positiver Effekt


Fallbeispiel 2: Klassengröße und Lernerfolg

● Hintergrund ●

938

Realer Datensatz

Merkmal Variable Erläuterung

TestergebnisKlassengrößeEnglisch-Lerner-Anteil

Begünstigten-Anteil

testscr

str

elpct

mealpct

Erreichte Punktezahl im TestAnzahl von Schülern pro LehrerProzentualer Anteil von Schülernmit SprachproblemenProzentualer Anteil von Schülernmit vergünstigtem Mensaessen

Daten von Schülern der 5. Klasse aus einer standardisiertenPrüfung in Kalifornien aus den Jahren 1998, 1999.Umfang: � = 420 Schuldistrikte


939


940


● Modell BH: Diskussion der Modellannahmen ●

941

Problemstellung:Angenommen, man möchte untersuchen, ob es sich lohnt mehr Lehrereinzustellen, um den Lernerfolg der Schüler zu verbessern. Der grund-sätzliche Modellansatz laute dabei zunächst einmal

(� = � + �)� + J� für � = 1, … , 420,

wobei (� das (durchschnittlich) Testergebnis im i-ten Distrikt ist und)� die (durchschnittliche) Klassengröße

> Linearitätsannahme (A0):Scheint bei Betrachtung des Streudiagramms (testscr vs. str) in Ordnung zu gehen. Fachspezifische Kenntnisse weiter hilfreich…

> Annahme (A1): D J�|)� = 0Wir stellen hierzu die Leitfrage für das OVB-Problem (Folie 926):Gibt es neben dem Regressor ), also der beobachteten Einfluss-größe, eine weitere maßgebliche Einflussgröße auf (, die mit )korreliert ist?


942

Antwort hierzu:OVB-Leitfrage kann bejaht werden, da str mit elpct und mealpctpositiv korreliert ist und beide, d. h. elpct und mealpct, sich aufden Lernerfolg, gemessen über testscr, (negativ) auswirken sollten.Dafür sprechen die negativen Korrelationen von –0.64 bzw. –0.87.

Im einfachen Regressionsmodell sollte � unterschätzt werden, dader negative direkte Effekt von str durch den negativen indirektenEffekt von elpct verstärkt wird. Dies führt zu einem noch stärkerennegativen Gesamteffekt von str.

OVB-Szenario beschränkt auf testscr, str und elpct(Kap. 5, Folie 261 ff.):

str elpct

testscr

+

negativer direkter Effekt +

negativer indirekter Effekt


943

> Annahme (A2): )�, (� , … , )�, (� u. i.v.

1. Teilaspekt: Art der Stichprobe

Hypothetische Stichprobe (aus hypothetischer Grundgesamtheit), da Vollerhebung der Schuldistrikte in Kalifornien zu bestimmter Zeit.

2. Teilaspekt: )�, (� , … , )�, (� sind unabhängig

Es kann wohl von gewissen räumlichen Korrelationen ausgegangenwerden. Insbesondere könnten Distrikte, die geographisch näher beieinander liegen, ähnlicher zueinander sein (Expertenwissen nötig).

3. Teilaspekt: )�, (� , … , )�, (� identisch verteilt

Distrikte, die in einem Jahr besonders gut (schlecht) sind, sind es mit hoher Wahrscheinlichkeit auch im Folgejahr. Deshalb erscheinen iden-tische Verteilungen unrealistisch. Ein u.h.v.-Schema wäre eigentlichadäquat. Mit zusätzlichen technischen Annahmen wäre die Inferenzjedoch völlig identisch.


● Berechnung ●

> Annahme (A3): Endliche Momente, positive Varianzen (vgl. Folie 876): Rein technische Annahmen, keine praktische Relevanz

> Händische Berechnung theoretisch möglich; relevante Formelngemäß Folien 866 ff. und 910. Soll hier nicht exerziert werden,da zu aufwendig (� = 420!)

> Berechnung mit Hilfe einer geeigneten Software (R):

'� = 698.93, '� = −2.28, *D2 = 18.58, 2� = 0.05

⇒ *D� '� = M,�0��8 = M,�0� = 10.34

⇒ *D� '� = M,�0��8 = M,�0� = 0.52 944

(„Dachschätzer“)M,�0�� = 106.91, M,�0�

� = 0.27


945

● Ergebnisse und Interpretation ●

> 0.95-KI für � und � gemäß Satz 12.1.4 (Folie 913):

'�−r�.��,× M,�0� , '�+r�.��,× M,�0�'�−r�.��,× M,�0� , '�+r�.��,× M,�0�

⇒ �: 698.93 ± 1.96 × 10.36 = 678.62, 719.24⇒ �: −2.28 ± 1.96 × 0.52 = −3.30, −1.26

Interpretation:Da beide Intervalle die 0 nicht enthalten, sind beide Koeffizienten beieinem Niveau von 5% signifikant von 0 verschieden.


946

Entscheidungsproblem: Wirken sich größere Klassen signifikantnegativ auf den Lernerfolg aus?

Testproblem: i�: � ≥ −1 vs. i�: � < −1

Teststatistik: o�� = '� − −1M,�0�

~ O 0,1

Testniveau (Signifikanzniveau): � = 0.05Kritischer Wert: U = r�.�� = −1.64Testprozedur: Falls V�� < −1.64, Entscheidung für i� (Verwerfung

von i�), sonst Beibehaltung von i�

> Test zum Niveau 5% bezüglich � gemäß Satz 12.1.4 (Folie 914):

Testergebnis hier: V�� = −2.28 + 10.52 = −2.46

⇒ Signifikanter negativer Effekt um mehr als −1

� = −1L


947

Interpretation:+ Eine um 5 Schüler vergrößerte Klasse verschlechtert die

Testscores um mehr als 10 Punkte+ Klassengröße signifikant, jedoch wenig relevant+ OVB-Problematik vorhanden (elpct, mealpct)+ Untersuchung in homogeneren Untergruppen legt nahe,

dass sozialer Hintergrund relevanter ist; durchschnittlichercher Abstand von etwa 30 Punkten (vgl. Abb. 12.1.17)

mealpct < 40

mealpct ≥ 40�� = �. ��

12.2.1 Partielle lineare KQ-Regression

Empirische partielle Regression

● Hintergrund ●

12.2 Einführung in das multiple lineare Regressionsmodell12.2 Einführung in das multiple lineare Regressionsmodell

948

> In enger Verbindung damit steht die OVB-Problematik(vgl. Fallbeispiele 1 und 2 des vorhergehenden Abschnitts)

> Verletzung der AnnahmenD J� = 0 oder D J�|)� = 0

kann zu inkonsistenten Schätzungen führen

> 1. Lösungsansatz: Analyse in homogeneren Untergruppen(häufig jedoch inpraktikabel, insbesondere bei kleinem �)

> 2. Lösungsansatz: Partielle oder multiple Regression⇒ „Lineares Herausrechnen“ störender (OVB verursachen-

der Variablen (Thema von Abschnitt 12.2)


949

● Beispiel 12.2.1: Empirische partielle Regression ●

Ist Nachhilfe kontraproduktiv oder liegt hier möglicherweise ein OVB-Problem vor?


S ET

ST

−

OVB-Szenario beschränktauf testscr, str und elpct

positiver direkter Effekt +

negativer indirekter Effekt

Im einfachen Regressionsmodell sollte� unterschätzt werden, da der positivedirekte Effekt von S durch den negativenindirekten Effekt von ET kompensiertwird. Überkompensation führt hier sogarzu einem negativen Gesamteffekt von S.


951

8

8

Interpretationsbeispiele:

Schüler 2: … bezogen auf sein Eingangsniveau … überdurchschnittliches Abschneiden… überdurchschnittlich viel Nachhilfe

Schüler 2: … bezogen auf sein Eingangsniveau … unterdurchschnittliches Abschneiden… unterdurchschnittlich viel Nachhilfe


952

Interpretation:Schüler, die über- bzw. unterdurchschnittlich viel Nachhilfe nehmen schneiden über- bzw.unterdurchschnittlich ab

> Partielle Korrelation zwischen S und ST unter ET:3j,j�•w� = 0.70

> Partieller Effekt von S auf ST unter ET:�j�~j•w� = 7.88

> Unter bestimmten Rahmenbedingungen entspricht derpartielleEffekt dem direkten Effekt (theoretische Fun-dierung später durch Satz 12.2.3, Folie 980)


● Zusammenfassung und Formelapparat ●

953


954

8


● Empirische Verzerrung ●

● Erweiterung auf höherdimensionale Fälle ●

955

> Gegeben seien die drei Variablen X, Y und Z. Wie unterscheidet sich derempirische Regressionskoeffizient einer einfachen linearen Regressionvon Y auf X, notiert, �%~$ von demjenigen einer partiellen Regressionvon Y auf X unter Z, notiert mit �%~$•�?

> Es lässt sich zeigen, dass gilt:

�%~$ = �%~$•� + �%~�•$"$�"$�

mit �%~$ = "$%"$�

Empirische Verzerrung

Möchte man den störenden (OVB-verursachenden) Effekt von 2oder mehr Variablen herausrechnen, benötigt man die Technikder multiplen linearen Regression (Unterabschnitt 12.2.2).


Theoretische partielle Regression

● Zusammenfassung und Formelapparat ●

956


957

8

Formeln der theoretischen Quantitäten völlig analog zu denender empirischen Quantitäten (vgl. Folie 954)

● Bedingte und partielle Korrelation ●

Im Allgemeinen unterscheiden sich bedingte und partielle Korrelationen.Unter bestimmten Bedingungen können diese jedoch identisch sein (etwabei gemeinsamer multivariater Normalverteilung.


● Theoretische Verzerrung ●

958

> Gegeben seien die drei Zufallsvariablen X, Y und Z. Wie unterscheidetsich der theoretische Regressionskoeffizient einer einfachen Regressionvon Y auf X, notiert, %~$ von demjenigen einer partiellen Regressionvon Y auf X unter Z, notiert mit %~$•�?

> Es lässt sich zeigen, dass gilt:

%~$ = %~$•� + %~�•$M$�M$� mit %~$ = M$%

M$�

Theoretische Verzerrung


Theoretische multiple Regression als Technik nötig…



● Grundlagen ●

● Konsistente Schätzungen bei der partiellen Regression ●

959

> Wir fassen nun dreidimensionale (empirische) Beobachtungswerte��, ��, r� , ��, ��, r� , … , ��, ��, r�

als Realisationen dreidimensionaler Zufallsvektoren (Stichprobe))�, (�, `� , )�, (�, `� , … , )�, (�, `�

auf und interpretieren das Ganze als Schätzproblem:

> Die theoretischen Quantitäten werden als zu schätzende Parameteraufgefasst und die stochastischen Varianten der empirischen Quanti-täten als dazu korrespondierende Schätzer.

> Wir definieren

'%~$•� = *+$%*+�� − *+%�*+$�*+$�*+�� 1 − 2$�� und ],$%•� = 2$% − 2%�� 2$��

1 − 2%�� 1 − 2$��


960

● Asymptotische Verzerrung ●


> Aufgrund der vorhergehenden Resultate gilt dann unter u.i.v.-Schema:

'%~$•� b %~$•� und ],$%~� b ]$%•�> Dies ergibt sich mit dem GGZ und dem multivariaten Stetigkeitssatz

(man beachte auch Beispiel 8.3.6)

Definieren wir weiter

'%~$ = *+$%*+$�

und %~$ = M$%M$�

erhalten wir (vgl. hierzu Folien 944 und 947):

'%~$ b %~$•� + %~�•$M$�M$�

Asymptotische Verzerrung

12.2.2 Multiple lineare KQ-Regression

Empirische multiple Regression

● Motivation und Überblick ●

● Definition ●


961

> Abhängige Variable hängt von mehreren Einflussgrößen linear ab

> Direkte (kausale) Effekte einzelner Variablen lassen sich simultanschätzen (unter bestimmten Modellannahmen)

> Erhöhung des Erklärungsgehalts des Modells im Vergleich zureinfachen linearen Regression; Erhöhung der Prognosegüte

> Lösungsansatz für das OVB-Problem (systematische Verzerrungen);Äquivalenz zur partiellen Regression

siehe Folie 962


�m ��, ��, … , ��


963


● Eigenschaften der empirischen multiplen KQ-Regression ●

● Bestimmtheitsmaß und Standardfehler der Regression ●

964

Es gelten weiterhin die 6 Eigenschaften aus Satz 12.1.1 (Folie 856)mit entsprechender Anpassung für die Eigenschaften 1 und 4:

�, ��, ��, … , �b = ��Eigenschaft Nr. 1:

3/0$� = 0, 3/0$6 = 0, … , 3/0$� = 0Eigenschaft Nr. 4:

> Mit Eigenschaft 6 (Streuungszerlegungsformel) gilt weiterhin:

2� = "%�

"%�= 1 − "/0

�

"%�> Der Standardfehler der multiplen Regression (SER) ist definiert als

*D2 = 1� − e − 1 � .,��

�

��8

Dabei ist e die Anzahl der Regressoren ohne Konstante.


● Zusammenhang zur empirischen partiellen Regression ●

> Die Regressionskoeffizienten ��, ��, … , �b bezüglich )�, )�, … , )b einereiner multiplen Regression von ( auf )�, )�, … , )b stimmen mit denenentsprechender partieller Regressionen überein, d. h.

�� = �%~$~•¡¢~ für � = 1, … , e.

Dabei ist �%~$~•¡¢~ der partielle Regressionskoeffizient einer partiellen

Regression von ( auf )� unter )�, )�, … , )b ohne )�> Spezialfall e = 2 mit (, )� und )�:

Für die Regressionskoeffizienten �� und �� der multiplen Regression von( auf )� und )� gilt:

�� = �%~$�•$6 = "$�%"$6� − "$6%"$�$6

"$�� "$6

� 1 − 3$�$6�

und �� = �%~$6•$� = "$6%"$�� − "$�%"$�$6

"$�� "$6

� 1 − 3$�$6� 965


966

> Dies bedeutet dass zur Ermittlung partieller Regressionskoeffizientendas 3-stufige Verfahren gemäß Folie 953 mittels multipler Regressionabgekürzt werden kann. Außerdem erhält man simultan bezüglich allerVariablen die korrespondierenden partiellen Koeffizienten

> Berechnung mit Hilfe statistischer Software (etwa R)

● Beispiel 12.2.1 fortgesetzt ●

> Gegeben nochmals die Situation von Folie 949 mit dem OVB-Problem.

> Eine multiple lineare Regression von ST auf S und ET ergibt:

�j = �j�~j•w��w� = �j�~w�•jVergleich mit Folien 952:

Übereinstimmung

Vergleich mit Folie 949:Anstieg bzw. Rückgang


Theoretische multiple Regression

● Definition ●

967


● Eigenschaften der theoretischen multiplen KQ-Regression ●

968

Analog zu den Eigenschaften der empirischen multiplen Regression(Folie 964) gelten folgende Eigenschaften:

1 �,� Y$ = Y%2 D (� = D ( = Y%

3 D ( − (� = 0

Kompakte formelmäßige Darstellung der KQ-Koeffizienten erfolgt üblicher-weise in matrixalgebraischer Form (Inhalt fortgeschrittener Kurse)


969

4 QRS ( − (�, )� = 0, … , QRS ( − (�, )b = 05 QRS ( − (�, (� = 06 KL3 ( = KL3 (� + KL3 ( − (�

Theoretische Streuungszerlegungsformelder Regression

● Theoretisches Bestimmtheitsmaß und theoretischer Standardfehler ●

ℜ� =KL3 (�KL3 ( = 1 −

KL3 ( − (�KL3 (

TheoretischesBestimmtheitsmaß

⇒ KL3 ( − (�8 = KL3 ( 1 − ℜ�8 TheoretischerStandardfehler


● Zusammenhang zur theoretischen partiellen Regression ●

970

> Die Regressionskoeffizienten '�, '�, … , 'b bezüglich )�, )�, … , )b einertheoretischen multiplen Regression von ( auf )�, )�, … , )b stimmen mitdenen entsprechender theoretischer partieller Regressionen überein, d. h.

'� = %~$~•¡¢~ für � = 1, … , e.

Dabei ist %~$~•¡¢~ der partielle Regressionskoeffizient einer theoreti-

schen partiellen Regression von ( auf )� unter )�, )�, … , )b ohne )�> Spezialfall e = 2 mit (, )� und )�:

Für die Regressionskoeffizienten '� und '� der theoretischen multiplenRegression von ( auf )� und )� gilt:

'� = %~$�•$6 = M$�%M$6� − M$6%M$�$6

M$�� M$6

� 1 − ]$�$6�

und '� = %~$6•$� = M$6%M$�� − M$�%M$�$6

M$�� M$6

� 1 − ]$�$6�



971

Da nun die KQ-Regressionskoeffizienten der empirischen und dertheoretischen multiplen Regression mit den Koeffizienten der empi-rischen bzw. theoretischen partiellen Regressionen übereinstimmen,können die im vorhergehenden Abschnitt hergeleiteten Konsistenz-eigenschaften direkt übertragen werden. Demnach können imZusammenhang von Stichproben die aus der multiplen Regressiongewonnenen empirischen Regressionskoeffizienten als Schätzer derkorrespondierenden theoretischen Größen aufgefasst werden. Unterbestimmten Annahmen wie etwa unter einem u.i.v.-Schema lassensich hierbei entsprechende Konsistenzeigenschaften begründen.


Statistische Modelle und Inferenz

● Hintergrund ●

● Statistisches Grundmodell ●


● Interpretation ●

> (� … �-te Beobachtung der abhängigen (kausal beeinflussten)Variablen, auch Regressand

> )�� … �-te Beobachtung der �-ten Einflussvariable, auch Regressor

> Regressoren üben mehr oder weniger direkte kausale Effekte aufRegressanden aus

> In den Fehlern J� stecken alle weiteren (kausalen) Einflüsse auf (�> Abhängigkeit linear:

Veränderung der �-ten Einflussvariable um ∆� Einheiten führt zueiner Veränderung des abhängigen Variable um �∆� Einheiten,gegeben, dass andere Einflussvariablen und Fehler konstant bleiben.

> Deutung der Regressionskoeffizienten als direkte (kausale) Effekteder einzelnen Einflussvariablen

973


● Ensembles von Modellannahmen ●

974● Keine Multikollinearität ●

(A4M): Regressoren dürfen nicht perfekt linear abhängig sein


● Modellimmanente Eigenschaften ●

● Theoretische Regressionsebene = theoretische KQ-Regressionsebene ●

> Eigenschaften (1) bis (17) von Tabelle 12.1.1 (Folie 879) können analogauf den multiplen Fall übertragen werden. Insbesondere gilt dann etwa:

QRS )�� , J� = D )��J� = 0 für � = 1, … , � und � = 1, … , e⇒ Fehler ist mit allen Regressoren unkorreliert

> Zu den Eigenschaften (16) und (17) beachte man nachfolgenden Satz.


● Schätzen und Testen ●

976

> Formeln für die Regressionskoeffizienten aus der empirischenmultiplen Regression werden in stochastische Varianten über-führt und als Schätzer interpretiert

> In Modellen KS und BH (u.i.v.-Schema) ergibt sich dann etwaim Spezialfall e = 2:

'� = (� − '�)�� − '�)�� b �

'� = *+$�%*+$6� − *+$6%*+$�$6

*+$�� *+$6

� 1 − 2$�$6� b �

'� = *+$6%*+$�� − *+$�%*+$�$6

*+$�� *+$6

� 1 − 2$�$6� b �

> In Modellen KN und UHV zusätzliche Konvergenzannahmennötig zum Erhalt obiger Konsistenzresultate


> Entwicklung der Inferenzverfahren ansonsten völlig analogwie im einfachen Regressionsmodell:

1. Herleitung der Verteilung der KQ-Schätzer2. Schätzung der Varianzen (Standardfehler) der KQ-Schätzer3. Herleitung der Verteilung der maßgeblichen Inferenzstatistiken

> Keine näheren Ausführungen hierzu (Inhalt fortgeschrittener Kurse)

977

> Ergebnisse (ohne Herleitung) lauten wie folgt:


978> Kompakte formelmäßige Darstellung erfolgt üblicherweise

in matrixalgebraischer Form (Inhalt fortgeschrittener Kurse)

> Berechnung mit Hilfe statistischer Software (wie etwa R)


● Adäquatheit von Modellannahmen und OVB ●

● OVB im 3-Variablen-Fall ●

979

> Prüfung erfolgt analog wie im einfachen Regressionsmodell(vgl. Folie 923 ff.) in erweitertem Sinne

> Aus D J�|)� = �� wird D J�|)�� = ��, )�� = ��, … , )�b = ��bmit der korrespondierenden Leitfrage…

> OVB-Leitfrage erhält für e = 2 folgende theoretische Fundierung,welche auch die Daumenregeln zu systematischen Verzerrungen ausUnterkapitel 5.3 begründen (zur Herleitung siehe LB):


980¤Kd$ = ¥¦§ $,/k56

oder ¤Kd$ = ��~$

● Direkte und indirekte Effekte und Merkregeln ●

> Schätzen wir den direkten Effekt von ) auf (, notiert mit $,(fälschlicherweise) ohne Berücksichtigung von ` nur mit einereinfachen Regression von ( auf ), so ist die Schätzung wegenQRS ), J ≠ 0 asymptotisch verzerrt mit


● Streuungszerlegung und General-F-Test ● 981

%~$ = $ + ¤Kd$

> Man erhält dann stattdessen eine Schätzung für den Gesamteffekt mit

oder %~$ = $ + ��~$ mit

von ) auf ( von ) auf ( von ) über ` auf (

direkter Effektvon ¨ auf ©

�~$ = M$�M$�

Gesamteffekt von ª auf ¨

direkter Effektvon ª auf ©


12.2.3 Fallbeispiele

Fallbeispiel 2 fortgesetzt: Determinanten des Lernerfolgs

982


983


984


Fallbeispiel 3: Gewicht und Geschlecht

985


−16.88 = −5.93 + 0.74 × −14.74986

Der Gesamteffekt von Geschlecht auf Gewicht ist folgendermaßen zerlegbar:

'«¬�®¯°~«¬4®¯±¬®¯° = '«¬�®¯°~«¬4®¯±¬®¯°•«|öß¬+'«¬�®¯°~«|öß¬•«¬4®¯±¬®¯° × '«|öß¬~«¬4®¯±¬®¯°

In Zahlen ergibt sich dabei im vorliegenden Fall


Fallbeispiel 4: Binäre Regressoren und ANOVA-Modelle

987

● Einfache Regression mit binärem Regressor ●

● Einfache ANOVA-Modelle ●

> Statistische Inferenz in Bezug auf Mehrgruppenvergleiche

> Statistische Inferenz in Bezug auf Vergleich zweier Gruppen

> General-F-Test kann für Erwartungswertvergleich herange-zogen werden.

> General-F-Test kann für Erwartungswertvergleich herange-zogen werden:

> ANOVA-Modelle und sind jedoch noch deutlichflexibler in Bezug auf statistische Problemstellungen.

i�: Y� = Y� = ⋯ = Yb S". i�: nicht i�

> General-F-Test nur Spezialfall aus der vielseitig anwend-baren „F-Test-Familie“ (Inhalt fortgeschrittener Kurse)

12 Das lineare Regressionsmodell - uni-mannheim.de · 12.2.2 Multiple lineare KQ-Regression...

Documents

Transcript of 12 Das lineare Regressionsmodell - uni-mannheim.de · 12.2.2 Multiple lineare KQ-Regression...