12 Das lineare Regressionsmodell
846
12 Das lineare Regressionsmodell
12.1 Einfaches lineares Regressionsmodell
12.1.1 Grundmodell und KQ-Methode
Bestimmtheitsmaß und Standardfehler der Regression
Theoretische KQ-Regression
Statistisches Grundmodell
Eigenschaften der empirischen KQ-Regression
12.1.2 Modellannahmen und theoretische KQ-Regression
Ensembles von Modellannahmen
12.1.3 Verteilungstheoretische Grundlagen
Verteilungen der KQ-Schätzer
850
850
850
856
863
870
870
881
888
888
Konsistenz und Effizienz der KQ-Schätzer 907
Herleitung der KQ-Schätzer 852
Schätzung der Varianzen der KQ-Schätzer
Verteilungen der Inferenzstatistiken
Spezialfall: Binärer Regressor
Fallbeispiel 2: Klassengröße und Lernerfolg
12.1.4 Schätzen und Testen
Konfidenzintervalle und Tests
Adäquatheit bestimmter Modellannahmen
Fallbeispiel 1: Bewässerung und Wachstum
12.2 Einführung in das multiple lineare Regressionsmodell
908
911
912
912
917
923
931
938
948
12.2.1 Partielle lineare KQ-Regression
Empirische partielle Regression
948
948
Theoretische partielle Regression 956
12 Das lineare Regressionsmodell
Verbindung von Empirie und Theorie
12.2.2 Multiple lineare KQ-Regression
Verbindung von Empirie und Theorie
Fallbeispiel 2 fortgesetzt: Determinanten des Lernerfolgs
Empirische multiple Regression
Theoretische multiple Regression
Statistische Modelle und Inferenz
12.2.3 Fallbeispiele
Fallbeispiel 3: Gewicht und Geschlecht
959
961
961
967
971
972
982
982
985
Fallbeispiel 4: Binäre Regressoren und ANOVA-Modelle 987
12 Das lineare Regressionsmodell
849
12.1 Einfaches lineares Regressionsmodell
12.1.1 Grundmodell und KQ-Methode
Statistisches Grundmodell
850
● Hintergrund ●
12.1 Einfaches lineares Regressionsmodell
● Definition ●
851● Interpretation ●
12.1 Einfaches lineares Regressionsmodell
Herleitung der KQ-Schätzer
● Lösung des empirischen Kleinste-Quadrate-Problems ●
852
min��,��� �, � mit � �, � = � �� − � − ��� �
�
���
12.1 Einfaches lineares Regressionsmodell
853
(i)����
= −2 � �� − � − ����
���
= −2 � ���
���+ 2�� + 2� � ��
�
���
!=0
(ii)����
= −2 � �� − � − ����
�����
= −2 � �����
���+ 2� � ��
�
���+ 2� � ���
�
���
!=0
(i) �� = � ���
���− � � ��
�
���
⇔ � = �� − ��
12.1 Einfaches lineares Regressionsmodell
854
(ii) � �����
���= � � ��
�
���+ � � ���
�
���
Setze (i) in (ii) ein:
� �����
���= �� − �� � ��
�
���+ � � ���
�
���
⇔ � =1� ∑ �������� − ���1� ∑ ������� − ��
= "$%"$�
vorausgesetzt: "$� > 0
Die KQ-Koeffizienten (Lösungen):
'� = �� − '��, '� = "$%"$�
12.1 Einfaches lineares Regressionsmodell
● Der Fall einer nicht eindeutigen Lösung ●
855● Übersetzung in eine Schätzmethode ●
'� = (� − '�)�, '� = *+$%*+$�
KQ-Schätzer:
12.1 Einfaches lineares Regressionsmodell
856
Eigenschaften der empirischen KQ-Regression
● Übersicht ●
Achtung! Eigenschaften nur gültig bei KQ-Regression mit � und � (inkl. Achsenabschnitt)
12.1 Einfaches lineares Regressionsmodell
857
● Die KQ-Gerade geht durch den Schwerpunkt ●
> KQ-Gerade als Funktion:
> Daraus ergibt sich
�, � = '� + '�� = �� − '�� + '�� = ��
● Die Summe der gefitteten Werte ist gleich der Summe der y-Werte ●
> Gefitteter Wert:
> Mittelwert der gefitteten Werte:
> Daraus ergibt sich
�,� = 1� � '� + '���
�
���= 1
� � '��
���+ '�
1� � ��
�
���
�, � = '� + '��, wobei '� = �� − '��
�,� = �, �� = '� + '���
�,� = 1� � �,�
�
���
12.1 Einfaches lineares Regressionsmodell
858
= '� + '�� = ��
⇒ �,� = ��
⇒ � �,��
���= � ��
�
���
● Die Summe der KQ-Residuen ist gleich 0 ●
> KQ-Residuum:
> Mittelwert der KQ-Residuen:
> Daraus ergibt sich
.,� = 1� � .,�
�
���= 1
� � �� − �,��
���
.,� = �� − �,�
.,� = 1� � .,�
�
���
12.1 Einfaches lineares Regressionsmodell
859
= 1� � ��
�
���− 1
� � �,��
���= �� − �,� = 0
⇒ .,� = 0⇒ � .,�
�
���= 0
● KQ-Residuen und x-Werte sind unkorreliert ●
> Kovarianz zwischen Residuen und x-Werten:
"$/0 = 1� � ��.,�
�
���− �.,� = 1
� � ��.,��
���
1� � ��.,�
�
���= 0
> Weiter gilt dann (Beweis, siehe LB S. 591):
12.1 Einfaches lineares Regressionsmodell
860
● Gefittete Werte und KQ-Residuen sind unkorreliert ●
> Kovarianz zwischen gefitteten Werte und KQ-Residuen:
"%/0 = 1� � �,�.,�
�
���− �,�.,� = 1
� � �,�.,��
���
1� � �,�.,�
�
���= 0
> Weiter gilt dann:
12.1 Einfaches lineares Regressionsmodell
861
Dies ergibt sich aus
1� � �,�.,�
�
���= 1
� � '� + '��� .,��
���
= 1� � '�.,�
�
���+ 1
� � '���.,��
���
= '� × 1� � .,�
�
���+ '� × 1
� � ��.,��
���
= '�.,� + '� × 1� � ��.,�
�
���
= 0 = 0
= 0
12.1 Einfaches lineares Regressionsmodell
● Es gilt die Streuungszerlegungsformel ●
> Die Streuungszerlegungsformel der KQ-Regression lautet in derder Darstellung über Quadratsummen
� �� − �� ��
���= � �,� − �� ��
���+ � �� − �,� ��
���
> Dividiert man auf beiden Seiten durch � und beachtet .,� = 0, erhält man
= �,� = .,��
1� � �� − �� ��
���= 1
� � �,� − �,� ��
���+ 1
� � .,�� − .,� ��
���
"%� "%� "/0
�
Gesamtstreuung = Erklärte Streuung + Residualstreuung 862
Gesamt-quadratsumme
Erklärte Quadratsumme
Residuenquadrat-summe
12.1 Einfaches lineares Regressionsmodell
Bestimmtheitsmaß und Standardfehler der Regression
863
12.1 Einfaches lineares Regressionsmodell
864
> Zum Nachweis von 2� = 3$%� siehe Lehrbuch S. 595
> Nachweis von 3$%� = '��456476
:
3$%� = "$%"$�"%�
8
�= "$%�
"$�"%�= "$%�
"$9× "$�
"%�= '��
"$�
"%�
> 2� ∈ 0,1 folgt aus 3$% ∈ −1,1
12.1 Einfaches lineares Regressionsmodell
865
● Beispiel 12.1.1 ●
Wir betrachten nochmals das Rechenbeispiel 5.2.9 (vgl. Folie 227).
Beobachtungswerte: (1, 1), (2, 2), (3, 1), (4, 3), (5, 2)
> Berechnung der KQ-Gerade, der gefitteten Werte und der Residuen
12.1 Einfaches lineares Regressionsmodell
866
'� = "$%"$�
=1� ∑ �������� − ���1� ∑ ������� − ��
= 30 5⁄ − 3 × 1.855 5⁄ − 3� = 0.3
'� = �� − '�� = 1.8 − 0.3 × 3 = 0.9⇒ �, � = '� + '�� = 0.9 + 0.3�
� = 155 = 3
�� = 95 = 1.8
⇒ �,� = 0.9 + 0.3 × 1 = 1.2, usw.
⇒ .,� = �� − �,� = 1 − 1.2 = −0.2, usw.
wird zur Berechnung der KQ-Gerade nicht benötigt
12.1 Einfaches lineares Regressionsmodell
867
> Berechnung des Bestimmtheitsmaßes
2� = '��"$�
"%�= '�� × 1 �⁄ ∑ ������� − ��
1 �⁄ ∑ ������� − ���
= 0.3� × 55 5⁄ − 3�
19 5⁄ − 1.8� = 0.3� × 20.56
Alternativ:
"/0� = 1
� � .,� − .,� ��
���= 1
� � .,���
���= 1
5 × 1.9 = 0.38
"%� = 1� � ���
�
���− ��� = 19 5⁄ − 1.8� = 0.56
≈ 0.3214
⇒ 2� = 1 − "/0�
"%�= 1 − 0.38
0.56 ≈ 0.3214
12.1 Einfaches lineares Regressionsmodell
868
● Standardfehler der Regression ●
> Definition: *D2 = 1� − 2 � .,��
�
���8 = �
� − 2 × "/0�8 Standard Error
of Regression
> Interpretation: ≈ Standardabweichung der KQ-Residuen
⇒ ca. 95% aller Beobachtungen sollten innerhalb eines Schlauchesder Breite 4 × *D2 um die KQ-Gerade herum liegen
> Zusammenhang zum Bestimmtheitsmaß:
Aus und *D2� = �� − 2 × "/0
� folgt
*D2� = �� − 2 × "%� × 1 − 2�
2� = 1 − "/0�
"%�
bzw.
2� = 1 − � − 2� × *D2�
"%�
12.1 Einfaches lineares Regressionsmodell
869
● Beispiel 12.1.2 ●
Sofern man den geschätzten Zusammenhang als wahr unterstellt, kann man das Gewicht mit einer Sicherheit von 95% auf
2 × 8.38EF = 16.76EFgenau prognostizieren.
12.1 Einfaches lineares Regressionsmodell
870
12.1.2 Modellannahmen und theoretische KQ-Regression
Ensembles von Modellannahmen
● Modell KN: Nichtstochastischer Regressor ●
> (A0*) Speziallfall von (A0) mit H )� = �� = 1> ��, (� , … , ��, (� sind unabhängig heterogen verteilt
> (� , … , (� sind unabhängig heterogen verteilt
12.1 Einfaches lineares Regressionsmodell
871
> D (� = D � + ��� + J� = D � + D ��� + D J�= � + ���
> KL3 (� = KL3 � + ��� + J� = KL3 J� = M/�
> J� ~ O 0, M/�
⇒ � + ��� + J� = (� ~ O � + ��� , M/�
12.1 Einfaches lineares Regressionsmodell
872
● Modell KS: Stochastischer Regressor ●
> J�|)� = �� ~ O 0, M/�
⇒ QRS )� , J� = 0⇒ J� , )� unabhängig
12.1 Einfaches lineares Regressionsmodell
873> KL3 J�|)� = �� = KL3 J� = M/�> D J�|)� = �� = D J� = 0
> Da J� = (� − � − �)� folgt aus (A2):
⇒ )�, J� , … , )�, J� u. i. v.
⇒ J�, … , J� u. i. v. mit J� ~ O 0, M/�
bedingte und unbedingte Homoskedastizität
12.1 Einfaches lineares Regressionsmodell
874
> J� | )� = �� ~ O 0, M/�
⇒ (� | )� = �� ~ O � + ��� , M/�
> KL3 (�|)� = �� = KL3 � + �)� + J�|)� = ��
= KL3 J�|)� = �� = M/�= KL3 �)�|)� = �� + KL3 J�|)� = ��
> D (�|)� = �� = D � + ��� + J�|)� = ��= D �|)� = �� + D ���|)� = �� + D J�|)� = ��= � + ��� + D J�|)� = �� = � + ���
12.1 Einfaches lineares Regressionsmodell
● Beispiel 12.1.3: Bivariate Normalverteilung ●
Annahmen von Modell KS, wobei (A2) konkretisiert wird zu
875
12.1 Einfaches lineares Regressionsmodell
● Modell BH: Bedingt heteroskedastischer Fehler ●
> )� , J� nicht zwingend unabhängig, jedoch unkorreliert (siehe Folie 878)
> Da J� = (� − � − �)� folgt aus (A2):
⇒ )�, J� , … , )�, J� u. i. v.
⇒ J�, … , J� u. i. v. 876
12.1 Einfaches lineares Regressionsmodell
> Keine Aussage über KL3 J�|)� = �� :
⇒ KL3 J�|)� = �� = UR�"V. kann nicht o. W. angenommen werden
⇒
> D J�|)� = �� = D J� = 0
> D (�|)� = �� = D � + ��� + J�|)� = ��= ⋯ = � + ��� 877
⇒ bedingte Homoskedastizität nicht zwingend gegeben,stattdessen bedingte Heteroskedastizität möglich
12.1 Einfaches lineares Regressionsmodell
> KL3 (�|)� = �� = KL3 � + �)� + J�|)� = ��= ⋯ = KL3 J�|)� = ��
> KL3 J� = D KL3 J�|)� + KL3 D J�|)�
● Modell UHV: Heterogen verteilte Stichprobenvariablen ●
= D KL3 J�|)� =: M/� Unbedingte Homoskedastizität
> Keine Verteilungsaussage über J� oder (�
> Fehler und Regressor sind zwar nicht zwingend unabhängig,jedoch unkorreliert:
QRS )� , J� = D )�J� − D )� D J�= D D )�J� |)�= D )�D J�|)� = 0
878
= 0
12.1 Einfaches lineares Regressionsmodell
● Zusammenfassung ●
879
12.1 Einfaches lineares Regressionsmodell
● Alternativ auch (Xi, Ui) statt (Xi, Yi) ●
● Sonstige Verallgemeinerungen ●
zu (16) und (17) siehe Satz 12.1.2 (Folie 885)
880
12.1 Einfaches lineares Regressionsmodell
Theoretische KQ-Regression
● Überblick ●
● Definition und Eigenschaften ●
min��,���� �, � mit �� �, � = D ( − � − �) �
> Theoretische KQ-Regression für 2 Zufallsvariablen ) und (:
> Ziel: Minimierung des MSE oder MSFE (Mean Squared Forecast Error)durch besten linearen Prädiktor
> Zunächst einmal gilt:
D ( − � − �) �
= M%� − 2�M$% + ��M$� + Y% − � − �Y$ �= KL3 ( − � − �) + D ( − � − �) �
881
12.1 Einfaches lineares Regressionsmodell
�����
= −2 Y% − � − �Y$ !
= 0(i)
�����
= −2M$% + 2�M$� − 2Y$ Y% − � − �Y$ !
= 0(ii)
⟺ � = Y% − �Y$
Setze (i) in (ii) ein:
−2M$% + 2�M$� = 0
⟺ � = M$%M$�
Die theoretischen KQ-Koeffizienten (Lösungen):
'� = Y% − �Y$, '� = M$%M$� 882
12.1 Einfaches lineares Regressionsmodell
12.1 Einfaches lineares Regressionsmodell
Analog zu den Eigenschaften der empirischen KQ-Regression(Folie 856) gelten folgende Eigenschaften:
1 �,� Y$ = Y%
2 D (� = D ( = Y%
3 D ( − (� = 04 QRS ( − (�, ) = 05 QRS ( − (�, (� = 06 KL3 ( = KL3 (� + KL3 ( − (�
Theoretische Streuungszerlegungsformel der KQ-Regression
⇒ ℜ� =KL3 (�KL3 ( = 1 −
KL3 ( − (�KL3 (
TheoretischesBestimmtheitsmaß 884
12.1 Einfaches lineares Regressionsmodell
● Zusammenhang zur Modellgeraden in den Modellen KS und BH ●
> Vgl. Eigenschaften (16) und (17) auf Folie 880
> Es gelten die Eigenschaften (9) und (8)
D J� = 0 und QRS )� , J� = 0
885
12.1 Einfaches lineares Regressionsmodell
Y\ = D (� = D � + �)� + J�
⟺ � = Y% − �Y$
= D � + �D )� + D J�
> Mit Annahme (A2), d. h. insbesondere der identischen Verteilung, folgt
= � + �Y$
> Andererseits folgt:
M$% = QRS )� , (� = QRS )�, � + �)� + J�
= �QRS )�, )� + QRS )� , J� = �M$�
⟺ � = M$%M$�
886
12.1 Einfaches lineares Regressionsmodell
● Zusammenhang zur Modellgeraden in den Modellen KN und UHV ●
> Weiter gilt:
M/� = KL3 J� = KL3 (� − � − �)�
= KL3 (� − M$%M$�
)�
= KL3 (� + M$%M$�
�KL3 )� − 2 M$%
M$�QRS )� , (�
= M%� + M$%�
M$�− 2 M$%�
M$�= M%� − M$%�
M$�
= M%� 1 − ]$%�
= M%� 1 − M$%�
M%�M$�
Zusätzliche Konvergenzannahmen benötigt...
887
12.1 Einfaches lineares Regressionsmodell
12.1.3 Verteilungstheoretische Grundlagen
Verteilungen der KQ-Schätzer
● Alternative Darstellungen der KQ-Schätzer ●
Zur Herleitung der Verteilungen der KQ-Schätzer
'� = (� − '�)� und '� = *+$% *+$�⁄erweisen sich gewisse alternative Darstellungen für die Formeln der KQ-Schätzer als hilfreich.
12.1 Einfaches lineares Regressionsmodell
889
> Nachweis von (12.1.48):
(� = 1� � � + �)� + J�
�
���= � + �)� + J
⇒ '� = (� − '�)� = � + �)� + J − '�)�= (� − )� '� − � + J
> Nachweis von (12.1.49):
*+$% = 1� � )� − )� (� − (�
�
���
= 1� � )� − )� � + �)� + J� − � − �)� − J
�
���
= � × 1� � )� − )� ��
���+ 1
� � )� − )� J� − J�
���
12.1 Einfaches lineares Regressionsmodell
890
= � × *+$� + 1� � )� − )� J�
�
���− J × 1
� � )� − )��
���
= 0= � × *+$� + 1� � )� − )� J�
�
���
● Verteilung der KQ-Schätzer im Modell KN ●
'� − � = 1"$�
× 1� � �� − � J�
�
���= � U�J�
�
���
> Herleitung der Verteilung von '�:
⇒ '� = *+$% *+$�⁄ = � + 1*+$�
× 1� � )� − )� J�
�
���
U� = �� − ��"$�
⇒ gewichtete Summe der Fehler mit Gewichten
12.1 Einfaches lineares Regressionsmodell
891
U�J�~ O 0, U��M/�
⇒ '� − � = � U�J��
��� ~ O 0, � U��M/�
�
���
'� − � ~ O 0, M/�
�"$�bzw. '� ~ O �, M/�
�"$�
Da die Fehler J� unabhängig O 0, M/� -verteilt sind, gilt:
Mit
� U��M/��
���= � �� − � �
��"$9M/�
�
���= M/�
�"$9× 1
� � �� − � ��
���= M/�
�"$�
= "$�erhält man daraus dann
12.1 Einfaches lineares Regressionsmodell
892
> Herleitung der Verteilung von '�:
'� − � = −� '� − � + J = � � U�J��
���+ 1
� � J��
���
E� = −�U� + 1�
⇒ gewichtete Summe der Fehler mit Gewichten
= � �U�J��
���+ � 1
� × J��
���= � E�J�
�
���
⇒ '� − � = � E�J��
��� ~ O 0, � E��M/�
�
���Mit
� E���
���= � ��U��
�
���− 2�
� � U��
���+ � 1
���
���
= �� − � �
��"$9= 0
��� = 1
�
12.1 Einfaches lineares Regressionsmodell
893
= ��
��"$9� �� − � ��
���+ 1
� = ��
�"$9× 1
� � �� − � ��
���+ 1
�
= ��
�"$9× "$� + "$�
�"$�= �� + "$�
�"$�
Wegen "$� + �� = 1� � ���
�
���erhalten wir schließlich
'� − � ~ O 0,1� ∑ ������� M/�
�"$�bzw. '� ~ O �,
1� ∑ ������� M/�
�"$�
12.1 Einfaches lineares Regressionsmodell
894
> Einige verteilungstheoretische Implikationen
D '� = �, D '� = � (Erwartungstreue)
KL3 '� =1� ∑ ���M/�����
�"$�
KL3 '� = M/�
�"$�
(vgl. Abb. 12.1.9)
(vgl. Abb. 12.1.8)
12.1 Einfaches lineares Regressionsmodell
895
Achsenabschnitts
● Verteilung der KQ-Schätzer im Modell KS ●
> Da Regressoren stochastisch, jetzt Groß- statt Kleinschreibweise:
'� − � = � Q�J��
���Q� = )� − )�
�*+$�mit
> Da die Gewichte Q� nun stochastisch sind, sind die TermeQ�J� i. A. nicht mehr normalverteilt.
12.1 Einfaches lineares Regressionsmodell
896
> Deshalb jetzt bedingte Betrachtung („Trick“):
Q�J�|)�, … , )� ~ O 0, Q��M/� = O 0, )� − )� �M/�
��*+$�
⇒ '� − �|)�, … , )� ~ O 0, M/�
�*+$�
'�|)�, … , )� ~ O �, M/�
�*+$�
für *+$� > 0
'� − �|)�, … , )� ~ O 0,1� ∑ )������ M/�
�*+$�
bzw.
'�|)�, … , )�~ O �,1� ∑ )������ M/�
�*+$�
und
und
12.1 Einfaches lineares Regressionsmodell
897
> Verteilungstheoretische Implikationen
D '� = D D '�|)�, … , )� = D � = �
D '� = D D '�|)�, … , )� = D � = �
erwartungstreu(bedingt und unbedingt)
KL3 '�|)�, … )� =1� ∑ )������ M/�
�*+$�
KL3 '�|)�, … )� = M/�
�*+$�
12.1 Einfaches lineares Regressionsmodell
898
● Verteilung des KQ-Schätzers für β1 im Modell BH ●
> Da )�, (� , … , )�, (� u. i. v. und J� = (� − � − �)�, sind auch)�, J� , … , )�, J� u.i.v.
⇒ )� − Y$ J�, … , )� − Y$ J� sind u.i.v. mit
D )� − Y$ J� = D D )� − Y$ J�|)� = D )� − Y$ D J�|)�
= D )� − Y$ × 0 = 0 = 0
KL3 )� − Y$ J� = D )� − Y$ �J�� = D D )� − Y$ �J��|)�
= D )� − Y$ �D J��|)�= D )� − Y$ � × KL3 J�|)�
und
12.1 Einfaches lineares Regressionsmodell
899
> Anwendung des ZGWS für u.i.v.-Zufallsvariablen (Satz 7.4.3, Folie 550):
(� =1� ∑ )� − Y$ J�����
KL3 )� − Y$ J��
8 ~ O 0,1L
Ebenso gilt:
∗ `� =1� ∑ )� − )� J�����
KL3 )� − Y$ J��
8 ~ O 0,1
> Nachweis von ∗ :
1� � )� − )�
�
���J� = 1
� � )� − Y$ + Y$ − )��
���J�
Mit der Zerlegung des Zählerausdrucks
L
12.1 Einfaches lineares Regressionsmodell
900
= 1� � )� − Y$
�
���J� + 1
� � Y$ − )� J��
���
= 1� � )� − Y$
�
���J� + Y$ − )� J
folgt die Zerlegung von ∗ in
1� ∑ )� − )� J�����
KL3 )� − Y$ J��
8=
1� ∑ )� − Y$ J�����
KL3 )� − Y$ J��
8+ Y$ − )� J
KL3 )� − Y$ J��
8
= (� ~ O 0,1= `� ~ O 0,1 LL = a� b 0Das Verteilungsresultat für `� resultiert aus Slutsky‘s Theorem (Folie 584)
Damit wäre ∗ nachgewiesen. Allerdings fehlt noch der ...
12.1 Einfaches lineares Regressionsmodell
901
> Nachweis von a� b 0:
a� = Y$ − )� M/KL3 )� − Y$ J�
× JM/ �⁄
= c� ~ O 0,1= d� b 0 L
Da J�, … , J� u.i.v. sind mit D J� = 0 und KL3 J� = M/�, folgt
c� ~ O 0,1 mit dem ZGWS. Andererseits sind )�, … , )� u.i.v. L
mit D )� = Y$ und KL3 )� = M$�. Deshalb folgt mit dem GGZ:
)� b Y$ bzw. )� − Y$ b 0
⇒ a� b 0Slutsky‘s Theorem
und schließlich d� b 0.
Mit Slutsky‘s Theorem folgt dann a� b 0.
12.1 Einfaches lineares Regressionsmodell
902
∗∗ 1�8 � )� − )� J�
�
��� ~ O 0, KL3 )� − Y$ J�
L> Für Resultat ∗ auf Folie 888 können wir alternativ auch schreiben
> Kombiniere Satz 12.1.3 (Folie 888) mit ∗∗ + Slutsky‘s Theorem:
�8 '� − � = 1*+$�
× 1�8 � )� − )� J�
�
��� ~ O 0, KL3 )� − Y$ J�
M$� �L
∗∗ b 1 M$�⁄Satz 10.1.4, Folie 658
⇒ �8 '� − � ~ O 0, KL3 )� − Y$ J�M$� �
L
⇔ '� − � ~ O 0, KL3 )� − Y$ J�� M$� �
Lee3R�.
⇔ '� ~ O �, KL3 )� − Y$ J�� M$� �
Lee3R�.
12.1 Einfaches lineares Regressionsmodell
903
> Verteilungstheoretische Implikationen
D '� = � + D 1*+$�
× 1� � )� − )� J�
�
���
= � + D D 1*+$�
× 1� � )� − )� J�
�
���|)�, … , )�
= � + D 1*+$�
× 1� � )� − )� D J�|)�, … , )�
�
���
=D J�|)� = 0= �
⇒ erwartungstreu (unbedingt)
KL3 �8 '� − � ≈ 1M$� � D )� − Y$ �KL3 J�|)�
= KL3 )� − Y$ J�M$� �(Folie 898)
Annahme (A1)
12.1 Einfaches lineares Regressionsmodell
904
> Deutung der approximativen Varianz
D )� − Y$ �KL3 J�|)�
= QRS )� − Y$ �, KL3 J�|)� + M$�D KL3 J�|)�
= Var J� = M/�
D KL3 J�|)� = KL3 J� + KL3 D J�|)� = KL3 J�
Man beachte hierzu (vgl. Satz 7.2.7)
= 0Interpretation:
Bei gegebenen Varianzen von Regressor und Fehler (M$� bzw. M/�)wird die Varianz des KQ-Schätzers '� umso größer, desto stärkerdie quadratische Abweichung des Regressorwerts vom Schwer-punkt mit der bedingten Fehlervarianz positiv korreliert ist. Sie wird kleiner bei negativer Korrelation (vgl. Abb. 12.1.10).
12.1 Einfaches lineares Regressionsmodell
905
> Spezialfall: Homoskedatischer Fehler
KL3 �8 '� − � ≈ 1M$� � D )� − Y$ �M/� = M/�
M$�
⇒ KL3 '� ≈ M/�
�M$�
enger Bezug zu Modell KS (vgl. Folie 896)
12.1 Einfaches lineares Regressionsmodell
906
● Verteilung des KQ-Schätzers für β0 im Modell BH ●
● Verteilung der KQ-Schätzer im Modell UHV ●
> Resultate ohne Herleitung und ohne Deutung:
⇒ �8 '� − � ~ O 0, D i��J��
D i���
L
⇔ '� − � ~ O 0, D i��J��
� D i���
Lee3R�.
⇔ '� ~ O �, D i��J��
� D i���
Lee3R�.
wobei i� = 1 − Y$)�D )��
> Exakte Erwartungstreue liegt auch hier vor
12.1 Einfaches lineares Regressionsmodell
907
Konsistenz und Effizienz der KQ-Schätzer
● Konsistenz der KQ-Schätzer ●
● Effizienz der KQ-Schätzer und Gauß-Markov-Theorem ●
> In den Modellen KS und BH gilt (vgl. Folie 880 bzw. 885):
� = Y% − �Y$ und � = M$% M$�⁄Wegen )� b Y$, (� b Y%, *+$% b M$% und *+$� b M$�
(vgl. etwa Satz 10.1.4, 8.2.3 (Stetigkeitssatz), Beispiel 8.3.6) folgt
j+57j+56
b k57k56
und (� − j+57j+56
× )� b Y% − k57k56
Y$
= '� = � = '� = �
d. h. '� b � und '� b �
> In Modellen KN und UHV zusätzliche Konvergenzannahmen nötig
12.1 Einfaches lineares Regressionsmodell
Schätzung der Varianzen der KQ-Schätzer
● Hintergrund ●
908
> Zur Erinnerung:
Falls )�, … , )� unabhängig O Y, M� , dann gilt:
Y, = )� ~ O Y, k6� , ` = lmnl
k6 �⁄8 ~ O 0,1 und o = lmnlj6 �⁄8 ~ V � − 1
Mit Mlm� = KL3 Y, = M� �⁄ bzw. M,lm� = KL3 Y,p = *� �⁄können wir KI‘s und Teststatistiken konstruieren und notieren
Y, ± r�ns �⁄ Mlm�8
bzw. Y, ± V�n�,�ns �⁄ M,lm�8
und ` = lmnlktm6
8 bzw. o = lmnlkmtm6
8
> Jetzt analog: KI‘s und Tests für � und �
bekannter bzw. geschätzter
Standardfehler
12.1 Einfaches lineares Regressionsmodell
909
● Schätzung der Varianzen im klassischen Fall ●
> Es gelten folgende Verteilungsresultate (vgl. Folien 891, 893 und 896):
M�0�� =
1� ∑ ������� M/�
�"$�M�0�
� = M/�
�"$�Modell KN:
Modell KS:
> Die dazu korrespondierenden (konsistenten) Schätzer lauten:
M�0�|$�,…,$u� =
1� ∑ )������ M/�
�*+$�M�0�|$�,…,$u
� = M/�
�*+$�
Mv�0�� = Mv�0�|$�,…,$u
� =1� ∑ )������ M,/�
�*+$�bzw. Mv�0�
� = Mv�0�|$�,…,$u� = M,/�
�*+$�
mit M,/� = *D2� = 1� − 2 � J0��
�
���(vgl. Folie 868)
Nur-Homoskedastizitäs-konsistente Varianzschätzer
12.1 Einfaches lineares Regressionsmodell
910
● Schätzung der Varianzen im Modell BH ●
● Schätzung der Varianzen im Modell UHV ●
> Es gelten folgende Verteilungsresultate (vgl. Folie 902 und 906):
M�0�� ≈ w xy6/y6
� w xy66 mit i� = 1 − l5$y
w $y6und M�0�
� ≈ z{| $ynl5 /y� k56
6
> Die dazu korrespondierenden (konsistenten) Schätzer lauten:
M,�0�� =
1� ∑ i0��J0������
� 1� ∑ i0������
� i0� = 1 − )�)�1� ∑ )������
M,�0�� =
1� ∑ )� − )� �J0������
� *+$��
mit
Man beachte (Folie 898): KL3 )� − Y$ J� = D )� − Y$ �J��
Heteroskedastizitäs-konsistenteoder Heteroskedastizitäts-robusteVarianzschätzer
12.1 Einfaches lineares Regressionsmodell
911
Verteilungen der Inferenzstatistiken
● Hintergrund ●
● Verteilungen im klassischen Modell ●
Verteilung der maßgeblichen Inferenzstatistik (ohne Nachweis):
o}�~ = '� − �Mv�0~
~ V � − 2 für � = 0,1 und � ≥ 3
Verteilung der maßgeblichen Inferenzstatistik (ohne Nachweis):
o�~ = '� − �M,�0~
~ O 0,1 für � = 0,1 und � ≥ 60
● Verteilungen in den Modellen BH und UHV ●
und Mv�0�� bzw. Mv�0�
� wie auf Folie 909
und M,�0�� bzw. M,�0�
� wie auf Folie 910
L
12.1 Einfaches lineares Regressionsmodell
12.1.4 Schätzen und Testen
Konfidenzintervalle und Tests
● Herleitung von Konfidenzintervallen ●
● Konstruktion von Tests ●
> Ansatz in den klassischen Modellen:
1 − � = H −V�n�,�ns �⁄ ≤ o}�~ ≤ V�n�,�ns �⁄ = ⋯= H '� − V�n�,�ns �⁄ × Mv�0~ ≤ � ≤ '� + V�n�,�ns �⁄ × Mv�0~
> Ansatz in den Modellen BH und UHV:
1 − � = H −r�ns �⁄ ≤ o�~ ≤ r�ns �⁄ = ⋯= H '� − r�ns �⁄ × M,�0~ ≤ � ≤ '� + r�ns �⁄ × M,�0~
912
12.1 Einfaches lineares Regressionsmodell
● Zusammenfassung ●
913
Schlange-
Schätzer
Dach-
Schätzer
12.1 Einfaches lineares Regressionsmodell
914
12.1 Einfaches lineares Regressionsmodell
915
12.1 Einfaches lineares Regressionsmodell
● Äquivalenz der Tests auf β1,0 = 0 und ρXY = 0 ●
> Die Teststatistik bezüglich � in den Modellen KN und KS für den Nullhypothesenwert �,� = 0 ist mit derjenigen des Korrelationstests(Folie 836) identisch, d. h. es gilt:
o}�� = o� für �,� = 0> Nachweisskizze:
o}�� = '� − 0Mv�0�
8= *+$% *+$�⁄
M,/� �*+$��8= ⋯ = � − 28 × 2$%
1 − 2$%�8 = o�
> Korrelationstest und Tests in den klassischen Modellen mit �,� = 0 sindäquivalent (führen stets zu identischen Testentscheidungen)
916
12.1 Einfaches lineares Regressionsmodell
Spezialfall: Binärer Regressor
● Hintergrund ●
> Ein Spezialfall eines einfachen linearen Regressionsmodells liegt vor, fallsder Regressor binär (0-1-Variable) ist. Grundsätzlich können damit auch kategoriale Merkmale als Regressoren verwendet werden.
> Inferenz bei binärem Regressor ist äquivalent zur Inferenz über Erwartungs-wertdifferenzen
● Interpretation der Regressionskoeffizienten ●
> Ausgehend vom Modell (� = � + �)� + J� mit binärem )� erhalten wirin allen Modellvarianten mit Annahme (A1), (A1*) und (A1**) dann
D (�|)� = 0 = � und D (�|)� = 1 = � + �> Setzen wir
Y� = D (�|)� = 0 und Y� = D (�|)� = 1 917
12.1 Einfaches lineares Regressionsmodell
erhalten wir die Beziehungen
Y� = � und � = Y� − Y�
● KQ-Schätzer bei binärem Regressor ●
> Nachweis umständlich jedoch mathematisch eigentlich nicht anspruchsvoll
> Ergebnisse sind intuitiv nachvollziehbar!
918
12.1 Einfaches lineares Regressionsmodell
● Varianzschätzer bei binärem Regressor ●
919
12.1 Einfaches lineares Regressionsmodell
● Äquivalenz der Inferenz bezüglich β1 und 1 0 ●
> Ad (i):
identisch mit dem für Y� − Y�:
'� − V�n�,�ns �⁄ × Mv�0� , '� − V�n�,�ns �⁄ × Mv�0�
(�� − (�� − V�n�,�ns �⁄*��
��+ *��
��
8 , (�� − (�� + V�n�,�ns �⁄*��
��+ *��
��
8
KI für �:
920
12.1 Einfaches lineares Regressionsmodell
Tests über � identisch mit denen über Y� − Y�:
o}�� = '� − �,�
Mv�0��8
= (�� − (�� − ��*�� ��⁄ + *�� ��⁄8 = o}�
> Ad (ii):
falls �,� = ��
identisch mit dem für Y� − Y�:
'� − r�ns �⁄ × M,�0� , '� + r�ns �⁄ × M,�0�
(�� − (�� − r�ns �⁄*+��
O�+ *+��
O�
8 , (�� − (�� + r�ns �⁄*+��
O�+ *+��
O�
8
KI für �:
921
12.1 Einfaches lineares Regressionsmodell
● Tests über 1 0 auch bei stochastischen Gruppenumfängen ●
Tests über � identisch mit denen über Y� − Y�:
o�� = '� − �,�
M,�0��8
= (�� − (�� − ��
*+�� O�⁄ + *+�� O�⁄8= o�
falls �,� = ��
Da in den Modellen KS und BH der Regressor stochastisch modelliert wird,folgt, dass die Konfidenzintervalle und Teststatistiken für Erwartungswert-differenzen auch bei stochastischen Gruppenumfängen O� und O� verwendetwerden können.
922
12.1 Einfaches lineares Regressionsmodell
923
Adäquatheit bestimmter Modellannahmen
● Hintergrund ●
● Noch vor den eigentlichen Annahmen: Repräsentativität ●
Stellen wir uns vor, ein Immobilienexperte möchte den Zusammenhang zwi-schen Wohnfläche und Nettomiete in einer Stadt untersuchen. Dazu nimmter s ich kurzerhand die Wochenendausgabe der ansässigen Lokalzeitung zurHand und notiert alle Angebote des Wohnungsmarktes bezüglich Wohn-fläche und Miete. Eine auf solche Weise gewonnene Stichprobe könnten wirdann als Quasi-Stichprobe erachten (Abschnitt 9.2). Abbildung 12.1.11illustriert verschiedene (stark stilisierte) Situationen, in denen der poten-zielle Auswahlbereich (gestrichelt) die Grundgesamtheit (Dichtekonturen)nicht vollständig abdeckt. Infolgedessen führt dies zu einer mehr oder weni-ger stark ausgeprägten Stichprobenverzerrung. Im Einzelnen könnte mansich dazu folgende Szenarien (1) bis (4) vorstellen:
12.1 Einfaches lineares Regressionsmodell
924
schwarz... wahre Geradegrau... geschätzte Gerade
potenziellerAuswahlbereich
Geschätzte Gerade zu tief Geschätzte Gerade dennoch richtig
Geschätzte Gerade zu flach Geschätzte Gerade zu steil
12.1 Einfaches lineares Regressionsmodell
● Linearitätsannahme ●
● Stochastischer oder nichtstochastischer Regressor ●
● Messfehlerprobleme ●
● Unabhängigkeitsannahme ●
● E(Ui | Xi) = 0 und OVB-Problem ●
925
Annahme impliziert, dass...
... Resteinflüsse auf die abhängige Variable „gleichmäßig um dieGerad herum streuen“
... dass die Eigenschaft (vgl. Folie 878 bzw. 879 Eigenschaft 8)
QRS )� , J� = D )�J� = 0erfüllt ist, welche anhand folgender Leitfrage geprüft wird:
12.1 Einfaches lineares Regressionsmodell
926
> Bejahung der Leitfrage impliziert QRS )� , J� ≠ 0 und damit auchD J�|)� ≠ 0. Die Umkehrung gilt nicht zwingend! Dies bedeutet, dass D J�|)� ≠ 0 nicht zwingend QRS )� , J� ≠ 0 impliziert.
> QRS )�, J� ≠ 0 führt zu einer inkonsistenten Schätzung von �,was sich im Rahmen der späteren Überlegungen zu systematischenVerzerrungen auch formal fassen lässt (vgl. etwa Satz 12.2.3)
> Die durch QRS )�, J� ≠ 0 verursachte asymptotische Verzerrungwird auch als OVB (Omitteld-Variable-Bias) bezeichnet und das da-mit korrespondierende Problem als OVB-Problem.
> In Modell KN QRS �� , J� = 0 per se erfüllt, da �� nichtstochastisch.Leitfrage dennoch von Relevanz (vgl. Fallbeispiel 1 auf Folie 931)
12.1 Einfaches lineares Regressionsmodell
● E(Ui | Xi) = 0, Messfehler- und Endogenitätsproblem ●
● Cov(Xi, Ui) = 0 lässt sich nicht anhand der KQ-Residuen prüfen ●
927
> Das multiple lineare Regressionsmodell stellt einen möglichen Lösungansatz für das OVB-Problem dar (vgl. Abschnitt 12.2)
Auch andere Probleme wie Messfehler oder simultane Kausa-lität können zu D J�|)� ≠ 0 führen (weiterführende Themen)
12.1 Einfaches lineares Regressionsmodell
● Homoskedastischer oder heteroskedastischer Fehler ●
928
> Rein optische Prüfung kann in die Irre führen (vgl. Abb. 12.1.13),insbesondere bei schiefer Verteilung des Regressors
> Statistische Tests auf Heteroskedastizität wie etwa White-Test
> KQ-Methode bei Heteroskedastizität eigentlich ineffizient, effizienteverallgemeinerte KQ-Methode jedoch schwer umsetzbar
12.1 Einfaches lineares Regressionsmodell
● Normalverteilungsannahme ●
● Identisch oder heterogen verteilt ●
● Technische Annahmen ● 929
> Bei Vorliegen von Homoskedastizität sollten die Nur-Homoskedasti-zitätskonsistenten Varianzschätzer (Folie 909) verwendet werden.
> Die unnötige Verwendung der Heteroskedastizitäts-konsistenten Vari-anzschätzer (Folie 910) in Modell BH (d. h. es liegt tatsächlich Homo-skedasizität vor), führt hingegen nur zu einem Effizienzverlust bei derVarianzschätzung. Tendenziell führt dies zu längeren Konfidenzinter-vallen und zu Güteverlusten beim Testen. Da die Schätzer jedoch auchunter Homoskedastizität konsistent sind, bleibt die Inferenz gültig.
> Die fälschliche Unterstellung von Homoskedastizität führt zu inkon-sistenten Varianzschätzungen, was dann verfälschte Sicherheits- undIrrtumswahscheinlichkeiten zur Folge hat (verfälschte Inferenz)
12.1 Einfaches lineares Regressionsmodell
● Fazit und Empfehlung ●
> Einschließlich der Repäsentativität stellen alle mit der AnnahmeD J�|)� = 0
in Verbindung stehenden Aspekte die wichtigsten Prüfsteine dar, da siebei Verletzung zu ernsthaften Verfälschungen (inkonsistenten Schätzun-gen) führen.
> Modell BH mit den heteroskedastizitäts-konsistenten Varianzschätzern stellt für viele Fälle in der Praxis, in denen ein u. i. v.-Schema adäquaterscheint, eine gute Wahl dar. Dabei gilt: Lieber unnötig von Heterske-dastizität ausgehen als fälschlich Homoskedasitzität unterstellen.
930
> Modelle KN, KS und UHV als Spezialfälle in Modell BH enthalten
12.1 Einfaches lineares Regressionsmodell
Fallbeispiel 1: Bewässerung und Wachstum
● Hintergrund ●
931
Problemstellung fiktiv (vgl. Abb. 12.1.14, Folie 933):
Ein Botaniker untersucht den Zusammenhang zwischen Bewässerungs-menge (in Liter) und Wuchshöhe (in Meter) einer bestimmten Pflanze.Dazu züchtet er 5 Exemplare in einem Labor unter identischen Bedingun-gen an. Lediglich die wöchentliche Bewässerungsmenge wählt er unter-schiedlich und variiert diese zwischen 1 und 5 Liter. Sein Modellansatzlautet:
(� = � + ��� + J� für � = 1, … , 5,wobei (� die nach 4 Wochen gemessene Wuchshöhe und �� die festgesetztewöchentliche Bewässerungsmenge für die i-te Pflanze ist.
12.1 Einfaches lineares Regressionsmodell
● Modell KN: Diskussion der Modellannahmen ●
932
> Linearitätsannahme (A0):Fachkenntnisse nötig, approximative Linearität, beschränkt aufbestimmten Wertebereich
> Annahme (A1*): J�, … , J� unabhängig O 0, M/�
1. Teilaspekt: D J� = 0Angenommen, Szenario wie in Abb. 12.1.14:Bewässerungsmenge steigt von links nach rechts. Gleichzeitig wirkesich Tageslicht wachstumssteigernd aus. Dann wären die Bewässe-rungsmengen mit den Realisationen der Resteinflüsse (darin ist dasLicht enthalten) tendenziell positiv korreliert (höhere Mengen gehenmit mehr Licht einher und geringere Mengen mit weniger Licht).Formal gilt zwar QRS �� , J� = 0, jedoch erscheint D J� = 0nicht mehr adäquat. Vielmehr sollten die Erwartungswerte der Fehlervon links nach rechts ansteigen. Weitere Szenarien denkbar...
12.1 Einfaches lineares Regressionsmodell
933
2. Teilaspekt: KL3 J� = M/� (Homoskedastizität)
Nicht ganz realistisch, da „natürlicherweise“ mit steigendem Niveau meist die Variabilität zunimmt.
3. Teilaspekt: J�, … , J� unabhängig
Könnte etwa verletzt sein, wenn Pflanzen zu dicht beieinander stehenund sich gegenseitig beeinflussen. Ansonsten realistische Annahme.
12.1 Einfaches lineares Regressionsmodell
● Berechnung ●
934
4. Teilaspekt: Normalverteilte Fehler
In kontrollierten Experimenten erscheint Normalverteilung als die„natürliche Verteilung“ häufig realistisch.
> Beobachtungswerte �� , �� : (1, 1), (2, 2), (3, 1), (4, 3), (5, 2)
> Berechnung der KQ-Schätzer und von 2� (vgl. Folien 865-867):
'� = 0.3, '� = 0.9, 2� = 0.3214> Berechnung des SER (vgl. Tabelle 5.2.4 auf Folie 866):
*D2� = 1� − 2 � .,��
�
���= 1.9
5 − 2 ≈ 0.6333
⇒ *D2 ≈ 0.7958
12.1 Einfaches lineares Regressionsmodell
935
> Berechnung der Nur-Homoskedastizitätskonsistenten Varianzschätzer(vgl. Folien 868, 909):
"$� = 15 � ���
�
���− �� = 55
5 − 3� = 2
⇒ Mv�0�� =
1� ∑ ������� M,/�
�"$�= 11 × 0.6333
5 × 2 ≈ 0.6966
⇒ Mv�0�� = M,/�
�*+$�= 0.6333
5 × 2 ≈ 0.0633
M,/� = *D2� = 0.6333
> Berechnung der Standardfehler (SE… Standard Error):
⇒ *D� '� = Mv�0��8 = Mv�0� ≈ 0.8346
⇒ *D� '� = Mv�0��8 = Mv�0� ≈ 0.2516
(„Schlangeschätzer“)
12.1 Einfaches lineares Regressionsmodell
● Ergebnisse und Interpretation ●
936
> 0.95-KI für � und � gemäß Satz 12.1.4 (Folie 913):
'�−V�,�.���,× Mv�0� , '�+V�,�.���,× Mv�0�'�−V�,�.���,× Mv�0� , '�+V�,�.���,× Mv�0�
⇒ �: 0.9 ± 3.18 × 0.83 = −1.74,3.54⇒ �: 0.3 ± 3.18 × 0.25 = −0.50,1.10
Interpretation:In beiden Intervallen 0 enthalten. Beide Koeffizienten sind beieinem Niveau von 5% nicht signifikant von 0 verschieden.
12.1 Einfaches lineares Regressionsmodell
937
Entscheidungsproblem: Wirkt sich höhere Bewässerung signifikantsteigernd auf das Wachstum aus?
Testproblem: i�: � ≤ 0 vs. i�: � > 0
Teststatistik: o}�� = '� − 0Mv�0�
~ V 3� = 0
Testniveau (Signifikanzniveau): � = 0.05Kritischer Wert: U� = V�,�.��� = −2.35, U� = V�,�.��� = 2.35Testprozedur: Falls V�� < −2.35 oder V�� > 2.35, Entscheidung für
i� (Verwerfung von i�), sonst Beibehaltung von i�
> Test zum Niveau 5% bezüglich � gemäß Satz 12.1.4 (Folie 914):
Testergebnis hier: V�� = 0.30.25 = 1.2
⇒ Kein signifikanter positiver Effekt
12.1 Einfaches lineares Regressionsmodell
Fallbeispiel 2: Klassengröße und Lernerfolg
● Hintergrund ●
938
Realer Datensatz
Merkmal Variable Erläuterung
TestergebnisKlassengrößeEnglisch-Lerner-Anteil
Begünstigten-Anteil
testscr
str
elpct
mealpct
Erreichte Punktezahl im TestAnzahl von Schülern pro LehrerProzentualer Anteil von Schülernmit SprachproblemenProzentualer Anteil von Schülernmit vergünstigtem Mensaessen
Daten von Schülern der 5. Klasse aus einer standardisiertenPrüfung in Kalifornien aus den Jahren 1998, 1999.Umfang: � = 420 Schuldistrikte
12.1 Einfaches lineares Regressionsmodell
939
12.1 Einfaches lineares Regressionsmodell
940
12.1 Einfaches lineares Regressionsmodell
● Modell BH: Diskussion der Modellannahmen ●
941
Problemstellung:Angenommen, man möchte untersuchen, ob es sich lohnt mehr Lehrereinzustellen, um den Lernerfolg der Schüler zu verbessern. Der grund-sätzliche Modellansatz laute dabei zunächst einmal
(� = � + �)� + J� für � = 1, … , 420,
wobei (� das (durchschnittlich) Testergebnis im i-ten Distrikt ist und)� die (durchschnittliche) Klassengröße
> Linearitätsannahme (A0):Scheint bei Betrachtung des Streudiagramms (testscr vs. str) in Ordnung zu gehen. Fachspezifische Kenntnisse weiter hilfreich…
> Annahme (A1): D J�|)� = 0Wir stellen hierzu die Leitfrage für das OVB-Problem (Folie 926):Gibt es neben dem Regressor ), also der beobachteten Einfluss-größe, eine weitere maßgebliche Einflussgröße auf (, die mit )korreliert ist?
12.1 Einfaches lineares Regressionsmodell
942
Antwort hierzu:OVB-Leitfrage kann bejaht werden, da str mit elpct und mealpctpositiv korreliert ist und beide, d. h. elpct und mealpct, sich aufden Lernerfolg, gemessen über testscr, (negativ) auswirken sollten.Dafür sprechen die negativen Korrelationen von –0.64 bzw. –0.87.
Im einfachen Regressionsmodell sollte � unterschätzt werden, dader negative direkte Effekt von str durch den negativen indirektenEffekt von elpct verstärkt wird. Dies führt zu einem noch stärkerennegativen Gesamteffekt von str.
OVB-Szenario beschränkt auf testscr, str und elpct(Kap. 5, Folie 261 ff.):
str elpct
testscr
+
negativer direkter Effekt +
negativer indirekter Effekt
12.1 Einfaches lineares Regressionsmodell
943
> Annahme (A2): )�, (� , … , )�, (� u. i.v.
1. Teilaspekt: Art der Stichprobe
Hypothetische Stichprobe (aus hypothetischer Grundgesamtheit), da Vollerhebung der Schuldistrikte in Kalifornien zu bestimmter Zeit.
2. Teilaspekt: )�, (� , … , )�, (� sind unabhängig
Es kann wohl von gewissen räumlichen Korrelationen ausgegangenwerden. Insbesondere könnten Distrikte, die geographisch näher beieinander liegen, ähnlicher zueinander sein (Expertenwissen nötig).
3. Teilaspekt: )�, (� , … , )�, (� identisch verteilt
Distrikte, die in einem Jahr besonders gut (schlecht) sind, sind es mit hoher Wahrscheinlichkeit auch im Folgejahr. Deshalb erscheinen iden-tische Verteilungen unrealistisch. Ein u.h.v.-Schema wäre eigentlichadäquat. Mit zusätzlichen technischen Annahmen wäre die Inferenzjedoch völlig identisch.
12.1 Einfaches lineares Regressionsmodell
● Berechnung ●
> Annahme (A3): Endliche Momente, positive Varianzen (vgl. Folie 876): Rein technische Annahmen, keine praktische Relevanz
> Händische Berechnung theoretisch möglich; relevante Formelngemäß Folien 866 ff. und 910. Soll hier nicht exerziert werden,da zu aufwendig (� = 420!)
> Berechnung mit Hilfe einer geeigneten Software (R):
'� = 698.93, '� = −2.28, *D2 = 18.58, 2� = 0.05
⇒ *D� '� = M,�0��8 = M,�0� = 10.34
⇒ *D� '� = M,�0��8 = M,�0� = 0.52 944
(„Dachschätzer“)M,�0�� = 106.91, M,�0�
� = 0.27
12.1 Einfaches lineares Regressionsmodell
945
● Ergebnisse und Interpretation ●
> 0.95-KI für � und � gemäß Satz 12.1.4 (Folie 913):
'�−r�.���,× M,�0� , '�+r�.���,× M,�0�'�−r�.���,× M,�0� , '�+r�.���,× M,�0�
⇒ �: 698.93 ± 1.96 × 10.36 = 678.62, 719.24⇒ �: −2.28 ± 1.96 × 0.52 = −3.30, −1.26
Interpretation:Da beide Intervalle die 0 nicht enthalten, sind beide Koeffizienten beieinem Niveau von 5% signifikant von 0 verschieden.
12.1 Einfaches lineares Regressionsmodell
946
Entscheidungsproblem: Wirken sich größere Klassen signifikantnegativ auf den Lernerfolg aus?
Testproblem: i�: � ≥ −1 vs. i�: � < −1
Teststatistik: o�� = '� − −1M,�0�
~ O 0,1
Testniveau (Signifikanzniveau): � = 0.05Kritischer Wert: U = r�.�� = −1.64Testprozedur: Falls V�� < −1.64, Entscheidung für i� (Verwerfung
von i�), sonst Beibehaltung von i�
> Test zum Niveau 5% bezüglich � gemäß Satz 12.1.4 (Folie 914):
Testergebnis hier: V�� = −2.28 + 10.52 = −2.46
⇒ Signifikanter negativer Effekt um mehr als −1
� = −1L
12.1 Einfaches lineares Regressionsmodell
947
Interpretation:+ Eine um 5 Schüler vergrößerte Klasse verschlechtert die
Testscores um mehr als 10 Punkte+ Klassengröße signifikant, jedoch wenig relevant+ OVB-Problematik vorhanden (elpct, mealpct)+ Untersuchung in homogeneren Untergruppen legt nahe,
dass sozialer Hintergrund relevanter ist; durchschnittlichercher Abstand von etwa 30 Punkten (vgl. Abb. 12.1.17)
mealpct < 40
mealpct ≥ 40�� = �. ��
12.2.1 Partielle lineare KQ-Regression
Empirische partielle Regression
● Hintergrund ●
12.2 Einführung in das multiple lineare Regressionsmodell12.2 Einführung in das multiple lineare Regressionsmodell
948
> In enger Verbindung damit steht die OVB-Problematik(vgl. Fallbeispiele 1 und 2 des vorhergehenden Abschnitts)
> Verletzung der AnnahmenD J� = 0 oder D J�|)� = 0
kann zu inkonsistenten Schätzungen führen
> 1. Lösungsansatz: Analyse in homogeneren Untergruppen(häufig jedoch inpraktikabel, insbesondere bei kleinem �)
> 2. Lösungsansatz: Partielle oder multiple Regression⇒ „Lineares Herausrechnen“ störender (OVB verursachen-
der Variablen (Thema von Abschnitt 12.2)
12.2 Einführung in das multiple lineare Regressionsmodell
949
● Beispiel 12.2.1: Empirische partielle Regression ●
Ist Nachhilfe kontraproduktiv oder liegt hier möglicherweise ein OVB-Problem vor?
12.2 Einführung in das multiple lineare Regressionsmodell
S ET
ST
−
OVB-Szenario beschränktauf testscr, str und elpct
positiver direkter Effekt +
negativer indirekter Effekt
Im einfachen Regressionsmodell sollte� unterschätzt werden, da der positivedirekte Effekt von S durch den negativenindirekten Effekt von ET kompensiertwird. Überkompensation führt hier sogarzu einem negativen Gesamteffekt von S.
12.2 Einführung in das multiple lineare Regressionsmodell
951
8
8
Interpretationsbeispiele:
Schüler 2: … bezogen auf sein Eingangsniveau … überdurchschnittliches Abschneiden… überdurchschnittlich viel Nachhilfe
Schüler 2: … bezogen auf sein Eingangsniveau … unterdurchschnittliches Abschneiden… unterdurchschnittlich viel Nachhilfe
12.2 Einführung in das multiple lineare Regressionsmodell
952
Interpretation:Schüler, die über- bzw. unterdurchschnittlich viel Nachhilfe nehmen schneiden über- bzw.unterdurchschnittlich ab
> Partielle Korrelation zwischen S und ST unter ET:3j,j�•w� = 0.70
> Partieller Effekt von S auf ST unter ET:�j�~j•w� = 7.88
> Unter bestimmten Rahmenbedingungen entspricht derpartielleEffekt dem direkten Effekt (theoretische Fun-dierung später durch Satz 12.2.3, Folie 980)
12.2 Einführung in das multiple lineare Regressionsmodell
● Zusammenfassung und Formelapparat ●
953
12.2 Einführung in das multiple lineare Regressionsmodell
954
8
12.2 Einführung in das multiple lineare Regressionsmodell
● Empirische Verzerrung ●
● Erweiterung auf höherdimensionale Fälle ●
955
> Gegeben seien die drei Variablen X, Y und Z. Wie unterscheidet sich derempirische Regressionskoeffizient einer einfachen linearen Regressionvon Y auf X, notiert, �%~$ von demjenigen einer partiellen Regressionvon Y auf X unter Z, notiert mit �%~$•�?
> Es lässt sich zeigen, dass gilt:
�%~$ = �%~$•� + �%~�•$"$�"$�
mit �%~$ = "$%"$�
Empirische Verzerrung
Möchte man den störenden (OVB-verursachenden) Effekt von 2oder mehr Variablen herausrechnen, benötigt man die Technikder multiplen linearen Regression (Unterabschnitt 12.2.2).
12.2 Einführung in das multiple lineare Regressionsmodell
Theoretische partielle Regression
● Zusammenfassung und Formelapparat ●
956
12.2 Einführung in das multiple lineare Regressionsmodell
957
8
Formeln der theoretischen Quantitäten völlig analog zu denender empirischen Quantitäten (vgl. Folie 954)
● Bedingte und partielle Korrelation ●
Im Allgemeinen unterscheiden sich bedingte und partielle Korrelationen.Unter bestimmten Bedingungen können diese jedoch identisch sein (etwabei gemeinsamer multivariater Normalverteilung.
12.2 Einführung in das multiple lineare Regressionsmodell
● Theoretische Verzerrung ●
958
> Gegeben seien die drei Zufallsvariablen X, Y und Z. Wie unterscheidetsich der theoretische Regressionskoeffizient einer einfachen Regressionvon Y auf X, notiert, %~$ von demjenigen einer partiellen Regressionvon Y auf X unter Z, notiert mit %~$•�?
> Es lässt sich zeigen, dass gilt:
%~$ = %~$•� + %~�•$M$�M$� mit %~$ = M$%
M$�
Theoretische Verzerrung
● Erweiterung auf höherdimensionale Fälle ●
Theoretische multiple Regression als Technik nötig…
12.2 Einführung in das multiple lineare Regressionsmodell
Verbindung von Empirie und Theorie
● Grundlagen ●
● Konsistente Schätzungen bei der partiellen Regression ●
959
> Wir fassen nun dreidimensionale (empirische) Beobachtungswerte��, ��, r� , ��, ��, r� , … , ��, ��, r�
als Realisationen dreidimensionaler Zufallsvektoren (Stichprobe))�, (�, `� , )�, (�, `� , … , )�, (�, `�
auf und interpretieren das Ganze als Schätzproblem:
> Die theoretischen Quantitäten werden als zu schätzende Parameteraufgefasst und die stochastischen Varianten der empirischen Quanti-täten als dazu korrespondierende Schätzer.
> Wir definieren
'%~$•� = *+$%*+�� − *+%�*+$�*+$�*+�� 1 − 2$�� und ],$%•� = 2$% − 2%�� 2$��
1 − 2%�� 1 − 2$��
12.2 Einführung in das multiple lineare Regressionsmodell
960
● Asymptotische Verzerrung ●
● Erweiterung auf höherdimensionale Fälle ●
> Aufgrund der vorhergehenden Resultate gilt dann unter u.i.v.-Schema:
'%~$•� b %~$•� und ],$%~� b ]$%•�> Dies ergibt sich mit dem GGZ und dem multivariaten Stetigkeitssatz
(man beachte auch Beispiel 8.3.6)
Definieren wir weiter
'%~$ = *+$%*+$�
und %~$ = M$%M$�
erhalten wir (vgl. hierzu Folien 944 und 947):
'%~$ b %~$•� + %~�•$M$�M$�
Asymptotische Verzerrung
12.2.2 Multiple lineare KQ-Regression
Empirische multiple Regression
● Motivation und Überblick ●
● Definition ●
12.2 Einführung in das multiple lineare Regressionsmodell
961
> Abhängige Variable hängt von mehreren Einflussgrößen linear ab
> Direkte (kausale) Effekte einzelner Variablen lassen sich simultanschätzen (unter bestimmten Modellannahmen)
> Erhöhung des Erklärungsgehalts des Modells im Vergleich zureinfachen linearen Regression; Erhöhung der Prognosegüte
> Lösungsansatz für das OVB-Problem (systematische Verzerrungen);Äquivalenz zur partiellen Regression
siehe Folie 962
12.2 Einführung in das multiple lineare Regressionsmodell
�m ���, ���, … , ��
12.2 Einführung in das multiple lineare Regressionsmodell
963
12.2 Einführung in das multiple lineare Regressionsmodell
● Eigenschaften der empirischen multiplen KQ-Regression ●
● Bestimmtheitsmaß und Standardfehler der Regression ●
964
Es gelten weiterhin die 6 Eigenschaften aus Satz 12.1.1 (Folie 856)mit entsprechender Anpassung für die Eigenschaften 1 und 4:
�, ��, ��, … , �b = ��Eigenschaft Nr. 1:
3/0$� = 0, 3/0$6 = 0, … , 3/0$� = 0Eigenschaft Nr. 4:
> Mit Eigenschaft 6 (Streuungszerlegungsformel) gilt weiterhin:
2� = "%�
"%�= 1 − "/0
�
"%�> Der Standardfehler der multiplen Regression (SER) ist definiert als
*D2 = 1� − e − 1 � .,��
�
���8
Dabei ist e die Anzahl der Regressoren ohne Konstante.
12.2 Einführung in das multiple lineare Regressionsmodell
● Zusammenhang zur empirischen partiellen Regression ●
> Die Regressionskoeffizienten ��, ��, … , �b bezüglich )�, )�, … , )b einereiner multiplen Regression von ( auf )�, )�, … , )b stimmen mit denenentsprechender partieller Regressionen überein, d. h.
�� = �%~$~•¡¢~ für � = 1, … , e.
Dabei ist �%~$~•¡¢~ der partielle Regressionskoeffizient einer partiellen
Regression von ( auf )� unter )�, )�, … , )b ohne )�> Spezialfall e = 2 mit (, )� und )�:
Für die Regressionskoeffizienten �� und �� der multiplen Regression von( auf )� und )� gilt:
�� = �%~$�•$6 = "$�%"$6� − "$6%"$�$6
"$�� "$6
� 1 − 3$�$6�
und �� = �%~$6•$� = "$6%"$�� − "$�%"$�$6
"$�� "$6
� 1 − 3$�$6� 965
12.2 Einführung in das multiple lineare Regressionsmodell
966
> Dies bedeutet dass zur Ermittlung partieller Regressionskoeffizientendas 3-stufige Verfahren gemäß Folie 953 mittels multipler Regressionabgekürzt werden kann. Außerdem erhält man simultan bezüglich allerVariablen die korrespondierenden partiellen Koeffizienten
> Berechnung mit Hilfe statistischer Software (etwa R)
● Beispiel 12.2.1 fortgesetzt ●
> Gegeben nochmals die Situation von Folie 949 mit dem OVB-Problem.
> Eine multiple lineare Regression von ST auf S und ET ergibt:
�j = �j�~j•w��w� = �j�~w�•jVergleich mit Folien 952:
Übereinstimmung
Vergleich mit Folie 949:Anstieg bzw. Rückgang
12.2 Einführung in das multiple lineare Regressionsmodell
Theoretische multiple Regression
● Definition ●
967
12.2 Einführung in das multiple lineare Regressionsmodell
● Eigenschaften der theoretischen multiplen KQ-Regression ●
968
Analog zu den Eigenschaften der empirischen multiplen Regression(Folie 964) gelten folgende Eigenschaften:
1 �,� Y$ = Y%2 D (� = D ( = Y%
3 D ( − (� = 0
Kompakte formelmäßige Darstellung der KQ-Koeffizienten erfolgt üblicher-weise in matrixalgebraischer Form (Inhalt fortgeschrittener Kurse)
12.2 Einführung in das multiple lineare Regressionsmodell
969
4 QRS ( − (�, )� = 0, … , QRS ( − (�, )b = 05 QRS ( − (�, (� = 06 KL3 ( = KL3 (� + KL3 ( − (�
Theoretische Streuungszerlegungsformelder Regression
● Theoretisches Bestimmtheitsmaß und theoretischer Standardfehler ●
ℜ� =KL3 (�KL3 ( = 1 −
KL3 ( − (�KL3 (
TheoretischesBestimmtheitsmaß
⇒ KL3 ( − (�8 = KL3 ( 1 − ℜ�8 TheoretischerStandardfehler
12.2 Einführung in das multiple lineare Regressionsmodell
● Zusammenhang zur theoretischen partiellen Regression ●
970
> Die Regressionskoeffizienten '�, '�, … , 'b bezüglich )�, )�, … , )b einertheoretischen multiplen Regression von ( auf )�, )�, … , )b stimmen mitdenen entsprechender theoretischer partieller Regressionen überein, d. h.
'� = %~$~•¡¢~ für � = 1, … , e.
Dabei ist %~$~•¡¢~ der partielle Regressionskoeffizient einer theoreti-
schen partiellen Regression von ( auf )� unter )�, )�, … , )b ohne )�> Spezialfall e = 2 mit (, )� und )�:
Für die Regressionskoeffizienten '� und '� der theoretischen multiplenRegression von ( auf )� und )� gilt:
'� = %~$�•$6 = M$�%M$6� − M$6%M$�$6
M$�� M$6
� 1 − ]$�$6�
und '� = %~$6•$� = M$6%M$�� − M$�%M$�$6
M$�� M$6
� 1 − ]$�$6�
12.2 Einführung in das multiple lineare Regressionsmodell
Verbindung von Empirie und Theorie
971
Da nun die KQ-Regressionskoeffizienten der empirischen und dertheoretischen multiplen Regression mit den Koeffizienten der empi-rischen bzw. theoretischen partiellen Regressionen übereinstimmen,können die im vorhergehenden Abschnitt hergeleiteten Konsistenz-eigenschaften direkt übertragen werden. Demnach können imZusammenhang von Stichproben die aus der multiplen Regressiongewonnenen empirischen Regressionskoeffizienten als Schätzer derkorrespondierenden theoretischen Größen aufgefasst werden. Unterbestimmten Annahmen wie etwa unter einem u.i.v.-Schema lassensich hierbei entsprechende Konsistenzeigenschaften begründen.
12.2 Einführung in das multiple lineare Regressionsmodell
Statistische Modelle und Inferenz
● Hintergrund ●
● Statistisches Grundmodell ●
12.2 Einführung in das multiple lineare Regressionsmodell
● Interpretation ●
> (� … �-te Beobachtung der abhängigen (kausal beeinflussten)Variablen, auch Regressand
> )�� … �-te Beobachtung der �-ten Einflussvariable, auch Regressor
> Regressoren üben mehr oder weniger direkte kausale Effekte aufRegressanden aus
> In den Fehlern J� stecken alle weiteren (kausalen) Einflüsse auf (�> Abhängigkeit linear:
Veränderung der �-ten Einflussvariable um ∆� Einheiten führt zueiner Veränderung des abhängigen Variable um �∆� Einheiten,gegeben, dass andere Einflussvariablen und Fehler konstant bleiben.
> Deutung der Regressionskoeffizienten als direkte (kausale) Effekteder einzelnen Einflussvariablen
973
12.2 Einführung in das multiple lineare Regressionsmodell
● Ensembles von Modellannahmen ●
974● Keine Multikollinearität ●
(A4M): Regressoren dürfen nicht perfekt linear abhängig sein
12.2 Einführung in das multiple lineare Regressionsmodell
● Modellimmanente Eigenschaften ●
● Theoretische Regressionsebene = theoretische KQ-Regressionsebene ●
> Eigenschaften (1) bis (17) von Tabelle 12.1.1 (Folie 879) können analogauf den multiplen Fall übertragen werden. Insbesondere gilt dann etwa:
QRS )�� , J� = D )��J� = 0 für � = 1, … , � und � = 1, … , e⇒ Fehler ist mit allen Regressoren unkorreliert
> Zu den Eigenschaften (16) und (17) beachte man nachfolgenden Satz.
12.2 Einführung in das multiple lineare Regressionsmodell
● Schätzen und Testen ●
976
> Formeln für die Regressionskoeffizienten aus der empirischenmultiplen Regression werden in stochastische Varianten über-führt und als Schätzer interpretiert
> In Modellen KS und BH (u.i.v.-Schema) ergibt sich dann etwaim Spezialfall e = 2:
'� = (� − '�)�� − '�)�� b �
'� = *+$�%*+$6� − *+$6%*+$�$6
*+$�� *+$6
� 1 − 2$�$6� b �
'� = *+$6%*+$�� − *+$�%*+$�$6
*+$�� *+$6
� 1 − 2$�$6� b �
> In Modellen KN und UHV zusätzliche Konvergenzannahmennötig zum Erhalt obiger Konsistenzresultate
12.2 Einführung in das multiple lineare Regressionsmodell
> Entwicklung der Inferenzverfahren ansonsten völlig analogwie im einfachen Regressionsmodell:
1. Herleitung der Verteilung der KQ-Schätzer2. Schätzung der Varianzen (Standardfehler) der KQ-Schätzer3. Herleitung der Verteilung der maßgeblichen Inferenzstatistiken
> Keine näheren Ausführungen hierzu (Inhalt fortgeschrittener Kurse)
977
> Ergebnisse (ohne Herleitung) lauten wie folgt:
12.2 Einführung in das multiple lineare Regressionsmodell
978> Kompakte formelmäßige Darstellung erfolgt üblicherweise
in matrixalgebraischer Form (Inhalt fortgeschrittener Kurse)
> Berechnung mit Hilfe statistischer Software (wie etwa R)
12.2 Einführung in das multiple lineare Regressionsmodell
● Adäquatheit von Modellannahmen und OVB ●
● OVB im 3-Variablen-Fall ●
979
> Prüfung erfolgt analog wie im einfachen Regressionsmodell(vgl. Folie 923 ff.) in erweitertem Sinne
> Aus D J�|)� = �� wird D J�|)�� = ���, )�� = ���, … , )�b = ��bmit der korrespondierenden Leitfrage…
> OVB-Leitfrage erhält für e = 2 folgende theoretische Fundierung,welche auch die Daumenregeln zu systematischen Verzerrungen ausUnterkapitel 5.3 begründen (zur Herleitung siehe LB):
12.2 Einführung in das multiple lineare Regressionsmodell
980¤Kd$ = ¥¦§ $,/k56
oder ¤Kd$ = ��~$
● Direkte und indirekte Effekte und Merkregeln ●
> Schätzen wir den direkten Effekt von ) auf (, notiert mit $,(fälschlicherweise) ohne Berücksichtigung von ` nur mit einereinfachen Regression von ( auf ), so ist die Schätzung wegenQRS ), J ≠ 0 asymptotisch verzerrt mit
12.2 Einführung in das multiple lineare Regressionsmodell
● Streuungszerlegung und General-F-Test ● 981
%~$ = $ + ¤Kd$
> Man erhält dann stattdessen eine Schätzung für den Gesamteffekt mit
oder %~$ = $ + ��~$ mit
von ) auf ( von ) auf ( von ) über ` auf (
direkter Effektvon ¨ auf ©
�~$ = M$�M$�
Gesamteffekt von ª auf ¨
direkter Effektvon ª auf ©
12.2 Einführung in das multiple lineare Regressionsmodell
12.2.3 Fallbeispiele
Fallbeispiel 2 fortgesetzt: Determinanten des Lernerfolgs
982
12.2 Einführung in das multiple lineare Regressionsmodell
983
12.2 Einführung in das multiple lineare Regressionsmodell
984
12.2 Einführung in das multiple lineare Regressionsmodell
Fallbeispiel 3: Gewicht und Geschlecht
985
12.2 Einführung in das multiple lineare Regressionsmodell
−16.88 = −5.93 + 0.74 × −14.74986
Der Gesamteffekt von Geschlecht auf Gewicht ist folgendermaßen zerlegbar:
'«¬�®¯°~«¬4®¯±¬®¯° = '«¬�®¯°~«¬4®¯±¬®¯°•«|ö߬+'«¬�®¯°~«|ö߬•«¬4®¯±¬®¯° × '«|ö߬~«¬4®¯±¬®¯°
In Zahlen ergibt sich dabei im vorliegenden Fall
12.2 Einführung in das multiple lineare Regressionsmodell
Fallbeispiel 4: Binäre Regressoren und ANOVA-Modelle
987
● Einfache Regression mit binärem Regressor ●
● Einfache ANOVA-Modelle ●
> Statistische Inferenz in Bezug auf Mehrgruppenvergleiche
> Statistische Inferenz in Bezug auf Vergleich zweier Gruppen
> General-F-Test kann für Erwartungswertvergleich herange-zogen werden.
> General-F-Test kann für Erwartungswertvergleich herange-zogen werden:
> ANOVA-Modelle und sind jedoch noch deutlichflexibler in Bezug auf statistische Problemstellungen.
i�: Y� = Y� = ⋯ = Yb S". i�: nicht i�
> General-F-Test nur Spezialfall aus der vielseitig anwend-baren „F-Test-Familie“ (Inhalt fortgeschrittener Kurse)
Top Related