Einfuhrung in die Maximum Likelihood Methodik
Thushyanthan [email protected]
Alfred Weber InstitutRuprecht–Karls Universitat Heidelberg
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Gliederung
1 Einfuhrung
2 Grundlagen von ML
3 Beispiele
4 ML im Linearen Modell
2 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Einfuhrung
Maximum Likelihood (ML) ist in der Okonomie nach OLS daswohl beliebteste Verfahren, um die Parameter einesempirischen Modells zu schatzen
Hat eine Reihe von guten, aber auch viele problematischeEigenschaften
Gute der Schatzung hat viel mit der Große der Stichprobe undden richtigen Verteilungsannahmen zu tun
3 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Vorteile
Nichtlineare Modelle konnen relativ einfach geschatzt werden
Normalverteilungsannahme bzgl. des Fehlerterms nichtessentiell
Konsistent und asymptotisch effizient unter relativ schwachenAnnahmen
Flexibler als OLS
4 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Nachteile
Die Likelihood-Funktion muss explizit berechnet werden
Oft mussen numerische Verfahren verwendet werden, umMaxima zu finden
−→ Sensitiv gegenuber Startwerten
Kann in kleinen Samples extrem verzerrt sein
Viele wunschenswerte Eigenschaften gelten nur asymptotisch
5 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Gliederung
1 Einfuhrung
2 Grundlagen von ML
3 Beispiele
4 ML im Linearen Modell
6 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Idee
Man nimmt an, dass man ein Sample mit N Beobachtungenuber eine Zufallsvariable hat
Man hat also fur i = 1, ...,N Einheiten konkrete Werte derVariablen xi
Dise Variable konnte beispielsweise sein
Das Einkommen eines IndividuumsWieviele Patienten in einem bestimmten Krankenhaus inletzten Jahr gestorben sind...
7 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Idee
Da jede dieser Beobachtungen per Annahme eineZufallsvariable ist, hat jede auch eine stochastische Verteilung
Also gibt es prinzipiell eine Wahrscheinlichkeit, mit der diei−te Beobachtung, i = 1, ..,N, genau den Wert xi annimmt
Bei kontinuierlichen ZV hat kann man einem konkreten xi denentsprechenden Werte der Dichtefunktion zuordnen
Wir machen im folgenden zur terminologischen Vereinfachungkeinen Unterschied zwischen Wahrscheinlichkeits- undDichtefunktionen
8 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Beispiele
Beispiel
Wenn xi Bernoulli-verteilt ist mit p = 0.3, dann nimmt xi denWert 1 mit Wahrscheinlichkeit 0.3 und den Wert 0 mitWahrscheinlichkeit 0.7 anWenn xi Standardnormalverteilt ist, nimmt xi den Wert −2mit Wahrscheinlichkeit 0.054 an
9 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Die i.i.d. Annahme
Wir machen jetzt eine entscheidende Annahme:
Alle xi sind identisch und unabhangig verteilt (i.i.d.)
Konkret bedeutet das, dass alle xi derselben Verteilungentstammen, wie immer sie auch aussehen mag
... Und die Wahrscheinlichkeit, die wir einem konkreten xi
zuordnen, nicht davon abhangt, welche Werte alle anderenxj 6=i angenommen haben
Wie realistisch sind diese Annahmen?
Warum machen wir sie?
10 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Likelihoodfunktion
Unter der i.i.d-Annahme konnen wir nun einen einfachenAusdruck fur die Wahrscheinlichkeit angeben, mit der wir einbeliebiges Sample erhalten
Lass also f (xi |Θ) die Wahrscheinlichkeit sein, mit der die i−teBeobachtung den Wert xi annimmt
Die Wahrscheinlichkeit ergibt sich aus einerWahrscheinlichkeitsfunktion, die von bestimmten ParameternΘ abhangt
Bei Bernoulli also p, Bei Normalverteilung µ und σ
11 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Likelihoodfunktion
Die so genannte Likelihoodfunktion ist also
Die Likelihoodfunktion
L =f (x1|Θ) · f (x2|Θ) · f (x3|Θ)... · f (xN |Θ) (1)
=N∏
i=1
f (xi |Θ) (2)
12 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Maximum
Die Idee ist nun, die Parameter so zu wahlen, dass dieLikelihoodfunktion maximal ist
Man wahlt also die Parameter so, dass die Wahrscheinlichkeitfur das tatsachlich vorhandene Sample maximal ist
Ein ziemlich “indirektes” Argument...
Denn man kann die Wahrscheinlichkeit nicht beobachten,sondern nur die konkrete Auspragung des Samples
13 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Log-Likelihood
Da man schwerer mit Produkten als mit Summen rechnenkann, transformiert man die Likelihoodfunktion
Unter einer monotonen Transformation andert sich dasMaximum einer Funktion nicht
Daher wird mit dem Logarithmus der Likelihoodfunktiongerechnet
14 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Log-Likelihood
Die Log-Likelihoodfunktion ist
Die Log-Likelihoodfunktion
ln L = ln (f (x1|Θ) · f (x2|Θ) · f (x3|Θ)... · f (xN |Θ))
= ln (f (x1|Θ)) + ln(f (x2|Θ)) + ln(f (x3|Θ)) + ... + f (xN |Θ))
=N∑i
ln (f (xi |Θ))
15 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Gliederung
1 Einfuhrung
2 Grundlagen von ML
3 Beispiele
4 ML im Linearen Modell
16 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Likelihoodfunktionen
Im folgenden werden wir konkrete Likelihoodfunktionenherleiten
Das Ziel ist zunachst nur, Parameter einerWahrscheinlichkeitsfunktion zu schatzen
Wir schatzen also hier noch nicht “lineare Modelle”
Aber enger Zusammenhang...
17 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Normalverteilung
Wir fangen mit der Normalverteilung an
Die Wahrscheinlichkeitsfunktion ist
f (xi |µ, σ) =1
σ√
2πexp−
(xi−µ)2
2σ2 (3)
Die Likelihoodfunktion ist
L =
(1
σ√
2π
)N
exp−∑N
i (xi−µ)2
2σ (4)
Warum?
18 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Normalverteilung
Die Log-Likelihoodfunktion ist
ln L = N ln(1)− N ln(σ√
2π)−
(∑Ni (xi − µ)2
2σ2
)(5)
Viel einfacher zu differenzieren als die Likelihoodfunktion...
19 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Der Mittelwert
Ableiten nach µ ergibt:
d ln L
dµ: 2
∑Ni (xi − µ)
2σ2= 0 (6)
µ =N∑i
xi/N (7)
Der Erwartungswert µ wird also unverzerrt mit demStichprobenmittelwert geschatzt
20 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Sum of Squares
Ableiten nach σ ergibt:
d ln L
dσ: − N
σ+ 4
σ∑N
i (xi − µ)2
4σ4= 0 (8)
σ2 =N∑i
(xi − µ)2/N (9)
Die Varianz wird konsistent, aber nicht erwartungstreugeschatzt
Der Schatzer ist also nur asymptotisch effizient
21 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Bernoulli
Jetzt schatzen wir die Parameter einer Bernoulli-Verteilung
Es gibt nur einen: p
Die Likelihoodfunktion kann man folgendermaßen schreiben
L =n∏
i=1
pxi (1− p)1−xi (10)
p∑
i xi (1− p)N−∑
i xi (11)
22 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Bernoulli
Die Log-Likelihoodfunktion ist
ln L =∑
i
xi ln(p) + (N −∑
i
xi ) ln(1− p) (12)
23 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Der Mittelwert, schon wieder
Ableiten ergibt:
d ln L
dp:
∑i xi
p−
N −∑
i xi
1− p= 0 (13)
p =∑
i
xi/N (14)
Der Parameter p wird also mit dem Stichprobenmittelwertgeschatzt
Was ist dann der geschatzte Erwartungswert, was diegeschatzte Varianz einer Bernoulli-Verteilung?
24 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Gliederung
1 Einfuhrung
2 Grundlagen von ML
3 Beispiele
4 ML im Linearen Modell
25 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Der Fehlerterm
Die Parameter im linearen Modell
yi = a + bxi + εi (15)
werden nach demselben Prinzip geschatzt
Entscheidend ist hier, welche Verteilungsannahme man uberden Fehlerterm macht
Illustration des Sachverhaltes anhand eines normalverteiltenFehlerterms im linearen Modell
26 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Normalverteilung
Wir nehmen also an, dass der Fehlerterm normalverteilt ist
Ausserdem nehmen wir wie immer an, dass E (εi ) = 0
Die Wahrscheinlichkeit fur ein konkretes εi ist also
f (εi |µ, σ) =1
σ√
2πexp−
ε2i2σ2 (16)
Also ergibt sich fur die Likelihoodfunktion
L =∏i
f (εi |µ, σ) =
(1
σ√
2π
)N
exp−∑
i ε2i2σ2 (17)
27 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Normalverteilung
Bekanntlich gilt εi = yi − a− bxi
Also:
L =
(1
σ√
2π
)N
exp−∑
i (yi−a−bxi )2
2σ2 (18)
Das Aufstellen der Log-Likelihoodfunktion und das Ableitennach a, b und σ funktioniert wie in dem Beispiel, wo wir µbestimmt haben
28 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
a und b
Man erhalt
a =y − Cov(x , y)
Var(x)x (19)
b =Cov(x , y)
Var(x)(20)
Also identisch zu den OLS Schatzern, von denen wir wissen,dass sie erwartungstreu sind
29 / 31
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Die Varianz
Fur die Varianz ergibt sich aber
σ2 =
∑i (yi − a− bxi )
2
N=
∑i e
2i
N(21)
Zwar konsistent, aber nicht erwartungstreu
30 / 31
Hausaufgabe
Herleitung der Log-Likelihoodfunktion fur dasProbit-Modell!!!
Top Related