![Page 1: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/1.jpg)
Einfuhrung in die Maximum Likelihood Methodik
Thushyanthan [email protected]
Alfred Weber InstitutRuprecht–Karls Universitat Heidelberg
![Page 2: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/2.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Gliederung
1 Einfuhrung
2 Grundlagen von ML
3 Beispiele
4 ML im Linearen Modell
2 / 31
![Page 3: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/3.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Einfuhrung
Maximum Likelihood (ML) ist in der Okonomie nach OLS daswohl beliebteste Verfahren, um die Parameter einesempirischen Modells zu schatzen
Hat eine Reihe von guten, aber auch viele problematischeEigenschaften
Gute der Schatzung hat viel mit der Große der Stichprobe undden richtigen Verteilungsannahmen zu tun
3 / 31
![Page 4: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/4.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Vorteile
Nichtlineare Modelle konnen relativ einfach geschatzt werden
Normalverteilungsannahme bzgl. des Fehlerterms nichtessentiell
Konsistent und asymptotisch effizient unter relativ schwachenAnnahmen
Flexibler als OLS
4 / 31
![Page 5: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/5.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Nachteile
Die Likelihood-Funktion muss explizit berechnet werden
Oft mussen numerische Verfahren verwendet werden, umMaxima zu finden
−→ Sensitiv gegenuber Startwerten
Kann in kleinen Samples extrem verzerrt sein
Viele wunschenswerte Eigenschaften gelten nur asymptotisch
5 / 31
![Page 6: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/6.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Gliederung
1 Einfuhrung
2 Grundlagen von ML
3 Beispiele
4 ML im Linearen Modell
6 / 31
![Page 7: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/7.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Idee
Man nimmt an, dass man ein Sample mit N Beobachtungenuber eine Zufallsvariable hat
Man hat also fur i = 1, ...,N Einheiten konkrete Werte derVariablen xi
Dise Variable konnte beispielsweise sein
Das Einkommen eines IndividuumsWieviele Patienten in einem bestimmten Krankenhaus inletzten Jahr gestorben sind...
7 / 31
![Page 8: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/8.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Idee
Da jede dieser Beobachtungen per Annahme eineZufallsvariable ist, hat jede auch eine stochastische Verteilung
Also gibt es prinzipiell eine Wahrscheinlichkeit, mit der diei−te Beobachtung, i = 1, ..,N, genau den Wert xi annimmt
Bei kontinuierlichen ZV hat kann man einem konkreten xi denentsprechenden Werte der Dichtefunktion zuordnen
Wir machen im folgenden zur terminologischen Vereinfachungkeinen Unterschied zwischen Wahrscheinlichkeits- undDichtefunktionen
8 / 31
![Page 9: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/9.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Beispiele
Beispiel
Wenn xi Bernoulli-verteilt ist mit p = 0.3, dann nimmt xi denWert 1 mit Wahrscheinlichkeit 0.3 und den Wert 0 mitWahrscheinlichkeit 0.7 anWenn xi Standardnormalverteilt ist, nimmt xi den Wert −2mit Wahrscheinlichkeit 0.054 an
9 / 31
![Page 10: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/10.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Die i.i.d. Annahme
Wir machen jetzt eine entscheidende Annahme:
Alle xi sind identisch und unabhangig verteilt (i.i.d.)
Konkret bedeutet das, dass alle xi derselben Verteilungentstammen, wie immer sie auch aussehen mag
... Und die Wahrscheinlichkeit, die wir einem konkreten xi
zuordnen, nicht davon abhangt, welche Werte alle anderenxj 6=i angenommen haben
Wie realistisch sind diese Annahmen?
Warum machen wir sie?
10 / 31
![Page 11: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/11.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Likelihoodfunktion
Unter der i.i.d-Annahme konnen wir nun einen einfachenAusdruck fur die Wahrscheinlichkeit angeben, mit der wir einbeliebiges Sample erhalten
Lass also f (xi |Θ) die Wahrscheinlichkeit sein, mit der die i−teBeobachtung den Wert xi annimmt
Die Wahrscheinlichkeit ergibt sich aus einerWahrscheinlichkeitsfunktion, die von bestimmten ParameternΘ abhangt
Bei Bernoulli also p, Bei Normalverteilung µ und σ
11 / 31
![Page 12: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/12.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Likelihoodfunktion
Die so genannte Likelihoodfunktion ist also
Die Likelihoodfunktion
L =f (x1|Θ) · f (x2|Θ) · f (x3|Θ)... · f (xN |Θ) (1)
=N∏
i=1
f (xi |Θ) (2)
12 / 31
![Page 13: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/13.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Maximum
Die Idee ist nun, die Parameter so zu wahlen, dass dieLikelihoodfunktion maximal ist
Man wahlt also die Parameter so, dass die Wahrscheinlichkeitfur das tatsachlich vorhandene Sample maximal ist
Ein ziemlich “indirektes” Argument...
Denn man kann die Wahrscheinlichkeit nicht beobachten,sondern nur die konkrete Auspragung des Samples
13 / 31
![Page 14: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/14.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Log-Likelihood
Da man schwerer mit Produkten als mit Summen rechnenkann, transformiert man die Likelihoodfunktion
Unter einer monotonen Transformation andert sich dasMaximum einer Funktion nicht
Daher wird mit dem Logarithmus der Likelihoodfunktiongerechnet
14 / 31
![Page 15: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/15.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Log-Likelihood
Die Log-Likelihoodfunktion ist
Die Log-Likelihoodfunktion
ln L = ln (f (x1|Θ) · f (x2|Θ) · f (x3|Θ)... · f (xN |Θ))
= ln (f (x1|Θ)) + ln(f (x2|Θ)) + ln(f (x3|Θ)) + ... + f (xN |Θ))
=N∑i
ln (f (xi |Θ))
15 / 31
![Page 16: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/16.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Gliederung
1 Einfuhrung
2 Grundlagen von ML
3 Beispiele
4 ML im Linearen Modell
16 / 31
![Page 17: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/17.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Likelihoodfunktionen
Im folgenden werden wir konkrete Likelihoodfunktionenherleiten
Das Ziel ist zunachst nur, Parameter einerWahrscheinlichkeitsfunktion zu schatzen
Wir schatzen also hier noch nicht “lineare Modelle”
Aber enger Zusammenhang...
17 / 31
![Page 18: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/18.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Normalverteilung
Wir fangen mit der Normalverteilung an
Die Wahrscheinlichkeitsfunktion ist
f (xi |µ, σ) =1
σ√
2πexp−
(xi−µ)2
2σ2 (3)
Die Likelihoodfunktion ist
L =
(1
σ√
2π
)N
exp−∑N
i (xi−µ)2
2σ (4)
Warum?
18 / 31
![Page 19: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/19.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Normalverteilung
Die Log-Likelihoodfunktion ist
ln L = N ln(1)− N ln(σ√
2π)−
(∑Ni (xi − µ)2
2σ2
)(5)
Viel einfacher zu differenzieren als die Likelihoodfunktion...
19 / 31
![Page 20: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/20.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Der Mittelwert
Ableiten nach µ ergibt:
d ln L
dµ: 2
∑Ni (xi − µ)
2σ2= 0 (6)
µ =N∑i
xi/N (7)
Der Erwartungswert µ wird also unverzerrt mit demStichprobenmittelwert geschatzt
20 / 31
![Page 21: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/21.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Sum of Squares
Ableiten nach σ ergibt:
d ln L
dσ: − N
σ+ 4
σ∑N
i (xi − µ)2
4σ4= 0 (8)
σ2 =N∑i
(xi − µ)2/N (9)
Die Varianz wird konsistent, aber nicht erwartungstreugeschatzt
Der Schatzer ist also nur asymptotisch effizient
21 / 31
![Page 22: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/22.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Bernoulli
Jetzt schatzen wir die Parameter einer Bernoulli-Verteilung
Es gibt nur einen: p
Die Likelihoodfunktion kann man folgendermaßen schreiben
L =n∏
i=1
pxi (1− p)1−xi (10)
p∑
i xi (1− p)N−∑
i xi (11)
22 / 31
![Page 23: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/23.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Bernoulli
Die Log-Likelihoodfunktion ist
ln L =∑
i
xi ln(p) + (N −∑
i
xi ) ln(1− p) (12)
23 / 31
![Page 24: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/24.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Der Mittelwert, schon wieder
Ableiten ergibt:
d ln L
dp:
∑i xi
p−
N −∑
i xi
1− p= 0 (13)
p =∑
i
xi/N (14)
Der Parameter p wird also mit dem Stichprobenmittelwertgeschatzt
Was ist dann der geschatzte Erwartungswert, was diegeschatzte Varianz einer Bernoulli-Verteilung?
24 / 31
![Page 25: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/25.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Gliederung
1 Einfuhrung
2 Grundlagen von ML
3 Beispiele
4 ML im Linearen Modell
25 / 31
![Page 26: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/26.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Der Fehlerterm
Die Parameter im linearen Modell
yi = a + bxi + εi (15)
werden nach demselben Prinzip geschatzt
Entscheidend ist hier, welche Verteilungsannahme man uberden Fehlerterm macht
Illustration des Sachverhaltes anhand eines normalverteiltenFehlerterms im linearen Modell
26 / 31
![Page 27: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/27.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Normalverteilung
Wir nehmen also an, dass der Fehlerterm normalverteilt ist
Ausserdem nehmen wir wie immer an, dass E (εi ) = 0
Die Wahrscheinlichkeit fur ein konkretes εi ist also
f (εi |µ, σ) =1
σ√
2πexp−
ε2i2σ2 (16)
Also ergibt sich fur die Likelihoodfunktion
L =∏i
f (εi |µ, σ) =
(1
σ√
2π
)N
exp−∑
i ε2i2σ2 (17)
27 / 31
![Page 28: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/28.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Normalverteilung
Bekanntlich gilt εi = yi − a− bxi
Also:
L =
(1
σ√
2π
)N
exp−∑
i (yi−a−bxi )2
2σ2 (18)
Das Aufstellen der Log-Likelihoodfunktion und das Ableitennach a, b und σ funktioniert wie in dem Beispiel, wo wir µbestimmt haben
28 / 31
![Page 29: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/29.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
a und b
Man erhalt
a =y − Cov(x , y)
Var(x)x (19)
b =Cov(x , y)
Var(x)(20)
Also identisch zu den OLS Schatzern, von denen wir wissen,dass sie erwartungstreu sind
29 / 31
![Page 30: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/30.jpg)
EinfuhrungGrundlagen von ML
BeispieleML im Linearen Modell
Die Varianz
Fur die Varianz ergibt sich aber
σ2 =
∑i (yi − a− bxi )
2
N=
∑i e
2i
N(21)
Zwar konsistent, aber nicht erwartungstreu
30 / 31
![Page 31: Einführung in die Maximum Likelihood Methodik · Die Likelihood-Funktion muss explizit berechnet werden Oft mu¨ssen numerische Verfahren verwendet werden, um Maxima zu finden −→](https://reader031.vdokument.com/reader031/viewer/2022021722/5c4c841f93f3c3245e282e74/html5/thumbnails/31.jpg)
Hausaufgabe
Herleitung der Log-Likelihoodfunktion fur dasProbit-Modell!!!