dynamische makroökonomik - wiwi.uni-bonn.de · dynamische programmierung das rbc modell als...
TRANSCRIPT
Dynamische Makroökonomik
Prof. Dr. Christian Bayer
Universität Bonn
June 2, 2010
1 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Teil 2Methoden
2 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Kapitel 1Dynamische Programmierung
Theorie
3 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Lernziele
I Wiederholung: Indirekte Nutzenfunktion, GewinnfunktionI Wie schreibt man ein endliches Planungsproblem als dynamischesProgramm
I Bellman Gleichung als Zusammenfassung eines dynamischenPlanungsproblems mit unendlichem Zeithorizont
I Blackwells Bedingung für die Existenz einer LösungI Wertfunktionsiteration als Lösungsalgorithmus der BellmannGleichung
I Analytische Lösungsbeispiele
4 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Kapitel 1: Dynamische ProgrammierungÜberblick
1. Konsumtheorie wie in Mikro A: Die "indirekte Nutzenfunktion"
2. Dynamische Programmierung mit endlichem Zeithorizont
3. Stationäre Probleme und dynamische Programmierung mitunendlichem Zeithorizont
4. Stochastische Probleme und dynamische Programmierung
5 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Motivation
I Um das Ramsey,Cass, Koopmans-Modell zu lösen müssen wir fürjede Periode den optimalen Konsumplan bestimmen.
I Dies bedeutet, dass wir eine Folge von Konsumplänen für jedePeriode bestimmen müssen.
I Die Konsum-Euler-Gleichung charakterisiert diese Folge lediglich, istaber im Allgemeinen unzureichend, um die Folgeglieder zubestimmen.
I Derüber hinaus müssen wir damit umgehen, dass in jeder PeriodeUnsicherheit herrscht bezüglich der zukünftigen Entwicklung derÖkonomie und wir Haushalte modellieren wollen, die mit dieserUnsicherheit umgehen müssen.
6 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Dynamische Programmierung
I Eine Möglichkeit, solche Planungsprobleme zu lösen, ist dynamischeProgrammierung.
I Die mathematische Theorie der dynamischen Programmierung wurdezunächst von Bellman (1957) und Bertsekas (1976) entwickelt
I und fand mit den Arbeiten von Sargent (1987) und Stockey undLucas (1989) eingang in die Volkswirtschaftslehre.
7 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Indirekte Nutzenfunktion
I Um sich den Ansatz der dynamischen Programmierung klar zumachen, ist es hilfreich sich das konzept von indirektenNutzenfunktionen oder Gewinnfunktionen in Erinnerung zu rufen.
I Ein typisches Problem der Konsumtheorie hat die Form
max u (~c) u.d .R. ~p′~c = y .
I unter der indirekten Nutzenfunktion V versteht man dasNutzenniveau, welches bei optimalem Verhalten erriecht werdenkann.
I Die Argumente der indirekten Nutzenfunktion V sind nun dasEinkommen und der Preisvektor
V (p, y) = max u (~c) u.d .R. p′c = y
8 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Indirekte NutzenfunktionEnvelope Theorem
I Mit der indirekten Nutzenfunktion können wir das erreichbareNutzenniveau zusammenfassen, ohne zu wissen, welches exakteVerhalten mit diesem Nutzenniveau verbunden ist.
I So können wir zum Beispiel den marginalen Nutzen einerzusätzlichen Einheit Einkommens bestimmen als ∂V (p,y )
∂y .
I Nun liefert das Envelopetheorem einen Zusammenhang von V undder Lösung des Lagrangeansatzes des Optimierungsproblems.
I Wir wissen, dass
V (p, y) = L (p, y) = u (c∗ (p, y))− λ (p, y) (pc∗ (p, y)− y)
9 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Indirekte NutzenfunktionEnvelope Theorem
so dass Differenzieren von V nach y
∂V (p, y)∂y
=J
∑j=1
∂u∂cj
∂c∗
∂y− ∂λ (p, y)
∂y(pc∗ (p, y)− y)
−λJ
∑j=1
pj∂c∗
∂y+ λ
10 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Indirekte NutzenfunktionEnvelope Theorem
wobei die Bedingung erster Ordnung dafür, dass c∗ tatsächlich denNutzen maximiert
∂u∂cj
= λpj ; pc∗ (p, y) = y
dazu führt, dass
∂V (p,y )∂y =
J
∑j=1
(∂u∂cj− λpj
)∂c ∗∂y
− ∂λ(p,y )∂y (pc∗ (p, y)− y) + λ
= λ
11 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
GewinnfunktionenI Ähnliches formuliert man die kurzfristige Gewinnfunktion einesUnternehmens
Π (p,w ,K ) = maxLpF (K , L)− wL− rK .
I Wieder können wir (p,w ,K ) als Zustandsbeschreibung desOptimierungsproblems auffassen.
I Die Funktion Gewinnfunktion Π gibt die Bewertung des Zustandes(p,w ,K ) wieder.
I Dementsprechend nennt man die Funktion der Maximalwerte auchWertfunktion und den Vektor der Argumente dieser FunktionZustandsvektor (state vector).
I Die Funktion
L∗ (p,w ,K ) = argmax pF (K , L)− wL− rK
nennt man allgemein Politik(funktion).12 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Das Bellman Prinzip
I Wertfunktionen bilden die Basis dynamischer Programmierung.I Sie fassen die Bewertung eines (zukünftigen) Zustands zusammen.I Dies immer unter der Annahme, dass sich der Entscheidungsträgerauch in zukünftigen Situationen rational verhält.
13 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Das Bellman Prinzip
I Dies können wir nutzen, um ein Entscheidungsproblem über eineFolge (z.B. Konsumsequenz) in eine Folge vonEntscheidungsproblemen zu zerlegen.
I Dazu nutzen wir das Bellman Prinzip.
14 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Das Bellman Prinzip
Theorem (Bellman Prinzip)Eine optimale Entscheidungsfolge hat die Eigenschaft, dass, wie auchimmer der Anfangszustand war und die erste Entscheidung ausfiel, dieverbleibenden Entscheidungen ebenfalls eine optimale Entscheidungsfolgebilden müssen bezüglicher aller möglichen Entscheidungsfolgen, derenAnfang bei dem Zustand liegt, der aus der ersten Entscheidung resultiert.
15 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Zwei Perioden, zwei Güter
I Um dieses Prinzip zu verstehen betrachten wir den Fall einerKonsumentscheidung über zwei Güter und zwei Perioden (p ist derRelativpreis der Güter, r der Marktzins):
max u (c11, c12) + βu (c21, c22)
u.d .R. W = c11 + pc12 +c21 + pc221+ r
I Wir können dieses Problem direkt lösen, indem wir die beidenKonsumbündel c1, c2 bestimmen, welche dieses Problem lösen.
I Alternativ können wir das Problem der ersten Periode als eindrei-dimensionales Konsum-Sparproblem auffassen und das Problemder zweiten Periode als eines der Aufteilung eines gegebenenEinkommens auf zwei Konsumgüter.
16 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Zwei Perioden, zwei Güter
I Dazu definieren wir zunächst das Problem der zweiten Periode als
V (y) = max u (c1, c2) u.d .R.pc = y
I Damit können wir nun das Problem der ersten Periode schreiben als
max u (c1, c2) + βV [(1+ r) s ]
u.d .R. : p1c1 + p2c2 + s = W
17 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Zwei Perioden, zwei GüterÜbung
ExerciseEs sei u = cα
1 c1−α2 . Der Haushalt lebt über zwei Perioden und diskontiert
den Nutzen der zweiten Periode mit dem Faktor β. Der Zinssatz sei r unddas Einkommen in beiden Perioden sei yt = y . Die Preise sind p1, p2.(1) Bestimme zunächst den optimalen Konsum jedes Konsumguts injeder Periode indem direkt über beide Perioden maximiert wird.(2) Zeige die Gültigkeit des Bellman Prinzips für dieses Beispiel, indemzunächst die indirekte Nutzenfunktion von Periode 2 bestimmt und dannrekursiv für Periode 1 gelöst wird.
18 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Stationäre Probleme
I Ein dynamischer Programmierungsansatz, der ein zwei periodigesProblem in zwei Teilprobleme zerlegt, hilft zunächst wenig.
I Man erfährt zwar etwas mehr über die Struktur des Problems, docherhöht sich auch die Lösungskomplexität.
I Anders bei stationären Problemen: Hier ist das Planungsproblem injeder Periode gleich und lediglich von den Zustandsvariablen, nichtaber dem Zeitindex abhängig.
I Notwenidige Voraussetzung hierzu ist, dass das Problem einenunendlichen Zeithorizont hat. Dann verbleibt als restlicherPlanungszeitraum immer ein unendlich langer Zeitraum.
19 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Planungsproblem
Dies können wir nutzen, um das Planungsproblem
maxxtt=1...∞
∞
∑s=0
βsu (xs , xs+1)
mit zugehörigen sequentiellen (Budget)restriktionen
u.d .R. xt+1 ∈ Γ (xt )x0 : gegeben
in rekursiver Form zu schreiben.
20 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
PlanungsproblemBetrachten wir zunächst eine Folge von Planungsproblemen mitendlichem Planungshorizont T = 1 . . . ∞ und definieren die WertfunktionVT (x) als
VT (x0) = maxxtt=1...T+1
T
∑s=0
βsu (xs , xs+1) .
mit zugehörigen sequentiellen (Budget)restriktionen xt+1 ∈ Γ (xt )Nun erhalten wir
V0 (x0) = maxx1u (x0, x1)
V1 (x0) = maxx1,x2
u (x0, x1) + βu (x1, x2)
Bellman Prinzip= max
x1
u (x0, x1) + βmax
x2u (x1, x2)
= max
x1u (x0, x1) + βV0 (x1)
u.s.w.21 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Bellman Gleichung
I Dazu sei x der Vektor der gegenwärtigen Zustandsvariablen und x ′
der Vektor der zukünftigen (+1 Periode) Zustandsvariablen.I Die zugehörige rekursive Form ist dann die sogenannte "BellmanGleichung"
V (x) = max u(x , x ′
)+ βV
(x ′)
u.d .R. : x ′ ∈ Γ (x) .
I Um die Bellman Gleichung zu lösen, gilt es anstelle der unendlichdimensionalen Folge xt das unendlich dimensionale Objekt V (x)zu bestimmen.
22 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Diskussion
I Die Bellman Gleichung hat eine ökonomisch intuitive Interpretation:I Wir können sie analog zur Bewertung eines Vermögensgegenstandessehen. Der Gegenwartswert des Vermögensgegenstandes setzt sichzusammen aus
I der laufenden Auszahlung u (x , x ′)I der abgezinsten Bewertung des Gegenstandes morgen βV (x ′) .
I Im Unterschied zur Bewertung eines Vermögensgegenstandes, wirdallerdings dem Fakt Rechnung getragen, dass der Zustand x , welcherdie Auszahlung u bestimmt, selber kontrolliert werden kann.
I Eine rationale Bewertung setzt also voraus, dass zum heutigen, wiezu jedem folgenden Zeitpunkt die wertmaximierende PolitikP : x → x ′ gewählt wird.
23 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Abbildungen
I Aus der Schulmathematik kennen wir bereits den Begriff derAbbildung:
I Einem Element der Wertemenge W wird ein Element der BildmengeB zugeordnet: P : x ∈ W → y ∈ B.
I Typischerweise sind hier W und B Teilmengen von Rn .I Wir können den Abbildungsbegriff aber auch allgemeinerformulieren, wobei W und B beliebige Mengen sind.
I Zum Beispiel: W sei eine Menge dreidimensionaler Objekte und dieAbbildung P ihre Projektion auf eine Fläche.
24 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Operatoren
I Sind W und B topologische Räume, so nennt man P einen Operator.I Banachräume, also vollständige, metrische Vektorräume sindBeispiele solcher topologischer Räume.
I Für unsere Zwecke besonders wichtig: Die Menge der beschränktenFunktionen zusammen mit der Supremumsnorm bilden einenBanachraum.
I Warum ist dies wichtig? Wir können die rechte Seite der Bellmanngleichung schreiben als Operator T : h→ H
T : H (x) = max u(x , x ′
)+ βh
(x ′)
u.d .R. : x ′ ∈ Γ (x) .
25 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Metrik / Norm
I Die Metrik eines topologischen Raums mißt den Abstand zweierPunkte dieses Raumes, so wie die euklidische Norm im Rn .
I Für den Raum der auf X definierten beschränkten Funktionen B (X )bildet die Supremumsnorm
||f ||sup = supx∈X|f |
die zugehörige Metrik.I Der Abstand d zweier Funktionen f , g ∈ B (X ) ist dann gegebendurch
d (f , g) = ||f − g ||sup.
26 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Kontraktion
Mit diesen Konzepten können wir definieren
DefinitionSei T : B (X )→ B (X ) ein Operator der eine beschränkte Funktion aufeine andere beschränkte Funktion abbildet. Der Operator T heißtKontraktion, falls es ein β ∈ [0, 1) gibt, so dass
d [T (f ) ,T (g)] ≤ βd (f , g) .
TheoremJede Kontraktion hat einen eindeutigen Fixpunkt x∗ für den giltTx∗ = x∗
27 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Finden der LösungI Wir wollen die Existenz nicht beweisen, sondern uns nur klarmachen, wie man x∗ finden kann.
I Dazu ist zunächst hilfreich sich folgendes klar zu machen:I Sei T nx = T (T . . . (Tx))︸ ︷︷ ︸
n mal
.
I Dann gilt T nx∗ = x∗
I Weil T Kontraktion ist folgt nun
d (T nx , x∗) = d (T nx ,T nx∗)
≤ βd(T n−1x ,T n−1x∗
)≤ · · · ≤ βnd (x , x∗)
I Somit gilt für die Folge d (T nx , x∗) dass limn→∞ d (T nx , x∗) = 0.I Wir können also den Fixpunkt finden (so er existiert) indem wirimmer wieder T auf x anwenden.
I Der Abstand von T nx zu x verkleinert sich dabei in jedem Schrittmindestens um den Faktor β.
28 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Blackwells hinreichende Bedingung
TheoremFalls T die folgenden Bedingungen erfüllt, so ist T eine Kontraktion aufdem Raum der stetigen und beschränkten Funktionen:
1. T erhält Beschränktheit.
2. T erhält Stetigkeit
3. T ist monoton: w ≥ v ⇒ Tw ≥ Tv4. T erfüllt Diskontierung, d.h. es existiert ein β ∈ [0, 1), so daßfürjede Kontante c und jede Funktion v gilt:
T (v + c) = Tv + βc .
29 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Typischerweise existiert eine Lösung der Bellman Gleichung
Theorem (Existenz der Wertfunktion)Sei u (x , x ′) eine reel-wertige, stetige, und beschränkte Funktion, sei0 < β < 1, und sei die Budgetmenge Γ (x) eine a nicht leere,kompaktwertige, und stetige Korrespondenz (= mengenwertigeFunktion). Dann existiert eine eindeutige Funktion V (x), welche dieBellman Gleichung
V (x) = max u(x , x ′
)+ βV
(x ′)
u.d .R. : x ′ ∈ Γ (x) .
löst.
30 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Politikfunktion
Theorem (Existenz der Politikfunktion)Sei u (x , x ′) eine reel-wertige, stetige, beschränkte und strikt konkaveFunktion, sei 0 < β < 1, sei die Budgetmenge Γ (x) eine a nicht leere,kompaktwertige, und stetige Korrespondenz (= mengenwertige Funktion)und sei.die Menge X der möglichen Zustände x ∈ X konvex, dann ist dieWertfunktion V (x) is stetig und strikt konkav. Außerdem ist diePolitikfunktion
φ (x) := arg maxx ′∈Γ(x )
u(x , x ′
)+ βV
(x ′)
eine stetige Funktion.
31 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Stochastische Probleme
I Bislang haben wir angenommen, dass sämtliche Zustandsvariablender Kontrolle des planenden Agenten unterliegen.
I Oft wollen wir aber gerade Situationen modellieren, in denen dieAgenten auf eine sich verändernde Umwelt reagieren.
I Dies können wir im Rahmen dynamischer Programmierung relativeinfach, da sich die Konzepte direkt auf stochastische Umgebungenübertragen lassen.
I Die Bellman Gleichung nimmt dann schlicht die Form
V (x , s) = max u(x , x ′, s
)+ βEx ,sV
(x ′, s ′
)u.d .R. : x ′ ∈ Γ (x)
an. Wobei s der stochastische Zustand ist.
32 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Indirekte Nutzenfunktionen, WertfunktionenDynamische Programmierung mit endlichem ZeithorizontStationäre Probleme und dynamische ProgrammierungEin bischen mehr MathematikStochastische Probleme
Rationale Erwartungen
I Allerdings impliziert diese Formulierung, dass die Agenten stets alleInformationen nutzen, um mathematisch korrekte Erwartungen zubilden.
I So könnten wir uns zum Beispiel vorstellen, das aus der Sicht desAgenten Preise ein stochastischer Zustand der Ökonomie sind.
I Die obige Formulierung impliziert, dass die Agenten sämtlicheInformationen über die Bewegung der Preise nutzen, die ihnen zurVerfügung stehen.
I Insbesondere also Informationen über die Struktur der modelliertenÖkonomie.
33 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Kapitel 2Das RBC Modell als dynamisches Problem
34 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Lernziele
I Marktlösung als soziale Planer Lösung im Ramsey-Cass-KoopmansModell
I Lösung in geschlossener FormI Eigenschaften des Modells: geringe Amplifikation, geringe endogenePeristenz
35 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Kapitel 2 : RBCÜberblick
1. Marktgleichgewicht im Ramsey-Cass-Koopmans Modell
2. Soziale Planer Lösung
3. Eigenschaften des Modells
36 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Wiederholung: Ramsey-Cass-Koopmans Modell
I Eine Vielzahl identischer Haushalte, die alle unendlich langeleben.und zukünftigen Nutzen mit dem Faktor β diskontieren.
I Haushalte ziehen in jeder Periode Nutzen aus Konsum C undFreizeit L.
I Sie sind mit einem Zeitbudget N an Arbeitsstunden ausgestattet und"ererben" einen Kapitalstock Kt aus der Vorperiode.
I Speziell sei der Periodennutzen aus der parametrischen Familie
U (C , L) =1
1− σ[Cv (L)]1−σ .
37 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Der HaushaltssektorEinkommen, Kapital
I Haushalte erzielen Einkommen aus der Vermietung ihres KapitalsrtKt und aus Löhnen wtNt .
I Der Kapitalstock entwickelt sich durch Abschreibungen undInvestitionen, so dass
Kt+1 = (1− δ)Kt + It .
I Das Kapitalgut kann ohne Verluste in ein Konsumgut undumgekehrt verwandelt werden (Äpfel).
I Aufgrund von schwankender Produktivität sind die Preise in derÖkonomie Schwankungen unterworfen.
38 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Der HaushaltssektorPlanungsproblem
I Das Planungsproblem des Haushaltes läßt sich mit folgenderBellman Gleichung darstellen
V (k, [K ,A]) = maxk ′,c
maxlU (c , l) + βEHV
(k ′,[K ′,A′
])u.d .R : c +
[k ′ − (1− δ) k
]=
w (K ,A) (N − l) + r (K ,A) k
I Die Preise w , r sieht der Haushalt als gegeben an,I erkennt aber den durch die zugrundeliegende Ökonomie gegebenenZusammenhang zu den aggregierten Zustandsvariablen A,K .
I Der Haushalt unsterstellt bei der Bildung des E-Wertes einBewegungsgesetz H für die (degenerierte)Wahrscheinlichkeitsverteilung P (K ′,A′) = H (K ,A) derZustandsvariablen.
39 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Preise
I Für die Preise w , r muss die Bedingung erster Ordnung(Nullgewinnbedingung)
w (K ,A) = AFN (K ,N)
r (K ,A) = AFK (K ,N)
gelten.I Die Zahl der geleisteten Arbeitsstunden N ist keineZustandsvariable, da sie nur von intratemporalenOptimalitätsbedingungen bestimmt wird.
40 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Gleichgewicht
Woraus besteht nun ein Gleichgewicht in dieser Ökonomie?
1. Preisen, die hier Funktionen der Zustandsvariablen sind:
w (K ,A) = AFN (K ,N∗ (K ,A)) ,
r (K ,A) = AFK (K ,N∗ (K ,A)) .
2. Bewertungen des Haushalts von bestimmten Situationen unter derAnnahme das H gilt: Die Wertfunktion V .
3. Konsum und Investitionspläne des Haushalts: k ′∗ (k,K ,A) ,c∗ (k,K ,A) sowie geplantem Arbeitsangebot n∗ (k,K ,A).
41 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
GleichgewichtDefinition
DefinitionEin rekursives Wettbewerbsgleichgewicht in derRamsey-Cass-Koopmans Ökonomie sind zustandsabhängige Preisew (K ,A) und r (K ,A) , eine Wertfunktion des Haushalts V (k,K ,A) ,Konsum und Investitionspläne des Haushalts: k ′∗ (k,K ,A) , c∗ (k,K ,A)sowie geplantem Arbeitsangebot n∗ (k,K ,A) einer ArbeitsnachfrageN∗ (K ,A) und einem empfundenen Bewegungsgesetz H (K ,A) , so dass. . .
42 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
GleichgewichtDefinition
1. Die Preise für jeden Zustand der Nullgewinnbedingung
w (K ,A) = AFN (K ,N∗ (K ,A)) , r (K ,A) = AFK (K ,N
∗ (K ,A))
entsprechen.2. Die Pläne des Haushalts gegeben die Preise und die Wertfunktionoptimale Politiken sind.
3. Die Wertfunktion gegeben die Preise und das empfundeneBewegungsgesetz die Bellman Gleichung löst.
4. Der Arbeitsmarkt geräumt ist
N∗ (K ,A) =∫n∗i (K ,A) di .
5. Der Gütermarkt geräumt ist
AF (K ,N∗ (K ,A)) = K ′ − (1− δ)K + C ∗ (K ,A) .
6. Das empfundene Bewegungsgesetz H mit dem durch dieInvestitonspläne bestimmten Bewegungsgesetz h übereinstimmt.
43 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Eigenschaften der MarktlösungWir können das Marktgleichgewicht durch folgende Bedingungen ersterOrdnung charakterisieren:
1. Konsum-Euler-Gleichung (unter Berücksichtigung der Formel für denKapitalzins r)
uC (C , L) = βE(1+ r ′ − δ
)uC(C ′, L′
)uC (C , L) = βE
[(1+ A′FK
(K ′,N ′
)− δ)uC(C ′, L′
)]2. Intratemporale Optimalität des Arbeitseinsatzes (unterBerücksichtigung der Formel für den Lohnsatz)
uL (C , L) = AFN (K ,N) uC (C , L)
3. Dazu kommt noch dir Ressourcen Bedingung
AF (K ,N)− C −K ′ + (1− δ)K = 0.
44 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Der soziale Planer
I Alternativ zur Marktlösung können wir uns Überlegen, welche Folgevon Allokationen ein sozialer Planer wählen würde, der den Nutzendes repräsentativen Haushalts maximieren will, wählen würde.
I Der soziale Planer maximiert unter Berücksichtigung der ResourcenBedingung
E∞
∑t=0
βtu (C , L) .
I Er löst also die Bellman Gleichung
S (K ,A) = maxK ′,N
u(C(K ,A,N,K ′
), N −N
)+ βES
(K ′,A′
)u.d .R. : C = AF (K ,N)−K ′ + (1− δ)K
45 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Gültigkeit des ersten Hauptsatzes
Theorem (Erster Hauptsatz der Wohlfahrtstheorie)Jedes Marktgleichgewicht ist Pareto-effi zient (i.e. ist die Lösung einessozialen Planer Problems).
Theorem (Zweiter Hauptsatz der Wohlfahrtstheorie)Jede Pareto-effi ziente Allokation läßt sich durch entsprechendeLump-Sum Transfers als Marktgleichgewicht erreichen.
I Diese gelten auch hier! Wie man sich leicht an den Bedingungenerster Ordnung klar machen kann.
46 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Gültigkeit des ersten Hauptsatzes
I Bedingung erster Ordnung für den sozialen Planer
K ′ : uC (C , L)CK ′ + βESK ′(K ′,A′
)= 0
N : uC (C , L)CN − uL (C , L) = 0
I Berücksichtigt man die Ausdrücke für C , so ergibt sich zunächst
K ′ : −uC (C , L) + βESK ′(K ′,A′
)= 0
N : uC (C , L)AFN (K ,N) = uL (C , L)
47 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Gültigkeit des ersten Hauptsatzes
I Wenn wir nun noch berücksichtigen, dass
SK (K ,A) = uC (C , L)CK = uC (C , L) (1− δ+ AFK (K ,A))
I so erhalten wir
K ′ : uC (C , L) = βEuC(C ′, L′
) (1− δ+ AFK
(K ′,A′
))N : uC (C , L)AFN (K ,N) = uL (C , L)
I Wir können also die soziale Planer Lösung als Marktgleichgewichtdezentralisieren, indem die Preise auf
w (K ,A) = AFN (K ,N∗ (K ,A)) , r (K ,A) = AFK (K ,N
∗ (K ,A))
gesetzt werden.
48 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Praktischer Vorteil
I Somit können wir aus dem ersten Hauptsatz einen großenpraktischer Vorteil ziehen.
I Wenn wir die Marktallokation, welche die neoklassische Theorieimpliziert, bestimmen wollen, so reicht es die soziale Planer Lösungzu bestimmen.
I Die zur Allokation gehörigen Preise lassen sich dann anhand derNullgewinn-Bedingung finden.
49 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein BeispielI Nimmt man speziell an, dass
I die Nutzenfunktion die Form
u (C , L) = lnC + ϕL
hat,I die Produktionsfunktion vom Cobb-Douglas Typ ist
AF (K ,N) = AK αN1−α,
I Kapital in jeder Periode vollständig abgeschrieben wird, δ = 1, undI für die Produktivität
lnA′ = ρ lnA+ ε, E (ε) = 0
gilt.
I So läßt sich eine explizite, algebraische Lösung für die Wertfunktionfinden.
50 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
I Wir suchen eine Funktion S (K ,A) , die
S (K ,A) = maxK ′,N
u(C(K ,A,N,K ′
), N −N
)+ βES
(K ′,A′
)u.d .R. : C = AF (K ,N)−K ′ + (1− δ)K
erfüllt.I Normalerweise würde man die Lösung numerisch, also mit Hilfe desComputers, (näherungsweise) suchen.
I Hier existiert aber eine explizite Lösung, nämlich
S (K ,A) = η0 + η1 lnK + η2 lnA
(wobei die Koeffi zienten ηj im Laufe des Beweises noch näherbestimmen werden).
51 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein BeispielI Setzen wir für S (K ,A) die Vermutung ein, so erhalten wir
η0 + η1 lnK + η2 lnA
!= maxK ′,N
lnC (K ,A,N,K ′) + ϕ (N −N)+βE [η0 + η1 lnK
′ + η2 lnA′]
u.d .R. : C = AK αN1−α −K ′+ (1− δ)K︸ ︷︷ ︸
=0
erfüllt.I Dies hat zur Folge, dass als Bedingung erster Ordnung für K ′ gilt
− 1C+ βEη1
1K ′= 0
I Da K ′ nicht stochastisch ist, fällt der Erwartungswert weg und wirerhalten, dass C und K ′ proportional sind:
Cβη1 = K′
52 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
I Es wird also mit konstanter Sparquote gespart, daAK αN1−α =: Y = C +K ′.
I Also ist C = 11+βη1
Y .
I Die Bedingung erster Ordnung für Arbeit liefert
(1− α)1CAK αN−α = ϕ.
I Unter Ausnutzung der implizierten Proportionalität von C und Yund Multiplikation beider Seiten mit N
(1− α) (1+ βη1) = ϕN.
I Der Arbeitseinsatz ist also konstant.
53 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein BeispielI Somit impliziert die Annahme S (K ,A) = η0 + η1 lnK + η2 lnA
I für den Arbeitseinsatz
N =[(1− α) (1+ βη1)
ϕ
],
I für den Output
Y = AK α
[(1− α) (1+ βη1)
ϕ
],
I für den Konsum
C =Y
1+ βη1,
I und für den Kapitalstock
K ′ =βη1Y1+ βη1
.
I Setzen wir dies nun in die Bellman Gleichung ein.54 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
So erhalten wir
η0 + η1 lnK + η2 lnA
!= maxK ′,N
lnC (K ,A,N,K ′) + ϕ (N −N)+βE [η0 + η1 lnK
′ + η2 lnA′]
u.d .R. : C = AK αN1−α −K ′+ (1− δ)K︸ ︷︷ ︸
=0
55 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
So erhalten wir
η0 + η1 lnK + η2 lnA
!=
ln Y1+βη1
+ ϕ(N −
[(1−α)(1+βη1)
ϕ
])+βE
[η0 + η1 ln
βη1Y1+βη1
+ η2 (ρ lnA+ ε)]
56 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
Bilden des Erwartungswertes liefert mit E(ε) = 0
η0 + η1 lnK + η2 lnA
!=
ln Y1+βη1
+ ϕ(N −
[(1−α)(1+βη1)
ϕ
])+β
[η0 + η1 ln
βη1Y1+βη1
+ η2ρ lnA]
57 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
Wenn wir nun noch ähnliche Ausdrücke zusammenfassen
η0 + η1 lnK + η2 lnA
!=
ln 11+βη1
+ βη0 ++βη1 lnβη11+βη1
+ϕ(N −
[(1−α)(1+βη1)
ϕ
])+ (1+ βη1) lnY + βη2ρ lnA
58 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
Wenn wir nun noch ähnliche Ausdrücke zusammenfassen
η0 + η1 lnK + η2 lnA
!=
ln 11+βη1
+ βη0 + βη1 lnβη11+βη1
+ϕ(N −
[(1−α)(1+βη1)
ϕ
])+ (1+ βη1) ln
(AK α
[(1−α)(1+βη1)
ϕ
])+βη2ρ lnA
59 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
Wenn wir nun noch ähnliche Ausdrücke zusammenfassen
η0 + η1 lnK + η2 lnA
!=
ln 11+βη1
+ βη0 + βη1 lnβη11+βη1
+ϕ(N −
[(1−α)(1+βη1)
ϕ
])+ (1+ βη1) ln
[(1−α)(1+βη1)
ϕ
]+ (1+ βη1) α ln (K ) + (1+ βη1 + βη2ρ) lnA
60 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
Diese Gleichung gilt offensichtlich falls
η0 =
ln 11+βη1
+ βη0 + βη1 lnβη11+βη1
+ϕ(N −
[(1−α)(1+βη1)
ϕ
])+ (1+ βη1) ln
[(1−α)(1+βη1)
ϕ
]
η1 = (1+ βη1) α
η2 = (1+ βη1 + βη2ρ)
61 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
Umgestellt:
(1− β) η0 =
ln 11+βη1
+ βη1 lnβη11+βη1
+ϕ(N −
[(1−α)(1+βη1)
ϕ
])+ (1+ βη1) ln
[(1−α)(1+βη1)
ϕ
]
η1 (1− βα) = α
η2 (1− βρ) = (1+ βη1)
62 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Ein Beispiel
Umgestellt:
η0 =χ
1− β
χ =
ln 11+βη1
+ βη1 lnβη11+βη1
+ϕ(N −
[(1−α)(1+βη1)
ϕ
])+ (1+ βη1) ln
[(1−α)(1+βη1)
ϕ
]
η1 =α
(1− βα)
η2 =1
(1− βα) (1− βρ)
63 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Was haben wir gezeigt?
I Was hat diese Rechnerei gezeigt?I Die Vermutung
S (K ,A) = η0 + η1 lnK + η2 lnA
ist widerspruchsfrei und damit eine Lösung der Bellman-Gleichung.I Weil die zugehörige Bellman Gleichung aber eine Kontraktion ist, istdie Lösung eindeutig.
64 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Das Marktgleichgewicht im Ramsey-Cass-Koopmans ModellSoziale Planer LösungEin Beispiel
Was nützt dieses Beispiel
I Zunächst: Die optimale Politik stimmt mit dem Solow Modellüberein.
I Wir haben also eine, in tiefen Parametern verankerte, Begründungdieses Modells und könnten es z.B. nutzen, um die tiefen Parameterzu schätzen.
I Wichtiger: Wir können dieses Modell als numerisches "Testlabor"nutzen.
I Wenn wir die Qualität einer numerischen Approximation / einesVerfahrens (siehe Kapitel 4) abschätzen wollen, so können wir diesauf unsere Beispielökonomie anwenden und mit der exakten Lösungvergleichen.
65 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Kapitel 3Markov Ketten
66 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Lernziele
I Markov Ketten: DefinitionI Eigenvektoren und ergodische VerteilungI Markov Ketten als Approximation kontinuierlicher Prozesse
67 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Kapitel 3: Markov KettenÜberblick
1. Definition
2. Eigenschaften
3. Approximation von kontinuierlichen Markov Ketten
68 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Markov KettenDefinition
DefinitionSei S = s1, . . . , sn die endliche Menge der möglichen Zustände einesstochastischen Prozesses P in diskreter Zeit t = 0, 1, 2, . . . . Dann heißtX = Xt genau dann Markov Kette (erster Ordnung), wenn diebedingte Wahrscheinlichkeitsverteilung
P(Xt = sj |
Xt−1 = sit−1 , . . .X0 = si0
)= P
(Xt = sj |Xt−1 = sit−1
)also nur vom letzten Zustand nicht aber der Historie der Zuständeabhängt. . . .
69 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Markov KettenDefinition
Definition. . . Eine Markov Kette wird durch drei Objekte charakterisiert:
1. dem (Spalten-)Vektor der möglichen Zustände s,2. der Wahrscheinlichkeitsverteilung in Periode 0,
π0 = [π10,π20, . . . ,πn0 ] , wobei πj0 die Wahrscheinlichkeit vonX0 = sj angibt und
3. der Übergangsmatrix P =(pij), welche die bedingte
Wahrscheinlichkeit pij = P(Xt = sj |Xt−1 = si
)festlegt. Die
Zeilensumme ∑nj=1 pij = 1.
70 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Markov KettenEigenschaften
1. Der bedingte Erwartungswert E (Xt |Xt−1 = si ) = pi s =∑nj=1 pij sj .
2. Die bedingte Varianz var (Xt |Xt−1 = si ) = ∑nj=1 pij(sj − pi s
)2.
3. Die Wahrscheinlichkeitsverteilung entwickelt sich gemaß
πt = πt−1P.
71 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Markov KettenEigenschaften
TheoremDer Grenzwert limt→∞ π′t existiert, ist eindeutig und unabhängig von π0genau dann wenn es ein k ≥ 1 gibt, so dass
Pk = P × P × · · · × P︸ ︷︷ ︸k mal
nur strikt positive Elemente hat. Der Grenzwert entspricht dann derLösung π∗ zu
π∗ = π∗P.
Interpretation: Falls alle Elemente in Pk strikt positiv sind, ist diesgleichbedeutend damit, dass nach k Schritten es von jedem Zustand ausmöglich ist (es eine positive Wahrscheinlichkeit gibt) jeden anderenZustand zu erreichen.
72 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Markov KettenAR-Prozesse
I Häufig betrachten wir aber Variablen, die nicht eine diskrete sonderneine kontinuierliche Ausprägung haben (BIP, Solow Residuum, etc.).
I Hier bieten sich oft einfache Zeitreihen Modelle zur Beschreibungdieser Daten an, wie z.B. autoregressive (AR) Modelle.
I Insbesondere AR Modelle erster Ordnung
xt = ρxt−1 + εt
werden in der Konjunkturforschung häufig verwendet und haben z.B.in der Beschreibung von Solow-Residuen passable Eigenschaften.
73 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Markov KettenAR-Prozesse: Approximation
I Für die Modellierung auf dem Computer stellen kontinuierlicheProzesse jedoch eine deutliche Herausforderung dar.
I Computermodelle sind notwendigerweise diskrete Approximationen:Mit endlichem Speicher kann ein Computer nur endlich vieleFunktionswerte speichern.
I Daher ist es notwendig nicht nur Probleme (siehe Kapitel 4) sondernauch treibende Prozesse diskret zu approximieren.
74 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Markov KettenAR-Prozesse: Approximation
So können wir zum Beispiel die diskrete Markov Kette mit Zuständen
z1 = −√2σ, z2 = 0, z3 =
√2σ
mit Übergangswahrscheinlichkeiten
P =
1− p p 0p/2 1− p p/20 p 1− p
benutzen um einen AR-1 Prozess zu approximieren.
75 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Approximation eines AR(1) Prozesses durch eine diskreteMarkov KetteEin Beispiel
Die ergodische Verteilung π dieser Kette löst
π (I − P) = 0also π1
π2π3
′ p −p 0−p/2 p −p/20 −p p
= 0so dass π1 = π3 = 1/2, π2 = 1/4Damit folgtI E (z) = 0I und E
(z2)= 1
4
(2σ2 + 0+ 2σ2
)= σ2
I und schließlichE (zt+1zt ) = 1
4
((1− p) 2σ2 + 0+ (1− p) 2σ2
)= (1− p) σ2.
I Die unbedingten Momente der diskreten Markov Kette stimmen alsomit denen des normalverteilten AR-1 Prozesses überein wennσ = σε√
1−ρ2und p = 1− ρ. 76 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Approximation eines AR(1) Prozesses durch eine diskreteMarkov KetteTauchen’s Algorithmus
Eine relativ gute Approximation eines kontinuierlichen AR-1 Prozesseserhält man durch folgenden Algorithmus:Sei
zt = ρzt−1 + σεt
mit εt standardnormalverteilt. Mit kummulierter Verteilung Φ.
77 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Approximation eines AR(1) Prozesses durch eine diskreteMarkov KetteTauchen’s Algorithmus
1. (Bestimmung der Zustandspunkte):Man wählt m Gitterpunkte auf einem ±λ σ√
1−ρ2Intervall:
z1 = −λσ√1− ρ2
schritt =−2z1m− 1
zi = zi + (i − 1) schritt2. Sei Π die Übergangsmatrix. Dann ist
πi1 = Φ(z1−ρzi
σ + schritt2σ
); πim = 1−
m−1∑j=1
πij
πij = Φ(zj−ρzi
σ + schritt2σ
)−Φ
(zj−1−ρzi
σ + schritt2σ
)78 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Erster Schritt
3 2 1 0 1 2 30
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
x
φ (x
)
Normpdfgrid centersbin bounds
79 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
Zweiter Schritt
I Eigentlich wäre zu berechnen:
Yi Yj
xI Tatsächlich berechnet man aber die Wahrscheinlichkeit vomGittermittelkpunkt in das j-te Intervall überzugehen.
80 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Kapitel 4Dynamische Programmierung:
Numerische Methoden
81 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Lernziele
I Wie approximiere ich den Zustandsraum eines kontinuierlichendynamischen Problems
I Wertfunktionsiteration in der Praxis: Langsame KonvergenzI SimulationI Wie approximiere ich die Bedingungen erster Ordnung einesökonomischen Modells, um Schwankungen um den steady state zusimulieren.
82 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Kapitel 4: Numerische MethodenÜberblick
1. Vom kontinuierlichen Problem zur diskreten Approximation
2. Praktische Wertfunktionsiteration
3. Log-lineare Approximation
4. Approximationsqualität
5. Simulation
83 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Computer-gestützte Analyse
I Wie schon erwähnt, lassen sich viele (die meisten?) interessantenpraktischen Probleme der Ökonomie nicht mit einem Modellbeschreiben, dass eine explizite Lösung hat.
I Dies ist wie bei Ingenieuren, Metereologen, Physikern, Biologen etc.I Wir können aber unsere approximative Beschreibung der Welt (i.e.Modell) häufig approximativ (mit Hilfe des Computers) hinsichtlichder interessierenden Variablen lösen, so wir Randbedingungen(Parameter) spezifizieren.
I Wir müssen uns dann aber mit den Problemen und deren Lösungenbeschäftigen, die sich aus solchen Approximationen ergeben.
84 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
DiskretisierungI Zur Beschreibung eines Problems (dynamischen Programms) müssenwir zunächst den Zustandsraum erfassen auf dem das Problemdefiniert ist.
I In der Regel kann man Probleme, die auf einer kontinuierlichenMenge definiert sind, nicht direkt auf dem Computer lösen.
I Computer können typischerweise mit Problemen gut umgehen, dieauf diskreten Mengen definiert sind, am besten auf abzählbarendlichen Mengen.
I Manchmal ist der modellierte Zustandsraum bereits diskret (e.g.beschäftigt - nicht beschäftigt).
I Meistens ist dem aber nicht so. In unserem Wachstumsmodell sindzum Beispiel
I KonsumI InvestitionenI oder der AR(1) Prozess der Technologie jeweils kontinuierlich
I Hier müssen wir den "wahren" Zustandsraum diskret approximieren.85 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Diskretisierung und Approximation
Es ist wichtig sich klarzumachen, dass bei einer numerischen Lösungeines Problems Fehler auftauchen können und dass diese sich auchgegenseitig verstärken könnten
Schritt Beispiel: FehlertypWachstumsmodell
Modellbildung Abstraktion von . . . Modellfehler
Parameterwahl α = 1/3 Datenfehler
analytische numerische Approximation der VerfahrensfehlerLösung Menge möglicher K ′ Rundungsfehler
exakte Lsg. Näherung Gesamtfehler
86 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Diskretisierung des Zustandsraumes
Um den Zustandsraum der numerischen Analyse konform zu machen,müssen wir
1. Grenzen für die möglichen Zustände festlegen, z.B. denZustandsraum auf S = ×i
[S i , S i
]beschränken, wenn wir
Auswahlmengen des Rk darstellen wollen.
2. entscheiden mit wie vielen Punkten wir das Intervall diskretisierenwollen.
3. wie diese Punkte im im Zustandsraum verteilt sein sollen.
87 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Diskretisierung des ZustandsraumesI Jede dieser drei Punkte ist eine nicht-triviale Entscheidung, dietheoriegetrieben getroffen werden sollte:
I Welche Umgebung ist relevant für das Problem?I Gibt es aus theoretischer Sicht reflektierenden Schranken, so dassZustände sL, sH existieren, so dass
φ (s) < s∀s ≥ sHφ (s) > s∀s ≤ sL.
I In einem deterministischen Modell: soll die Dynamik nahe am steadystate oder weit weg davon gut erfasst werden.
I Welche Rechenkapazität steht zur Verfügung?I In einem stochastischen Modell:
I Wird hinreichend Wahrscheinlichkeitsmasse erfasst,I was sind die relevanten Momente (Statistiken), die ich beschreibenwill? (numerische Modelle, die Wert legen auf höhere Momentewerden unwahrscheinliche, aber extreme Zustände detaillierterabbilden müssen als solche, die sich nur für durchschnittlichesVerhalten interessieren).
88 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Probleme des Diskretisierens
I Es existieren nicht immer refelktierende Schranken:I Verbrauch einer beschränkten Ressource: Es gibt eineAnfangsausstattung W , ein Haushalt muss planen diese Resourceüber einen unendlichen Zeithorizont zu verbrauchen.
I Die analytische Lösung liefert, dass der Haushalt (1− β) der jeweilsverbleibenden Menge Wt verbraucht falls u = ln c (Beweis alsÜbung).
I Die Politik ist also φ (W ) = βWI und Wt = φ (Wt−1) = βWt−1 = βtW0.
I Nun konvergiert diese Folge aber zu einem Zustand, der außerhalbder Menge möglicher Resourcengrößen Wt > 0 liegt.
I Also können wir keine abgeschlossene Menge Ω ⊂ [w ,W ] , w > 0angeben, so dass Wt ∈ Ω, egal wie genau wir approximieren.
I Hinzu kommt, dass selbst für das approximative Problem, dass derHaushalt ω ∈ Ω (Ω diskret) wählen soll keine Lösung existiert.
89 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Übung
Exercise (3)Löse das Problem des optimaler Ressourcenaufzehr für u (c) = ln (c)analytisch! Schreibe dann ein MATLAB Programm, welches das Problemfür die Approximation
u (c) =ln (c) c > Cln (C ) c ≤ C .
löst. Vergleiche analytische und numerische Lösung sowohl graphisch alsauch in der max-norm für C = exp (−7)! Vergleiche gleichverteilte undlog-gleichverteilte Gitter für c in ihrer Approximationsqualität auf [0.1, 2]für N = 10, 50, 100, 200 Gitterpunkte.
90 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
An die praktische Arbeit ...
I Wertfunktions-Iteration ist die Rekursion (Algorithmus)
V n = T(V n−1
)= maxs ′∈Γ(s)
u(s, s ′
)+ βV n−1
(s ′)
V 0 = beliebig.
I und stopt wenn |V n − V n−1 | < crit.I Um den Algorithmus zu implementieren spezifizieren wir N Punktes1, s2, ..., sN ∈ S and schreiben V ni = V n (si ) .
I Im stochastischen Fall enthält die rechte Seite oben denErwartungswert Operator.
I Sei ferner U (i) = (u(i , 1), u (i , 2) , ..., u (i ,N)) der Vektor allererzielbaren instantanen Nutzenniveaus, die erreicht werden könnenwenn man von Zustand i zu Zustand j (falls nicht möglich setze denWert auf −∞).
91 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
WFI in Matrixschreibweise
I Optimierung in Zustand i ist nun
V ni = maxU (i) + βVn−1
wobei Vn−1 =
(V n−11 , . . . ,V n−1N
)I bei ιN = (1, ..., 1)
′ und die Zeilen in einem Vektor zusammenfassend(stacken)
Vn = maxU+ βιNV
n−1
Maximum wird zeilenweise gebildet.I Bemerke: MATLABs max-funktion bildet spaltenweise maxima(transponieren nötig)
92 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Beispiel: Nichtstochastisches Wachstumsmodell
MATLAB-Programm:Simple_growth.m
93 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Effi zientes Programmieren in MATLABI Auch heute ist Rechenzeit noch "teuer" (insebsondere wenn manviel braucht).
I Daher ist es wichtig einerseits schnelle Algorithmen einzusetzenI und andererseits auch effi zient zu programmieren.I Im Beispielprogrammcode sind mit Absicht einige Ineffi zienzeneingebaut.
I Wir berechnen die Nutzenniveaus für Zustandsübergänge jedesmalneu wenn die Wertfunktion iteriert wird.
I Es wäre besser diese auf höherer Ebene zu berechnen und anVal_Fu_I.m weiterzureichen.
I Der MATLAB Profiler hilft dabei zeitintensive Programmteile zuidentifizieren. Use M-Lint (standard im Editor an) gibt tips, wiedas Prealloziieren von Variablen die in Schleifen wachsen..
I MATLAB ist schnell in Matrix-Algebra, daher ist es besser Schleifendurch Matrixausdrücke zu ersetzen..
I dies geht bis zu 3-dimensionalen Objekten gut, danach sindSchleifen oder das herabbrechen der Dimesionalität sinnvoll.
94 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Übung
Exercise (4)Erweitere dass Programm des einfachen Wachstumsmodells so, dass esauch endogenes Arbeitsangebot enthält.
95 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Der Fluch der DimensionalitätI Ein bekanntes Problem dynamischer Programmierung ist dersogenannte "Fluch der Dimensionalität".
I Während wir eine Wertfunktion für ein niedrigdimensionalenZustandsraum vielleicht leicht approximieren können - sagen wir malmit n = 100 Punkten pro Dimension d - wird die gleicheGenauigkeit schnell unmöglich, wenn d größer wird.
I Ein Problem in 3 Dimensionen braucht bereits nd = 1Mio. Punktebei gleicher Genauigkeit, was in MATLAB einer 8Mb großenVariablen entspricht, um die Wertfunktion zu speichern.
I Eine weitere Dimension, läßt den Speicherbedarf auf 800Mbansteigen.
I . . . und spätestens bei d = 5 überschreitet das Problem dasArbeitsspeichervolmen unseres Rechners,
I . . . aber auch die Rechenzeiten steigen an: WFI hat eine Laufzeitdie sich exponentiell zur absoluten Zahl der Punkte verhält..
96 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
(Log-)Linearisierung
I Eine lange bekannte Möglichkeit, mit diesem Problem umzugehen,ist, das Problem zu approximieren.
I Dazu sucht man nicht mehr die tatsächliche (globale) Lösung,sondern nutzt die Bedingungen erster Ordnung aus, um zu einerlokalen Charakterisierung der Lösung zu gelangen.
I Seien xt die Zustandsvariablen und φ (xt ) die Politikfunktion.u (xt , xt+1) ist die instantane Nutzenfunktion (wobei dieBudgetrestriktion bereits ausgenutzt sei).
I So muss (im deterministischen Fall) gelten
g (xt , xt+1) := u2 (xt , xt+1) + β∂V (xt+1)
∂xt+1= 0.
97 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
(Log-)Linearisierung
I Sei x∗ der Fixpunkt von φ (der steady state). Wenn wir nun gTaylor approximieren, so erhalten wir
g (xt , φ (xt )) ∼= g (x∗, x∗) +∇xt+1g (x∗, φ (x∗)) (φ (xt )− x∗)+∇xt g (x∗, φ (x∗)) (xt − x∗) .
I Nun ist klar, dass der erste Ausdruck gleich Null sein muss.
98 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
(Log-)LinearisierungI Verkürzt geschrieben ist
g (x , y) = u′2 (x , y) + βV ′ (y)
I Sei nun A = g ′2 (x∗, x∗) und B = g ′1 (x
∗, x∗) und J = −A−1B soerhalten wir als Approximation der Bedingung erster Ordnung
A (φ (xt )− x∗) + B (xt − x∗) ∼= 0
(φ (xt )− x∗) ∼= −A−1B (xt − x∗)φ (xt ) ∼= x∗ − J (xt − x∗)xt+1 ∼= (I − J) x∗ + Jxt
I also wird xtt=0...∞ durch eine Differenzengleichung ersterOrdnung angegeben, durch wiederholtes Einsetzen erhalten wir
xt =t
∑s=0
Js (I − J) x∗ + Jtx0.
99 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
(Log-)Linearisierung
I Wir brauchen also nur noch g an der Stelle (x∗, x∗) zu bestimmen.I Dazu können wir uns das Envelope Theorem zu nütze machen:
∂V (x)∂x
= u′1 (x , φ (x)) + φ′ (x)[u′2 (x , φ (x)) + β
∂V (φ (x))∂x
]︸ ︷︷ ︸
=0 (Envelope Theorem)
.
I Also istg (x , y) = u′2 (x , y) + βu′1 (y , φ (y))
100 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
(Log-)LinearisierungI Nun berücksichtigen wir dass φ′ (x) ∼= J und erhalten da wir an derStelle x = y = φ (y) = x∗ approximieren
A = u′′22 (x∗, x∗) + βu′′11 (x
∗, x∗) + βu′′12 (x∗, x∗) J
B = u′′21 (x∗, x∗)
J = −A−1B = −[u′′22 (x
∗, x∗) + βu′′11 (x∗, x∗) + βBJ
]−1 BI Wir erhalten also eine quadratische Gleichung in J,u′′22 (x∗, x∗) + βu′′11 (x
∗, x∗)︸ ︷︷ ︸=:C
+ BJ
J = −B
B−1CJ + βJ2 = −I
die wir so lösen, dass alle Eigenwerte von J im Betrag kleiner einssind, damit die Differenzengleichung stabil ist.
101 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Log (!)-Linearisierung
I Nun sind die hergeleiteten Formeln für die Politikfunktion lediglichNäherungen.
I Diese sind umso besser, je "linearer" das tatsächliche Modell ist.I Bei einem linearen Modell bleiben die Ableitungen konstant und wirmachen tatsächlich keinen Fehler.
I Unser RBC Modell ist wie wir gesehen haben für δ = 1 und u = ln clinear, so wir die Zustandsvariablen als Logarithmen schreiben.
I Im Allgemeinen ist der Näherungsfehler in logarithmisch formuliertenökonomischen Modellen kleiner.
102 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Log-LinearisierungEin Beispiel
I Betrachten wir wieder unser Wachstumsmodell mit u = ln c .I Dann erhalten wir für die Ableitungsfunktion g
g (Kt ,Kt+1) =∂u [f (Kt ) + (1− δ)Kt −Kt+1 ]
∂Kt+1+ β
∂u [f (Kt+1) + (1− δ)Kt+1 −Kt+2 ]∂Kt+1
= − 1K αt + (1− δ)Kt −Kt+1
+ βαK α−1
t+1 + (1− δ)
K αt+1 + (1− δ)Kt+1 −Kt+2
I wobei K ∗ gerade
0 = − 1[K ∗α + (1− δ)K ∗ −K ∗] + β
αK ∗α−1 + (1− δ)
[K ∗α + (1− δ)K ∗ −K ∗]löst.
I Also
K ∗ =βα
1− β (1− δ)K ∗
α.
103 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Log-LinearisierungEin Beispiel
I Mit logarithmischen Argumenten kt = lnKterhalten wir für g
g (kt , kt+1) = − 1exp αkt + (1− δ) exp kt − exp kt+1
+βα exp (α− 1) kt+1 + (1− δ)
exp αkt+1 + (1− δ) exp kt+1 − exp φ (kt+1)
I Diese Funktion können wir numerisch (auch analytisch)differenzieren an der Stelle Kt = Kt+1 = Kt+2 = K ∗
∂g (kt , kt+1)∂kt
∼= g (kt + h, kt+1)− g (kt − h, kt+1)2h
für kleines h.
104 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Log-LinearisierungEin Beispiel
MATLAB Programm
105 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Log-LinearisierungStochastisches Modell
I Angenommen der Zustandsvektor läßt sich in eine kontrollierteKomponente xt und eine stochastische Komponente zt zerlegen.
I Dann können wir die BEO schreiben als
Ezt+1g (xt , zt , xt+1, zt+1) := Ezt+1
∂u (xt , zt , xt+1)
∂xt+1+ β
∂V (xt+1, zt+1)∂xt+1
= 0.
I Ferner sei zt ein AR-1 Prozess
zt = µ (1− ρ) + ρzt−1 + σεt
106 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Log-LinearisierungStochastisches Modell
I So erhalten wir durch (log)-lineare Approximation von g um densteady state Wert des nichtstochastischen Modells x∗
g (xt , zt , φ (xt , zt ) , zt+1) ∼= g (x∗, µ, x∗, µ)
+∇xt g (x∗, µ, x∗, µ) (xt − x∗)+∇xt+1g (x∗, µ, x∗, µ) (φ (xt , zt )− x∗)+∇zt g (x∗, µ, x∗, µ) (zt − µ)
+∇zt+1g (x∗, µ, x∗, µ) (zt+1 − µ)
I Der erste Term sollt vernachlässigbar nahe an Null sein.
107 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Log-LinearisierungStochastisches Modell
I Somit erhaltern wir als linearisierte BEO (E-Wert von zt+1 − µ istρ (zt − µ))
0 ∼= ∇xt g (x∗, µ, x∗, µ) (xt − x∗)+∇xt+1g (x∗, µ, x∗, µ) (φ (xt , zt )− x∗)+∇zt g (x∗, µ, x∗, µ) (zt − µ)
+ρ∇zt+1g (x∗, µ, x∗, µ) (zt − µ)
I Falls wir wieder B := ∇xt g (x∗, µ, x∗, µ) ,A := ∇xt+1g (x∗, µ, x∗, µ) und C := ∇zt g (x∗, µ, x∗, µ) sowieD := ∇zt+1g (x∗, µ, x∗, µ) definieren, so erhalten wir diestochastische Differenzengleichung
xt+1 = φ (xt , zt ) ∼= x∗ − B−1A (xt − x∗)−B−1 (C + ρD) (zt − µ)
108 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Log-LinearisierungEine Warnung
Eine Warnung Natürlich können wir nur solche Modelle durchLinearisierung approximieren, deren Lösung durch die BEOfestgelegt wird, die also global konkav (= BEO auchhinreichend) sind und deren instantane Nutzenfunktionendifferenzierbar sind.Nicht zum Beispiel: Fixkosten, Irreversibilitäten, etc.
109 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Simulationlog-lineares Modell
I Sowohl ein log-linearisierte als auch ein global gelöstes Modellkönnen wir nutzen, um eine Ökonomie zu simulieren.
I Für das log-linearisierte Modell können wir direkt den Prozess ztsimulieren, indem wir (pseudo)-normalverteilte Zufallsvariablendurch den Rechner ziehen lassen und zt rekursiv bestimmen
zt = ρzt−1 + σεt .
I Dann können wir, ausgehend von x0 = x∗, entsprechend derDifferenzengleichung
xt+1 = x∗ − B−1 [A (xt − x∗) + (C + ρD) (zt − µ)]
xtt=1...T bestimmen. Typischerweise läßt man eine Zahl H vonAnfanfgswerten xtt=1...H weg fallen vor weiterer Auswertung.
110 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
SimulationGobales Modell
I Für ein global gelöstes Modell müssen wir den treibendenstochastischen Prozess mit Hilfe von Tauchen’s Algorithmusapproximieren.
I Dazu nutzen wir die Übergangsmatrix der Markovkette.I Wir berechnen zunächst
π_sij =j
∑k=1
πij .
I Wir ziehen T [0, 1]-gleichverteilte Zufallsvariablen ut und bestimmendie Indexzahl z_indext des Zustandes zt in t als
z_indext = argmaxj
π_sz_indext−1 j < ut
.
zt = zz_indextI Nun können wir ausgehend von x0 = x∗ und z0 = µ wieder rekursiv
xt+1 = φ (xt , zt )
bestimmen, wobei φ (xt , zt ) die (näherungsweise) global gelöstePolitikfunktion des Modells ist.
111 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Übung
Löse das Ramsey-Cass-Koopmans Modell für δ = 1, u = ln c , α = 1/3,σ = 1 und ρ = 0.9 analytisch, global und log-linear. Simuliere dieÖkonomie für T = 10000 Perioden und vergleiche die Verteilung desKapitalstocks (mittels Histogramm).
112 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Approximationsqualität
I Dadurch, dass man die tatsächliche Ökonomie approximiert darstellt(entweder Taylorapproximation oder Diskretisierung) macht maneinen Approximationsfehler.
I Um verschiedene Methoden zu vergleichen und um eine Idee zuhaben, wie gut eine Methode ist, braucht man ein Maßfür diesenFehler.
I In unserem Beispiel, in dem man die analytische Lösung kenntkönnen wir damit vergleichen.
I Typischerweise kennt man aber die analytische Lösung nicht.
113 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Approximationsqualität
I Hier brauchen wir eine Metrik, mit der wir dieApproximationsqualität messen können, ohne die tatsächlicheLösung zu kennen.
I Aus ökonomischer Sichtweise bietet sich dazu die Konsum-Eulergleichung an.
I Es muss theoretischerweise gelten, dass
u′ (Ct ) = βE (1+ rt ) u′ (Ct+1) .
114 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
Approximationsqualität
I Nun können wir für jeden möglichen Zustand (xt , zt ) das durch dieapproximierte Politikfunktion zugehörige Ct ermittelt und somitu′ (Ct ) sowie den Erwartungswert der Ausdrücke auf der rechtenSeite der Gleichung.
I Eine Metrik der Approximationsqualität ergibt sich dann alsResiduum der Euler Gleichung
max(x ,z )∈S
|u′ (C (x , z))− βEz (1+ r (x , z)) u′
(C(φ (x) , z ′
))|
wobei S ein Gitter für die Zustandsvariablen ist.
115 / 116
Dynamische ProgrammierungDas RBC Modell als dynamisches Problem
Markov KettenNumerik
DiskretisierungWertfunktions-IterationLog-LinearisierungSimulationApproximationsqualität
ApproximationsqualitätÜbung
Löse das Ramsey-Cass-Koopmans Modell für δ = 0, 1, u = ln c ,α = 1/3, σ = 1 und ρ = 0.9 global und log-linear. Berechne jeweils dasmaximale Euler-Residuum auf einem äqudistanten Punktegitter, das 99%der Wahrscheinlichkeitsmasse, der (z , k)−Verteilung (siehe vorherigeÜbung) überdeckt, verwende m = 15 Punkte für z und n = 100 Punktefür k sowohl für die Auswertung als auch für die Diskretisierung beiglobaler Lösung.
116 / 116