kurs 9.3: forschungsmethoden ii - schwarz & partners gmbh 04 regression zwischen... · folie 11...
TRANSCRIPT
Kurs 9.3: Forschungsmethoden II
Zeitreihenanalyse
Lernsequenz 04: Regression zwischen Zeitreihen / ARMA-Modelle
November 2014
Prof. Dr. Jürg Schwarz
MSc Banking & Finance
Folie 2
Inhalt
Ziele ___________________________________________________________________________________________________ 5
Regression zwischen Zeitreihen ____________________________________________________________________________ 6
Modellierung von ARMA(p,q)-Prozessen ____________________________________________________________________ 23
Beispiel zur Modellbildung ________________________________________________________________________________ 39
Folie 3
Inhaltsverzeichnis
Ziele ___________________________________________________________________________________________________ 5
Ziele der Lernsequenz 04 ............................................................................................................................................................................................................ 5
Regression zwischen Zeitreihen ____________________________________________________________________________ 6
Regressionsmodell für Zeitreihen ........................................................................................................................................................................... 6
Beispiel Prognos / Bundesamt für Energie .................................................................................................................................................................................. 7
Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen ................................................................................................................ 8
Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen ................................................................................................................ 9
Autokorrelierte Residuen ...................................................................................................................................................................................... 10
Aufdecken von Autokorrelation.................................................................................................................................................................................................. 11
Massnahmen ............................................................................................................................................................................................................................. 11
Beispiel mit simulierten Daten ................................................................................................................................................................................................... 12
Schätzung ohne und mit Berücksichtigung der korrelierten Fehler (Cochrane-Orcutt) ............................................................................................................ 13
Tests auf Autokorrelation der Fehlerterme ............................................................................................................................................................ 15
Durbin-Watson-Test .................................................................................................................................................................................................................. 15
Durbin-Watson-Test am Beispiel der simulierten Daten ........................................................................................................................................................... 16
Breusch-Godfrey-Test (siehe auch Tests von Box-Pierce und Ljung-Box) .............................................................................................................................. 17
Cochrane-Orcutt-Methode für autokorrelierte Fehlerterme ................................................................................................................................... 18
Spezialfall AR(1)-Modell für den Fehler .................................................................................................................................................................................... 18
Hinweise zu EViews .................................................................................................................................................................................................................. 19
Breusch-Godfrey-Test und Cochrane-Orcutt-Methode am Beispiel der Verkehrsdaten ........................................................................................................... 20
Folie 4
Modellierung von ARMA(p,q)-Prozessen ____________________________________________________________________ 23
Deutsches BIP zwischen 1970:Q1 und 2008:Q2 ...................................................................................................................................................................... 23
Zum Vergleich: Simulierter ARMA(2,3)-Prozess zwischen 1970:Q1 und 2008:Q2 .................................................................................................................. 24
Eigenschaften von ARMA-Prozessen ................................................................................................................................................................... 25
Korrelogramm: Simulierter AR(1)-Prozess ................................................................................................................................................................................ 26
Theoretische ACF und PACF verschiedener ARMA(1,1)-Prozesse ......................................................................................................................................... 29
Theoretische und empirische ACF und PACF eines simulierten AR (2)-Prozesses ................................................................................................................. 30
Stationarität eines AR(p)-Prozesses ......................................................................................................................................................................................... 31
Beispiel mit EViews mit drei simulierten AR(2)-Prozessen ....................................................................................................................................................... 32
Invertierbarkeit eines MA(q)-Prozesses .................................................................................................................................................................................... 33
Zusammenfassung: Charakterisierung des ARMA(p,q)-Prozesses.......................................................................................................................................... 34
Phasen der Modellbildung (nach Box-Jenkins 1970 / 1994) ................................................................................................................................. 35
Anmerkungen zur Modellidentifikation und Modellspezifikation ................................................................................................................................................ 36
Beispiel zur Modellbildung ________________________________________________________________________________ 39
Datengrundlage: Deutsches BIP zwischen 1970:Q1 und 2008:Q2 .......................................................................................................................................... 39
Korrelogramm und Ordnung p und q ......................................................................................................................................................................................... 42
Bestimmung der Ordnungen p und q mit Informationskriterien ................................................................................................................................................. 43
Schätzung der Modelle .............................................................................................................................................................................................................. 44
"Equation Diagnostics": Wurzeln der charakteristischen Polynome ......................................................................................................................................... 45
"Equation Diagnostics": Vergleich von theoretischem und empirischem Korrelogram ............................................................................................................. 46
Residualanalyse ........................................................................................................................................................................................................................ 47
Schlussmodell und Prognose .................................................................................................................................................................................................... 48
Folie 5
Ziele
Ziele der Lernsequenz 04
Regression zwischen Zeitreihen / ARMA-Modelle (4 Lektionen mit EViews-Anwendung)
◦ Sie kennen das Problem der Autokorrelation bei der Regression zwischen Zeitreihen.
◦ Sie können autokorrelierte Fehlerterme detektieren
◦ Sie können Verfahren anwenden, um autokorrelierte Fehlerterme auszuschalten.
◦ Sie kennen die wesentlichen Eigenschafteen von ARMA(p,q)-Prozessen.
◦ Sie können Korrelogramme beurteilen.
◦ Sie können eine ARMA(p,q)-Modell mit EViews schätzen.
Folie 6
Regression zwischen Zeitreihen
Regressionsmodell für Zeitreihen
Die Zeitreihe Yt werde durch q weitere Zeitreihen X t(1), X t
(2), ... X t(q) beeinflusst
Regressionsmodell
T,...,1t alle für 1X mit ,EX
EX...XXY
)0(tt
q
0j
)j(tj
t)q(
tq)2(
t2)1(
t10t
==+β=
+β++β+β+β=
∑=
Beispiel Prognos / Bundesamt für Energie (2008 und 2010)*
Einfluss der Tagestemperatur auf den Fernwärmebedarf der Stadt Bern
Erster Ansatz: Fernwärmet = β0 + β1 ⋅ Mittlere Tagestemperaturt
t = 1,2,...365 Tage im Jahr
*Temperatur- und Strahlungsabhängigkeit des Energieverbrauchs im Wärmemarkt
*www.bfe.admin.ch/themen/00526/00541/00542/02794/index.html?lang=de&dossier_id=02795 (Stand: November 2014)
Folie 7
Beispiel Prognos / Bundesamt für Energie
Tägliche Einspeisung ins Fernwärmenetz, in Abhängigkeit der mittleren Tagestemperatur.
Indexierte Werte (1 = durchschnittliche Tages-Einspeisung)
Folie 8
Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen
Erster Ansatz Prognos / Bundesamt für Energie
Fernwärmet = β0 + β1 ⋅ Mittlere Tagestemperaturt
Die mittlere Tagestemperatur wirkt sich nur simultan auf den Wärmeverbrauch aus.
Hier: Zeitverschobene Temperaturen wirken sich aus physikalischen Gründen ebenfalls aus.
Zusätzlich Einfluss von Temperatur des Vortages und Vorvortages (zusätzlich: Strahlung)
Vollständiges Modell: Fernwärmet = β0 + β1⋅Tt + β2⋅Tt-1 + β3⋅Tt-2 + β4 ⋅ Strahlungt + ut
LS 03
Folie 9
Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen
Tägliche Einspeisung ins Fernwärmenetz an Januartagen (2000 bis 2008): Effektive Einspeisung (blau ) und geschätzte Einspeisung (rot ) Indexierte Werte (1 = durchschnittliche Tages-Einspeisung im Januar)
Standardisierte Parameter
:
Achtung: x-Achse ist nicht Zeitachse sondern Nummer der Messung
Ein
speis
ung in
s F
ern
wärm
en
etz
Folie 10
Autokorrelierte Residuen
Im Gegensatz zu Modellen ohne Zeitreihencharakter haben Zeitreihenmodelle häufig autokorrelierte Residuen.
Gründe
Lagstruktur der Variablen nicht richtig spezifiziert (Beispiel Fernwärme: Temperatur der Vortage)
Variable bei der Modellbildung nicht berücksichtigt (Beispiel Fernwärme: Strahlung)
◦ Wenn aufeinanderfolgende Werte der fehlenden Variablen korreliert sind, dann sind die Residuen im Modell, das diese Variable nicht berücksichtigt, korreliert.
Auswirkungen autokorrelierter Residuen
◦ Gewöhnliche OLS-Schätzer bleiben erwartungstreu ( ) Sie haben aber nicht minimale Varianz. Es gibt genauere Schätzer.
◦ Die Standardfehler (s.e.) der Koeffizienten βi werden verzerrt geschätzt.
◦ Dadurch werden t-Tests und Konfidenzintervalle ungenau.
)ˆ.(e.s
ˆt
i
i
β
β= Die Schätzfehler können zu Missspezifikation des Modells führen.
� ��� β = β
Folie 11
Aufdecken von Autokorrelation
◦ Grafische Residualanalyse (Scatterplot)
◦ Analyse von Autokorrelationsfunktion (AC) und partieller Autokorrelationsfunktion (PAC)
◦ Durbin-Watson (Lag 1) / Breusch-Godfrey (Lag p)
◦ Box-Pierce / Ljung-Box (Lag p) – auch als Portmanteau-Tests bezeichnet
Massnahmen
1. Hinzunahme zusätzlicher, erklärender Variablen
Beispiel: Strahlung im Beispiel Fernwärme, Saisondummys
2. Berücksichtigung der Lagstruktur der erklärenden Variablen
Beispiel: Temperatur der Vortage im Beispiel Fernwärme
3. Generalized Least Squares Estimator (GLS) => Korrektur der Standardfehler
Beispiel: Prais-Winsten-Schätzer
4. Modellierung und Einbezug der korrelierten Fehler als AR(p)-Modell
Beispiel: Cochrane-Orcutt-Verfahren
Anwendung von GLS respektive Einbezug von korrelierten Fehlern erst dann, wenn - Alle wichtigen Variablen im Modell vorhanden sind. - Die Lagstruktur der erklärenden Variablen im Modell genügend berücksichtigt wurde.
Folie 12
Beispiel mit simulierten Daten
Ein Regressionsmodell für simulierte Zeitreihen wird geschätzt
2t 0 t t t
2t 0 t t t t
y x x E
y x x E x t / 50 t {1,100}
= β + + +
= β + ⋅ + ⋅ + = ∈
1 2β β
1 2
Et sei ein AR(1)-Prozess <=> Fehlerterme sind forciert autokorreliert, im Gegensatz zu i.i.d.
1.0uVar
uEE
t
t1tt
=
+⋅−= −0.65
Simulation mit EViews (100 zufällig erzeugte Zeitreihen {yt} t=1,Y,n mit n = 100)
Eine der zufällig erzeugten Zeitreihen yt
Et
xt
2xt2
yt
Folie 13
Schätzung ohne und mit Berücksichtigung der korrelierten Fehler (Cochrane-Orcutt)
Beispiel: Koeffizient ββββ1 (Modellwert ≡ 1) Standardfehler (s.e.) des Koeffizienten ββββ1
Werte der Schätzungen von 100 zufällig erzeugten Zeitreihen
0.85
0.90
0.95
1.00
1.05
1.10
1.15
.02
.04
.06
.08
.10
.12
Ohne Mit Ohne Mit
Folie 14
Schätzung ohne und mit Berücksichtigung der korrelierten Fehler (Cochrane-Orcutt)
Koeffizient β1 => Werte sind vergleichbar
Schätzer sind erwartungstreu
Standardfehler => Werte sind deutlich verschieden
Die Berücksichtigung der korrelierten Fehler (Hier: Cochrane-Orcutt)
liefert kleinere Standardfehler (se) (ca. Faktor ½)
Tabelle: Schätzung des Koeffizienten ββββ1 (Modellwert ≡ 1)
Mittelwert aus den 100 zufällig erzeugten Zeitreihen
Koeffizient β1 se Koeffizient β1 se Koeffizient β1 se
Mean 1.0010 0.0925 0.9915 0.0427 99.1% 46.2% Median 0.9988 0.0920 0.9953 0.0427 99.6% 46.4% Maximum 1.0898 0.1096 1.1135 0.0547 102.2% 49.9% Minimum 0.8941 0.0674 0.8683 0.0355 97.1% 52.6%
Kleinste Quadrate Cochrane-Orcuttmit/ohneohne mit
Folie 15
Tests auf Autokorrelation der Fehlerterme Durbin-Watson-Test
Modell Et = ρ ⋅ Et-1 + ut (AR(1)-Prozess der Fehlerterme <=> Autokorrelation)
Nullhypothese H0: ρ = 0, Alternativhypothese HA: ρ ≠ 0
Teststatistik
∑
∑
=
=
−−
=N
2t
2t
N
2t
21tt
R
)RR(
D, t Zeitpunkt zum Residuum yyR mit ttt −=
Approximativer Zusammenhang zwischen Durbin-Watson-Statistik und Autokorrelation
t t-1 t t-1ˆ ˆD 2(1 ) Werte schwanken zwischen 0 (R R ) und 4 (R -R )≈ − ρ => = =
Werte nahe bei 2 deuten auf Unkorreliertheit der Fehlerterme hin (siehe auch Hackl 2013)
Nachteil
Durbin-Watson testet nur die erste Autokorrelation (p = 1)
Wenn Fehlerterme einem AR(p)-Prozess mit p > 1 folgen, versagt der Test.
Folie 16
Durbin-Watson-Test am Beispiel der simulierten Daten
1.6
2.0
2.4
2.8
3.2
3.6
Ohne Mit
Ohne Korrektur: DW ≈ 3.3 => deutliches Zeichen für autokorrelierte Fehlerterme
Kritische Grenzen Hackl (2013: Seite 490)
Online (Zugriff: November 2014): www.stanford.edu/~clint/bench/dwcrit.htm
n = 100, α = 0.05, k = 3 => dL = 2.29, dH = 2.37 n = 100, a = 0.05, k = 2 => 3.3 signifikant verschieden von 2
Mit Korrektur (Cochrane-Orcutt): DW ≈ 2.0 => keine autokorrelierten Fehlerterme
Folie 17
Breusch-Godfrey-Test (siehe auch Tests von Box-Pierce und Ljung-Box)
Modell Et = ϕ1⋅Et-1 +...+ ϕp⋅Et-p + ut (AR(p)-Prozess der Fehlerterme <=> Autokorrelation)
Nullhypothese H0: ϕi = 0, i = 1,...p, Alternativhypothese HA: ϕi ≠ 0 für mindestens ein i
Teststatistik: Bestimmtheitsmasse der Hilfsregression der Residuen aufeinander
Eigenschaften
Breusch-Godfrey-Test ist allgemeiner als Durbin-Watson-Test
Der Wert von p muss vor dem Test bestimmt werden (Korrelogramm)
Anwendung in EViews am Beispiel von einer der zufällig erzeugten Zeitreihen
Im Output View�Residual Tests�Serial Correlation LM test... wählen. Hier: p = 2
Modellwert ≡ -0.65 Modellwert ≡ -0.00
Nullhypothese verwerfen
ϕi ≠ 0
Folie 18
Cochrane-Orcutt-Methode für autokorrelierte Fehlerterme Spezialfall AR(1)-Modell für den Fehler
Modell für die Fehler: Et = ϕ ⋅ Et-1 + ut, wobei ut weisses Rauschen
Regressionsmodell einer Zeitreihe, beispielsweise: Yt = β0 + β1X t(1) + β2X t
(2) + Et
Bilden der Differenz
*t t t 1 t t-1
(1) (2) (1) (2)0 1 t 2 t t 0 1 t 1 2 t 1 t 1
(1) (1) (2) (2)0 1 t t 1 2 t t 1 t t 1 t t 1 t
*0 1
Y Y Y / Modell für Y und Y einsetzen
X X E ( X X E )
(1 ) (X X ) (X X ) E E wobei gilt E E u
−
− − −
− − − −
= − ϕ
= β + β + β + − ϕ β + β + β +
= β − ϕ + β − ϕ + β − ϕ + − ϕ − ϕ =
= β + β *(1) *(2)t 2 t tX X u+ β +
Wobei gilt
* *(1) (1) (1) *(2) (2) (2)0 0 t t t 1 t t t 1(1 ), X X X , X X X− −β = β − ϕ = − ϕ = − ϕ
Das transformierte Modell ist frei von Autokorrelation.
Das transformierte Modell erfüllt die Voraussetzungen des allgemeinen Regressionsmodells.
Nachteil: Um das transformierte Modell zu berechnen, muss ϕ bekannt sein.
Folie 19
Hinweise zu EViews
Tests auf Autokorrelation
◦ Durbin-Watson-Test wird standardmässig im Output eines Modells angezeigt
◦ Breusch-Godfrey-Test kann im Output unter View�Residual Diagnostics�Serial Correlation LM Test... gewählt werden
HAC-Schätzer für die Varianz (heteroskedasticity and autocorrelation consistent)
◦ Schätzer nach Newey und West (1987) (korrigiert die Varianz der OLS Schätzung) kann bei der Spezifikation der Gleichung unter Options gewählt werden.
Cochrane-Orcutt-Methode bei Autokorrelation der Fehlerterme
◦ Das Modell für die Fehlerterme muss bekannt sein. Beispielsweise ein AR(1)-Prozess.
◦ Bei der Spezifikation der Regression werden die Lags der Fehlerterme angegeben.
Folie 20
Breusch-Godfrey-Test und Cochrane-Orcutt-Methode am Beispiel der Verkehrsdaten
-40000
-20000
0
20000
40000
180,000
200,000
220,000
240,000
260,000
97 98 99 00 01 02 03 04
Residual Actual Fitted
EViews: Method Least Squares
Lineare Trendfunktion
Ft = β0 + β1⋅t + ut t ∈ {1,32}
Ft = 207'143.3 + 1133.867 ⋅ t
Die verbleibende Zeitreihe ("Residual") enthält nur noch Saisonalität und Restterm.
DW ist ok, aber nur für Lag 1
Folie 21
Breusch-Godfrey-Test mit p = 4
Cochrane-Orcutt-Modell mit Lag 2
Die Residuen sind autokorreliert mit Lag 2
Folie 22
Cochrane-Orcutt-Methode Dummy-Variablen (gemäss LS 02)
-10000
-5000
0
5000
10000
180,000
200,000
220,000
240,000
260,000
280,000
1998 1999 2000 2001 2002 2003 2004
Residual Actual Fitted
-10000
-5000
0
5000
10000
180,000
200,000
220,000
240,000
260,000
280,000
1998 1999 2000 2001 2002 2003 2004
Residual Actual Fitted
Folie 23
Modellierung von ARMA(p,q)-Prozessen
Deutsches BIP zwischen 1970:Q1 und 2008:Q2
Bruttoinlandsprodukt der BRD. Preisbereinigte Quartalsdaten. Quelle: www.bundesbank.de
40
60
80
100
120
1970 1975 1980 1985 1990 1995 2000 2005
BIP
(In
dex:
20
00 =
100)
Folie 24
Zum Vergleich: Simulierter ARMA(2,3)-Prozess zwischen 1970:Q1 und 2008:Q2
3t2t1tt2t1tt u1.0u3.0u5.0uY4.0Y6.07.0Y −−−−− +−++++=
(Excel-Tool "ARMA(p,q).xls")
0
10
20
30
40
50
60
70
1970 1975 1980 1985 1990 1995 2000 2005
Folie 25
Eigenschaften von ARMA-Prozessen
Aus den Eigenschaften von AR(p)- und MA(q)-Prozessen aus LS 03 folgt:
Jeder stationäre AR(p)-Prozess lässt sich als MA(∞)-Prozess schreiben
Jeder invertierbare MA(q)-Prozess lässt sich als AR(∞)-Prozess schreiben
=> Jeder stationäre Prozess lässt sich beliebig genau durch einen ARMA-Prozess annähern.
ARMA(p,q) Prozesse sind in der Regel nicht eindeutig. Der gleiche Prozess kann mit verschiedenen Kombinationen von p und q dargestellt werden.
Grundsätzlich gilt:
◦ Modellierung mit kleinen p und q vereinfachen die Analyse.
◦ AR-Repräsentation eignet sich besser für die Schätzung, da die OLS Annahmen erfüllt sind.
◦ MA-Darstellung eignet sich besser für die Berechnung von Varianzen und Kovarianzen.
Folie 26
Korrelogramm: Simulierter AR(1)-Prozess
AR(1)-Prozess Yt = 0.3 + 0.6Yt-1 mit und ohne überlagertem, deterministischem Trend 0.1⋅t
Mit Trend
Ohne Trend
0
4
8
12
16
20
1975 1980 1985 1990 1995 2000 2005
-0.8
-0.4
0.0
0.4
0.8
1.2
1.6
2.0
2.4
1975 1980 1985 1990 1995 2000 2005
Folie 27
EViews-Schätzung zum Prozess Yt = 0.3 + 0.6Yt-1 mit und ohne Trend
Mit Trend
Ohne Trend
Zeitreihe ist stationär
Modell OK
Schätzung der Parameter OK
Zeitreihe ist nicht stationär (Trend)
Modell nicht OK
Schätzung der Parameter fehlerbehaftet
Folie 28
Eigenschaften der AC- und PAC-Funktion von ARMA(p,q)-Prozessen
Modell AR(p)-Prozess: MA(q)-Prozess:
p = q = 1 kk ϕ=ρ 1k für 0
2
1
1 k21 >=ρ<θ+
θ=ρ
p,q > 1 ik
p
1iik −
=
ρϕ=ρ ∑ qk für 0 1
kq
1i
2i
kq
1i kii
k >=ρθ+
θθ=ρ
∑∑
=
−
= +
p = q = 1 11 ϕ=φ Nicht abbrechende, gedämpfte Exponentialfunktion oder Sinusfunktion.
Wurzel des charakteristischen Polynoms reell => Exponentialfunktion
Wurzeln des charakteristischen Polynoms komplex => Sinusfunktion
p,q > 1 kk 0 für k pφ = >
Die Bestimmung des grössten Lags k, für den alle nachfolgenden partiellen Autokorrelationen 0 sind, ergibt die Ordnung des AR(p)-Prozesses
Siehe auch Zusammenstellung für p + q ≤ 2 im Appendix der Practice zu LS 04.
AC
F
PA
CF
t t(L)YΦ = ε t tY (L)= Θ ε
Folie 29
Theoretische ACF und PACF verschiedener ARMA(1,1)-Prozesse
Quelle: Vorlesungsunterlagen der TU Ilmenau Quelle: (www.tu-ilmenau.de, November 2010 / Stand November 2014 => nicht mehr zugänglich)
ϕ1 = 0.8 θ1 = 0.3
ϕ1 = 0.3 θ1 = 0.8
ϕ1 = -0.8 θ1 = 0.3
Folie 30
Theoretische und empirische ACF und PACF eines simulierten AR (2)-Prozesses
Quelle: Vorlesungsunterlagen der TU Ilmenau Quelle: (www.tu-ilmenau.de, November 2010 / Stand November 2014 => nicht mehr zugänglich)
Folie 31
Stationarität eines AR(p)-Prozesses
AR(p)-Modell in der Schreibweise mit Lag-Operator
ttp
p2
21 uY)L...LL1( +α=ϕ−−ϕ−ϕ−
Charakteristisches Polynom
)L...LL1()L( pp
221 ϕ−−ϕ−ϕ−=Φ
t t(L)Y u=> Φ = α +
Ein AR(p)-Prozess ist genau dann stationär, wenn alle (komplexen) Nullstellen zi des
charakteristischen Polynoms ausserhalb des Einheitskreises (|z| = 1) liegen. |z| > 1.
Daraus folgt für die Kehrwerte (invertet roots): 1/|z| < 1
Beispiel AR(2): Yt = 0.5 ⋅Yt-1 + 0.5 ⋅Yt-2 + Et => Φ(L) = (1 – ϕ1L – ϕ2L2) = (1 – 0.5L – 0.5L2)
Nullstellen von Φ(z): 1 – 0.5z – 0.5z2 = 0 => z1 = 1.0, z2 = -2.0
Da z1 nicht ausserhalb des Einheitskreises liegt, ist Yt nicht stationär.
Folie 32
Beispiel mit EViews mit drei simulierten AR(2)-Prozessen
Yt = 0.5 ⋅Yt-1 + 0.5 ⋅Yt-2 + Et => z1 = 1.0, z2 = -2.0
Die Inverted AR Roots nahe bei 1 deuten auf den nichtstationären Charakter hin.
Achtung: Die Scatterplots ARMA1 und ARMA3 lassen vermuten, dass es sich um stationäre Zeitreihen handelt. Das ist aber nicht so!
-25
-20
-15
-10
-5
0
5
10
1970 1975 1980 1985 1990 1995 2000 2005
ARMA1 ARMA2 ARMA3
Folie 33
Invertierbarkeit eines MA(q)-Prozesses
Ein MA(q)-Prozess
qtq2t21t1tt u...uuuY −−− θ++θ+θ++α=
ist immer stationär, unabhängig von den Parametern α und θi.
Damit der MA(q)-Prozess in einen AR(∞) überführt werden kann (Invertierung), muss gelten
Ein MA(q)-Prozess ist genau dann invertierbar, wenn alle (komplexen) Nullstellen zi des charakteristischen Polynoms ausserhalb des Einheitskreises (|z| = 1) liegen. |z| > 1.
Daraus folgt für die Kehrwerte (invertet roots): 1/|z| < 1
Bedeutung der Invertierbarkeit: Eindeutigkeit eines MA(q)-Prozesses
Verschiedene MA(q)-Prozesse können zu identischen ACF und damit auch PACF führen.
Ein Rückschluss von der Autokorrelationsfunktion auf den erzeugenden Prozess ist nur dann
eindeutig möglich, wenn der MA(q)-Prozesse invertierbar ist.
Folie 34
Zusammenfassung: Charakterisierung des ARMA(p,q)-Prozesses
Modell AR(p)-Prozess
ttY)L( ε=Φ
MA(q)-Prozess
tt )L(Y εΘ=
ARMA(p,q)-Prozess
tt )L(Y)L( εΘ=Φ
Bedingung für
Stationarität Wurzeln zi von 1z :0)z( i >=Φ
immer stationär Wurzeln zi von 1z :0)z( i >=Φ
Invertierbarkeit immer invertierbar Wurzeln zi von 1z :0)z( i >=Θ
Wurzeln zi von 1z :0)z( i >=Θ
Eigenschaften
ACF unendlich: exponentiell
fallend, gedämpfter Sinus
endlich: ρk = 0 für k > q Wie AR(p) ab k > q
PACF endlich: φkk = 0 für k > p unendlich: exponentiell
fallend, gedämpfter Sinus Wie MA(q) ab k > p
Anmerkung zur Darstellung der Modelle ohne Intercept α: Durch die Transformation Yt' = Yt - α wird der Intercept α eines ARMA-Prozesses entfernt.
Folie 35
Phasen der Modellbildung (nach Box-Jenkins 1970 / 1994)
Parameter schätzer nicht signifikant
Überprüfung der Zeitreihe auf Stationarität
Bestimmung der Ordnungen p und q
Signifikante Autokorre- lationen
OLS-Schätzung
Maximum-Likelihood Schätzung
Überprüfung, ob Autokorrelation in den
Residuen des geschätzten Modells vorliegt
Anwendung des spezifizierten Modells
für verschiedene Zwecke
Modellidentifikationund Modellspezifikation
Modellschätzung(Schätzung der Parameter)
Modelldiagnose
Modellanwendung(Deskription, Prognose,
Diagnose, Kontrolle)
Folie 36
Anmerkungen zur Modellidentifikation und Modellspezifikation
Überprüfung der Zeitreihe auf Stationarität
◦ Inspektion der Zeitreihenplots
◦ Autokorrelationsfunktion und partielle Autokorrelationsfunktion (Korrelogramm)
◦ Unit-Root-Test (mehr in in LS 05)
Bestimmung der Ordnungen p und q
Wie sollen die Ordnungen p und q des anzupassenden ARMA-Modells gewählt werden?
Es gibt 2 Fehlermöglichkeiten:
◦ p oder q werden zu gross gewählt => Overfitting
◦ p oder q werden zu klein gewählt => Underfitting
Sowohl beim Overfitting als auch beim Underfitting ist der ML-Schätzer nicht mehr konsistent.
Korrekte Bestimmung der Ordnungen p und q ist deshalb von Bedeutung.
Prämisse der Box-Jenkins-Modellierung: So wenige Parameter wie möglich benutzen.
Folie 37
Methoden zur Bestimmung der Ordnungen p und q
Visuelle Inspektion der empirischen ACF und PACF (schwierig ...)
◦ ACF: Die Autokorrelationen sollten sich gemäss Theorie wie eine fallende Exponentialfunkti-on oder eine gedämpfte Sinuswelle verhalten.
Falls dies nicht erfüllt ist, liegt ein komplizierteres Modell vor, wie z.B. ein ARMA-Modell.
◦ PACF: Die Bestimmung des "cut-offs" bei den partiellen Autokorrelationen, d.h. ab welchem Lag die folgenden partiellen Autokorrelationen 0 sein können, gibt eine mögliche Schätzung der Ordnung p.
Die Ordnungen p und q werden in der Regel eher überschätzt.
Folie 38
Bestimmung der Ordnungen p und q mit Informationskriterien
Grundidee: Minimierung eines Informationskriteriums
◦ Mit steigender Ordnung von p und q wird die Anpassung des ARMA-Modells besser. Die geschätzte Varianz der Residuen σ2
p,q ist eine Masszahl für die Anpassung des Modells. Mit steigender Ordnung von p und q nimmt σ2
p,q ab.
◦ Als Korrektur gegen das Overfitting, wird das Anpassungsmass σ2p,q um einen Term ergänzt,
der höhere Wahlen von p und q bestraft.
Am meisten benutzte Informationskriterien
◦ AIC (Akaike-Informationskriterium) T
2)qp()ˆlog()q,p(AIC 2
q,p ++σ=
◦ SIC (Schwarz-Informationskriterium) T
)Tlog()qp()ˆlog()q,p(SIC 2
q,p ++σ=
◦ HQIC (Hannan-Quinn-Informationskriterium) T
)]Tlog[log(2)qp()ˆlog()q,p(HQIC 2
q,p ++σ=
In der Praxis werden p und q so gewählt, dass nur eines der Informationskriterien minimal wird. Meistens wird das AIC-Kriterium gewählt, obwohl es eher zu Overfitting führt.
Folie 39
Beispiel zur Modellbildung
Datengrundlage: Deutsches BIP zwischen 1970:Q1 und 2008:Q2
Bruttoinlandsprodukt der BRD. Preisbereinigte Quartalsdaten. Quelle: www.bundesbank.de
40
60
80
100
120
1970 1975 1980 1985 1990 1995 2000 2005
BIP
(In
dex:
20
00 =
100
Folie 40
BIP Wachstumsrate (Prozentuale Veränderung gegenüber Vorjahresquartal)
Strukturbrüche?
1973:1 <=> Ölschock 1973
1980:1 <=> Zweite Ölkrise (Revolution im Iran und Iran-Irak-Krieg)
1991:2 <=> Wiedervereinigung 1989
2000:2 <=> Dotcom-Blase
("Deutschland - deine Rezessionen", www.sueddeutsche.de, Mai 2010, Zugriff: November 2014)
-.04
-.02
.00
.02
.04
.06
.08
1970 1975 1980 1985 1990 1995 2000 2005
BIP
[%
]
Folie 41
Eigenschaften und Vorbereitung für Modellierung
Überprüfung der Zeitreihe auf Stationarität und Saisonalität
◦ Bruttoinlandsprodukt weist offensichtlich einen Trend auf.
◦ Bruttoinlandsprodukt weist offensichtlich ein Saisonmuster auf (Quartalsmuster).
Transformation zu saisonalen Differenzen in Logarithmen EViews: gdp_log = log(gdp) - log(gdp(-4))
Yt = (1 – L4)log(BIPt)
= log(BIPt) – log(BIPt-4)
Yt = Wachstumsrate gegenüber dem Vorjahresquartal
Entspricht ungefähr prozentualer Veränderung gegenüber Vorjahresquartal
Folie 42
Korrelogramm und Ordnung p und q
Anmerkung: Allgemein ist die Interpretation eines signifikanten PACF bei k = 4 eher nicht realis-tisch. Um nicht nur mit dem einfachsten Modell, das heisst AR(1), weiter zu fahren, wird davon ausgegangen, dass die PACF bei k = 4 signifikant ist.
ACF: langsam, monoton abklingend
=> AR-Modell
PACF: signifikante Werte bis k = 4
=> AR(4)-Modell
Folie 43
Bestimmung der Ordnungen p und q mit Informationskriterien
AIC (Akaike-Informationskriterium)
=> ARMA(4,4)- oder ARMA(4,3)-Modell
SIC (Schwarz-Informationskriterium)
=> ARMA(1,3)- oder ARMA(0,3)-Modell
p / q q = 0 q = 1 q = 2 q = 3 q = 4p = 0 -5.6146 -5.6517 -5.9208 -5.9186p = 1 -5.8273 -5.8157 -5.8121 -5.9522 -5.9436p = 2 -5.8318 -5.8828 -5.8855 -5.9438 -5.9335p = 3 -5.8115 -5.8922 -5.8878 -5.9242 -5.9236p = 4 -5.8523 -5.8946 -5.8978 -6.0001 -6.0128
p = 5 -5.9000 -5.8876 -5.9218 -5.9650 -5.9981
p / q q = 0 q = 1 q = 2 q = 3 q = 4p = 0 -5.5744 -5.5915 -5.8405 -5.8183p = 1 -5.7869 -5.7552 -5.7314 -5.8514 -5.8226p = 2 -5.7711 -5.8018 -5.7842 -5.8223 -5.7918p = 3 -5.7301 -5.7905 -5.7657 -5.7818 -5.7608p = 4 -5.7502 -5.7720 -5.7547 -5.8366 -5.8288p = 5 -5.7769 -5.7439 -5.7576 -5.7802 -5.7928
Folie 44
Schätzung der Modelle
ARMA(4,0)-Modell ( AR(4)-Modell) ARMA(1,3)-Modell
Varianz der Residuen Varianz der Residuen
σ2 = (0.012754)2 = 0.000162 σ2 = (0.012137)2 = 0.000147 Bessere Anpassung als AR(4)-Modell
Schlussmodell ARMA(0,3)-Modell (da AR(1) nicht signifikant)
σ2 = (0.012370)2 = 0.000153
Folie 45
"Equation Diagnostics": Wurzeln der charakteristischen Polynome
Die Kehrwerte der Nullstellen (Inverted Roots) der charakteristischen Polynome für AR(p)- und MA(q)-Prozesse sollten innerhalb des Einheitskreises liegen.
Kehrwerte der Nullstellen des MA-Polynoms innerhalb des Einheitskreises => invertierbar
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
-1.5 -1.0 -0.5 0.0 0.5 1.0 1.5
MA
roots
Inverse Roots of AR/MA Polynomial(s)
Folie 46
"Equation Diagnostics": Vergleich von theoretischem und empirischem Korrelogram
Falls das Modell richtig spezifiziert ist, sollten die beiden Kurven "nahe" sein ( "...should be 'close'.")
-.4
.0
.4
.8
2 4 6 8 10 12 14 16 18 20
Actual Theoretical
Auto
corr
ela
tio
n
-.4
.0
.4
.8
2 4 6 8 10 12 14 16 18 20
Actual Theoretical
Part
ial a
uto
corr
ela
tion
Theoretisches und empirisches Korrelogram liegen nahe und die Vorzeichen der Autokorrelationen und partiellen Autokorrelationen stimmen überein.
=> ARMA(0,3)-Struktur wird bestätigt
Folie 47
Residualanalyse
Keine signifikanten Autokorrelationen der Residuen bis zum Lag k = 20.
Die Residuen verhalten sich wie Weisses Rauschen.
Folie 48
Schlussmodell und Prognose
Intervall für die Modellschätzung
1. Quartal 1971 bis 2. Quartal 2006
Intervall für die Prognose
2. Quartal 2006 bis 2. Quartal 2008
-.04
-.02
.00
.02
.04
.06
.08
1970 1975 1980 1985 1990 1995 2000 2005
Prognoseintervall
Prognoseintervall