3.2 autoregressive prozesse (ar-modelle) 3.2.1 ar(p)-prozesse definition: ein stochastischer prozess...
TRANSCRIPT
3.2 Autoregressive Prozesse (AR-Modelle)3.2.1 AR(p)-Prozesse
Definition:
Ein stochastischer Prozess (Xt) heißt autoregressiver Prozess der Ordnung p[AR(p)-Prozess], wenn er der Beziehung
(3.2.1)
genügt. (Ut) ist darin ein reiner Zufallsprozess (White-Noise-Prozess).
Bem.: Xt wird hierbei als Abweichung vom Mittelwert µ vorausgesetzt.
p
1i0titi
tptp2t21t1t
1mit UX
UX...XXX
p
p2
21
tt
B...BB1)B(mit
UXB'1.2.3
oder
tt0
itti
2tt2
1tt
XXB
XXB
...
XXB
XXB
operator) (backshift B
Bemerkungen:
- Gl. (3.2.1) entspricht formal einem multiplen Regressionsmodell. Die unabhängigen Variablen (erklärenden Variablen) sind hier jedoch ausschließlich zeitlich verzögerte Variablen der abhängigen Variablen.
- Prozesse dieses Typs werden erstmals von G.U. Yule (1920) eingeführt.
Allgemein ist ein AR(p)-Prozess durch
(3.2.2)
gegeben, wobei δ ein konstantes Glied ist, das mit dem Mittelwert µ des Prozesses in Beziehung steht. Für einen mittelwertstationären Prozess muss
gelten, so dass µ aus
bestimmt werden kann:
(3.2.3)
tptp2t21t1t UX...XXX
)X(E...)X(E)X(E pt1tt
p21 ...
p21 ...1
Da µ endlich sein muss, ist zu fordern, dass die Ungleichung
(3.2.4)
erfüllt ist. (3.2.4) ist zugleich eine notwendige Bedingung für die Stationarität eines AR(p)-Prozesses. Notwendige und hinreichende Stationaritätsbedingungen werden später aufgezeigt.
1... p21
Spezielle AR(p)-Prozesse
· AR(1)-Prozess
1
t1t1t
1
UX X.lgAl
(3.2.5)
Bem.: Xt ist im Folgenden als Abweichung vom Mittelwert µ des Prozesses gemessen. Stationarität wird zunächst vorausgesetzt.
- Varianz von Xt:
2210
20
210
t1t21t1t1t0
)1(
)U(Var)X(Var)UX(Var)X(Var
1 2
1
2
0
1oder 1 :nRestriktio 121
tt1
t1t1t
UX)B1(
UXX
)B(
- Autokovarianzfunktion (AVCF):
=1:
1t
tt
t 1t
t1t
21t
1-t
21t1
1tt
1tt
t1t
t1t2
1t1t1t
1tt1t1t
Xnichtaber
,XlusstinfbeeU
sindrt unkorrelie
UundX da
,0
)UX(E
XE
XVar
wegen
,0
)X(E
XXE
X,XCov
wegen
,1
)XX(E
UXXXX
XUXX
21
21
0111
=2:
allg.
21
221
1121
0,1,2,...τ,1
σγ
21
2τ1
τ
.
t2t1t2t1t2t
t2t1t2t1t2t
2tt1t1t
sindrtunkorrelie
tU und 2tX da
,0
)UX(E
abhängt
Lag nur vom
kovarianz
-Auto die da
,1
)XX(E
2
)XX(E
UXXXXX
XUXX
212
1
2
21
221
0
22
121
2
21
21
0
11
11 :2
11 :1
,2,1,0,1
11
01 01
- Autokorrelationsfunktion (ACF)
allg.
Da ist, ist die Autokorrelationsfunktion eines AR(1)-Prozesses eine
exponentiell abnehmende Funktion des Lags . Für verläuft sie
dabei im positiven Bereich, während es sich für um eine alternierende
Folge handelt.
0
0,2
0,4
0,6
0,8
1
1 2 3 4 5 6 7 8
t1tt1 UX8,0X8,0
0 1 2 3 4 5 6 7 8
1 0,8 0,64
0,512 0,410
0,328 0,262 0,201
0,168
(a)
Abbildung 3.4: Autokorrelationsfunktionen versch. AR(1)-Prozesse
0
0,2
0,4
0,6
0,8
1
1 2 3 4 5 6 7 8
t1tt1 UX5,0X5,0
0 1 2 3 4 5 6 7 8
1 0,5 0,25
0,125 0,063
0,031
0,016 0,008 0,004
(b)
-0,6
-0,4
-0,2
0
0,2
0,4
0,6
0,8
1
1
2
3
4
5
6
7
8
0 1 2 3 4 5 6 7 8
1 -0,7 0,49
-0,343 0,240 -0,168 0,118 -0,082 0,058
t1tt1 UX7,0X7,0 (c)
-Darstellung des AR(1)-Prozesses in Abhängigkeit von den Zufallsvariablen Ut:
(3.2.6)
Ersetzen von Xt-1 durch
ergibt
Entsprechendes Ersetzen von Xt-2 durch
führt zu
.
t1t1t UXX
1t2t11-t UXX
2t211t1t
t1t2t11t
XUU
U)UX(X
Invertierbarkeit und Stationarität
2t3t12t UXX
3t312t
211t1t
2t3t1211t1tt
XUUU
)UX(UUX
Führt man die Substitution k-mal durch, so ergibt sich
.
Für k→ erhält man die spezielle Form
(3.2.7)
des allgemeinen linearen Prozesses
(3.2.8)
Die Restriktion
(3.2.9)
1kt1k
1ktk12t
211t1tt XU...UUUX
0t1
2t211t1tt
U
...UUUX
.mit ,1
,U...UUUX
10
0t2t21t1tt
0 0
21
2
ist nur dann erfüllt, wenn ist. Die Bedingung
(3.2.10)
wird daher auch als Stationaritätsbedingung bezeichnet. Unter Berücksichtigung dieser Stationaritätsbedingung kann ein AR(1)-Prozess in einen äquivalenten Moving-Average-Prozess unendlicher Ordnung [MA()-Prozess] überführt werden und um-gekehrt. Man sagt aus, dass Gl. (3.2.7) die MA-Darstellung des AR(1)-Prozesses (3.2.6) ist.
Da der AR(1)-Prozess bei Gültigkeit der Stationaritätsbedingung (3.2.10) in einen MA()-Prozess invertierbar ist, kennzeichnet (3.2.10) zugleich die Invertierbar-keitsbedingung. Analog kann gezeigt werden, dass ein MA(1)-Prozess in einen AR()-Prozess invertiert werden kann, wenn
ist.
Die allgemeine Bedingung für die Stationarität eines AR-Prozesses, dass die Wurzeln z1, z2,..., zp des charakteristischen Polynoms
außerhalb des Einheitskreises liegen müssen, führt im Falle des AR(1)-Prozesses un-mittelbar zur oben begründeten Stationaritätsbedingung :
11 11
11
0z...zz1 pp
221
11
Die Wurzel liegt nämlich genau dann außerhalb des Einheitskreises, wenn der absolute Wert von kleiner als eins ist ( ).
Bei komplexen Zahlen :
1z 0z1 111
11
z
11 1 11
ibaz
b(Imaginärteil)
a(Realteil)
b1
a1
ibaz 111
außerhalb des Einheitskreises:
1b,1a 11
• AR(2)-Prozess
(3.2.11)
Bem.: Xt als Abweichung vom Mittelwert µ vorausgesetzt
Allg. (3.3.12)
- Autokovarianzen und Autokorrelationen
21
t2t21t1t
1
UXXX
tt2
21
t2t21t1t
UX)BB1(
UXXX
)B(
0
)UX(E
1
)XX(E
0
)X(E
1
)XX(E
UXXXXXX
XUXXX
t1t2t1t22
1t1t1t
t1t2t1t22
1t1t1t
1tt2t21t1t
(3.2.12)
(3.2.13)
Allg. (3.2.14)
Bezieht man die Autokovarianzen auf die Varianz des AR(2)-Prozesses, so erhält man
(3.2.15)
und
12011
0
)UX(E
0
)X(E
1
)XX(E
2
)XX(E
UXXXXXX
XUXXX
t2t2
2t21t2t1t2t
t2t2
2t21t2t1t2t
2tt2t21t1t
02112
2211
12112112011 )1(2
11 1
0
(3.2.16) Einsetzen von in (3.2.15):
Allg. (3.2.17)
Die Gleichungen (3.2.14) und (3.2.17) heißen Yule-Walker-Gleichungen.
Aus (3.2.17) lassen sich Autokorrelationskoeffizienten des AR(2)-
Prozesses für rekursiv bestimmen.
- Varianz von Xt:
unabh. zw. Xt-1 und Ut und zw. Xt-2 und Ut
21102112 2
11 1
22
112 1
2
2221
2 1
)1(
... 1,2, ,2211
2
)U(Var)XX(Var
)UXX(Var)X(Var
UXXX
t2t21t1
t2t21t1t
t2t21t1t
Stationarität
(3.2.18)
Yule-Walker-Gleichung für
(3.2.19)
Lösung nach 0 ergibt:
(3.2.20)
Herleitung:
Aus (3.2.18) folgt:
)U(Var)X,X(Cov
2)X(Var)X(Var
t2t1t
212t221t
21
21210
210
210 2
12011
2 Gleichungen in den beiden Unbekannten 0 und 1 (können simultan gelöst werden).
2u1210
220
21 2
:1
21
222
22
0)1()1(
)1(
21210
220
210 2
Aus (3.2.19) folgt:
Wird in die erste Gleichung eingesetzt, ergibt sich
woraus man nach weiterer Umformung (3.2.19) erhält.
101
1 für 1
,2)1)(1(
)1(
)1()1
21(
12
221
22
212
22
0
22
2
2212
2210
20
2
1210
220
210
02
11012101121 1
)1(
Charakteristische Gleichung:
[z1 und z2 müssen außerhalb des Einheitskreises liegen, wenn (Xt) ein stationärer Prozess ist.]
Je nachdem, ob die Wurzeln z1 und z2 reell oder konjugiert-komplex sind und in Abhängigkeit des Vorzeichens der Parameter ergeben sich unterschiedliche charakteristische Verläufe der Autokorrelationsfunktion.
Normalform 01
zz
0zz1
22
12
221
=a =b
2
2
2
1
2
12
211
22b
2a
2a
z
2
211
221 4
21
z
Invertierbarkeit (und damit auch Stationarität )Stationaritätsbedingungen:
21 und
Reelle Wurzeln:
ACF sinkt exponentiell bei Stationarität.
- Komplexe Wurzeln:
ACF verläuft mit gedämpften Schwingungen bei Stationarität.
- Stationarität
falls
a)
Aus folgt
04 221
04 221
1z,1z 21
2
22
22
21
1bb
4a
4a
b2a
2a
b2a
2a
zz
1z,1z 21
,111
damit und 1zz 22
21
2
1
woraus man die Stationaritätsbedingung (a1) erhält.
b) Eine weitere Stationaritätsbedingung bezüglich der Koeffizienten des AR(2)-Modells lässt sich aus
herleiten: , d.h.
11
11
12
1
und
11 2
1
>0 wegen (a1)
>0 wegen (a1)
)1)(1( 21 21 1
121 121)2b(
1oder1 1221 )1b(
11 2
11 2
11
11 2
1
Bemerkung: (b2)
d.h. die rechte Seite von (a1) wird durch (b1) und (b2) impliziert, so dass die Stationaritätsbedingungen für die Koeffizienten auch durch oder
(S)
wiedergegeben werden können.
,122
11
11
22
22
2121
1
21 und
1,1,1 21121
1,1,1 21211
Trägt man die Stationaritätsbedingungen (S) in einem -Koordinatensysten ein, so erhält man ein sog. „Stationaritätsdreieck“, innerhalb dessen die zulässigen Paare ( ) liegen. Die Parabel
trennt dagegen die zyklischen und nicht zyklischen Verläufe: unterhalb der Parabel liegt der -Bereich für einen zyklischen Verlauf, oberhalb der -Bereich für einen nicht zyklischen Verlauf.
21, 21,
04 221
21,
21,
Abbildung 3.5: Stationaritäts- und Schwingungsbedingungen („Stationaritätsdreieck“ und Parabel)
-1
-11
1
21
2
0
04 221
121 121
12 =
Beispiel eines AR(2)-Prozesses
tt2
t2t1tt
UX)B1,0B7,01(
UX1,0X7,0X
- Überprüfen der Stationarität (Invertierbarkeit):
Charakter. Gleichung:
(ACF sinkt exponentiell)
0z1,0z7,01 2
5,15,34
40495,3
1027
5,3b2a
2a
z22
21
5z2z 21
010z7z2
=a =b
[Normalform]
Allg. AR(p)-Prozess
tptp2t21t1t UX...XXX
Bestimmung der Autokorrelationsfunktion
)XU(E)XX(E...)XX(E)XX(E)XX(E tttptpt2t2t1t1tt
iti-t )XE(X Es gilt
und (3.2.21) , da
(3.2.22)
(3.2.23)
Die Autokorrelationsfunktion eine AR(p)-Prozesses hat für p>2 einen mit derjenigen ei-nes AR(2)-Prozesses vergleichbaren Verlauf. Insbesondere ist es eine exponentiell ab-nehmende Funktion, was monoton oder in gedämpften Schwingungen erfolgen kann.
0für 0)XE(U tt
02xpp2211 :...
0,... pp2211
abhängt. ... ,UU,UvonnurX 2t,1t-t -t
[Yule-Walker-Gleichungen]
Die Yule-Walker-Gleichungen erlauben eine iterative Berechnung des ACFs.
Ausführliche Schreibweise von (3.2.23):
Matrizenschreibweise (unter Berücksichtigung von ):
=1
=1
=1
p
2
1
3p2p1p
2p11
1p21
p
2
1
1
1
1
(3.2.24)
0p2p21p1p
2pp02112
1pp12011
...
...
kompakte Schreibweise:
(3.2.24) ist ein lineares Gleichungssystem (p Gleichungen, p Unbekannte),
aus dem bei linearer Unabh. der p Gleichungen die p ACFs
bestimmt werden können. Daraus lassen sich die ACFs iterativ
bestimmen.
[Bem.: Bei der Schätzung eines AR(p)-Modells wird der umgekehrte Weg
beschritten: bei gegebenem Schätzern der
Autokorrelationskoeffizienten werden aus (3.2.24) Schätzer für
die Koeffizienten ermittelt:
].
p21 ,...,, ,p,
p21 ,...,, p21 ˆ,...,ˆ,ˆ
p21 ˆ,,ˆ,ˆ p21 ,...,,
1pxpxp1px Ρρ
1pxpxp
1
1pxˆˆˆ ρΡ
Varianz von Xt
)XU(E)XX(E...)XX(E)XX(E)X(Var)X(E
(.)E,XUX...XXX
tttptpt2t2t1t1t2t
.2.1ttptp2t21t1t
2u
2t
tptp2t21t1ttt
)U(E
)UX...XX(UE)XU(E
Unabhängigkeit zw. Ut und Xt-1, Xt-2, ..., Xt-p
)...1(
)...1(
)...(
...
...
pp2211
2u
0
2upp22110
2upp22110
2u0pp022011
00
2upp22110