Zeitreihenanalyse Einstieg und Aufgaben - Akademiestudien · PDF fileDas Werk ist...

Thomas Mazzoni

ZeitreihenanalyseEinstieg und Aufgaben

Das Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere das Recht der Vervielfältigung und Ver-breitung sowie der Übersetzung und des Nachdrucks, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Kein Teil desWerkes darf in irgendeiner Form (Druck, Fotokopie, Mikrofilm oder ein anderes Verfahren) ohne schriftliche Genehmigung derFernUniversität reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.

Vorwort

Die Analyse ökonomischer Zeitreihen ist ein komplexes Gebiet der quantitati-ven Wirtschaftsforschung. Das notwendige mathematische Instrumentariumist anspruchsvoll und in der Regel nicht oder nur teilweise Bestandteilder wirtschaftswissenschaftlichen Ausbildung. Dieses Skript verfolgt daherdas Ziel, den Einstieg in die Welt der quantitativen Analyse ökonomischerZeitreihen zu erleichtern. Es findet sich hier ein buntes Sammelsurium ausveranschaulichenden Erklärungen, Aufgaben, Kochrezepten und mathema-tischen Basics, die Studierenden der Wirtschaftswissenschaften den Einstiegin die quantitativen Konzepte erleichtern sollen.

Dieses Skript kann sowohl als begleitendes Material zum eigentlichenKurs parallel bearbeitet sowie auch dem Kurs vorgeschaltet werden. Letzt-genannte Strategie empfiehlt sich für Studierende ohne ausgesprochenemathematische Vorbildung. Keinesfalls ist dieser Einstieg geeignet, dasStudium des Kurses 00889 zu ersetzen, da dort noch viele weiterführendeKonzepte behandelt werden. Er soll vielmehr als Generator für das Ver-ständnis der hinter den formalen Verfahren liegenden Ideen fungieren. Mitdem Verständnis dieser Ideen degeneriert der zugehörige mathematischeBallast zu einer alternativen Darstellung, die sich nun einfacher verstehenlässt, da eine intuitive Referenz vorhanden ist.

Mein Dank gilt Herrn Prof. Dr. Hermann Singer und meinen KolleginnenMarina Lorenz, Daniela Doliwa und Anja Bittner für gewissenhafte Lektüreund vielfältige Unterstützung.

i

Inhaltsverzeichnis

1 Zeitreihen im Allgemeinen 1

2 AR-Prozesse und Elementares 52.1 Der AR(1)-Prozess . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1.1 Zentrierter AR(1)-Prozess . . . . . . . . . . . . . . . . 62.1.2 Stationarität des AR(1)-Prozesses . . . . . . . . . . . . 62.1.3 Wissenswertes über den AR(1)-Prozess . . . . . . . . . 11

2.2 Autokovarianz und Autokorrelation . . . . . . . . . . . . . . . 122.2.1 Autokovarianz . . . . . . . . . . . . . . . . . . . . . . . 142.2.2 Autokorrelation . . . . . . . . . . . . . . . . . . . . . . 152.2.3 Partielle Autokorrelation . . . . . . . . . . . . . . . . . 16

2.3 Parameterschätzung . . . . . . . . . . . . . . . . . . . . . . . 202.3.1 Parameterschätzung und Stationarität . . . . . . . . . 222.3.2 Kleinste Quadrate (KQ) . . . . . . . . . . . . . . . . . 242.3.3 Maximum Likelihood (ML) . . . . . . . . . . . . . . . 282.3.4 Konfidenzintervalle . . . . . . . . . . . . . . . . . . . . 32

2.4 Der AR(2)-Prozess . . . . . . . . . . . . . . . . . . . . . . . . 362.4.1 Operatoren . . . . . . . . . . . . . . . . . . . . . . . . 372.4.2 Stationarität des AR(2)-Prozesses . . . . . . . . . . . . 392.4.3 Darstellung in Polar-Koordinaten . . . . . . . . . . . . 432.4.4 Autokovarianz und Autokorrelation . . . . . . . . . . . 462.4.5 Parameterschätzung . . . . . . . . . . . . . . . . . . . 50

2.5 AR(p)-Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . 502.5.1 Stationarität des AR(p)-Prozesses . . . . . . . . . . . . 512.5.2 Autokovarianz und Autokorrelation . . . . . . . . . . . 512.5.3 Parameterschätzung . . . . . . . . . . . . . . . . . . . 52

3 MA-Prozesse 553.1 AR(1)- und MA(unendlich)-Darstellung . . . . . . . . . . . . . 563.2 Der MA(1)-Prozess . . . . . . . . . . . . . . . . . . . . . . . . 56

3.2.1 Parameterschätzung . . . . . . . . . . . . . . . . . . . 593.3 MA(q)-Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . 61

3.3.1 Autokovarianz und Autokorrelation . . . . . . . . . . . 613.3.2 Invertierbarkeit . . . . . . . . . . . . . . . . . . . . . . 643.3.3 Parameterschätzung . . . . . . . . . . . . . . . . . . . 66

iii

INHALTSVERZEICHNIS

4 ARMA-Prozesse und Erweiterungen 694.1 Der ARMA(1,1)-Prozess . . . . . . . . . . . . . . . . . . . . . 70

4.1.1 Parameterschätzung . . . . . . . . . . . . . . . . . . . 734.2 ARIMA und SARIMA . . . . . . . . . . . . . . . . . . . . . . 74

4.2.1 ARIMA(p, d, q)-Modelle . . . . . . . . . . . . . . . . . 744.2.2 Seasonal ARIMA-Modelle . . . . . . . . . . . . . . . . 77

4.3 ARMAX-Modelle . . . . . . . . . . . . . . . . . . . . . . . . . 784.3.1 Das ARMAX(1,0,1)-Modell . . . . . . . . . . . . . . . 794.3.2 ARMAX(p, s, q)-Modelle . . . . . . . . . . . . . . . . . 81

4.4 Modellidentifikation . . . . . . . . . . . . . . . . . . . . . . . . 824.4.1 Akaike-Informationskriterium . . . . . . . . . . . . . . 834.4.2 Bayes-Informationskriterium . . . . . . . . . . . . . . . 854.4.3 Modellselektion . . . . . . . . . . . . . . . . . . . . . . 86

5 Bedingt heteroskedastische Prozesse 895.1 ARCH-Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . 91

5.1.1 Das ARCH(1)-Modell . . . . . . . . . . . . . . . . . . . 915.1.2 Stationarität des ARCH(1)-Prozesses . . . . . . . . . . 935.1.3 Kurtosis im ARCH(1)-Modell . . . . . . . . . . . . . . 955.1.4 Parameterschätzung im ARCH(1)-Modell . . . . . . . . 985.1.5 Das ARCH(p)-Modell . . . . . . . . . . . . . . . . . . . 101

5.2 GARCH-Modelle . . . . . . . . . . . . . . . . . . . . . . . . . 1035.2.1 Das GARCH(1,1)-Modell . . . . . . . . . . . . . . . . . 1045.2.2 Das GARCH(p, q)-Modell . . . . . . . . . . . . . . . . 105

5.3 ARMA-GARCH und asymmetrische Erweiterungen . . . . . . 1065.3.1 ARMA-GARCH . . . . . . . . . . . . . . . . . . . . . 1075.3.2 Asymmetrische GARCH-Modelle allgemein . . . . . . . 1085.3.3 Threshold ARCH . . . . . . . . . . . . . . . . . . . . . 1095.3.4 Quadratic GARCH . . . . . . . . . . . . . . . . . . . . 1105.3.5 Exponential GARCH . . . . . . . . . . . . . . . . . . . 1105.3.6 Symmetrische vs. asymmetrische Modelle . . . . . . . . 1135.3.7 ARCH in Mean . . . . . . . . . . . . . . . . . . . . . . 114

5.4 Modellidentifikation und Selektion . . . . . . . . . . . . . . . . 1165.4.1 ARMA vs. GARCH . . . . . . . . . . . . . . . . . . . . 1165.4.2 Modellordnung und Selektion . . . . . . . . . . . . . . 118

6 Zustandsraummodelle und Kalman-Filter 1196.1 Das lineare Filterproblem . . . . . . . . . . . . . . . . . . . . 1196.2 Zustandsraummodelle . . . . . . . . . . . . . . . . . . . . . . . 122

6.2.1 Architektur des Zustandsraummodells . . . . . . . . . 1236.2.2 AR(p)-Modelle und VAR(1)-Darstellung . . . . . . . . 126

iv

INHALTSVERZEICHNIS

6.2.3 ARMA-Modelle in Zustandsraumform . . . . . . . . . 1276.3 Kalman-Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

6.3.1 Die Bayes-Formel . . . . . . . . . . . . . . . . . . . . . 1316.3.2 Mess-Update . . . . . . . . . . . . . . . . . . . . . . . 1326.3.3 Innovation und effizientes Kalman-Update . . . . . . . 1356.3.4 Time-Update und Kalman-Filter-Algorithmus . . . . . 1366.3.5 Zustandsschätzung und Prognose . . . . . . . . . . . . 1386.3.6 Parameterschätzung . . . . . . . . . . . . . . . . . . . 140

6.4 ARV-Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . 1416.4.1 Zustandsraumform des ARV-Modells . . . . . . . . . . 141

7 Tipps und Tricks 1457.1 Zentrale Momente einer Normalverteilung . . . . . . . . . . . 1457.2 Einfache Berechnung stationärer Momente . . . . . . . . . . . 1457.3 Vereinfachte Kovarianzformel . . . . . . . . . . . . . . . . . . 1477.4 Hodrick-Prescott-Filter . . . . . . . . . . . . . . . . . . . . . . 147

8 Lösungen 149

v

1Zeitreihen im Allgemeinen

Eine Zeitreihe ist zunächst, wie ihr Name schon nahelegt, eine Reihe oder Se-quenz zeitlich geordneter Daten. Traditionell wird die Zeitreihe durch einenkleinen Buchstaben mit Index, bspw. (yt)t=1,...,T , gekennzeichnet. Dabei han-delt es sich um die Menge

(yt)t=1,...,T =y1, y2, . . . , yT−1, yT

(1.1)

zeitlich geordenter Werte. Der Index t muss dabei nicht zwangsläufig beieins beginnen oder bei T enden, häufig beginnen Zeitreihen auch mit einem(bekannten) Anfangswert y0 woraus folgt, dass der Index der Zeitreihe (1.1)auch bei t = 0 beginnen könnte.

Diese Definition einer Zeitreihe hat zunächst noch nichts mit Zufallsva-riablen oder Ähnlichem zu tun, sie besagt nur, dass die erfassten Werte ineinem zeitlich geordneten Verhältnis zueinander stehen. Ziel der Zeitreihen-analyse ist es eine Systematik in dieser Zeitordnung zu identifizieren undmathematisch zu erfassen, um die Zeitreihe damit weiteren mathematischenDiagnoseverfahren zuführen zu können oder um mit Hilfe des gefundenenZusammenhangs Vorhersagen über den weiteren Verlauf der Zeitreihemachen zu können.

1

KAPITEL 1. ZEITREIHEN IM ALLGEMEINEN

Beispiel 1.1:

Die Zeitreihe

(yt)t=0,...,5 =

1,

1

2,1

4,1

8,

1

16,

1

32

hat ganz offensichtlich eine Struktur. Der Wert zum Zeitpunkt tist immer die Hälfte des Wertes des vorangegangenen Zeitpunktest− 1. Daher kann die Zeitreihe durch die Vorschrift

yt =1

2yt−1

repräsentiert werden.

Mit Hilfe der erkannten Struktur lassen sich nun auch Vorhersagen für zu-künftige Werte der Zeitreihe machen. Dies kann entweder rekursiv geschehen,indem man ausgehend von einem bekannten Wert solange den folgenden Wertberechnet, bis die Prognose für den gewünschten Zeitpunkt verfügbar ist,oder durch Ermitteln einer expliziten Funktion. Man verifiziert leicht denfolgenden Zusammenhang für die Zeitreihe in Beispiel 1.1

y1 =1

2y0 =

1

2

y2 =1

2y1 =

(1

2

)2

y0 =1

4

y3 =1

2y2 =

(1

2

)2

y1 =

(1

2

)3

y0 =1

8,

(1.2)

woraus die explizite Form

yt =

(1

2

)ty0 =

(1

2

)t(1.3)

hervorgeht. Das zweite Gleichheitszeichen in (1.3) gilt weil die Anfangsbe-dingung y0 = 1 ist. Mit Hilfe der expliziten Form (1.3) lässt sich auch einGrenzwert für t→∞ berechnen

limt→∞

yt = limt→∞

(1

2

)t= 0. (1.4)

Die Existenz eines solchen Grenzwertes ist eng mit dem Begriff der Sta-tionarität von Zeitreihen verbunden. Vereinfacht ausgedrückt bedeutet

2

Stationarität, dass die Eigenschaften einer Zeitreihe auf lange Sicht (also fürgroße t) nicht mehr spürbar vom Index t abhängen.

In der Realität sind die Zusammenhänge natürlich nicht so einfach wie inBeispiel 1.1 dargestellt. Verschiedene Komplikationen können beim Betrach-ten von Zeitreihen auftreten. Einige sollen an dieser Stelle explizit aufgeführtwerden:

• Die Werte einer Zeitreihe lassen sich für gewöhnlich keiner so klarenSystematik zuführen wie es im Beispiel 1.1 der Fall war. Meistens sindsie „verrauscht“. Daher wird es in der Regel notwendig sein, eine weitereVariable in die Funktionsvorschrift aufzunehmen, die diese Abweichun-gen kompensiert, bspw.

yt = φyt−1 + εt.

Der Parameter φ war in Beispiel 1.1 mit φ = 12gewählt worden, er kann

jedoch auch andere Werte annehmen. Die zweite Variable εt wird in derRegel als zufallsabhängig angenommen, mit einer an dieser Stelle nichtnäher spezifizierten Verteilung. Daher auch der Begriff „verrauscht“, weilman annimmt, dass εt den irregulären und nicht vorhersagbaren Anteildes Zusammenhangs darstellt.

• Die Präsenz eines Zufallseinflusses in der Funktionsgleichung hat weit-reichende Folgen. Die Werte yt der Zeitreihe sind damit selbst Zu-fallsvariablen, die mit Hilfe angemessener statistischer Instrumente wieVerteilungs- bzw. Dichtefunktionen, Erwartungswerte etc. analysiertwerden müssen.

• Es ist weiterhin denkbar, dass der Wert yt nicht ausschließlich syste-matisch vom vorangegangenen Wert yt−1 abhängt, sondern vielleichtebenfalls noch von yt−2. Solche Prozesse werden allgemein als autore-gressiv bezeichnet (AR-Prozesse), wobei auch häufig die Form AR(p)-Prozess zur Charakterisierung verwendet wird. Der Parameter p gibtdabei die (größte) zeitliche Verzögerung an, mit der vergangene Wer-te der Zeitreihe noch auf den gegenwärtigen Wert wirken. Beispiel 1.1stellt also einen AR(1)-Prozess dar, da der Gegenwartswert yt lediglichvon yt−1 abhängt. Wäre zusätzlich noch eine Abhängigkeit von yt−2 zuberücksichtigen gewesen, würde es sich um einen AR(2)-Prozess han-deln.

• Die Zeitreihe könnte für t → ∞ divergieren. Eine solche Nicht-Stationarität hat schwerwiegendere Folgen als man zunächst vermuten

3

KAPITEL 1. ZEITREIHEN IM ALLGEMEINEN

könnte. Da es sich im Allgemeinen bei den Werten yt der Zeitreihe umZufallsvariablen handelt würde hier der Erwartungswert für t→∞ di-vergieren. In der Statistik beruhen aber außerordentlich viele wichtigeSchätzfunktionen und Teststatistiken auf der Bedingung E|X| <∞, al-so darauf, dass der Erwartungswert einer Zufallsvariable X eben nichtdivergiert.

Diese Probleme zu meistern oder Bedingungen anzugeben, unter denen sol-che Komplikationen behandelbar sind, ist die größte Herausforderung in derZeitreihenanalyse.

4

2AR-Prozesse und Elementares

Wir haben bereits in Beispiel 1.1 eine einfache Manifestation des AR(1)-Prozesses kennengelernt. Wir werden nun einige Eigenschaften dieser Prozess-klasse zusammentragen und dabei auf allgemeinere Eigenschaften schließen.Das notwendige mathematische Instrumentarium wird dabei an den entspre-chenden Stellen in Form eines kurzen Repetitoriums (Kochkurs) eingescho-ben.

2.1 Der AR(1)-ProzessIn seiner allgemeinen Form wird der AR(1)-Prozess als

yt = φyt−1 + εt (2.1)

notiert. Der Parameter φ stellt dabei den AR-Parameter dar, der angibt, wiestark der vergangene Wert yt−1 bei der Berechnung des gegenwärtigen Wertesyt berücksichtigt wird. φ besitzt deshalb den Charakter eines Gewichts. DieZufallsvariable εt sei normalverteilt mit Erwartungswert 0 und Varianz σ2.

Einschub: Normalverteilung

Eine stetige Zufallsvariable X ist normalverteilt mit E[X] = µund Var [X] = σ2, wenn ihre Wahrscheinlichkeitsdichte die Form

p(x) =1√

2πσ2e−

12(x−µσ )

2

besitzt. Die Normalverteilung ist in der Statistik so wichtig, weileine große Summe von unabhängigen Zufallsvariablen durch eineentsprechende Normalverteilung approximiert werden kann (zen-traler Grenzwertsatz).

Der Fehlerterm εt in (2.1) wird mit Erwartungswert 0 spezifiziert, da jeder

5

KAPITEL 2. AR-PROZESSE UND ELEMENTARES

andere Wert ja einen systematischen Einfluss auf yt hätte, der Zufallsfehleraber gerade die nichtsystematischen Einflüsse repräsentiert. Die Normalver-teilungsannahme ist deswegen plausibel, weil man davon ausgeht, dass unterεt eine nahezu unbegrenzte Anzahl von voneinander unabhängigen Einflüssensubsummiert wird, die in Konsequenz des zentralen Grenzwertsatzes durcheine Normalverteilung approximiert werden können. Nichtsdestotrotz könnenauch andere Verteilungen spezifiziert werden!

2.1.1 Zentrierter AR(1)-Prozess

Es ist in wirtschaftswissenschaftlichen Anwendungen gelegentlich auch erfor-derlich die Abweichungen von bestimmten Werten über die Zeit zu untersu-chen. Beispielsweise die Abweichung der Arbeitslosigkeit von der natürlichenArbeitslosenquote oder ähnliches. In diesem Fall kann der AR(1)-Prozess(2.1) mit der Substitution yt = xt − µ betrachtet werden

xt − µ = φ(xt−1 − µ) + εt. (2.2)

µ repräsentiert dabei den interessierenden (langfristigen) Gleichgewichtszu-stand. Nach Ausmultiplizieren von (2.2) und Umstellen erhält man

xt = (1− φ)µ+ φxt−1 + εt, (2.3)

was insofern erstaunlich ist, als dass xt offenbar als gewichtetes Mittel ausdem Gleichgewichtswert und dem vergangenen Wert gebildet wird, falls0 < φ < 1 gilt und die Zufallseinflüsse einmal vernachlässigt werden.

Die Verwendung des Buchstabens µ für den langfristigen Gleichgewichts-wert an dieser Stelle ist natürlich suggestiv, da µ für gewöhnlich für denErwartungswert verwendet wird. Wir werden im nächsten Abschnitt sehen,was es damit auf sich hat.

2.1.2 Stationarität des AR(1)-Prozesses

Wir leiten nun die Bedingung ab, unter der der AR(1)-Prozess stationärist. Wir haben in (1.3) eine explizite Formel für yt hergeleitet, die jedochnicht ohne weiteres auf den AR(1)-Prozess (2.1) zu übertragen ist, da hierein Zufallseinfluss involviert ist. Es könnten aber ganz ähnliche Formelnzum Tragen kommen, die sich nicht auf yt selbst beziehen, sondern auf dieMomente der Verteilung von yt.

6

2.1. DER AR(1)-PROZESS

Einschub: Momente

Mit Momenten werden wichtige Kenngrößen einer Wahr-scheinlichkeitsverteilung bezeichnet. Das erste Moment ist derErwartungswert, der sich für eine stetige Zufallsvariable Xaus

µ =

∫xp(x)dx

berechnet, wobei p(x) die Wahrscheinlichkeitsdichtefunktiondarstellt. Höhere Momente werden in Form von Abweichun-gen vom Erwartungswert angegeben (zentrale Momente)

mk =

∫(x− µ)kp(x)dx.

Das zweite zentrale Moment entspricht damit gerade der Va-rianz, m2 = σ2. Wir werden später sehen, dass auch höhereMomente bei der Analyse von Zeitreihen eine Rolle spielenkönnen.

Wir betrachten den AR(1)-Prozess yt = φyt−1 + εt bzw. den zentrierten Pro-zess yt = xt − µ. Der Zufallsfehler sei normalverteilt mit εt ∼ N(0, σ2) undder Anfangswert y0 sei bekannt. Für den Erwartungswert des (zentrierten)AR(1)-Prozesses erhalten wir

E[yt] = φE[yt−1] bzw. E[xt]− µ = φ(E[xt−1]− µ

). (2.4)

Der Erwartungswert des Fehlerterms εt ist gerade null, daher taucht er nichtmehr in der Erwartungswertgleichung (2.4) auf. Der Gleichgewichtswert µ isteine deterministische Größe, daher gilt E[µ] = µ. Es kann nun dasselbe Re-kursionsprinzip wie in (1.2) auf Seite 2 angewendet werden, um eine expliziteDarstellung für den Erwartungswert von yt abzuleiten. Man erhält so

E[yt] = φtE[y0] = φty0 (2.5)

bzw. einen analogen Ausdruck für den zentrierten Prozess yt = xt − µ. Be-rechnet man weiterhin den Grenzwert für großes t,

limt→∞

E[yt] = limt→∞

φty0, (2.6)

erkennt man sofort, dass der Erwartungswert nur dann gegen null strebt,wenn die Bedingung |φ| < 1 erfüllt ist. Für |φ| > 1 divergiert der Prozess,woraus hervorgeht, dass kein stationärer Erwartungswert existiert. Der Fall

7


|φ| = 1 ist ein Spezialfall, da der stationäre Erwartungswert hier der An-fangsbedingung entspricht. Diesen Fall bezeichnet man als Einheitswurzel.Dieser Begriff wird später klarer, wenn wir das AR(2)-Modell betrachten. ImFall einer Einheitswurzel liegt dennoch kein stationärer Prozess vor, da dieVarianz divergiert, wie wir im Anschluss zeigen werden. Bis hierher haben wirden stationären Erwartungswert ermittelt, der unter der Bedingung |φ| < 1existiert

E[yst.] = 0 bzw. E[xst.] = µ für |φ| < 1. (2.7)

Für die Varianz des AR(1)-Prozesses gilt die rekursive Formel

Var[yt] = Var[φyt−1 + εt] = φ2Var[yt−1] + σ2. (2.8)

Dieses Ergebnis mag nicht unmittelbar einleuchten, daher hier ein kurzerEinschub zu den Rechenregeln von Varianzen.

Einschub: Varianzen

SeienX und Y zwei unabhängige Zufallsvariablen undc eine beliebige Konstante, dann gilt

1. Var[c] = 0

2. Var[cX] = c2Var[X]

3. Var[X + Y ] = Var[X − Y ] = Var[X] + Var[Y ].

Voraussetzung für die Gültigkeit der letzten Eigen-schaft ist die Unabhängigkeit der Zufallsvariablen.

εt ist von φyt−1 unabhängig, da der zum Zeitpunkt t − 1 manifestierteWert der Zeitreihe keinen Einfluss auf die Realisierung der Zufallsvariableεt zum Zeitpunkt t hat. Daher zerfällt die gemeinsame Varianz in (2.8) indie Summe der Einzelvarianzen. φ ist eine Konstante und rückt deshalbquadratisch vor die Varianz von yt−1. Die Varianz von εt ist bereits bekanntund für jeden Zeitpunkt gleich, Var[εt] = σ2.

Der nächste Schritt ist nun wieder eine explizite Vorschrift für Var[yt]abzuleiten und dann den Grenzwert für t → ∞ zu betrachten. DieseIteration gestaltet sich geringfügig sperriger als die des Erwartungswertes,daher kommt an dieser Stelle zunächst eine kurze Auffrischung zum Sum-menoperator und der geometrischen Reihe.

8


Einschub: Summenzeichen und geometrische Reihe

Das Summenzeichen ist eine bequeme Art lange Additions-ketten zu schreiben

n∑k=1

xk = x1 + x2 + x3 + . . .+ xn−1 + xn.

Der Index unter und über dem Operator gibt dabei die „Lauf-grenzen“ der Summation an. Im Weiteren werden wir ein Po-lynom betrachten, das durch folgende Summe gebildet wird

n∑k=0

xk = 1 + x+ x2 + . . .+ xn−1 + xn.

Diese Summe wird als geometrische Reihe bezeichnet und istein wichtiges Instrument in der Zeitreihenanalyse. Die geome-trische Reihe besitzt folgende nützliche Eigenschaft

∞∑k=0

xk =1

1− xfür |x| < 1,

die wir uns im Folgenden zu Nutze machen. Man beachte,dass die Summe unendlich viele Glieder besitzt.

Wir beginnen nun (2.8) vorwärts zu iterieren

Var[y1] = φ2Var[y0] + σ2 = σ2

Var[y2] = φ2Var[y1] + σ2 = φ2σ2 + σ2 = σ2(1 + φ2)

Var[y3] = φ2Var[y2] + σ2 = φ4σ2 + φ2σ2 + σ2 = σ2(1 + φ2 + φ4).

(2.9)

Man erkennt schnell, dass sich bei entsprechendem Umstellen der Terme in(2.9) eine geometrische Reihe bezüglich φ2 bildet. Daher lässt sich die Varianzfür ein beliebiges Glied der Zeitreihe in der kompakten Form

Var[yt] = σ2

t−1∑k=0

(φ2)k (2.10)

angeben. Hier zeigt sich wieder die Effizienz des Summenzeichens bei derNotation langer Additionsketten. Wer mit dem Handling noch nicht vertrautist kann im Rahmen der Aufgaben am Ende dieses Abschnittes ein wenigErfahrung sammeln.

9


Die Frage nach der stationären Varianz steht noch im Raum. Dazu bildenwir wieder den Grenzwert für t → ∞ und verwenden die entsprechendeEigenschaft der geometrischen Reihe

Var[yst.] = limt→∞

σ2

t−1∑k=0

(φ2)k

=σ2

1− φ2für φ2 < 1. (2.11)

Die Bedingung φ2 < 1 für die Konvergenz der geometrischen Reihe entsprichtgenau der Bedingung |φ| < 1, die wir bereits im Rahmen der stationären Er-wartungswertgleichung (2.7) bestimmen konnten. Es ist jetzt ebenfalls klar,dass im Fall der Einheitswurzel mit φ = 1 die Varianz divergiert. Wir erhalten

limt→∞

Var[yt] = limt→∞

σ2

t−1∑k=0

1k = limt→∞

σ2

t∑k=1

1 = limt→∞

σ2t =∞. (2.12)

Wir halten zusammenfassend fest, dass die beiden stationären Momente,(2.7) und (2.11) nicht mehr vom Index t abhängen und konstant sind. Damitgelangen wir unmittelbar zur Definition der schwachen Stationarität:

Unter schwacher Stationarität versteht man die Zeitinvarianz derersten beiden Momente eines Prozesses.

Im Fall der Normalverteilung ist diese Definition besonders vorteilhaft, daeine beliebige Normalverteilung durch ihre ersten beiden Momente vollstän-dig spezifiziert ist. Für andere Verteilungen wie beispielsweise die Student-t-Verteilung oder die χ2-Verteilung gilt das nicht. Im Fall einer solchen Vertei-lung käme eine Definition der Stationarität im strengen Sinn zum Tragen:

Unter Stationarität (im strengen Sinn) versteht man die Zeitinva-rianz der gesamten Verteilung eines Prozesses.

Würde man beispielsweise den zentrierten AR(1)-Prozess (2.3) mit |φ| < 1und der zufälligen Anfangsbedingung x0 ∼ N

(µ, σ2

1−φ2

)starten, wäre der re-

sultierende Prozess augenblicklich stationär und zwar im strengen Sinn, dadie Fehlerterme normalverteilt sind und die ersten beiden Momente für jedesweitere Glied xt mit t = 1, . . . ,∞ unverändert bleiben, wie durch Einsetzenin (2.4) und (2.8) leicht zu zeigen ist.

10


Aufgabe 2.1

Berechnen Sie die folgenden Summen:

a)5∑

k=1

k, b)3∑

k=1

1

2k, c)

4∑k=0

2k, d)2∑i=1

3∑j=1

(i+ j)2

e)3∑i=1

i∑j=0

i · j, f)∞∑k=0

(3

4

)k, g)

∞∑k=1

1

2k

Aufgabe 2.2

Schreiben Sie die folgenden Terme mit dem Summenoperator:

a) 2 + 4 + 6 + . . .+ 16

b) − 1 +1

2− 1

3+

1

4− 1

5+

1

6

c) 0 +1

2+

2

3+

3

4+ . . .+

45

46d) 1 + 4 + 27 + 256

e)2

1− 12

Anmerkung: Es gibt unter Umständen mehrere Möglichkeitendie Summen zu notieren. In der Aufgabenlösung wird lediglichder kompakteste Ansatz wiedergegeben.

2.1.3 Wissenswertes über den AR(1)-Prozess

Der AR(1)-Prozess (2.1) nimmt eine gewisse Sonderstellung bei der Betrach-tung dynamischer Systeme ein. Er ist ein kausaler Prozess, was bedeutet,dass die Wirkung (linke Seite der Gleichung) nach der Ursache (rechteSeite der Gleichung) eintritt. Es gibt auch simultane, respektive akausaleModelle, wo beispielsweise auf beiden Seiten der Gleichung yt steht oderder Gegenwartswert von zukünftigen Werten abhängt. Wir werden mit derWold -Zerlegung eine noch allgemeinere Bedingung für die Kausalität einesProzesses kennenlernen.

Im Hinblick auf die Prognose im AR(1)-Modell lässt sich sagen, dassder nächste vorherzusagende Wert yt+1 lediglich vom Gegenwartswert ytabhängt. Die Kenntnis der Vergangenheit yt−1, . . . , y0 ist zur Erstellung

11


der Prognose nicht erforderlich, sie erklärt nur den Weg, den der Prozessbis zur Gegenwart genommen hat. Da wir den Gegenwartswert yt aberkennen, liefert uns die Vergangenheit keine zusätzlichen Erkenntnisse mehrbezüglich der Zukunft. Prozesse, die ihre gesamte Vergangenheit sozusa-gen im Gegenwartswert speichern, bezeichnet man als Markov -Prozesse.Markov -Prozesse sind in vielen Wissenschaftsgebieten von Interesse, da mitihnen eine außerordentlich große Zahl natürlich auftretender Phänomeneabgebildet werden kann.

Weiterhin können AR-Prozesse höherer Ordnung immer in ein Systemvon gekoppelten AR(1)-Prozessen überführt werden. Diese gekoppeltenProzesse werden meistens in Vektorform zusammengefasst und man sprichtdann von einem VAR-Prozess (Vector Auto Regressive). Wir werden spätersehen, wie sich das AR(2)-Modell in ein VAR-Modell der Dimension d = 2umschreiben lässt.

Der Spezialfall der Einheitswurzel, |φ| = 1 wird als Random Walk oderals einfache Irrfahrt bezeichnet. Gelegentlich begegnet man auch der et-was unterhaltsameren Metapher des Weges eines Betrunkenen. Die Strukturyt = yt−1 + εt zeigt, dass die nächste „Position“ sich aus der letzten, zuzüglicheines zufälligen „Schrittes“ ergibt. Wobei wie bei einem Betrunkenen nichtvorherzusagen ist, in welche Richtung der nächste Schritt wohl erfolgen wird.Ferner wird hier natürlich vernachlässigt, dass der Betrunkene stolpern undhinfallen könnte, was möglicherweise zur Stationarität des Betrunkenen führtaber nicht des Prozesses. Auch der Random Walk ist ein wichtiges dynami-sches Modell in vielen Wissenschaftsdisziplinen.

2.2 Autokovarianz und AutokorrelationWir sind nun soweit genauer zu verstehen, um was für ein Objekt es sich beieiner Zeitreihe eigentlich handelt:

Eine Zeitreihe ist eine Manifestation eines darunterliegenden (sto-chastischen) Prozesses.

Das bedeutet, ein in der Regel unbekannter Prozess erzeugt eine Reihe vonRealisierungen in der Zeit, die wir beobachten können. Diese Beobachtungs-reihe bezeichnen wir als Zeitreihe. Da wir nicht wissen, welcher Prozess dieseZeitreihe erzeugt hat, bspw. ein AR(1)-Prozess oder ein AR(2)-Prozess odereine völlig andere Prozessklasse, sind wir darauf angewiesen die Hinweise, diein der Zeitreihe verborgen sind, sehr genau auszuwerten.

12

2.2. AUTOKOVARIANZ UND AUTOKORRELATION

Die Zeitreihe ähnelt in vielerlei Hinsicht einer beliebigen Zufallsstichpro-be, mit einem entscheidenden Unterschied: Die Realisierungen sind nicht un-abhängig voneinander. Die Abhängigkeit wird sofort klar, wenn wir für denMoment einmal annehmen, der Prozess, der die Zeitreihe erzeugt hat, sei einAR(1)-Prozess

yt = φyt−1 + εt. (2.13)

Der Wert yt besteht aus der Realisation des Zufallsfehlers zuzüglich des mitdem AR-Parameter φ gewichteten vorangegangenen Wert yt−1. Für die Wahlφ = 0 würde die Zeitreihe in der Tat einer unabhängigen Zufallsstichprobeentsprechen, in der Regel gilt aber φ 6= 0.

Die Abhängigkeit der Zeitreihenwerte wird mit Hilfe ihrer Kovarianzbzw. ihrer Korrelation charakterisiert. Da es sich gewissermaßen um eineKorrelation des Merkmals mit sich selbst in der Zeit handelt, verwendetman die Begriffe Autokovarianz bzw. Autokorrelation.

Einschub: Kovarianz und Korrelation

Seien X und Y zwei Zufallsvariablen, die auf nicht nä-her spezifizierte Weise voneinander abhängen, dann ergibtsich die Kovarianz zwischen ihnen aus

Cov[X, Y ] = E[(X − E[X]

)(Y − E[Y ]

)].

Für unabhängige Zufallsvariablen ist die Kovarianz null.Die Varianz einer Zufallsvariablen ist ein Spezialfall derKovarianz

Cov[X,X] = E[(X − E[X])2] = Var[X].

Bei der Korrelation ρ handelt es sich um eine Normierungder Kovarianz in den Bereich [−1, 1]. Diese Normierungwird durch folgende Operation bewirkt

ρ[X, Y ] =Cov[X, Y ]√

Var[X]√

Var[Y ].

Die quasi Korrelation mit sich selbst bringt einen angenehmen Effekt mitsich, nämlich dass der Grad der Korrelation im stationären Zustand lediglichvom zeitlichen Abstand der Werte abhängt, jedoch nicht von der Zeit selbst.Das heißt nichts anderes, als dass beispielsweise die Autokorrelation ρ[yt, yt−1]gleich der Autokorrelation ρ[yt−1, yt−2] ist usw. Infolge dessen werden Auto-

13


korrelationen und Autokovarianzen lediglich mit einem Verschiebungsindexgeschrieben, der die Lücke (Lag) zwischen den beiden Werten angibt

γk = Cov[yt, yt−k]. (2.14)

Wir können nun die einmal getroffene Konvention (2.14) ausnutzen um diestationäre Varianz des AR(1)-Prozesses als Autokovarianz mit Lag 0 zuschreiben

γ0 = Var[yt] =σ2

1− φ2. (2.15)

Auch die stationäre Varianz bleibt für alle t gleich, denn das war ja geradeeines der Kriterien für Stationarität. Da die Varianz aber ein Spezialfall derKovarianz, nämlich mit Verschiebung (Lag) 0 ist, lässt sich intuitiv verstehen,warum die Autokovarianz im stationären Zustand nur vom Lag abhängendarf. In der Tat wird die schwache Stationarität auch als Kovarianzstationa-rität bezeichnet und es wird im Allgemeinen definiert:

Ein Prozess ist schwach stationär (kovarianzstationär), wenn seineersten beiden Momente endlich und konstant (invariant gegenüberZeitverschiebungen) sind und die Autokovarianz lediglich von derVerschiebung aber nicht von der Zeit abhängt.

Dies ist eine Erweiterung gegenüber unserer vorangegangenen Definitionschwacher Stationarität. Wir kannten jedoch zu diesem Zeitpunkt noch nichtdie Rolle der Autokovarianz. Ferner ist es nicht nötig bezüglich der Autoko-varianz den zentrierten Prozess yt = xt − µ gesondert zu betrachten, da

Cov[xt, xt−k] = E[(xt − µ)(xt−k − µ)

]= E[ytyt−k] = Cov[yt, yt−k] (2.16)

gilt.

2.2.1 Autokovarianz

Wir werden nun die Autokovarianz für den AR(1)-Prozess ausrechnen. Wirbeginnen naheliegenderweise mit dem Lag 1. Man sollte dabei im Hinter-kopf behalten, dass der AR(1)-Prozess (2.13) den stationären Erwartungs-wert E[yt] = 0 und die stationäre Varianz Var[yt] = γ0 für alle t besitzt.

γ1 = Cov[yt, yt−1] = E[ytyt−1]

= E[(φyt−1 + εt)yt−1

]= E[φy2

t−1] + E[εtyt−1]

= φVar[yt−1] + Cov[εt, yt−1]

= φγ0

(2.17)

14


Es wurde in der Herleitung (2.17) wieder das frühere Ergebnis benutzt, dassder Zufallsfehler εt nicht vom Vergangenheitswert yt−1 abhängt. Folglich istderen Kovarianz null.

Als nächstes soll nun die Autokovarianz mit Lag 2 berechnet werden. Wirmodifizieren dafür den Ansatz (2.17) zu



]= E[φyt−1yt−2] + E[εtyt−2]

= φCov[yt−1, yt−2] + Cov[εt, yt−2]

= φγ1 = φ2γ0.

(2.18)

Wir haben hier wieder ausgenutzt, dass der Fehlerterm εt von vergangenenZeitreihenwerten unabhängig ist.

Aufgabe 2.3

Berechnen Sie die Autokovarianz mit Lag 3.

Wir erhalten offensichtlich eine AR-Repräsentation der Autokovarianz mitbeliebigem Lag k

γk = φγk−1. (2.19)Diese Repräsentation (2.19) wird Yule-Walker -Gleichung genannt. Sie stelltdie Verbindung zwischen Autokovarianz bzw. Autokorrelation (wie wir nochsehen werden) und dem AR-Prozess her. Die Yule-Walker -Gleichung lässtsich in zwei Schritten aus der Funktionsvorschrift des AR-Prozesses gewin-nen. Im ersten Schritt werden alle Terme mit verzögerten Werten mit dementsprechenden Lag multipliziert und im zweiten Schritt wird der Erwar-tungswert gebildet. (2.19) lässt sich somit einfach aus (2.13) herleiten

yt = φyt−1 + εt∣∣ · yt−k

⇒ ytyt−k = φyt−1yt−k + εtyt−k∣∣E[. . .]

⇒ E[ytyt−k] = φE[yt−1yt−k] + E[εtyt−k]

⇒ γk = φγk−1.

(2.20)

2.2.2 Autokorrelation

Die Autokorrelation ist das eigentlich wichtigere Maß der Abhängigkeit derZeitreihenwerte, da sie auf das Intervall [−1, 1] normiert ist. Die Autokorre-lation berechnet sich recht einfach für beliebiges Lag k

ρk =Cov[yt, yt−k]√

Var[yt]√

Var[yt−k]=

γk√γ0√γ0

=γkγ0

. (2.21)

15


Abbildung 2.1: Autokorrelationsfunktion mit φ = 0.75 (links) und φ = −0.8

(rechts)

Formel (2.21) birgt mehr Information, als man auf Anhieb vermuten könn-te. Setzen wir beispielsweise k = 0, so ergibt sich die einfache Korrelationρ0 = 1. Nutzen wir die Yule-Walker -Gleichung (2.19) resp. (2.20) für dieAutokovarianz aus, erhalten wir

ρk =γkγ0

=φγk−1

γ0

= φρk−1. (2.22)

Offensichtlich gilt die Yule-Walker -Gleichung auch für die Autokorrelation.Vielmehrnoch kann die Autokorrelation mit Lag k sehr bequem explizit ge-schrieben werden

ρk = φkρ0 = φk, (2.23)da ja die Korrelation mit Lag 0 genau eins ist. Man sieht in (2.23) sehrschön, dass die Autokorrelation exponentiell abfällt, wenn die Verschiebungk größer wird. Alle bis hierher gemachten Aussagen gelten natürlich nur fürstationäre Prozesse, was im Fall des AR(1)-Prozesses bedeutet |φ| < 1.

Abbildung 2.1 zeigt die Autokorrelationsfunktion (ACF) für verschiedeneWerte des AR-Parameters. Für φ = 0.75 ergibt sich ein schöner exponen-tieller Abfall der Autokorrelation. Bei negativem AR-Parameter, φ = −0.8,klingt die Autokorrelation ebenfalls exponentiell ab, jedoch mit alternieren-den Werten. Dennoch kann ebenfalls beobachtet werden, dass die ACF fürgroße Lags k gegen null strebt.

2.2.3 Partielle Autokorrelation

Die Herleitung der partiellen Autokorrelation ist formal kompliziert1, inter-essierte Leser seien deshalb an dieser Stelle auf Spezialliteratur verwiesen

1Insbesondere wird dabei die Symmetrieeigenschaft der Autokorrelation ρk = ρ−k aus-genutzt.

16


(siehe Hauptskript). Stattdessen soll zunächst die zugrundeliegende Ideeerläutert werden.

Abbildung 2.1 zeigt das Autokorrelogramm für einen AR(1)-Prozess.Wir wissen inzwischen, dass yt im AR(1)-Prozess eigentlich nur systema-tisch von yt−1 abhängt, die Autokorrelation klingt jedoch nur langsamab, weil der Einfluss früherer Werte noch wie ein „Echo“ präsent ist. InAR-Modellen höherer Ordnung treten zusätzlich noch „Interferenzen“ mitZwischenwerten hinzu. Wir wissen beispielsweise, dass ein AR(2)-Prozessdie Form yt = φ1yt−1 +φ2yt−2 + εt hat. Wie ermittelt man nun den isolierten(partiellen) Einfluss der Variable mit Lag 2, ohne die Überlagerung die vonyt−1 erzeugt wird?

Dieses Problem wird vereinfacht gesprochen durch das Verschieben derAutokorrelationen gegeneinander gelöst. Dabei werden quasi Überlagerungenund Echos herausgerechnet. Diese Verschiebung wird durch das Lösen deslinearen Gleichungssystems

ρ0 ρ1 ρ2 · · · ρk−1

ρ1 ρ0 ρ1 · · · ρk−2...

... . . . . . . ...ρk−1 ρk−2 · · · ρ1 ρ0

φk1

φk2...φkk

=

ρ1

ρ2...ρk

(2.24)

bewirkt. Zunächst gilt natürlich ρ0 = 1, daher besteht die Hauptdiagonaleder Matrix in (2.24) aus Einsen. φk1, φk2 usw. sind die partiellen Autokor-relationen. Der erste Index k gibt hier die Gesamtzahl der berücksichtigtenZwischenkorrelationen an. Wir sehen beispielsweise in Abbildung 2.1, dassdie Autokorrelation irgendwann für große Lags gegen null geht, daher istanzunehmen, dass k in übersichtlichen Größenordnungen bleibt. Der zweiteIndex gibt dann die Partielle Autokorrelation mit der entsprechenden Ver-schiebung, bereinigt um die Einflüsse von insgesamt k Lags. Zunächst abereine kleine Auffrischung zur Matrixnotation!

17


Einschub: Matrizen und Vektoren

Matrizen und Vektoren sind eine bequeme Art lineare Glei-chungssysteme zu schreiben. Beispielsweise das System

a11x1 + a12x2 = b1

a21x1 + a22x2 = b2

kann in Matrixform als(a11 a12

a21 a22

)(x1

x2

)=

(b1

b2

)geschrieben werden. Matrizen und Vektoren werden oft mitfettgedruckten Buchstaben oder Symbolen abgekürzt, wo-durch die obige Matrixgleichung in der kompakten FormAx = b notiert werden kann. Die Rechenregeln für das Pro-dukt der Matrix A mit dem Vektor x gehen unmittelbar ausder obigen Darstellung hervor.

Der Vorteil der Matrixdarstellung ist, dass ein lineares Gleichungssystemder Form Ax = b simultan durch eine Operation gelöst werden kann, die alsMatrixinversion bezeichnet wird. Diese Operation wird zu einem späterenZeitpunkt noch genauer beleuchtet. Man erhält dann eine Matrixgleichungder Form x = A−1b wodurch die Lösungen des linearen Gleichungssystemssofort im Vektor x abgelesen werden können.

Wir wollen nun die partiellen Autokorrelationen für den AR(1)-Prozessbis zum Lag k = 2 berechnen. Mit Hilfe des Gleichungssystems (2.24) erhal-ten wir (

1 ρ1

ρ1 1

)(φ21

φ22

)=

(ρ1

ρ2

). (2.25)

Um an die partiellen Autokorrelation zu kommen muss nun die (2×2)-Matrixin (2.25) invertiert werden.

18


Einschub: Determinante und Inverse einer (2×2)-Matrix

Beim Teilen durch einen Skalar a muss sichergestellt werden,dass a 6= 0 gilt, da durch null nicht geteilt werden darf. BeiMatrizen gilt eine ähnliche Bedingung, hier darf die Determi-nante nicht null werden. Die Determinante einer (2×2)-Matrix

A =

(a11 a12

a21 a22

)wird durch die Differenz der Produkte der Diagonalelementegegeben

detA = a11a22 − a12a21.

Die Determinante ist wieder ein Skalar und für detA 6= 0ergibt sich als Inverse Matrix zu A

A−1 =1

detA

(a22 −a12

−a21 a11

).

Skalare wie 1/ detA werden einfach mit jedem Element einerMatrix oder eines Vektors multipliziert oder können wie oben„vor die Matrix“ gezogen werden.

Als Determinante der Matrix in (2.25) erhalten wir 1 − ρ21 und damit die

Bedingung |ρ1| < 1 für die Existenz einer eindeutigen Lösung für das Glei-chungssystem der partiellen Autokorrelationen. Für den AR(1)-Prozess ent-spricht das gerade der Stationaritätsbedingung, da ja ρ1 = φ gilt. Wir erhal-ten also im stationären Fall(

φ21

φ22

)=

1

1− ρ21

(1 −ρ1

−ρ1 1

)(ρ1

ρ2

)=

1

1− ρ21

(ρ1 − ρ1ρ2

−ρ21 + ρ2

), (2.26)

bzw. einzeln notiert

φ21 =ρ1 − ρ1ρ2

1− ρ21

und φ22 =ρ2 − ρ2

1

1− ρ21

. (2.27)

Setzt man nun die Autokorrelationsvorschrift des AR(1)-Prozesses ρk = φk

(Gleichung (2.23) auf Seite 16) in (2.27) ein, so erhält man

φ21 =φ− φ3

1− φ2=φ(1− φ2)

1− φ2= φ = ρ1

φ22 =φ2 − φ2

1− φ2= 0.

(2.28)

19


Mit anderen Worten, die Partielle Autokorrelation (PACF) mit Lag 1 ent-spricht genau der herkömmlichen Autokorrelation (ACF) und die PartielleAutokorrelation mit Lag 2 verschwindet. Bei genauerem Hinsehen ist dasgenau das Ergebnis, dass sich mit der Idee der partiellen Autokorrelationdeckt. Da beim AR(1)-Prozess keine Interferenzen zu erwarten sind (es wirdja lediglich ein verzögerter Wert berücksichtigt), entspricht die PACF geradeder ACF. Ferner werden die Echos für Lags k > 1 beseitigt. Wir habendas hier zwar nur für k = 2 gezeigt, es ist jedoch eine wichtige Eigenschaftder AR(p)-Prozesse, dass die Partielle Autokorrelation für Lags k > paugenblicklich auf null abfällt.

Aufgabe 2.4

Lösen Sie, falls möglich, das lineare GleichungssystemAx = b mit

a) A =

(2 21 2

),b =

(36

)b) A =

(4 12 3

),b =

(−28

)c) A =

(3 26 4

),b =

(02

)d) A =

(2 36 4

),b =

(02

)e) A =

(−1 120 −4

),b =

(−3−8

)

2.3 ParameterschätzungWir haben bereits gelernt, dass die Zeitreihe lediglich eine Manifestationvon Werten ist, die von einem (meist unbekannten) stochastischen Prozessgeneriert werden. Das wirft unmittelbar zwei wichtige Probleme auf: Erstens,woher weiß man, welcher Prozess die Datenreihe generiert hat und zweitens,wie sehen die Parameter dieses Prozesses aus. Die erste Fragestellung betrifftdie Modellidentifikation, auf die wir später zurückkommen werden, diezweite betrifft die Parameterschätzung.

Eine der angenehmsten Eigenschaften der Stationarität ist, dass die Para-meterschätzer mit denen aus einfachen Stichprobensituationen übereinstim-men. Wir bezeichnen im Folgenden die Schätzer mit einem Dach über demSymbol, bspw. µ ist ein Schätzer für den Erwartungswert. (yt)t=1,...,T sei eineZeitreihe, die von einem uns bekannten stationären Prozess erzeugt wurde.

20

2.3. PARAMETERSCHÄTZUNG

Dann ergibt sich der Mittelwert- und der Varianzschätzer wie gewohnt durch

µ =1

T

T∑t=1

yt (2.29)

γ0 =1

T

T∑t=1

(yt − µ)2 . (2.30)

Die Form von (2.29) und (2.30) ist vertraut, dennoch gibt es kleineUnterschiede zu gewöhnlichen Querschnittsstichproben. Zunächst ist dieStichprobengröße nicht N sondern T . Weiterhin steht im Nenner von (2.30)nicht T − 1, wie wir es von erwartungstreuen Varianzschätzern kennen. DerGrund dafür ist, dass Zeitreihen meist sehr lang sind (im Gegensatz zu einfa-chen Zufallsstichproben) und daher kaum ein Unterschied zwischen T−1 und(T − 1)−1 besteht. Weiterhin wird die Varianz des stochastischen Prozessesauch nicht mit σ2 bezeichnet, sondern mit γ0. Diese Unterscheidung ist vi-tal, da wir ja die Varianz des Zufallsfehlers εt bereits mit σ2 bezeichnet haben.

Die Schätzer für Autokovarianz und Autokorrelation ergeben sich auf ähn-lich natürliche Weise aus

γk =1

T

T∑t=k+1

(yt − µ) (yt−k − µ) (2.31)

ρk =γkγ0

. (2.32)

Es gilt zu beachten, dass in (2.31) weniger Werte zur Verfügung stehen, dader Summationsindex bei k+1 beginnt. Ist der zugrundeliegende Prozess einAR(1)-Prozess, können wir die Tatsache ausnutzen, dass ρ1 = φ gilt und mitHilfe der stationären Varianzformel (2.15) auf Seite 14 einen Schätzer für dieVarianz des Fehlerterms konstruieren

σ2 = γ0

(1− φ2

)= γ0

(1− ρ2

1

). (2.33)

Wir werden im Anschluss ein Beispiel betrachten, das verdeutlicht, warumStationarität im Zusammenhang mit der Parameterschätzung so wichtig ist.

21


2.3.1 Parameterschätzung und Stationarität

Beispiel 2.1: Simulierter AR(1)-Prozess

Zur Veranschaulichung wurde ein AR(1)-Prozess yt = φyt−1 +εt simuliert, wobei εt ∼ N(0, 1) angenommen wurde. Der AR-Parameter wurde auf φ = 0.5 gesetzt. Abbildung 2.2 zeigtdie Zeitreihe (yt)t=0,...,1000, die durch den simulierten Prozesserzeugt wurde. Der selbe Prozess wurde zusätzlich mit einemdeterministischen Trend, νt = t

100, überlagert, was natürlich

zur Folge hat, dass die Stationarität nicht mehr gegeben ist,da der Erwartungswert nun von der Zeit t abhängt und nichtmehr konstant ist. Abbildung 2.3 auf der nächsten Seite zeigtdie resultierende Zeitreihe. Die entsprechenden Parameter-schätzer sind in Tabelle 2.1 auf der nächsten Seite zusam-mengefasst.

Die im stationären Modell ermittelten empirischen Parameterschätzungenstimmen sehr gut mit den wahren Werten überein, während die Werte imtrendüberlagerten Modell völlig unbrauchbar sind. Die Ursache für dieseFehlschätzungen ist in Abbildung 2.3 auf der nächsten Seite angedeutet.Die horizontalen Linien geben den geschätzten Mittelwert (durchgezogeneLinie) plus/minus zwei Standardabweichungen (gestrichelte Linien) wider.Man sieht deutlich, dass der „Trendkanal“ hier vollkommen unberücksichtigtbleibt. Es wird einfach über das volle Spektrum der Werte gemittelt. Dahersind die resultierenden Schätzer natürlich nicht brauchbar. Das Einrechnen

Abbildung 2.2: Stationäre Zeitreihe

22


Abbildung 2.3: Zeitreihe mit deterministischem Trend

dieses Trends durch yt = xt − νt würde die richtigen Mittelwerte bzw.Standardabweichungen ergeben. Diese sind in Abbildung 2.3 ebenfalls inForm des besagten Trendkanals eingezeichnet.

Wir können nun besser verstehen, warum Stationarität einen so hohenStellenwert in der Zeitreihenanalyse hat. Wir haben ebenfalls bereits eineMöglichkeit angedeutet Stationarität herzustellen, falls der urpsrünglicheProzess nicht stationär ist, nämlich durch Differenzenbildung (wir werdenspäter auf diese Methode zurückkommen). Weiterhin haben wir verstanden,dass die Zeitreihe nur die sichtbare Manifestation eines Zufallsprozessesdarstellt und aus diesem Grund aus den Zeitreihenwerten Schätzungen fürdie wahren Parameter des darunterliegenden Prozesses berechnet werdenkönnen.

Damit wird unmittelbar klar, dass selbst wenn ein und derselbe Prozesszweimal hintereinander eine Zeitreihe mit identischer Länge erzeugt, die

Parameter Wahrer Wert Stationär Nicht-Stationärµ 0 −0.08 4.91γ0 1.3 1.33 9.83γ1 0.6 0.69 9.16φ 0.5 0.52 0.93σ2 1 0.98 1.29

Tabelle 2.1: Parameterschätzungen im AR(1)-Modell

23


Parameterschätzer nicht die selben sind, da die Zeitreihen ja Manifestationeneines Zufallsprozesses sind. Daher sind die Parameterschätzer ebenfalls vomZufall abhängig und besitzen sogar eine eigene Wahrscheinlichkeitsver-teilung. Auf solchen Verteilungen bauen verschiedene statistische Tests,wie beispielsweise der Jarque-Bera-Test auf. Wir werden Verteilungen vonSchätzern nur am Rande betrachten, es sollte jedoch nicht außer Achtgelassen werden, dass verschiedene Schätzer, bspw. KQ-Schätzer (KleinsteQuadrate) oder ML-Schätzer (Maximum Likelihood) unter Umständenverschiedene asymptotische Eigenschaften besitzen. Damit ist gemeint, dasssich die Verteilungen der Schätzer für T → ∞ unterschiedlich verhaltenkönnen. Man bevorzugt natürlich solche Schätzer, deren Eigenschaftenmöglichst angenehm oder möglichst gut an die Analysesituation angepasstsind. Wir werden im Folgenden zwei zentrale Schätzverfahren kennenlernen,die in der Statistik eine fundamentale Rolle spielen.

Aufgabe 2.5

Gegeben sei die (stationäre) Zeitreihe

(yt)t=1,...,10 = 2, 3, 4, 5, 4, 1, 0, 1, 3, 2.

Gehen Sie davon aus, dass diese Zeitreihe von einemAR(1)-Prozess erzeugt wurde, der einen normalver-teilten Fehlerterm besitzt. Bestimmen Sie die empiri-schen Schätzer für µ, γ0, γ1, γ2, ρ1, ρ2, φ21, φ22 undσ2.

2.3.2 Kleinste Quadrate (KQ)

Die Kleinste-Quadrate-Methode (KQ-Methode) ist eine intuitiv eingängigeSchätzmethode. Sie ist sehr alt und geht auf Carl Friedrich Gauß zurück, dermit ihr astronomische Berechnungen vorgenommen hat. Die Idee ist rechteinfach, wir werden sie zunächst am Beispiel des Erwartungswertes erörtern.Die Beobachtungswerte können als Abweichungen vom Erwartungswert yt =µ+εt geschrieben werden. Der Fehler εt fängt dabei gerade die Abweichungenauf, wobei hier keine Verteilung für εt spezifiziert werden muss. Man kannnun einfach die Summe der quadratischen Fehler minimieren

minT∑t=1

ε2t = minT∑t=1

(yt − µ)2. (2.34)

24


Das Quadrieren des Fehlerterms ist dabei aus zwei Gründen sinnvoll, zumeinen spielt die Richtung der Abweichung (positiv oder negativ) keine Rollemehr, zum anderen fallen große Fehler stärker ins Gewicht. Wir finden dasMinimum durch Nullsetzen der Ableitung der Summe in (2.34) nach µ

∂

∂µ

T∑t=1

(yt − µ)2 = −2T∑t=1

yt + 2Tµ!

= 0. (2.35)

Der partielle Differentialoperator ∂ wurde hier verwendet, weil die Summevon yt und von µ abhängt. Einfaches Umstellen und Auflösen ergibt denbekannten KQ-Schätzer für den Erwartungswert, vgl. (2.29) auf Seite 21

µ =1

T

T∑t=1

yt. (2.36)

Das gesamte AR(1)-Modell bietet ebenfalls die Möglichkeit der Parameter-schätzung mittels Kleinste-Quadrate-Methode. Wir notieren den Prozess ein-mal in seiner allgemeinen Form

yt = θ0 + φyt−1 + εt. (2.37)

Der zusätzliche Parameter θ0 erscheint hier, weil der Erwartungswert inder Regel ungleich null ist, wie der zentrierte Prozess (2.3) auf Seite 6zeigt. Das konstante Glied wurde einfach im Parameter θ0 = (1 − φ)µzusammengefasst. Diese Schreibweise wird sich noch als vorteilhaft erweisen,da sich die Konstante für Modelle höherer Ordnung anders zusammensetzt.

(2.37) hat die Form eines linearen Regressionsmodells, bei dem die Re-gressoren aus verzögerten Werten der Zeitreihe bestehen. Bei einer linearenRegression stellt man sich vor, dass eine Reihe von Datenpunkten durcheine Gerade möglichst gut repräsentiert werden soll. Zu diesem Zweck wirddie Gerade genau so platziert, dass die Summe der quadrierten Abständeder Geraden zu allen Datenpunkten möglichst klein wird. Abbildung 2.4zeigt die lineare Regression der Zeitreihe aus Aufgabe 2.5 auf der vorherigenSeite. Die Abstandsquadrate sind ebenfalls eingezeichnet.

Die Parameterschätzung mit der Kleinste-Quadrate-Methode erfolgt wie-der durch Minimierung der Fehlerquadratsumme

minT∑t=2

ε2t = minT∑t=2

(yt − θ0 − φyt−1)2 = minQ(θ0, φ). (2.38)

25


Abbildung 2.4: Kleinste-Quadrate Regression

Die Quadratsumme wurde hier mit Q bezeichnet, was uns an späterer Stelleviel Schreibarbeit ersparen wird. Beachten Sie, dass der Summationsindexbei t = 2 beginnt, da innerhalb der Quadratsumme Q(θ0, φ) in (2.38) ja yt−1

steht. Die KQ-Schätzer für θ0 und φ ergeben sich nun aus den Bedingungen

∂

∂θ0

Q(θ0, φ) = 0 und∂

∂φQ(θ0, φ) = 0. (2.39)

Anstatt die Bedingungen (2.39) für jeden Parameter einzeln zu berechnen,was insbesondere bei Modellen höherer Ordnung sehr mühsam wäre, gehtman in der Praxis einen effizienteren Weg. Zunächst aber eine kleine Auffri-schung zur Vektor- und Matrixtransposition.

26


Einschub: Transponierte Matrix

Die zu einer Matrix A mit

A =

(a11 a12

a21 a22

)transponierte Matrix A′ entsteht einfach durch Vertauschungder Zeilen- und Spaltenindizes

A′ =(a11 a21

a12 a22

).

Für eine symmetrische Matrix gilt demzufolge A = A′. Wei-terhin gilt allgemein

(AB)′ = B′A′.

Da ein Zeilenvektor als (1×n)-Matrix und ein Spaltenvektorals (n×1)-Matrix aufgefasst werden kann, wird ein transpo-nierter Zeilenvektor zum Spaltenvektor und umgekehrt.

Wir können nun beispielsweise die Parameter θ0 und φ in einem Vektorθ = (θ0, φ)′ zusammenfassen und die Minimierungsbedingung äquivalent zu(2.39) als

∂

∂θ′Q(θ) =

∂

∂θ′(y−Xθ)′(y−Xθ) = 0 (2.40)

formulieren, wobei

y =

ytyt−1...y2

und X =

1 yt−1

1 yt−2...

...1 y1

(2.41)

gilt. Auflösen von Bedingung (2.40) führt dann zum KQ-Schätzer, wobei wirden Rechenweg hier nicht erörtern wollen. Wichtiger ist das Ergebnis

θ = (X′X)−1 X′y. (2.42)

Dieser Schätzer ist in der Literatur sehr bekannt und wird gegebenenfalls inAbhängigkeit von der Problemstellung modifiziert (beispielsweise bei nichtkonstanter Varianz des Fehlerterms).

27


Aufgabe 2.6

Gegeben sei die (stationäre) Zeitreihe

(yt)t=0,...,4 = 1, 2, 1, 0, 1.

Gehen Sie zunächst davon aus, dass diese Zeitreihevon einem AR(1)-Prozess erzeugt wurde, der einennormalverteilten Fehlerterm besitzt. Bestimmen Sieden KQ-Schätzer für θ = (θ0, φ)′.

2.3.3 Maximum Likelihood (ML)

Das Maximum-Likelihood-Prinzip wurde 1922 von Ronald Aylmer Fishervorgeschlagen und ist heute eins der meist verwendeten Schätzprinzipienin der Statistik. Der Erfolg von ML leitet sich aus verschiedenen Kom-ponenten ab, wie zum Beispiel angenehme asymptotische Eigenschaften,Anwendbarkeit für jede spezifizierbare Verteilung, Nähe zu Teststatistikenusw. Wir werden den Grundgedanken zunächst an einem einfachen Beispieldemonstrieren.

Beispiel 2.2: Maximum-Likelihood-Prinzip

Seien x = (x1, x2, x3) drei unabhängige Realisierungen einer nor-malverteilten Zufallsvariable X ∼ N(µ, σ2). Dann zerfällt auf-grund der Unabhängigkeit die gemeinsame Dichtefunktion von xin das Produkt der Dichten von x1, x2 und x3

p(x1, x2, x3) =3∏

k=1

p(xk) = p(x1)p(x2)p(x3),

das Produktzeichen funktioniert hier genauso wie das Summen-zeichen. Nach dem Maximum-Likelihood-Prinzip wird nun diesesProdukt von Dichten als Funktion der Parameter aufgefasst. DieLikelihood-Funktion ist dann einfach

L(µ, σ2) =3∏

k=1

1√2πσ2

e−12(xk−µσ )

2

.

Hier wurde die Dichtefunktion der Normalverteilung verwendet,da die Zufallsvariable X ja normalverteilt ist. Maximierung derLikelihoodfunktion ergibt dann den gesuchten Schätzer.

28


Abbildung 2.5: Likelihood- (links) und LogLikelihood-Funktion (rechts)

Die Parameter selbst sind keine Zufallsvariablen, daher die Bezeichnung„Likelihood“ in Abgrenzung zu „Probability“. Abbildung 2.5 (links) zeigtdie Likelihood-Funktion für drei beliebige Datenpunkte aus Beispiel 2.2.Man sieht deutlich, dass die Funktionswerte der Gauß -Glocken an denDatenpunkten stark von der Lokalisation und der Breite der Glockenabhängen. Das Produkt dieser Funktionswerte wird in Abhängigkeit vonden Parametern maximiert.

Aus technischen Gründen wird in der Praxis häufig nicht das Produktder Dichten als Funktion der Parameter maximiert, sondern die Summe derlogarithmierten Dichten.

Einschub: Logarithmus

Der (natürliche) Logarithmus ist die Umkehrfunktionder Exponentialfunktion, das bedeutet

x = log [ex] .

Als Faustformel ist es nützlich sich einzuprägen, dassder Logarithmus alle Rechenoperationen um eine Ebe-ne „herunterdrückt“, d.h. aus einer Potenz wird einProdukt und aus einem Produkt wird eine Summe

log[axb]

= log[a] + b log[x].

Im Fall einer Gauß -Dichte ist das Logarithmieren besonders praktisch,da ja eine Exponentialfunktion involviert ist. Man schreibt daher die

29


LogLikelihood-Funktion für die unabhängigen Realisierungen (x1, . . . , xn)

l(µ, σ2) = logL(µ, σ2) = −n2

log[2πσ2]− 1

2σ2

n∑k=1

(xk − µ)2 . (2.43)

In (2.43) steht nun aufgrund der Logarithmierung kein Produkt mehr, son-dern lediglich eine Summe. Abbildung 2.5 (rechts) zeigt die Funktionswerteder LogLikelihood-Funktion an den Datenpunkten x1 bis x3 aus Beispiel 2.2auf Seite 28 für verschiedene Parameterkonfigurationen.

Wir wollen nun ML-Schätzer für den AR(1)-Prozess ausrechnen. Hierstoßen wir jedoch auf die Schwierigkeit, dass die Realisierungen yt nicht un-abhängig sind. Dadurch zerfällt die gemeinsame Dichte nicht in ein Produktder Einzeldichten. Wir erinnern uns jedoch an die Markov -Eigenschaft desAR(1)-Prozesses, speziell daran, dass die gesamte Vergangenheit des Prozes-ses in der letzten Realisierung gespeichert ist. Das bedeutet, bei Kenntnis desletzten Wertes yt−1 ist die Information über weiter zurückliegende Realisatio-nen des Prozesses im Hinblick auf yt irrelevant. Daher zerfällt die gemeinsameDichte p(yT , . . . , y1) in ein Produkt von Einzeldichten unter der Bedingung,dass die jeweils vorangegangene Realisierung, insbesondere y0, bekannt ist

p(yT , yT−1, . . . , y1) =T∏t=1

p(yt|yt−1). (2.44)

Die Dichte p(yt|yt−1) wird bedingte Dichte genannt, da sie an die Bedingungder Kenntnis von yt−1 geknüpft ist. Für unseren allgemeinen AR(1)-Prozessyt = θ0 + φyt−1 + εt mit εt ∼ N(0, σ2) und y0 bekannt, gilt dann

p(yt|yt−1) =1√

2πσ2e−

12

(yt−θ0−φyt−1)2

σ2 . (2.45)

Damit kann ebenfalls die LogLikelihood-Funktion für den gesamten Prozess,vgl. (2.43), angegeben werden

l(θ0, φ, σ2) =

T∑t=1

log p(yt|yt−1) = −T2

log[2πσ2]− 1

2σ2Q(θ0, φ). (2.46)

Wir haben hier wieder die Abkürzung Q für die Quadratsumme verwendet,vgl. (2.38) auf Seite 25. Wir stellen fest, dass der Parameter σ2 offenbar nichtin der Quadratsumme steht und leiten deswegen zunächst nach ihm ab

∂

∂σ2l(θ0, φ, σ

2) = − T

2σ2+

1

2σ4Q(θ0, φ)

!= 0. (2.47)

30


Auflösen von Bedingung (2.47) liefert den ML-Schätzer für σ2

σ2 =1

TQ(θ0, φ) =

1

T

T∑t=1

(yt − θ0 − φyt−1

)2. (2.48)

Dieser Schätzer hat eine uns bekannte Struktur, nämlich

σ2 =1

T

T∑t=1

(yt − E[yt]

)2, (2.49)

wodurch wir den Schätzer für die stationäre Varianz (2.30) auf Seite 21nun besser verstehen können. Wir hatten an dieser Stelle argumentiert,dass Zeitreihen in der Regel sehr lang sind und deswegen im Nenner nichtT − 1 sondern T steht. Wir sehen nun, dass es sich bei diesem Schätzer umden Maximum-Likelihood-Schätzer handelt, was natürlich ein fundierteresArgument ist.

Wir haben auch gesehen, dass der Parameter σ2 in der LogLikelihood-Funktion (2.46) eine gewisse Sonderstellung einnimmt, da er nicht innerhalbder Quadratsumme Q steht. Wird der ML-Schätzer σ2 = 1

TQ(θ0, φ) in die

LogLikelihood-Funktion eingesetzt, erhält man die sog. konzentrierte LogLi-kelihood

l(θ0, φ) = −T2

log

[2π

T

]− T

2logQ(θ0, φ)− T

2. (2.50)

Wir sehen, dass lediglich der mittlere Term auf der rechten Seite von (2.50)von den Parametern abhängt. Fassen wir θ0 und φ wieder in einem Parame-tervektor θ = (θ0, φ)′ zusammen und leiten die konzentrierte LogLikelihood-Funktion nach θ ab, finden wir die Bedigung

∂

∂θl(θ) = −T

2

∂ logQ(θ)

∂θ= − T

2Q(θ)· ∂Q(θ)

∂θ!

= 0. (2.51)

Das entspricht aber nach dem Wegmultiplizieren der entsprechenden Termegerade der Bedingung für den KQ-Schätzer

∂

∂θQ(θ) = 0, (2.52)

vgl. (2.40) auf Seite 27. Wir sehen also, dass für normalverteilte FehlertermeKQ- und ML-Schätzer der Regressionsparameter übereinstimmen.

31


Aufgabe 2.7

Expandieren Sie die folgenden Terme:

a) log[ab], b) log[ab

], c) log

[2ab]

d) log[√a], e) log

[a3 4√b]

2.3.4 Konfidenzintervalle

Konfidenzintervalle sind deshalb interessant, weil mit ihrer Hilfe eingeschätztwerden kann, wie verlässlich die Informationen, die wir aus der Zeitreihegewinnen, im Hinblick auf die darunterliegende Prozessstruktur tatsächlichsind. Die Frage nach dem Konfidenzintervall ist auch eng mit der Frage nachder Verteilung des involvierten Schätzers verknüpft.

Um das Prinzip zu verstehen nehmen wir zunächst an, dass eine (statio-näre) Zeitreihe (yt)t=1,...,T vorliegt, die von einem reinen Zufallsprozess yt = εtmit Fehlerterm εt ∼ N(0, σ2) erzeugt wurde. Wir können den Erwartungs-wert µ mit der bekannten Formel

µ =1

T

T∑t=1

yt (2.53)

schätzen, vgl. (2.29) auf Seite 21. Dieser Schätzer hängt jedoch von den Wer-ten der Zeitreihe ab, die ihrerseits vom Zufall abhängen. Damit hängt derSchätzer µ selbst auch vom Zufall ab, nicht jedoch der wahre, aber unbekann-te Parameter µ. In diesem Fall ist der Schätzer µ ebenfalls normalverteilt,was bedeutet, dass wir nur seine ersten beiden Momente ermitteln müssen.Wir erhalten

E[µ] = E

[1

T

T∑t=1

yt

]=

1

T

T∑t=1

E[yt] = µ (2.54)

Var[µ] = Var

[1

T

T∑t=1

yt

]=

1

T 2

T∑t=1

Var[yt] =σ2

T. (2.55)

Die erste Eigenschaft, (2.54), bezeichnet man als Erwartungstreue. Erwar-tungstreue Schätzer, deren Abweichung vom wahren Parameter asymptotischgegen null geht bezeichnet man als konsistent. Diese Eigenschaft wird durch(2.55) sichergestellt. Wir haben also bereits einige wichtige Eigenschaften desSchätzers µ aufgedeckt.

32


Das Konfidenzintervall selbst ist ein symmetrischer, um den Schätzer her-um aufgebauter Bereich, der so konstruiert ist, dass er den wahren Parametermit einer vorgegebenen Wahrscheinlichkeit überdeckt. Die Grenzen des Kon-fidenzintervalls lassen sich insbesondere für (asymptotisch) normalverteilteSchätzer sehr einfach durch Rückgriff auf die tabellierte Verteilungsfunktionder Standard-Normalverteilung berechnen. Für µ muss gelten

P

(−z1−α

2≤ µ− µ

σ√T

≤ z1−α2

)= 1− α, (2.56)

mit zκ = Φ−1(κ). Umformen liefert die gewünschten Grenzen. Das 95%-Konfidenzintervall für µ beispielsweise hat die obere und untere Grenze

co/u = µ± 1.96σ√T, (2.57)

wobei 1.96 der Wert der inversen Verteilungsfunktion der Standard-Normal-verteilung an der Stelle z = 0.975 ist.

Beispiel 2.3: Konfidenzintervalle

Es werden per Simulation 100 Zeitreihen (yt)t=1,...,T erzeugt.Der stochastische Prozess, der die Zeitreihen generiert istyt = εt mit εt ∼ N(0, 1). Anschließend wird der (stationäre)Erwartungswert durch µ geschätzt und die entsprechendenKonfidenzintervalle zum Konfidenzniveau 1 − α = 0.95 be-rechnet.

Abbildung 2.6 auf der nächsten Seite zeigt die Konfidenzintervalle ausBeispiel 2.3. Der wahre Mittelwert ist durch die horizontale Achse gekenn-zeichnet. Es ist deutlich zu erkennen, dass einige Intervalle den wahrenParameter nicht überdecken. Das war zu erwarten, da wir ja die Wahr-scheinlichkeit der Überdeckung mit dem Konfidenzniveau auf 95% festgelegthatten. Wir würden genaugenommen erwarten, dass fünf aus hundertIntervallen nicht den wahren Parameter überdecken. In der Tat sind es abersechs. Diese Diskrepanz ist auf die kleine Stichprobe von 100 simuliertenZeitreihen zurückzuführen, für unendlich viele Zeitreihen würde die Anzahlder nichtüberdeckenden Konfidenzintervalle genau gegen 5% gehen. Da wirpraktisch nie den Luxus genießen mit asymptotisch exakten Ergebnissen zuarbeiten, sollten wir immer im Hinterkopf behalten, dass auch der Zufalleinen schlechten Tag haben kann.

33


Abbildung 2.6: Konfidenzintervalle für µ

Wir haben bisher mit dem einfachen Zufallsprozess eine sehr simpleKonstruktion betrachtet um das Prinzip des Konfidenzintervalls zu verste-hen. In der Praxis sind die involvierten Prozesse natürlich komplizierterund es gibt andere Parameter, deren Schätzung und Analyse von vitalerBedeutung für die Identifikation des stochastischen Prozesses sind. Wirhaben beispielsweise gelernt, dass die partielle Autokorrelationsfunktion(PACF) eines AR(p)-Prozesses für Lags m > p auf null abfällt. Finden wiralso eine Zeitreihe vor, deren empirische Schätzungen der PACF für Lag 2und größer nahe null liegen, können wir vermuten, dass es sich um einenAR(1)-Prozess handelt. In dieser Situation können Konfidenzintervalle fürdie Schätzer der Autokorrelationen und der partiellen Autokorrelationenunschätzbare Dienste bei der Beurteilung solcher Befunde leisten.

Wir kehren zurück zum AR(1)-Prozess. Der zentrale Parameter bezüg-lich der Autokorrelation im AR(1)-Modell ist φ. Wird nun aus den Datenper Maximum-Likelihood-Methode ein Schätzer φ berechnet, so ist dieserSchätzer asymptotisch ebenfalls erwartungstreu und normalverteilt. Er be-sitzt die inverse Fisher -Information als Varianz, φ a∼ N(φ, F−1). Wir wollenan dieser Stelle nicht näher beleuchten wie die Fisher -Information berechnetwird, sondern begnügen uns damit sie anzugeben

F (φ) =T

1− φ2. (2.58)

Die Fisher -Information (2.58) hängt selbst vom wahren Parameter φ ab, denwir in der Regel natürlich nicht kennen und muss daher selbst mit Hilfe von φ

34


geschätzt werden. Daher erhalten wir als asymptotisches Konfidenzintervallfür φ zum Signifikanzniveau 1− α

co/u = φ± z1−α2

√1− φ2

T. (2.59)

Im Fall der ACF und PACF werden die Konfidenzintervalle häufig auchum null herum gelegt, was lediglich eine Umkehrung der Betrachtungsweisebeinhaltet. Man interesiert sich für gewöhnlich dafür, ob das Konfidenzin-tervall um den Schätzer den Wert null einschließt. In diesem Fall würdeman argumentieren, dass sich keine signifikante (partielle) Autokorrelationnachweisen lässt. Gruppiert man das Konfidenzintervall um null herum, soist genau dann eine signifikante (partielle) Autokorrelation nachweisbar,wenn der Schätzer aus diesem Bereich herausragt.

Beispiel 2.4: AR(1)-Prozess und Korrelogramm

Es wurde der AR(1)-Prozess

yt = 0.8yt−1 + εt

mit εt ∼ N(0, 1) simuliert. Gleichzeitig wurden die Auto-korrelationen und partiellen Autokorrelationen mit derAnalysesoftware „EViews“ geschätzt.

Abbildung 2.7 zeigt die vom simulierten AR(1)-Prozess erzeugte Zeitreihesowie das zugehörige Autokorrelogramm. Die vertikalen Markierungen imKorrelogramm kennzeichnen die Grenzen des 95%-Konfidenzbereichs. Die

-4

-3

-2

-1

0

1

2

3

10 20 30 40 50 60 70 80 90 100

AR1

Correlogram of AR1

Date: 06/18/07 Time: 13:35Sample: 1 100Included observations: 100

Autocorrelation Partial Correlation AC PAC Q-Stat Prob

1 0.714 0.714 52.512 0.0002 0.488 -0.044 77.307 0.0003 0.327 -0.010 88.573 0.0004 0.276 0.117 96.676 0.0005 0.241 0.019 102.90 0.0006 0.201 -0.003 107.30 0.0007 0.224 0.137 112.79 0.0008 0.217 -0.006 118.02 0.0009 0.237 0.085 124.34 0.000

10 0.278 0.127 133.11 0.00011 0.348 0.141 146.95 0.00012 0.337 -0.030 160.11 0.00013 0.286 -0.001 169.70 0.00014 0.204 -0.062 174.64 0.00015 0.138 -0.041 176.91 0.00016 0.073 -0.070 177.56 0.00017 0.079 0.075 178.33 0.00018 -0.010 -0.248 178.34 0.00019 -0.075 -0.065 179.04 0.00020 -0.073 0.038 179.73 0.000

Abbildung 2.7: AR(1)-Prozess und Korrelogramm

35


Autokorrelation klingt zunächst auch ab, wie wir es erwarten würden,erzeugt dann aber vorübergehend noch eine Schwingung, die einen zu-sätzlichen Einfluss suggeriert, der gar nicht vorhanden ist. Die partielleAutokorrelation fällt wie erwartet nach Lag 1 sofort unter die Konfidenzgren-ze ab, es wird jedoch zusätzlich eine signifikante partielle Autokorrelationmit Lag 18 geschätzt. Diese ist natürlich nicht vorhanden, da wir jaeinen AR(1)-Prozess simuliert haben. Solche zufälligen Überschreitungenpassieren aufgrund der Fehlerwahrscheinlichkeit von α = 5%. Hier ist beirealen Problemen ökonomischer Sachverstand gefragt um einschätzen zukönnen, ob solche „exotischen“ Korrelationen lediglich Schätzartefakte dar-stellen oder ob sie auf eine inhärente Fehlspezifikation des Modells hinweisen.

Schließlich wird der AR-Parameter φ mit φ = 0.714 geschätzt. Wir kon-struieren das entsprechende Konfidenzintervall zum Konfidenzniveau 1−α =95%

co/u = 0.714± 1.96

√1− 0.7142

100⇒ φ ∈ [0.577, 0.851]. (2.60)

Der wahre Wert des AR-Parameters war φ = 0.8. Er wird somit voll vomKonfidenzintervall überdeckt.

Aufgabe 2.8

Gegeben sei die stationäre Zeitreihe

(yt)t=0,...,8 = 1, 2, 3, 3, 4, 2, 0, 2, 1.

Gehen Sie davon aus, dass ein AR(1)-Prozess zugrunde-liegt. Schätzen Sie den AR-Parameter φ und bilden Siedas 95%-Konfidenzintervall mit Hilfe der geschätzten Fisher -Information.

2.4 Der AR(2)-ProzessDer AR(2)-Prozess ist ebenfalls ein ausgesprochen wichtiger Repräsentantseiner Zunft. Er ist der sparsamste Prozess, der in der Lage ist schwingendeSysteme zu beschreiben. Wir werden deshalb einige Eigenschaften des AR(2)-Prozesses näher beleuchten und gleichzeitig die Gelegenheit nutzen einiges,was wir über den AR(1)-Prozess gelernt haben, allgemeiner zu formulieren.Zunächst werden wir aber eine andere, platzsparende Schreibweise für AR(p)-Prozesse kennenlernen.

36


2.4.1 Operatoren

Operatoren sind Rechenvorschriften, die nach allgemeiner Konvention aufden Ausdruck angewendet werden, der unmittelbar nach ihnen steht. Wirhaben bereits im vorangegangenen Abschnitt mit Operatoren zu tun gehabt,nämlich als wir die Ableitung der Quadratsumme nach dem Parametervektorgebildet haben, vgl. beispielsweise (2.52) auf Seite 31. Die Ableitung einerbeliebigen Funktion f(x) kann nämlich in Operatorschreibweise dargestelltwerden

f ′(x) =df(x)

dx=

d

dxf(x). (2.61)

Der Operator im Fall (2.61) ist ddx, der Differentialoperator. Er wirkt auf

den Ausdruck nach ihm, nämlich f(x) und verursacht eine Manipulationdieses Ausdrucks nach einer festen Operationsvorschrift. Für Terme derForm xa beispielsweise lautet diese Vorschrift xa → axa−1. Die Möglichkeit,den Operator wie in (2.61) einfach vor die Funktion zu ziehen, suggeriert,dass er denselben Rechenvorschriften unterliegt wie alle anderen Ausdrücke.In der Tat kann mit Operatoren in vielen Fällen einfach „gerechnet“ werden,was sie zu einem ausgesprochen leistungsfähigen Instrument macht.

Wir werden nun als ersten Operator den sog. Backshift-Operator B ken-nenlernen. Er manipuliert den ihm folgenden Ausdruck gemäß der Rechen-vorschrift

B : #t → #t−1. (2.62)

Die #-Symbole in (2.62) sind lediglich Platzhalter. Wir erhalten beispiels-weise Byt = yt−1, Bxt−k = xt−k−1 usw. Die Darstellung (2.62) erlaubt esuns auch genauer zu verstehen, was für ein Objekt der Operator eigentlichist. (2.62) hat die Gestalt einer Abbildungsvorschrift, nur das hier nicht ei-ne Zahl auf eine andere Zahl abgebildet wird (Funktion, Relation) sonderneine Funktion auf eine andere Funktion (Operator). Wir können nun denBackshift-Operator selbst durch Rechenvorschriften manipulieren. Für nor-male Ausdrücke der Form a2x = a(ax) verursacht der Exponent, dass dieursprüngliche Rechenoperation (Multiplikation mit a) zweimal hintereinan-der ausgeführt wird. Für den Backshift-Operator gilt dasselbe

B2yt = B(Byt) = Byt−1 = yt−2. (2.63)

Wir können auch den zu B inversen Operator B−1 erzeugen. Für normaleAusdrücke gilt a−1ax = x. Fordert man dasselbe für den Backshift-Operator,so folgt

B−1Byt = yt ⇒ B−1yt = yt+1. (2.64)

37


Der inverse Operator B−1 wird auch Forward-Operator genannt, weil er eineZeitverschiebung in Vorwärtsrichtung verursacht.

Operatoren können auch zusammengesetzte Ausdrücke enthalten. EinBeispiel für solch einen Operator ist der Rückwärts-Differenzen- oder ∇-Operator („Nabla“-Operator). Er wird definiert durch ∇ = 1 − B, mit demBackshift-Operator B. Er erzeugt somit die erste Rückwärtsdifferenz

∇yt = (1−B)yt = yt − yt−1. (2.65)

Das volle Potential dieser Operatorschreibweise lässt sich erkennen, wenn wirdie zweite Rückwärtsdifferenz bilden, also die Differenz zwischen der aktu-ellen Rückwärtsdifferenz yt − yt−1 und der vergangenen Rückwärtsdifferenzyt−1 − yt−2. Wir können dies sehr bequem tun, indem wir den ∇-Operatorquadrieren und mittels binomischer Formel berechnen

∇2yt = (1−B)2yt = (1− 2B +B2)yt = yt − 2yt−1 + yt−2. (2.66)

Eine kurze Probe in Form von Separation der Rückwärtsdifferenzen offen-bart, dass das Ergebnis absolut korrekt ist.

Um nun die Schreibweise von AR(p)-Prozessen tatsächlich zu vereinfachen(oder zumindest abzukürzen) definiert man einen neuen, zusammengesetztenOperator, den AR-Operator

φ(B) = 1−p∑

k=1

φkBk. (2.67)

Diese Schreibweise ist in der Tat äußerst kompakt, was sich bereits erahnenlässt, wenn man den bekannten AR(1)-Prozess mit ihrer Hilfe notiert

φ(B)yt = yt − φ1yt−1 = εt. (2.68)

Der AR(2)-Prozess, den wir im Folgenden ausgiebig untersuchen werden,notiert genauso kompakt

φ(B)yt = yt − φ1yt−1 − φ2yt−2 = εt. (2.69)

Aufgabe 2.9

Schreiben Sie die folgenden Operatorausdrücke aus:

a) ∇3yt, b) B∇yt, c) B−1∇yt, d) B−2yt

e) ∇2B−1yt, f) B−2∇2yt

38


2.4.2 Stationarität des AR(2)-Prozesses

Wir haben beim AR(1)-Prozess gesehen, dass die Voraussetzung für Sta-tionarität durch den AR-Parameter geschaffen wurde. Wir können die dortabgeleitete Bedingung in Verbindung mit dem Backshift-Operator formu-lieren, um sie auch für Modelle höherer Ordnung nutzen zu können. DasAR(1)-Modell notiert in Operatorschreibweise

φ(B)yt = (1− φ1B)yt = εt, (2.70)

mit dem AR-Parameter φ1. Der AR(1)-Prozess kann nur dann stationär sein,wenn der Einfluss der vergangenen Realisation betragsmäßig kleiner als einsist oder anders formuliert, wenn für einen beliebigen Koeffizient λ vor demBackshift-Operator |λ| < 1 gilt. Wie sieht die Sache nun für den AR(2)-Prozess

φ(B)yt = yt − φ1yt−1 − φ2yt−2 = εt (2.71)aus? Wir wissen, dass die benötigte Information ausschließlich im Operatorsteckt und zerlegen deshalb den Operator φ(B) wie ein gewöhnliches Polynom

1− φ1B − φ2B2 = (1− λ1B)(1− λ2B) = 1− (λ1 + λ2)B + λ1λ2B

2. (2.72)

Gleichung (2.72) zeigt, dass der AR(2)-Operator offensichtlich in ein Produktaus zwei AR(1)-Operatoren faktorisiert werden kann. Hier können wir nunfür jeden AR-Operator separat die Stationaritätsbedingung fordern. Weiter-hin sehen wir, dass die Koeffizienten λ1 und λ2 gewissermaßen elementareBausteine der AR-Parameter φ1 und φ2 sind, denn wir erhalten aus (2.72)die Bedingung

φ1 = λ1 + λ2 und φ2 = −λ1λ2. (2.73)Die λ-Koeffizienten werden auch als Wurzeln oder „roots“ bezeichnet, odernoch genauer als „inverted roots“. Was es damit auf sich hat erfahren wir imAnschluss noch genauer; in der Tat hat es nicht ausschließlich damit zu tun,dass sie für die AR-Parameter metaphorisch als Wurzeln fungieren.

Wie findet man nun die Wurzeln λ1 und λ2 im Allgemeinen? Gleichung(2.72) hat die Form einer quadratischen Gleichung, jedoch macht eine Lösungfür die Backshift-Operatoren keinen Sinn. Deshalb setzt man in den AR-Operator anstelle von B eine Variable z ein

φ(z) = 1− φ1z − φ2z2 = (1− λ1z)(1− λ2z). (2.74)

Die rechte Seite von (2.74) verrät uns, dass die Nullstellen bei z = 1/λ1 undz = 1/λ2 liegen, während die linke Seite eine quadratische Gleichung ist,deren Nullstellen aus dem Ansatz

1− φ1z − φ2z2 = 0 (2.75)

39


folgen. Die Lösungen z1 und z2 sind die eigentlichen Wurzeln oder roots.Für z = λ−1 gilt aber z1/2 = λ−1

1/2. Das erklärt auch die Begriffe „roots“ und„inverted roots“. Für die eigentlichen Wurzeln z1/2 gilt natürlich auch dieentsprechend umgekehrte Stationaritätsbedingung |zk| > 1 für k = 1, 2. Umkeine größere Verwirrung zu stiften werden wir im Folgenden die „invertedroots“ λ1/2 betrachten. Wir sollten jedoch im Hinterkopf behalten, dass beideFormulierungen äquivalent sind. Wir multiplizieren (2.74) mit z−2 = λ2 underhalten

λ2 − φ1λ− φ2 = (λ− λ1)(λ− λ2). (2.76)

Gleichung (2.76) hat eine noch klarere Struktur als (2.74). Die rechte Seitewird trivialerweise null für λ = λ1/2, während sich λ1 und λ2 selbst alsNullstellen der quadratischen Gleichung auf der linken Seite von (2.76)ergeben.

Einschub: Quadratische Gleichungen

Eine quadratische Gleichung der Form

x2 + px+ q = 0

kann durch die sog. pq-Formel gelöst werden.Die Lösungen ergeben sich zu

x1/2 = −p2±√(p

2

)2

− q.

Die pq-Formel liefert zwei Lösungen, da einPolynom n-ten Grades immer genau n nichtnotwendigerweise reelle Nullstellen besitzt.

Wir erhalten also aus der quadratischen Gleichung (2.76) mit Hilfe der pq-Formel die Wurzeln (inverted roots)

λ1/2 =φ1

2±√φ2

1

4+ φ2. (2.77)

Wir wollen Gleichung (2.76) für einen kurzen Moment aus einem ande-ren Blickwinkel betrachten. Das AR(2)-Modell kann alternativ als VAR(1)-Modell (Vector Auto Regressive) geschrieben werden. Ohne auf Details ein-

40


zugehen verifiziert man leicht, dass die Schreibweise(ytyt−1

)︸︷︷︸ =

(φ1 φ2

1 0

)︸︷︷︸

(yt−1

yt−2

)︸︷︷︸+

(εt0

)︸︷︷︸

yt = Φ yt−1 + εt

(2.78)

das AR(2)-Modell exakt reproduziert. Die Berechnung der Eigenwerte vonΦ führt nun zu

det[Φ− λI] = −λ(φ1 − λ)− φ2 = λ2 − φ1λ− φ2, (2.79)

dem charakteristischen Polynom aus (2.74), respektive (2.76).

Einschub: Eigenwerte

Jede quadratische (n×n)-Matrix A besitzt n Eigenwerteλ1, . . . , λn die der Eigenwertgleichung

Av = λv

genügen. Ein passender Vektor v 6= 0 wird Eigenvektorgenannt. Die Eigenwerte können dann mit Hilfe der cha-rakteristischen Gleichung

det[A− λI] = 0,

mit der passenden Einheitsmatrix I gewonnen werden. DieEigenwerte legen einige elementare Eigenschaften der Ma-trix fest. Ist beispielsweise ein Eigenwert null so ist dieMatrix singulär.

Gleichung (2.79) liefert damit eine alternative Herleitung des charakteristi-schen Polynoms des AR(2)-Prozesses. Eine Frage haben wir bislang jedochnicht erörtert. Wir haben in (2.77) die Nullstellen λ1/2 berechnet, waspassiert jedoch, wenn der resultierende Term unter der Wurzel negativ ist?

Bekannterweise hat ein Polynom n-ten Grades auch genau n Nullstellen.Diese Nullstellen müssen aber nicht zwangsläufig in den Bereich der reellenZahlen fallen sondern können auch teilweise oder vollständig komplex sein.

41


Einschub: Komplexe Zahlen

Eine Zahl z heißt Element der komplexen Zahlen z ∈ C, wennsie die Struktur

z = a+ ib mit a, b ∈ R

besitzt. i bezeichnet hier die imaginäre Einheit, die die Eigen-schaft i2 = −1 besitzt. Sie ermöglicht die Berechnung negati-ver Wurzeln, da für beliebiges c ∈ R+

√−c = i

√c

gilt. Die beiden Bestandteile einer komplexen Zahl werdenRealteil, Re[z] = a, und Imaginärteil, Im[z] = b, genannt.

Im Zusammenhang mit den Wurzeln des AR(2)-Prozesses ist für uns vonvitalem Interesse, wie der Betrag einer komplexen Zahl gebildet wird. Dazuist es hilfreich sich die Struktur der komplexen Zahlenebene anzuschauen.Abbildung 2.8 auf der nächsten Seite zeigt den reellen und imaginären Zah-lenstrahl, die seknrecht aufeinander stehen und so die komplexe Ebene bilden.Eine komplexe Zahl ist nun durch ihre Koordinaten auf der reellen und ima-ginären Achse festgelegt. Für gewöhnliche reelle Zahlen ist der Betrag alsAbstand vom Ursprung, also als Abstand von null definiert. Dieselbe Defini-tion gilt im Rahmen der komplexen Zahlen. Der Unterschied ist hier, dass diereellen Zahlen nur aus einem Zahlenstrahl bestehen, die komplexen Zahlenaber aus einer Ebene. Um hier den Abstand vom Ursprung zu ermitteln müs-sen wir den Satz des Pythagoras bemühen. Demnach ergibt sich der Betragvon z als

|z| = r =√a2 + b2. (2.80)

Die magische Grenze |z| = 1 wird also in der komplexen Zahlenebene zueinem Kreis, der in Abbildung 2.8 angedeutet ist. Damit lässt sich die not-wendige Stationaritätsbedingung für das AR(2)-Modell allgemeingültig for-mulieren:

Ein AR(2)-Prozess kann nur dann stationär sein, wenn seine Wur-zeln außerhalb des komplexen Einheitskreises liegen.

Für die „inverted roots“ λ1/2 bedeutet das natürlich genau das Gegenteil,sie müssen beide innerhalb des komplexen Einheitskreises liegen, damit derProzess stationär ist.

42


Abbildung 2.8: Komplexe Zahlenebene

2.4.3 Darstellung in Polar-Koordinaten

Es ist oft bequemer eine komplexe Zahl in Polar-Koordinaten darzustellen,da diese besser an die Problemstellung angepasst sind als kartesische Koordi-naten. In Polar-Koordinaten wird z nicht durch die Real- und Imaginärteilea und b festgelegt, sondern durch den Radius r und den Winkel ω. EinenZusammenhang zwischen dem Radius und den kartesischen Koordinaten ha-ben wir schon mit Hilfe des Satzes von Pythagoras gefunden, siehe (2.80).Um einen Ausdruck für die Winkelkoordinate ω abzuleiten erinnern wir unsan zwei elementare Zusammenhänge im rechtwinkligen Dreieck in Abbildung2.8, nämlich

cosω =a

rund sinω =

b

r. (2.81)

Daraus können wir durch geschicktes Arrangieren folgenden Zusammenhanggewinnen

b

a=r sinω

r cosω= tanω. (2.82)

Nun müssen wir nur noch die Umkehrfunktion des Tangens bemühen underhalten den gesuchten Ausdruck

ω = arctan

[b

a

]. (2.83)

43


Es gilt hier zu beachten, dass die Definitionsbereiche beim Übergang vonkartesischen zu Polar-Koordinaten ebenfalls verändert werden. Während aund b jeden beliebigen reellen Wert annehmen konnten, a, b ∈ R, gilt für dieRadius- und Winkelkoordinaten r ∈ [0,∞) und ω ∈ [−π, π]. Wir fassen diebeiden alternativen Darstellungen, vgl. (2.82), zusammen

z = a+ ib = r(cosω + i sinω). (2.84)

Wir haben am Anfang des Abschnitts unterstellt, dass im Fall komplexerWurzeln Polar-Koordinaten besser an die Problemstellung angepasst sind.Wir sehen in (2.84), dass die Polar-Darstellung trigonometrische Funktionenenthält. Daraus können wir im Umkehrschluss folgern, dass es im Fallekomplexer Wurzeln offenbar zu Schwingungen des Systems kommt. Genaudas ist auch der Fall.

Die Polar-Darstellung der komplexen Zahl z ist aber noch viel leistungs-fähiger als es bislang scheint. Das wird klar, wenn wir versuchen die Potenzeiner komplexen Zahl zu berechnen. In kartesischen Koordinaten bekämenwir als Lösung

zt = (a+ ib)t =t∑

k=0

(t

k

)at−k(ib)k. (2.85)

In (2.85) wurde der binomische Lehrsatz verwendet, den wir ohne weiterenKommentar stehen lassen, da wir nicht die Absicht haben den Ausdruck müh-sam auszurechnen. Im Exponenten steht etwas suggestiv bereits t, was sichim Anschluss aufklären wird. Wir verwenden stattdessen Polar-Koordinatenin Verbindung mit der Eulerschen Formel.

44


Einschub: Eulersche Formel

Zwischen den trigonometrischen Funktionen und derExponentialfunktion besteht folgender Zusammen-hang

eiω = cosω + i sinω.

Der Zusammenhang entsteht aus der Reihenentwick-lung der involvierten Funktion

eiω =∞∑k=0

(iω)k

k!= 1 + iω − ω

2!− iω

3

3!+ω4

4!+ . . .

=

(1− ω2

2!+ω4

4!− . . .

)+ i

(ω − ω3

3!+ω5

5!− . . .

)= cosω + i sinω.

Der Ausdruck k! (Fakultät) kann dabei rekursiv defi-niert werden

k! = k · (k − 1)! und 0! = 1.

Das heißt, wir erhalten für die Potenz einer komplexen Zahl in Polar-Darstellung

zt = rt(cosω + i sinω)t = rteiωt = rt(cos[ωt] + i sin[ωt]

). (2.86)

Dieser Ausdruck ist wesentlich einfacher zu handhaben und er verrät unseiniges über die Struktur der Schwingungen. Zunächst wird klar, dass dieSchwingungen für r < 1 in der Zeit abnehmen (gedämpfte Schwingung) dennes gilt ja

limt→∞

rt = 0 für r < 1. (2.87)

Weiterhin können wir die Schwingungszeit (Periode) einer komplettenSchwingung berechnen. Wir wissen ja, dass ein kompletter Zyklus der Sinus-bzw. Cosinusfunktion genau dem Kreisumfang 2π entspricht. Bezeichnet hierT die Periode erhalten wir durch Gleichsetzen

ωT = 2π ⇒ T =2π

ω. (2.88)

Wir verstehen nun auch besser was mit dem Terminus „an die Problemstel-lung angepasst“ gemeint war. Bei der Berechnung der Schwingungszeit in(2.88) wurde implizit ω > 0 angenommen. Diese Annahme ist unproblema-tisch, da für Sinus und Cosinus mit ω ∈ [−π, π]

cos[−ω] = cosω und sin[−ω] = − sinω (2.89)

45


gilt. Das heißt nichts anderes, als dass für konjugiert-komplexe Wurzeln

λ1/2 = a± ib = r(cosω ± i sinω) mit ω = arctan

∣∣∣∣ ba∣∣∣∣ (2.90)

gilt. Damit ist ω nicht negativ und die Periode T ≥ 0.

Aufgabe 2.10

Gegeben sei der folgende AR(2)-Prozess

yt = yt−1 −1

2yt−2 + εt

mit εt ∼ N(0, σ2).

a) Bestimmen Sie die Wurzeln λ1 und λ2,b) Berechnen Sie die Schwingungsdauer T ,c) Nach welcher Zeit τ sind die Schwingungen bis

auf 10% ihrer Anfangsamplitude abgeklun-gen?

2.4.4 Autokovarianz und Autokorrelation

Wie im Fall des AR(1)-Prozesses hängt die Autokovarianz bzw. die Autokor-relation im stationären Fall ausschließlich vom Lag k ab. Wir gehen hier ganzanalog zu (2.20) auf Seite 15 vor um die Yule-Walker -Gleichung abzuleiten

yt = φ1yt−1 + φ2yt−2 + εt∣∣ · yt−k

⇒ ytyt−k = φ1yt−1yt−k + φ2yt−2yt−k + εtyt−k∣∣E[. . .]

⇒ E[ytyt−k] = φ1E[yt−1yt−k] + φ2E[yt−2yt−k] + E[εtyt−k]

⇒ γk = φ1γk−1 + φ2γk−2.

(2.91)

Für die Autokorrelation ergibt sich eine identische Vorschrift, da lediglich alleTerme durch γ0 zu teilen sind. Wir können daher die Yule-Walker -Gleichungebenfalls in Kurzform als

φ(B)γk = 0 bzw. φ(B)ρk = 0 (2.92)

schreiben. Mit (2.92) gewinnen wir eine rekursive Gleichung für die Au-tokovarianz bzw. die Autokorrelation. Wie gelangen wir aber an eineexplizite Formel und müssen wir zwischen reellen und imaginären Lösungenunterscheiden? In einem solchen Fall machen Mathematiker einen „Ansatz“,

46


was nichts anderes heißt, als dass sie raten. Bei einem solchen Ansatz wirdaber nicht blind irgendetwas geraten, sondern man hat eine Vorstellungvon der Form und Struktur der Lösung und rät dann einen allgemeinenLösungstyp, dessen Koeffizienten man durch geschicktes Ausnutzen derRandbedingungen zu bestimmen versucht. Das hört sich sehr kompliziertan, ist es aber letztendlich nicht. Wir wollen einmal Schritt für Schritt dieAutokorrelationsfunktion des AR(2)-Prozesses „erraten“.

Zunächst rufen wir uns noch einmal ins Gedächtnis, wie die Autokor-relation des AR(1)-Prozesses aufgebaut war. Im AR(1)-Modell haben wirzunächst nur eine einzige Wurzel, nämlich λ = φ, was im stationären Fall zurexpliziten Autokorrelation

ρk = λk, (2.93)

vgl. (2.23) auf Seite 16, führt. Wir „raten“ nun, dass die Autokorrelation imAR(2)-Modell aus einer Linearkombination der Wurzeln besteht

ρk = A1λk1 + A2λ

k2, (2.94)

mit den Koeffizienten A1, A2 ∈ R. Wir nehmen zunächst an, dass λ1 6= λ2

gilt. Für k = 0, 1 erhält man das lineare Gleichungssystem(1 1λ1 λ2

)(A1

A2

)=

(ρ0

ρ1

). (2.95)

Für die Autokorrelation mit Lag 0 gilt definitionsgemäß ρ0 = 1. Die Auto-korrelation mit Lag 1 kann mit einem kleinen Trick berechnet werden, indemman den Zusammenhang ρ1 = ρ−1 ausnutzt und die Yule-Walker -Gleichung(2.92) beginnend mit k = 1 anschreibt

ρ1 = φ1 + φ2ρ1 ⇒ ρ1 =φ1

1− φ2

. (2.96)

Damit erhalten wir die Koeffizienten des Ansatzes (2.94) durch Lösen deslinearen Gleichungssystems(

A1

A2

)=

(1 1λ1 λ2

)−1( 1φ1

1−φ2

). (2.97)

Die Inverse Matrix in (2.97) existiert in jedem Fall, wenn λ1 6= λ2 gilt, undman erhält explizit

A1/2 = ±λ2/1 − φ1

1−φ2

λ2 − λ1

. (2.98)

47


Allerdings war für die Koeffizienten gefordert, dass Sie in der Menge derreellen Zahlen liegen. Daher ist diese Lösung nur für λ1, λ2 ∈ R brauchbar.

Als nächstes machen wir uns klar, dass eine Lösung mit komplexen Wur-zeln auch den Fall λ1 = λ2 umfasst, da jede reelle Zahl auch Element derkomplexen Zahlen ist, wobei lediglich der Imaginärteil null ist. Aus dieserÜberlegung folgt, dass wir mit einer Lösung für komplexe Wurzeln auto-matisch auch die Lösung für identische reelle Wurzeln gefunden haben. Wirgehen zweckmäßigerweise wieder zu Polar-Koordinaten über

ρk = A1rk(cosω + i sinω)k + A2r

k(cosω − i sinω)k

= A1rkeiωk + A2r

ke−iωk

= (A1 + A2)rk cos[ωk] + i(A1 − A2)rk sin[ωk]

(2.99)

Wir wissen, dass die Autokorrelation selbst eine reelle Größe ist, oder allge-meiner formuliert, eine komplexe Größe mit Imaginärteil null. Dieses Wissenschöpfen wir nun aus, um etwas über die Koeffizienten zu erfahren

Im[ρk] = (A1 − A2)rk sin[ωk] = 0. (2.100)

Da A1 und A2 reell sind folgt aus (2.100) unmittelbar A1 = A2 = A. Damitvereinfacht sich die Korrelationsgleichung (2.99) bereits drastisch und wirerhalten

ρk = 2Ark cos[ωk]. (2.101)

Um den verbleibenden Koeffizienten A zu determinieren, nutzen wir wiederdie Autokorrelation mit Lag null, woraus in Verbindung mit (2.101)

ρ0 = 2A = 1 ⇒ A =1

2(2.102)

folgt. Damit können wir explizit die Autokorrelation mit Lag k in kartesischensowie in Polar-Koordinaten angeben

ρk =1

2

(λk1 + λk2

)= rk cos[ωk]. (2.103)

Für λ1 = λ2 = λ führt Gleichung (2.103) wieder auf die Autokorrelations-funktion des AR(1)-Prozesses

ρk = λk, (2.104)

vgl. (2.23) auf Seite 16. In der Tat ist ein solcher Prozess nicht anhand sei-ner Korrelationsstruktur von einem AR(1)-Prozess mit φ = λ unterscheidbar.

48


Abbildung 2.9: ACF und PACF des AR(2)-Prozesses mit φ1 = 1 und φ2 = −0.5

Die partielle Autokorrelation ergibt sich wieder aus der Lösung desbekannten Gleichungssystems (2.24) auf Seite 17. Hier ergibt sich nichtsNeues, die PACF beseitigt die „Interferenzen“ zwischen den ersten beidenLags und die „Echos“ für k > 2. Abbildung 2.9 zeigt die Autokorrelati-onsfunktion (links) und die partielle Autokorrelationsfunktion (rechts) desAR(2)-Prozesses aus Aufgabe 2.10 auf Seite 46. Die PACF offenbart dieisolierten Einflüsse der AR-Quellen.

Aufgabe 2.11

Gegeben sei der AR(2)-Prozess

yt = 0.2yt−1 + 0.35yt−2 + εt.

Überprüfen Sie die Stationarität und geben Sie dieKorrelationsfunktion für beliebiges Lag k an.

Aufgabe 2.12

Für den AR(2)-Prozess aus Aufgabe 2.10 auf Sei-te 46 haben wir die Wurzeln (inverted roots)

λ1/2 =1

2± i1

2

errechnet. Ermitteln Sie die Autokorrelationen ρ2

und ρ4 für diesen Prozess.

49


2.4.5 Parameterschätzung

Die Parameterschätzung im AR(2)-Modell hält keine großen Überraschungenbereit, es gelten weiterhin die Schätzer (2.29) bis (2.32) auf Seite 21 für dieStationären Momente.

Der Kleinste-Quadrate Schätzer für die „Regressionskoeffizienten“ desAR(2)-Modells entsteht nun aus der Bedingung

minT∑t=3

ε2t = minT∑t=3

(yt − θ0 − φ1yt−1 − φ2yt−2)2. (2.105)

Daraus leitet sich für den Parametervektor θ = (θ0, φ1, φ2)′ abermals derSchätzer (2.42) von Seite 27

θ = (X′X)−1 X′y (2.106)

ab, wobei nun für den Vektor y und die Matrix X

y =

ytyt−1...y3

und X =

1 yt−1 yt−2

1 yt−2 yt−3...

......

1 y2 y1

(2.107)

gilt.

2.5 AR(p)-ProzesseDer AR(p)-Prozess ist die natürlichen Erweiterung der bisher behandeltenAR(1)- und AR(2)-Prozesse. Er wird im Allgemeinen effizient in Operator-schreibweise notiert

φ(B)yt = yt − φ1yt−1 − . . .− φpyt−p = εt. (2.108)

Die Analyse von AR(p)-Prozessen wird mit wachsender Ordnung p schnellsehr komplex und ist in der Regel nur durch den Einsatz spezieller Softwaremöglich. Der Grund hierfür wird schnell klar, wenn die Stationaritätseigen-schaften des Prozesses betrachtet werden.

50

2.5. AR(P)-PROZESSE

2.5.1 Stationarität des AR(p)-Prozesses

Wie in den vorangegangenen Beispielen stecken auch hier alle Informationenzum Auffinden der Wurzeln des Prozesses im Operator φ(B). Nach Einsetzender Variable z erhalten wir wieder das charakteristische Polynom

φ(z) = 1− φ1z − φ2z2 − . . .− φpzp. (2.109)

Verwenden wir die Darstellung mit „inverted roots“ λ = z−1, erhalten wir dieWurzeln des AR(p)-Prozesses aus der Gleichung

λp − φ1λp−1 − . . .− φp−1λ− φp = 0. (2.110)

(2.110) ist eine polynomiale Gleichung n-ter Ordnung. Sie kann für n > 4nur numerisch gelöst werden. Es können sowohl komplexe wie reelle Wurzelnauftreten, komplexe Wurzeln kommen jedoch nur als konjugiert komplexePaare zk/k+1 = a± ib mit 1 ≤ k < p vor.

Ein AR(p)-Prozess ist stationär, wenn alle Wurzeln z1, . . . , zp außer-halb des komplexen Einheitskreises liegen.

Äquivalent kann wieder gefordert werden, dass alle inversen Wurzelnλ1, . . . , λp innerhalb des komplexen Einheitskreises liegen müssen. In der Pra-xis ist es oft ein Problem zu entscheiden, ob ein vorgelegter Prozess stationärist oder nicht. Wir haben bereits beim AR(2)-Prozess gesehen, dass die Wur-zeln in komplizierter Weise von den AR-Parametern abhängen, vgl. Gleichung(2.77) auf Seite 40. In praktischen Anwendungen sind die wahren Parameterjedoch in der Regel unbekannt und müssen geschätzt werden. Die Konsequenzist, dass die Wurzeln des Prozesses ebenfalls nur geschätzt werden können. Eswerden dann häufig sog. „unit root“ Tests verwendet, die auf statistischemWege klären sollen, ob eine oder mehrere Wurzeln des Prozesses auf demkomplexen Einheitskreis liegen könnten.


Auch hier stellen AR(p)-Prozesse nur eine Verallgemeinerung der bishervorgestellten AR(1)- und AR(2)-Prozesse dar. Autokovarianz und Autokor-relation hängen weiterhin ausschließlich vom Lag k ab. Die Yule-Walker -Gleichungen können ebenfalls analog durch Multiplikation mit yt−k und an-schließende Erwartungswertbildung hergeleitet werden, vgl. (2.91) auf Seite46. Wir erhalten wiederum in Kurzform

φ(B)γk = 0 bzw. φ(B)ρk = 0. (2.111)

51


Abbildung 2.10: ACF und PACF eines AR(4)-Prozesses mit φ1 = 0.6, φ2 = 0.3,φ3 = −0.4 und φ4 = 0.2

Ein Ansatz für die explizite Berechnung der Autokorrelation kann wiederüber eine Linearkombination der Wurzeln gebildet werden. Man erhält

ρk =

p∑j=1

Ajλkj , (2.112)

mit den Koeffizienten A1, . . . , Ap ∈ R. Hier liegt erneut eine polynomialeGleichung p-ten Grades mit unbekannten Koeffizienten vor. Die Lösung lässtsich daher nicht so einfach bestimmen wie im Fall des AR(2)-Prozesses.

Die partiellen Autokorrelationen werden wieder aus dem Gleichungssys-tem (2.24) auf Seite 17 gewonnen, wenn die Autokorrelationen vorliegen.Abbildung 2.10 zeigt exemplarisch die Autokorrelation (links) und die parti-elle Autokorrelation (rechts) für einen AR(4)-Prozess. Solche Prozesse werdenhäufig verwendet um saisonale Schwankungen in Quartalsdaten zu modellie-ren. Die grundlegenden Charakteristiken eines AR-Prozesses bleiben offen-sichtlich auch für Prozesse höherer Ordnung erhalten. Die partielle Autokor-relation fällt für Lags k > p augenblicklich auf null ab. Die Autokorrelationselbst klingt exponentiell ab. Offenbar wird in diesem Fall das Abfallen derAutokorrelation mit einer Schwingung überlagert, was auf komplexe Wurzelndes Prozesses hindeutet.


Die Parameter des AR(p)-Prozesses können wieder mit der Methode derkleinsten Quadrate geschätzt werden. Das Minimierungsproblem lautet nun

minT∑

t=p+1

ε2t = minT∑

t=p+1

(yt − θ0 − φ1yt−1 − . . .− φpyt−p)2. (2.113)

52

2.5. AR(P)-PROZESSE

Für den Parametervektor θ = (θ0, φ1, . . . , φp)′ gilt wieder der KQ-Schätzer

(2.42) von Seite 27θ = (X′X)

−1 X′y, (2.114)

wobei der Vektor y und die Matrix X durch

y =

ytyt−1...

yp+1

und X =

1 yt−1 . . . yt−p1 yt−2 . . . yt−p−1...

... . . . ...1 yp . . . y1

(2.115)

gegeben sind. Für AR-Modelle höherer Ordnung müssen also umfangreicheMatrizen berechnet und invertiert werden, was in der Praxis ebenfalls mitspeziellen Computerprogrammen durchgeführt wird.

Die Schätzfunktionen für die stationären Momente, (2.29) bis (2.32) aufSeite 21, gelten auch weiterhin uneingeschränkt für AR(p)-Prozesse.

53

3MA-Prozesse

Im vorangegangenen Kapitel wurden die Eigenschaften von AR-Prozessenausführlich diskutiert. Bei der AR-Formulierung steht ein quasi lokaler Be-schreibungsansatz im Vordergrund. Der aktuelle Systemzustand wird durcheine beschränkte Anzahl vergangener Systemzustände (beim AR(p)-Prozessexakt durch p vergangene Zustände) erklärt, wobei noch ein aktuellerZufallseinfluss hinzu addiert wird. Es existiert jedoch noch ein alternativerFormulierungsansatz, der als global oder separiert charakterisiert werdenkönnte. Wir steigen in diese Thematik mit einem zentralen Theorem ein,das die Konstruktionsidee dieses Ansatzes sehr schön verdeutlicht.

Theorem 3.1: Wold-Zerlegung

Jeder kovarianzstationäre Prozess kann in eine lineare determi-nistische Komponente und eine rein stochastische Komponentezerlegt werden

xt = κt +∞∑k=0

ψkεt−k,

mit

ψ0 = 1 und∞∑k=0

ψ2k <∞.

Der Term κt ist der rein deterministische Anteil, der sowohl auseinem konstanten Mittelwert als auch aus einem linearen, polyno-mialen, exponentiellen oder zyklischen Trend bestehen kann. Erist für alle k = 0, . . . ,∞ von der Rauschkomponente εt−k unab-hängig.

Die Separation zwischen systematischen (deterministischen) Einflüssen undreinem Zufallsrauschen wird hier global über die gesamte Historie des Pro-zesses vollzogen. Die Quadratsummenrestriktion für die Koeffizienten ψk ist

55

KAPITEL 3. MA-PROZESSE

eine technische Bedingung, die gewährleisten soll, dass die Varianz des Pro-zesses endlich bleibt, vorausgesetzt die Varianz des Zufallsfehlers εt ist selbstendlich. Wir werden nun zeigen, dass die AR-Prozesse aus dem letzten Kapi-tel eine alternative MA-Darstellung besitzen, die durch die Wold -Zerlegungvermittelt wird.

3.1 AR(1)- und MA(∞)-DarstellungWir nehmen nun an, dass der lineare systematische Anteil κt der Wold -Zerlegung lediglich aus einem konstanten Mittelwert µ besteht. Wir erhaltendann gemäß Theorem 3.1 auf der vorherigen Seite

xt − µ = yt =∞∑k=0

ψkεt−k. (3.1)

Weiterhin sei ein stationärer AR(1)-Prozess gegeben, der mit Hilfe seinesLag-Polynoms in der Form

(1− φ1B)yt = εt (3.2)

geschrieben werden kann, vgl. (2.70) auf Seite 39. Da der AR(1)-Prozessstationär ist und daher |φ1| < 1 gilt, kann der Faktor 1− φ1B auf die rechteSeite gebracht und in eine geometrische Reihe entwickelt werden

yt =1

1− φ1Bεt = (1 + φ1B + φ2

1B2 + . . .)εt =

∞∑k=0

φk1εt−k. (3.3)

Ein Vergleich der Koeffizienten in (3.1) und (3.3) zeigt, dass offenbar ψk = φk1gilt. Der AR(1)-Prozess lässt sich also in eine Wold -Darstellung umschreiben.Allgemeiner vereinbart man die Moving Average (MA) Darstellung

yt = εt + θ1εt−1 + . . .+ θqεt−q. (3.4)

Der AR(1)-Prozess besitzt also eine äquivalente MA(∞)-Darstellung mitθk = φk1.

3.2 Der MA(1)-ProzessMA-Prozesse stellen eine selbständige Prozessklasse dar, die auch losgelöstvon der Wold -Zerlegung formuliert und analysiert werden kann. Das ein-fachste Mitglied dieser Klasse ist der MA(1)-Prozess, der ähnlich wie derAR(1)-Prozess in Operatorschreibweise notiert werden kann

yt = εt + θ1εt−1 = (1 + θ1B)εt = θ(B)εt. (3.5)

56

3.2. DER MA(1)-PROZESS

Der Fehlerterm wird hier unabhängig und identisch verteilt angenommen, mitendlicher Varianz σ2. Der MA-Operator wird in allgemeiner Form analog zumAR-Operator (2.67) auf Seite 38 definiert als

θ(B) = 1 +

q∑k=1

θkBk, (3.6)

was im Fall des MA(1)-Modells gerade zur Darstellung (3.5) führt.

Für einen beliebigen vorgelegten MA(1)-Prozess ergeben sich nun zweiinteressante Fragen. Erstens, ist der MA(1)-Prozess stationär? Zweitens, be-sitzt er eine äquivalente AR-Darstellung? Wir werden die Frage nach derStationarität hier auf die Kovarianzstationarität beschränken; zum einen, dawir den Fehlerterm in der Regel als normalverteilt annehmen, zum ande-ren wurde in der Wold -Zerlegung (Theorem 3.1 auf Seite 55) lediglich diesesKriterium gefordert. Kovarianzstationarität ist gegeben, wenn die ersten bei-den Momente sowie die Autokovarianzfunktion nicht von der Zeit, respektivelediglich vom Lag abhängen. Für den Erwartungswert gilt

E[yt] = E[εt + θ1εt−1] = E[εt] + θ1E[εt−1] = 0. (3.7)

Da die Fehler per Definition voneinander unabhängig sind, ergibt sich dieVarianz als

Var[yt] = Var[εt] + θ21Var[εt−1] = (1 + θ2

1)σ2. (3.8)

Beide Momente (3.7) und (3.8) hängen damit nicht von der Zeit oder derZeitverschiebung ab. Für die Kovarianzfunktion mit Lag 1 erhalten wir

Cov[yt, yt−1] = E[ytyt−1] = E[εtεt−1 + θ1εtεt−2 + θ1ε2t−1 + θ2

1εt−1εt−2]

= θ1Var[εt−1] = θ1σ2.

(3.9)

Für Lags k > 1 ist unmittelbar aus (3.9) ersichtlich, dass die Kovarianz nullist, da keine zeitliche Überschneidung der Fehlerterme mehr zustande kommt.Die allgemeine Kovarianzfunktion ist deshalb

γk =

(1 + θ2

1)σ2 für k = 0

θ1σ2 für k = 1

0 für k > 1.

(3.10)

Wir können zusammenfassen, dass alle Momente endlich sind und nicht vonder Zeit t abhängen. Die Kovarianzfunktion γk hängt lediglich vom Lag k ab,daher ist der MA(1)-Prozess in jedem Fall stationär, und zwar unabhängigvon der Wahl des Koeffizienten θ1.

57


Die zweite Frage war nun, ob der MA(1)-Prozess eine äquivalenteAR-Darstellung besitzt. Es spricht einiges dafür, beispielsweise, dass einstationärer AR(1)-Prozess eine äquivalente MA-Darstellung besitzt. Imumgekehrten Fall hatten wir den AR-Operator auf die andere Seite der Glei-chung gebracht und in eine geometrische Reihe entwickelt. Der Gedanke liegtnahe dasselbe mit Gleichung (3.5) zu tun. Dazu muss aber gefordert werden,dass |θ1| < 1 gilt, da sonst die benötigte Reihenentwicklung nicht möglich ist.Im Fall des AR(1)-Prozesses war die Bedingung |φ1| < 1 automatisch erfüllt,da Stationarität gefordert wurde. Der MA(1)-Prozess ist hingegen immerstationär. Hier wird die notwendige Restriktion des MA-Koeffizienten alsInvertierbarkeit bezeichnet. Ein MA(1)-Prozess besitzt also eine alternativeAR-Darstellung, wenn er invertierbar ist. Die Berechnung dieser Formsteht als Aufgabe am Ende dieses Abschnitts zur Verfügung. Wir wollenzunächst zeigen, dass diese Bedingung in der Praxis eine gewissermaßenschwächere Einschränkung darstellt als die Stationaritätsforderung an denAR(1)-Prozess.

Wir berechnen zunächst die Autokorrelation des MA(1)-Prozesses

ρ1 =γ1

γ0

=θ1

1 + θ21

. (3.11)

Gleichung (3.11) gilt für alle möglichen Werte des Parameters θ1. Weiterhinbleibt die Autokorrelationsfunktion unverändert, wenn an Stelle von θ1 derKehrwert 1/θ1 eingesetzt wird. Diese Behauptung erscheint zunächst völligkontraintuitiv. Nachrechnen zeigt jedoch

ρ1 =1θ1

1 + 1θ21

=θ2

1 · 1θ1

θ21 ·(

1 + 1θ21

) =θ1

θ21 + 1

. (3.12)

Das bedeutet, jeder nicht-invertierbare MA(1)-Prozess mit |θ1| > 1 besitzt einGegenstück oder einen Zwillingsprozess, der über dieselbe Autokorrelations-struktur verfügt und invertierbar ist.

58

3.2. DER MA(1)-PROZESS

Aufgabe 3.1

Gegeben sei der MA(1)-Prozess

yt = θ(B)εt = (1 + θ1B)εt,

mit

|θ1| < 1 und εt ∼ N(0, σ2).

Leiten Sie die AR-Representation desMA(1)-Prozesses her.


Die Parameterschätzung wird für MA-Modelle in der Regel mit derMaximum-Likelihood-Methode durchgeführt. Genauer wird meist die loga-rithmierte bedingte Likelihood Funktion maximiert. Wir werden hier dasPrinzip exemplarisch Schritt für Schritt am MA(1)-Modell

yt = θ0 + εt + θ1εt−1 (3.13)

nachvollziehen. Die Konstante θ0 stellt hier den Mittelwert dar. Sie wurdeeingefügt, um die Notation hinsichtlich der Parameterschätzung in AR-Modellen zu vereinheitlichen.

Ausgangspunkt für die ML-Schätzung ist die bedingte Dichte von yt, vgl.(2.45) auf Seite 30. Hier muss jedoch auf εt−1 bedingt werden, da eine MA-Spezifikation vorliegt. Bei normalverteilten Fehlertermen ergibt sich die be-dingte Dichte

p(yt|εt−1) =1√

2πσ2e−

12

(yt−θ0−θ1εt−1)2

σ2 . (3.14)

Die Frage lautet nun, wie kann εt−1 ermittelt werden, wenn für gewöhnlichnur die Zeitreihe (yt)t=1,...,T bekannt ist? Wir nehmen einmal an, der nullteFehlerterm sei bekannt und setzen ε0 = 0. Wir erkennen sofort, dass daraus

ε1 = y1 − θ0 (3.15)

folgt. Damit ist ε1 ebenfalls bekannt, und das selbe Argument kann rekursiveingesetzt werden. Man erhält

εt = yt − θ0 − θ1εt−1. (3.16)

59


Iterieren von (3.16) und beachten der Anfangsbedingung ε0 = 0, führt zueiner expliziten Formel für εt,

εt =t−1∑k=0

(−1)kθk1(yt−k − θ0). (3.17)

Theoretisch lassen sich die Fehlerterme εt bequem rekursiv berechnen,was können wir also aus der expliziten Formel lernen? Rufen wir unszunächst noch einmal ins Gedächtnis, dass der MA(1)-Prozess in jedem Fallstationär ist, also auch für |θ1| > 1. Ist das der Fall, wirkt sich die Wahlder Anfangsbedingung mit zunehmender Zeit immer stärker auf εt aus. Umdas zu erkennen machen wir uns klar, dass der letzte Term der Summe in(3.17) den Fehler ε1 enthält. Einsetzen von (3.15) liefert für diesen finalenTerm (−1)t−1θt−1

1 ε1. Der Fehler ε1 berechnet sich aber genaugenommenaus ε1 = y1 − θ0 − θ1ε0. Zusammenfassend schließt man also, dass derFehler, der aufgrund der willkürlichen Festsetzung von ε0 in die Berechnungvon εt einfließt, mit θt1 potenziert wird. Ist |θ1| < 1, verliert dieser Fehlerimmer mehr an Gewicht und verschwindet für große t. Für |θ1| > 1 sinddie Folgen jedoch fatal. Die bedingten Wahrscheinlichkeitsdichten werdenzunehmend falsch und die vorgeschlagene ML-Schätzung ist nicht anwendbar.

Wir gehen daher im Folgenden davon aus, dass der vorgelegte MA-Prozessinvertierbar ist, wodurch eben genau |θ1| < 1 sichergestellt wird. Die loga-rithmierte Likelihoodfunktion ergibt sich dann zu

l(θ0, θ1, σ2) =

T∑t=1

log p(yt|εt−1) = −T2

log[2πσ2]− 1

2σ2

T∑t=1

ε2t , (3.18)

vgl. (2.46) auf Seite 30. Diese Funktion muss numerisch maximiert werden.Die dazu notwendigen Verfahren, wie Newton-Raphson-Algorithmus oderScoring-Verfahren sind nicht Gegenstand dieser Vorlesung, sondern ein ei-gener Bereich der numerischen Mathematik.

60

3.3. MA(Q)-PROZESSE

Aufgabe 3.2


(yt)t=1,...,6 = 2, 3, 0,−2, 1,−2.

Nehmen Sie an, dass die Zeitreihe von dem MA(1)-Prozess

yt = εt + θεt−1,

mit ε0 = 0 erzeugt wurde. Geben Sie die logarithmier-te Likelihoodfunktion an für

a) θ = σ2 = 12,

b) θ = 14und σ2 = 1.

3.3 MA(q)-ProzesseMA(q)-Prozesse sind die natürliche Erweiterung des MA(1)-Prozesses, ge-nau wie der AR(1)-Prozess im vorigen Kapitel auf AR(p)-Prozesse erweitertwurde. Sie notieren allgemein in Operatorschreibweise

yt = θ(B)εt, (3.19)

mit dem MA-Operator

θ(B) = 1 +

q∑k=1

θkBk. (3.20)

Dies ist völlig analog zum AR-Operator (2.67) auf Seite 38. Wir werdenin diesem Abschnitt einige allgemeine Eigenschaften von MA-Prozessen zu-sammentragen, die lediglich eine Generalisierung der MA(1)-Eigenschaftendarstellen. Da MA-Prozesse ihre Hauptwirkung als Bestandteil der zusam-mengesetzten ARMA-Klasse entfalten, wird an dieser Stelle auf detailierteBeweise verzichtet. Der interessierte Leser sei auf das Hauptskript und diedarin zitierte Literatur verwiesen.


Analog zur Argumentation im MA(1)-Fall lässt sich die Varianz, respektivedie Autokovarianz, durch Auswertung der Gleichung

γk = Cov[yt, yt−k] = E[ytyt−k] (3.21)

61


Abbildung 3.1: ACF und PACF des MA(2)-Prozesses mit θ1 = 0.5 und θ2 = 0.8

bestimmen, vgl. (3.8) und (3.9) auf Seite 57. Beachten Sie, dass Cov[yt, yt] =Var[yt] gilt. Man erhält explizit

γk =

(

1 +∑q

j=1 θ2j

)σ2 für k = 0(

θk +∑q−k

j=1 θk+jθj

)σ2 für 1 ≤ k ≤ q

0 für k > q.

(3.22)

Man überprüft leicht, dass sich mit Hilfe von (3.22) für q = 1 wieder dieFormeln aus (3.10) für das MA(1)-Modell ergeben. Die Autokorrelation ergibtsich einfach durch Normierung mit γ0

ρk =

1 für k = 0θk+θk+1θ1+...+θqθq−k

1+θ21+...+θ2

qfür 1 ≤ k ≤ q

0 für k > q.

(3.23)

In (3.23) wurden lediglich die Summenzeichen aus (3.22) expandiert. Umdie partielle Autokorrelation zu berechnen, müssen die Autokorrelationennun wieder in das lineare Gleichungssystem (2.25) auf Seite 18 eingesetztwerden. Wir ersparen uns an dieser Stelle eine formale Demonstration unddiskutieren stattdessen, welche Struktur die partielle Autokorrelationsfunk-tion eines MA-Prozesses aufweist.

Wir erinnern uns, dass der MA(1)-Prozess eine äquivalente, exponentiellabklingende AR-Representation besitzt, siehe Aufgabe 3.1 auf Seite 59. Einsolcher Prozess hat eine ebenfalls gegen unendlich abklingende partielleAutokorrelationsfunktion. Dies ist die schematische Struktur, die wir beieinem reinen MA-Modell erwarten dürfen. Abbildung 3.1 zeigt exemplarischdie ACF und PACF für einen MA(2)-Prozess. Es ist deutlich erkennbar,dass die Autokorrelation nach Lag 2 augenblicklich auf null abfällt, während

62

3.3. MA(Q)-PROZESSE

AR(p) MA(q)ACF Exponentiell abklingend 0 für Lags größer qPACF 0 für Lags größer p Exponentiell abklingendÜberführbar Wenn stationär Wenn invertierbar

Tabelle 3.1: Eigenschaften von AR(p)- und MA(q)-Prozessen

die partielle Autokorrelation exponentiell schwingend abklingt. AR- undMA-Prozesse besitzen hinsichtlich ihrer (partiellen) Autokorrelationss-truktur also genau entgegengesetzte Charakteristiken, die in Tabelle 3.1zusammengefasst sind.

Aufgabe 3.3

Bestimmen Sie die Autokovarianzfunktionendes MA(2)-Modells

yt = εt + θ1εt−1 + θ2εt−2.

Nehmen Sie an, dass εt unabhängig N(0, σ2)-verteilt ist.

63


Aufgabe 3.4

Die folgenden Ausdrucke enthalten mit der Software EViews geschätzteACF und PACF verschiedener Prozesse. Ordnen Sie jeweils die Prozess-klasse zu.

a)

Correlogram of MA2



1 -0.292 -0.292 85.593 0.0002 0.395 0.338 242.23 0.0003 -0.016 0.197 242.48 0.0004 0.015 -0.104 242.69 0.0005 -0.033 -0.156 243.78 0.0006 0.016 0.020 244.04 0.0007 -0.022 0.075 244.53 0.0008 0.052 0.071 247.26 0.0009 -0.003 -0.002 247.26 0.000

10 0.057 0.010 250.59 0.00011 0.002 0.010 250.59 0.00012 0.060 0.052 254.22 0.00013 -0.073 -0.076 259.69 0.00014 0.053 -0.027 262.49 0.00015 -0.090 -0.035 270.74 0.00016 -0.011 -0.040 270.86 0.00017 -0.021 0.009 271.31 0.00018 -0.063 -0.049 275.38 0.000

b)


1 0.819 0.819 672.79 0.0002 0.662 -0.026 1113.2 0.0003 0.529 -0.018 1394.8 0.0004 0.420 -0.007 1572.5 0.0005 0.344 0.031 1691.4 0.0006 0.272 -0.028 1766.1 0.0007 0.222 0.021 1816.0 0.0008 0.196 0.042 1854.7 0.0009 0.187 0.047 1890.1 0.000

10 0.189 0.037 1926.2 0.00011 0.178 -0.018 1958.1 0.00012 0.177 0.041 1989.7 0.00013 0.167 -0.008 2018.1 0.00014 0.159 0.015 2043.9 0.00015 0.144 -0.015 2064.9 0.00016 0.127 0.006 2081.4 0.00017 0.116 0.012 2095.1 0.00018 0.104 -0.002 2106.2 0.000

c)


1 0.556 0.556 309.57 0.0002 -0.201 -0.738 350.30 0.0003 -0.608 -0.013 722.42 0.0004 -0.453 -0.031 928.54 0.0005 0.002 -0.001 928.55 0.0006 0.350 0.045 1051.9 0.0007 0.365 0.024 1186.6 0.0008 0.107 -0.015 1198.1 0.0009 -0.150 0.082 1220.9 0.000

10 -0.215 0.007 1267.7 0.00011 -0.097 0.014 1277.2 0.00012 0.068 0.035 1281.9 0.00013 0.148 0.021 1304.3 0.00014 0.111 0.031 1316.9 0.00015 0.001 -0.018 1316.9 0.00016 -0.101 -0.037 1327.2 0.00017 -0.116 0.005 1340.9 0.00018 -0.055 -0.049 1344.0 0.000

d)

Correlogram of MA1



1 0.447 0.447 200.95 0.0002 0.026 -0.218 201.62 0.0003 0.023 0.139 202.14 0.0004 -0.011 -0.105 202.25 0.0005 -0.043 0.017 204.13 0.0006 -0.029 -0.023 205.01 0.0007 0.012 0.041 205.17 0.0008 0.045 0.024 207.19 0.0009 0.043 0.016 209.09 0.000

10 0.065 0.056 213.40 0.00011 0.077 0.027 219.48 0.00012 0.033 -0.011 220.58 0.00013 -0.028 -0.036 221.36 0.00014 -0.033 0.003 222.45 0.00015 -0.061 -0.068 226.27 0.00016 -0.063 0.002 230.35 0.00017 -0.064 -0.061 234.56 0.00018 -0.054 -0.006 237.49 0.000

e)

Correlogram of MA3



1 -0.200 -0.200 39.979 0.0002 -0.393 -0.450 194.84 0.0003 0.136 -0.088 213.40 0.0004 0.000 -0.210 213.40 0.0005 -0.035 -0.083 214.63 0.0006 -0.021 -0.161 215.06 0.0007 0.015 -0.081 215.30 0.0008 0.027 -0.078 216.04 0.0009 -0.026 -0.073 216.72 0.000

10 -0.002 -0.060 216.72 0.00011 0.051 0.003 219.35 0.00012 0.011 0.024 219.48 0.00013 -0.054 -0.012 222.43 0.00014 0.032 0.050 223.49 0.00015 -0.023 -0.029 224.04 0.00016 0.004 0.040 224.06 0.00017 -0.002 -0.023 224.06 0.00018 -0.046 -0.044 226.23 0.000

3.3.2 Invertierbarkeit

Um zu ermitteln, ob ein vorgelegter MA(q)-Prozess invertierbar ist, wirdgenau wie für AR(p)-Prozesse der zusammengesetzte Operator analysiert.Die Faktorisierung des charakteristischen Polynoms ergibt

θ(z) = 1 + θ1z + . . .+ θqzq = (1− λ1z) · . . . · (1− λqz), (3.24)

64

3.3. MA(Q)-PROZESSE

mit den Nullstellen („Inverted Roots“) λ1, . . . , λq. Für z = λ−1 erhält mannach Multiplikation mit λq die gewohnte Form

λq + θ1λq−1 + . . .+ θq = (λ− λ1) · . . . · (λ− λq). (3.25)

In (3.25) wird deutlicher, dass die inversen Wurzeln λ1, . . . , λq tatsächlichdie Nullstellen der Gleichung sind. Völlig analog zur Stationarität bei AR-Prozessen folgert man nun, dass der betreffende MA-Prozess invertierbarist, wenn gilt |λk| < 1 für k = 1, . . . , q. Äquivalent lässt sich wieder für dieWurzeln z1, . . . , zq postulieren:

Ein MA(q)-Prozess ist invertierbar, wenn alle Wurzeln z1, . . . , zqaußerhalb des komplexen Einheitskreises liegen.

Zur Äquivalenz der Darstellung mit Wurzeln und inversen Wurzeln verglei-che Abschnitt 2.5.1 auf Seite 51.

Wir haben am Beispiel eines nicht invertierbaren MA(1)-Prozessesgesehen, dass es einen zweiten („Zwillings-“) Prozess gibt, der dieselbeAutokorrelationsstruktur besitzt wie der ursprüngliche Prozess, aber inver-tierbar ist. Dieses Ergebnis lässt sich auf MA(q)-Prozesse verallgemeinern.Wir müssen dazu allerdings den MA-Operator unter Rückgriff auf die fakto-risierte Darstellung (3.24) schreiben

θ(B) =

q∏k=1

(1− λkB). (3.26)

Nehmen wir nun an, die inversen Wurzeln λ1, . . . , λq′−1 liegen innerhalb deskomplexen Einheitskreises und λq′ , . . . , λq liegen außerhalb. Dann lässt sichein Prozess mit identischer Autokorrelationsstruktur definieren, der aber in-vertierbar ist. Diesen Prozess findet man, indem man den Kehrwert der Wur-zeln einsetzt, die die Invertierbarkeitsbedingung verletzen. Man erhält also

yt =

q′−1∏k=1

(1− λkB) ·q∏

k=q′

(1− 1

λkB)εt. (3.27)

Der so definierte Prozess ist in jedem Fall invertierbar, weil alle seineWurzeln innerhalb des komplexen Einheitskreises liegen.

Aufgabe 3.5

Schreiben Sie Gleichung (3.24) in kompakterForm unter Rückgriff auf das Summen- undProduktzeichen.

65


Aufgabe 3.6

Gegeben sei der MA(2)-Prozess

yt = εt + θ1εt−1 + θ2εt−2.

a) Berechnen Sie in allgemeiner Form die inversen Wurzelnλ1 und λ2.

Nehmen Sie die Parameterwerte θ1 = −2 und θ2 = 0.75 an.

b) Bestimmen Sie die Wurzeln. Ist der Prozess invertierbar?c) Ermitteln Sie die Parameter des Zwillingsprozesses.


Die Parameterschätzung im MA(q)-Modell funktioniert völlig analog zumMA(1)-Fall. Wir gehen wieder davon aus, dass die εt unabhängig und iden-tisch N(0, σ2)-verteilt sind. Es ergibt sich daher genau wie in (3.18) die be-dingte logarithmierte Likelihoodfunktion

l(θ0, . . . , θq, σ2) =

T∑t=1

log p(yt|εt−1, . . . , εt−q)

= −T2

log[2πσ2]− 1

2σ2

T∑t=1

ε2t .

(3.28)

Zur Erinnerung, der Parameter θ0 repräsentiert den zeitunabhängigen Mit-telwert. Anders formuliert, die LogLikelihood-Funktion bezieht sich auf dasallgemeine Modell

yt = θ0 + θ(B)εt. (3.29)

Wir müssen wiederum eine Annahme über die Fehlerterme vor t = 1 machen,um rekursiv die Zeitreihe (εt)t=1,...,T berechnen zu können. Die simpelste An-nahme ist wieder

ε0 = ε−1 = . . . = ε−q+1 = 0. (3.30)

Damit ergibt sich die Rekursion

εt = yt − θ0 −q∑

k=1

θkεt−k (3.31)

für alle t = 1, . . . , T . Beachten Sie, dass analog zur Problematik imMA(1)-Prozess die Berechnung der bedingten Likelihood lediglich Sinn

66

3.3. MA(Q)-PROZESSE

macht, wenn der vorgelegte Prozess invertierbar ist. Ansonsten potenzierensich die Fehler aus der willkürlichen Festsetzung der εt für t ≤ 0 über die Zeit.

Aufgabe 3.7


(yt)t=1,...,6 = 2, 3, 0,−2, 1,−2.

Nehmen Sie an, dass die Zeitreihe vom MA(2)-Prozess

yt = 1 + εt − 2εt−1 + εt−2,

mit εt ∼ N(0, 1) erzeugt wurde. Berechnen Sie diebedingte logarithmierte Likelihoodfunktion mitεt = 0 für t ≤ 0.

Aufgabe 3.8

a) Ist der MA(2)-Prozess aus Aufgabe 3.7invertierbar?

b) Ist die bedingte ML-Parameterschätzung indiesem Fall sinnvoll?

67

4ARMA-Prozesse und Erweiterungen

Die Prozessklasse der ARMA-Modelle stellt eine natürliche Erweiterung derAR- bzw. MA-Modelle dar. Sie fasst die Komponenten der beiden Klas-sen in einem Modell zusammen. Das im Weiteren etwas genauer betrachteteARMA(1,1)-Modell besitzt beispielsweise folgende Darstellung

yt = φ1yt−1 + εt + θ1εt−1. (4.1)

Mit Hilfe der in Abschnitt 2.4.1 eingeführten Operatorschreibweise undden entsprechenden AR- und MA-Operatoren (2.67) und (3.20) kann dasARMA(p, q)-Modell beliebiger Ordnung in ausgesprochen effizienter Weisenotiert werden

φ(B)yt = θ(B)εt. (4.2)

Die Schreibweise (4.2) ist zunächst rein formal und wird erst durch die An-gabe der Modellordnung (p und q) konkret. Sie erweist sich jedoch bereitsvorher als nützlich, da sie formal manipuliert werden kann. Um das zu sehen,überführen wir das ARMA(p, q)-Modell (4.2) formal in ein MA(∞)-Modell.Dies geschieht durch Invertieren des AR-Operators

yt = φ(B)−1θ(B)εt =∞∑k=0

ψkεt−k. (4.3)

Das ist wieder die Form der Wold -Zerlegung (Theorem 3.1 auf Seite 55). DieKoeffizienten ψk können aus dem zusammengesetzten Operator φ(B)−1θ(B)berechnet werden. Dazu muss natürlich wiederum die Modellordnung be-kannt sein. Durch Invertieren des MA-Operators hätte der ARMA-Prozessnatürlich auch in einen AR(∞)-Prozess überführt werden können, was denNutzen solcher formaler Manipulationen verdeutlicht. Das bis hierher gesagtegilt natürlich nur unter der Prämisse, dass der betreffende Prozess stationär,respektive invertierbar ist.

69

KAPITEL 4. ARMA-PROZESSE UND ERWEITERUNGEN

4.1 Der ARMA(1,1)-ProzessDer ARMA(1,1)-Prozess ist eine der nützlichsten Modellvarianten in derZeitreihenanalyse. Die Ursache hierfür ist die Sparsamkeit der Parametri-sierung. Wir haben schon gesehen, dass ein ARMA-Modell in ein AR(∞)-oder auch in ein MA(∞)-Modell überführt werden kann, was die besondereFlexibilität dieser Mischprozesse unterstreicht. Der ARMA(1,1)-Prozessist aber der sparsamste von allen, da er lediglich einen AR- und einenMA-Parameter benötigt. Wir werden im Folgenden einige Eigenschaftendes ARMA(1,1)-Prozesses herausarbeiten. Die Verallgemeinerung auf denARMA(p, q)-Fall ist in der Regel aufwendig und wird mit Computerunter-stützung durchgeführt. Daher werden wir uns darauf beschränken, einigeParallelen zu dieser allgemeinen Prozessklasse aufzuzeigen.

Unser Ausgangspunkt ist das ARMA(1,1)-Modell (4.2) auf der vorherigenSeite, mit den entsprechenden Operatoren

φ(B) = 1− φB und θ(B) = 1 + θB. (4.4)

Wir überführen dieses Modell zunächst in die MA(∞)-Form, indem wir denAR-Operator invertieren

yt =1 + θB

1− φBεt

= (1 + φB + φ2B2 + . . .)(1 + θB)εt

=(1 + (φ+ θ)(B + φB2 + φ2B3 + . . .)

)εt.

(4.5)

In der zweiten Zeile wurde wieder die Eigenschaft der geometrischen Reiheausgenutzt, vgl. Seite 9. Wir gewinnen mit (4.5) also eine Wold -Darstellung

yt =∞∑k=0

ψkεt−k, (4.6)

bei der die Koeffizienten durch

ψ0 = 1 und ψk = (φ+ θ)φk−1 (4.7)

für k ≥ 1 gegeben sind.

70

4.1. DER ARMA(1,1)-PROZESS

Wir berechnen nun die Autokovarianzen für den ARMA(1,1)-Prozess. FürLag k = 0 erhalten wir aus (3.22) auf Seite 62 in Verbindung mit den Wold -Koeffizienten (4.7)

γ0 = σ2

(1 +

∞∑j=1

ψ2j

)= σ2

(1 + (φ+ θ)2

∞∑j=0

φ2j

)

= σ2

(1 +

(φ+ θ)2

1− φ2

)= σ2 1− φ2 + (φ+ θ)2

1− φ2

= σ2 1 + 2φθ + θ2

1− φ2.

(4.8)

Offensichtlich ist die Varianz des Prozesses bereits eine nicht triviale Funktionder Parameter. Die Komplexität der Ausdrücke steigt mit höherer Modell-ordnung beträchtlich. Die Autokovarianz mit Lag k = 1 ist gegeben durch

γ1 = φγ0 + θσ2. (4.9)

Die Herleitung dieser Beziehung wird dem Leser als Übungsaufgabe am En-de dieses Abschnitts überlassen. Eine interessante Eigenschaft der Kovari-anzfunktion (4.9) ist, dass sie strukturell die Summe aus den Autokovarian-zen des AR(1)-Prozesses und des MA(1)-Prozesses darstellt. Beachte: DieseStruktureigenschaft gilt nicht für γ0! Für größere Lags k ≥ 2 überschneidensich die Fehlerterme des MA-Teils nicht mehr, wodurch unmittelbar klar ist,dass der AR(1)-Teil den einzigen Beitrag zur Autokovarianz liefern muss.Daher gilt insgesamt

γk =

σ2 1+2φθ+θ2

1−φ2 für k = 0

φγ0 + θσ2 für k = 1

φγk−1 für k ≥ 2.

(4.10)

Ganz allgemein gilt für ARMA(p, q)-Prozesse, dass die Autokovarianzfür Lags k > q nur noch vom AR-Teil des Prozesses gespeist wird. DieAutokorrelation ergibt sich wieder aus γk/γ0. ARMA-Modelle besitzenaber eine zusätzliche Komplikation. Es stellt sich heraus, dass die partielleAutokorrelation ebenfalls (betragsmäßig) langsam abfällt, wodurch eineModellidentifikation anhand der ACF und PACF in der Regel nicht möglichist. Abbildung 4.1 zeigt die ACF und PACF für den ARMA(1,1)-Prozess mitφ = 0.7 und θ = 0.8. Wir kommen zum Problem der Modellidentifikationzu einem späteren Zeitpunkt zurück. Zunächst wollen wir die wichtige Fragenach Stationarität bzw. Invertierbarkeit diskutieren.

71


Abbildung 4.1: ACF und PACF des ARMA(1,1)-Prozesses mit φ = 0.7 und θ = 0.8

Wir haben im Fall der MA-Prozesse bereits gesehen, dass jedernicht-invertierbare Prozess ein Gegenstück besitzt, das über dieselbeAutokorrelationsstruktur verfügt wie der ursprüngliche Prozess, aber diegeforderten Bedingungen für Invertierbarkeit erfüllt. Diese Eigenschafterstreckt sich auch auf den MA-Teil des ARMA-Prozesses. Invertierbarkeitscheint also eine eher unproblematische Eigenschaft zu sein. Bezüglichder Stationarität erwartet uns eine angenehme Überraschung. Wir wis-sen, dass ein MA-Prozess immer stationär ist. Wir haben weiterhin dasARMA(1,1)-Modell in (4.6) als MA(∞)-Modell dargestellt. Die Bedingungfür Stationarität ist also dieselbe, unter der der ARMA(1,1)-Prozess in MA-Form überführt werden kann. Eine kurze Inspektion von (4.5) zeigt, dass diekritische Bedingung |φ| < 1 ist, da sonst die geometrische Reihenentwicklungunzulässig wäre. Das entspricht aber genau der Stationaritätsbedingungdes AR(1)-Modells. Es stellt sich heraus, dass diese Eigenschaft auch fürARMA(p, q)-Modelle gilt:

Ein ARMA(p, q)-Prozess ist genau dann stationär, wenn seinAR-Teil die Stationaritätsbedingung erfüllt.

Das bedeutet konkret, die Wurzeln des AR-Teils müssen außerhalb deskomplexen Einheitskreises liegen, oder anders herum, die inversen Wurzeln(inverted roots) müssen innerhalb des komplexen Einheitskreises liegen.

Aufgabe 4.1

Zeigen Sie, dass die Autokovarianzfunktionmit Lag 1 im ARMA(1,1)-Modell durch

γ1 = φγ0 + θσ2

gegeben ist.

72

4.1. DER ARMA(1,1)-PROZESS

Aufgabe 4.2

Zeigen Sie, dass ein ARMA(1,1)-Prozess mitθ = −φ ein einfacher Rauschprozess ist. Hin-weis: Verwenden Sie die Operatorschreibweiseund setzen Sie die korrekten Operatoren ein.


Ähnlich wie im Fall von MA-Prozessen wird die Parameterschätzung inARMA-Modellen im einfachsten Fall mit Hilfe der bedingten Likelihood-Funktion abgewickelt1. Auch hier gilt, AR- und MA-Teile sollten stationärund invertierbar sein, da sich sonst Fehler, die bei der Festsetzung der An-fangsbedingungen gemacht werden, potenzieren. Angenommen, der Fehler-term εt sei N(0, σ2)-verteilt, dann kann die bedingte logarithmierte Like-lihoodfunktion als

l(φ1, θ0, θ1, σ2) =

T∑t=1

log p(yt|yt−1, εt−1) = −T2

log[2πσ2]− 1

2σ2

T∑t=1

ε2t (4.11)

geschrieben werden, wobei der Fehlerterm durch

εt = yt − φ1yt−1 − θ0 − θ1εt−1 (4.12)

gegeben ist. (4.11) bzw. (4.12) ist wieder eine allgemeine Form, d.h. sie be-rücksichtigt einen gegebenenfalls vorhandenen Intercept θ0. Die Anfangsbe-dingungen y0 und ε0 sind in der Regel nicht verfügbar und können durch ihreErwartungswerte ersetzt werden. Zu Referenzzwecken soll auch die bedingteLogLikelihood-Funktion für ARMA(p, q)-Modelle angegeben werden:

l(φ1, . . . , φp, θ0, . . . , θq, σ2) =

T∑t=1

log p(yt|yt−1, . . . , yt−p, εt−1, . . . , εt−q)

= −T2

log[2πσ2]− 1

2σ2

T∑t=1

ε2t ,

(4.13)

1Moderne Programmpakete wie EViews wählen zunächst eine AR(∞)-Darstellung.Diese Darstellung wird dann durch ein AR-Modell hoher Ordnung approximiert, dessenParameter mit der Kleinste-Quadrate-Methode geschätzt werden (Long-AR-Estimator).Anschließend werden die Residuen berechnet, die ihrerseits Schätzer für die Zufallsfehlersind und so die Kleinste-Quadrate-Schätzung der ursprünglichen ARMA-Parameter erlau-ben. Die resultierenden Schätzer werden dann als Startlösung für die iterative Maximum-Likelihood-Schätzung verwendet.

73


mit

εt = yt −p∑j=1

φjyt−j − θ0 −q∑

k=1

θkεt−k. (4.14)

Aufgabe 4.3


(yt)t=1,...,6 = 2, 3, 1,−1,−2, 0.5.

Nehmen Sie an, dass die Zeitreihe von demARMA(1,1)-Prozess

yt =1

2yt−1 + εt +

1

2εt−1,

mit εt ∼ N(0, 1) erzeugt wurde. Verwenden Sie dieAnfangsbedingung y0 = ε0 = 0 und berechnen Sie dielogarithmierte Likelihoodfunktion.

4.2 ARIMA und SARIMAWir werden in diesem Abschnitt einige Erweiterungen des ARMA-Modellskennenlernen, die eine Anpassung an spezielle Eigenschaften von Zeitreihenerlauben. Das ARIMA-Modell ist so konzipiert, dass auch nicht stationäreZeitreihen einer Modellanalyse im ARMA-Kontext unterworfen werden kön-nen. SARIMA-Modelle adressieren zusätzlich noch zyklische Eigenschaften,wie sie im Bereich volkswirtschaftlicher Modelle häufig zu finden sind.

4.2.1 ARIMA(p,d,q)-Modelle

Die Idee, die hinter ARIMA-Modellen steckt, ist sehr einfach. Sollteeine Zeitreihe vorliegen, die offensichtlich nicht stationär ist, bspw. dasBrutto-Inlandsprodukt (BIP) seit dem 01.01.2000 (Abbildung 4.3 rechtsauf Seite 78), so lässt sich diese Zeitreihe möglicherweise trotzdem mit denbekannten Mitteln der Zeitreihenanalyse behandeln. Der Schlüssel lautethier: „Transformation des Prozesses“. Genauer gesagt bildet man die Diffe-renz zwischen jeweils zwei aufeinander folgenden Elementen der Zeitreihe.In unserem Beispiel hieße das, wir berechnen die BIP-Zuwächse. Ein solcherZuwachs-Prozess wird aller Wahrscheinlichkeit nach stationär sein, anderen-falls wären wir bereits unermesslich reich. Formal betrachtet heißt das nichts

74

4.2. ARIMA UND SARIMA

anderes, als dass wir ein Zeitreihenmodell für xt = yt − yt−1 = ∇yt bilden.Zur Definition des Nabla-Operators vgl. Abschnitt 2.4.1, insbesondere (2.65)auf Seite 38.

Ganz allgemein ist diese Strategie natürlich nicht auf Differenzen ersterOrdnung beschränkt, vielmehr können d-fache Differenzen gebildet werden,soviele wie nötig sind, um den Prozess stationär zu machen. Im besten Fallresultiert ein einfacher Rauschprozess und das entsprechende Modell kannals

xt = ∇dyt = εt (4.15)

geschrieben werden. Der ursprüngliche Prozess kann durch Aufsummierender gebildeten Differenzen zurückgewonnen werden. Der Summation im dis-kreten Fall entspricht die Integration im stetigen Fall, daher werden Prozessewie (4.15) d-fach integrierte Prozesse genannt. Der nächste logische Schrittist, einen Differenzenprozess, der ja stationär ist, als ARMA-Prozess zu mo-dellieren. Man gewinnt so die ARIMA(p, d, q)-Form

φ(B)∇dyt = θ(B)εt. (4.16)

Zwei Sätze zur Vertiefung sind hier angebracht. Zunächst steht die Abkür-zung ARIMA, wie zu vermuten war, für AutoRegressive Integrated MovingAverage. Darüber hinaus ist die Anordnung dieser Abkürzungen, ebenso wiedie Reihenfolge der Modellordnungsparameter (p, d, q) nicht zufällig. (4.16)zeigt, dass zuerst der AR-Operator, dann der Differenzen-Operator und amEnde der MA-Operator steht. Die Modellbezeichnung legt also eindeutig dieReihenfolge der Modellelemente fest.

Abbildung 4.2 links zeigt die Zeitreihe der logarithmierten DAX-Kursevom 01.01.1991 bis zum 31.10.2009. Diese Zeitreihe ist augenscheinlich

1995 2000 2005 2010

7.5

8.0

8.5

9.0

1995 2000 2005 2010-0.10

-0.05

0.00

0.05

0.10

Abbildung 4.2: Logarithmierte DAX-Zeitreihe und Differenzen erster Ordnung

75


nicht stationär, wohingegen die Differenzen erster Ordnung (rechts) einenRauschprozess bilden, dessen Streuung sich zwar offenbar über die Zeitändert, der aber auf jeden Fall stationär ist. Wir werden zu einem späterenZeitpunkt im Rahmen von ARCH- und GARCH-Modellen lernen, wie solchezeitvariablen Streuungen zu behandeln sind. Im Augenblick geht es darum,dass der ursprünglich instationäre Prozess durch Differenzenbildung einerZeitreihenanalyse zugänglich gemacht wurde.

Wir wollen einen Augenblick beim Beispiel von Aktienkursen bleiben,um das bisher gesagte noch etwas genauer theoretisch zu untermauern. Ent-gegen gewöhnlichen AR-Prozessen hängt die Dynamik von Aktienkursen,bzw. deren Logarithmus, offenbar nicht vom Niveau des Kurses selbst ab.Nehmen wir im einfachsten Fall an, dass ein AR(1)-Prozess vorliegt, mitφ(B) = 1− φB, dann lässt sich diese Eigenschaft formal durch

φ(B)(yt + c) = φ(B)yt (4.17)

ausdrücken, mit einer beliebigen Konstante c 6= 0. Daraus folgt sofort für deninvariablen Teil der Gleichung

φ(B)c = φ(1)c = (1− φ)c = 0. (4.18)

Da c 6= 0 muss φ = 1 gelten, damit (4.18) erfüllt ist. Folglich hat diecharakteristische Gleichung φ(z) = 0 die Lösung z = 1, was zeigt, dass derProzess eine Einheitswurzel besitzt. Der Differenzenprozess xt = ∇yt mussdaher ein stationärer Rauschprozess sein.

Wir zeigen nun noch, dass die formale Rücktransformation den integrier-ten (aufsummierten) Prozess liefert

yt = ∇−1xt = (1−B)−1xt

=∞∑k=0

Bkxt =∞∑k=0

xt−k,(4.19)

wie gefordert.

Aufgabe 4.4

Schreiben Sie folgende Modelle aus:

a) ARIMA(1,1,0)b) ARIMA(0,1,2)c) ARIMA(1,2,1).

76

4.2. ARIMA UND SARIMA

Aufgabe 4.5

Gegeben sei die Zeitreihe

(yt)t=1,...,6 = 1, 3, 2, 4, 2, 0.

Gehen Sie davon aus, dass die Zeitreihe durch dasARIMA(0,1,1)-Modell

∇yt = εt + εt−1,

mit θ0 = 0 und εt ∼ N(0, 1) beschrieben werden kann.Verwenden Sie die Anfangsbedingung y0 = ε0 = 0 undberechnen Sie die logarithmierte Likelihoodfunktion.

4.2.2 Seasonal ARIMA-Modelle

Seasonal ARIMA- oder SARIMA-Modelle sind eine natürliche Erweiterungder ARIMA-Modelle, um möglichst effizient saisonale Einflüsse behandelnzu können. Sie spielen in der Makroökonomie und der volkswirtschaftlichenGesamtrechnung eine große Rolle und sollen aus diesem Grund hier be-sprochen werden. Da SARIMA-Modelle im Modul Zeitreihenanalyse nichtbehandelt werden, enthält dieser Abschnitt auch keine prüfungsrelevanteInformation und kann übersprungen werden.

Da ARIMA-Modelle ihrerseits eine Erweiterung des ARMA-Konzeptsdarstellen, soll die Idee der saisonalen Modellierung zuerst anhand vonARMA-Modellen erklärt, und anschließend auf ARIMA erweitert werden.Man betrachte einen Prozess, der nur von verzögerten Werten abhängt, de-ren Lag ein ganzzahliges Vielfaches s einer Basisperiode ist. Abbildung 4.3zeigt zwei Zeitreihen mit saisonalen Effekten. Links abgebildet sind monatli-che Passagierdaten einer Luftfahrtgesellschaft von Januar 1949 bis Dezember1960. Hier würde man von einer monatlichen Basisperiode ausgehen und da-her s = 12 wählen. Auf der rechten Seite ist das Brutto-Inlandsprodukt(BIP) der Bundesrepublik Deutschland von 2000 bis 2008 gegeben. Da dieBIP-Daten im Rahmen der volkswirtschaftlichen Gesamtrechnung quartals-mäßig erfasst werden, wäre hier s = 4 zu wählen. Ein ARMA-Modell überdiese saisonalen Effekte würde dann folgendermaßen spezifiziert werden

Φ(Bs)yt = Θ(Bs)εt, (4.20)

77


1950 1952 1955 1958 1960100

200

300

400

500

600

Air

lineP

assa

gier

e´

1000

2000 2002 2004 2006 2008480

500

520

540

560

580

600

620

BIP

Deu

tsch

land

inM

illia

rden

€

Abbildung 4.3: Airline Passagiere und Brutto-Inlandsprodukt

mit den saisonalen AR- und MA-Operatoren

Φ(Bs) = 1−P∑j=1

ΦjBjs und Θ(Bs) = 1 +

Q∑k=1

ΘkBks. (4.21)

Ein solches Modell ist natürlich nicht besonders realistisch, da hier genauge-nommen s verschiedene, entkoppelte Zeitreihen modelliert werden, die kei-ne gemeinsame Korrelation aufweisen. Man würde aber erwarten, dass auchzwischen den einzelnen Basisperioden zumindest eine schwache Abhängig-keit besteht. Diese Annahme lässt sich durch Kombination von saisonalenund regulären Operatoren in das Modell integrieren und man erhält

Φ(Bs)φ(B)yt = Θ(Bs)θ(B)εt. (4.22)

Die Zeitreihen in Abbildung 4.3 weisen weiterhin einen eindeutigen Wachs-tumstrend auf. Es wird also notwendig, integrierte Prozesse xt = ∇dyt zu be-trachten. Da wir es aber zusätzlich mit saisonalen Operatoren zu tun haben,definieren wir zunächst den entsprechenden saisonalen Differenzenoperator

∇Ds = (1−Bs)D. (4.23)

Damit kann das Konzept der Saisonalität einfach auf seine allgemeinste Formerweitert werden und man erhält das SARIMA(p, d, q)(P,D,Q)s-Modell

Φ(Bs)∇Ds φ(B)∇dyt = Θ(Bs)θ(B)εt. (4.24)

4.3 ARMAX-ModelleWie der Zusatz „X“ im Modelltyp signalisiert, gestatten ARMAX-Modelledie Berücksichtigung exogener Einflüsse oder Kontrollvariablen. Solche Ein-flüsse sind in der Volkswirtschaftslehre, insbesondere in der Makroökonomie,

78

4.3. ARMAX-MODELLE

von besonderem Interesse. Beispielsweise stellen Einflussgrößen wie nominaleGeldmenge oder Staatsausgaben in traditionellen Makromodellen oft exoge-ne Größen dar, die vorgegeben werden um die Gleichgewichtseigenschaftenvon Geld-, respektive Gütermarkt unter diesen Vorgaben zu untersuchen.ARMAX-Modelle übersetzen diesen Gedanken in eine dynamische Umge-bung. Wir werden sehen, dass diese Aufgabe sehr elegant und einfach durchdie ARMAX-Spezifikation gelöst wird, wodurch Mehrperiodenmodelle effizi-ent formuliert werden können. Darüber hinaus besitzt die ARMAX-Klasse ei-ne enge Anbindung zu Regressionsmodellen mit autokorrelierten Fehlern undsogenannten Distributed-Lag-Modellen. An diesem Punkt soll jedoch die ei-gentliche Aufgabe von ARMAX-Modellen herausgearbeitet werden, nämlichdie Behandlung von exogenen Einflüssen.

4.3.1 Das ARMAX(1,0,1)-Modell

Das ARMAX(1,0,1)-Modell ist das einfachste ARMA-Modell, dass exogeneEinflüsse abbilden kann. Es kann in ausgeschriebener Form wie folgt notiertwerden

yt = φ1yt−1 + χ0xt + εt + θ1εt−1. (4.25)

Im Gegensatz zum normalen ARMA(1,1)-Modell kommt hier noch der exoge-ne Einfluss χ0xt hinzu, der ebenfalls einen Zeitindex trägt. Die Koeffizientensind hier etwas suggestiv mit Indizes versehen worden, um einen wichtigenPunkt aufzuzeigen. Wir haben im vorangegangenen Abschnitt gesehen, dassein ARIMA(1,0,1)-Modell einem ARMA(1,1)-Modell entspricht. Das gilt fürdie ARMAX-Klasse nicht! Ganz allgemein gilt:

Die ARMAX-Ordnung (p,0,q) zeigt an, dass die exogene Einfluss-größe unverzögert, das heißt mit Lag 0, in die Modellgleichungeinfließt.

Um die Wichtigkeit von Modellen der ARMAX-Klasse zu verdeutlichen,sind in Abbildung 4.4 verschiedene Anwendungsbeispiele gegeben, die inden Wirtschaftswissenschaften besonders relevant sind. Es wurde hier einARMAX(1,0,0)- oder verkürzt ARX(1,0)-Modell verwendet, in dem der MA-Teil entfällt. Im ersten Fall, Abbildung 4.4 links oben, wurde mit Hilfe desexogenen Modellteils ein Schock zum Zeitpunkt t = 100 herbeigeführt. Mo-delltechnisch bedeutet das für die exogene Variable

xt =

1 für t = 100

0 sonst.(4.26)

79


Damit wird zum Zeitpunkt t = 100 ein Schock in Höhe des Koeffizientenχ0 induziert, dessen Resorption im Rahmen des Modells untersucht werdenkann. Eine weitere häufige Problemstellung wird durch Niveauverschiebun-gen gegeben. Solche Verschiebungen treten zumeist ein, wenn sich gewisseRahmenbedingungen geändert haben. In Abbildung 4.4 rechts oben ist einesolche Niveauverschiebung dargestellt. Sie wurde durch die Vorschrift

xt =

0 für t < 100

1 für t ≥ 100(4.27)

herbeigeführt. Als letztes Beispiel wurde ein deterministischer Wachstum-strend in den Prozess eingeschleust. Dies geschieht einfach durch die Bezie-hung

xt = t. (4.28)

Die Steigung des Wachstumstrends wird dann durch den ARMAX-Koeffizienten χ0 kontrolliert. Das Ergebnis ist in Abbildung 4.4 links untenzu sehen.

Wir können bereits an dieser Stelle erkennen, wie extrem nützlichARMAX-Modelle in Bereichen wie Makroökonomie, Fiskal- oder Stabilitäts-

Abbildung 4.4: Verschiedene Applikationen des ARX(1,0)-Modells

80

4.3. ARMAX-MODELLE

politik sein können, kurzum überall, wo dynamische Reaktionen auf äußereEinflüsse abgebildet werden sollen.

Aufgabe 4.6

Nehmen Sie an, die Gleichungsfehler sei-en N(0, σ2)-verteilt. Schreiben Sie diebedingte LogLikelihood-Funktion fürdas ARMAX(1,0,1)-Modell in allgemei-ner Form (inklusive Intercept θ0).

4.3.2 ARMAX(p,s,q)-Modelle

Natürlich lassen sich auch ARMAX-Modelle in allgemeiner und kompakterForm mit Hilfe von Operatoren schreiben. Man notiert

φ(B)yt = χ(B)xt + θ(B)εt, (4.29)

mit dem neuen Operator

χ(B) =s∑

k=0

χkBk (4.30)

für die exogenen Kontrollgrößen. Beachten Sie, dass der Summationsindex in(4.30) bei null beginnt, d.h. der erste äußere Einfluss wirkt unverzögert, alsomit Lag 0. Die Generalisierung (4.29) ist nun keine Überraschung mehr, wirhaben das Prinzip bereits bei vorangegangenen Modellklassen gesehen. Wirwerden den Rest des Abschnitts darauf verwenden, die Zusammenhänge derARMAX-Klasse mit anderen etablierten und eventuell bereits bekanntenModelltypen aufzuzeigen, um einen Eindruck von der Vielseitigkeit derARMAX-Modelle zu bekommen.

Wir leiten zunächst den Zusammenhang mit Regressionsmodellen anhandeines einfachen Beispiels her. Nehmen Sie ein lineares Regressionsmodell

yt = β0 + β1xt + ut (4.31)

an, dessen Fehlerterm ut jedoch nicht wie üblich unabhängig und identischverteilt ist, sondern mit sich selbst rückwärts in der Zeit korreliert ist. Präzisergesagt vereinbaren wir eine AR(1)-Struktur für den Fehlerterm

ut = φut−1 + εt. (4.32)

81


Wir hätten (4.32) natürlich auch in Operatorschreibweise φ(B)ut = εt for-mulieren können. Der Punkt ist folgender: Erweitern wir die ursprünglicheRegressionsgleichung mit dem entsprechenden AR-Operator, erhalten wir einARX-Modell. Wir zeigen diese Behauptung Schritt für Schritt

φ(B)yt = φ(B)β0 + φ(B)β1xt + φ(B)ut

= φ(1)β0 + φ(B)β1xt + εt

= (1− φ)β0 + β1xt − φβ1xt−1 + εt

= θ0 + χ0xt + χ1xt−1 + εt.

(4.33)

Wir erhalten also präzise ein ARX(1,1)-Modell, mit den Parameterrestrik-tionen

θ0 = (1− φ)β0 , χ0 = β1 und χ1 = −φβ1. (4.34)

Betrachtet man ein ARMAX(0,∞,0)-Modell, erhält man definitionsgemäßdie allgemeine Gleichung eines Distributed-Lag-Modells

yt = θ0 +∞∑k=0

χkxt−k + εt. (4.35)

Unter bestimmten Restriktionen für die Koeffizienten χk ergeben sich dannetablierte Modelltypen. Beispielsweise führt die Vorschrift χk = λχk−1 für0 < λ < 1 und k ≥ 1 auf das bekannte Koyck -Modell.

Aufgabe 4.7

Leiten Sie das ARMAX-Modell und die zuge-hörigen Parameterrestriktionen her, die einemlinearen Regressionsmodell mit ARMA(2,1)-verteilten Fehlern entsprechen.

4.4 ModellidentifikationNachdem wir nun verschiedene Erweiterungen von ARMA-Modellen kennen-gelernt haben, wollen wir zur Ausgangsklasse zurückkehren und versuchen,eine andere Frage zu beantworten, nämlich die der Modellidentifikation. InKapitel 2 und 3 haben wir gesehen, dass sich AR- und MA-Prozesse entlangihrer Autokorrelationsstruktur, respektive partiellen Autokorrelationsstruk-tur, unterscheiden lassen. Liegen solche Prozesse vor, lässt sich in der Regelsogar die Modellordnung relativ zuverlässig dem Autokorrelogramm entneh-men. Für die Mischprozesse der ARMA-Klasse gelingt das im Allgemeinen

82

4.4. MODELLIDENTIFIKATION

nicht, da auch die Struktureigenschaften der (partiellen) Autokorrelation ver-mischt werden, vgl. Abbildung 4.1 auf Seite 72. Wir benötigen also höherentwickelte, formale Instrumente um eine geeignete Modellklasse festzulegen.Diese Instrumente sind Informationskriterien.

4.4.1 Akaike-Informationskriterium

Das historisch gesehen erste, und wohl auch am weitesten verbreitete Infor-mationskriterium stammt von Hirotsugu Akaike. Der Begriff Informations-kriterium bezieht sich dabei nicht in oberflächlicher Form auf den Bestim-mungszweck, sondern verweist auf den Ursprung des Kriteriums in der Infor-mationstheorie. Die große Leistung von Akaike war es, das führende Paradig-ma der Informationstheorie, die Kullback-Leibler -Entropie, und das führendeParadigma der Statistik, das Maximum-Likelihood-Prinzip, zu vereinigen.Ohne auf die genaue Herleitung des Akaike-Informationskriteriums (AIC)einzugehen sei angemerkt, dass mit Hilfe der Kullback-Leibler -Informationdie Abweichung zwischen dem wahren, unbekannten Modell und dem mittelsMaximum-Likelihood geschätzten Modell berechnet werden kann. Für dasInformationskriterium ergibt sich dadurch die verblüffend einfache Form

AIC = − 2

T(l − u), (4.36)

wobei l der Wert der logarithmierten Likelihoodfunktion ist und u dieAnzahl der geschätzten Parameter (inklusive σ2) angibt. Es ist hilfreichFormel (4.36) ein wenig zu analysieren.

Der hintere Term l − u wird oft als „kompensierte“ Likelihood beschrie-ben. Das ist folgendermaßen zu verstehen. Ein Modell, das viele Parameterenthält, lässt sich genauer an eine gegebene Zeitreihe anpassen. Daher wirdder Wert der logarithmierten Likelihoodfunktion bei einem solchen Modellauch größer sein. Zu stark angepasste Modelle besitzen jedoch zwei entschei-dende Nachteile: Es muss eine große Zahl von Parametern geschätzt werden,und sie versagen häufig bei Prognosen, da sie zu stark auf die vorhandenenDaten zugeschnitten sind. Daher müsste ein im informationstheoretischenSinne optimales Modell einen Kompromiss zwischen Anpassung an vor-handene Daten und Prognosefähigkeit darstellen. Im Fall des AIC wirddieser Kompromiss erreicht, indem die Anzahl der geschätzten Parametervom Wert der logarithmierten Likelihoodfunktion abgezogen wird. Daherauch der Begriff „Likelihood-Kompensator“. Die Modellanpassung wird alsoim Nachhinein durch die Zahl der dafür notwendigen Parameter korri-giert, respektive bestraft. Der Term 2/T kann als eine Art asymptotische

83


Korrektur verstanden werden. Da der Betrag von l mit der Länge derZeitreihe unweigerlich steigt, vgl. Formel (4.13) auf Seite 73, muss dieserEffekt neutralisiert werden, um für jede beliebige Länge der Zeitreihe denrichtigen Kompensator zu erhalten. Das Minuszeichen schließlich überführtdas Likelihood-Maximierungsproblem in ein Minimierungsproblem. Das istnotwendig, da der informationstheoretische Ansatz von der Minimierungvon Modellabweichungen ausgeht. Das bedeutet, ein möglichst kleiner Wertdes AIC ist erstrebenswert.

Im Falle normalverteilter Fehler lässt sich noch eine Vereinfachung vor-nehmen. In der Regel ist die Varianz σ2 unbekannt und muss ebenfalls ge-schätzt werden. In diesem Fall wird das Informationskriterium oft in derForm

AIC = log[σ2] +2u

T(4.37)

geschrieben2. Dieser Ausdruck ist proportional zu (4.36). Wir wollen einmalSchritt für Schritt überlegen, wieso das so ist. Unser Ausgangspunkt ist dasAIC (4.36) und die bedingte LogLikelihood-Funktion (4.13) auf Seite 73. Wirsetzen überall Schätzer ein und erhalten

AIC = −2l

T+

2u

T

= log[2πσ2] +1

σ2· 1

T

T∑t=1

ε2t︸︷︷︸σ2

+2u

T

= log[2π] + log[σ2] + 1 +2u

T

∝ log[σ2] +2u

T.

(4.38)

Die Verknüpfung ∝ in der letzten Zeile bedeutet „ist proportional zu“. Da dievernachlässigten Summanden log[2π] + 1 weder von Parametern noch von Tabhängen, liefern sie für das Minimierungsproblem keinen relevanten Beitragund können weggelassen werden.

2Oft findet sich in der Literatur auch die Definition

AIC = log[σ2] +2(p+ q)

T.

Hier wird der Parameter σ2 vernachlässigt, da er als Funktion der Daten und der übrigenParametern ausgedrückt werden kann. Dies ist eine spezielle Eigenschaft der GaußschenLikelihoodfunktion (siehe die Diskussion zur konzentrierten LogLikelihood-Funktion aufSeite 31).

84


4.4.2 Bayes-Informationskriterium

Das Bayes-Kriterium nach Schwarz (BIC oder SIC) ist kein Informations-kriterium im eigentlichen Sinne, da es sich nicht aus der Informationstheorieableitet. Es resultiert vielmehr aus der maximum a posteriori Selektion ausverschiedenen Alternativmodellen, unter der Bedingung, dass alle Variantena priori dieselbe Eintrittswahrscheinlichkeit besitzen. Diese eher abstrakteHerleitungsskizze wird uns nicht weiter beschäftigen, wichtig sind nur dieKonsequenzen, die sich daraus für das BIC (SIC) ergeben:

• BIC (SIC) erfordert nicht, dass das wahre Modell aus der Klasse derbetrachteten Modelle stammt oder dass überhaupt ein wahres Modellexistiert. Im Fall einer fehlspezifizierten Modellklasse liefert AIC keinverlässliches Ergebnis.

• BIC (SIC) ist asymptotisch konsistent, während AIC dazu tendiert ingroßen Stichproben die Modellordnung zu überschätzen.

• AIC besitzt die stärkere theoretische Fundierung, während BIC (SIC)lediglich das wahrscheinlichste Modell auswählt, wenn vorher keine In-formation vorliegt. Jedoch sind an diese Auswahl auch weniger Voraus-setzungen geknüpft.

Als Essenz der Herleitung aus der Bayes-Formel ergibt sich für das BIC (SIC)

BIC = − 2

T

(l − u

2log[T ]

). (4.39)

Wie im Fall des Akaike-Informationskriteriums lässt sich auch hier für nor-malverteilte Fehlerterme die Vereinfachung

BIC = log[σ2] +u log[T ]

T(4.40)

vornehmen, die proportional zum originalen Kriterium (4.39) ist. Der Beweissoll dem Studierenden als Aufgabe am Ende dieses Abschnitts überlassenwerden.

Der Vollständigkeit halber soll noch darauf hingewiesen werden, dass ei-ne Zahl weiterer Informationskriterien existiert, die sich aus Endlichkeitskor-rekturen der Stichprobe oder einer alternativen Gewichtung des Abstandsder wahren Verteilung zur geschätzten Verteilung, im Rahmen der Kullback-Leibler -Information, ergeben. Ein weiteres im Hauptskript aufgeführtes Kri-terium ist das Hannan-Quinn-Informationskriterium

HQ = − 2

T

(l − u log log[T ]

). (4.41)

85


Aufgabe 4.8

Zeigen Sie, dass für normalverteilte Fehlertermedie Form

BIC = log[σ2] +u log[T ]

T

proportional zum Info-Kriterium (4.39) ist. Hin-weis: Setzen Sie die Gaußsche LogLikelihood-Funktion (4.13) auf Seite 73 ein.

4.4.3 Modellselektion

Die Modellselektion mit Hilfe von Informationskriterien ist denkbar einfach.Es werden zunächst alle in Frage kommenden Modellvarianten geschätzt.Anschließend werden die gewünschten Informationskriterien berechnet. Manentscheidet sich dann für die Modellvariante, bei der das Kriterium dengeringsten Wert annimmt.

Beispiel 4.1: Modellselektion

Es liegt eine Zeitreihe mit T = 100 Beobachtungen vor undes stehen zwei Modellvarianten zur Disposition, ein reinerRauschprozess und ein ARMA(0,0)-Modell. Die Werte derLogLikelihood-Funktion an den ML-Schätzern seien

l(σ2) = −12.453 und l(φ, θ, σ2) = −10.887.

Für die einzelnen Informationskriterien berechnet man

Info-Kriterium Rauschen ARMA(1,1)AIC 0.2691 0.2778BIC 0.2951 0.3559HQ 0.2796 0.3094

Offensichtlich wird in Beispiel 4.1 unter jedem Informationskriterium derRauschprozess als Modell bevorzugt, obwohl die LogLikelihood-Funktionfür das angepasste ARMA(1,1)-Modell größer ist. Achtung: VerschiedeneInformationskriterien müssen nicht immer dasselbe Modell präferieren! Eskann vorkommen, dass bei Verwendung unterschiedlicher Kriterien andereModelle bevorzugt werden. Das liegt an der abweichenden Definition bzw.

86


Herleitung der verschiedenen Informationskriterien.

Aufgabe 4.9

Aus einer Zeitreihe mit T = 40 Beobachtungen wur-den verschiedene ARMA(p,q)-Modelle geschätzt. Zu-sätzlich sei bekannt, dass der Fehlerterm normalver-teilt ist. Es ergeben sich folgende Schätzer σ2 für dieVarianz des Fehlerterms:

(p,q) 0 1 20 2.82 2.61 2.231 2.12 1.99 1.912 2.09 1.90 1.853 1.88 1.82 1.77

Berechnen Sie die zugehörigen Werte für AIC und BIC(SIC). Welche Modelle sind zu bevorzugen?

87

5Bedingt heteroskedastische Prozesse

Unter dem Begriff „bedingt heteroskedastische“ Modelle werden in der Regelalle Variationen und Spezifikationen von ARCH- bzw. GARCH-Modellenzusammengefasst. Diese Modelle haben in den vergangenen zwanzig Jahrenin den quantitativen Wirtschaftswissenschaften einen immensen Stellenwerterlangt. In der Finanzwirtschaft basieren beispielsweise Verfahren zurBewertung von Derivaten auf GARCH-Modellen. Obwohl bedingt heteroske-dastische Prozesse eine zusätzliche Komplikation mit sich bringen (sie sind inder Regel zwar unkorreliert, aber nicht unabhängig; wir werden später klärenwas das zu bedeuten hat), verfügen sie dennoch über einige sehr nützlicheEigenschaften. Wir werden aber zunächst die beiden offensichtlichen Fragenbeantworten: Was bedeutet bedingt heteroskedastisch und wozu brauchtman eine solche Modellklasse?

Zur ersten Frage: der Begriff „Heteroskedastizität“ stammt aus dem Grie-chischen (skedastikós: zum Zerstreuen gehörend) und bezeichnet eine Varia-bilität in der Streuung eines Prozesses. Wir haben vorher ARMA-Modelle inder Form

φ(B)yt = θ(B)εt (5.1)

formuliert, wobei wir angenommen haben, dass für den Fehlertermεt ∼ N(0, σ2) gilt. Das wäre ein Beispiel für einen homoskedastischenProzess, die Streuung bleibt immer gleich, egal welchen Wert t annimmt.Das heißt aber im Umkehrschluss, wir müssen uns auf einen Ausdruck derForm σ2

t einstellen, der sich im Zeitablauf ändern kann, das ist die Bedeutungvon Heteroskedastizität. Das Adjektiv „bedingt“ bedeutet hier nicht, dassder Prozess nur unter bestimmten Umständen heteroskedastisch ist, sonderndass die Verteilung im Bayesschen Sinne auf eine gegebene Informationbedingt ist. Das heißt in diesem Zusammenhang, wenn auf den Fehler zumZeitpunkt t − 1 bedingt wird, dann ist die Kenntnis von εt−1 erforderlich,um die Verteilung (speziell die Streuung) von εt angeben zu können. Manwürde dann schreiben: die Verteilung von εt|t−1 (t|t − 1 bedeutet zur Zeit t,

89

KAPITEL 5. BEDINGT HETEROSKEDASTISCHE PROZESSE

1995 2000 2005 2010-0.06

-0.04

-0.02

0.00

0.02

0.04

1995 2000 2005 2010

-0.05

0.00

0.05

0.10

Abbildung 5.1: Homoskedastischer Rauschprozess und DAX-Rendite

gegeben die Information von Zeitpunkt t − 1) ist N(0, σ2t ). Machen Sie sich

Folgendes klar: Die Verteilung von εt+1|t−1 ist nicht bekannt, weil σ2t+1 von

der Realisation εt abhängt, diese ist aber nicht in der Informationsmengezum Zeitpunkt t − 1 enthalten. Daher hängt σ2

t+1 selbst vom Zufall ab, istalso kein bekannter Verteilungsparameter, zumindest nicht bedingt auf dieInformation, die zum Zeitpunkt t−1 vorliegt. Diese Diskussion hat an dieserStelle natürlich noch keinen rigorosen Charakter, da wir die entsprechendenModelle noch nicht in mathematischer Weise formuliert haben. Wenden wiruns deshalb zunächst der zweiten Frage zu.

Betrachten Sie Abbildung 5.1. Links ist die Simulation eines homoske-dastischen Rauschprozesses abgebildet, wie er häufig als Modell für Renditenverwendet wird. Auf der rechten Seite befindet sich die Renditezeitreihe desDeutschen Aktien Index (DAX). Es wird sofort klar, dass der einfache homos-kedastische Rauschprozess höchstwahrscheinlich kein gutes Modell für Wert-papierrenditen ist. Es fallen zwei Charakteristika der DAX-Rendite Zeitreiheunmittelbar ins Auge. Zum einen ist die Streuung offenbar tatsächlich nichtkonstant, sondern variiert mit der Zeit. Zum anderen scheint sie sich nichtwillkürlich zu verändern, sondern in zusammenhängenden Gebieten (Zeiträu-men). Dieses Phänomen wird als „Volatility Clustering“ bezeichnet und ist einstarker Hinweis auf ARCH-Effekte in einer Zeitreihe. Es wird nun Zeit zu klä-ren, wie bedingt heteroskedastische Modelle formuliert werden und was dieBezeichnungen ARCH und GARCH bedeuten.

90

5.1. ARCH-MODELLE

5.1 ARCH-ModelleDer Begriff ARCH steht für AutoRegressive Conditional Heteroskedasticity,also autoregressive bedingte Heteroskedastizität. Wir haben autoregressiveModelle bereits in Kapitel 2 behandelt und kennen einige ihrer Eigenschaften.Ein ARCH-Modell ist ganz ähnlich, nur dass hier gewissermaßen die Varianzals AR-Modell formuliert wird. Bitte behalten Sie stets im Hinterkopf:

Ein ARCH-Modell ist ein Modell für die Streuung eines Prozesses.

5.1.1 Das ARCH(1)-Modell

Das ARCH(1)-Modell ist der einfachste Vertreter der bedingt heteroskedasti-schen Modellklasse. Es hat darüber hinaus den Vorzug, dass seine Parameterallein durch Momentenschätzer bestimmt werden können, aber dazu spätermehr. Wir haben oben gesagt, dass ein ARCH-Modell ein Modell für dieStreuung eines Prozesses ist. Die Streuung ist ihrerseits ein Attribut desFehlerterms, wir beginnen unsere Diskussion deshalb mit der folgenden, imARCH-Kontext üblichen Notationsvariante

εt = σtzt. (5.2)

Vereinbarungsgemäß ist zt ein Zufallsfehler mit Erwartungswert null (Inno-vation) und Varianz eins, also ein standardisierter, nicht notwendigerweisenormalverteilter Fehlerterm. Wir werden jedoch im Weiteren annehmen,dass zt ∼ N(0, 1) gilt, wenn nicht explizit etwas anderes gilt.

Einschub: Lineare Transformation

Sei X eine Zufallsvariable und Y = a + bX, mit beliebigenKonstanten a und b, dann wird Y eine lineare TransformationvonX genannt. Y ist ebenfalls eine Zufallsvariable und es gilt:

1. E[Y ] = a+ bE[X]

2. Var[Y ] = b2Var[X]

Weiterhin gilt insbesondere: Ist X normalverteilt, dann ist Yebenfalls normalverteilt.

Wir sehen nun, dass εt in (5.2) eine lineare Transformation von zt ist,mit a = 0 und b = σt. Wenn zt standard-normalverteilt ist, wie ist dannεt verteilt? Die Antwort ist einfach, εt ∼ N(0, σ2

t ). Gleichung (5.2) istgewissermaßen eine Mikroskopierung des Fehlerterms, den wir bereits aus

91


den vorangegangenen Kapiteln kennen. Das bedeutet aber auch, dass dieModelle, die wir noch untersuchen werden, nahtlos in die bereits bekanntenModelle eingepasst werden können. Die folgende Modellierung von σt stelltalso eine weitere, filigranere Modellebene dar.

Nun genug der Vorarbeit. Das ARCH(1)-Modell wird allgemein üblich infolgender Form notiert

yt = εt = σtzt (5.3)σ2t = ω + αε2t−1. (5.4)

Der erste Teil von Gleichung (5.3) zeigt, dass ein reines Rauschmodellangenommen wird, yt = εt. Der zweite Teil von (5.3) ist die uns schonbekannte Transformation (Mikroskopierung) des Fehlerterms. Gleichung(5.4) stellt die eigentliche ARCH-Dynamik her. Demnach wird die Varianzσ2t zum Zeitpunkt t erklärt durch eine Art Basisstreuung ω (kleines Omega)

und eine mit α gewichtete quadrierte Realisation des Fehlers zum vorherigenZeitpunkt t−1. εt−1 muss also bekannt sein, damit σ2

t berechnet werden, undsomit die Verteilung von yt angegeben werden kann. Man sagt, yt ist bedingtN(0, σ2

t )-verteilt und die Bedingung ist, dass die Information von Zeitpunktt − 1 vorliegt (also εt−1 bekannt ist). Mit Hilfe der bedingten Notation ausdem vorherigen Abschnitt schreibt man formal1 yt|t−1 ∼ N(0, σ2

t ).

Wieso ausgerechnet ein Rauschprozess mit Erwartungswert null? ARCH-Modelle wurden entwickelt, um den Besonderheiten von Renditezeitreihenvon Finanzanlagen Rechnung zu tragen, vgl. Abbildung 5.1 auf Seite 90. An-genommen eine Wertpapieranlage hat eine erwartete jährliche Rendite von10%, dann ist bei ca. 250 Handelstagen im Jahr die erwartete Tagesrendite et-wa von der Größenordnung 10−4. Demgegenüber liegt im Schnitt die täglicheVolatilität σt der meisten Finanzanlagen zwischen 2% und 5%. Der Erwar-tungswert wird also um zwei Größenordnungen von der Standardabweichungdominiert und kann daher in erster Näherung vernachlässigt werden. Sindgenauere Ergebnisse gewünscht, kann analog zum Vorgehen in Kapitel 2 dieSubstitution yt = xt−µ vorgenommen werden. Man erhält dann anstelle von(5.3)

xt = µ+ σtzt. (5.5)

Damit ist xt unter den üblichen Annahmen bedingt N(µ, σ2t )-verteilt.

Bedingt wird wiederum auf die Information zum Zeitpunkt t− 1 (also εt−1),1Beachten Sie, dass es viele unterschiedliche Variationen der bedingten Schreibweise

gibt. Wichtig ist, dass immer auf eine bestimmte Information bedingt werden muss, sobaldSie ein ‘|’ Zeichen sehen.

92

5.1. ARCH-MODELLE

da σ2t nur berechnet werden kann, wenn diese Information vorliegt.

Gibt es Restriktionen für die Parameter? Allerdings. Die Varianz ist dasQuadrat der Standardabweichung. Es wäre sehr peinlich, wenn die Varianznegative Werte annehmen würde. Deshalb wird gefordert, dass ω > 0 und α >0 gilt. Durch diese Einschränkung bleibt σ2

t immer positiv. Gibt es weitereEinschränkungen? Möglicherweise, es hängt davon ab, ob wir wünschen, dassder Prozess yt stationär sein soll. Rufen Sie sich noch einmal die Definitionender starken und schwachen Stationarität ins Gedächtnis (Seite 10 und 14).Wir werden uns darauf beschränken, Bedingungen für schwache Stationaritätanzugeben.

5.1.2 Stationarität des ARCH(1)-Prozesses

Um herauszufinden, unter welchen Bedingungen der ARCH(1)-Prozess sta-tionär ist, müssen wir die ersten beiden Momente und die Autokovarianzausrechnen. Diese Berechnung birgt eine gewisse Subtilität. Wir kennen nurdie bedingte Verteilung von yt, nämlich yt|t−1 ∼ N(0, σ2

t ). Wir brauchen aberdie Momente von yt, also die Momente der unbedingten Verteilung. LassenSie uns sehen, ob wir diese berechnen können. Beginnen wir mit dem Erwar-tungswert

E[yt] = E[σtzt] = E[σt]E[zt] = 0. (5.6)

Einschub: Produkterwartungswert

Seien X und Y unabhängige Zufallsvariablen,dann gilt für das Produkt X · Y :

E[X · Y ] = E[X] · E[Y ].

Beachten Sie, dass diese Beziehung nur fürunabhängige oder zumindest unkorrelierte Xund Y gilt!

Der unbedingte Erwartungswert ist also konstant, soweit so gut. Als nächstesberechnen wir die Autokovarianz mit Lag k = 1

γ1 = Cov[yt−1, yt] = E[yt−1yt]

= E[σt−1zt−1σtzt]

= E[σt−1zt−1σt]E[zt] = 0.

(5.7)

93


Wieder wurde ausgenutzt, dass zt ein reiner Zufallsfehler ist, der auf keineInformation bedingt werden muss. Da zt N(0, 1)-verteilt ist, folgt natürlichwie in (5.6) sofort E[zt] = 0. Die Lags k ≥ 2 müssen wir nicht abprüfen,da die Varianzgleichung (5.4) nur verzögerte Einflüsse bis k = 1 enthält. Esfolgt also

γk = 0 für k ≥ 1. (5.8)

Damit haben wir gleichzeitig gezeigt, dass der ARCH(1)-Prozess ein reinerRauschprozess ist. Wir haben gezeigt, dass yt nicht autokorreliert ist,gleichzeitig wissen wir aber, dass die Verteilung von yt von der Informationzur Zeit t− 1 abhängt. Dieser etwas seltsame Befund wird oft so formuliert:„yt ist zwar unkorreliert, aber nicht unabhängig.“ Aus dieser Eigenschaftlässt sich (zumindest heuristisch) wiederum folgender, noch seltsamererSchluss ziehen: Da lediglich unter Normalverteilung gilt, dass unkorrelierteZufallsvariablen auch unabhängig sind, kann die stationäre Verteilung von ytkeine Normalverteilung sein. Wir werden später zeigen, dass dieser Schlussin der Tat korrekt ist.

Bisher verlief unsere Analyse völlig unproblematisch. Der Haken mussalso in der letzten Bedingung stecken. Berechnen wir nun die Varianz von yt

γ0 = Var[yt] = E[σ2t z

2t ] = E[σ2

t ]E[z2t ] = E[σ2

t ]

= E[ω + ασ2t−1z

2t−1] = ω + αE[σ2

t−1]E[z2t−1]

= ω + αE[σ2t−1].

(5.9)

In der ersten Zeile wurde wieder ausgenutzt, dass zt unabhängig von verzö-gerter Information ist. In der Tat ist z2

t eine unabhängig χ21-verteilte (Chi-

Quadrat mit einem Freiheitsgrad) Zufallsvariable2. Da zt ∼ N(0, 1) gilt,folgt unmittelbar E[z2

t ] = 1. In Zeile zwei wurde wieder verwendet, dassεt−1 = σt−1zt−1 gilt. Der wichtigste Ausdruck, der sich aus (5.9) ergibt, ist

Var[yt] = ω + αVar[yt−1]. (5.10)

Das ist aber exakt dieselbe Representation wie im AR(1)-Modell, vgl. Glei-chung (2.8) auf Seite 8, mit den Ersetzungen σ2 → ω und φ2 → α. Nun wirdauch klar, dass ω und α beide größer null sein müssen. Um die stationäreVarianz zu berechnen, bzw. um die notwendige Bedingung abzuleiten, geht

2Für die Summe von quadrierten standard-normalverteilten ZufallsvariablenZ1, . . . , ZN gilt

N∑n=1

Z2n ∼ χ2

N .

94

5.1. ARCH-MODELLE

man nun völlig analog zu Abschnitt 2.1.2 vor. Am Ende dieses Abschnittskönnen Sie die Ableitungsschritte erneut im Rahmen einer Übungsaufgabenachvollziehen. Man erhält durch Vorwärtsiteration

Var[yt] = ω

t−1∑k=0

αk. (5.11)

Die stationäre Varianz ergibt sich im Grenzwert für t→∞ unter Verwendungder geometrischen Reihe

Var[yst.] = limt→∞

ω

t−1∑k=0

αk =ω

1− αfür α < 1. (5.12)

Die gesuchte Bedingung für schwache Stationarität lautet also α < 1. DerParameter α wird im ökonomischen Kontext auch als Volatilitätspersistenzbezeichnet. Er bestimmt, wie lange Volatilitätsschocks im System nachwir-ken, bspw. in makroökonomischen Modellen. Zusammengefasst lauten dieParameterrestriktionen für ein schwach stationäres ARCH(1)-Modell ω > 0und 0 < α < 1.

Aufgabe 5.1

Zeigen Sie, dass im ARCH(1)-Modell dieunbedingte Varianz von yt (gegeben y0)

Var[yt] = ωt−1∑k=0

αk

ist. Iterieren Sie die ersten drei Zeitpunktevorwärts.

5.1.3 Kurtosis im ARCH(1)-Modell

In diesem Abschnitt werden wir bestimmte Aspekte der unbedingtenVerteilung eines ARCH(1)-Prozesses untersuchen. Genauer gesagt, werdenwir die Kurtosis (Wölbung) herleiten. In Abbildung 5.2 ist die Verteilungder DAX-Log-Renditen aus Abbildung 4.2 auf Seite 75 (rechts) dargestellt.

95


Einschub: Rendite und Log-Rendite

Sie werden sich wundern, warum einmal die Rendite und ein an-deres mal die Log-Rendite (logarithmierte Rendite) betrachtetwird? Die erste Hälfte der Antwort lautet: Es besteht kein großerUnterschied zwischen beiden. Angenommen die relative Änderungeines Wertpapierkurses (Rendite) von einem Tag zum nächsten istnicht allzu groß, dann gilt folgende Näherung

St+1 − StSt

=St+1

St− 1 ≈ log

[St+1

St

]= logSt+1 − logSt.

Links steht die Rendite, rechts die Log-Rendite. Die zweite Hälfteder Antwort hängt damit zusammen, dass die Log-Rendite alsDifferenz geschrieben werden kann, was oft sehr praktisch ist.

Die zugehörige Normalverteilung ist ebenfalls als Referenz eingezeichnet. Esfällt sofort auf, dass die empirische Verteilung (Histogramm) deutlich mehrWahrscheinlichkeitsmasse im Hauptbereich besitzt. Es kommt ebenfalls häu-figer vor, dass extreme Werte auftreten. Das bedeutet, es befindet sich imVergleich zur Normalverteilung auch mehr Warscheinlichkeitsmasse in denAusläufern der Verteilung. Dieser Befund wird in der Praxis oft mit demBegriff „Fat Tails“ beschrieben. Korrekterweise müsste man sagen, die unbe-dingte Verteilung der DAX-Log-Renditen ist stärker gewölbt als eine Nor-malverteilung. Die Wölbung einer Verteilung wird als Kurtosis bezeichnetund eine Überschusswölbung gegenüber der Normalverteilung heißt Lepto-kurtosis. Merke:

Bei Leptokurtosis befindet sich mehr Wahrscheinlichkeitsmasse im

-0.06 -0.04 -0.02 0.00 0.02 0.04 0.060

10

20

30

40

Abbildung 5.2: Histogramm (links) und Statistiken der unbedingtenDAX-Log-Rendite Verteilung (rechts)

96

5.1. ARCH-MODELLE

Zentralbereich und in den Ausläufern als bei einer Normalvertei-lung.

Die Normalverteilung hat immer eine Kurtosis von 3. Die exakte Definitionder Kurtosis lautet

K = E

[x− µσ

]4

=m4

m22

, (5.13)

mit mk als k-tem zentralen Moment (Siehe Einschub in Abschnitt 2.1.2).Werte über 3 werden als Überschusskurtosis oder Kurtosis-Exzess bezeichnet.

Wenn das ARCH(1)-Modell tatsächlich eine bessere Beschreibung vonWertpapierrenditen (respektive Log-Renditen) liefern soll, sollte es besser ei-ne unbedingte Verteilung mit Kurtosis-Exzess generieren können. Wir werdendas nachprüfen. Die stationäre Varianz haben wir bereits berechnet. Damitsteht uns der Term im Nenner von (5.13) bereits zur Verfügung (erinnern Siesich, dass m2 = σ2 gilt). Bezüglich dem vierten Moment gehen wir analogvor

E[y4t ] = E[ε4t ] = E[σ4

t z4t ] = E[σ4

t ]E[z4t ]

= 3E[(ω + αε2t−1)2

]= 3E[ω2 + 2ωαε2t−1 + α2ε4t−1]

= 3ω2 + 6ω2α

1− α+ 3α2E[ε4t−1]

= 3ω2(1− α)

1− α+ 6

ω2α

1− α+ 3α2E[ε4t−1]

=3ω2(1 + α)

1− α+ 3α2E[y4

t−1].

(5.14)

In der ersten Zeile wurde wieder ausgenutzt, dass zt unabhängig von σtist (was auch für beliebige Potenzen gilt). In Zeile zwei wurde dann dieKurtosis der Normalverteilung eingesetzt, E[z4

t ] = 3. In der vierten Zeilewurde schließlich die stationäre Varianz (5.12) für E[ε2t−1] eingesetzt.

Erkennen Sie die endgültige Form von Gleichung (5.14) wieder? Es han-delt sich um eine rekursive Gleichung, die strukturell völlig identisch mitGleichung (5.10) auf Seite 94 ist. Nur die Koeffizienten sind hier etwas kom-plizierter. Wenn wir aber zusätzlich fordern, dass 3α2 < 1 sein soll, so dassdie entsprechende geometrische Reihe konvergiert, können wir die stationäreLösung in vollkommen analoger Weise ablesen

E[y4st.] =

3ω2(1 + α)

(1− α)(1− 3α2)=

ω2

(1− α)2· 3(1 + α)(1− α)

1− 3α2. (5.15)

97


Sind wir damit am Ende? Noch nicht ganz. Wir müssen noch durch dasQuadrat der stationären Varianz teilen. Die Terme sind in (5.15) bereits sehrvorteilhaft gruppiert und die dritte binomische Formel führt uns ans Ziel

K =E[y4

st.]

Var[yst.]2= 3

1− α2

1− 3α2> 3. (5.16)

Das ARCH(1)-Modell generiert also tatsächlich eine stationäre Über-schusskurtosis. Es ist damit ein guter Kandidat zur Modellierung vonRenditezeitreihen von Wertpapieren. Beachten Sie, dass die stationäreKurtosis im Grenzwert für α → 0 gegen 3 geht. Das ARCH-Modell würdealso in diesem Fall auf ein ganz gewöhnliches Rauschmodell mit konstanterVarianz ω reduziert.

Aufgabe 5.2

In Abschnitt 7.1 auf Seite 145 ist ein Schema fürdie Berechnung höherer Momente der Normalver-teilung angegeben. Leiten Sie die stationäre Schie-fe (Skewness)

S = E

[x− µσ

]3

=m3

m3/22

für das ARCH(1)-Modell her.

Aufgabe 5.3

Wie müssen die Parameter des ARCH(1)-Modellsgewählt werden, wenn die unbedingte Verteilungdie Eigenschaften

a) σ2 =3

2und K = 4

b) σ2 = 4 und K = 9

besitzt? Hinweis: Berechnen Sie zuerst α, dann ω.

5.1.4 Parameterschätzung im ARCH(1)-Modell

Das ARCH(1)-Modell ist nicht nur hinsichtlich seiner Architektur daseinfachste seiner Klasse, es erlaubt darüberhinaus eine sehr einfacheund elegante Schätzung seiner Parameter mit der Momentenmethode.

98

5.1. ARCH-MODELLE

Das Standardverfahren zur Parameterschätzung in ARCH- respektiveGARCH-Modellen ist Maximum-Likelihood. Wir werden dieses Verfahrenim Anschluss motivieren. Zunächst soll aber die Momentenmethode erörtertwerden.

Eine Bestimmung der Parameter mit Hilfe von empirisch geschätzten Mo-menten wird dadurch ermöglicht, dass die Kurtosis (5.16) eine direkte Be-ziehung zu einem der beiden zu schätzenden Parameter herstellt, nämlich zuα. Die Kurtosis kann aber wiederum aus geschätzten Momenten berechnetwerden

K =m4

m22

. (5.17)

Wird Formel (5.16) nun entsprechend umgestellt, vgl. Aufgabe 5.3, erhältman einen Schätzer für den Parameter α

α =

√K − 3

3(K − 1). (5.18)

Genaugenommen erhält man sogar zwei Schätzer für α, da die negative Wur-zel ebenfalls eine Lösung der quadratischen Gleichung für α2 darstellt. EineKonstruktionsbedingung des ARCH(1)-Modells war jedoch, dass α > 0 gilt.Somit können wir die negative Lösung außer Acht lassen. Aus der geschätztenVarianz lässt sich mit Hilfe von α und Gleichung (5.12) sofort ein Schätzerfür den zweiten Parameter ω angeben

ω = m2(1− α). (5.19)

Die Momentenschätzer selbst werden analog zu den Schätzern für Erwar-tungswert und Varianz (2.29) und (2.30) auf Seite 21 definiert

mk =1

T

T∑t=1

(yt − µ)k. (5.20)

Damit steht ein sehr effizientes zweistufiges Verfahren zur Schätzung derParameter zur Verfügung: Berechne im ersten Schritt m2 und m4 aus derbeobachteten Zeitreihe und bestimme im zweiten Schritt α und ω aus denMomentenschätzern. Eine numerische Maximierung, wie sie unter ML benö-tigt wird, entfällt hier. Leider ist eine vergleichbar einfache Schätzung mitder Momentenmethode in Modellen höherer Ordnung nicht möglich. Mangreift daher auf das bewährte Arbeitspferd der modernen Statistik zurück:Maximum-Likelihood.

99


Wir haben bereits in Kapitel 2 gesehen, dass auf verzögerte Realisierun-gen des Zufallsprozesses bedingt wurde, damit die Likelihoodfunktion einefaktorisierte Form annimmt, also als Produkt von (bedingten) Einzeldichtengeschrieben werden kann. Im Falle der bedingt heteroskedastischen Prozessefunktioniert derselbe Trick, nur dass hier die Verteilung selbst, bzw. ihr Pa-rameter σt, auf die vergangene Information bedingt werden muss. Wir gehenganz analog vor. Zunächst wird angenommen, dass zt unabhängig und iden-tisch standard-normalverteilt ist, und dass weiterhin ε0 = 0 gilt. Dann lässtsich die gemeinsame Dichte von y1, . . . , yT wie folgt schreiben

p(yT , yT−1, . . . , y1) =T∏t=1

p(yt|εt−1)

=T∏t=1

1√2πσ2

t

e− 1

2

y2tσ2t

=T∏t=1

1√2π(ω + αε2t−1)

e− 1

2

y2t

ω+αε2t−1 .

(5.21)

Von Schritt zwei nach drei wurde einfach die ARCH-Gleichung (5.4) aufSeite 92 eingesetzt. Die logarithmierte Likelihoodfunktion ist einfach wiederder Logarithmus der gemeinsamen Dichte (5.21), aufgefasst als Funktion derParameter ω und α

l(ω, α) =T∑t=1

log p(yt|εt−1)

= −1

2

T∑t=1

(log[2π(ω + αε2t−1)

]+

y2t

ω + αε2t−1

)

= −T2

log[2π]− 1

2

T∑t=1

(log[ω + αε2t−1

]+

y2t

ω + αε2t−1

).

(5.22)

Gleichung (5.22) muss wieder numerisch maximiert werden, um einenML-Schätzer für die beiden Parameter zu erhalten. Das überlassen wirgetrost dem Computer, unsere Arbeit hier ist getan.

100

5.1. ARCH-MODELLE

Aufgabe 5.4

Gegeben sei die Zeitreihe

(yt)t=1,...,8 = 0, 0, 2, 0, 0,−2, 0, 0.

Gehen Sie davon aus, dass ein ARCH(1)-Prozesszugrunde liegt und schätzen Sie die Parameter ωund α mit der Momentenmethode.

Aufgabe 5.5

Nehmen Sie an, dass der ARCH(1)-Prozess ausAufgabe 5.4 eine standard-normalverteilte Inno-vation zt besitzt. Geben Sie den Wert der loga-rithmierten Likelihoodfunktion für ε0 = 0 und dieParameterwerte ω = 2

3und α = 1

3an.

5.1.5 Das ARCH(p)-Modell

Die Erweiterung der ARCH-Klasse auf ARCH(p)-Modelle3 ist kaum eine un-erwartete Neuigkeit. Das bis hierher Gesagte besitzt mit den offensichtli-chen Modifikationen weiterhin Gültigkeit. Wir werden diese Modifikationendennoch Schritt für Schritt durchgehen. Zunächst soll das ARCH(p)-Modellformal notiert werden

yt = σtzt (5.23)

σ2t = ω +

p∑k=1

αkε2t−k. (5.24)

Die redundante Definition εt = σtzt wird im Folgenden weggelassen, es istvöllig ausreichend im Hinterkopf zu behalten, dass der Term auf der rech-ten Seite von (5.23) der Fehlerterm ist. Neu ist hier, dass jeder mit Lagk verzögerte Fehler einen eigenen Parameter αk erhält. Dadurch wird dasModell natürlich anpassungsfähiger, da nun mehr „Stellschrauben“ zur Ver-fügung stehen. Andererseits wird die Parameterschätzung auch aufwendiger.Sie werden bereits ahnen, dass man in der Praxis nun auch wieder auf dasalte Problem trifft, wie das geeignete Modell ausgesucht werden soll, dasam besten zu einer vorliegenden Zeitreihe passt. All diese Probleme habenwir prinzipiell schon analysiert und gelöst und wir werden sehen, dass das

3Gelegentlich wird auch die Bezeichnung ARCH(q) verwendet.

101


Vorgehen völlig analog zum Vorgehen bei AR-, MA- bzw. ARMA-Modellenist. Zunächst kümmern wir uns aber um die unmittelbaren Fragen. Die ersteFrage lautet: Welche Einschränkungen müssen die Parameter erfüllen, damitdie Varianz für alle Zeitpunkte positiv bleibt? Die Antwort ist offensichtlichund völlig analog zum ARCH(1)-Fall, nämlich ω, α1, . . . , αk > 0. Die zwei-te Frage lautet: Unter welchen Bedingungen erhalten wir einen stationärenProzess? Dieser Frage könnten wir nun durch aufwendige Reihenentwicklungder verzögerten Terme nachgehen. Wir werden uns stattdessen eines kleinenTricks bedienen, der in Abschnitt 7.2 auf Seite 145 erläutert wird. Zunächstwird die Varianzgleichung (5.24) für die unendlich weit entfernte Zukunftgeschrieben

σ2∞ = ω +

p∑k=1

αkε2∞ = ω + σ2

∞z2∞

p∑k=1

αk. (5.25)

Da Var[yt] = E[σ2t ] gilt, wird als nächstes der Erwartungswert auf beiden

Seiten von (5.25) berechnet

E[σ2∞] = ω + E[σ2

∞]

p∑k=1

αk. (5.26)

Weil die stationäre Varianz genau dem Erwartungswert von σ2t für t → ∞

entspricht, erhält man den strukturell vertrauten Ausdruck

Var[yst.] =ω

1−∑p

k=1 αkfür

p∑k=1

αk < 1, (5.27)

vgl. mit der stationären ARCH(1)-Varianz auf Seite 95. Die Bedingung istalso prinzipiell dieselbe geblieben, die Parameter α1, . . . , αp müssen in derSumme (nicht einzeln!) kleiner als eins sein.

Last but not least berechnen wir die LogLikelihood-Funktion, da imARCH(p)-Modell eine Schätzung mit der Momentenmethode nicht mehr oh-ne weiteres möglich ist. Wir führen hier eine generische Schreibweise ein, dieauch für die GARCH-Modelle in Abschnitt 5.2 Gültigkeit behält. Bezeich-ne εt−1 die gesamte Information, die zum Zeitpunkt t vorliegt, dann gilt imARCH(p)-Fall p(yt|εt−1) = p(yt|εt−1, . . . , εt−p), und die logarithmierte Like-lihoodfunktion besitzt die Form

l(ω, α1, . . . , αp) =T∑t=1

log p(yt|εt−1)

= −T2

log[2π]− 1

2

T∑t=1

(log σ2

t +y2t

σ2t

),

(5.28)

102

5.2. GARCH-MODELLE

mit dem zugehörigen Modell für die bedingte Streuung

σ2t = ω +

p∑k=1

αkε2t−k. (5.29)

Um die LogLikelihood-Funktion für beliebige Modelle anzugeben, mussabgesehen von den Funktionsargumenten in (5.28) nur die Varianzgleichung(5.29) modifiziert werden.

Aufgabe 5.6

Zeigen Sie, dass der ARCH(∞)-Prozess

yt = σtzt

σ2t = ω +

∞∑k=1

αkε2t−k,

mit ω > 0, αk = αk und 0 < α < 12eine

stationäre Varianz besitzt.

5.2 GARCH-ModelleWir wollen unsere Diskussion der GARCH-Modelle (Generalized AutoRe-gressive Conditional Heteroscedasticity) über einen kleinen Umweg beginnen.Betrachten Sie den Ausdruck4 νt = ε2t − σ2

t („Ny“) und lassen Sie uns denbedingten Erwartungswert ausrechnen

E[νt|εt−1] = E[ε2t |εt−1]− σ2t = σ2

tE[z2t ]− σ2

t = 0. (5.30)

Die Differenz νt besitzt eine gewisse Ähnlichkeit mit einem Fehlerterm. Sieist darüber hinaus unkorreliert, aber nicht unabhängig! Lassen Sie uns nunfolgendes ARMA(1,1)-Modell in y2

t = ε2t = σ2t z

2t anschreiben5

y2t = ω + (α + β)y2

t−1 + νt − βνt−1. (5.31)

Dieses Modell ist im Grunde identisch mit dem typischen ARMA(1,1)-Modell(4.1) aus Kapitel 4 auf Seite 69. Es ist lediglich in y2

t formuliert und enthält4Die Differenz νt wird auch als Martingaldifferenz bezeichnet. Der Begriff Martingal

stammt ursprünglich aus dem Glücksspiel. In der Wahrscheinlichkeitstheorie gilt er alsSynonym für ein faires Spiel.

5Eine äquivalente Argumentationskette für das ARMA(p, q)-Modell kann im Haupt-skript nachgelesen werden.

103


speziell gewählte Koeffizienten. Lassen Sie uns sehen, wohin uns ein paaralgebraische Manipulationen führen. Aufgrund der Definition νt = ε2t − σ2

t

gilt y2t = ε2t = νt + σ2

t . Setzen wir diesen Ausdruck für y2t , respektive y2

t−1 in(5.31) ein, erhalten wir nach trivialen Umformungen

σ2t = ω + αε2t−1 + βσ2

t−1. (5.32)

Gleichung (5.32) ist unsere erste generalisierte ARCH-Gleichung. DasPrinzip lässt sich leicht auf höhere Ordnungen verallgemeinern.

Aufgabe 5.7

Zeigen Sie, dass die Innovation νt = ε2t−σ2t

bedingt unkorreliert ist, also dass

Cov[νtνt−1|εt−1] = 0

gilt. Tipp: Verwenden Sie die Vereinfa-chung aus Abschnitt 7.3 auf Seite 147.

Aufgabe 5.8

Zeigen Sie, dass die Innovation νt = ε2t−σ2t

sogar unbedingt unkorreliert ist, also dass

Cov[νtνt−1] = 0

gilt. Tipp: Schreiben Sie die Innovation alsνt = (z2

t − 1)σ2t .

5.2.1 Das GARCH(1,1)-Modell

Im Grunde haben wir das GARCH(1,1)-Modell schon hergeleitet. Der Voll-ständigkeit halber wird es hier noch einmal notiert

yt = σtzt (5.33)σ2t = ω + αε2t−1 + βσ2

t−1, (5.34)

mit ω, α, β > 0. Das GARCH(1,1)-Modell ist das in der Praxis wahrscheinlicham häufigsten verwendete bedingt heteroskedastische Modell. Ähnlich wie imARMA-Fall benötigt man in der Regel relativ viele verzögerte Fehlerterme,um eine gute Modellanpassung mit einem reinen ARCH-Modell zu erzielen.Die GARCH(1,1)-Variante schafft meistens eine ausreichend gute Anpassungbei minimaler Parametrisierung.

104

5.2. GARCH-MODELLE

Die Stationaritätsbedingung resultiert wiederum lediglich aus der Anfor-derung an die stationäre Varianz. Am einfachsten erkennt man die notwen-digen Bedingungen durch Umschreiben von (5.34) und anschließende Erwar-tungswertbildung

E[σ2t ] = E[ω + ασ2

t−1z2t−1 + βσ2

t−1]

= ω + (α + β)E[σ2t−1].

(5.35)

Vergleicht man diesen Ausdruck mit (5.10) auf Seite 94, wird sofort klar, dassdie stationäre Varianz durch

Var[yst.] =ω

1− α− β(5.36)

gegeben ist, und dass die eingesetzte geometrische Reihe nur konvergiert,wenn α + β < 1 gilt. Letzteres ist die gesuchte Bedingung für Stationaritäteines GARCH(1,1)-Prozesses.

Bei der Formulierung der bedingten Likelihoodfunktion können wir aufdie generische Form (5.28) zurückgreifen und erhalten unmittelbar

l(ω, α, β) = −T2

log[2π]− 1

2

T∑t=1

(log σ2

t +y2t

σ2t

), (5.37)

mitσ2t = ω + αε2t−1 + βσ2

t−1. (5.38)

Auch beim GARCH(1,1)-Modell kann der Maximum-Likelihood-Schätzerfür ω, α und β nur durch numerische Maximierung der logarithmiertenLikelihoodfunktion (5.37) gefunden werden.

Aufgabe 5.9

Berechnen Sie die Kurtosis eines GARCH(1,1)-Prozesses. Nehmen Sie wie gewöhnlich an, dasszt unabhängig und identisch standard-normal-verteilt ist.

5.2.2 Das GARCH(p, q)-Modell

Die offensichtliche Erweiterung des GARCH(1,1)-Modells entsteht durchLags höherer Ordnung, sowohl in den verzögerten Innovationen, als auch

105


in den verzögerten Varianzen. Das GARCH(p, q)-Modell6 notiert

yt = σtzt (5.39)

σ2t = ω +

p∑j=1

αjε2t−j +

q∑k=1

βkσ2t−k. (5.40)

Hier gilt ebenfalls die Bedingung ω, αj, βk > 0, für j = 1, . . . , p undk = 1, . . . , q. Zur Erinnerung, j und k sind lediglich Laufvariablen, vgl.(5.40).

Die Analyse der Stationaritätseigenschaften erfolgt nach dem altbekann-ten Schema und birgt keine Überraschungen. Der GARCH(p, q)-Prozess istkovarianzstationär, wenn

p∑j=1

αj +

q∑k=1

βk < 1 (5.41)

gilt.

Die Struktur der LogLikelihood-Funktion wird Sie nun sicher nichtmehr vor ein unlösbares Rätsel stellen. Daher bleibt dieses Highlight deranschließenden Aufgabe überlassen.

Aufgabe 5.10

Geben Sie die logarithmierte Likelihood-funktion für das GARCH(p, q)-Modell an.Nehmen Sie wieder an, dass für die Inno-vation zt ∼ N(0, 1) gilt.

5.3 ARMA-GARCH und asymmetrische Er-weiterungen

Wie eingangs erwähnt, stellt die GARCH-Klasse elaborierte Modelle für denFehlerterm bereit. Diese Fehlermodelle lassen sich auf natürliche Weise in diebereits bekannten, konventionellen Modellklassen einpassen. Man erhält aufdiesem Wege die erste wichtige Erweiterung der GARCH-Modelle.

6Beachten Sie auch hier, dass eine gebräuchliche alternative Schreibweise die Modell-ordnungen p und q vertauscht.

106

5.3. ARMA-GARCH UND ASYMMETRISCHE ERWEITERUNGEN

5.3.1 ARMA-GARCH

Fassen wir die Ergebnisse aus Kapitel 4 und diesem zusammen und pressensie in ein einziges, komprimiertes Modell, erhalten wir das ARMA-GARCH-Modell

φ(B)yt = θ0 + θ(B)εt (5.42)εt = σtzt (5.43)

σ2t = ω +

p∑j=1

αjε2t−j +

q∑k=1

βkσ2t−k. (5.44)

Dieses Modell besitzt nun die Charakteristika sowohl von ARMA-, wieauch von GARCH-Modellen. Ein Prozess, der (5.42) bis (5.44) genügt, istbeispielsweise nur stationär, wenn die Wurzeln seines AR-Teils außerhalbdes komplexen Einheitskreises liegen und wenn die Summe aller α’s und β’skleiner als eins ist.

Die Likelihoodfunktion muss nun auf verzögerte Beobachtungen yt−1, . . .und auf verzögerte Fehlerterme εt−1, . . . bedingt werden. Wieviele Beobach-tungen, respektive Fehler aus der Vergangenheit benötigt werden, hängtvon der Modellordnung ab. Um eine einheitliche Notation zu schaffen ver-einbaren wir, dass für beliebige Ordnungen p und q gilt p(yt|Y t−1) =p(yt|yt−1, . . . , yt−p, εt−1, . . . , εt−q). Y t−1 stellt also die Menge der gesam-ten zum Zeitpunkt t benötigten Information dar. Nun kann die bedingteLogLikelihood-Funktion eines ARMA(m,n)-GARCH(p, q)-Modells als

l(θ) = p(yt|Y t)

= −T2

log[2π]− 1

2

T∑t=1

(log σ2

t +ε2tσ2t

),

(5.45)

mit

εt = yt −m∑j=1

φjyt−j − θ0 −n∑k=1

θkεt−k (5.46)

σ2t = ω +

p∑j=1

αjε2t−j +

q∑k=1

βkσ2t−k (5.47)

geschrieben werden. Alle Parameter des gemischten Modells wurden in(5.45) in einem Parametervektor θ = (φ1, φ2, . . . , βq)

′ zusammengefasst.

107


ARMA-GARCH-Modelle bilden die allgemeinste konventionelle Modell-klasse, die wir bisher kennengelernt haben. Konventionell bedeutet hier, dasseinige „exotische“ Erweiterungen wie SARIMA oder ARMAX nicht explizitenthalten sind. Die erforderlichen Modifikationen können aber problemlosvorgenommen werden. Wir werden in den nächsten Abschnitten noch weitereExoten kennenlernen, jedoch handelt es sich dann um Erweiterungen desGARCH-Teils.

Aufgabe 5.11

Geben Sie die logarithmierte Likelihood-funktion für das ARMA(1,2)-GARCH(2, 1)-Modell explizit an. Nehmen Sie wieder an,dass für die Innovation zt ∼ N(0, 1) gilt.

Aufgabe 5.12

Unter welchen Bedingungen ist der zugehö-rige Prozess aus Aufgabe 5.11 stationär?

5.3.2 Asymmetrische GARCH-Modelle allgemein

Die Notwendigkeit asymmetrische Effekte zu implementieren steht wiederin engem Zusammenhang mit empirisch beobachteten Phänomenen in Fi-nanzzeitreihen. Bei Aktienrenditen stellt man beispielsweise fest, dass durcheine negative Realisation am Vortag (Kurssturz) eine höhere Volatilitätfür den Folgetag induziert wird, als bei einer betragsmäßig gleichgroßenpositiven Rendite. Dieses Phänomen wird „Leverage-Effekt“ genannt. Mangeht davon aus, dass dieser Zusammenhang auf ein risikoaverses Verhaltenvon Anlegern zurückzuführen ist. Vereinfacht ausgedrückt bedeutet das, dassein Wirtschaftssubjekt einen deutlichen Verlust überproportional schlimmereinstuft als einen Gewinn derselben Größenordnung. Solche Annahmen sindin den Wirtschaftswissenschaften seit langem bekannt7 und akzeptiert. DieEntwicklung asymmetrischer GARCH-Modelle trägt diesem Sachverhalttheoretisch wie empirisch Rechnung.

Wir werden im Folgenden verschiedene Ansätze kennenlernen, die solcheAsymmetrien abbilden können. Wir werden uns dabei auf einige Spezial-fälle konzentrieren, die vom Standpunkt der Parameterschätzung einfach zu

7Vgl. die klassische Nutzentheorie, speziell die Annahme, dass Nutzenfunktionen konkavsind. Die Risikoaversion wird dann durch den Pratt-Arrow -Koeffizienten ausgedrückt.

108


handhaben sind, aber dennoch die Idee der asymmetrischen Modellierunggut transportieren. Der Einfachheit halber soll die Darstellung auf den Fallder GARCH(1,1)-Erweiterung beschränkt werden, da zum einen höhere Mo-dellordnungen in der Praxis selten sind, und zum anderen keine qualitativneuen Erkenntnisse aus der Verallgemeinerung gewonnen werden. Eine for-male Darstellung für GARCH(p, q)-Ordnungen befindet sich im Hauptskript.

5.3.3 Threshold ARCH

Beim Threshold-ARCH oder TARCH Ansatz wird das wohl einfachste Prin-zip zur Realisierung von Asymmetrien verfolgt. Zunächst wird eine Indikator-variable definiert, die sozusagen anzeigt, ob die Rendite negativ oder positivist

dt =

0 für εt ≥ 0

1 für εt < 0.(5.48)

Diese Indikatorvariable wird dann in die Varianzgleichung des GARCH-Modells eingeschleust, um die heutige Varianz um einen zusätzlichen Faktorγ zu erhöhen, wenn die gestrige Innovation negativ war. Man erhält danndas folgende TARCH-Modell

yt = σtzt (5.49)σ2t = ω + (α + γdt−1)ε2t−1 + βσt−1, (5.50)

mit ω, α, β, γ > 0.

Eine wichtige Eigenschaft, die wir im Folgenden zwar begründen, abernicht mathematisch herleiten wollen, sorgt dafür, dass das TARCH-Modelleinfach zu handhaben und theoretisch gut beherrschbar bleibt. Die Indika-torvariable dt ist ihrerseits selbst eine Zufallsvariable. Sie ist zwar vollständigvon εt abhängig, aber unter den üblichen Annahmen ebenfalls vollkommenunkorreliert mit ε2t

Cov[dt, ε2t ] = E[dtε

2t ]− E[dt]E[ε2t ] = 0. (5.51)

Wird zt wieder standard-normalverteilt angenommen, ist εt normalverteiltmit Erwartungswert null. Das bedeutet, die Wahrscheinlichkeit, dass εt grö-ßer oder kleiner als null ist, ist jeweils 1

2. dt ist also eine Bernoulli -verteilte

Zufallsvariable mit π = 12. Damit ergibt sich aber für die Varianz des TARCH-

Prozesses

E[σ2t ] = ω + αE[ε2t−1] + γE[dt−1]E[ε2t−1] + βE[σ2

t−1]

= ω +(α +

γ

2+ β

)E[σ2

t−1].(5.52)

109


Es wird sofort klar, auf welche Form die stationäre Varianz hinauslaufen wirdund unter welchen Bedingungen der TARCH-Prozess überhaupt stationär ist.Nach Abspulen der inzwischen etablierten Routine erhält man

Var[yst.] =ω

1− α− β − γ2

, (5.53)

unter der Bedingung, dass α + β + γ2< 1 gilt.

Die LogLikelihood-Funktion lässt sich ebenfalls sofort anschreiben. Sie istdurch die generische Form (5.28), respektive (5.37), in Verbindung mit derVarianzgleichung (5.50) gegeben.

5.3.4 Quadratic GARCH

Quadratic GARCH oder QGARCH bietet möglicherweise einen noch intui-tiveren Zugang zur Abbildung asymmetrisch bedingter Volatilitäten. DieserAnsatz hat im Zusammenhang mit der Bewertung von Finanzderivaten einigeProminenz erlangt. Zu Anschauungszwecken soll hier nicht der allgemeinsteFall diskutiert werden, sondern die spezielle Form

yt = σtzt (5.54)σ2t = ω + α(εt−1 − γ)2 + βσ2

t−1. (5.55)

Hier wird die Asymmetrie in Form des Modellparameters γ in unmittelbarerNähe des Fehlerterms platziert, noch bevor das Quadrat gebildet wird.Dieses Vorgehen ist sowohl direkt wie auch effizient. Die formale Behand-lung des Modells bleibt strukturell genauso einfach wie die Idee selbst.Die Formulierung der Likelihoodfunktion folgt dem trivialen Schema dervorangegangenen Abschnitte.

Aufgabe 5.13

Berechnen Sie die stationäre Varianz imQGARCH-Modell und geben Sie die Sta-tionaritätsbedingung für den QGARCH-Prozess an.

5.3.5 Exponential GARCH

Exponential GARCH oder kurz EGARCH ist eine Modellvariante mitwesentlich höherem Komplexitätsgrad als die bisher vorgestellten Modelle.

110


Seine Attraktivität gewinnt das EGARCH-Modell vorwiegend durch seinetheoretischen Eigenschaften8. Wir werden Schritt für Schritt die wichtigstenPunkte herausarbeiten.

Zunächst wird das EGARCH-Modell nicht in den Varianzen σ2t formuliert,

sondern in den logarithmierten Varianzen ht = log σ2t . Dadurch entfallen die

Positivitätsrestriktionen der Parameter, da eine beliebige Größe, positiv wienegativ, durch Rücktransformation positiv wird, eht > 0 für alle ht ∈ R.Die zweite Besonderheit besteht darin, dass das EGARCH Modell als ver-zögerte Variable zt und nicht εt verwendet. Eine Umrechnung ist natürlichimmer möglich durch zt = εt

σt. Die dritte Modifikation betrifft den funktiona-

len Zusammenhang zwischen ht und zt. Wir werden diesen Zusammenhangdiskutieren, nachdem wir das EGARCH-Modell formuliert haben

yt = eht2 zt (5.56)

ht = ω + g(zt−1) + βht−1 (5.57)g(zt) = α

(|zt| − E[|zt|]

)+ γzt. (5.58)

Die Spezifikation der verzögerten Innovation g(zt−1) erlaubt eine separateModellierung der Wirkung der Größenordnung und des Vorzeichens von zt−1.Beachten Sie, dass E[|zt|] 6= 0 gilt. Für die übliche Annahme der standard-normalverteilten Innovation gilt E[|zt|] =

√2π.

8Insbesondere die asymptotischen Eigenschaften sind theoretisch bedeutsam, daEGARCH-Prozesse für immer kleinere Zeitschritte ∆t→ 0 gegen bestimmte kontinuierli-che Prozesse konvergieren, die in der quantitativen Finanzwirtschaft von außerordentlichgroßer Bedeutung sind.

111


Einschub: E[|Z|]Die Betragsfunktion |Z| kann formal geschrieben werden als

|Z| =

Z für Z ≥ 0

−Z für Z < 0.

Für standard-normalverteiltes Z ergibt sich damit der Erwar-tungswert von |Z| als

E[|Z|] =

∫ ∞−∞|z| 1√

2πe−

z2

2 dz

= −∫ 0

−∞z

1√2πe−

z2

2 dz +

∫ ∞0

z1√2πe−

z2

2 dz

=

∫ ∞0

z1√2πe−

z2

2 dz +

∫ ∞0

z1√2πe−

z2

2 dz

=2√2π

∫ ∞0

ze−z2

2 dz.

Von Schritt zwei auf drei wurden die Integrationsgrenzen un-ter Vorzeichenwechsel vertauscht und eine Substitution y = −zmit anschließender Rückersetzung y → z der Integrationsvariabledurchgeführt. Das verbleibende Integral in Schritt vier lässt sichleicht lösen und ergibt eins. Damit ist der gesuchte Erwartungs-wert E[|Z|] =

√2π.

Um die Likelihoodfunktion angeben zu können, wollen wir nun dasEGARCH-Modell in eine vertrautere Form bringen. Die Definition ht =

log σ2t lässt sich durch algebraische Manipulation auf die Form σt = e

ht2

bringen. Wenn Ihnen diese Umstellung nicht klar ist, konsultieren Sie kurzdie Rechenregeln für Logarithmen auf Seite 29. Damit reduziert sich Glei-chung (5.56) wieder auf die bekannte Form yt = σtzt. Setzen wir weiterhinkonsequent zt = εt

σtein, erhalten wir für die Varianzgleichung

σ2t = exp

[ω + g

(εt−1

σt−1

)+ β log σ2

t−1

]= exp

[ω + α

(∣∣∣∣ εt−1

σt−1

∣∣∣∣−√

2

π

)+ γ

εt−1

σt−1

]σ2βt−1.

(5.59)

Damit sind wir zumindest in der Lage, die LogLikelihood-Funktion im

112


Rahmen des bewährten Schemas anzugeben. Gleichung (5.59) zeigt aberdeutlich, dass bereits eine Diskussion der Stationaritätseigenschaften be-trächtliche mathematische Probleme verursacht.

Wir werden an dieser Stelle auf tiefere Analysen verzichten und stattdes-sen noch eine Beobachtung bezüglich der Modellierung des Leverage-Effektsim EGARCH-Modell machen. Gleichung (5.58) hat bereits gezeigt, dass dieEinflüsse der Größenordnung und des Vorzeichens der Innovation voneinan-der separiert werden. Die Varianzgleichung (5.59) offenbart aber noch eineweitere Quelle von Asymmetrie, die durch den nichtlinearen Verlauf der Ex-ponentialfunktion eingebracht wird. Das EGARCH-Modell stellt also einenhoch komplexen Leverage-Mechanismus bereit. Der Preis für diesen Mecha-nismus ist die analytisch schwierige Handhabbarkeit des Modells.

5.3.6 Symmetrische vs. asymmetrische Modelle

In Abbildung 5.3 sind die bedingten Varianzen verschiedener GARCH-Modelle als Funktionen des verzögerten Fehlers abgebildet. Für die

-2 -1 0 1 20.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

Εt-1

Σt2

GARCH

-2 -1 0 1 20.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

Εt-1

Σt2

QGARCH

-2 -1 0 1 20.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

Εt-1

Σt2

TARCH

-2 -1 0 1 20.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

Εt-1

Σt2

EGARCH

Abbildung 5.3: Bedingte Varianz symmetrischer und asymmetrischerGARCH-Modelle

113


-0.06 -0.04 -0.02 0.00 0.02 0.04 0.060

10

20

30

40 GARCH

-0.06 -0.04 -0.02 0.00 0.02 0.04 0.060

10

20

30

40 TARCH

Abbildung 5.4: Unbedingte GARCH- und TARCH-Verteilung mit identischerstationärer Varianz

verzögerte Varianz wurde vereinfachend σ2t−1 = 1 angenommen. Die übrigen

Parameter sind für alle Modelle gleich gewählt9. Das einzige symmetrischeModell ist das GARCH-Modell. Der Verlauf der bedingten GARCH-Varianzist in allen anderen Abbildungen als Referenz gestrichelt eingezeichnet.Es ist gut erkennbar, dass die unterschiedlichen Modelle sehr individuelleAsymmetrien erzeugen. Während QGARCH lediglich die Varianzparabelverschiebt, wird im TARCH-Modell ein Ast aufgebogen. EGARCH erzeugtnicht einmal eine Parabel, sondern zwei unterschiedliche, exponentiellgekrümmte Äste.

Ein möglicher Leverage-Effekt drückt sich im Allgemeinen nicht in derunbedingten Verteilung durch eine Schiefe aus. Abbildung 5.4 zeigt eine si-mulierte unbedingte Verteilung für ein GARCH- und ein TARCH-Modell, dieüber eine identische stationäre Varianz verfügen. Für die Simulation wurdenin beiden Fällen dieselben Zufallszahlen verwendet. Obgleich beide Histo-gramme bei genauer Inspektion nicht vollkommen identisch sind, gibt es inkeiner Verteilung ein Anzeichen für eine nennenswerte Schiefe.

5.3.7 ARCH in Mean

Wir kommen nun zu einer besonderen Modellklasse, den ARCH in Meanoder kurz ARCH-M-Modellen. Diese Klasse ist aufgrund ihrer Eigenschaf-ten überaus interessant für theoretische ökonomische Fragestellungen. Einüber die quantitative Finanzwirtschaft hinaus verbreitetes Konzept ist dasPrämien-Prinzip. Vereinfacht besagt dieses Prinzip, dass ein Entscheider für

9Im EGARCH-Modell muss das Vorzeichen des Leverage-Parameters definitionsbedingtumgekehrt werden.

114


die Übernahme von Risiko durch eine höhere erwartete Rendite entschädigtwerden will. Die ARCH-M-Formulierung erfasst genau diese Überlegung

yt = µ+ λσt + σtzt (5.60)σ2t = ω + αε2t−1 + βσ2

t−1. (5.61)

Das Modell wurde hier wieder mit GARCH(1,1)-Varianz formuliert, alsoals GARCH-M. Der Term λσt wird häufig als Risikoprämie bezeichnet.Die Risikoprämie hängt also von der Ungewissheit (Standardabweichung10)zum Zeitpunkt t ab. Der fixe Anteil des Erwartungswertes wird in finanz-wirtschaftlichen Anwendungen häufig mit dem risikolosen Zinssatz µ = ridentifiziert.

Das (G)ARCH-M-Modell ist einfach zu analysieren, hält aber trotzdemeinige Überraschungen bereit. Zunächst einige Fakten. Die stationäre Varianzund damit auch die Bedingung für Stationarität des zugehörigen Prozesseshängt nur von der Varianzspezifikation (5.61) ab11. Der stationäre Erwar-tungswert ist demzufolge

E[yst.] = µ+ λ√

Var[yst.]. (5.62)

Ist zt wieder N(0, 1)-verteilt, können wir die bedingte LogLikelihood-Funktion mit einer kleinen Modifikation angeben

l(θ) = −T2

log[2π]− 1

2

T∑t=1

(log σ2

t +(yt − µ− λσt)2

σ2t

)(5.63)

Für σ2t wird einfach wieder die entsprechende Varianzspezifikation, in

unserem Fall (5.61), eingesetzt.

Abschließend soll noch eine Besonderheit analysiert werden. Wir haben inAbschnitt 5.1.2 gezeigt, dass ein ARCH(1)-Prozess ein reiner Rauschprozessist. Diese Eigenschaft hat sich auf alle bisher diskutierten Prozesse erstreckt.Im ARCH-M Kontext hängt aber der Erwartungswert selbst von der realisier-ten Streuung ab. Das bedeutet, wenn unter Leverage-Wirkung eine höhereVarianz durch eine negative Innovation heute induziert wird, sollte morgeneine höhere Risikoprämie, sprich ein höherer Erwartungswert realisiert wer-

10Häufig wird auch die bedingte Varianz σ2t verwendet.

11Das lässt sich einfach überprüfen, indem man die Gleichung Var[yt] = E[(σt(λ+zt)−

λE[σt])2]

= E[σ2t ] beweist.

115


den. Um diesen Sachverhalt zu belegen, analysieren wir das quadratischeQGARCH-M-Modell

yt = µ+ λσ2t + σtzt (5.64)

σ2t = ω + α(εt−1 − γ)2 + βσ2

t−1. (5.65)

Um die gesuchte Eigenschaft nachzuweisen zeigen wir, dass yt+1 und εt kor-reliert sind. Wir erhalten

Cov[yt+1, εt] = E[yt+1εt]

= E[(µ+ λσ2t+1 + εt+1)εt]

= λE[ωεt + α(εt − γ)2εt + βσ2t εt]

= −2λαγE[σ2t ].

(5.66)

Da E[σ2t ] immer positiv ist, folgt die Behauptung für λ > 0. Die Struktur

von (5.66) zeigt deutlich, dass ohne asymmetrische Varianzspezifikation keinesolche Korrelation zustande kommen würde, da εt bedingt normalverteilt istund ungerade Momente verschwinden.

5.4 Modellidentifikation und SelektionFür die Identifikation und Selektion sind zwei Fragestellungen von großerBedeutung. Erstens, wie kann ein GARCH-Prozess von einem gewöhnlichenARMA-Prozess unterschieden werden und zweitens, wie kann eine adäquateModellordnung festgelegt werden?

5.4.1 ARMA vs. GARCH

Bezüglich der ersten Frage ist es hilfreich Abbildung 5.5 zu betrachten. Dortist ein typischer AR(2)-Prozess mit dem dazugehörigen Autokorrelogrammgegeben. Dieser Prozess kann einfach anhand der Eigenschaften seiner ACFund PACF identifiziert werden. In der unteren Zeile in Abbildung 5.5 ist einGARCH(1,1)-Prozess illustriert. Aus seiner ACF und PACF lässt sich keineInformation gewinnen. Beachten Sie, dass scheinbar signifikante Autokorre-lationen mit Lag 7 und 8 ausgewiesen werden. Diese Information ist nichtverlässlich, da wir bereits analytisch nachgewiesen haben, dass ein GARCH-Prozess ein unkorrelierter Rauschprozess ist. Der Sachverhalt bezüglich der(P)ACF-Überschreitungen ist im Hinblick auf zwei wichtige Punkte zu wür-digen. Zum einen sind die Überschreitungen betragsmäßig klein, zum anderenwerden die Konfidenzgrenzen unter der Annahme eines weißen Rauschens mitfixer Varianz berechnet. Diese Voraussetzung ist aber gerade bei GARCH-Prozessen verletzt.

116

5.4. MODELLIDENTIFIKATION UND SELEKTION

0 200 400 600 800 1000

-3

-2

-1

0

1

2

3

-0.4 -0.2 0.2 0.4

151413121110987654321

ACF

-0.4 -0.2 0.2 0.4

151413121110987654321

PACF

0 200 400 600 800 1000

-4

-2

0

2

4

6

-0.10 -0.05 0.05 0.10

151413121110987654321

ACF

-0.10 -0.05 0.05 0.10

151413121110987654321

PACF

Abbildung 5.5: Simulierter AR(2)-Prozess (oben) und GARCH(1,1)-Prozess(unten) – ACF und PACF rechts

Stattdessen lässt sich der GARCH-Prozess durch optische Inspekti-on klar von einem gewöhnlichen Rauschprozess oder einer reinen ARMA-Spezifikation unterscheiden. Das Rauschspektrum des AR(2)-Prozesses istgut erkennbar konstant. Diese Eigenschaft ist typisch für alle ARMA-Prozesse. Der GARCH-Prozess hingegen zeigt deutlich andere Charakteris-tika. Seine Varianz schwankt und bildet Gebiete mit größerer Rauschbreiteaus (Volatility-Clustering). Diese beiden Eigenschaften, zusammen mit derdeutlichen Leptokurtosis (Kurtosis > 3) der unbedingten Verteilung, sind dieprimären Identifikationsmerkmale eines GARCH-Prozesses.

Bei der Herleitung des GARCH(1,1)-Modells in Abschnitt 5.2 haben wirgesehen, dass ein GARCH-Modell als ARMA-Form in y2

t repräsentiert wer-den kann. Infolgedessen sind Autokorrelationen in den quadrierten Residuenein Hinweis auf GARCH-Effekte in den Fehlern. Solche quadratische Restkor-relationen können auch formal abgetestet werden (siehe Hauptskript). Dar-über hinaus kann detaillierte Information über die Modellordnung genau wiebei gemischten ARMA-Modellen nur mit Hilfe von Informationskriterien ge-wonnen werden. Auch ein reiner ARCH-Prozess kann nicht anhand seinerAutokorrelationsstruktur identifiziert werden!

117


5.4.2 Modellordnung und Selektion

Die Identifikation und Selektion einer geeigneten Modellvariante verläuft imFall von GARCH-Modellen oder Mischformen völlig analog zur Selektionbei ARMA-Modellen, vgl. Abschnitt 4.4. Das heißt, man stützt sich wiederauf Informationskriterien bzw. auf die Beurteilung durch eine kompensierteLikelihoodfunktion. Der Übersicht halber sind die wichtigsten Informations-kriterien nachfolgend noch einmal zusammengefasst:

AIC = − 2

T(l − u) (Akaike) (5.67)

BIC = − 2

T

(l − u

2log T

)(Schwarz) (5.68)

HQ = − 2

T

(l − u log[log T ]

)(Hannan-Quinn) (5.69)

Dabei bezeichnet l den Wert der logarithmierten Likelihoodfunktion amMaximum θML, und u die Anzahl der geschätzten Parameter, also dieAnzahl der Elemente in θ. Vergleicht man mehrere alternative Modelle, wirdwieder jenes bevorzugt, dessen Informationskriterium am kleinsten ist.

Aufgabe 5.14

An eine Zeitreihe mit T = 60 Beobachtungen wurden drei ver-schiedene Modelle angepasst, ein ARMA(2,1)-GARCH(1,1)-(inklusive Intercept), ein ARCH(7)- und ein TARCH-M-Modell. Nach Maximieren der LogLikelihood-Funktion erga-ben sich jeweils die Werte l = −10.4, l = −9.1 und l = −12.3.Beurteilen Sie die drei Varianten unter AIC, BIC und HQ.Welche Modelle sollten jeweils bevorzugt werden?

118

6Zustandsraummodelle und

Kalman-Filter

In diesem Kapitel werden wir zwei neue Konzepte kennenlernen, Zustands-raummodelle und Filter. Insbesondere werden wir uns mit einem derleistungsfähigsten Instrumente der Zeitreihenanalyse auseinandersetzen,dem Kalman-Filter. Obwohl die bloße Erwähnung des Kalman-Filters somanchen gestandenen Ökonomen in Angst und Schrecken versetzt, sollhier eine Herangehensweise gewählt werden, die es Ihnen erlaubt, Schrittfür Schritt alle wichtigen und notwendigen Konzepte zu erlernen und zuverstehen. Wir werden unterwegs eine ganze Reihe offener Enden verknüp-fen, sodass Sie nicht nur Theorie und Umgang mit Zustandsraummodellenund Filtern erlernen, sondern auch ein tieferes Verständnis für viele bereitsbesprochene Sachverhalte entwickeln können.

Alles was wir an Handwerkszeug benötigen ist ein wenig grundlegendeMatrix/Vektor-Rechnung. Wir werden daher einen kleinen Umweg über dasKonzept des im Hauptskript kurz erwähnten linearen Filters machen, bevorwir zum Zustandsraummodell kommen. Dieser kleine Umweg erlaubt es unsbereits, ein intuitives und formales Verständnis des Filterprinzips zu entwi-ckeln, während wir die notwendigen Rechentechniken wiederholen und üben.

6.1 Das lineare FilterproblemLassen Sie uns unsere Diskussion des optimalen linearen Filters mit einerDefinition beginnen:

Ein Filter ist eine Maschine, die ein (möglicherweise verrauschtes)Eingangssignal verarbeitet und ein Ausgangssignal ausgibt. DieSignalverarbeitung erfolgt in optimaler Weise bezüglich einesbestimmten Kriteriums.

119

KAPITEL 6. ZUSTANDSRAUMMODELLE UND KALMAN-FILTER

Ein Filter wird als linear bezeichnet, wenn sein Ausgangssignal eine Linear-kombination seiner Eingangssignal- und Rauschkomponenten ist. Sie sehenan dieser Stelle bereits, warum wir ein wenig lineare Algebra benötigenwerden.

Wir beschränken uns im Weiteren auf kausale Filter, also solche, die keineSignalinformation aus der Zukunft benötigen. Bezeichnen wir das Eingangs-signal mit x und das Ausgangssignal mit y, können wir das lineare Filterpro-blem in der Form

yt =

p∑k=0

wkxt−k + εt, (6.1)

mit p ∈ N0 schreiben. Die Koeffizienten wk sind die Filtergewichte. Sie müssenin einer optimalen Weise hinsichtlich eines noch zu bestimmenden Kriteri-ums gewählt werden. Es ist an dieser Stelle auch nicht notwendig, irgendeineAnnahme über die Verteilung des Fehlers εt zu machen, außer natürlich, dassder Erwartungswert null ist. Was könnten wir als Eingangssignal verwenden?Im Rahmen der Zeitreihenanalyse ist es sicher naheliegend, verzögerte Aus-gangssignalwerte xt = yt−1 zu verwenden. Wir erhalten damit den Wiener-Levinson-Filter

yt =

p∑k=1

wkyt−k + εt. (6.2)

Im Folgenden wird wieder angenommen, dass E[yt] = 0 gilt. Eine trans-formation ist auch hier immer durch die Substitution yt = xt − µ möglich.Wir werden uns jetzt um ein Optimalitätskriterium bemühen, um die Fil-tergewichte wk berechnen zu können. Lassen Sie uns dazu Gleichung (6.2)umstellen, quadrieren und den Erwartungswert bilden

E[ε2t]

= E

[(yt −

p∑k=1

wkyt−k

)2]

= γ0 − 2

p∑k=1

wkγk +

p∑j=1

p∑k=1

wjwkγj−k.

(6.3)

Zur Erinnerung: γk ist die Autokovarianz E[ytyt−k], und es gilt weiterhinγk = γ−k. Damit kann das Problem wesentlich kompakter in Matrix/Vektor-Form geschrieben werden

E[ε2t]

= γ0 − 2w′γ + w′Γw (6.4)

120

6.1. DAS LINEARE FILTERPROBLEM

mit

w = (w1, . . . , wp)′, γ = (γ1, . . . , γp)

′, Γ =

γ0 γ1 . . . γp−1

γ1 γ0 . . . γp−2... . . . . . . ...

γp−1 . . . γ1 γ0

. (6.5)

Wenn Ihnen die Schreibweise (6.4) und (6.5) nicht klar ist, wiederholen Siebitte an dieser Stelle die Auffrischungen zur Matrixrechnung auf Seite 18 f.und gegebenenfalls die Aufgaben am Ende des Abschnitts. Als Optimalitäts-kriterium soll jetzt gefordert werden, dass die Fehlervarianz E[ε2t ] möglichstklein wird. Sie erkennen hier deutlich das Kleinste-Quadrate-Prinzip (KQ).Wir müssen also den gesamten Vektor w so bestimmen, dass das Optimali-tätskriterium erfüllt ist. Die klassische Vorgehensweise ist Bilden der erstenAbleitung und Nullsetzen.

Einschub: Ableitung nach einem Vektor

Für die passend dimensionierten Vektoren a,x und diequadratische Matrix B gelten folgende Ableitungsregeln

d

dx′x′a = a

d

dx′x′Bx = (B + B′)x

d

dx′(a + Bx)′(a + Bx) = 2B′(a + Bx).

Für symmetrisches B ergibt sich die Vereinfachung

d

dx′x′Bx = 2Bx.

In diesem Fall sind die Ableitungsregeln völlig analog zumskalaren Kalkül.

Wir erhalten also aus (6.4) eine Gleichung für die optimale Wahl der Filter-gewichte

− 2γ + 2Γw = 0. (6.6)

Lassen Sie uns die Filtergewichte umbenennen wk → φk, um den Zusammen-hang mit der Zeitreihenanalyse zu verdeutlichen. Umstellen von (6.6) führtdann zu folgender Lösung

γ = Γφ ⇔ φ = Γ−1γ. (6.7)

121


Erkennen Sie die erste Gleichung wieder? Lassen Sie sich nicht von derMatrix-Schreibweise in die Irre führen. Komponentenweise erhält man

γk =

p∑j=1

φjγk−j ⇔ φ(B)γk = 0. (6.8)

Das sind die Yule-Walker -Gleichungen für einen AR(p)-Prozess, vgl. (2.111)auf Seite 51, nur in Matrix/Vektor-Form notiert. Die Koeffizienten φ1, . . . , φpdes AR(p)-Prozesses gehen also aus der optimalen Lösung des linearenFilterproblems hervor, wenn das KQ-Prinzip als Optimalitätskriteriumzugrundegelegt wird. Genaugenommen müssten wir noch zeigen, dass dieLösung (6.7) tatsächlich ein Minimum ist. Aufgrund der Problemstellungkommt aber nur ein Minimum als Extremum in Frage, weshalb der formaleNachweis entfallen kann. Stattdessen halten wir fest, dass wir einen erstenZusammenhang zwischen AR-Prozessen und linearen Filtern hergestellthaben, unser erstes verknüpftes Ende.

Ein weiterer, vor allem für explorative Anwendungen in der Ökonomiesehr wichtiger Filter ist der Hodrick-Prescott-Filter, der ebenfalls auf demKQ-Prinzip basiert. Dieser Filter wird im Hauptskript nicht besprochen,weil er keinen unmittelbaren Zusammenhang mit der Theorie der Zeitrei-henanalyse aufweist. Er ist jedoch in Standard-Softwarepaketen wie EViewsimplementiert. Der neugierige Leser kann ihn in Abschnitt 7.4 unter dieLupe nehmen.

Aufgabe 6.1

Leiten Sie den KQ-Schätzer θ im linearen Modell

y = Xθ + ε

aus Abschnitt 2.3 her. Hinweis: Verwenden Sie dieOptimalitätsbedingung (2.40) auf Seite 27.

6.2 ZustandsraummodelleDas Zustandsraummodell ist eine Erweiterung des bisher diskutierten Kon-zepts der Zeitreihen. Es ist gleichsam eine generellere und sehr viel flexiblereModellklasse.

122

6.2. ZUSTANDSRAUMMODELLE

6.2.1 Architektur des Zustandsraummodells

Lassen Sie uns nocheinmal zurückblicken an den Anfang unserer Reise, zumAR(1)-Prozess

yt = θ0 + φyt−1 + εt. (6.9)

Wir sind bisher immer davon ausgegangen, dass die Zeitreihe, die von Pro-zessen wie (6.9) erzeugt wird, direkt beobachtet werden kann. Das mussnicht zwangsläufig der Fall sein, denken Sie beispielsweise an das Brutto-Inlandsprodukt, das quartalsmäßig erfasst wird und später nachkorrigiertwerden muss, um Rückstellungen und Rechnungsabgrenzungsposten zu kor-rigieren. Hier treten zwei Probleme im Zusammenhang mit der Beobachtungder Zeitreihe auf. Zum Einen kann die zeitliche Auflösung des eigentlichenProzesses feiner sein als die Beobachtung, und zum Anderen kann die Mes-sung mit einer gewissen Beobachtungsunschärfe belastet sein. Das Zustands-raummodell trägt diesem Sachverhalt Rechnung, indem es ein zweites Modell,das Messmodell, integriert

zt = Hyt + d+ δt. (6.10)

Der beobachtbare Prozess ist nun zt, der Messprozess. Der Systemprozess ytist latent. zt ist eine lineare Funktion (im einfachsten Fall) von yt, wird abervon einer weiteren Zufallsfluktuation, dem Messfehler δt, überlagert. Mannimmt üblicherweise an, dass System- und Messrauschen nicht miteinanderkorrelieren und reine Zufallsfluktuationen sind.

Es ist üblich, im Rahmen des Zustandsraummodells eine leicht von derZeitreihenkonvention abweichende Notation zu verwenden. Man schreibt all-gemein1

yt = Ayt−1 + b+ εt (6.11)zt = Hyt + d+ δt. (6.12)

Für die Zufallsfehler wird weiterhin εt ∼ N(0,Ω), δt ∼ N(0, R) undCov[εt, δt] = 0 angenommen. Sie werden sich wundern, warum manche Pa-rameter groß geschrieben wurden und andere nicht. Die Antwort mag Ihreschlimmsten Befürchtungen bestätigen; die Formulierung des Zustandsraum-modells erstreckt sich auch auf vektorielle System- und Messmodelle. In die-sem Fall wären A, H, Ω und RMatrizen. Aber keine Sorge, Sie werden sehen,

1Eine noch allgemeinere Formulierung lässt auch eine Zeitabhängigkeit der Parameterzu: A→ At, b→ bt usw. (siehe Hauptskript). Wir werden diese Komplikation im Folgendenignorieren, da sie qualitativ nicht zu neuen Erkenntnissen führt und später durch dieoffensichtlichen Modifikationen berücksichtigt werden kann.

123


dass sich diese Komplikation fast von selbst behandelt, wenn es soweit ist. Wirwollen uns zunächst etwas genauer anschauen, wie das Zustandsraummodellarbeitet. Abbildung 6.1 zeigt einen Workflow des gesamten Zustandsraum-modells. Das Systemmodell (6.11) ist in der oberen Hälfte repräsentiert, dasMessmodell (6.12) in der unteren. Die beobachtbaren Größen sind grau un-terlegt. Behalten Sie stets im Hinterkopf, dass der eigentlich interessierendeSystemprozess nun nicht mehr direkt beobachtet werden kann.

Der Systemprozesszustand oder kurz Systemzustand yt entwickelt sichjeweils in Abhängigkeit von der Realisation des vorangegangenen Zeitpunk-tes yt−1, überlagert von einem aktuellen Zufallsfehler εt. Diese Dynamik hatklar eine AR(1)-Struktur und besitzt daher die Markov -Eigenschaft. ZurErinnerung: Die Markov -Eigenschaft besagt, dass die gesamte Informationder Vergangenheit in der letzten Realisation des Prozesses gespeichert ist.Daher muss die fernere Vergangenheit nicht mehr betrachtet werden, weilkeine zusätzliche Information aus ihr gewonnen werden kann. Da hier derSystemzustand nicht mehr direkt beobachtet werden kann, spricht man auchvon „Hidden Markov -Models“.

Der Systemprozess liefert durch seine Realisationen (nicht zwangsläufigdurch jede Realisation) ein Eingangssignal für den Messprozess zt. Dieses

p(yt|yt−1)

εt−1

εt

εt+1

· · · +3 yt−1 +3

yt +3

yt+1 +3

· · ·

zt−1 zt zt+1

δt−1

OO

δt

OO

δt+1

OO

p(zt|yt)

Abbildung 6.1: Zustandsraummodell – Systemmodell und Messmodell (grau)

124


Signal wird im Rahmen der Messung verarbeitet und einem Messfehler un-terworfen, der die Beobachtungsunschärfe modelliert. Der Signalausgang desMessprozesses generiert schließlich die Zeitreihe, die wir beobachten können.Machen Sie sich anhand von Abbildung 6.1 klar, dass das Messmodell selbstkeine Markov -Struktur aufweist. Dennoch sind die einzelnen Messungennicht voneinander unabhängig, weil sie über die verborgene Markov -Kettedes Systemmodells induziert werden.

Wir haben Prozess- und Messfehler als normalverteilte Zufallsvariablendefiniert. Damit sind die beiden bedingten Wahrscheinlichkeitsdichten in Ab-bildung 6.1 ebenfalls Gauß -Dichten. Man bezeichnet

p(yt|yt−1) =1√2πΩ

e−12

(yt−Ayt−1−b)2

Ω (6.13)

als Übergangsdichte oder Markov -Kern. Die bedingte Messdichte ist durch

p(zt|yt) =1√2πR

e−12

(zt−Hyt−d)2

R (6.14)

gegeben. Ω und R sind bereits Varianzen! Handelt es sich bei System-und/oder Messmodell um vektorielle Modelle, ergibt sich jeweils einebedingte multivariate Normalverteilung.

Einschub: Multivariate Normalverteilung

Eine vektorielle Zufallsvariable X ist multivariat normal-verteilt, mit Erwartungswertvektor µ und Kovarianzma-trix Σ, wenn die zugehörige Wahrscheinlichkeitsdichtedurch

p(x) =1√

det[2πΣ]e−

12

(x−µ)′Σ−1(x−µ)

gegeben ist. Im bivariaten Fall X = (X1, X2)′ kann dieKovarianz σ12 = ρσ1σ2 mit Hilfe der Korrelation darge-stellt werden und man erhält(

X1

X2

)∼ N

((µ1

µ2

),

(σ2

1 ρσ1σ2

ρσ1σ2 σ22

)).

125


6.2.2 AR(p)-Modelle und VAR(1)-Darstellung

Wir haben im vorangegangenen Abschnitt festgestellt, dass das Systemmo-dell eine Markov -Struktur besitzt. Bedeutet das nun, dass nur AR(1)-Modelleim Rahmen der Zustandsraumbetrachtung analysiert werden können? Nein.Hier kommt die Matrix/Vektor-Erweiterung ins Spiel. Betrachten Sie folgen-des Zustandsraummodell:(

ytyt−1

)=

(φ1 φ2

1 0

)(yt−1

yt−2

)+

(10

)εt (6.15)

zt =(1 0

)( ytyt−1

). (6.16)

Lassen Sie uns zunächst die Komponenten analysieren. Vergleichen wir (6.15)und (6.16) mit (6.11) und (6.12) auf Seite 123, erhalten wir die Komponenten

yt =

(ytyt−1

), A =

(φ1 φ2

1 0

), b =

(00

), εt =

(εt0

), Ω =

(Ω 00 0

),

H =(1 0

), d = 0 und R = 0.

(6.17)

(6.15) und (6.16) bilden also ein gültiges Zustandsraummodell. Lösen wir dieeinzelnen Gleichungen auf

yt = φ1yt−1 + φ2yt−2 + εt (6.18)yt−1 = yt−1 (6.19)zt = yt. (6.20)

Gleichung (6.19) ist lediglich eine Identität und (6.20) sagt uns, dass derlatente Systemzustand yt direkt beobachtet werden kann, die Messfehlerva-rianz R war schließlich null. Wir erhalten also kurzgesagt das AR(2)-Modellin zt

φ(B)zt = εt mit φ(B) = 1− φ1B − φ2B2. (6.21)

Man bezeichnet die Darstellung in (6.15) als VAR(1)-Darstellung (VectorAuto Regressive). Wir sind dieser Darstellung bereits in Abschnitt 2.4.2 be-gegnet, wo es um die Stationarität des AR(2)-Prozesses ging. Wir haben dortgesehen, dass alle benötigten Informationen in der Systemmatrix A stecken.Berechnet man das charakteristische Polynom aus der Eigenwertgleichung

det[A− λI] = −λ(φ1 − λ)− φ2 = λ2 − φ1λ− φ2, (6.22)

126


erhält man als Lösung von (6.22) die inversen Wurzeln (inverted roots).Wenn Ihnen das Eigenwertproblem oder das Lösen quadratischer Gleichun-gen nicht mehr im Gedächtnis ist, wiederholen Sie kurz die Einschübe aufSeite 40 und 41 und den Text dazwischen. Mit der Herkunft der invertedroots haben wir nun ein weiteres offenes Ende Verknüpft.

Jeder beliebige AR(p)-Prozess kann als VAR(1)-Prozess dargestellt wer-den. Die allgemeine Form des Zustandsraummodells für AR(p)-Prozesse ist

ytyt−1...

yt−(p−1)

=

φ1 φ2 . . . φp1 0 . . . 0... . . . . . . ...0 . . . 1 0

yt−1

yt−2...

yt−p

+

10...0

εt (6.23)

zt =(1 0 . . . 0

)

ytyt−1...

yt−(p−1)

. (6.24)

Die Darstellung in Zustandsraumform ist jedoch nicht eindeutig, beispiels-weise hätte die AR(2)-Spezifikation (6.15) und (6.16) auch folgendermaßengeschrieben werden können(

yt−1

yt

)=

(0 1φ2 φ1

)(yt−2

yt−1

)+

(01

)εt (6.25)

zt =(0 1

)(yt−1

yt

), (6.26)

vgl. Hauptskript.

Aufgabe 6.2

Schreiben Sie beide Varianten des Zustandsraum-modells für den AR(3)-Prozess.

Aufgabe 6.3

Formulieren Sie das zu (6.23) und (6.24) alternativeZustandsraummodell für den AR(p)-Prozess.

6.2.3 ARMA-Modelle in Zustandsraumform

ARMA(p, q)-Modelle können ebenfalls vollständig im Rahmen der Zustands-raumformulierung dargestellt werden. Wir beginnen wieder mit einem kon-

127


kreten Beispiel. Betrachten Sie folgendes Zustandsraummodell(ytyt−1

)=

(φ1 φ2

1 0

)(yt−1

yt−2

)+

(10

)εt (6.27)

zt =(1 θ1

)( ytyt−1

). (6.28)

Lassen Sie uns die Terme einzeln analysieren. In (6.27) liefert lediglich dieerste Gleichung das AR(2)-Modell, die zweite Gleichung ist nur eine Iden-tität, vgl. (6.15) und (6.16). Lassen Sie uns diese Gleichung mit Backshift-Operatoren schreiben und nach yt auflösen

yt = (φ1B + φ2B2)yt + εt

=1

1− φ1B − φ2B2εt.

(6.29)

Gleichung (6.28) kann ebenfalls mit Hilfe des Backshift-Operators geschrie-ben werden. Man erhält

zt = (1 + θ1B)yt

=1 + θ1B

1− φ1B − φ2B2εt,

(6.30)

nach Einsetzen von (6.29). Multiplikation mit dem AR-Polynom 1− φ1B −φ2B

2 führt zu einem überraschenden aber bekannten Ergebnis

zt − φ1zt−1 − φ2zt−2 = εt + θ1εt−1, (6.31)

dem ARMA(2,1)-Modell in zt. Beachten Sie: Damit alle Restriktionenrichtig verknüpft werden können, muss der Systemzustand die Dimensiond = max [p, q + 1] aufweisen! Die eventuell nicht vorhandenen AR- oderMA-Parameter müssen null gesetzt werden.

Beispiel 6.1: ARMA(2,2)-Zustandsraumform

Die benötigte Dimension des Zustandsraums ergibt sich ausd = max [2, 2 + 1] = 3. Man formuliert yt

yt−1

yt−2

=

φ1 φ2 01 0 00 1 0

yt−1

yt−2

yt−3

+

100

εt

zt =(1 θ1 θ2

) ytyt−1

yt−2

.

Der nicht vorhandene AR-Parameter φ3 wurde null gesetzt.

128

6.3. KALMAN-FILTER

Diese äußerst elegante Form wird als „phase canonical form“ bezeichnet2. Siekönnen am Ende des Abschnitts im Rahmen einer Übungsaufgabe überprü-fen, dass die Formulierung des ARMA(2,2)-Modells in Beispiel 6.1 in derTat korrekt ist. Die allgemeine „phase canonical form“ für das ARMA(p, q)-Modell lautet

ytyt−1...

yt−(d−1)

=

φ1 φ2 . . . φd1 0 . . . 0... . . . . . . ...0 . . . 1 0

yt−1

yt−2...

yt−d

+

10...0

εt (6.32)

zt =(1 θ1 θ2 . . . θd−1

)

ytyt−1...

yt−(d−1)

. (6.33)

Aufgabe 6.4

Zeigen Sie durch Explizieren der Gleichungen, dass dasZustandsraummodell in Beispiel 6.1 auf der vorherigenSeite einem ARMA(2,2)-Modell in zt entspricht.

Aufgabe 6.5

Formulieren Sie folgende Modelle in Zustandsraumform:

a) MA(2)b) ARMA(3,1).

6.3 Kalman-FilterBisher haben wir uns darauf beschränkt, bekannte Modellklassen inZustandsraumform umzuschreiben. Wir haben gesehen, dass eine solcheäquivalente Formulierung immer dann möglich ist, wenn der Messfehlerverschwindet. Ist jedoch ein Messfehler involviert, gilt nicht mehr zt = yt.Der Systemzustand ist nun latent und kann nicht mehr direkt beobachtetwerden. An dieser Stelle wird ein Mechanismus, oder besser ein Algorithmusbenötigt, der aus der Beobachtung zt die maximale Information über denZustand yt herausfiltert. Dieser Algorithmus ist der Kalman-Filter.

2Es gibt auch alternative Formulierungen des ARMA-Modells, siehe Haupskript.

129


Bevor wir beginnen, lassen Sie uns noch ein paar nützliche Konventionenzur Notation besprechen. Das Zustandsraummodell (6.11) und (6.12) aufauf Seite 123 wurde in skalarer Notation geschrieben. Die Parameter sindaber bereits durch Groß- und Kleinbuchstaben so repräsentiert, dass eineErweiterung in Matrix/Vektor-Form intuitiv klar ist. Wir wollen diesehybride Notation von nun an nutzen, um alle folgenden Aussagen in einerWeise zu formulieren, die gleichsam für skalare wie vektorielle Problem-stellungen Gültigkeit besitzt. Folgende Übersicht fasst die wichtigstenUnterscheidungen zusammen.

Hybrid Skalar Matrix/Vektor

Inneres Produkt a′b ab = c a′b = c

Äußeres Produkt ab′ ab = c ab′ = C

Matrix-Produkt AB ab = ba AB 6= BA

Inverse Matrix A−1A 1aa = 1 A−1A = I

Transposition (AB)′ ab = ba (AB)′ = B′A′

Tabelle 6.1: Übersicht zur Hybridnotation

Beachten Sie stets, dass Matrizen bzw. Vektoren die passenden Dimensionenaufweisen müssen, damit ein Produkt definiert ist. Weiterhin kann nur einequadratische, nicht singuläre Matrix invertiert werden. Diese Bedingung istdas Pendant zum Verbot des Teilens durch Null.

Als erste Anwendung der Hybridnotation werden wir das Konzept derlinearen Transformation von Seite 91 präzisieren.

Theorem 6.1: Affine Transformation

Sei X eine (vektorielle) Zufallsvariable und Y = a + BX,mit beliebigen Konstanten a und B, dann wird Y eine affineTransformation von X genannt. Y ist ebenfalls eine Zufalls-variable und es gilt:

1. E[Y ] = a+BE[X]

2. Var[Y ] = BVar[X]B′

Weiterhin gilt insbesondere: Ist X (multivariat) normalver-teilt, dann ist Y ebenfalls (multivariat) normalverteilt.

130

6.3. KALMAN-FILTER

Für skalare Zufallsvariablen reduziert die affine Transformation sich wiederauf die Definition der linearen Transformation von Seite 91. Im Fall vonvektorwertigen Zufallsvariablen sind a und B passende Vektoren respektiveMatrizen.

6.3.1 Die Bayes-Formel

Wir haben uns in den vergangenen Kapiteln schon oft mit bedingten Größenauseinandergesetzt, dabei aber eine rigorose Definition umgangen, indemwir die entsprechende Bedingung formuliert haben (meistens wurde aufInformation aus vergangenen Perioden bedingt). Die Bayes-Formel wirduns einen Einblick in bedingte Wahrscheinlichkeiten und Verteilungen aufwesentlich elementarerer Ebene gewähren. Wir werden als erstes die Bayes-Formel anschreiben und dann anhand von Beispielen und Erweiterungenaufdecken, wie weitreichend ihre Konsequenzen sind.

Angenommen A und B bezeichnen zwei Ereignisse, und A|B (A gegebenB) sei der Eintritt von Ereignis A, unter der Bedingung, dass auch EreignisB eintritt oder bereits eingetreten ist. Die Bayes-Formel macht nun folgendeAussage über die Eintrittswahrscheinlichkeit des bedingten Ereignisses

P (A|B) =P (B|A)P (A)

P (B). (6.34)

Lassen Sie uns an einem Beispiel beleuchten, was diese Formel leisten kann.

Beispiel 6.2: Bayes-Formel

Jeder Student der FernUni besucht zumindest einmal im Rahmeneines Seminars die schöne Stadt Hagen. Die Winter im Sauerlandkönnen sich sehen lassen. Insbesondere kommt es im Schnitt an60 Tagen zu Verkehrsbehinderungen durch Schneefall. Insgesamtentfallen 95% der Schneefälle auf die Wintermonate November bisFebruar. Wie hoch ist die Wahrscheinlichkeit bei einem Seminarim Januar von Schneeglätte überrascht zu werden?

P (Schnee|Winter) =P (Winter|Schnee)P (Schnee)

P (Winter)

=95100· 60

365120365

=19

40<

1

2.

Der risikoneutrale Student würde also auf denKauf von Winterreifen verzichten.

131


Die Bayes-Formel erstreckt sich in analoger Form auf Wahrscheinlichkeits-dichten. Seien Y und Z Zufallsvariablen, dann gilt für die bedingte Wahr-scheinlichkeitsdichte

p(y|z) =p(z|y)p(y)

p(z). (6.35)

Die Variablennamen wurden hier natürlich schon in suggestiver Weise ge-wählt, um den Zusammenhang mit dem Zustandsraummodell herzustellen.Normalerweise nimmt der Ausdruck auf der rechten Seite von (6.35) einekomplizierte Form an, da hier verschiedene Dichten miteinander multipliziertbzw. dividiert werden. Sind jedoch alle involvierten Wahrscheinlichkeitsdich-ten Gaußsch, ist auch die resultierende bedingte Dichte eine Gauß -Dichte,die sich durch Erwartungswert(vektor) und Kovarianz(matrix) repräsentie-ren lässt. Das folgende, äußerst wichtige Theorem gibt die Momente derbedingten Verteilung an:

Theorem 6.2: Normal-Korrelation

Für multivariat normalverteilte Zufallsvariablen Y und Z,(YZ

)∼ N

((E[Y ]E[Z]

),

(Var[Y ] Cov[Y, Z]

Cov[Z, Y ] Var[Z]

)),

ist auch die bedingte Verteilung von Y |Z eine Normalver-teilung mit den bedingten Momenten

E[Y |Z] = E[Y ] + Cov[Y, Z]Var[Z]−1(Z − E[Z])

Var[Y |Z] = Var[Y ]− Cov[Y, Z]Var[Z]−1Cov[Z, Y ].

Die Normal-Korrelation liefert also die Momente der bedingten Dichte aufder linken Seite von (6.35), für den Fall, dass alle involvierten Verteilungennormal sind. Beachten Sie, dass allgemein Cov[Y, Z] = Cov[Z, Y ]′ gilt, da dieKovarianz möglicherweise eine (rechteckige) Matrix ist!

6.3.2 Mess-Update

Wir sind nun schon fast in der Lage das Kalman- oder Mess-Update zu formu-lieren. Rufen wir uns noch einmal das Zustandsraummodell ins Gedächtnis

yt = Ayt−1 + b+ εt (6.36)zt = Hyt + d+ δt. (6.37)

132

6.3. KALMAN-FILTER

Im Augenblick nehmen wir an, dass yt N(µt,Σt)-verteilt ist. Wir werden spä-ter die notwendige Bedingung dafür angeben. Dann müssen wir laut Theo-rem 6.2 auf der vorherigen Seite lediglich E[zt], Cov[yt, zt] und Var[zt] be-rechnen. Die Erwartungswert- und Varianzterme sind trivial, da Hyt+d eineaffine Transformation ist (Einschub auf Seite 130). Man erhält

E[zt] = HE[yt] + d+ E[δt] = Hµt + d. (6.38)

Beim Varianzterm wird ausgenutzt, dass der Fehler δt unkorreliert ist. Daherergibt sich

Var[zt] = HVar[yt]H ′ + Var[δt] = HΣtH′ +R. (6.39)

Der Kovarianzterm ist ein bisschen widerspenstiger. Wir können aber erneutausnutzen, dass der Messfehler mit keiner anderen Modellkomponente korre-liert und erhalten

Cov[yt, zt] = Cov[yt, Hyt + d+ δt]

= Cov[yt, Hyt + d] + Cov[yt, δt]︸︷︷︸=0

= E[(yt − E[yt])(Hyt + d−HE[yt]− d)′

]= E

[(yt − E[yt])(yt − E[yt])

′H ′]

= Var[yt]H ′

= ΣtH′.

(6.40)

Um das gesamte Kalman-Update algorithmisch in einfacherer Form schreibenzu können wird der Term Cov[yt, zt]Var[zt]−1 zu

Kt = ΣtH′(HΣtH

′ +R)−1 (6.41)

zusammengefasst. Kt bezeichnet man als Kalman-Gain. Vereinfacht gespro-chen wird die Information der Messung im Kalman-Gain kumuliert. Es fun-giert dann gewissermaßen als Filtergewicht, mit dem die Momente des laten-ten Zustands yt korrigiert werden, bedingt auf die Messung. Lassen Sie unsdas Mess-Update in seiner endgültigen Form resümieren

µt|t = µt +Kt(zt −Hµt − d) (6.42)Σt|t = Σt −KtHΣt (6.43)

Die Schreibweise µt|t bzw. Σt|t ist eine Kurzform für E[yt|zt] und Var[yt|zt].Bemerkung: Erinnern Sie sich, dass für symmetrische Matrizen A = A′ gilt.Varianzen sind generell symmetrisch, weil sie aus äußeren Produkten beste-hen. Daher folgt für den Kovarianzterm in (6.43) Cov[zt, yt] = Cov[yt, zt]

′ =HΣ′t = HΣt.

133


Lassen Sie uns hier kurz verweilen und zusammenfassen, was wir bishererreicht haben:

• Wir haben gesehen, dass das Kalman-Update die a priori Momente(Momente vor der Messung) µt und Σt als Eingangssignal verwendetund sie einem linearen Messprozess unterwirft. Das Ausgangssignal sinddie a posteriori Momente (Momente nach der Messung) µt|t und Σt|t,die entlang der Bayes-Formel generiert werden.

• Als Filtergewicht fungiert der Kalman-Gain (6.41). Dieses Gewicht lie-fert die optimale lineare Schätzung für yt im Hinblick auf einen mini-malen Fehler im Quadratmittel (siehe Hauptskript). Der Kalman-Gainenthält die Kovarianz zwischen yt und zt. Sind Systemzustand und Mes-sung unkorreliert, folgt Kt = 0 und die a priori Momente werden nichtkorrigiert, da keine Information aus der Messung gewonnen werdenkann.

• Der Filter wirkt bei der Korrektur des Erwartungswertes in (6.42) nurauf den nicht antizipierten Teil zt − E[zt]. Dieser Teil bildet die sog.Innovation. Wir werden an späterer Stelle noch einmal auf diesen Punktzu sprechen kommen.

• Der Filterprozess wirkt varianzreduzierend, vgl. (6.43). Durch die In-formation, die aus der Messung gewonnen wird, wird nicht nur dieSchätzung des latenten Systemzustands verbessert, sondern auch dieUngewissheit reduziert. Ist der Messfehler R = 0, kollabiert Σt|t sogarvollständig; der Systemzustand yt wird beobachtbar.

Aufgabe 6.6

Gegeben seien folgende Parameter des Messmodells

H =(1 0

), d = 1 und R = 1.

Weiterhin seien a priori Momente und Messung durch

µt =

(21

), Σt =

(1 22 4

)und zt = 2

gegeben. Berechnen Sie den Kalman-Gain Kt, sowiedie a posteriori Momente µt|t und Σt|t.

134

6.3. KALMAN-FILTER

Wenn Sie ein korrektes Ergebnis für Aufgabe 6.6 berechnet haben werden Siefeststellen, dass zwar nur die erste Komponente des Systemzustands gemes-sen wurde (zweidimensionaler latenter Prozess), aber trotzdem beide Kom-ponenten durch die Information der Messung korrigiert wurden. Mehr noch,die a posteriori Varianz der gemessenen Komponente ist sogar kleiner als dieMessfehlervarianz. Verblüffend, nicht wahr?

6.3.3 Innovation und effizientes Kalman-Update

In diesem kurzen Abschnitt soll die Berechnung des Mess-Updates optimiertwerden. Die resultierende Schreibweise wird sich zu einem späteren Zeit-punkt als überaus nützlich erweisen. Zusätzlich kann Rechenaufwand einge-spart werden. Wir haben gesehen, dass der Kalman-Gain in Gleichung (6.42)lediglich auf die Innovation zt − E[zt] wirkt. Deshalb definieren wir formal

νt = zt −Hµt − d. (6.44)

Die Innovation hat Erwartungswert null, E[zt − E[zt]

]= 0, und Varianz

Var[zt − E[zt]

]= Var[zt]. Beachten Sie, dass E[zt] eine fixe Größe ist, keine

Zufallsvariable, und damit für die Varianz keine Rolle spielt. Man schreibtfür die Varianz von νt formal

Γt = HΣtH′ +R. (6.45)

Lassen Sie uns nun sehen, welche Update-Gleichungen wir mit diesen Defi-nitionen erhalten

Kt = ΣtH′Γ−1t (6.46)

µt|t = µt +Ktνt (6.47)Σt|t = Σt −KtΓtK

′t. (6.48)

Die letzte Gleichung wurde durch Erweitern mit ΓtΓ−1t gewonnen. Warum

ist die Form (6.44) bis (6.48) effizienter? In der Regel besitzt das Messmodellweniger Dimensionen als das Systemmodell. Wird beispielsweise nur eineSystemkomponente beobachtet, sind νt und Γt sogar Skalare. Dadurch wirddie Berechnung des Filter-Gains und der a posteriori Momente natürlichdeutlich vereinfacht.

Aufgabe 6.7

Betrachten Sie noch einmal das Modell aus Aufga-be 6.6 auf der vorherigen Seite. Berechnen Sie νt, Γtund Kt, sowie die a posteriori Momente µt|t und Σt|tentlang (6.44) bis (6.48).

135


6.3.4 Time-Update und Kalman-Filter-Algorithmus

Wir haben beim Kalman-Update angenommen, dass die a priori Verteilungvon yt eine Normalverteilung ist. Diese Annahme steckt implizit in der Ver-wendung der Normal-Korrelation. Was ist aber notwendig, damit diese An-nahme auch richtig ist? Nehmen wir einmal an, dass der Initialzustand y0

normalverteilt ist. Die Zustandsgleichung

y1 = Ay0 + b+ ε1 (6.49)

besteht aus einer affinen Transformation von y0 und einer weiteren unkorre-liert normalverteilten Zufallsvariable ε1. Damit ist y1 ebenfalls normalverteilt,mit den a priori Momenten

µ1 = Aµ0 + b (6.50)Σ1 = AΣ0A

′ + Ω. (6.51)

Damit habe wir den Kreis schon geschlossen. Wird zum Zeitpunkt t = 1ein Mess-Update durchgeführt, ist y1|1 ebenfalls wieder normalverteilt undnimmt den Platz von y0 in der Zustandsgleichung (6.49) ein. Es ist alsolediglich notwendig zu fordern, dass der Anfangszustand y0 normalverteiltist. Algorithmus 6.1 fasst den gesamten Kalman-Filter zusammen.

Algorithmus 6.1: Kalman-Filter

Anfangsbedingung µ0,Σ0 B Initialisierungfor t = 1, . . . , T do

Time-Update

µt|t−1 = Aµt−1|t−1 + b

Σt|t−1 = AΣt−1|t−1A′ + Ω

Mess-Update

νt = zt −Hµt|t−1 − d B InnovationΓt = HΣt|t−1H

′ +R

Kt = Σt|t−1H′Γ−1t B Kalman-Gain

µt|t = µt|t−1 +Ktνt

Σt|t = Σt|t−1 −KtΓtK′t

end for

136

6.3. KALMAN-FILTER

Lassen Sie uns etwas genauer beleuchten, welche Möglichkeiten wir beimFestlegen der Anfangsbedingungen haben. Ist y0 tatsächlich normalverteiltwird der Filter einfach mit µ0 und Σ0 initialisiert. Was passiert aber, wenny0 = c bekannt ist, also keine Zufallsvariable mehr ist? In diesem Fall liegteine deterministische Anfangsbedingung vor und man setzt

µ0 = c und Σ0 = 0. (6.52)

Vereinfacht gesprochen verwendet man eine degenerierte Normalverteilung,deren Varianz null ist. Der umgekehrte Fall ist ebenfalls denkbar. Angenom-men wir haben keinerlei Information über die Anfangsverteilung, dann istes möglich, eine Normalverteilung mit sehr großer Streuung (bspw. 1016) zuwählen, die de facto so flach ist, dass sie völlig nicht-informativ ist. Einesolche Bedingung wird als diffuse Anfangsbedingung bezeichnet,

µ0 = 0 und Σ0 = 1016I. (6.53)

Ist der Systemprozess stationär, kann der Kalman-Filter beispielsweise auchmit den stationären Momenten initialisiert werden3. Es wird nun Zeit einwenig Praxis im Handling des Kalman-Filters zu bekommen.

Aufgabe 6.8

Gegeben Sei der latente ARMA(2,1)-Prozess

yt = yt−1 − 2yt−2 + εt +1

2εt−1.

Nehmen Sie an, dass εt normalverteilt ist, mit Varianz Ω = 2.Weiterhin ist yt nicht direkt beobachtbar, sondern wird voneinem standard-normalverteilten Messfehler überlagert. ZweiMesswerte liegen vor:

z1 =3

2und z2 =

1

2.

Formulieren Sie das zugehörige Zustandsraummodell in „phasecanonical form“ und berechnen Sie die bedingten Momente µ2|2und Σ2|2. Initialisieren Sie den Kalman-Filter mit der determi-nistischen Anfangsbedingung µ0 = (1, 0)′.

3Zur Berechnung der stationären Momente werden Vektorisierungsoperatoren und dieSpektraldarstellung benötigt. Die explizite Vorgehensweise ist im Hauptskript erläutert.

137


6.3.5 Zustandsschätzung und Prognose

Wenn Sie bis hierher durchgehalten haben, ist der Rest ein Klacks. Wirwerden nun lediglich noch einige Aspekte des Kalman-Filters genauerbeleuchten, um ein geordnetes Verständnis seiner Eigenschaften zu erzeugen.

Was war der gravierende Unterschied zur Diskussion von Zeitreihen inden vorangegangenen Kapiteln? Wir haben die Annahme aufgegeben, dassder Systemprozess, der die relevante Zeitreihe erzeugt, direkt beobachtbarist. Infolge dessen konnten wir keine präzisen Aussagen mehr über denZustand des Prozesses zu einem bestimmten Zeitpunkt machen, sondern nurnoch über seine Verteilung (genauer seine Momente). Der Kalman-Filterhat uns eine optimale Schätzung des Systemzustands ermöglicht. DieseZustandsschätzung muss von der Parameterschätzung, mit der wir vorherschon zu tun hatten, scharf abgegrenzt werden. Eine Parameterschätzungkann auch mit dem Kalman-Filter durchgeführt werden, wir werden aberauf diesen Punkt erst später zu sprechen kommen.

Abbildung 6.2 zeigt eine solche Zustandsschätzung per Kalman-Filter fürein ARMA(2,1)-Modell, ähnlich dem aus Aufgabe 6.8. Die einzelnen Aspektesollen im Folgenden erläutert werden:

• Der bedingte Erwartungswert µt|t bzw. µt|t−1 ist grün eingezeichnet.An den Stellen, an denen neue Messinformation verfügbar ist, wird dieZustandsschätzung in unstetiger Weise korrigiert. Sie erkennen kleinere

òò

ó

ó ó

ó

ó

0 5 10 15

-4

-2

0

2

4

Zeit t

Zus

tand

ssch

ätzu

ngy t`

Abbildung 6.2: Kalman-Filter Zustandsschätzung und 95% HPD-Intervall

138

6.3. KALMAN-FILTER

oder auch größere Sprünge in der Kurve, je nach dem, ob die Messungnahe am prognostizierten Messwert liegt oder weit davon entfernt.

• Die Messungen selbst sind durch Dreiecke repräsentiert. Der Prozesswurde mit einer deterministischen Anfangsbedingung initialisiert, da-her ist der Anfangswert gewissermaßen eine Messung ohne Messfehler.Die Messungen liegen unter Umständen weit ab von der Zustandsschät-zung, da sie von einem Messfehler überlagert sind. Genaugenommenhängt die Zustandsschätzung von allen vorangegangenen MessungenZt = z1, . . . , zt ab. Der Kalman-Filter generiert also für s ≥ t die be-dingten Momente E[ys|Zt] und Var[ys|Zt]. Die Notation µs|t und Σs|tist also in diesem Sinne zu lesen.

• Für s > t generiert der Kalman-Filter eine Prognose. Innerhalb des„normalen“ Durchlaufs der Filteriterationen handelt es sich dabei im-mer um eine Einschritt-Prognose, die anschließend durch ein Mess-Update korrigiert wird. Für s > T sind aber keine Messungen mehrverfügbar. In diesem Fall liefern die nicht vorhandenen Messungen auchkeine Information und der Kalman-Gain ist Ks = 0. Ein kurzer Blickin Algorithmus 6.1 auf Seite 136 zeigt, dass die bedingten Momente indiesem Fall im Mess-Update nicht korrigiert werden. Dasselbe gilt fürfehlende Messungen (Missing Data). In Abbildung 6.2 fehlt bspw. dieMessung zum Zeitpunkt t = 3. Das bedeutet K3 = 0 und die a prioriMomente sind gleichzeitig die neuen a posteriori Momente.

• Die grau unterlegten Bereiche sind 95% HPD-Bereiche (Highest Pos-terior Density). Das HPD-Intervall ist dem Konfidenzintervall ähnlich,es besteht jedoch ein subtiler Unterschied zwischen beiden. Das Konfi-denzintervall wird gebildet, wenn ein fixer aber unbekannter Parametergeschätzt wird. Hier wurde eine Zufallsvariable geschätzt, die ihrerseitseine Verteilung besitzt. Daher muss das HPD-Intervall verwendet wer-den. Die Berechnung ist in diesem Fall analog zum Konfidenzintervallbei Normalverteilung, nur dass für die Varianz des Schätzers die ent-sprechende Komponente von Σs|t verwendet wird4. Beachten Sie, dassdie Breite der HPD-Bereiche in Abbildung 6.2 beim Eintreffen neuerMessinformation deutlich reduziert wird.

4In einem zweidimensionalen Zustandsraum wird ys durch ys|t ∼ N(µs|t,Σs|t), mit

µs|t =

(µ1

µ2

)und Σs|t =

(σ11 σ12σ21 σ22

)geschätzt. Damit gilt für die erste Komponente von ys das 95% HPD-Intervall µ1 ±1.96√σ11. Das HPD-Intervall für die zweite Komponente ergibt sich analog.

139



Die Parameterschätzung mit Maximum-Likelihood kann im Rahmen vonZustandsraummodellen über die sog. Prognose-Fehler-Zerlegung abgewickeltwerden. Im Grunde wird dort ausgenutzt, dass die Innovationen unkorreliertund (multivariat) normalverteilt sind5. Die Likelihoodfunktion ist wieder eineFunktion der Parameter, und zwar aller Parameter des System- und Mess-modells

L(A, b,Ω, H, d, R) =T∏t=1

1√det[2πΓt]

e−12ν′tΓ−1t νt . (6.54)

In der Praxis werden so gut wie nie die kompletten, unrestringierten Matrizenbzw. Vektoren geschätzt. Beispielsweise gilt für ein AR(2)-Systemmodell

A =

(φ1 φ2

1 0

). (6.55)

Die unrestringierte Matrix A hat vier zu bestimmende Komponenten,während die restringierte Form (6.55) lediglich zwei unbekannte Parameterenthält, φ1 und φ2.

Wird die Likelihoodfunktion (6.54) wieder in ihrer logarithmierten Formmaximiert, ergibt sich eine besonders vorteilhafte Situation, da über die ein-zelnen Likelihoodbeiträge summiert wird

l(A, b,Ω, H, d, R) =T∑t=1

lt

=T∑t=1

−1

2

(log det[2πΓt] + ν ′tΓ

−1t νt

).

(6.56)

Die Inkredenzien νt und Γt des LogLikelihood-Beitrags lt werden aber vomKalman-Filter bei jedem Mess-Update quasi als Nebenprodukt berechnet,vgl. Algorithmus 6.1 auf Seite 136. Jetzt ist auch klar, warum diese algorith-mische Form so effizient ist. Man erhält die zur Parameterschätzung benö-tigten Terme sozusagen kostenlos.

5Wir werden in Abschnitt 6.4 einen Fall kennenlernen, in dem die Innovationen nichtnormalverteilt sind, da der Messfehler zwar normalverteilt angenommen wird, in Wirk-lichkeit aber eine andere Verteilung besitzt. Das resultierende Schätzverfahren nennt manQuasi-Maximum-Likelihood. Es liefert trotz falscher Verteilungsannahmen asymptotischerwartungstreue Schätzer.

140

6.4. ARV-MODELLE

Aufgabe 6.9

Betrachten Sie noch einmal Aufgabe 6.8 auf Seite 137.Berechnen Sie denWert der logarithmierten Likelihood-funktion l = l1 + l2. Hinweis: Für Skalare gilt detA = a.

6.4 ARV-ModelleWir kommen nun zu einer Modellklasse, die für gewöhnlich extreme Problemehinsichtlich der Parameterschätzung verursacht. Diese Probleme lassen sichaber erheblich durch den Einsatz des Kalman-Filters vereinfachen. Es handeltsich um die Klasse der ARV-Modelle6 (Autoregressive Random Volatility).Lassen Sie uns zunächst das Modell formulieren und dann seine Komponentenanalysieren

yt = µ+ eht2 zt (6.57)

ht − h = λ(ht−1 − h) + γνt. (6.58)

Die erste Gleichung besitzt enorme Ähnlichkeit mit dem EGARCH-Modell(5.56) aus Abschnitt 5.3.5, lediglich ergänzt um einen Erwartungswert µ. ztist hier wieder eine standard-normalverteilte Innovation7. Es liegt mit (6.57)also ein bedingt heteroskedastischer Prozess vor. Die Varianzgleichung (6.58)ist eine Überraschung. Es handelt sich strukturell um einen AR(1)-Prozessin ht, mit Mittelwert h, AR-Parameter λ und Zufallsfehler νt ∼ N(0, 1). Eswird im Allgemeinen angenommen, dass zt und νt unkorreliert sind.

Wir haben vorher keine Zufallsfehler in der Varianzgleichung gesehenund die Komplikationen, die dieser Fehler mit sich bringt, sind enorm (sieheHauptskript). Die Verteilung von yt muss nun nicht nur auf verzögerte Va-rianzen bedingt werden, sondern auch auf die verzögerten Realisationen deszweiten Zufallsfehlers. Per Definition ist der Varianzprozess aber gar nichtbeobachtbar, wir stehen also vor einem Dilemma.

6.4.1 Zustandsraumform des ARV-Modells

Wir haben bereits gesehen, dass unbeobachtbare Prozesse in Zustandsraum-form mit Hilfe des Kalman-Filters geschätzt werden konnten. Daher lau-tet die relevante Frage: Können wir das ARV-Modell in Zustandsraumform

6Gelegentlich findet man auch die Bezeichnung SVola-Modell (Stochastic Volatility).7Die Notation ist etwas unglücklich, da zt im Zustandsraummodell für die Messung

steht. Diese Notation ist jedoch etabliert und wird deshalb beibehalten.

141


transformieren? Lassen Sie es uns versuchen. Beginnen wir mit dem laten-ten Prozess (6.58), der unseren Systemzustand beschreibt. Hier erhalten wirbereits nach trivialen algebraischen Manipulationen

ht = λht−1 + (1− λ)h+ εt, (6.59)

mit εt ∼ N(0, γ2). Das war leicht, wir können sofort die Zustandsparameteridentifizieren: A = λ, b = (1−λ)h und Ω = γ2. Jetzt kommt der schwere Teil.Bringen wir zunächst den Erwartungswert µ auf die linke Seite von Gleichung(6.57). Anschließend quadrieren wir beide Seiten, um einen Term in eht zubekommen, und bilden den Logarithmus. Wir erhalten

log[(yt − µ)2

]= ht + log z2

t . (6.60)

Das sieht schon relativ brauchbar aus. Wir können eine modifizierte Messungz∗t = log

[(yt− µ)2

]definieren, dazu muss lediglich die ursprünglich beobach-

tete Zeitreihe mittelwertbereinigt, quadriert und anschließend logarithmiertwerden. Allerdings haben wir einen äußerst seltsamen Zufallsfehler erhalten,log z2

t . zt war ursprünglich standard-normalverteilt, daher gilt z2t ∼ χ2

1. Wirkönnen schon erahnen, dass der Logarithmus von z2

t eine sehr unerfreulicheVerteilung haben wird. Diese Verteilung kann berechnet werden, jedoch wol-len wir uns nicht damit auseinandersetzen und beschränken uns darauf, ihrenErwartungswert8, E[log z2

t ] ≈ −1.27, und ihre Varianz, Var[log z2t ] = 1

2π2, an-

zugeben. Wir ignorieren nun einfach die Tatsache, dass die Verteilung vonlog z2

t keine Normalverteilung ist und arbeiten einfach mit diesen beiden Mo-menten, sprich wir definieren d = −1.27 und δt = log z2

t − d. Die verbleiben-den Identifikationen sind H = 1 und R = 1

2π2. Das komplette approximierte

Zustandsraummodell ist dann durch

ht = λht−1 + (1− λ)h+ εt (6.61)z∗t = ht − 1.27 + δt (6.62)

gegeben, mit εt ∼ N(0, γ2) und δt ∼ N(0, 12π2).

Der Kalman-Filter berechnet nun mit jedem Mess-Update den jeweiligenLogLikelihood-Beitrag. Ein kompletter Filterdurchlauf generiert also die

8Der exakte Erwartungswert lautet E[log z2t ] = −γ − log 2. Dabei bezeichnet γ dieEuler-Mascheroni -Konstante, die über die Reihenentwicklung

γ = limn→∞

(n∑

k=1

1

k− log n

)≈ 0.5772

dargestellt werden kann.

142

6.4. ARV-MODELLE

vollständige LogLikelihood-Funktion, die dann maximiert werden kann.Es gibt einen kleinen Haken: die berechnete LogLikelihood-Funktion istfalsch. Erinnern Sie sich, dass die Verteilung von δt gar nicht wirklicheine Normalverteilung ist, wir haben das nur angenommen, um das ARV-Modell in die Zustandsraumform zu pressen. Nichtsdestotrotz liefert dieML-Schätzung erwartungstreue Parameterschätzer. Diese Art der eigentlichfalschen ML-Schätzung wird Quasi-Maximum-Likelihood Methode genannt.Die resultierenden Schätzer sind zwar noch asymptotisch erwartungstreu,besitzen aber nicht mehr die kleinstmögliche Streuung. Dieser Defekt kannjedoch korrigiert werden, siehe Hauptskript.

Aufgabe 6.10

Schreiben Sie den Kalman-Filter Algorithmusspeziell mit den Parametern und Werten desARV-Modells (6.61) und (6.62).

143

7Tipps und Tricks

7.1 Zentrale Momente einer NormalverteilungDie höheren Momente einer Normalverteilung können sehr einfach durch fol-gende Formel berechnet werden

mk =

mk/22 (k − 1)!! für k gerade

0 für k ungerade.

Der Ausdruck für gerade k enthält ein doppeltes Fakultätszeichen ‘!!’. Dieeinfache Fakultät wird in der Regel rekursiv durch k! = k · (k − 1)! und dieFestsetzung 0! = 1 definiert. Man erhält also k! = k · (k − 1) · . . . · 2 · 1.Die formale Schreibweise der Doppelfakultät ist so zu interpretieren, dassdie rekursive Definition mit Lag 2 erfolgt, k!! = k · (k − 2) · . . . · 3 · 1. DerAusdruck 7!! wird also durch 7!! = 7 · 5 · 3 · 1 = 105 berechnet.

Beispiel 7.1:

Angenommen zt sei standard-normalverteilt. Wel-chen Wert erhält man für das sechste zentrale Mo-ment? Zunächst gilt m2 = σ2 = 1, und damit

m6 = 13 · 5!! = 5 · 3 · 1 = 15.

Alle ungeraden Momente verschwinden definitions-gemäß.

7.2 Einfache Berechnung stationärer MomenteBei der Berechnung stationärer Momente wird häufig folgende Strategieangewendet. Zunächst wird die betreffende Momentengleichung so umge-schrieben, dass eine rekursive Form entsteht. Diese wird dann rückwärts

145

KAPITEL 7. TIPPS UND TRICKS

vom Zeitpunkt t an bis zu einem bekannten Startwert oder einer bekanntenAnfangsbedingung iteriert. Als letzter Schritt wird dann der Grenzwert fürt → ∞ gebildet und eine Reihenentwicklung, bspw. die geometrische Reihe,eingesetzt, um einen expliziten Ausdruck zu erhalten.

Liegen Modelle vor, die nur endliche Lags k <∞ berücksichtigen, kommtman mit einem kleinen „dirty trick“ schnell und bequem zum Ziel. Zuerstwerden alle Zeitargumente formal durch ihren Grenzwert ersetzt, das heißtyt → y∞ usw. Beachten Sie, dass bei verzögerten Werten in unendlich fernerZukunft das Lag keine Rolle mehr spielt. Das bedeutet formal yt−k → y∞.Im zweiten Schritt wird nun das entsprechende Moment, Erwartungswertoder Varianz etc., gebildet. Auflösen der Gleichung liefert dann unmittelbardas gesuchte stationäre Moment. Dieses Vorgehen lässt sich am besten amBeispiel verdeutlichen.

Beispiel 7.2:

Für den nicht zentrierten AR(1)-Prozesses (2.3) auf Seite 6mit |φ| < 1 erhält man in unendlicher Zukunft

x∞ = (1− φ)µ+ φx∞ + ε∞.

Für Erwartungswert und Varianz erhält man folgende Glei-chungen

E[x∞] = (1− φ)µ+ φE[x∞]

Var[x∞] = φ2Var[x∞] + σ2.

Auflösen dieser Gleichungen führt auf die bereits bekanntenErgebnisse E[xst.] = µ und Var[xst.] = σ2

1−φ2 , mit xst. = x∞.

Beispiel 7.3:

Für die stationäre Varianz des GARCH(1,1)-Prozesses, mitVar[yt] = E[σ2

t ], erhält man in unendlicher Zukunft

E[σ2∞] = ω + αE[σ2

∞] + βE[σ2∞].

Auflösen führt auf Var[yst.] = ω1−α−β , mit yst. = σ∞z∞.

146

7.3. VEREINFACHTE KOVARIANZFORMEL

7.3 Vereinfachte KovarianzformelBei der Berechnung von Kovarianzen können oft Vereinfachungen erzielt wer-den, wenn der Erwartungswert einer Zufallsvariable null ist. Eine erste Ver-einfachung ergibt sich bereits durch umstellen der Kovarianzformel. Für zweibeliebige Zufallsvariablen X und Y gilt

Cov[X, Y ] = E[(X − E[X])(Y − E[Y ])

]= E[XY ]− 2E[X]E[Y ] + E[X]E[Y ]

= E[XY ]− E[X]E[Y ].

Insbesondere ergibt sich damit für Die Varianz einer Zufallsvariable

Var[X] = Cov[X,X] = E[X2]− E[X]2.

Ist nun weiterhin bekannt, dass der Erwartungswert mindestens einer derbeiden Zufallsvariablen null ist, also E[X] = 0 oder E[Y ] = 0, erhält manunmittelbar

Cov[X, Y ] = E[XY ].

7.4 Hodrick-Prescott-FilterDie Idee des Hodrick-Prescott-Filters basiert auf der Zerlegung einer Zeitreiheyt in eine Summe aus zwei Zeitreihen

yt = gt + ct , t = 1, . . . , T,

wobei gt nur den Wachstums- oder Trendanteil enthält (growth) und ct denperiodischen (cyclic) Anteil. Die Separation zwischen Trend und Zyklus wirddurch die Lösung des Minimierungsproblems

mingtTt=1

[T∑t=1

(yt − gt)2 + λT−1∑t=2

(∇2gt+1)2

]

ermöglicht. Der Parameter λ gewichtet dabei einen „Strafterm“, ∇ ist wiederder Rückwärts-Differenzenoperator, vgl. (2.65) auf Seite auf Seite 38. Derzweimal angewendete ∇-Operator ist ein Maß für die Abweichung vonder Linearität. Im Falle einer stetig differenzierbaren Funktion würde derDifferenzenoperator dem Differentialoperator entsprechen, wobei die zweiteAbleitung bekanntlich ein Maß für die Krümmung einer Funktion ist.

147

KAPITEL 7. TIPPS UND TRICKS

Aufgrund der Struktur des Differenzenoperators kann das Minimierungs-problem in Matrixschreibweise notiert werden

z(g) = (y− g)′(y− g) + λ(Fg)′(Fg)→ min!

mit der Tridiagonalmatrix

F =

1 −2 1 0 · · · 00 1 −2 1 · · · 0... . . . . . . . . . ...0 . . . 0 1 −2 1

.

Die übliche notwendige Bedingung für die Existenz eines Minimums ist dasVerschwinden der ersten Ableitung der Zielfunktion

∂

∂g′z(g) = −2(y− g) + 2λF′Fg !

= 0,

woraus nach elementaren Umformungen die Zerlegung des Vektors y folgt

g = (λF′F + I)−1 yc = y− g.

Aufgrund der Struktur des Problems kommt als Extremum in der Tat nurein Minimum in Frage. Hodrick und Prescott empfehlen für Quartalsdatenden Glätterwert λ = 1600.

148

8Lösungen

Lösungen zu Kapitel 2Lösung 2.1

a)5∑

k=1

k = 1 + 2 + 3 + 4 + 5 = 15

b)3∑

k=1

1

2k=

1

2+

1

4+

1

6=

6

12+

3

12+

2

12=

11

12

c)4∑

k=0

2k = 1 + 2 + 4 + 8 + 16 = 31

d)2∑i=1

3∑j=1

(i+ j)2 = (1 + 1)2 + (1 + 2)2 + (1 + 3)2 + (2 + 1)2 + (2 + 2)2

+ (2 + 3)2 = 4 + 9 + 16 + 9 + 16 + 25 = 79

e)3∑i=1

i∑j=0

i · j = 1 · 0 + 1 · 1 + 2 · 0 + 2 · 1 + 2 · 2 + 3 · 0 + 3 · 1 + 3 · 2

+ 3 · 3 = 1 + 2 + 4 + 3 + 6 + 9 = 25

f)∞∑k=0

(3

4

)k=

1

1− 34

= 4

g)∞∑k=1

1

2k=∞∑k=0

(1

2

)k− 1 =

1

1− 12

− 1 = 2− 1 = 1

Index in Aufgabenteil g) beachten!

149

KAPITEL 8. LÖSUNGEN

Lösung 2.2

a) 2 + 4 + 6 + . . .+ 16 =8∑

k=1

2k

b) − 1 +1

2− 1

3+

1

4− 1

5+

1

6=

6∑k=1

(−1)k

k

c) 0 +1

2+

2

3+

3

4+ . . .+

45

46=

45∑k=0

k

k + 1

d) 1 + 4 + 27 + 256 =4∑

k=1

kk

e)2

1− 12

= 2 · 1

1− 12

= 2∞∑k=0

1

2k

Lösung 2.3



]= E[φyt−1yt−3] + E[εtyt−3]

= φCov[yt−1, yt−3] + Cov[εt, yt−3]

= φγ2 = φ2γ1 = φ3γ0

Lösung 2.4

a) detA = 2,

(x1

x2

)=

1

2

(2 −2−1 2

)(36

)=

1

2

(6− 12−3 + 12

)=

(−34.5

)b) detA = 10,

(x1

x2

)=

1

10

(3 −1−2 4

)(−28

)=

1

10

(−6− 84 + 32

)=

(−1.43.6

)c) detA = 0, A ist nicht invertierbar!

d) detA = −10,

(x1

x2

)= − 1

10

(4 −3−6 2

)(02

)= − 1

10

(−64

)=

(0.6−0.4

)e) detA = 4,

(x1

x2

)=

1

4

(−4 −12−0 −1

)(−3−8

)=

1

4

(1088

)=

(272

)150

Lösung 2.5

µ =1

10

10∑t=1

yt = 2.5

γk =1

10

10∑t=k+1

(yt − µ

)(yt−k − µ

)⇒ γ0 = 2.25, γ1 = 1.225, γ2 = −0.3

ρk =γkγ0

⇒ ρ1 = 0.54, ρ2 = −0.13

φ21 =ρ1 − ρ1ρ2

1− ρ21

= 0.877

φ22 =ρ2 − ρ2

1

1− ρ21

= −0.611

σ2 = γ0(1− ρ21) = 1.583

Lösung 2.6

y = (1, 0, 1, 2)′, X′ =(

1 1 1 10 1 2 1

), X′X =

(4 44 6

)(X′X)

−1=

1

8

(6 −4−4 4

), X′y =

(44

), θ =

1

8

(80

)=

(10

)

Lösung 2.7

a) log[ab] = log[a] + log[b]

b) log[ab

]= log

[ab−1

]= log[a]− log[b]

c) log[2ab]

= log[2] + b log[a]

d) log[√a]

= log[a

12

]=

1

2log[a]

e) log[a3 4√b]

= 3 log[a] +1

4log[b]

151


Lösung 2.8

µ =1

9

8∑t=0

yt = 2

γ0 =1

9

8∑t=0

(yt − 2)2 =4

3

γ1 =1

9

8∑t=1

(yt − 2)(yt−1 − 2) =1

3⇒ φ =

γ1

γ0

=1

4

F (φ) =9

1− 116

=144

15

co/u =1

4± 1.96

√15

144⇒ φ ∈ [−0.383, 0.883]

Lösung 2.9

a) ∇3yt = (1−B)3yt = (1− 3B + 3B2 −B3)yt = yt − 3yt−1 + 3yt−2 − yt−3

b) B∇yt = B(1−B)yt = (B −B2)yt = yt−1 − yt−2

c) B−1∇yt = (B−1 −B−1B)yt = (B−1 − 1)yt = yt+1 − yt

d) B−2yt = B−1B−1yt = B−1yt+1 = yt+2

e) ∇2B−1yt = (1− 2B +B2)B−1yt = (B−1 − 2 +B)yt = yt+1 − 2yt + yt−1

f) B−2∇2yt = B−2(1− 2B −B2)yt = (B−2 − 2B−1 + 1)yt

= yt+2 − 2yt+1 + yt

Lösung 2.10

a) λ1/2 =φ1

2±√φ2

1

4+ φ2 =

1

2±√

1

4− 1

2=

1

2± i√

1

4=

1

2± i1

2

b) ω = arctan

∣∣∣∣ ba∣∣∣∣ = arctan 1 =

π

4⇒ T =

2π

ω=

8π

π= 8

152

Lösung 2.10 (Fortsetzung)

c) rτ =r

10⇔ τ log r = log r − log 10 ⇔ τ = 1− log 10

log r

r =

√1

4+

1

4=

1√2⇒ τ = 1− log 10

−12

log 2= 1 + 2

log 10

log 2= 7.644

Lösung 2.11

λ1/2 =φ1

2±√φ2

1

4+ φ2 = 0.1±

√0.36 ⇒ λ1 = 0.7 , λ2 = −0.5

⇒ Prozess ist stationär!

ρ1 = φ1 + φ2ρ1 ⇒ ρ1 =φ1

1− φ2

=0.2

0.65= 0.3077(

A1

A2

)=

(1 1λ1 λ2

)−1(ρ0

ρ1

)= −5

6

(−0.5 −1−0.7 1

)(1

0.3077

)=

(0.67310.3269

)⇒ ρk = 0.6731 · 0.7k + 0.3269 · (−0.5)k

Lösung 2.12

r =√a2 + b2 =

√1

4+

1

4=

1√2, ω = arctan

∣∣∣∣ ba∣∣∣∣ = arctan 1 =

π

4

ρk = rk cos[ωk] = 2−k2 cos

[πk

4

]⇒ ρ2 = 0 , ρ4 = −1

4

153



1

1 + θ1Byt = (1− θ1B + θ2

1B2 − . . .)yt =

(1−

∞∑k=1

(−1)k−1θk1Bk)yt = εt

⇒ φ(B)yt =(

1−∞∑k=1

φkBk)yt = εt mit φk = (−1)k−1θk1

⇒ MA(1)-Prozess besitzt AR(∞)-Darstellung

Lösung 3.2

a) (εt)t=0,...,6 = 0, 2, 2,−1,−1.5, 1.75,−2.875

⇒ l(0.5, 0.5) = −3.434− 22.578 = −26.012

b) (εt)t=0,...,6 = 0, 2, 2.5,−0.625,−1.844, 1.461,−2.365

⇒ l(0.25, 1) = −5.514− 10.884 = −16.398

Lösung 3.3

γ0 = (1 + θ21 + θ2

2)σ2

γ1 = (θ1 + θ2θ1)σ2

γ2 = θ2σ2

γ3 = γ4 = . . . = 0

Lösung 3.4

a) MA(2)-Prozess b) AR(1)-Prozess

c) AR(2)-Prozess d) MA(1)-Prozess

e) MA(3)-Prozess

154

Lösung 3.5

θ(z) = 1 +

q∑k=1

θkzk =

q∏k=1

(1− λkz)

Lösung 3.6

a) λ1/2 = −θ1

2±√θ2

1

4− θ2 (pq-Formel)

b) λ1/2 = 1± 1

2⇒ λ1 =

3

2, λ2 =

1

2⇒ Prozess ist nicht invertierbar!

c) yt =(

1− 2

3B)(

1− 1

2B)εt = εt −

2

3εt−1 −

1

2εt−1 +

1

3εt−2

= εt −7

6εt−1 +

1

3εt−2 ⇒ θ1 = −1.17 , θ2 = 0.33

Lösung 3.7

(εt)t=−1,...,6 = 0, 0, 1, 4, 6, 5, 4, 0

⇒ l(1,−2, 1, 1) = −5.514− 47 = −52.514

Lösung 3.8

a) λ1/2 = −θ1

2±√θ2

1

4− θ2 = 1±

√1− 1 = 1

⇒ Prozess ist nicht invertierbar!

b) Bedingte ML-Schätzung ist hier nicht sinnvoll, da sich Fehler in denAnfangsbedingungen potenzieren.

155



γ1 = σ2

(ψ1 +

∞∑j=1

ψj+1ψj

)= σ2

(φ+ θ + (φ+ θ)2

∞∑j=1

φ2k−1

)

= σ2

(φ+ θ + φ(φ+ θ)2

∞∑k=0

φ2k

)= σ2

(φ+ θ +

φ(φ+ θ)2

1− φ2

)= φσ2

(1 +

(φ+ θ)2

1− φ2

)+ θσ2 = φγ0 + θσ2

Lösung 4.2

φ(B)yt = θ(B)εt

⇒ (1− φB)yt = (1 + θB)εt = (1− φB)εt

⇒ yt = εt

Lösung 4.3

(εt)t=0,...,6 = 0, 2, 1,−1,−1,−1, 2

⇒ l(0.5, 0, 0.5, 1) = −5.514− 6 = −11.514

Lösung 4.4

a) (1− φB)∇yt = εt

⇔ (1− φB)(1−B)yt = εt

⇔ (1−B − φB + φB2)yt = εt

⇒ yt = (1 + φ)yt−1 − φyt−2 + εt

156


b) ∇yt = (1 + θ1B + θ2B2)εt

⇔ (1−B)yt = (1 + θ1B + θ2B2)εt

⇒ yt = yt−1 + εt + θ1εt−1 + θ2εt−2

c) (1− φB)∇2yt = (1 + θB)εt

⇔ (1− φB)(1− 2B +B2)yt = (1 + θB)εt

⇔ (1− 2B +B2 − φB + 2φB2 − φB3)yt = (1 + θB)εt

⇒ yt = (2 + φ)yt−1 − (1 + 2φ)yt−2 + φyt−3 + εt + θεt−1

Lösung 4.5

(∇yt)t=1,...,6 = 1, 2,−1, 2,−2,−2(εt)t=0,...,6 = 0, 1, 1,−2, 4,−6, 4

Bedingte LogLikelihood-Funktion:

l(θ0, θ1, σ2) = −T

2log[2πσ2]− 1

2σ2

T∑t=1

ε2t mit εt = ∇yt − θ0 − θ1εt−1

⇒ l(0, 1, 1) = −5.514− 37 = −42.514

Lösung 4.6

l(φ1, χ0, θ0, θ1, σ2) = −T

2log[2πσ2]− 1

2σ2

T∑t=1

ε2t mit

εt = yt − φ1yt−1 − χ0xt − θ0 − θ1εt−1

Lösung 4.7

yt = β0 + β1xt + ut

φ(B)ut = θ(B)εt

157



⇒ φ(B)yt = φ(1)β0 + φ(B)β1xt + θ(B)εt

= (1− φ1 − φ2)β0 + β1xt − φ1β1xt−1 − φ2β1xt−2 + εt + θ1εt−1

= θ0 + χ0xt + χ1xt−1 + χ2xt−2 + εt + θ1εt−1

⇒ θ0 = (1−φ1−φ2)β0 , χ0 = β1 , χ1 = −φ1β1 , χ2 = −φ2β1

Lösung 4.8

BIC = −2l

T+u log[T ]

T

= log[2πσ2] +1

σ2T

T∑t=1

ε2t +u log[T ]

T

= log[2π] + log[σ2] + 1 +u log[T ]

T

∝ log[σ2] +u log[T ]

T.

Lösung 4.9

AIC 0 1 20 1.087 1.059 0.9521 0.851 0.838 0.8472 0.887 0.842 0.8653 0.831 0.849 0.871

BIC 0 1 20 1.129 1.144 1.0791 0.936 0.965 1.0162 1.014 1.011 1.0763 1.000 1.060 1.124

Das Modell mit jeweils kleinstem Info-Kriterium sollte gewählt werden.⇒ Unter AIC: AR(3)⇒ Unter BIC: AR(1)

158


Var[y1] = ω + αVar[y0] = ω

Var[y2] = ω + αVar[y1] = ω + αω = ω(1 + α)

Var[y3] = ω + αVar[y2] = ω + αω + α2ω = ω(1 + α + α2)

⇒ Var[yt] = ωt−1∑k=0

αk

Lösung 5.2

E[y3t ] = E[σ3

t z3t ] = E[σ3

t ]E[z3t ] = 0

⇒ S =E[y3

t ]

Var[yt]3/2= 0

Lösung 5.3

K =3− 3α2

1− 3α2

⇔ K(1− 3α2) = 3− 3α2

⇔ K = 3 + 3(K − 1)α2

⇔ α2 =K − 3

3(K − 1)⇐ α =

√K − 3

3(K − 1)

σ2 =ω

1− α⇔ ω = σ2(1− α)

a) α =1

3, ω = 1

b) α =1

2, ω = 2

159


Lösung 5.4

µ =1

8

8∑t=1

yt =2− 2

8= 0

m2 =1

8

8∑t=1

(yt − µ)2 =4 + 4

8= 1

m4 =1

8

8∑t=1

(yt − µ)4 =16 + 16

8= 4

⇒ K =m4

m22

= 4

⇒ α =

√K − 3

3(K − 1)=

√1

9=

1

3, ω = m2(1− α) =

2

3

Lösung 5.5

l(ω, α) = −T2

log[2π]− 1

2

T∑t=1

(log[ω + αε2t−1

]+

y2t

ω + αε2t−1

)= −4 log[2π]− 1

2

(6 log

2

3+ 2 log 2 + 2 · 6

)= −4 log 2− 4 log π − 1

2

(8 log 2− 6 log 3 + 12

)= −8 log 2 + 3 log 3− 4 log π − 6 ≈ −12.828

Lösung 5.6

Bedingung:∞∑k=1

αk < 1

⇒∞∑k=1

αk =∞∑k=0

αk − 1 =1

1− α− 1 =

α

1− α

⇒ α

1− α< 1 ⇔ α < 1− α ⇔ 2α < 1 ⇔ α <

1

2

√

160

Lösung 5.7

E[νt|εt−1] = 0

⇒ Cov[νt, νt−1|εt−1] = E[νtνt−1|εt−1] = E[νt|εt−1]νt−1 = 0

Lösung 5.8

E[νt] = E[(z2t − 1)σ2

t ] = E[z2t − 1]E[σ2

t ] = 0

⇒ Cov[νt, νt−1] = E[(z2t − 1)(z2

t−1 − 1)σ2t σ

2t−1]

= E[z2t − 1]E[(z2

t−1 − 1)σ2t σ

2t−1] = 0

Lösung 5.9

E[y4t ] = 3E[σ4

t ] = 3E[(ω + αε2t−1 + βσ2t−1)2]

= 3E[(ω + (αz2

t−1 + β)σ2t−1

)2]= 3ω2 + 6ωE[αz2

t−1 + β]E[σ2t−1] + 3E[(αz2

t−1 + β)2]E[σ4t−1]

= 3ω2 + 6ω(α + β)E[σ2t−1] + (3α2 + 2αβ + β2)E[ε4t−1]

= 3ω2 + 6ω2 α + β

1− α− β+ (3α2 + 2αβ + β2)E[y4

t−1]

⇒ E[y4st.] =

3ω2(

1 + 2(α+β)1−α−β

)1− 3α2 − 2αβ − β2

=ω2

(1− α− β)2· 3(1− α− β)(1 + α + β)

1− 2α2 − (α + β)2

⇒ K =E[y4

st.]

Var[yst.]2= 3

1− (α + β)2

1− 2α2 − (α + β)2

161


Lösung 5.10

l(ω, α1, . . . , αp, β1, . . . , βq) = −T2

log[2π]− 1

2

T∑t=1

(log σ2

t +y2t

σ2t

)

mit σ2t = ω +

p∑j=1

αjε2t−j +

q∑k=1

βkσ2t−k

Lösung 5.11

l(φ, θ0, θ1, θ2, ω, α1, α2, β) = −T2

log[2π]− 1

2

T∑t=1

(log σ2

t +ε2tσ2t

)mit εt = yt − φyt−1 − θ0 − θ1εt−1 − θ2εt−2

σ2t = ω + α1ε

2t−1 + α2ε

2t−2 + βσ2

t−1

Lösung 5.12

ARMA-Teil: |φ| < 1 und GARCH-Teil: α1 + α2 + β < 1

Lösung 5.13

E[σ2t ] = ω + αE[ε2t−1]− 2αγE[εt−1] + αγ2 + βE[σ2

t−1]

= ω + αγ2 + (α + β)E[σ2t−1]

⇒ Var[yst.] =ω + αγ2

1− α− β⇒ Stationaritätsbedingung: α + β < 1

162

Lösung 5.14

ARMA(2,1)-GARCH(1,1) : θ = (φ1, φ2, θ0, θ1, ω, α, β)′ ⇒ u = 7

ARCH(7) : θ = (ω, α1, . . . , α7)′ ⇒ u = 8

TARCH-M : θ = (µ, λ, ω, α, β, γ)′ ⇒ u = 6

AIC BIC HQARMA-GARCH 0.58 0.824 0.676ARCH 0.57 0.849 0.679TARCH-M 0.61 0.819 0.692

Das Modell mit jeweils kleinstem Info-Kriterium sollte gewählt werden.⇒ Unter AIC: ARCH(7)⇒ Unter BIC: TARCH-M⇒ Unter HQ: ARMA(2,1)-GARCH(1,1)

163



∂

∂θ′Q(θ) =

∂

∂θ′(y−Xθ)′(y−Xθ)

= −2X′y + 2X′Xθ!

= 0

⇒ θ = (X′X)−1X′y

Lösung 6.2

a)

ytyt−1

yt−2

=

φ1 φ2 φ3

1 0 00 1 0

yt−1

yt−2

yt−3

+

100

εt

zt =(1 0 0

) ytyt−1

yt−2

b)

yt−2

yt−1

yt

=

0 1 00 0 1φ3 φ2 φ1

yt−3

yt−2

yt−1

+

001

εt

zt =(0 0 1

)yt−2

yt−1

yt

Lösung 6.3yt−(p−1)

...yt−1

yt

=

0 1 . . . 0... . . . . . . ...0 . . . 0 1φp . . . φ2 φ1

yt−p...

yt−2

yt−1

+

0...01

εt

zt =(0 . . . 0 1

)yt−(p−1)

...yt−1

yt

164

Lösung 6.4

yt = (φ1B + φ2B2)yt + εt =

1

1− φ1B − φ2B2εt

zt = (1 + θ1B + θ2B2)yt =

1 + θ1B + θ2B2

1− φ1B − φ2B2εt

⇒ zt − φ1zt−1 − φ2zt−2 = εt + θ1εt−1 + θ2εt−2

√

Lösung 6.5

a)

ytyt−1

yt−2

=

0 0 01 0 00 1 0

yt−1

yt−2

yt−3

+

100

εt

zt =(1 θ1 θ2

) ytyt−1

yt−2

b)

ytyt−1

yt−2

=

φ1 φ2 φ3

1 0 00 1 0

yt−1

yt−2

yt−3

+

100

εt

zt =(1 θ1 0

) ytyt−1

yt−2

165


Lösung 6.6

Kt =

(1 22 4

)(10

)((1 0

)(1 22 4

)(10

)+ 1

)−1

=

(12

)(1 + 1)−1 =

(12

1

)µt|t =

(21

)+

(12

1

)(2−

(1 0

)(21

)− 1

)=

(21

)−(

12

1

)=

(32

0

)Σt|t =

(1 22 4

)−(

12

1

)(1 0

)(1 22 4

)=

(1 22 4

)−(

12

01 0

)(1 22 4

)=

(1 22 4

)−(

12

11 2

)=

(12

11 2

)

Lösung 6.7

νt = 2−(1 0

)(21

)− 1 = −1

Γt =(1 0

)(1 22 4

)(10

)+ 1 = 1 + 1 = 2

Kt =1

2

(1 22 4

)(10

)=

1

2

(12

)=

(12

1

)µt|t =

(21

)−(

12

1

)=

(32

0

)Σt|t =

(1 22 4

)− 2

(12

1

)(12

1)

=

(1 22 4

)− 2

(14

12

12

1

)=

(1 22 4

)−(

12

11 2

)=

(12

11 2

)

166

Lösung 6.8(ytyt−1

)=

(1 −21 0

)(yt−1

yt−2

)+

(10

)εt ⇒ Ω =

(2 00 0

)zt =

(1 1

2

)( ytyt−1

)+ δt ⇒ R = 1

Initialisierung:

µ0 =

(10

), Σ0 =

(0 00 0

)

Time-Update 1:

µ1|0 = Aµ0 =

(1 −21 0

)(10

)=

(11

)Σ1|0 = AΣ0A

′ + Ω =

(1 −21 0

)(0 00 0

)(1 1−2 0

)+

(2 00 0

)=

(2 00 0

)Mess-Update 1:

ν1 = z1 −Hµ1|0 =3

2−(1 1

2

)(11

)= 0

Γ1 = HΣ1|0H′ +R =

(1 1

2

)(2 00 0

)(112

)+ 1 = 3

K1 = Σ1|0H′Γ−1

1 =1

3

(2 00 0

)(112

)=

(23

0

)µ1|1 = µ1|0 +K1ν1 =

(11

)+ 0

(23

0

)=

(11

)Σ1|1 = Σ1|0 −K1Γ1K

′1 =

(2 00 0

)− 3

(23

0

)(23

0)

=

(23

00 0

)

167



Time-Update 2:

µ2|1 = Aµ1|1 =

(1 −21 0

)(11

)=

(−11

)Σ2|1 = AΣ1|1A

′ + Ω =

(1 −21 0

)(23

00 0

)(1 1−2 0

)+

(2 00 0

)=

(83

23

23

23

)Mess-Update 2:

ν2 = z2 −Hµ2|1 =1

2−(1 1

2

)(−11

)= 1

Γ2 = HΣ2|1H′ +R =

(1 1

2

)(83

23

23

23

)(112

)+ 1 =

9

2

K2 = Σ2|1H′Γ−1

2 =2

9

(83

23

23

23

)(112

)=

(2329

)µ2|2 = µ2|1 +K2ν2 =

(−11

)+

(2329

)=

(−1

3119

)Σ2|2 = Σ2|1 −K2Γ2K

′2 =

(83

23

23

23

)− 9

2

(2329

)(23

29

)=

(23

00 4

9

)

Lösung 6.9

l = l1 + l2 = − log[6π]

2−

log[9π] + 29

2≈ −3.25

168

Zeitreihenanalyse Einstieg und Aufgaben - Akademiestudien · PDF fileDas Werk ist...

Documents

Transcript of Zeitreihenanalyse Einstieg und Aufgaben - Akademiestudien · PDF fileDas Werk ist...