Stochastische Prozesse in der Zeitreihenanalyse

Mike Huftle

31. Juli 2006

Inhaltsverzeichnis

1 Einleitung 21.1 Stochastische Prozesse und Zeitreihenanalyse . . . . . . . . . . . 21.2 Zeitreihenanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Beschreibung von stochstischen Prozessen 42.1 Stochastische Prozesse . . . . . . . . . . . . . . . . . . . . . . . . 4

2.1.1 Nebenpfad: Definition des stochastischen Prozesses . . . . 42.2 Stetige und diskrete stochastische Prozesse . . . . . . . . . . . . 52.3 Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.3.1 Nebenpfad: Parameter stochastischer Prozesse . . . . . . 62.4 Stationare Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . 82.5 Lineare stochastische Prozesse . . . . . . . . . . . . . . . . . . . . 92.6 Autoregressive Prozesse . . . . . . . . . . . . . . . . . . . . . . . 10

2.6.1 Nebenpfad: ARMA-Prozesse . . . . . . . . . . . . . . . . 102.6.2 Nebenpfad: ARIMA-Prozesse . . . . . . . . . . . . . . . . 102.6.3 Nebenpfad: Saisonale ARMA-Prozesse . . . . . . . . . . . 11

3 Zahlprozesse, Markov-Ketten und Markov-Prozesse 123.1 Zahlprozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123.2 Poissonprozess . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.2.1 Nebenpfad: Homogenitat, Ordinar, Nachwirkung . . . . . 133.3 Markov-Ketten I . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.3.1 Nebenpfad: Markov-Ketten . . . . . . . . . . . . . . . . . 143.4 Markov-Ketten II . . . . . . . . . . . . . . . . . . . . . . . . . . . 163.5 Markov-Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . 173.6 Wiener-Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

4 Anpassung stochastischer Prozesse 194.1 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.2 Box-Jenkins-Ansatz zur Anpassung von ARIMA-Prozessen . . . 20

4.2.1 Nebenpfad: Schatzung des Modells . . . . . . . . . . . . . 204.3 Tests zur Uberprufung der Modellgute . . . . . . . . . . . . . . . 22

1

5 Literatur 235.1 Literatur zu stochastischen Prozessen . . . . . . . . . . . . . . . 23

2

1 Einleitung

1.1 Stochastische Prozesse und Zeitreihenanalyse

Zeitreihen undstochastische

Prozesse

Stochastische Prozesse dienen der Modellierung und Analyse von Zufalls-mechanismen und zufalligen Zusammenhangen, insbesondere in der Zeitrei-henanalyse, der Bedienungs-, Lagerhaltungs- und Zuverlassigkeitstheorie ([],S.87).

Eine Zeitreihe im eigentlichen Sinne ist eine endliche Realisierung eines stocha-stischen Prozesses. Somit liegt jeder Zeitreihe ein stochastischer Prozesszu Grunde. Mit ihm konnen uber die konkrete Zeitreihe hinaus Aussagen uberdie zeitabhangigen zufalligen Merkmale gemacht werden.

Zeit In vielen Zeitreihen, insbesondere in der Okonomie, ist der Parameter Zeit eineendliche, diskrete Menge von aquidistanten Zeitpunkten. Diese Zeitpunktewerden in der Regel durchnummeriert mit t=1,2,...k.Jedoch sind die meisten Methoden der Zeitreihenanalyse auch auf den Fall ubert-ragbar, dass die Beobachtungen unregelmaßig durchgefuhrt wurden.Liegen stetige Messungen vor, wie beispielsweise in der Physik oder der Medizin,so wird fur die Analyse haufig eine Diskretisierung durchgefuhrt.

3

1.2 Zeitreihenanalyse

Durchfuhrungder Zeitreihen-

analyse

Zur Modellierung und Analyse von Zeitreihen mit stochastischen Prozessenmuss:

1. Ein geeigneter stochastischer Prozess zur Beschreibung der Zeitreiheausgewahlt werden.

2. Die Parameter fur den gewahlten Prozess geschatzt werden.

3. Die Gute des Modells uberpruft werden.

Liegt ein gultiges Modell vor, dann konnen mit diesem Modell Prognosenerstellt werden.

4

2 Beschreibung von stochstischen Prozessen

2.1 Stochastische Prozesse

Theorie derstochastischen

Prozesse

Die Theorie der stochastischen Prozesse (zufallige Funktionen, Zufallsprozesse)ist ein Teilgebiet der Wahrscheinlichkeitstheorie. Sie untersucht das Verhaltenvon Zufallsgroßen in Abhangigkeit von einem oder mehreren Parametern,z.B. der Zeit oder des Raumes.

ZufalligeBewegung

Beispiel fur einen stochastischen Prozess ist die raumliche Bewegung der Teil-chen in einer Flussigkeit, die durch den Einfluss standiger, zufalliger Zusam-menstoße zu Stande kommt.Die Lage eines Teilchens im Raum ist zu einem beliebigen Zeitpunkt nicht de-terministisch bestimmbar, sondern zufalliger Art. Die Lageparameter desRaumes sind somit Zufallsgroßen.Solch ein zufalliger Bewegungsablauf eines Teilchens wird als stochastischenProzess bezeichnet.

Beschreibungvon Zufallsme-

chanismen

Stochastische Prozesse dienen als mathematische Modellezur Beschreibungvon Zufallsmechanismen und zufalligen Zusammenhangen.

Eine Definition stochastischer Prozesse finden Sie hier.

2.1.1 Nebenpfad: Definition des stochastischen Prozesses

Definition Nach Definition ist ein stochastischer Prozess eine Abbildung X(ω, t) aus Ω×tauf die Menge der reellen Zahlen, die fur jeden festen, nichtzufalligen Parame-terwert t ∈ I eine Zufallsgroße Xt und fur jedes fixierte ω ∈ Ω eine gewohnlichereelle Funktion xt darstellt.

Realisierungendes

stochastischenProzesses

Jede Zufallsgroße Xt nimmt fur einen Versuchsausgang einen Wert xt an, derals Realisierung oder Trajektorie bezeichnet wird. Hierdurch erhalt maneine deterministische Folge von Zahlen.

5

2.2 Stetige und diskrete stochastische Prozesse

Diskrete undstetige

stochastischeProzesse

Ein stochastischer Prozess ist eine Folge von Zufallsgroßen Xt¿ mit t≥0. Da-bei sind die Zufallsgroßen Xt nicht mehr unabhangigund identisch verteilt.

Sind die Zeitpunkte t ∈ I abzahlbar, so wird dies ein diskreter stochasti-scher Prozess oder eine zufallige Folge genannt. Handelt es sich bei I um einIntervall der reellen Zahlen, so liegt ein stetiger stochastischer Prozess vor.

Nach diesen Kriterien konnen stochastische Prozesse folgendermaßen eingeteiltwerden:

Parameter- menge Werte- menge Bezeichnung desProzesses

Beispiele

Stetig Beliebig Stochastischer Pro-zess i.e.S.

Poisson-ProzessWiener-Prozess

Diskret Beliebig Diskreter stochasti-scher Prozess

Markov-Prozess

Diskret Diskret Zufallige Kette Markov-Kette

6

2.3 Verteilungen

Verteilungenund

stochastischeProzesse

Die Art der einem Prozess zugeordneten statistische Verteilung ist ein wichtigesUnterscheidungsmerkmal stochastischer Prozesse.Beispielsweise werden Prozesse, deren Verteilung zu jedem Zeitpunkt eine Nor-malverteilung ist, als Gauß-Prozesse bezeichnet.

VerteilungsparameterIm Allgemeinen werden jedoch nicht alle Verteilungsfunktionen angegeben, son-dern man beschrankt sich auf die Angabe bestimmter Parameter wie auchbei der Beschreibung von Zufallsgroßen.Fur stochastische Prozesse sind dies die Mittelwertfunktion, die Vari-anzfunktion und die Kovarianzfunktion.

Restriktionenstochastischer

Prozesse

In den meisten Anwendungen der Zeitreihenanalyse liegen jedoch fur eine Schatzungvon N Mittelwerten, N Varianzen und

(N2

)Kovarianzen (N=Anzahl der

Realisierungen) nicht genugend Daten vor.

Deshalb werden Restriktionen formuliert und nur noch solche stochastischenProzesse betrachtet, die diese Restriktionen erfullen (z.B. Linearitat, Stationa-ritat).

Im Hinblick auf verschiedene Restriktionen und zahlreichen Anwendungsmoglich-keiten gibt es auch eine Vielzahl stochastischer Prozesse.Wichtige Prozesse sind:

• Stationare Prozesse

• Moving Average-Prozesse

• Autoregressive Prozesse

• Poisson-Prozesse und Wiener-Prozesse

• Markov-Ketten und Markov-Prozesse

2.3.1 Nebenpfad: Parameter stochastischer Prozesse

MittelwertfunktionDie Mittelwertfunktion eines stochastischen Prozesses ist die Funktion µ(t), diefur jeden Zeitpunkt gleich dem Erwartungswertder Zufallsgroße Xt ist.

7

Die Mittelwertfunktion gibt also eine durchschnittliche Folge oder Reihean, um welche die tatsachlichen Beobachtungen des stochastischen Prozessesschwanken.

Varianzfunktion Als Varianzfunktion eines stochastischen Prozesses bezeichnet man eine Funk-tion σ2(t). Diese gibt fur jeden Zeitpunkt an, wie stark die Zufallsvariable Xt

um den entsprechenden Wert der Mittelwertfunktion schwankt.Die Varianz gibt also eine Vorstellung von der Abweichung vom mittlerenVerlauf des stochastischen Prozesses.

KovarianzfunktionDa jedoch bei einem stochastischen Prozess die Zufallsgroßen Xt voneinanderabhangen konnen, muss auch die Kovarianz des Prozesses berucksichtigtwerden.Diese Abhangigkeiten werden mittels der Kovarianzfunktion bzw. der Korrela-tionsfunktion gemessen. Die Kovarianzfunktion ordnet jedem Paar von Zufalls-variablen (Xr, Xs) zu den Zeitpunkten t, s ∈ T seine Kovarianz zu:

γ(r, s) = Cov[Xr, Xs] = E[(Xr − µ(r)) · (Xs − µ(s))] (1)

8

2.4 Stationare Prozesse

Stationare Prozesse verlangen, dass MittelwerteundVarianzenuber die Zeitkonstant sind und dass die Kovarianzfunktion nur noch vom Abstand derZeitpunkte t ∈ I abhangt.

Schwach undstreng

stationareProzesse

Einen Prozess nennt man schwach stationar, wenn die drei Bedingungen stati-onare Mittelwerte, stationare Varianzen und stationare Kovarianzen erfullt sind.Stochastische Prozesse heißen streng stationar, wenn alle drei Bedingungenvon der Zeit unabhangig sind. Ein solcher Prozess wird also immer das gleichestochastische Verhalten zeigen, gleichgultig in welchem Zeitintervall dieserProzess betrachtet wird.Beispielsweise sind White-Noise-Prozesse streng stationar.

Anwendungstationarer

Prozesse

Stationare Prozesse sind meist geeignete Modelle fur Zeitreihen ohne TrendundSaisonkomponente, also fur stationare Zeitreihen. Zeitreihen mit Trend mussenhingegen durch einen nichtstationaren Prozess dargestellt werden.

AnwendungsvoraussetzungenIn der Praxis kann die Mittelwertstationaritat oft nicht vorausgesetzt werden,wohingegen die Bedingung der Kovarianzstationaritat und damit auch die Sta-tionaritat der Varianz meist erfullt sind. Ist dies der Fall, so werden die Dateneiner Trendbereinigung unterzogen und die Residuen werden als Realisationeneines schwach stationaren Prozesses behandelt.

Zeigen die Varianzen einer Zeitreihe systematische Veranderungen, d. h. dieZeitreihe ist nicht Varianzstationar, so kann dies mittels einer Box-Cox-Transformationstabilisiert werden. Box-Cox-Transformationen sind eine Klasse von nichtlinea-ren logarithmischen Transformationen.

Infoseite White-Noise-ProzesseAls reiner Zufallsprozess oder White-Noise-Prozess wird eine Folge vonidentisch verteilten und unabhangigenZufallsvariablen bezeichnet. White-Noise-Prozesse sind fur sich genommen meist uninteressant, dienen aber haufigals Bausteine fur komplexere Prozesse.

9

2.5 Lineare stochastische Prozesse

Besondere Bedeutung fur die Zeitreihenanalyse haben lineare stochastische Pro-zesse erlangt.Die Abhangigkeiten der Zufallsvariablen werden hier durch lineare Verknupfun-gen von beobachtbaren Zufallsvariablen Xt und so genannten Zufallsschocksmodelliert. Dies fuhrt zu leicht handhabbaren und flexiblen Modellen, mit denensich viele Prozesse darstellen lassen.

Moving-Average-Prozesse

Eine wichtiger Spezialfall linearer stationarer Prozesse sind Moving-Average-Prozesse der Ordnung q (MA(q)-Prozesse). Diese konnen allgemein darge-stellt werden als Folge von identisch verteilten Zufallsvariablen εt (ein WhiteNoise-Prozess), den so genannten Zufallsschocks:

Xt = εt − β1εt−1 − ...− βqεt−q

Zufallsschocks Moving-Average-Prozesse lassen sich als eine Folge von Zufallschocks inter-pretieren, die jeweils zum Zeitpunkt t ausgelost wurden und unabhangig vonein-ander sind. Der beobachtete Wert zu einem bestimmten Zeitpunkt entsteht dannals gewichtetes Mittel aus gegenwartigen und vorherigen Schocks.Fur MA(q)-Prozesse gilt Stationaritat fur beliebige εt und die Kovarianzfunkti-on lasst sich durch die Zufallsschocks ausdrucken.

10

2.6 Autoregressive Prozesse

AutoregressiveProzesse und

Regression

Autoregressive Prozesse entsprechen formal multiplen Regressionsmodellen miteiner Zielgroße Xt (abhangiges Merkmal), einer oder mehreren Einflussgroße(n)Xt−i (unabhangige Merkmale) und einem Fehler εt (Residuum).

Jedoch sind die unabhangigen Merkmale Xt−i nicht unabhangige Merkmale imSinne der Regression, sondern die Vergangenheitswerte von Xt selbst.

Stationareautoregressive

Prozesse

Autoregressive Prozesse der Ordnung p (AR(p)-Prozesse) sind nur dann stati-onar, wenn die εt bestimmte Bedingungen erfullen. In diesem Fall konnen dieKovarianzen aus den so genannten Yule-Walker-Gleichungen berechnet werden.AR(p)-Prozesse haben die Form:

Xt = α1Xt−1 + ... + αpXt−p + εt

Wichtige Autoregressive Prozesse sind:

• Autoregressive Moving Average-Prozesse (ARMA-Prozesse)

• Autoregressive Integrierte Moving Average-Prozesse (ARIMA-Prozesse)

• saisonale ARMA-Prozesse (SARMA-Prozesse)

2.6.1 Nebenpfad: ARMA-Prozesse

AutoregressiveMoving-Average-Prozesse(ARMA)

Autoregressive Moving-Average-Prozesse der Ordnung (p,q) oder ARMA(p,q)-Prozesse sind nur unter bestimmten Bedingungen an die Parameter αi und βi

stationar.

2.6.2 Nebenpfad: ARIMA-Prozesse

NichtstationareARMA-Prozesse

Wie oben bereits erwahnt mussen Zeitreihen, die eine Trendkomponente besit-zen, mittels nichtstationarer Prozesse modelliert werden oder es kann durch Dif-ferenzenbildung ein stationaren ARMA-Prozess an die nichtstationare Zeitrei-he angepasst werden.

11

Prozesse dieser Art, die durch d-fache Differenzenbildung in einen ARMA-Prozess uberfuhrt werden konnen, werden als ARIMA (p,d,q)-Prozesse be-zeichnet, als Autoregressive Integrierte Moving Average-Prozesse. Ein speziellerARIMA-Prozess ist der rekursiv definierte Random-Walk-Prozess:

Xt = ε1 fur t = 1Xt−1 + εt fur t = 2, 3, ...

(2)

In der Okonomie werden Random-Walk-Prozesse haufig zur Modellierung vonPreisbewegungen auf spekulativen Markten, wie beispielsweise dem Aktien-markt, eingesetzt.

2.6.3 Nebenpfad: Saisonale ARMA-Prozesse

MultiplikativesaisonaleARIMA-Prozesse

Oft treten neben den saisonalen Abhangigkeiten auch noch Abhangigkeitenzwischen aufeinander folgenden Monaten auf. Diese Prozesse konnen durchmultiplikative saisonale ARIMA-Prozesse der Ordnung (p,d,q) x (P,D,Q) dar-gestellt werden.

SaisonaleARMA-Prozesse

Saisonale ARMA (p,q)-Prozesse mit Periode s (SARMA(p,q)-Prozesse) model-lieren instationare Zeitreihen mit einer Saisonkomponente.SARMA-Prozesse konnen durch durch D-fache Bildung saisonaler Diffe-renzen auf einen ARMA-Prozess zuruckgefuhrt werden. Die Existenz saisona-ler Effekte bedeutet beispielsweise, dass eine Beobachtung in einem bestimmtenMonat auch von den Beobachtungen in demselben Monat der Vorjahre abhangt.

12

3 Zahlprozesse, Markov-Ketten und Markov-Prozesse

3.1 Zahlprozesse

Zahlprozesse zahlen die Anzahl der Ereignisse in einem Intervall [0,t].Zu den Zahlprozessen gehoren stochastische Prozesse von Verweildauern oderZwischenankunftszeiten (z.B. von Warteschlangenmodellen). Der einfachste Zahl-prozess ist der Poisson-Prozess.

Beispiele Beispiele fur Zahlprozesse sind die Anzahl der Todesfalle in einer klinischenStudie oder die Ankunft von Telefongesprachen in einem Call-Center.

13

3.2 Poissonprozess

Poisson-Prozesse

Poisson-Prozesse sind haufig in der Zuverlassigkeits- und Warteschlan-gentheorie verwendete stochastische Prozesse. Mit ihnen werden Folgen vonzufallig eintretenden Ereignissen modelliert, die homogen, ordinarund ohne Nachwirkung sind. Dies sind beispielsweise die Anzahl von Kun-den in einer Warteschlange oder die Ankunft von Telefongesprachen an enemVermittler.

Poisson-Verteilung

Sind die oben genannten Eigenschaften erfullt, so ist die Zufallsgroße X(t) pois-sonverteilt mit

pk(t) =λtk

k!e−λ (3)

wobei pk(t) die Wahrscheinlichkeit dafur ist, dass in der Zeiteinheit t genau kEreignisse eintreten. Die Intensitat λ gibt die durchschnittliche Anzahl der proZeiteinheit eintretenden Ereignisse an.

3.2.1 Nebenpfad: Homogenitat, Ordinar, Nachwirkung

Homogenitat Homogenitat bedeutet in diesem Zusammenhang, dass die Wahrscheinlich-keit des Eintretens einer bestimmten Zahl von Ereignissen in einembeliebigen Intervall[ti, ti+1] mit

0 ≤ ti < ti+1 < ∞ (4)

von der Lange, nicht aber von der speziellen Lage des Intervalls abhangt.

Ordinar Ordinar sind zufallige Folgen, wenn das gleichzeitige Eintreten zweier Er-eignisse in einem sehr kleinen Intervall ∆t unmoglich ist.

Fehlen einerNachwirkung

Das Fehlen einer Nachwirkung (Gedachtnislosigkeit) bedeutet, dass die zufalli-gen Anzahlen, der in einem bestimmten Intervall [ti, ti+1] stattfindenden Er-eignisse, unabhangige Zufallsgroßen sind. Sie sind also unabhangig von derAnzahl der bis zum Zeitpunktti stattfindenden Ereignisse.

14

3.3 Markov-Ketten I

Markov-Ketten sind diskrete stochastische Ketten, die haufig zur Model-lierung des zeitabhangigen Verhaltens von dynamischen Systemen, speziell zurAbbildung von Ankunftsereignissen in Warteschlangen, verwendet werden.

Markov-Eigenschaft

Markov-Ketten besitzen die Markov-Eigenschaft, welche besagt, dass ein Ereig-nis zur Zeit tnur vom Eintritt des Ereignisses zur Zeit t − 1, nicht aber vonvorherigen Ereignissen abhangt. Mehr Informationen zur Markov-Eigenschaftund zu Markov-Ketten erhalten Sie hier.

Bei Markov-Ketten hoherer Ordnung sind entsprechend mehr vergangeneZeitpunkte zu berucksichtigen, beispielsweise bei einer Markov-Kette 2. Ord-nung die Zustande t− 1 und t− 2.

3.3.1 Nebenpfad: Markov-Ketten

Markov-Eigenschaft

Die Markov-Eigenschaft lasst sich wie folgt formulieren:Gegeben sei eine Folge von Zufallsgroßen X(t), t ∈ I wobei die Parameter-menge I und die Wertemenge diskret sind. Dann heißt X(t), t = 0, 1, 2, ... eineMarkov-Kette, wenn bei beliebigem tfur beliebige Werte i, j ∈ X die bedingteWahrscheinlichkeit P (X(t + 1) = j|X(t) = i, X(t − 1) = i1, ... , X(0) = it)gleich der bedingten Wahrscheinlichkeit

P (X(t + 1) = J |X(t) = i) (5)

ist. Dies ist die so genannte Ubergangswahrscheinlichkeit pij(t, t + 1), mitwelcher die Kette vom Wert i in tin den Wert j in t + 1 ubergeht.Die Werte i, j ∈ X bezeichnet man auch als Zustande.

HomogeneMarkov-Ketten

Wenn die Ubergangswahrscheinlichkeiten fur beliebige i,j nicht von t abhangen,so wird die Markov-Kette als homogen bezeichnet. Dies bedeutet, dass An-fangszustand und Ubergangswahrscheinlichkeiten die Markov-Kette vollstandigbeschreiben bzw. der Zustand zum Zeitpunkt t durch den Anfangszustand undt-malige Anwendung der Ubergangswahrscheinlichkeit berechnet werden kann.

ErgodischeWahrschein-

lichkeiten

Gibt es ein t0 und Ubergangswahrscheinlichkeiten pij , so dass gilt:

15

limx→∞

(n) = pj ,∑

j

pj = 1 (6)

dann heißen die Grenzwerte pj ergodische Wahrscheinlichkeiten. Bei Kon-vergenz gegen diese Werte geht die Markov-Kette in einen Gleichgewichtszu-stand uber. Dies bedeutet, dass sich die Wahrscheinlichkeit dafur, dass sich dieMarkov-Kette im Zustand j befindet, fur große n nur noch wenig andert.

GesamtwahrscheinlichkeitDie Gesamtwahrscheinlichkeit einer bestimmten Folge von Zustanden (also desEintretens der gesamten Markov-Kette) ist:

P (x1) · P (x2|x1) · P (x3|x2) · ... · P (xn|xn−1) = P (x1)n−1,n∏

i=1,j=2

pij (7)

16

3.4 Markov-Ketten II

Anwendung inder Zeitreihen-

analyse

Bei der statistischen Analyse einer Zeitreihe ist zu untersuchen, ob und wie manmittels einer Markov-Kette ein adaquates Modell fur den der Zeitreihe zugrundeliegenden Prozess finden kann. Die Vorgehensweise hierfur umfasst:

• Die Definition der Zustande.

• Die Bestimmung der Ordnung der Markov-Kette, die den Prozess hin-reichend genau abbildet.

• Die Prufung der Markov-Kette auf Homogenitat.

• Das Schatzen der Modellparameter bzw. der Ubergangswahrschein-lichkeiten.

Bestimmungder Ordnung

Die Bestimmung der Ordnung einer Markov-Kette erfolgt mittels χ2-Test undLikelihood-Quotienten-Test, bei denen die theoretischen mit den geschatzten

Ubergangswahrscheinlichkeiten verglichen werden.

Schatzung derUbergangs-wahrschein-

lichkeiten

Zur Schatzung der Ubergangswahrscheinlichkeiten wird die Maximum-Likelihood-Methode herangezogen. Bei einer homogenen Markov-Kette ergibt sich als ML-Schatzer:

pij =nij∑s

j=1 nij(8)

Dabei sind nij die Ubergangshaufigkeiten, die angeben wie oft auf den Zustandi der Zustand j folgt.

17

3.5 Markov-Prozesse

Definition Markov-Prozesse sind diskrete stochastische Prozesse mit Zustanden X=1, 2,3, ....Fur diskrete Markov-Prozesse konnen die Ubergangswahrscheinlichkeiten fureine wachsende Folge von Werten t0, t1, ... , tnaus I und beliebige Zustandei0, i1, ..., in aus X berechnet werden zu:

P (X(tn+1) = in+1/X(tn) = in) (9)

Viele Eigenschaften der Markov-Ketten lassen sich fur Markov-Prozesse verall-gemeinern.

Geburts- undSterbeprozesse

Diskrete Markov-Prozesse heissen Geburts- und Sterbeprozesse, wenn die Uber-gangswahrscheinlichkeiten die Eigenschaft besitzt, dass der Prozess mit derWahrscheinlichkeit λn(t)∆t+o(∆t) in den nachst hoheren, mit Wahrscheinlich-keit µn(t)∆t+o(∆t) in den nachst niederen Zustand und mit Wahrscheinlichkeito(∆t) in alle anderen Zustande ubergeht.λn(t) bzw. µn(t) sind der Geburts- bzw. der Sterbekoeffizient, welche dieSchnelligkeit der Zu- bzw. Abnahme der Werte des Prozesses bestimmen.

Anwendung Geburts- und Sterbeprozesse finden beispielsweise bei der Modellierung vonBevolkerungsentwicklungen und von Bakterienkulturen sowie bei Wartemo-dellen Anwendung.

18

3.6 Wiener-Prozesse

Wiener-Prozesse

Wiener-Prozesse sind stochastische Prozesse X(t), t ∈ I, die homogen un-abhangige Zuwachse besitzt und fur ein beliebiges t die normalverteilte Zu-fallsgroße X(t) mit der Dichte

ft(x) =1√

2πσ2te−

x2

2σ2t , σ2 > 0 (10)

besitzen.Wiener- Prozesse haben die Eigenschaft, dass X(tn)nur von X(tn−1), nicht abervon den Großen X(ti), i < n− 1 abhangt (Markov-Eigenschaft).

19

4 Anpassung stochastischer Prozesse

4.1 Problemstellung

Anpassung aneine Zeitreihe

In den meisten Fallen ist ein stochastischer Prozess nicht vorgegeben, sondernes sind lediglich einige seiner Realisierungen bekannt (beispielsweise in Formeiner Zeitreihe).

Um eine reale Zeitreihe durch einen stochastischen Prozess modellieren zu konnen,muss dieser an die vorliegende Zeitreihe angepasst werden. Bei der Vielzahl ver-schiedener stochastischer Prozesse existiert eine große Anzahl von Methoden zurstatistischen Analyse stochastischer Prozesse.

Hier wird exemplarisch der bekannte Box-Jenkins-Ansatz zur Anpassungvon ARIMA-Prozessen vorgestellt. Der interessierte Leser kann weitergehen-de Informationen zu anderen Ansatzen der angegebenen Literatur entnehmen.

20

4.2 Box-Jenkins-Ansatz zur Anpassung von ARIMA-Prozessen

BOX und JENKINS stellten 1976 eine Methode vor, mit der man einen ARMA-Prozess an eine Zeitreihe anpassen kann. Dieses Verfahren ist in vielenProgrammpaketen zur Zeitreihenanalyse implementiert.

Hat man ein geeignetes Modell an die Zeitreihe angepasst, so kann dieses zurPrognose verwendet werden.

Trend- undSaisonbereini-

gung

Zunachst wird die Zeitreihe wie oben beschrieben trend- und saisonbereinigt umeinen stationaren ARMA-Prozess an die Zeitreihe anpassen zu konnen.

ModellidentifikationAnschließend erfolgt die Modellidentifikation, d.h. die geeignete Schatzungder Parameter p und q des ARMA-Modells, wobei diese moglichst klein seinsollten.

4.2.1 Nebenpfad: Schatzung des Modells

Auswahl einesgeeigneten

stochastischenProzesses

Hinweise zur Auswahl eines stochastischen Prozeses und der Parameter p und qgibt der Vergleich der empirischen Autokorrelationsfunktion und der empiri-schen partiellen Autokorrelationsfunktion mit den Autokorrelationsfunktionenspezieller stochastischer Prozesse.

Aus den Autokorrelationsfunktionen ist ersichtlich, ob eine wesentliche Kor-relation der Zufallsgroßen in einem bestimmten Zeitabstand besteht.So deuten beispielsweise ein exponentiell abklingender Verlauf der Autokorrela-tionsfunktion und eine fast verschwindende partielle Autokorrelationsfunktionbei Zeitabstanden ≥2 auf einen AR(1)-Prozess hin.

SemiautomatischeModellselekti-

on

Die richtige Wahl von p und q ist in der Regel sehr schwierig. p und q konnen auchdurch eine semiautomatische Modellselektion bestimmt werden. Diese wahlt eingeeignetes Modell aus einer Vielzahl von ARMA-Modellen mit unterschied-lichen Parametern p und q anhand eines Gutekriteriums aus.

21

Schatzverfah-ren

Zur Schatzung der Modellparameter αi, βi, µ und σ2 des gewahltenARMA-Prozesses gibt es eine Vielzahl von Schatzverfahren, wie beispielswei-se die Kleinste-Quadrate-Methode, die Maximum-Likelihood-Methodeoder verschiedene Varianten dieser Methoden.

22

4.3 Tests zur Uberprufung der Modellgute

Zur Uberprufung der Gute der Anpassung des Modells an die Zeitreihe werdendie Residuen, also der nicht erklarte Anteil der Zeitreihe, und die Residuen-Autokorrelationen berechnet.

Beispielsweise ist das ARMA-Modell geeignet, wenn die Folge der Residu-en als ein White-Noise-Prozess angesehen werden kann, d.h. die Residuen sindrein zufallig.

Box-Pierce-Statistiken

Eine auf der Residuenberechnung basierende Methode zur Guteabschatzung istdie Box-Pierce Portmanteau-Statistik. Diese ist jedoch ein extrem konser-vativer Test. Die modifizierte Box-Pierce-Statistik von LJUNG/BOX zeigtfur Zeitreihen mit mehr als 100 Messungen ein gunstiges Verhalten.

Guteabschatzungauf Basis desOverfittings

Eine weitere Klasse von Gutetests basiert auf dem Ansatz des Overfittings. Sollein ARMA-Modell uberpruft werden, so wird zusatzlich ein umfangreiche-res Modell mit einer großeren Anzahl an Parametern geschatzt. Dann kanndas zu uberprufende Modell nur gultig sein, wenn die Residualvarianz durchdie zusatzlichen Parameter nicht wesentlich verringert wird bzw. wenn die neuhinzukommenden Parameter nicht wesentlich von Null verschieden sind.

23

5 Literatur

5.1 Literatur zu stochastischen Prozessen

Literaturverzeichnis

[] Beyer, O./Girlich, H.-J./Zschiesche, H.-U.: Stochastische Prozesse undModelle, 1978.

[] Beyer,O.E.P./Jenkins,G.M.: Stochastische Prozesse und Modelle, 3. Aufl,Teubner, Leipzig 1988.

[] Fahrmeir,L./Raßer, G.: Stochastische Prozesse, Skript zur Vorlesungan der Ludwig-Maximilians-Universitat, 2004, http://www.stat.uni-muenchen.de/ semwiso/stochastische-prozesse/ (05.07.2005)

[] Kalman, R.E. : A new approach to linear filtering and prediction problems,in: Transactions of the ASME - Journal of Basic Engineering, Vol. 82, 1960,pp. 35-45.

[] Langrock, P./Jahn, W.: Einfuhrung in die Theorie der Markowschen Ket-ten und ihre Anwendungen, Teubner, Leipzig 1979.

[] Rohling, H.: Stochastische Prozesse, Veroffentlichte Folien zur Vorle-sung Stochastische Prozesse an der TU Hamburg-Harburg, SS 2004, aufURL: www.et2.tu-harburg.de/lehre/ Stochastik/X Grenzwertsaetze.pdf(05.07.2005)

[] Storm, R.: Wahrscheinlichkeitsrechnung Mathematische Statistik Statisti-sche Qualitatskontrolle. 10. Aufl., Fachbuchverlag, Leipzig Koln 1995, S.85-98.

24