Markov-Prozesse

Markov-Prozesse

Franziskus Diwo

Literatur: Ronald A. Howard:Dynamic Programming and Markov Processes

18.10.2011

Markov-Prozesse

Gliederung

1 Was ist ein Markov-Prozess?

2 Zustandswahrscheinlichkeiten

3 Z-Transformation

4 Übergangs-, mehrfach verkettetes und periodischesVerhalten

Markov-Prozesse

Was ist ein Markov-Prozess?

Was ist ein Markov-Prozess?

mathematisches Modell zur Untersuchung komplexerSystemeKernbegriffe:

Zustand eines Systems:Ein System befindet sich in einem Zustand, wenn eskomplett mit Variablenwerten, die diesen Zustanddefinieren, beschrieben werden kann.Zustandswechsel:Ein Zustandswechsel findet dann statt, wenn sich diesystembeschreibenden Variablen von Werten deseinen Zustands zu Werten des anderen Zustandsändern.

Markov-Prozesse

Was ist ein Markov-Prozess?

Beispiel: Frosch im Seerosenteich

Frosch springt in fortlaufender Zeit von einem Blattauf ein anderes.Die Blätter werden dabei zufällig nach aktuellerLaune ausgewählt.Zustand: Nummer des derzeit belegten BlattesZustandswechsel: Der Sprung zum nächsten BlattAnzahl der Blätter endlich→ Prozess mit endlich vielen Zuständen(alle weitere Bemerkungen gehen von solch einemProzess aus)

Markov-Prozesse

Was ist ein Markov-Prozess?

Beispiel: Frosch im Seerosenteich

Annahmen:zeit-diskreter Prozess:Zeit zwischen den Wechseln ist eine KonstanteEs gibt N Zustände, welche mit 1, ..,N nummeriertsind

Falls das System ein einfacher Markov-Prozess ist,dann ist die Wahrscheinlichkeit von Zustand i zuZustand j zu gelangen eine Funktion, die nicht vonden Zuständen vor Zustand i abhängt.

Markov-Prozesse

Was ist ein Markov-Prozess?

Folgerungen

Man kann also eine Reihe bedingterWahrscheinlichkeiten, dass sich ein in Zustand ibefindliches System nach dem nächsten Wechsel inZustand j befindet, angeben.

N∑j=1

pij = 1

0 6 pij 6 1

Markov-Prozesse

Zustandswahrscheinlichkeiten

Beispiel: Spielzeugmacher

Der Spielzeugmacher befindet sich immer in einemder folgenden zwei Zuständen:

Zustand 1: Das Spielzeug ist beliebt.Zustand 2: Das Spielzeug ist unbeliebt.

Markov-Prozesse

Zustandswahrscheinlichkeiten

Beispiel: Spielzeugmacher

Wahrscheinlichkeiten:Wenn er im Zustand 1 ist, hat er eineWahrscheinlichkeit von 50%, dass er am Ende dernächsten Woche immer noch im ersten Zustand ist(ebenso 50% für Zustand 2)Wenn er in Zustand 2 ist, hat er eine Chance von 2

5wieder in Zustand 1 zu gelangen, mit einerWahrscheinlichkeit von 3

5 bleibt er im zweiten Zustand

Also:p11 = 1

2 p12 = 12 p21 = 2

5 p22 = 35

Markov-Prozesse

Zustandswahrscheinlichkeiten

Beispiel: Spielzeugmacher

Man definiert:

P = [pij ] =

[12

12

25

35

]

Veranschaulichung:

Markov-Prozesse

Zustandswahrscheinlichkeiten

Beispiel: Spielzeugmacher

Mit Hilfe der Matrix kann man alle Fragen über denProzess beantworten:

Beispielsweise interessiert uns dieWahrscheinlichkeit, dass er sich im Zustand 1 nach nWochen befindet, wenn er zu Beginn im erstenZustand war

Zu diesem Zweck definieren wir eineZustandswahrscheinlichkeit πi(n), welche dieWahrscheinlichkeit angibt, dass sich das Systemnach n Wechseln im Zustand i befindet und derZustand bei n = 0 bekannt ist.

Markov-Prozesse

Zustandswahrscheinlichkeiten

Folgerungen

Es gilt:

N∑i=1

πi(n) = 1

πj(n + 1) =N∑

i=1

πi(n)pij ,n = 0,1,2, ...

Markov-Prozesse

Zustandswahrscheinlichkeiten

Folgerungen

Wir definieren einen Zeilenvektor π(n), dessenKomponenten die Zustandswahrscheinlichkeitenπi(n) sind:

Es folgt:

π(n + 1) = π(n)P ,n = 0,1,2, ...

Markov-Prozesse

Zustandswahrscheinlichkeiten

Folgerungen

Durch Rekursion erhält man:

π(1) = π(0)P

π(2) = π(1)P = π(0)P2

π(3) = π(2)P = π(0)P3

Allgemein gilt:

π(n) = π(0)Pn ,n = 0,1,2, ...

Markov-Prozesse

Zustandswahrscheinlichkeiten

Beispiel: SpielzeugmacherUnter der Annahme, dass man mit einemerfolgreichen Spielzeug beginnt, folgt:

π1(0) = 1 und π2(0) = 0

sodass:π(0) =

[1 0

]Mittels der Formel ergibt sich:

π(1) = π(0)P =[1 0

] [12

12

25

35

]=[

12

12

]

Markov-Prozesse

Zustandswahrscheinlichkeiten

Beispiel: Spielzeugmacher

Analog ergeben sich folgende Werte nach n Wochenbei Start mit einem beliebten Spielzeug:

n 0 1 2 3 4 5 ...π1(n) 1 0,5 0,45 0,445 0,4445 0,44445 ...π2(n) 0 0,5 0,55 0,555 0,5555 0,55555 ...

bei Start mit unbeliebtem Spielzeug:n 0 1 2 3 4 5 ...

π1(n) 0 0,4 0,44 0,444 0,4444 0,44444 ...π2(n) 1 0,6 0,56 0,556 0,5556 0,55556 ...

Markov-Prozesse

Zustandswahrscheinlichkeiten

Folgerungen

Scheinbare Unabhängigkeit vom Startwert beigroßem n:

Viele Markov-Prozesse zeigen diese Eigenschaft.streng ergodischer Prozess

Systeme, welche vom Startwert abhängen, werdenspäter untersucht.

Markov-Prozesse

Zustandswahrscheinlichkeiten

FolgerungenFür streng ergodische Prozesse definiert man:

πi als die Wahrscheinlichkeit, dass das System deni-ten Zustand nach sehr vielen Wechseln belegtden Zeilenvektor π mit Einträgen πi als Grenzwert

π = limn→∞

π(n)

Aus den vorherigen Überlegungen folgt:

π = πPN∑

i=1

πi = 1

Markov-Prozesse

Zustandswahrscheinlichkeiten

Folgerungen

Für das Spielzeugmacherbeispiel folgt also:

π1 =12π1 +

25π2 , π2 =

12π1 +

35π2

π1 + π2 = 1

Lösen des Gleichungssystems führt zu:

π1 =49

und π2 =59

Markov-Prozesse

Z-Transformation

Z-TransformationMan betrachtet nun die erzeugende Funktion bzw.Z-Transformation.Zunächst betrachtet man eine nichtnegative, diskreteZeitfunktion f (n), die für negative Zeiten Null gesetztwird.

Markov-Prozesse

Z-Transformation

Z-TransformationSteigt f (n) nicht schneller mit wachsendem n als einegeometrische Folge (Zahlenfolge mit konstantemQuotienten der benachbarten Folgenglieder), kannman eine Z-Transformation f (z) definieren, sodass:

f (z) =∞∑

n=0

f (n)zn

Jede Zeitfunktion hat nur eine Transformation.Die Z-Transformation ist bei Markov-Prozessenhilfreich, da die Übergangswahrscheinlichkeitengeometrische Folgen sind.

Markov-Prozesse

Z-Transformation

Berechnung einer Z-Transformation

Beispiel:

Sei die Zeitfunktion:

f (n) = αn ,n > 0

Dann folgt für die Z-Transformation:

f (z) =∞∑

n=0

f (n)zn =∞∑

n=0

(αz)n =1

1− αz

Markov-Prozesse

Z-Transformation

Berechnung einer Z-Transformation

Analoges Vorgehen für andere Zeitfunktionen ergibt:Zeitfunktion für n > 0 Z-Transformation

f (n) f (z)f1(n) + f2(n) f1(z) + f2(z)

kf (n) ,k=const kf (z)f (n − 1) zf (z)f (n + 1) z−1[f (z)− f (0)]

αn 11−αz

1 11−z

nαn αz(1−αz)2

n z(1−z)2

αnf (n) f (αz)

Markov-Prozesse

Z-Transformation

Z-Transformation bei Markov-Prozessen

komponentenweise Anwendung bei Vektoren undMatrizen

π(n + 1) = π(n)P ,n = 0,1,2, ...

Z-Transformation ergibt:

z−1[Π(z)− π(0)] = Π(z)P,

wobei Π(z) die Z-Transformation von π(n) darstellt.Umformungen ergeben:

Π(z) = π(0)(I− zP)−1

Markov-Prozesse

Z-Transformation

Z-Transformation am Beispiel desSpielzeugmachers

[12

12

25

35

][

1− 12z −1

2z

−25z 1− 3

5z

]

(I− zP)−1 =

1− 35 z

(1−z)(1− 110 z)

12 z

(1−z)(1− 110 z)

25 z

(1−z)(1− 110 z)

1− 12 z

(1−z)(1− 110 z)

Markov-Prozesse

Z-Transformation

Z-Transformation am Beispiel desSpielzeugmachers

(I− zP)−1 =1

1− z

[49

59

49

59

]+

11− 1

10z

[ 59 −5

9−4

949

]Rückgängigmachen der Z-Transformation liefert:

H(n) =

[49

59

49

59

]+

(110

)n [ 59 −5

9−4

949

],

π(n) = π(0)H(n)

Markov-Prozesse

Z-Transformation

FolgerungenH(n) = P(n)einfachere Berechnung der Potenz der Matrix PIm Spielzeugmacherbeispiel:

bei Start mit beliebtem Spielzeug:

π(n) =[

49

59

]+

(110

)n [59 −5

9

]→ π1(n) =

49

+59

(110

)n

π2(n) =59− 5

9

(110

)n

Markov-Prozesse

Z-Transformation

Eigenschaften von H(n)

stationäre Komponente:stochastische Matrix Salle Zeilen sind gleich dem Grenzwert desZustandsvektorsBei ergodischen Prozessen: eine Matrix mit gleichenZeilen

Übergangskomponente:besitzt einen Vorfaktor αn mit |α| 6 1Bezeichnung: T (n) (repräsentiert die abfallendegeometrische Folge)alle Zeilen ergeben addiert Nullbei ergodischen Prozessen verschwindet T (n) fürgroße n und α < 1

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

Übergangsverhalten

Spielzeugmacherbeispiel: 0 < pij <∞bei ergodischen Prozessen: Grenzwahrscheinlichkeitkann auch Null werden

einfangender Zustand: Zustand i , wobei pii = 1Übergangszustand: Zustand, der nach langer Zeitmit Gewissheit nicht belegt wird

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

Übergangsverhalten

Beispiel:

P =

[34

14

0 1

]Rechnung mit Z-Transformation wie oben ergibt:

H(n) =

[0 10 1

]+

(34

)n [1 −10 0

]

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

Übergangsverhalten

Ein Übergangszustand führt nicht immer zu einemeinfangenden Zustand.Das System kann in eine Kette eintreten, die in sichgeschlossen ist (rekurrente Kette).Jede geschlossene Kette kann man somit alsverallgemeinerten einfangenden Zustand auffassen.Jeder Markov-Prozess muss eine solche Kettebesitzen.Gibt es genau eine solche Kette, ist der Prozessstreng ergodisch.

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

mehrfach verkettetes Verhalten

Möglichlichkeit, dass mehrere rekurrente Kettenauftreten→ Erweiterung der Möglichkeiten von SStartpunkt ist entscheidend für dieGrenzwahrscheinlichkeitZeilen sind nicht mehr gleichi-te Zeile stellt die Zustände mit Startwert i dar

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

mehrfach verkettetes Verhalten

Diagramm zum mehrfach verketteten Verhalten

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

mehrfach verkettetes Verhalten

Beispiel:

P =

1 0 00 1 013

13

13

Mit der Z-Transformation erhält man:

H(n) =

1 0 00 1 012

12 0

+

(13

)n 0 0 0

0 0 0−1

2 −12 1

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

Periodisches Verhalten

periodische Kette = rekurrente Kette, wobei dasSystem nach p,2p,3p, ... Übergängen wieder denAusgangszustand belegt (p ∈ N)

Diagramm zum periodischen Verhalten

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

Periodisches Verhalten

Beispiel:

P =

[0 11 0

]Mit der Z-Transformation erhält man:

H(n) =

[12

12

12

12

]+ (−1)n

[12 −1

2

−12

12

]

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

Periodisches Verhalten

π1(n) =12

[1 + (−1)n]

undπ2(n) =

12

[1− (−1)n]

Interpretation:Falls n ungerade ist, wird immer Zustand 1angenommenFalls n gerade ist, wird immer Zustand 2angenommen

Markov-Prozesse

Übergangs-, mehrfach verkettetes und periodisches Verhalten

Periodisches Verhalten

Interpretation von T (n):Verschwindet nicht, sondern oszilliert, Störung von SInterpretation von S:Wahrscheinlichkeit, dass sich das System in jedemseiner Zustände zu einem zufälligem Zeitpunktbefindet

Markov-Prozesse

Zusammenfassung

Der Markov-Prozess ist ein spezieller stochastischerProzess mit dem Ziel Wahrscheinlichkeitsaussagenüber zukünftige Ereignisse zu machenDabei ist die Z-Tranformation ein wichtigesHilfsmittelMarkov-Ketten können ein periodisches,Übergangs- oder mehrfach verkettetes Verhaltenaufweisen