Markov KettenMarkov Ketten

Markov Ketten

Stochastischer Prozess XStochastischer Prozess 

Zeitdiskret

Wertdiskret (diskrete Zustände)

iX

Wertdiskret (diskrete Zustände)

Markov Kette N‐ter Ordnung: Statistische Aussagen über den aktuellen Zustand können auf der Basis der Kenntnis von Naktuellen Zustand können auf der Basis der Kenntnis  von N zurückliegenden Zuständen gemacht werden.

Für viele Anwendungen von besonderem Interesse: Markov KettenFür viele Anwendungen von besonderem Interesse: Markov Ketten erster Ordnung:

( ) ( ){ } ( ){ }1 2 11 2 1| |n n n n nn i n i n i n i n iP X x X x X x P X x X x

− − −− − −= = ∧ = ∧ = = =K

2

Beispiel: Ratte im Labyrinth

Die Ratte wechselt mit jedem

1 2 3

Die Ratte wechselt mit jedem Zeitschritt den Raum (=Zustand) 

Die Auswahl jeder Tür des RaumesDie Auswahl jeder Tür des Raumes ist dabei zufällig  und gleich wahrscheinlich

4 5 6 und hängt nicht davon ab, welche Räume die Ratte zuvor besucht hat

Die Folge der Raumnummern der besuchten Räume ist eine Markov‐

7 8 9besuchten Räume ist eine MarkovKette erster Ordnung

3

Beispiel: Ratte im LabyrinthZustandsgraph

1 2 31/3 1/3

1 2 31/2 1/2

1/41/3 1/2 1/31/3 1/2 1/41/3 1/2 1/31/3 1/2

1/4 1/3

4 5 61/41/3

1/2 1/2

1/31/4 1/2 1/31/3 1/2

7 8 91/3 1/3

1/2 1/2

4

1/3 1/3

Beispiel: Ratte im LabyrinthDie Übergangswahrscheinlichkeiten lassen sich leicht angeben:1 2 3

zu Raum (Zustand)

lassen sich leicht angeben:1 2 3

4 5 6

1 0 1/ 2 0 1/ 2 0 0 0 0 0⎛ ⎞

zu Raum (Zustand) 

1 2 3 4 5 6 7 8 9

4 5 6

7 8 9 1 0 1/ 2 0 1/ 2 0 0 0 0 02 1/ 3 0 1/ 3 0 1/ 3 0 0 0 03 0 1/ 2 0 0 0 1/ 2 0 0 0

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟

7 8 9

3 0 1/ 2 0 0 0 1/ 2 0 0 04 1/ 3 0 0 0 1/ 3 0 1/ 3 0 05 0 1/ 4 0 1/ 4 0 1/ 4 0 1/ 4 0

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

Von Raum (Zustand)  5 0 1/ 4 0 1/ 4 0 1/ 4 0 1/ 4 06 0 0 1/ 3 0 1/ 3 0 0 0 1/ 37 0 0 0 1/ 2 0 0 0 1/ 2 0

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

( )

8 0 0 0 0 1/ 3 0 1/ 3 0 1/ 39 0 0 0 0 0 1/ 2 0 1/ 2 0

⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠

Übergangsmatrix (Transition matrix)

0 1/ 2 0 1/ 2 0 0 0 0 01/ 3 0 1/ 3 0 1/ 3 0 0 0 0⎛ ⎞⎜ ⎟1/ 3 0 1/ 3 0 1/ 3 0 0 0 0

0 1/ 2 0 0 0 1/ 2 0 0 01/ 3 0 0 0 1/ 3 0 1/ 3 0 0

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟1/ 3 0 0 0 1/ 3 0 1/ 3 0 0

0 1/ 4 0 1/ 4 0 1/ 4 0 1/ 4 00 0 1/ 3 0 1/ 3 0 0 0 1/ 3

Q⎜ ⎟⎜ ⎟=⎜ ⎟⎜ ⎟0 0 1/ 3 0 1/ 3 0 0 0 1/ 3

0 0 0 1/ 2 0 0 0 1/ 2 00 0 0 0 1/ 3 0 1/ 3 0 1/ 3

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

Z il i d 1 (Wk M t i )

0 0 0 0 / 3 0 / 3 0 / 30 0 0 0 0 1/ 2 0 1/ 2 0

⎜ ⎟⎜ ⎟⎝ ⎠

Zeilensummen sind 1 (Wk‐Matrix)

Wk von Zeile zu Spalte

( ) 1{ | }ij n j n iij

Q q P X x X x+= = = =

6

Wahrscheinlichkeit der Zustände nach n Schritten

0 1 1{ } (0)(0)

P X x pP

=⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟= =⎜ ⎟ ⎜ ⎟M M

Anfangsverteilung

0

(0){ } (0)N N

PP X x p

= =⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟=⎝ ⎠ ⎝ ⎠

M M

Von Schritt n zu n+1: Summe der Wk aller Pfade, die zum j‐ten Zustand führen:

1 1 1 1( 1) { } { | } { }j n j n j n np n P X x P X x X x P X x+ ++ = = = = = =

1 2 2{ | } { }...

j j j

n j n nP X x X x P X x++ = = =

1{ | } { }n j n N n NP X x X x P X x++ = = =

( )N

ij iq p n= ∑

( )

1

1( )

ji

p n=

⎛ ⎞⎜ ⎟

∑

MSpalte der Matrix  Q

7

( )1

( )j Nj

N

q qp n

⎜ ⎟= ⎜ ⎟⎜ ⎟⎝ ⎠

L MQ

Wahrscheinlichkeit der Zustände nach n Schritten

Matrixschreibweise: ( 1) ( )TP n Q P n+ =

Ausgehend von der Anfangswahrscheinlichkeit der Zustände: 

(1) (0)TP Q P=

( )2(2) (1) (0) (0)T T T TP Q P Q Q P Q P= = =

( )3( )3(3) (2) (0)T TP Q P Q P= =

( )( ) (0)n

TP n Q P=

8

Beispiel: Ratte im Labyrinth 0 0 0 0

0 0 0 0 00 0 0 0c c c c

a a a a a⎛ ⎞⎜ ⎟⎜ ⎟

1a ≈

( ) ( ) ( )20 22 24

0 0 0 00 0 0 0 0

Q = Q Q0 0 0 0T T Tc c c c

a a a a a

b b b b b

⎜ ⎟⎜ ⎟⎜ ⎟ ≈ ≈⎜ ⎟

16

a

b

≈

≈( ) ( ) ( ) Q Q Q0 0 0 00 0 0 0 0

0 0 0 00 0 0 0 0

c c c ca a a a a

b b b b b⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

31

b

c ≈0 0 0 0 00 0 0 0a a a ac c c c

a⎜ ⎟⎜ ⎟⎝ ⎠

4c

0 0 0 0 00 0 0 0

0 0 0 0 0

a a a ac c c c c⎛ ⎞⎜ ⎟⎜ ⎟

( ) ( ) ( )21 23 25

0 0 0 0 00 0 0 0

Q = Q Q0 0 0 0 0T T T

a a a ac c c c c

b b b b

⎜ ⎟⎜ ⎟⎜ ⎟ ≈ ≈⎜ ⎟( ) ( ) ( ) Q Q Q0 0 0 0 0

0 0 0 00 0 0 0 0

0 0 0 0a a a a

c c c c cb b b b ≈ ≈⎜ ⎟

⎜ ⎟⎜ ⎟⎜ ⎟

9

0 0 0 00 0 0 0 0a a ac

ac c c c⎜ ⎟⎜ ⎟

⎝ ⎠

Beispiel: Ratte im Labyrinth1. Variation im Zustandsgraph

b

1 2 3(b‐1)/3 (b‐1)/3

bb

1 2 3(b‐1)/2 (b‐1)/2(b‐1

(b‐1

(b‐1

(b‐1

(b‐1

(b‐1

(b‐1)/3(b‐1)/4

1)/2

1)/2

)/3

)/3

1)/4

1)/3

b

4 5 6(b‐1)/4(b‐1)/3(b (b(b (b(b(b

bb

(b 1)/2 (b 1)/2

b‐1)/2

b‐1)/2

b‐1)/3

b‐1)/3

b‐1)/3

b‐1)/4

7 8 9(b 1)/3 (b 1)/3

(b‐1)/2 (b‐1)/2

10

(b‐1)/3 (b‐1)/3b bb

Übergangsmatrix (Transition matrix)(1 ) / 2 0 (1 ) / 2 0 0 0 0 0

(1 ) / 3 (1 ) / 3 0 (1 ) / 3 0 0 0 00 (1 ) / 2 0 0 (1 ) / 2 0 0 0

b b bb b b b

b b b

− −− − −

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟0 (1 ) / 2 0 0 (1 ) / 2 0 0 0

(1 ) / 3 0 0 (1 ) / 3 0 (1 ) / 3 0 00 (1 ) / 4 0 (1 ) / 4 (1 ) / 4 0 (1 ) / 4 0

b b bb b b b

Q b b b b b

− −− − −

= − − − −

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

( ) ( ) ( ) ( )0 0 (1 ) / 3 0 (1 ) / 3 0 0 (1 ) / 30 0 0 (1 ) / 2 0 0 (1 ) / 2 00 0 0 0 (1 ) / 3 0 (1 ) / 3 (

Qb b b b

b b bb b b

− − −− −

1 ) / 3b

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0 0 0 0 (1 ) / 3 0 (1 ) / 3 (b b b− − 1 ) / 3

0 0 0 0 0 (1 ) / 2 0 (1 ) / 2b

b b b

⎜ ⎟−⎜ ⎟

⎜ ⎟− −⎝ ⎠

0 1 0 45 0 0 45 0 0 0 0 0⎛ ⎞0.1 0.45 0 0.45 0 0 0 0 00.3 0.1 0.3 0 0.3 0 0 0 00 0.45 0.1 0 0 0.45 0 0 0

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0.3 0 0 0.1 0.3 0 0.3 0 0

0 0.225 0 0.225 0.1 0.225 0 0.225 00 0 0 3 0 0 3 0 1 0 0 0 3

Q

⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟

für b = 0.10 0 0.3 0 0.3 0.1 0 0 0.30 0 0 0.45 0 0 0.1 0.45 00 0 0 0 0.3 0 0.3 0.1 0.3

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

11

0 0 0 0 0 0.45 0 0.45 0.1⎜ ⎟⎜ ⎟⎝ ⎠

Nach sehr vielen Schritten, auch für beliebig kleine b

a a a a a a a a a⎛ ⎞c c c c c c c c ca a a a a a a a a

a a a a a a a a a

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟

112

a ≈

( ) ( )10000 10001 Q QT T

c c c c c c c c c

c c c c c c c c cb b b b b b b b b⎜ ⎟⎜ ⎟= ≈⎜ ⎟⎜ ⎟

16

b ≈c c c c c c c c c

c c c c c c c ca a a a a a a a a

c

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

81c ≈

a a a a a a a a a⎜ ⎟⎝ ⎠

12

Definitionen (Markov Ketten)

Eine Markov Kette heißt ergodisch (irreduzierbar) wennEine Markov Kette heißt ergodisch (irreduzierbar), wenn jeder Zustand von jedem anderen Zustand (nach beliebig vielen Schritten) erreicht werden kannvielen Schritten) erreicht werden kann

Eine Markov Kette heißt regulär, wenn für irgendein n > 0 die Matrix Qn nur positive Elemente enthält.

Jede reguläre Markov Kette ist ergodisch.

In einer ergodischen Markov Kette haben alle Zustände dieIn einer ergodischen Markov Kette haben alle Zustände die gleichen Eigenschaften.

13

Definitionen: Zustände

Ein Zustand heißt periodischmit der Periode wenntEin Zustand heißt periodisch mit der Periode  , wennaußer für              , die Vielfache von     sind, 

wobei die größte ganze Zahl mit dieser Eigenschaft ist( ) 0jjq n = n vt=

tt

twobei     die größte ganze Zahl mit dieser Eigenschaft ist. Ansonsten heißt ein Zustand aperiodisch. 

t

Eine reguläre Markov Kette kann keine periodischen Zustände haben.

Im ursprünglichen Rattenbeispiel sind alle ZuständeIm ursprünglichen Rattenbeispiel sind alle Zustände periodisch mit Periode          .

Die Kette im ursprünglichen Rattenbeispiel ist ergodisch aber2t =

Die Kette im ursprünglichen Rattenbeispiel ist ergodisch aber nicht regulär.

14

Beispiel: Ratte im Labyrinth2. Variation im Zustandsgraph

b

1 2 3(b‐1)/3 (b‐1)/3

b1

1 2 3(b‐1)/2 (b‐1

(b‐1

(b‐1

(b‐1

(b‐1

(b‐1)/3(b‐1)/4

1)/2

)/3

)/3

1)/4

1)/3

b

4 5 6(b‐1)/4(b‐1)/3(b (b(b (b(b(b

bb

(b 1)/2 (b 1)/2

b‐1)/2

b‐1)/2

b‐1)/3

b‐1)/3

b‐1)/3

b‐1)/4

7 8 9(b 1)/3 (b 1)/3

(b‐1)/2 (b‐1)/2

15

(b‐1)/3 (b‐1)/3b bb

Definitionen: Zustände

Ein Zustand heißt absorbierend wenn er nicht verlassenEin Zustand heißt absorbierend, wenn er nicht verlassen werden kann: 

k h ß b b d1jjp =

Eine Markov Kette heißt absorbierend, wenn sie mindestens einen absorbierenden Zustand hat und dieser von jedem transienten Zustand aus (in beliebig vielen Schritten) erreicht werden kann

In Variation 2 des Beispiels ist der Zustand 1 absorbierend. DieIn Variation 2 des Beispiels ist der Zustand 1 absorbierend. Die Markov Kette ist ebenfalls absorbierend 

Eine Markov Kette mit absorbierenden Zuständen kann weder lä h di h i

16

regulär noch ergodisch sein . 

Übergangsmatrix (Transition matrix)1 0 0 0 0 0 0 0 0

(1 ) / 3 (1 ) / 3 0 (1 ) / 3 0 0 0 00 (1 ) / 2 0 0 (1 ) / 2 0 0 0b b b b

b b b− − −

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟0 (1 ) / 2 0 0 (1 ) / 2 0 0 0

(1 ) / 3 0 0 (1 ) / 3 0 (1 ) / 3 0 00 (1 ) / 4 0 (1 ) / 4 (1 ) / 4 0 (1 ) / 4 0

b b bb b b b

Q b b b b b

− −− − −

= − − − −

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

( ) ( ) ( ) ( )0 0 (1 ) / 3 0 (1 ) / 3 0 0 (1 ) / 30 0 0 (1 ) / 2 0 0 (1 ) / 2 00 0 0 0 (1 ) / 3 0 (1 ) / 3 (1 ) / 3

Qb b b b

b b bb b b b

− − −− −

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0 0 0 0 (1 ) / 3 0 (1 ) / 3 (1 ) / 3

0 0 0 0 0 (b b b b− − −

1 ) / 2 0 (1 ) / 2b b b

⎜ ⎟⎜ ⎟⎜ ⎟− −⎝ ⎠

1 0 0 0 0 0 0 0 0⎛ ⎞1 0 0 0 0 0 0 0 00.3 0.1 0.3 0 0.3 0 0 0 00 0.45 0.1 0 0 0.45 0 0 0

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0.3 0 0 0.1 0.3 0 0.3 0 0

0 0.225 0 0.225 0.1 0.225 0 0.225 00 0 0 3 0 0 3 0 1 0 0 0 3

Q

⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟

für b = 0.10 0 0.3 0 0.3 0.1 0 0 0.30 0 0 0.45 0 0 0.1 0.45 00 0 0 0 0.3 0 0.3 0.1 0.3

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

17

0 0 0 0 0 0.45 0 0.45 0.1⎜ ⎟⎜ ⎟⎝ ⎠

Absorbierende ZuständeDurch Umsortieren der Reihenfolge, so dass die absorbierenden Zustände die letzten sind ergibt sich die kanonische Form:Zustände die letzten sind, ergibt sich die kanonische Form:

T RQ

⎛ ⎞⎜ ⎟

n

nT

Q⎛ ⎞•⎜ ⎟it

0Q

I⎜ ⎟=⎜ ⎟⎝ ⎠

0Q

I⎜ ⎟=⎜ ⎟⎝ ⎠

mit

Die Matrix 2 31( )N I T I T T T−= − = + + + +K

heißt Fundamentalmatrix. 

Die Reihe konvergiertDie Reihe konvergiert. 

Das Matrixelement        ist die erwartete Anzahl, wie oft sich die Kette im Zustand j befindet wenn sie im Zustand i gestartet wurde

ijnKette im Zustand j befindet, wenn sie im Zustand i gestartet wurde

18

Beispiel: Variation 2, Fundamentalmatrix1 0 0 0 0 0 0 0 0

0.3 0.1 0.3 0 0.3 0 0 0 0⎛ ⎞⎜ ⎟⎜ ⎟

0 0.45 0.1 0 0 0.45 0 0 00.3 0 0 0.1 0.3 0 0.3 0 00 0 225 0 0 225 0 1 0 225 0 0 225 0Q

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ für b = 0 1TR0 0.225 0 0.225 0.1 0.225 0 0.225 0

0 0 0.3 0 0.3 0.1 0 0 0.30 0 0 0.45 0 0 0.1 0.45 0

Q ⎜ ⎟=⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

für b = 0.1TR0 0 0 0 0.3 0 0.3 0.1 0.30 0 0 0 0 0.45 0 0.45 0.1

⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠

2.3611 1.3889 0.9722 2.2222 1.8056 0.8333 1.5278 1.11112 0833 2 7778 1 2500 2 7778 2 9167 1 1111 2 0833 1 6667

⎛ ⎞⎜ ⎟⎜ ⎟ 2.0833 2.7778 1.2500 2.7778 2.9167 1.1111 2.0833 1.6667

0.9722 0.8333 2.3611 2.22

N =

22 1.5278 1.3889 1.8056 1.1111 1.6667 1.3889 1.6667 3.8889 2.5000 1.3889 2.5000 1.6667

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟N =

1.8056 1.9444 1.5278 3.3333 4.0278 1.3889 2.6389 2.2222 1.2500 1.1111 2.0833 2.7778 2.0833 2.7778 2.9167 1.6667

1 5278 1 3889 1 8056 3 3333 2 6389 1 9444 4 0278 2 2222

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ 1.5278 1.3889 1.8056 3.3333 2.6389 1.9444 4.0278 2.2222

1.6667 1.6667 1.6667 3.3333 3.3333 1.6667 3.3333 3.3333⎜ ⎟⎜ ⎟⎝ ⎠

Erwartete Schrittzahl bis zur Absorption  2.3611 1.3889 0.9722 2.2222 1.8056 0.8333 1.5278 1.1111

2 0833 2 7778 1 2500 2 7778 2 9167 1 1111 2 0833 1 6667⎛ ⎞⎜ ⎟⎜ ⎟ 2.0833 2.7778 1.2500 2.7778 2.9167 1.1111 2.0833 1.6667

0.9722 0.8333 2.3611 2.22

N ≈

22 1.5278 1.3889 1.8056 1.1111 1.6667 1.3889 1.6667 3.8889 2.5000 1.3889 2.5000 1.6667

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟N ≈

1.8056 1.9444 1.5278 3.3333 4.0278 1.3889 2.6389 2.2222 1.2500 1.1111 2.0833 2.7778 2.0833 2.7778 2.9167 1.6667

1 5278 1 3889 1 8056 3 3333 2 6389 1 9444 4 0278 2 2222

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ 1.5278 1.3889 1.8056 3.3333 2.6389 1.9444 4.0278 2.2222

1.6667 1.6667 1.6667 3.3333 3.3333 1.6667 3.3333 3.3333⎜ ⎟⎜ ⎟⎝ ⎠

Start in 9und so viele SchritteIm Zustand 3  bis zur Absorption

Die  Zeilensumme gibt die erwartete Anzahl von Schritten 

Die Kette war so viele Schritte

bis zur Absorption, wenn in 9 gestartet wurde 

viele SchritteIm Zustand 2  bis zur Absorption

20

Erwartete Schrittzahl bis zur Absorption  2.3611 1.3889 0.9722 2.2222 1.8056 0.8333 1.5278 1.1111

2 0833 2 7778 1 2500 2 7778 2 9167 1 1111 2 0833 1 6667⎛ ⎞⎜ ⎟⎜ ⎟ 2.0833 2.7778 1.2500 2.7778 2.9167 1.1111 2.0833 1.6667

0.9722 0.8333 2.3611 2.22

N ≈

22 1.5278 1.3889 1.8056 1.1111 1.6667 1.3889 1.6667 3.8889 2.5000 1.3889 2.5000 1.6667

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟N ≈

1.8056 1.9444 1.5278 3.3333 4.0278 1.3889 2.6389 2.2222 1.2500 1.1111 2.0833 2.7778 2.0833 2.7778 2.9167 1.6667

1 5278 1 3889 1 8056 3 3333 2 6389 1 9444 4 0278 2 2222

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ 1.5278 1.3889 1.8056 3.3333 2.6389 1.9444 4.0278 2.2222

1.6667 1.6667 1.6667 3.3333 3.3333 1.6667 3.3333 3.3333⎜ ⎟⎜ ⎟⎝ ⎠

Die  Zeilensumme gibt die erwartete Anzahl von Schritten 1⎛ ⎞

⎜ ⎟

Dies ist der Vektor dieser Zeilensummen

bis zur Absorption, wenn in 9 gestartet wurde 

1t N ⎜ ⎟= ⎜ ⎟

⎜ ⎟⎝ ⎠

M

Bei gegebenen Anfangswahrscheinlichkeiten der nicht absorbierenden Zustände ist die erwartete Schrittzahl zur Absorption:

t (0)tr TP t

Erwartete Schrittzahl bis zur Absorption 

2 3112 2222⎛ ⎞ 2 3112.2222 16.66670

12.222216.666712.2222

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

4 5 616.666718.8889

t

⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟⎜ ⎟ 4 5 6

12.2222 16.6667 18.666716.666718.8889

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

7 8 920.0000⎜ ⎟⎝ ⎠

7 8 916.6667 18.6667 20

12.222216.666712.2222

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟16.66671 1 1 1 1 1 1 1(0) 14.691418.88899 9 9 9 9 9 9 916 6667

tr TP t⎜ ⎟

⎛ ⎞⎜ ⎟= =⎜ ⎟⎜ ⎟⎝ ⎠⎜ ⎟⎜ ⎟

22

16.666718.888920.0000

⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠

Eigenschaften regulärer Markov Ketten 

sind ergodischsind ergodisch,

haben keine periodischen oder absorbierenden Zustände

Für               konvergiert die Matrix       gegen eine Matrixmit identischen Zeilen n →∞ nQ

W TwDer Vektor      gibt die stationäre Wahrscheinlichkeit der Zustände an, d.h. wenn nach sehr vielen Schritten

TwZustände an, d.h. wenn nach sehr vielen Schritten nachgesehen wird, ob die Ratte in Raum i ist, dann ist dies mit der Wahrscheinlichkeit der Fall.iwder Wahrscheinlichkeit      der Fall.

ist unabhängig von der Anfangsverteilung der Wahrscheinlichkeiten

iwTw

(0)PWahrscheinlichkeiten 

ist ein Fixvektor für die Abbildung mit       und eindeutig:(0)P

Tw TQ

23

Tw Q w=

Variation 1 des Rattenbeispiels: Nach sehr vielen Schritten, auch für beliebig kleine b

a a a a a a a a a⎛ ⎞ a⎛ ⎞c c c c c c c c ca a a a a a a a a

a a a a a a a a a

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟

112

a ≈ca

a

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟

( )10000 QT

c c c c c c c c c

c c c c c c c c cb b b b b b b b b⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟

112

6b ≈

c

cbw⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟c c

a a a a a a a a ac c c c c c c

c c c c c c c c c

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠

816

c ≈

c

ca⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠a a a a a a a a a⎜ ⎟

⎝ ⎠ a⎜ ⎟⎝ ⎠

Dies sind ungefähre Werte Gibt es auch eineDies sind ungefähre Werte. Gibt es auch eine Berechnungsvorschrift für die stationäre Verteilung?

24

Stationäre Wahrscheinlichkeitsverteilungdurch „Raten“ und überprüfen: 

4 Eingänge bei 5

3 Eingänge bei 2 4 6 83 Eingänge bei 2, 4, 6, 8

2 Eingänge bei 1, 3, 7, 9

Insgesamt 4 + 4*3 +4*2 = 24

Vermutete stationäre Aufenthaltswahrscheinlichkeit:

Mitte: 4/24 = 1/6 Kante: 3/24=1/8 Ecke: 2/24=1/12Mitte: 4/24 = 1/6, Kante: 3/24=1/8, Ecke: 2/24=1/12

Einsetzen in                   zeigt, dass die Gleichung mit diesen Wk füll i Al i d f d V k di i ä

Tw Q w=Wk erfüllt ist. Also ist der gefundene Vektor die stationäre Wk‐Verteilung.

25

Berechnung der stationären Verteilung

TQ (1 1) 1Tw Q w= (1 1) 1w =Lunter der Nebenbedingung

1 1 1⎛ ⎞ ⎛ ⎞1 1 1w

⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟=⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟

L

M O M M

1 1 1⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠L

U w e=

Z ibt d

( )TQ I U w e− + = ( ) 1Tw Q I U e−

= − +

Zusammen ergibt das:

( ) ( )Q

26

Reguläre Markov‐Ketten

Nach wie vielen erwarteten Schritten mij geht die Kette jbeim Start im Zustand i in den Zustand j ? (mean first passage time)

Wird j vorübergehend als absorbierender Zustand betrachtet, kann der Rest der Berechnung der Schrittzahl bis zur Absorption durchgeführt werden, um die Antwort zu erhalten

Wie viele Schritte  ri braucht die Kette, um vom Zustand iiaus in den Zustand i zurückzukehren? (recurrence time)

Die erwartete Schrittzahl  wird durch die Kehrwerte der stationäre Aufenthaltswahrscheinlichkeiten gegeben.

1 1 1 1 1 1 1 1 1w ⎛ ⎞⎜ ⎟12 8 12 8 6 8 12 8 12

w = ⎜ ⎟⎝ ⎠

27( )12 8 12 8 6 8 12 8 12r =

Reguläre Markov‐Ketten

Fundamentalmatrix einer regulären Markov‐Kette:

( ) 1Z I Q W

−

= − +

Nach wie vielen erwarteten Schritten mij geht die Kette b i St t i Z t d i i d Z t d j ?

( )

beim Start im Zustand i in den Zustand j ? (mean first passage time)

Wird j vorübergehend als absorbierender Zustand betrachtet, kann der Rest der Berechnung der Schrittzahl bis zur Absorption durchgeführt werden um die Antwort zu erhaltendurchgeführt werden, um die Antwort zu erhalten

Oder kann über die Fundamentalmatrix mitz z−

berechnet werden

jj ijij

j

z zm

w−

=

28

berechnet werden.

Rattenbeispiel (Variation1, regulär):

0 6 7 16 7 6 7 6 7 13 3 16 7 13 3 20 0⎛ ⎞0 6.7 16.7 6.7 6.7 13.3 16.7 13.3 20.012.2 0 12.2 11.1 5.6 11.1 18.9 13.3 18.9⎛ ⎞⎜ ⎟⎜ ⎟16.7 6.7 0 13.3 6.7 6.7 20.0 13.3 16.712 2 11 1 18 9 0 5 6 13 3 12 2 11 1 18 9

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟12.2 11.1 18.9 0 5.6 13.3 12.2 11.1 18.916.7 10.0 16.7 10.0 0 10.0 16.7 10.0 16.7M =⎜ ⎟⎜ ⎟⎜ ⎟18.9 11.1 12.2 13.3 5.6 0 18.9 11.1 12.216.7 13.3 20.0 6.7 6.7 13.3 0 6.7 16.7

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟18.9 13.3 18.9 11.1 5.6 11.1 12.2 0 12.2

20 0 13 3 16 7 13 3 6 7 6 7 16 7 6 7 0

⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠20.0 13.3 16.7 13.3 6.7 6.7 16.7 6.7 0⎜ ⎟⎝ ⎠

29

( )12 8 12 8 6 8 12 8 12r =

Rattenbeispiel (ursprünglich, nicht regulär):

0 6 15 6 6 12 15 12 18⎛ ⎞0 6 15 6 6 12 15 12 1811 0 11 10 5 10 17 12 17⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟15 6 0 12 6 6 18 12 1511 10 17 0 5 12 11 10 17⎜ ⎟⎜ ⎟⎜ ⎟15 9 15 9 0 9 15 9 1517 10 11 12 5 0 17 10 11

M⎜ ⎟⎜ ⎟=⎜ ⎟17 10 11 12 5 0 17 10 1115 12 18 6 6 12 0 6 15

⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟17 12 17 10 5 10 11 0 1118 12 15 12 6 6 15 6 0

⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠18 12 15 12 6 6 15 6 0⎝ ⎠

( )12 8 12 8 6 8 12 8 12r30

( )12 8 12 8 6 8 12 8 12r =

Beispiel: Google PageRank

W b Webpage0 33Problem:

Webpage A

Webpage B

0.33

0.33

1 0

Absorbierende Zustände (Dangling Links)

0 330.50

1.0(Dangling Links)

Webpage D

0.33

0.50

Webpage C

W b 1 0Webpage E

1.0

31

1.0

Beispiel: Google PageRank

W b Webpage0 33

0.2

Webpage A

Webpage B

0.33

0.33

1 0

0.2

0 330.50

1.0

Webpage D

0.33

0.50

Webpage C

W b

0.2

Webpage E

0.20.2

32

1.0

Übergangsmatrix aufstellen

0 0.33 0.33 0 0.33⎛ ⎞⎜ ⎟0 0 0 1.0 0

0 5 0 0 0 5 0LinkQ

⎜ ⎟⎜ ⎟

= ⎜ ⎟0.5 0 0 0.5 00.2 0.2 0.2 0.2 0.2

Q = ⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0 0 1.0 0 0⎜ ⎟⎜ ⎟⎝ ⎠

33

Beispiel: Google PageRank

W b Webpage0 33

0.2

Webpage A

Webpage B

0.33

0.33

1 0

0.2

0 330.50

1.0

Webpage D

0.33

0.50

Webpage C

W b

0.2

Webpage E

0.20.2

34

1.0

Beispiel: Google PageRank

Alternativmodell: Zufälliger Wechsel zwischen denAlternativmodell: Zufälliger Wechsel zwischen den Webseiten ohne Beachtung von Links

hl b b kAuswahl einer bestimmten Webseite kmit Wahrscheinlichkeit vk (personalization vector)

Übergangsmatrix: 1Zufall TQ v

⎛ ⎞⎜ ⎟= ⎜ ⎟M1

Q v= ⎜ ⎟⎜ ⎟⎝ ⎠

M

35

Übergangsmatrix aufstellen

0 2 0 2 0 2 0 2 0 2⎛ ⎞0.2 0.2 0.2 0.2 0.20.2 0.2 0.2 0.2 0.2

Zufall

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟0.2 0.2 0.2 0.2 0.2

0.2 0.2 0.2 0.2 0.2

ZufallQ = ⎜ ⎟⎜ ⎟⎜ ⎟

0.2 0.2 0.2 0.2 0.2⎜ ⎟⎜ ⎟⎝ ⎠

Dann ist auch die folgende Matrix eine stochastische Matrix:Matrix:

(1 )Google Link ZufallQ Q Qα α= + − [0,1]α ∈

36

Google PageRank

Die stationäre Aufenthaltswahrscheinlichkeit diesesDie stationäre Aufenthaltswahrscheinlichkeit dieses Zufalls‐Surfers auf der Webseite bestimmt den PageRank

B h üb It ti ( )nGoogleQBerechnung über Iteration von 

Im Beispiel:( )GoogleQ

0.1874⎛ ⎞⎜ ⎟

0.99α =0.12550 2498w

⎜ ⎟⎜ ⎟⎜ ⎟ für

( )0.2 0.2 0.2 0.2 0.2v =0.24980.3117

w = ⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟

für

0.1255⎜ ⎟⎜ ⎟⎝ ⎠

37

Beispiel: Texte aus Markov‐Ketten

1. Ordnung:t I amy, vin. id wht omanly heay atuss n macon aresethe hired boutwhe t, tl, ad torurest t plur I wit hengamind tarer-plarody thishand.

2. OrdnungTher I the heingoind of-pleat, blur it dwere wing waske hat trooss. Yout lar on wassing, an sit." "Yould," "I that vide was nots ther.

3. OrdnungI has them the saw the secorrow. And wintails on my my ent, thinks, fore

f fvoyager lanated the been elsed helder was of him a very free bottlemarkable,

4.OrdnungHi h d " "E tl h l d t bl d b H ki ! Th t it f thHis heard." "Exactly he very glad trouble, and by Hopkins! That it on of thewho difficentralia. He rushed likely?" "Blood night that.

Quelle: http://www.codinghorror.com/blog/2008/06/markov‐and‐you.html

38http://www.beetleinabox.com/mkv_input.html

Hidden Markov‐Models (HMM)

0,3 0 9

1 2 31,0 0,1

0,9

1 2 3

0,7

,

1,00,10,8

0,1

A B C0,60,1

0,2,

Nur die emittierten Symbole A, B, und C sind beobachtbarZusätzlich Matrix  E der Emissionswahrscheinlichkeiten

{ | }e P Y y X x= = =39

{ | }ij j ie P Y y X x= = =