III: Stochastische Modelle18. Anwendungen von Markov-Ketten

18.1 Beispiele zur Wiederholung

18.2 Typen von Markov-Ketten und

ihr Grenzverhalten

18.3 Stationäre Verteilung

18.4 Beispiele für stationäre Verteilungen

18.5 Andere Matrix-Modelle

18.1 Beispiele zur Wiederholung

Beispiel 1. Anton und Bert spielen ein Spiel, beiBeispiel 1. Anton und Bert spielen ein Spiel, bei

dem Anton 20 % Gewinnchance hat und Bert 10% .dem Anton 20 % Gewinnchance hat und Bert 10% .

In den verbleibenden 70% aller Fälle endet dasIn den verbleibenden 70% aller Fälle endet das

Spiel unentschieden und wird wiederholt, bis einerSpiel unentschieden und wird wiederholt, bis einer

gewinnt. gewinnt.

a)a) Wie sind die Gewinnchancen beider Spieler?Wie sind die Gewinnchancen beider Spieler?

b)b) Wie lange dauert das Spiel im Durchschnitt?Wie lange dauert das Spiel im Durchschnitt?

Beispiel 2. Eine Kapitalgesellschaft verleiht Risikokapital an Firmen im

Hochtechnologiebereich. Jede Woche verdientsie damit eine Million Zinsen, jedoch kommt es

durchschnittlich einmal in 20 Wochen vor, dass 10 Millionen verloren gehen, z.B. durch

Konkurs eines Schuldners.a) wie entwickelt sich das Vermögen der

Gesellschaft im Durchschnitt?b) Wie groß ist das 5 % -Quantil (Value-at-risk)

der Einnahmen der Gesellschaft nach 4 Wochen? (Nutzen Sie die Binomialverteilung!)

18.2 Typen von Markov-Ketten1. Absorbierende Markov-Ketten: jeder Zustand

führt über mehrere Pfeile zu einem Endzustand.

2. Irreduzible Markov-Ketten: es gibt ein n , so dass die Matrix P nur aus positiven Elementen besteht. Mit anderen Worten, man kann in n Schritten von jedem Zustand zu jedem anderen kommen.

3. Periodische Markov-Ketten: es gibt eine Zahl K>1 (Periode), so dass man nur mit Vielfachen von K Schritten von einem Zustand i zu diesem Zustand zurück kommt. (selten in Praxis)

n

18.2 Grenzverhalten von Markov-Ketten

1. Absorbierende Markov-Ketten: für große n wird P in den meisten Spalten 0.

Nur die Spalten für die Endzustände enthalten

positive Zahlen, und zwar die ‚‚Gewinnw.‘‘.

2. Irreduzible Markov-Ketten beschreiben Kreisläufe. P hat für große n lauter gleiche Zeilen: jede stellt die stationäre Verteilung dar.

3. Periodische Markov-Ketten: P wechselt

zwischen verschiedenen Matrizen hin und her.

n

n

n

18.3 Definition. Die Verteilung u heißt stationär für die Übergangsmatrix P wenn gilt

Dies ist ein lineares Gleichungssystem mitm Gleichungen. Eine Gleichung wird weggelassen

und durch folgende ersetzt:

Einfachere Gleichungen erhält man oft dadurch, dassman die in eine Menge A von Zuständenhineinführende und herausführende ‚‚Masse‘‘

gleichsetzt. Im folgenden Beispiel besteht die Menge A aus einem Zustand.

Puu

1...1 muu

Beispiel 3: In einem Arbeitsamt können jeden Monat 5 % aller Arbeitslosen vermittelt werden,

andererseits werden aber auch 1 % der Beschäftigten entlassen. Auf welchen Stand

pegelt sich die Arbeitslosigkeit ein ?

Übergangsgraph:A arbeitslos, B beschäftigt

0.05

0.01

0.950.99

A B

1

01,005,0

BA

BA

uu

uuDie Gleichung besagt, dass durch die angezeigte Kontrollstelle genauso viel nach rechts fliesst wie nach links. 6/5,6/1 BA uu

18.3 Existenz stationärer Verteilungen

1. Jede Markov-Kette besitzt eine stationäre Verteilung (das kommt daher dass jede Zeilensumme gleich Eins ist).

2. Bei einer absorbierenden Markov-Kette bildet jeder Endzustand eine stationäre Verteilung.

3. Bei einer irreduziblen Markov-Kette gibt es genau eine stationäre Verteilung, die sich als Grenzverteilung unabhängig vom Startzustand einpegelt.

18.4 Bedienungstheorie: an einem Schalter kommen pro Zeiteinheit Kunden, und

Kunden werden abgefertigt.

0 1 2

Der Zustand ist hier die Anzahl derKunden (Länge der Warteschlange).Für die stationäre Verteilung gilt:

Für den Auslastungskoeffizienten erhält man

1

10

kk uu

uu

100 ,1 kkk

k uuu

Beispiel 4. In einer Autowerkstatt kann pro Tag nur eine große Durchsicht durchgeführt werden, wenn der Wagen morgens da ist. Im Durchschnitt kommen jeden 2. Tag Kunden für große Durchsicht, und dann kommt entweder einer oder zwei Kunden zugleich, die ihren Wagen da lassen. Mit welcher Wartezeit ist im Durchschnitt zu rechnen? Wieviel Parkplätze sollte man für die Kunden haben?

Lösung: 1. Modell aufstellen (Graph, Matrix) 2. Bestimmung der stationären Verteilung 3. Mittelwert und Quantile dieser Verteilung

Beispiel 5. In einem Chemiebetrieb fällt im Durchschnitt alle 30 Tage eine Anlage aus. Der

Monteur braucht immer einen Tag für die Reparatur. Ein Monteur kostet pro Jahr 50000 €,

ein Tag Stillstand der Anlage 500000 €. Soll man sich zwei Monteure leisten?

Lösung: 1. Bestimmung des Modells

2. Stationäre Verteilung für beide Varianten

3. Kosten – Nutzen - Rechnung

Lösung für Beispiel 5

1 Monteur:

vereinfachende

Annahme: keine 2 Ausfälle an einem Tag.

Aber während der Reparatur kann weitere Maschine ausfallen.

Stationäre Verteilung:

Erwartete jährliche Kosten: 50000 für Monteur

365 mal 1/30 mal 500000 = 6 083 333 Stillstand

1/30

29/30

29/301/30

0 1

30

29)(

30

29),( 10010 uuuuuu

2 Monteure:

Unterschied:

2. Maschine fällt nicht zusätzlich aus.

Stationäre Verteilung:

Erwartete jährliche Kosten: 100 000 für Monteure

365 mal 1/31 mal 500 000 = 5 887 097 Stillstand

Diese Variante ist 150 000 € billiger !

1/30

1

29/300 1

31

301

30

29),( 00010 uuuuuu

(Markov-Ketten für Risiko – Geschäfte, (Markov-Ketten für Risiko – Geschäfte, Warteschlangen, Lagerhaltung ...)Warteschlangen, Lagerhaltung ...)

-- Der Mittelwert ist immer die erste Kenngröße-- Der Mittelwert ist immer die erste Kenngröße (mittlerer Gewinn, durchschnittliche Länge der(mittlerer Gewinn, durchschnittliche Länge der Warteschlange, mittlere Wartezeit ...)Warteschlange, mittlere Wartezeit ...)-- Daneben ist auch die Streuung zu beachten, die-- Daneben ist auch die Streuung zu beachten, die sich durch zufällige Unterschiede ergibt (Ruin-W.,sich durch zufällige Unterschiede ergibt (Ruin-W., Überlastung des Bediensystems) Überlastung des Bediensystems) Reserven lassen!Reserven lassen!

18.4 Zusammenfassung der Beispiele:

Das Input-Output Modell von Leontief.Frage: gibt es in einer verflochtenen Wirtschaft zu jeder Nachfrage eine passende Produktionsstruktur ?Einfache Annahmen: m Betriebe , Betrieb i

stellt x Einheiten einer Ware her. Pro Einheit der Ware i werden dazu q Einheiten der Ware j vom Betrieb j benötigt. Auf dem Markt sind c Einheiten der Ware i nachgefragt.

Wieviel muss produziert werden? (i=1,...,m)

18.5 Andere Matrix-Modelle

i

i

i j

Matrixansatz für das Leontief-Modell.

Dieses lineare Gleichungssystem kann wie üblich gelöstwerden oder durch Iteration, wobei sich für den Startvektorx=0 folgende Lösung ergibt:

Wenn als Einheit für die Waren der Wert in Euro gewählt wird, muss die Matrix Q Zeilensummen <1 haben, damit

die Betriebe nicht mit Verlust arbeiten. Dann gibt es eine eindeutige Lösung x, und das Problem kann als eine Art

Markov-Kette gesehen werden. Die Pfeile entsprechen der Anforderung, dem Transport der Waren entgegengerichtet.

m

ikikik

ij

cqxxhd

qQmitcQxx

1

..

)(

...2 cQcQcx

Beispiel 6: Wir betrachten den Energiesektor und den Maschinenbausektor. Für die Produktion einer Einheit Energie werde 0,1 Einheit Energie verbraucht und 0,1 Einheit Maschinen verschlissen, für Maschinen seiendie Koeffizienten 0,3 und 0,4. Der Markt braucht 100

Einheiten Maschinen und 200 Einheiten Energie. 0.1

0.3

0.10.4

E M

1004,01,0

2003,01,0

MEM

MEE

xxx

xxx

7,215,1,294 ME xx

18.5 Das Leslie-Modell für Populationen in Altersklassen.

Gegeben sind die jährlichen Überlebensraten ü für jedes Alter i=0,1,...100 sowie die Fruchtbarkeitsraten f für Mütterim Alter i=13,...,53. Die absolute Häufigkeit in den Altersklassen i zur Zeit n wird mit a bezeichnet. Sie ist zurZeit n=0 bekannt und soll für die folgenden Jahre prognosti-ziert werden. Dabei wird von gleichbleibender Sterblichkeitund Fruchtbarkeit ausgegangen, Zu- und Abwanderungwerden nicht berücksichtigt.

53

13

10

11 ,...,1,0

i

nii

nnkk

nk afakfüraüa

i

ii

n

In Matrixform lautet die Gleichung

........0

0

0

0

000

00

00

000

4

33

22

11

0

1

f

üf

üf

üf

ü

MmitMaMaa nonn

s lässt sich nun zeigen, dass eine positive Zahl existiert, so dass a / für große n gegen einen Vektor a* konvergiert. Die Zahl ist die jährlicheRate des Bevölkerungswachstums (= 1 konstant, wachsend, schrumpfend). Der Vektor a* stellt die stabile Altersklassenstruktur dar.

n n

Beispiel 7. Bevölkerung Deutschlands

Für die deutsche Bevölkerung rechnen wir mit 7 Altersklassen 0,1,2,...,6, jede a 15 Jahre. Die Überlebensw. seien 98, 99, 96, 90 ,70, 40 und 0 % . Eine Frau der Altersklasse 1 bekommt im Mittel 0,5 Töchter, eine Frau der Altersklasse 2 nur 0,25.

Bestimmen Sie und a* !

Beispiel 8. Zuwanderung

Sagen wir, in Deutschland leben ungefähr 75

Millionen Deutsche und 5 Millionen Ausländer.

Wir nehmen an, jedes Jahr kommen a=100 000

Einwanderer. Außerdem haben die Ausländer

eine Zuwachsrate von 1 % pro Jahr während

die deutsche Bevölkerung rückläufig ist: -0,2 %.

Frage: Mit welchen Gleichungen bestimmt man das Verhältnis zwischen Eingesessenen und Eingewanderten für die nächsten 50 Jahre ?