2) Diskrete Modellierung und - in.tum.de · • Regel 5: ¬∃i : xP iy ⇔xPy ∀(x,y),∀R...

Entscheidungsmodelle: . . .

Reihenfolgeprobleme: . . .

Diskrete . . .

of 93

Modellbildung und Simulation

2. Diskrete Modellierung undSimulation

Hans-Joachim Bungartz

2) Diskrete Modellierung undSimulation

http://www5.in.tum.de/persons/bungartz.html



Diskrete . . .

of 93




2.1. Entscheidungsmodelle: Spiele, Strategien, Wahlen

2.1.1. Ein allgemeines Entscheidungsmodell

• Entscheidungen können erfolgen unter

– Gewissheit(alle Bedingungen/Konsequenzen etc. bekannt)

– Risiko (Bedingungen mit bestimmter Wahrscheinlichkeit bekannt)

– Ungewissheit(Bedingungen unbekannt)

• Modell:

– ein Entscheider oder Spieler S

– m mögliche alternative Aktionen A1, . . . , Am

– n mögliche Ausgangszustände s1, . . . , sn

– Nutzen oder Bewertung Nij ∈ IR für Aktion Ai im Zustand sj

– Nutzenmatrix

N = (Nij)1≤i≤m,1≤j≤n

• Strategie bei Gewissheit über Ausgangszustand klar:

– wähle i ∈ {1, . . . ,m} so, dass gilt Nij = maxi Nij




Diskrete . . .

of 93




Strategien unter Risiko

• mehrere Möglichkeiten bei fehlender Gewissheit:1. Vorsicht (Max-Min-Nutzen): wähle i ∈ {1, . . . ,m} so, dass gilt

Ni,ji= maxi minj Nij

(der minimal (d.h. bei jeweils angenommenem denkbar schlechtem Zustandj) mögliche Nutzen wird maximiert über alle möglichen Strategien i )2. volles Risiko (Max-Max-Nutzen): wähle i ∈ {1, . . . ,m} so, dass gilt

Ni,ji= maxi maxj Nij

(der maximal (d.h. bei jeweils angenommenem optimalem Zustand j) mög-liche Nutzen wird maximiert über alle möglichen Strategien i)3. Alternativ-Vorsicht (Min-Max-Risiko) : wähle Strategie so, dass gilt

Ri,ji= mini maxj Rij

Nj = maxi Nij (maximaler Nutzen im Zustand j)Rij = Nj −Nij (Risiko bei Aktion i im Zustand j)




Diskrete . . .

of 93




Strategien unter Risiko (2)

• Beispiel: m = n = 2, N11 = 0, N21 = N22 = 1, N12 = 100

– Nutzenmatrix, Risikomatrix?

– Wer entscheidet sich wie?

* Zocker und Risikominimierer wählen erstaunlicherweise beide Ak-tion 1!

* Nutzenmaximierer wählt Aktion 2!

• weitere mögliche Strategien:

– Pessimismus-Optimismus:definiere

mi = minj

Nij , Mi = maxj

Nij , α ∈ [0, 1]

wähle Aktion so, dass α ·mi + (1− α) ·Mi maximal!(Mix aus bestmöglichem und schlechtestmöglichem Zustand wird an-genommen)

– Prinzip des unzureichenden Grunds: wenn nichts bekannt ist, dannsollte man von Gleichverteilung der Zustände ausgehen, also denErwartungswert des Nutzens bei Gleichverteilung maximieren:

Ei = maxi1n ·

∑j Nij




Diskrete . . .

of 93




2.1.2. Zwei-Personen-Nullsummenspiele

• jetzt: betrachte statt statischer Zustände Aktionen eines zweiten Spielers

• dies ergibt Interessenkonflikte!

• Unterschied zu vorher: beide Spieler agieren!

• Modell:

– „Gewinnspieler“ S1 mit m möglichen Aktionen A1, . . . , Am

– „Verlustspieler“ S2 mit n möglichen Aktionen B1, . . . , Bn

– Bewertung, falls S1 Aktion i und S2 Aktion j spielen:aij , zu interpretieren als Auszahlung vonS2 an S1 (daher die Bezeich-nungen Gewinn- und Verlustspieler)

– alle Bewertungen sind beiden Spielern bekannt

• Verhalten bei alternierendem Spiel:S1 : Ai ⇒ S2 : Bji

, ai,ji= minj aij

S2 : Bj ⇒ S1 : Aij , aij ,j = maxi aij




Diskrete . . .

of 93




Verhalten bei gleichzeitigem Spiel

• Annahme: beide Spieler agieren vorsichtig

– S1: garantierten Gewinn (bei „genialem“ S2) maximierenS1 : ai,ji

= maxi minj aij (1)

– S2: garantierten Verlust (bei „genialem“ S1) minimieren:S2 : aij ,j = minj maxi aij (2)

– daraus folgt ai,ji= minj ai,j ≤ ai,j ≤ maxi ai,j = aij ,j

und somitai,ji

≤ ai,j ≤ aij ,j

• zur Ungleichung:

– bei „echt kleiner“ besteht Anreiz zum Strategiewechsel– bei „gleich“ besteht kein Grund zum Strategiewechsel (kein Spieler kann

sich verbessern, stabiles Gleichgewicht):

ai,j ≥ ai,ji

(1)

= ai,j = aij ,j ≥ ai,j

(2)

ai,j ≥ ai,j ≥ ai,j ∀i, j

S1 kann Auszahlung durch

Strategiewechsel nur verringern,

S2 kann sie nur erhöhen; somit

kein Interesse and Wechsel !




Diskrete . . .

of 93




Gleichzeitiges Spiel (2)

• umgekehrt: liegt letztere Situation vor, so giltmaxi minj aij = ai,j = minj maxi aij

– Man spricht von einer Gleichgewichtslösungbzw. von einem Sattelpunkt.

• ein martialisches Beispiel: Schlacht in der Bismarck-See (Gebiet zwischenNeu-Britannien und Neu-Guinea im Pazifik) im Zweiten Weltkrieg am 2.März1943

– Japaner wollen Truppen auf Neu-Guinea von Neu-Britannien aus miteinem Nachschubkonvoi entsetzen

– 2 Routen stehen zur Auswahl (Nord- und Südroute); beide erfordern 3Tage Fahrt; welche Route soll gewählt werden?

– Amerikaner wollen Konvoi per Luftaufklärung orten und dann versen-ken; wohin sollen Aufklärer geschickt werden?

– Im Norden sind Wetter und Sicht schlecht, im Süden gut.

– „Auszahlung“: Tage mit möglicher Bombardierung (0/1/2/3)

– ergibt Sattelpunktspiel; optimale Strategie war für beide die Nordroute,Fall trat ein

Japan

N S

N 2 2S 1 3

USA




Diskrete . . .

of 93




Gemischte Strategien

• Problem: nicht jedes 2-Personen-Nullsummenspiel hat einen Sattelpunkt (d.h.ein optimales Strategienpaar)

• Abhilfe: gemischte Strategien(nach John von Neumann)S1 : (p1A1, . . . , pmAm), pi ≥ 0,

∑i pi = 1

S2 : (q1B1, . . . , qnBn), qj ≥ 0,∑

j qj = 1

– Wahrscheinlichkeiten im Spiel!

– Auszahlung ist jetzt Erwartungswert:

a(p, q) =∑i,j

piaijqj

– theoretisches Resultat: Jetzt gibt’s immer Sattelpunkt!

– Konstruktion z.B. über lineare Optimierung

– man sieht: Randomisierung bringt Lösbarkeit!

– allerdings: praktische Realisierung (bei nur einmaligem Spiel)?

• komplizierter sind Spiele mit unvollständiger Information (hier nicht weiteruntersucht)




Diskrete . . .

of 93




2.1.3. Gruppenentscheidungen

• Frage: Wie kommt man von den bisher betrachteten Individualentscheidun-genzu einer Entscheidung des Kollektivs ?

• konkret am Beispiel von Wahlen

• Rüstzeug für das Modell: Theorie der Relationen

– Relation R auf einer Trägermenge X : R ⊆ X2 = X ×X

– man schreibt (x, y) ∈ R oder xRy

– Eigenschaften von Relationen:

* reflexiv: xRx für alle x

* transitiv : aus xRy und yRz folgt xRz

* symmetrisch: wenn xRy, dann auch yRx

* antisymmetrisch: aus xRy und yRx folgt x = y

* asymmetrisch: wenn xRy, dann nicht yRx

* konnex: wenn nicht xRy , dann aber yRx(allgemeine Vergleichbarkeit)




Diskrete . . .

of 93




Wahlmodell

• besondere Relationen (vgl. mit =,<, ≤ auf IR ):

– Quasiordnung: reflexive und transitive Relation

– Äquivalenz: symmetrische Quasiordnung

– Halbordnung: antisymmetrische Quasiordnung

– Totalordnung: konnexe Halbordnung

• Wahlmodell:

– endliche Kandidatenmenge X

– endliche Wählermenge I = {1, . . . , n}

– Menge aller Relationen auf X: B = Pot(X2)

– Menge aller konnexen Quasiordnungen (das sind ganz vernünftige In-dividualpräferenzen): A ⊆ B

– kollektive Auswahlfunktion : f : An → B, (R1, . . . , Rn) 7→ R

– genau das passiert bei bzw. nach einer Wahl: abhängig von den Indivi-dualpräferenzen der Wähler wird die Präferenz der Gesamtheit festge-legt!




Diskrete . . .

of 93




Mehrheitsentscheid

• klingt doch ganz vernünftig:

– definiere N(x, y) als Anzahl der Wähler mit xRiy

– Mehrheitsrelation xMy ⇔ N(x, y) ≥ N(y, x)

– MehrheitsentscheidungsfunktionfM (R1 . . . , Rn) = M

– M ist immer reflexiv und konnex (Stimmen zählen geht immer), abernicht immer transitiv, wie das folgende sogenannte Abstimmungspara-doxon zeigt:

X = {a, b, c}, I = {1, 2, 3}

R1 ={(a, b), (b, c), (a, c), (a, a), (b, b), (c, c)

}R2 =

{(c, a), (a, b), (c, b), (a, a), (b, b), (c, c)

}R3 =

{(b, c), (c, a), (b, a), (a, a), (b, b), (c, c)

}– Alle Individualpräferenzen sind sogar Totalordnungen!

– Dennoch hat die kollektive Mehrheitsrelation einen Zyklus:

M ={(a, b), (b, c), (c, a), (a, a), (b, b), (c, c)

}




Diskrete . . .

of 93




Mehrheitsentscheid (2)

• man sieht:

– M enthält einen Zyklus, die Transitivität ist verletzt

– somit ist kein vernünftiges mehrheitsbasiertes Kollektivverhalten mög-lich (obwohl alle Wähler individuell vernünftig!)

– Sind Mehrheitsentscheid oder Demokratie unlogisch?

• Alternativen:

– externer Diktator :

fD(R1, . . . , Rn) = S ∈ A ∀Ri ∈ A

– interner Dominator :

fS(R1, . . . , Rn) = Rj ∀Ri ∈ A

– beide liefern „vernünftige“ Resultate, sind aber aus anderen Gründenkaum erstrebenswert

– Gibt’s demokratische Alternativen zu M ?

• dazu: leite allgemeines Modell für demokratische Wahl her

– axiomatische Annäherung, „5 demokratische Grundregeln“




Diskrete . . .

of 93




Demokratische Grundregeln

• Regel 1: es muss ein auf ganz A definiertes f geben

– individuelle Freiheit der Entscheidung: jede konnexe Quasiordnung isterlaubt

• Regel 2: f muss stets konnexe Quasiordnung liefern

– keine zyklische Kollektivpräferenz wie zuvor

• Regel 3: sei P zu R die echte Präferenz (> statt ≥ )

∀(x, y) ∈ X2 : xPiy ∀i ⇒ xPy

– Hoheit des Kollektivs: Jedes Ergebnis P ist möglich, wenn sich alleeinig sind (Einstimmigkeit setzt sich durch)

• Regel 4:

∀R1, . . . , Rn, Q1, . . . , Qn : xRiy ⇔ xQiy ∀i ⇒ xRy ⇔ xQy

– Unabhängigkeit von irrelevanten Alternativen: 2 Wahlgänge mit identi-schem Abstimmungsverhalten bzgl. x und y führen zum selben Kollek-tivergebnis bzgl. x und y.




Diskrete . . .

of 93




Demokratische Grundregeln (2)

• Regel 5: ¬∃i : xPiy ⇔ xPy ∀(x, y),∀R1, . . . , Rn

– Ausschluss des Diktators: kein Wähler setzt sich immer durch

• zurück zur Mehrheitswahl:

– sie erfüllt alle Regeln bis auf Regel 2

– man kann zeigen: Regel 2 gilt nur im Spezialfall nur zweier Kandidaten(theoretische Rechtfertigung des angloamerikanischen Zwei-Parteien-Systems)

• und sonst? Unmöglichkeitssatz von Arrow (1951)

– Bei mehr als zwei Kandidaten und mehr als einem Wähler kannes grundsätzlich keine kollektive Auswahlfunktion geben, die allefünf genannten demokratischen Grundregeln erfüllt!

• Gretchenfrage (ganz typisch für Modellierung):

– Schwäche unseres Modells oder Schwäche der Realität?

– Allerdings: „Sie haben zwei Stimmen“ – ist das überhaupt eine konnexeQuasiordnung als Individualpräferenz?




Diskrete . . .

of 93




2.2. Reihenfolgeprobleme: Scheduling

• Problemstellung:

– gegeben seien n Aufträge (Jobs) A1, . . . , An

– diese sind auf m Maschinen M1, . . . ,Mm zu bearbeiten

– kein Auftrag gleichzeitig auf mehreren Maschinen

– keine Maschine gleichzeitig mit mehreren Jobs befasst

– Maschinen können aber gleichzeitig arbeiten

• Entwurf eines Modells: eine Fülle von Parametern

– Parameter, die die einzelnen Aufträge charakterisieren

– Parameter, die die einzelnen Maschinen und deren Auftragsabwicklungcharakterisieren

– Kriterien für Optimalität (Zielfunktionen)

• Ziel: optimaler Bearbeitungsplan

– im Wesentlichen ein Reihenfolgeproblem

– optimal heißt hier z.B. minimale Gesamtzeit




Diskrete . . .

of 93




Charakterisierung der Aufträge

• mj : Anzahl der (Einmaschinen-) Teilschritte von Aj

• pij : Prozesszeit von Auftrag Aj auf Maschine Mi

• rj : Zeitpunkt der Verfügbarkeit von Auftrag Aj

– Wann kann mit Auftrag j (frühestens) begonnen werden?

• dj : Zeitpunkt der Fälligkeit von Auftrag Aj :

– Wann muss Auftrag j (spätestens) abgeschlossen sein?

• wj : Gewichtsparameter

– Welche Bedeutung hat Auftrag j im Vergleich zu den anderen Aufträ-gen?

• fj(t) : Kostenfunktion

– Wie teuer wird’s, wenn Auftrag j erst zur Zeit t fertig ist?

– Kosten ab Fälligkeit; Kostenfunktionen sind naheliegenderweise nichtabnehmend in t




Diskrete . . .

of 93




Charakterisierung der Maschinen

• eine einzige Maschine:

– der einfachste Fall, strikte Serialität

• mehrere qualitativ und quantitativ identische Maschinen:

– qualitativ: alle Maschinen haben dieselbe Funktionalität

– quantitativ: alle Maschinen sind gleich schnell (gleiches Modell)

– rein auftragsabhängige Arbeitszeit:

pij = pj

• mehrere qualitativ identische Maschinen mit auftrags- und maschinenab-hängiger Arbeitszeit:

– für die Bearbeitungszeiten gilt

pij = qi · pj

• beliebige Maschinen unterschiedlicher Funktionalität und Leistung: pij be-liebig

• klar: je allgemeiner, desto mächtigeres Modell, aber desto schwieriger wirddie Analyse auch




Diskrete . . .

of 93




Charakterisierung der Auftragsabwicklung

• open shop:

– beliebige Vertauschbarkeit der Teilaufträge von Auftrag j auf den jewei-ligen Maschinen

* Beispiel: Einkauf bei Bäcker, Metzger und in Apotheke

* Gegenbeispiel: Wäsche waschen (waschen vor schleudern)

• flow shop :

– strikte Einhaltung der Reihenfolge der Teilaufträge erforderlich

• job shop :

– Reihenfolge wiederum strikt einzuhalten

– zusätzlich wird jede Maschine bei jedem Auftrag höchstens einmal be-sucht

• Teilaufträge können unterbrechbar sein oder nicht

• evtl. gibt es Präzedenzrelationen zwischen den Aj

– Beispiel: Fertigungsschritte eines Autos (Montage vor Lackierung)




Diskrete . . .

of 93




Optimalitätskriterien

• mögliche Optimalitätsgrößen:

– Fertigstellungszeitpunkt von Auftrag j : cj

– Verzug von Auftrag j : lj = cj − dj

– Verspätung von Auftrag j : tj = max{

0, lj

}– Stillstandszeitvon Maschine i : si = maxj cj −

∑nj=1 pij

• gesucht: ideale Abarbeitungsreihenfolge im Sinne einer vorgegebenen Ziel-funktion

• mögliche Zielfunktionen:

– eine Optimalitätsgröße für festes i bzw. j minimieren oder maximieren

– Minimum/Maximum über i bzw. j einer Optimalitätsgröße minimierenbzw. maximieren

– gewichtete Summe (über i bzw. j) einer Optimalitätsgröße minimierenbzw. maximieren




Diskrete . . .

of 93




Jetzt ein bisschen konkreter ...

• m unterschiedliche Maschinen

• n Aufträge Aj =(A1,j , . . . , Amj ,j

), Abwicklung als job shop

(Erinnerung: feste Reihenfolge, jede Maschine wird höchstens einmal be-sucht)

• Zielfunktion:

cmax = maxj

cj → min!

(Erinnerung: frühestmögliche Fertigstellung des Gesamtpakets)

• Instrumentarium: Graphentheorie !

– Graph ist Tupel aus zwei endlichen Mengen: G = (V,E), E ⊆ V × V

– Knoten V , Kanten E (Relation auf der Menge der Knoten)

– hier: gerichteter Graph (Kanten sind Pfeile, E nicht notwendig symmet-risch!)

– Graphentheorie bietet Fülle von Analysealgorithmen

– erforderlich jetzt noch: Semantik von Knoten und Kanten




Diskrete . . .

of 93




Semantik von Knoten und Kanten

• Knoten:

– alle Teilaufträge Aij , 1 ≤ i ≤ mj , 1 ≤ j ≤ n

– je ein Start- und Zielknoten S bzw. Z

• Kanten:

– Konjunktivkanten :

* Präzedenz der Teilaufträge eines Auftrags: Ai,j → Ai+1,j

* vom Startknoten S zu allen A1,j

* von allen Amj ,j zum Zielknoten Z

* Präzedenz der Aufträge: Amj ,j → A1,k , falls Auftrag j in der Auf-tragspräzedenz vor Auftrag k kommt

– Disjunktivkanten :

* Identifikation von Maschinen: Ai,j ↔ Al,k , falls beide Teilaufträgedieselbe Maschine benötigen

* für jede Disjunktivkante ist nur eine Richtung relevant, die aber apriori nicht festgelegt ist – daher der Name




Diskrete . . .

of 93




Bewertung von Knoten und Kanten

• keine Kantenbewertung :

– Kanten tragen keine Information wie Ausführungszeit oder Kosten, ge-ben nur zeitliche Präzedenz an

• Knotenbewertung :

– Knoten assoziiert mit Bearbeitungszeit der Teilaufträge

– Bewertung von Knoten Ai,j : pl,j , falls Teilauftrag i von Auftrag j aufMaschine l zu bearbeiten ist

– Start- und Zielknoten: Bewertung 0 (da keinem Job entsprechend)

• optional:

– Verfügbarkeitszeiten können über zusätzliche Knoten zwischen S undden ersten Teilauftragsknoten aller Aufträge berücksichtigt werden.

– Bewertung dieser (virtuellen) Knoten:Verfügbarkeitszeitpunkte rj




Diskrete . . .

of 93




Was ist eine Lösung?

• Lösung ist jede Abarbeitungsreihenfolge:

– beschrieben als Vektor der Startzeiten aller Teilaufträge t(Ai,j)

– Startknoten S : Anfangszeit t = 0

– Zielknoten Z : Anfangszeit t = cmax

• Lösung heißt zulässig, wenn

– alle Präzedenzen zwischen Teilaufträgen und Aufträgen erfüllt sind

– alle evtl. sonstigen Bedingungen (Disjunktivkanten) erfüllt sind

• es gilt:

– zu jeder zulässigen Lösung existiert eine eindeutig bestimmte Auswahlaktiver Disjunktivkanten (eine Richtung pro Paar)

– reduzierter Graph (alle Konjunktivkanten plus die aktiven Disjunktivkan-ten) ist azyklisch (zyklenfrei, kreisfrei)

– entsprechende Kantenauswahl heißt Disjunktivkantenbelegung




Diskrete . . .

of 93




Wie konstruiert/optimiert man Lösungen?

• Modell steht – jetzt sind die Lösungen noch zu konstruieren

• Vorgehensweise (skizziert):

– wähle Disjunktivkantenbelegung (einer bestimmten Strategie folgend,z.B. Prioritätslisten ; Nachteil: weder stetig noch monoton – siehe dasBeispiel auf der nächsten Folie)

– konstruiere dazu zulässige Lösung (falls existent – nicht sicher)

– suche kritische Bahn in zulässiger Lösung (Weg maximaler Länge inaufaddierten Knotenbewertungen vom Start zum Ziel)

– An der kritischen Bahn muss anschließend der Optimierungshebel an-setzen!

– verringere die einzelnen Startzeiten so weit wie möglich

– erhalte so minimale Zeit für diese Abarbeitungsreihenfolge

• nun noch: Optimierung über die verschiedenen möglichen Disjunktivkanten-belegungen

– unterschiedliche Heuristiken verfügbar




Diskrete . . .

of 93




Beispiel zu Prioritätslisten

• 6 Aufträge, 2 identische Maschinen

• partielle Präzedenz:

• Prioritätsliste: 1 > 2 > 3 > 4 > 5 > 6

• 2 Szenarien:

– A: Laufzeiten der 6 Jobs: 5/5/5/5/11/6– B: Laufzeiten der 6 Jobs: 5/5/4/5/11/6 (Verkürzung von Job 3)

• resultierende Maschinenbelegung:




Diskrete . . .

of 93




Randomisierung

• Planung großer Projekte:

– Unvorhersehbares beeinflusst Systemverhalten

– Resultat: klassisches Phänomen der Unterschätzung bei deterministi-scher Modellierung (Überschreitung von Budget und Zeitplan)

– Beispiele: Umzug von Bonn nach Berlin, System INPOL-neu

– Abhilfe: Randomisierung, Zufallsvariable X anstelle deterministischerGröße x

• Theorem zur Unterschätzung (Fulkerson 1962):

– Teilprojekte Aj mit Einzelkosten bzw. Einzelzeit cj (deterministisch) bzw.Cj (stochastisch)

* dann gilt:

maxj E(Cj) ≤ E(maxj Cj)

– d.h.: Maximum und Erwartungswert sind nicht vertauschbar!! (neu imVergleich zur rein deterministischen Betrachtung)

– Resultate werden durch Randomisierung i.A. wesentlich realistischer!




Diskrete . . .

of 93




Randomisierung: ein Beispiel

• n unabhängige Jobs Aj mit Laufzeiten Xj

– alle Laufzeiten sind gleichverteilt auf [0,1], d.h. p(Xj ≤ t) = tund

E(Xj) = 0.5, maxj

E(Xj) = 0.5

– definiere Zufallsvariable Y = maxj Xj

– aufgrund der Unabhängigkeit gilt

p(Y ≤ t) = p(maxj

Xj ≤ t) =∏j

p(Xj ≤ t) = tn

und folglich

E(maxj

Xj) = E(Y ) =∫ 1

0

t · n · tn−1 dt =n

n + 1n→∞−−−−→ 1

– das heißt: die erwartete maximale Laufzeit strebt mit wachsender An-zahl von Teiljobs gegen den worst case 1!

– man sieht:

* Randomisierung führt zu komplett anderem Ergebnis als determi-nistische Sehweise!

* Stochastische Sehweise ist hilfreich bei der Erklärung bestimmter(realer) Phänomene!




Diskrete . . .

of 93




Hypergraphen

• jetzt zugelassen: mehr als ein Job gleichzeitig auf einer Maschine

• Modellerweiterung: Hypergraph

– Hypergraph ist Tupel: HG = (V,HE), HE ⊆ Pot(V )

– Kardinalität aller Hyperkanten = 2 ergibt Spezialfall Graph!

• neue Interpretation:

– Knoten sind Aufträge (wie bisher)

– Hyperkanten sind Maschinen (Zusammenfassen aller Jobs, die eineMaschine benötigen; Mehrfachauftritt von Knoten)

• gesucht: optimale Abarbeitungsreihenfolge

– z.B. als Knotenfärbung : Farbe entspricht Zeitintervall, jeder Knoten nureinmal pro Farbe, Maschinenkapazität begrenzt Anzahl gleichfarbigerKnoten pro Hyperkante

– Ziel: möglichst wenige Farben (d.h. Zeitschritte)




Diskrete . . .

of 93




2.3. Diskrete Ereignissimulation: Verkehr in Rechen-systemen

Verkehr in Rechensystemen

• Problemstellung:

– Ein Rechensystem aus verschiedenen Funktionseinheiten unterschied-licher Funktionalität soll im Hinblick auf seine Auftragsabwicklung be-schrieben und anschließend optimiert werden (Ziel: Weiterentwicklungsowie Neukonzeption).

– Es geht also um die Modellierung und Simulation des Auftragsverkehrsdurch solche Systeme.

– vgl. Straßenverkehr:

* in einer Stadt: Steuerung der Ampelanlagen zur Durchsatzmaxi-mierung

* auf Autobahnen: Leitsysteme zur Stauvermeidung

• Entwurf eines Modells:

– Wartesystemeund Wartenetze (Rüstzeug: Wahrscheinlichkeitstheorie,Warteschlangen, stochastische Prozesse)

– stochastisches Instrumentarium u.a., weil

* Ereignisse für Komponente mit nur partieller Sicht unvorhersagbar

* Interesse v.a. an Durchschnitts- bzw. gemittelten Größen besteht




Diskrete . . .

of 93




Ein einfaches Beispiel aus der realen Welt

Das gute alte Postamt – ein Eingang, ein Ausgang, ein oder mehrere Schalter,eine oder mehrere Schlangen, und das Bestreben, alle Menschen (Kunden wieAngestellte) glücklich zu machen.

• Optimierungsziele: Minimierung der durchschnittlichen Wartezeit eines durch-schnittlichen Kunden vs. (Konflikt!) Minimierung der zu erwartenden Untätig-keitszeiten des Personals – die Präsenz der Stochastik ist offensichtlich.

• Objektklassen und Parameter:

– Kunde (Auftragstypen, Eintreffzeiten bzw. -abstände, Bedienzeiten, ...)

– Schalter (offen/geschlossen)

– Angestellter (Funktionalität, Schnelligkeit, Zuverlässigkeit, ...)




Diskrete . . .

of 93




Beispiel Postamt: Grundlegende Arbeitsschritte

Das Postamt kann nicht im „Stand-alone-Betrieb“ simuliert werden – es ist einge-bettet in einen Kontext, der unmöglich komplett mitmodelliert werden kann. Damitsind Schnittstellen zu definieren, und an diesen ist festzulegen, was jeweils zu tunist.

• Modellierung der Umgebung, v.a. der Eingabeparameter für das System

– In welcher Häufigkeit und in welchen Abständen kommen Kunden an?

– Was wollen Kunden alles bearbeitet haben?

– Vorgehensweisen:

* empirische Datenerfassung (vgl. die berühmten Autozähler an derAutobahn) und exemplarische Verwendung dieser Daten

* empirische Datenerfassung, Ableitung von Verteilungen daraus undsynthetische Erzeugung repräsentativer Eingabedaten (Problem:wie produziert man Zufall?)

• Modellierung des Systemverhaltens selbst (im Zentrum unseres Interesses)

• Analyse der Ergebnisse

– erfordert Techniken der Statistik

* Durchführung geeigneter Tests

* Sicherstellung von Unabhängigkeit der Beobachtungen




Diskrete . . .

of 93




• modelltechnisch schwierig zu erfassen sind Feedback-Effekte:

– Weil im Postamt bekanntermaßen schnell bedient wird, kommen auchKunden aus anderen Einzugsbereichen.

– Weil ein Angestellter langsamer arbeitet, wechseln Kunden die Schlan-ge (warum geht’s in meiner Schlange eigentlich immer am langsamstenvorwärts?).




Diskrete . . .

of 93




Galopp durch’s Instrumentarium

• Es geht um (zufällige) Ereignisse in der Zeit, somit um Zeitintervalle zufälli-ger Länge:

– Zufallsvariable (ZV) T mit Verteilung F und Dichte f :stetiger Fall:

p(T ≤ t) = FT (t) =∫ t

−∞fT (x) dx,

∫ ∞

−∞fT (x) dx = 1

– Erwartungswert , Varianz, Standardabweichung, Variationskoeffizient:

E(T ) =∫ ∞

−∞t · fT (t) dt, V (T ) = σ2(T ) =

∫ ∞

−∞(t− E(T ))2 · fT (t) dt,

c(T ) =σ(T )E(T )

(hier fast immer T ≥ 0 , somit durchgehend 0 als untere Grenze)– dynamische Perspektive: bedingte Wahrscheinlichkeit

p(A | B) =p(A ∩B)

p(B), p(T ≤ t + ∆t | T > t) =

FT (t + ∆t)− FT (t)(1− FT (t))

– zeitbezogenes Risiko des Intervallendes: Enderate

ϑ(t) = lim∆t→0

p(T ≤ t + ∆t | T > t)∆t

= lim∆t→0

FT (t + ∆t)− FT (t)(1− FT (t)) ·∆t

=fT (t)

1− FT (t)




Diskrete . . .

of 93




Ein schlichtes Beispiel

• Gleichverteilung auf [0, a]

– mögliches Szenario: Restrotationszeit (Latenzzeit eines Plattenspeichers,d.h. Zeit vom zufälligen Auftragseingang bis zum Durchlauf des gefrag-ten Blocks unter dem Kopf)

– Verteilung und Dichte:

fT (t) ={

a−1 für t ∈ [0, a]0 sonst

, FT (t) =

0 für t < 0t/a für 0 ≤ t ≤ a1 für t > a

– E(T ) etc.:

E(T ) =a

2, V (T ) =

a2

12, σ(T ) ≈ 0.289 · a, c(T ) ≈ 0.577

– Enderate:

ϑ(t) =

0 für t < 0

1a−t für 0 ≤ t ≤ a

0 für t > a




Diskrete . . .

of 93




Ein spannenderes Beispiel

• konstante Enderateϑ(t) = ϑ :

– das Ereignisrisiko ist immer gleich hoch

– insbesondere unabhängig von der Vorgeschichte: Gedächtnislosigkeit

– realistisch bei vielen unabhängigen, aber unwahrscheinlichen Einzelur-sachen für das eintretende Ende des Zeitintervalls:

* Zeit bis zum nächsten Systemfehler oder Benutzerlogin

* Zeit bis zum nächsten Teilchenzerfall

* Zeit, bis der nächste Gaul der französischen Armee einen Soldatentödlich tritt (Poisson bzw. von Bortkiewicz)

– ein bisschen Rechnerei ergibt fT (t) = ϑ · e−ϑt, FT (t) = 1− e−ϑt, alsonegativ exponentielleVerteilung bzw. Dichte, kontinuierliches Pendantder Poisson-Verteilung

p(X = i) =e−λ · λi

i!

(bei λ = ϑ · s gibt X die Anzahl der Ereignisse in Intervall der Länge san)

– Kenngrößen:

E(T ) = ϑ−1, V (T ) = ϑ−2, c(T ) = 1; E(X) = λ




Diskrete . . .

of 93




Stochastische Prozesse

• Szenario: Folgen gleichartiger Ereignisse in der Zeit

– Ankünfte, Auftragsendezeitpunkte, Fehlerauftritte,...

– Beschreibung möglich über Zeitpunkte oder Abstände (meist)

– stochastischer Prozess: Folge {Ti} , indizierte Zufallsvariable

– Einschränkungen hier:

* alle Ti sind voneinander unabhängig und gleich verteilt (iid – inde-pendent, identically distributed)

* solche Prozesse heißen stationär

– Gegenbeispiele:

* Autos passieren Kontrollpunkt: Autos sind extrem gesellig!

* Tagesdurchschnittstemperaturen im Jahr

• Bei negativ exponentiell verteilten Zeitintervallen (Abständen) heißt der Pro-zess Poisson-Prozess

• Gedächtnislosigkeit des Poisson-Prozesses hat weitreichende Folgen!




Diskrete . . .

of 93




Restzeitparadoxon• im Poisson-Prozess gilt:

– Restzeit bis zum Ende nach Warten ist verteilt wie T :

FT |T>t0(t) = p(T ≤ t | T > t0) =FT (t)− FT (t0)

1− FT (t0)= . . . = 1− e−ϑ(t−t0)

= FT (t− t0)

E(T | T > t0) = t0 + E(T ) = t0 +1ϑ

– oder: außenstehender Betrachter schaut zu zufälligem Zeitpunkt aufdas Geschehen – Restzeit bis Ende?

FRT: Forward Remaining Time

BRT: Backward Remaining Time




Diskrete . . .

of 93




Außenstehender Beobachter

• allgemein gilt

E(RT ) =12· E(T 2)

E(T )=

12· σ

2(T ) + (E(T ))2

E(T )=

E(T )2· (1 + c2(T ))

• Begründung:

E(FRT ) = E(BRT ) =12· weighted_height(sawtooth) =

area(sawtooth)basis(sawtooth)

=1n · Σi

12 · T

2i

1n · Σi · Ti

n −→∞−−−−−→12· E(T 2)

E(T )

• Interpretation:

– Gleichverteilung auf [0, a]: E(RT ) = a3 < E(T )

– Poisson-Prozess (c(T ) = 1): E(RT ) = E(T )

– Prozess mit c(T ) > 1: E(RT ) > E(T ) (merkwürdig!)




Diskrete . . .

of 93




Nun zum Thema: Modellparameter

• zunächst wieder einige Definitionen:

– Funktionseinheit (FE): durch Aufgabe oder Wirkung abgrenzbares Ge-bilde

* Bedieneineit (BE), Instanz: ihre Funktion ist kein Datentransport

* Kanal (K) : seine Funktion besteht aus Datentransport zwischenBedieneinheiten

– System: FE, die aus mehreren Funktionseinheiten zusammengesetztist

– Auftrag : beschäftigt eine Bedieneinheit

– Verweilzeit y: Zeit eines Auftrags in der FE von Auftragsbeginn bis zurAuftragsfertigstellung

– Kapazität k einer FE: maximale Anzahl zugleich in ihr verweilender Auf-träge

– eine FE mit k=1 wird einfachgenannt

– Füllung f einer FE: Anzahl der in ihr verweilenden Aufträge

* f = 0: die FE heißt leer (frei)

* f > 0: die FE heißt beschäftigt

* f = k: die FE heißt belegt

* f/k wird relative Füllung genannt




Diskrete . . .

of 93




Modellparameter (2)

• weitere Definitionen:

– Durchsatz d einer FE: Anzahl der von ihr in einem Zeitintervall vollen-deten Aufträge

– Grenzdurchsatzc einer FE: maximal möglicher Durchsatz

– Auslastungr = d/c einer FE: relativer Durchsatz

– Bedienzeitb eines Auftrags in einer FE: Netto-Verweilzeit, d.h.Verweilzeit ohne Warten (Wartezeit w) oder Verweilzeit bei f = 1

• zentraler Satz der Verkehrstheorie: Formel von Little

– zunächst operational/deterministisch bezogen auf ein Zeitintervall:

f(t1, t2) = d(t1, t2) · y(t1, t2) auf [t1, t2] mit f(t1) = f(t2) = 0

(mittlere Füllung ist gleich Durchsatz mal mittlerer Verweilzeit)

– bzw. stochastisch mit Erwartungswerten von Zufallsvariablen (Groß-buchstaben):

E(F ) = E(D)·E(Y ) (= E(D)·E(B) =E(D)

c= E(R), falls k = 1)




Diskrete . . .

of 93




Zur Formel von Little

• mittlere Füllung:

f(t1, t2) =1

t2 − t1·∫ t2

t1

f(t)dt

• mittlere Verweilzeit:

y(t1, t2) =1

na(t2)− na(t1)·∫ t2

t1

f(t)dt

• daher:

f(t1, t2) = y(t1, t2) ·na(t2)− na(t1)

t2 − t1= y(t1, t2) · d(t1, t2)




Diskrete . . .

of 93




(Elementare) Wartesysteme

• FE allein langweilig, deshalb: Zusammenbau mehrerer Funktionseinheiten

• Wartesystem (WS):

– System, in dem Aufträge nicht verloren gehen

– falls BE belegt: Aufträge warten in Kanälen

• einfachster Vertreter: elementares Wartesystem (elWS)

– ein Kanal der Kapazität kWP als Wartepool

– eine Bedieneinheit der Kapazität kBE bzw. kBE einfache Bedieneinheitenoder Bedienstationen (BS)

• Ziel: Modellierung der Auftragsabwicklung eines WS

– dazu: modelliere Auftragseingang (von außen vorgegeben) und Auf-tragsbedienung (durch System bestimmt)

– Instrument natürlich: stochastische Prozesse

– Die sind jetzt näher zu spezifizieren.




Diskrete . . .

of 93




Stochastische Prozesse im elementaren Wartesystem

• Ankunftsprozess:

– modelliert Auftragseingang

– entscheidende Größe: Abstände A zwischen zwei aufeinander folgen-den Auftragseingängen (Zwischenankunftszeiten)

– Annahme: alle Zwischenankunftszeiten sind unabhängig und gehor-chen derselben Verteilung (iid, stationärer Prozess), etwa

* D: deterministisch , d.h. konstant (gar nichts Stochastisches)

* M: Markovian : negativ exponentiell verteilt mit Verteilung1− e−λt und Erwartungswert 1/λ ( λ : Ankunftsrate )

* G: General , d.h. beliebig verteilt (sehr mächtig, aber auch komplex)

• Bedienprozess:

– modelliert Auftragsabwicklung

– entscheidende Größe: Bedienzeit B (unabhängig vom Eingang)

– wiederum die Klassen D, M ( Bedienrateµ ) und G




Diskrete . . .

of 93




Poisson-Prozess

• M etwas detaillierter:

– Zwischenankunftszeiten A bzw. Bedienzeiten B sind völlig zufällig und(wie gesehen) gedächtnislos, d.h. unabhängig von der Vorgeschichte

– Der Parameter ϑ eines solchen Poisson-Prozesses wird Ereignisrate(Ankunfts - bzw. Bedienrate) genannt und spezifiziert den Auftragsein-gang bzw. die Auftragsbearbeitung :

Poisson zählt Ereignissel

ϑ = lim∆t→0

p(T ≤ t + ∆t | T > t)∆t

=fT (t)

1− FT (t)= E

(#Ereignisse in[t1, t2]

t2 − t1

)(T = A oder T = B)

– falls λ < cws, so gilt E(D) = λ

– M sehr beliebt: oft hinreichend realistisch und gut analysierbar

– M passt allerdings nicht immer zu unserem Realitätsbild:

* Autos auf Landstraße in Rudeln

* Würstchenbude: nach 5 Minuten muss doch einfach jemand kom-men




Diskrete . . .

of 93




Beschreibung des elementaren Wartesystems

• knappe Beschreibung mit 5 Parametern:

– Ankunftsprozess | Bedienprozess | n = kBE | kWP | N

– N : Gesamtzahl der Aufträge im Wartesystem

– die letzten beiden Parameter sind optional

• Beispiele:

– M | M | 1

* Ankunfts- und Bedienprozess negativ exponentiell verteilt

* eine Bedienstation

* einfach und behandelbar, aber nur bedingt realistisch

– M | G | 1

* negativ exponentiell verteilter Ankunftsprozess

* beliebig verteilter Bedienprozess

* eine Bedienstation

* komplizierter, aber oft schon recht realistisch (z.B. CPU)

– G | M | 1

* kompliziert und ohne großes Anwendungspotenzial

– G | G | n

* kaum mehr behandelbar

• weitere Charakterisierung über Bedienstrategien




Diskrete . . .

of 93




Ablaufplanung: Bedienstrategien

• Reihenfolge der Bedienung der wartenden Aufträge:

– nicht verdrängend (Vorteil: kein Overhead durch Abbruch)

* random: zufällige Auswahl des Nächsten

* FCFS: first-come-first-served (der Erste in der Schlange zuerst)

* LCFS: last-come-first-served (der letzte Ankömmling zuerst)

* priority-based: jeder Auftrag hat bestimmte Priorität

* SJN: shortest-job-next (der mit kürzester Bedienzeit zuerst)

– verdrängend (Vorteil: bedienzeitabhängig ohne Kenntnis von B)

* round robin : abwechselnd kommt jeder mal eine Weile dran

* LCFS-preemptive: der Neuankömmling kommt sofort dran

* priority first : ein Neuankömmling mit höherer Priorität verdrängtden in Arbeit befindlichen Auftrag

* SET: shortest elapsed time (minimale bisherige Bedienzeit gewinnt)

* S(E)RPT: shortest (expected) remaining processing time

– allg.: Modell wird bei Verdrängung komplizierter, da die Berechnungvon Bedien- und Wartezeiten aufwändiger wird!




Diskrete . . .

of 93




Erste ableitbare Aussagen im elWS

• noch nicht so wahnsinnig überraschende Resultate:

cBE =n

E(B)= n · cBS

E(RBE) =E(D)cBE

E(FWP) = E(D) · E(W ) Wartezeit W

E(FWS) = E(D) · E(YWS) = E(D) · (E(W ) + E(B))E(FWS) = E(FWP) + E(FBE)

• klar ist: das elementare Wartesystem ist als allgemein einsetzbares Modellviel zu primitiv

• nächster Schritt: Wartenetze (Systeme oder Netze aus elementaren Warte-systemen plus Auftragsmodell)




Diskrete . . .

of 93




Wartenetze

• Modellierung z.B. als Graphen:

– Knoten: elementare Wartesysteme

– Kanten: potentielle Auftragswege

– Auftrag durchläuft seriell bestimmte Knoten, in denen Teilaufträge be-arbeitet werden

– Gesamtnetz bearbeitet mehrere Aufträge im Simultanbetrieb

• man unterscheidet:

– geschlossene Wartenetze: konstante Füllung

– offene Wartenetze: Füllung kann schwanken

• Beschreibung „Auftrag kommt an“ reicht nicht mehr:

– Zerfall in Teilaufträge?

– jeweils benötigte Bedieneinheit(en)?

– Präzedenzen zwischen Teilaufträgen?




Diskrete . . .

of 93




Belastung, Auftragsströme

• Auftragsstrom: Ankunftsprozess + Auftragstyp

– zum Ankunftsprozess genug gesagt

– Auftragstyp: Menge von Teilaufträgen mit Präzedenzen (Relationen)unter Angabe der jeweils (wie lange und ggfs. wie oft) benötigten Res-sourcen (elWS)

– operational-deterministische oder stochastische Betrachtung

– Beispiel: es gebe zwei Auftragsströme

* Typ A: Ankünfte bei 1s, 3s und 11s(typischerweise serialisiert!)

* Typ B: Ankünfte bei 2s und 7s

Aksi;j bedeutet: Teilauftrag i braucht FE j k Sekunden lang

• Belastung: Menge von solchen Auftragsströmen, z.B.

{(M, Typ A), (M, Typ B)}




Diskrete . . .

of 93




Parameter in Wartenetzen

• m elementare Wartesysteme als Knoten im Netz:

– lokale Größen: λi, Di, ci, Ri, Bi, . . .

– entsprechend gibt’s jetzt zusätzlich Systemgrößen :

λS =∑

i

λi, DS , cS , RS , BS , YS , FS , . . .

– geschlossene Netze: λi = λS = 0, FS = fS konstant

• Besuchszahlνi eines Knotens i :

νi =E(Di)E(DS)

– Verhältnis Durchsatz in i zu Durchsatz im Netz

– Anstieg des Systemdurchsatzes E(DS) zieht proportionalen Anstiegaller Einzeldurchsätze E(Di) und somit aller einzelnen AuslastungenE(Ri) nach sich

• Verkehrsengpass(VE) des Systems/Netzes:

– Knoten maximaler Auslastung E(Ri) , nicht notwendig eindeutig

– Verkehrsengpass schlägt bei Durchsatzerhöhung zuerst an der maxi-mal möglichen Auslastung 1 an




Diskrete . . .

of 93




Vorbereitung der Analyse von Netzen

• mögliche Beschreibungen des Verkehrsengpasses:

– über Definition (maximale Auslastung):

E(RVE) = maxi

E(Ri) = maxi

E(Di)ci

– über Grenzdurchsatz des Systems:

cS =cVE

νVE

= mini

ci

νi

– führt tatsächlich zu dem oder zu den selben VE:

maxi

E(Di)ci

= maxi

E(DS) · νi

ci= E(DS) max

i

νi

ci

• beliebt: asymptotische Analyse in Wartenetzen

– hier: geschlossene Netze, stochastisches Modell

– alle Knoten (elementare Wartesysteme) einfach, also

ci =1

E(Bi)




Diskrete . . .

of 93




Asymptotische Analyse (geschlossen)

• bei Füllung f = 1:

E(YS) = E(BS), E(DS) = 1/E(BS)

• bei sehr kleiner Füllung:E(YS) ≈ E(BS) =

∑i νi · E(Bi), E(DS) ≈ fS/E(BS)

– kaum Warten, Anschmiegen an die Situation bei f = 1– Verweilzeit bleibt i.W. konstant, Durchsatz wächst i.W. linear

• allmählich wachsende Füllung:

– Verweilzeit Y steigt wegen zunehmenden Wartens

– Durchsatz D wächst nur gebremst aus demselben Grund

• Füllung gegen unendlich:

E(DS)→ cS = mini

ci

νi=

cVE

νVE

, E(YS)→ fS

cS=

νVEfS

cVE

– Aufträge stauen sich am Verkehrsengpass

– Auslastung dort maximal, geht gegen absolutes Maximum 1

– Durchsatz nahezu konstant, Verweilzeit wächst nahezu linear

– Rest: Little




Diskrete . . .

of 93




Asymptotische Analyse (2)

• Durchsatz und Verweilzeit bei zunehmender Füllung:

• Sättigungsfüllung:

f∗S = cS · E(BS) =cVE

νVE

·∑

i

νi · E(Bi)




Diskrete . . .

of 93




Asymptotische Analyse (3)

• Achtung: Zusammenhang Bedienzeit – Grenzdurchsatz

– Für jede einzelne einfache Funktionseinheit gilt:

ci =1

E(Bi)

– Im System gilt dagegen:

E(BS) =∑

i

νi · E(Bi) =∑

i

νi

ci

cS =cVE

νVE

= mini

ci

νi

und somit offensichtlich im Allgemeinen nicht cS =(E(BS)

)−1

!!

(hier schlagen die Besuchszahlen zu!)

– einfaches Beispiel: m = 2, ν1 = 1, ν2 = 2, c1 = 4, c2 = 3ergibt

E(BS) =1112

, cS =32




Diskrete . . .

of 93




Zusammenfassung

• Sättigungsfüllung f∗S (Schnittpunkt der beiden Asymptoten):

– „Sättigungsknick“, ab hier keine wesentliche Durchsatzsteigerung mehr,dafür aber nahezu linearer Verweilzeitanstieg (in gewissem Sinne will-kürliche Festlegung auf Asymptotenschnittpunkt)

– Annäherung an Asymptoten umso besser, je geringer die einzelnenVerweilzeiten streuen

– Annäherung an Asymptoten bei streuenden Bedienzeiten umso schlech-ter, je mehr Engpässe bzw. Fast- Engpässe es gibt

• Erkenntnis (u.a.):

– Übergang von serieller (Systemfüllung 1) zu simultaner Auftragsbear-beitung verbessert Durchsatz/Verkehr bei kleiner Füllung

– bei großer Füllung verpuffen die Effekte nahezu (da Warten überwiegt)

– Seitenflattern auf diese Weise modellierbar:

* Besuchszahl der Platte pro Auftrag wächst proportional zur Seiten-tauschwahrscheinlichkeit

* ab gewissem Mehrprogrammgrad: Platte ist Engpass, ruiniert denDurchsatz




Diskrete . . .

of 93




Fertig?

• in aller Kürze recht mächtiges mathematisches Modell zur Modellierung undSimulation des Verkehrsflusses in Rechensystemen hergeleitet

• Ausgangspunkt für realistische Leistungsanalyse etc. auch heutiger Anlagen

• noch etwas weiter modellieren, insb. im offenen Fall:

– Rechensysteme haben diskreten, endlichen Zustandsraum

– alle Zustände (u.U. nur indirekt) untereinander erreichbar (Ausnahme-fälle: Deadlock, Absturz, ...)

– Zustandsübergangswahrscheinlichkeiten unabhängig von Historie oderZeitpunkt, abhängig nur von Start- und Zielzustand

– homogener Markovscher Prozess in kontinuierlicher Zeit




Diskrete . . .

of 93




Stochastische Prozesse Revisited

• Ein stochastischer Prozess ist eine Zufallsvariable X, die von der Zeit tabhängt bzw. in der Zeit parametrisiert ist:

p(X(t) ≤ x) = Fx(x; t)

– kontinuierlicher Prozess : X(t) ∈ IR ∀t– diskreter Prozess oder Kette : X(t) ∈ IN or ZZ ∀t– Prozess in Kontinuierlicher Zeit : t ∈ IR– Prozess in diskreter Zeit : t abzählbar

• besonders wichtig für uns: diskreter Prozess in kontinuierlicher Zeit

• die Wertevorrat von X heißt Zustandsraum

• Verteilungsfunktion, Dichtefunktion und Momente sind normalerweise Funk-tionen von t

• Stationärer Prozess : Ein stochastischer Prozess heißt stationär, wenn dieVerteilung in der Zeit gleich bleibt. Damit folgt

E(X(t)) = E(X(t + s)) = E(X)

– Beispiele: Augenzahl beim Würfeln; Summe der 10 letzten Würfe

– Gegenbeispiele: Durchschnitts-Tagestemperatur im Jahr

– Oft gibt es zumindest einen stationären Grenzprozess(stationär für t→∞)




Diskrete . . .

of 93




Stochastische Prozesse Revisited (2)

• Unabhängiger Prozess : unabhängig von früheren Ergebnissen

p(X(t2) ≤ x2 | X(t1) = x1) = p(X(t2) ≤ x2)

– Beispiele: Augenzahl beim Würfeln; Lotto

– Gegenbeispiele: Summe der 100 letzten Würfe; Füllung des M| M| 1– Prozesse in kontinuierlicher Zeit sind (z.B. aus physikalischen Grün-

den) höchstens in hinreichend großen Abständen t2 − t1 unabhängig

• Semi-Markov-Prozesse (SMP; A.A.Markov, 1850-1922):

– Es sei t1 < t2 < t3 < · · · < tn < tn+1; Bedingung für SMP:

p(X(tn+1) ≤ xn+1 | X(t1) = x1 ∧X(t2) = x2 ∧ · · · ∧X(tn) = xn)

= p(X(tn+1) ≤ xn+1 | X(tn) = xn)

– Der Wert des Prozesses kann vom unmittelbaren Vorgängerwert ab-hängen, nicht aber von noch früheren. Die Qualität einer Vorhersagekann durch Berücksichtigung einer längeren Vorgeschichte also nichtverbessert werden.

– klassisches Beschreibungsmittel im Falle eines diskreten Zustandsraums:Zustandsübergangsdiagramme

– Gegenbeispiel: Summe der 10 letzten Würfe




Diskrete . . .

of 93




Stochastische Prozesse Revisited (3)

• Homogener Markoff-Prozess (HMP) :

– Ein Semi-Markoff-Prozess ist ein HMP, wenn die bedingte Wahrschein-lichkeit

p(X(tn+1) ≤ xn+1|X(tn) = xn)

über die Zeit konstant ist.

– Unterschied zwischen stationärem Prozess und HMP:

* Beispiel: M|M|1 mit E(A) = 1.5 und E(B) = 3

* Füllung ist kein stationärer Prozess: im Laufe der Zeit steigt dieFüllung

* Füllung ist ein HMP: Zustandsübergangswahrscheinlichkeit ändertsich nicht (2/3 für Erhöhung um 1, 1/3 für Reduktion um 1)

– Beispiele für HMP:

* weit vorbereitet in Rechensystemmodellen

* Summe der bisherigen Augenzahlen beim Würfeln

* Brownsche Bewegung

• Geburts-Todes-Prozess (HBDP) :

– Semi-Markoff-Kette, bei der sich der Wert nur in In-/Dekrementen von1 ändert

– Beispiel: Füllung von Funktionseinheiten (falls keine gleichzeitigen Er-eignisse)




Diskrete . . .

of 93




Übersicht

Zeitparameter | Zustand: d diskret, k kontinuierlich

Random Walk: Semi-Markoff-Prozess mit unabhängigen Differenzen




Diskrete . . .

of 93




Homogene Markoffsche Kette in diskreter Zeit

• diskreter HMP in diskreter Zeit:

– n Zustände {1, 2, . . . , n} (einschließlich Grenzfall n→∞)

– Übergangswahrscheinlichkeiten (bedingte Wahrscheinlichkeiten ausder HMP-Definition) hängen weder von der Zeit noch von der Vorge-schichte ab:

p(X(tk) = i|X(tk−1) = j) = pji

– typische Darstellungsmethode: Zustandsübergangsdiagramme

nicht stationär,kein Geburts-Todes-Prozess(mehr als ein Nachfolgezustand)




Diskrete . . .

of 93




– Klassifizierung der Zustände hinsichtlich ihrer Erreichbarkeit:

* Kette irreduzibel : alle Zustände untereinander erreichbar

* geschlossene Untermenge von Zuständen: Entkommen in dieKomplementmenge unmöglich

* Absorptionszustand : geschlossene Untermenge, die aus nur ei-nem Zustand besteht

* Rückkehrwahrscheinlichkeit fi = p(X(tn+k) = i, k ≥ 1 | X(tn) =i), Rückkehrzeit k oder K

* rekurrenter Zustand : fi = 1; periodisch , falls k ∈ {j · k0; j, k0 ∈IN}

* rekurrent-nichtnull/rekurrent-null : fi = 1, E(K) < ∞ / fi =1, E(K) =∞

* transient : fi < 1 (Rückkehr unsicher)




Diskrete . . .

of 93




Homogene Markoffsche Kette in diskreter Zeit (2)

• zwei erste Resultate:

– In einer irreduziblen HMP in diskreter Zeit sind alle Zustände

* entweder transient

* oder rekurrent-nichtnull

* oder rekurrent-null.– Ist ein Zustand periodisch, so sind es alle, und zwar mit gleicher Peri-

ode.

• drittes Resultat:

– Berechnung der Zustandswahrscheinlichkeiten

pi(tk) = p(X(tk) = i), i ∈ {1, . . . , n}

pi(tk) =n∑

j=1

pj(tk−1) · pji,n∑

i=1

pi(tk) = 1

• viertes Resultat:

– für irreduziblen und aperiodischen HMP gibt es stationäre Grenzvertei-lung

limk→∞

pi(tk) = pi

unabhängig von der Anfangsverteilung p1(t0), . . . , pn(t0)– transiente oder rekurrent-null Zustände: alle pi = 0;

rekurrent-nichtnull: alle pi > 0




Diskrete . . .

of 93




Homogene Markoffsche Kette in kontinuierlicher Zeit

• diskreter HMP in kontinuierlicher Zeit

– n Zustände {1, 2, . . . , n} (einschließlich Grenzfall n→∞)

– Zeitintervall zwischen Zuständen kann beliebig klein sein; daher: Über-gangsraten!

– HMP haben konstante Übergangsraten

λij = lim∆t→0

p(j in t + ∆t|i in t)∆t

– allgemein: System gewöhnlicher Differentialgleichungen mit zeitabhän-gigen Zustandswahrscheinlichkeiten pi(t)

– HMP irreduzibel, alle Zustände rekurrent-nichtnull: es gibt stationäreZustandswahrscheinlichkeiten (also unabhängig vom Anfangszustand):

n∑j=1

pj = 1, pi ·∑j 6=i

pj · λji ∀i

(ein einfaches System linearer Gleichungen)

• wichtig ist der Unterschied zwischen diskreter und kontinuierlicher Zeit:

– diskrete Zeit: Übergangswahrscheinlichkeiten

– kontinuierliche Zeit: Übergangsraten




Diskrete . . .

of 93




Beispiel M | M | 1

• diskreter HMP in kontinuierlicher Zeit

– Zustände zeigen Füllung (unendliche Zahl von Zuständen 1, 2, 3, 4, . . . )

– die Verweilzeiten in Zustand i sind negativ exponentiell verteilt mit Pa-rameter λi = Σj 6=iλij

– Zustandsübergangsdiagram:

– System von Gleichungen:

p0 · λ = p1 · µp1 · λ = p2 · µ unendliche Zahl von Gleichungenp2 · λ = p3 · µ. . .

– daher:

Auslastung r

pi =(

λ

µ

)i

· p0 ⇒P

pi=1 p0 = 1− λ

µ= 1− E(D)

c= 1− r (λ < µ)

exclusive Einheit, p(frei) = 1− r




Diskrete . . .

of 93




Interessantes zu M | M | 1

• mittlere Füllung:

E(F ) =∞∑

t=0

i · pi =∞∑

t=0

i · ri · p0 = . . . =r

1− r

• mittlerer Durchsatz (Poisson, vgl. Folie 39): E(D) = λ

• mittlere Bedienzeit (Poisson, Bedienrate): E(B) = 1µ

• mittlere Verweilzeit nach Little:

E(Y ) =E(F )E(D)

=r/(1− r)

λ=

1µ(1− r)

=E(B)1− r

• mittlere Wartezeit:

E(W ) = E(Y )− E(B) = . . . =r

1− r· E(B)

wähle z.B. r = 0.9!

• auch zu M | G | 1 gibt’s Aussagen (Pollaczek, Khinchin);streuendes B ist schlecht!

E(W ) =λ · E(B2)2(1− r)




Diskrete . . .

of 93




Anhang: Erzeugung von ZufallszahlenRandom and Pseudo Random Numbers

• possible ways of constructing perfect random numbers for an equal distribu-tion:

– roll the dice: equal distribution on {1, 2, 3, 4, 5, 6}– construct a counter that repeatedly counts from 0 to some N (very fast,

within human reaction time): equal distribution on {0, 1, ..., N}– take the digits of π (as far as known): no period, no correlation

• problems:

– where to get a really perfect (unbiased) dice?

– human action (rolling the dice) too slow

– even computer-based counter too slow

• alternative:

– pre-compute random numbers and store them for later use

• problems:

– not clear, how many of them are needed

– some applications need millions of random numbers; hence: memoryproblems




Diskrete . . .

of 93




Pseudo Random Numbers

• ”real” random numbers are difficult to generate

• hence: there is need for algorithms for approximate or pseudo randomnumbers

– follow some deterministic rule xi+1 = f(xi) (typically some permuta-tion) to generate a sequence of numbers

– desired and necessary properties: simple and fast!

– origins: fifties of the 20th century

– necessary: behaviour in statistical tests must be comparable to realrandom numbers

• important properties of pseudo random numbers:

– How well do they simulate the real distribution (mean, standard deviati-on, ...)?

– Can neighbouring numbers really be considered as independent (dueto the functional relation of above, they are hardly independent!)?

– Does the occurrence of patterns, periods, or any other kind of correla-tion disturb?




Diskrete . . .

of 93




Pseudo Random Numbers (2)

• mother of all distributions for random numbers: equal distribution on [0, 1] ,i.e. RV X with

f(x) =

{1 for 0 ≤ x < 10 elsewhere

• from this, random numbers for other distributions (like Poisson, negative ex-ponential, or Gaussian) can be derived

– important for our purposes: we need negative exponentially distributedinter-arrival times, for example, for our input modelling

• in the following: strategies for the generation of equally distributed randomnumbers

• later on in this section: strategies for the generation of ”derived” randomnumbers




Diskrete . . .

of 93




Linear Congruent Pseudo Random Number Generator(LCPNG)

• origin: D. Lehmer 1948

• algorithm:

Start: z0

i = 1, 2, 3, . . . : (zi = a · zi−1 + c) mod m on {0, 1, . . . ,m− 1}ri = zi

m on [0, 1]

• parameters:0 ≤ z0 < m initial value (seed)0 ≤ a < m multiplier0 ≤ c < m incrementm > 0 modulusa, c,m, z0 ∈ IN0

• two classes:

– multiplicative LCPNG : c = 0

– mixed LCPNG : c > 0




Diskrete . . .

of 93




LCPNG: Mixed Case

• how to choose the parameters:

– m: should be rather big, for example m = 2l ± 1 with machine wordlength l ; for l = 31,m = 2147483647 is a prime number!

– c : gcd(c,m) = 1

– a : a ≡ 1 mod 1 for each prime factor q of m and a ≡ 1 mod 4, if 4divides m

– Knuth 1969: these conditions are necessary and sufficient that LCP-NG produces a sequence of numbers of a period m (maximum periodpossible), where all m numbers are different

• Example 1: m = 10, c = 5, a = 2, start with 1

sequence: 1, 7, 9, 3, 1, 7, 9, 3, 1, 7, 9, . . . poor choice!

• Example 2: m = 11, c = 5, a = 1, start with 1

sequence: 1, 6, 0, 5, 10, 4, 9, 3, 8, 2, 7, 1, 6, 0, 5, 10, 4, 9, 3, 8, . . . good choice!

result: maximum period of length 11, same probability of 0, . . . , 10

• minimum correlation of neighbouring numbers if

a =

√m− 6c

m·(1− c

m

)




Diskrete . . .

of 93




LCPNG: Mixed Case (2)

• suggestion (Kobayashi and Knuth):

m = 2k for some k ∈ ZZ (then: mod means shifts)

a ≡ 5 mod 8√

m < a < m−√

m

a > m100

no obvious pattern in binary representation of a

c ≈ m ·(0.5−

√3

6

)≈ m · 0.21




Diskrete . . .

of 93




LCPNG: Multiplicative Case

• how to choose the parameters here (Kobayashi):

m = pe or m = 2 · pe with an odd prime p and e ∈ IN

am−1 ≡ 1 mod m

gcd(z0,m) = 1

for minimum correlation of neighbouring numbers: a ≈√

m

• for m = 232 in contrast to the above rules: fast (simple shifts), but reducedperiod, for example m

4

• classical examples:

– m = 231 − 1 = 2147483647, a = 75

– IBM 360: m = 231 = 2147483648, a = 513

– VAX: m = 229 = 536870912, a = 62605, c = 113218009, z0 = 7774755

• be aware of round-off errors when mapping the integers to [0, 1]!




Diskrete . . .

of 93




Functions of Random Variables

• given:

– n random variables X1, . . . , Xn with distribution F (x1, . . . , xn)– n functions u1, . . . , un : IRn −→ IR, ui = ui(x1, . . . , xn),– the u1, . . . , un are differentiable, and there exist inverse functions

• this defines ”derived” random variables U1, . . . , Un:

p(U1 ≤ u1, . . . , Un ≤ un) =∫

u

g(u1, . . . , un)d(u1, . . . , un)

=∫

x

g(u1(x1, . . . , xn), . . . , un(x1, . . . , xn)) ·∣∣∣∣∂(u1, . . . , un)∂(x1, . . . , xn)

∣∣∣∣d(x1, . . . , xn)

= p(X1 ≤ x1, . . . , Xn ≤ xn) =∫

x

f(x1, . . . , xn)d(x1, . . . , xn)

• density function g hence:

g(u1, . . . , un) = f(x1, . . . , xn)·∣∣∣∣∂(u1, . . . , un)∂(x1, . . . , xn)

∣∣∣∣−1

= f(x1, . . . , xn)·∣∣∣∣∂(x1, . . . , xn)

∂(u1, . . . un)

∣∣∣∣• special case n = 1:

f(x) = g(u) ·∣∣∣∣∂u

∂x

∣∣∣∣




Diskrete . . .

of 93




Example 1: Logarithmic Transform

• let X be equally distributed on [0, 1]:

f(x) = 1 on [0, 1[, f(x) = 0 elsewhere

• define transform u as u(x) = − 1λ · ln(1− x) for 0 ≤ x < 1, u : [0, 1[−→ IR+

0

• hence 0 ≤ u <∞

• distribution of U = U(X):

g(u) = f(x) ·(

∂u

∂x

)−1

= 1 ·(−1λ· −11− x

)−1

= λ · (1− x) = λ · e−λ·u

• we see: U is negative exponentially distributed:

p(U ≤ u) =∫ u

0

λ · e−λvdv = 1− e−λu = G(u), E(U) =1λ

• result: the above transform u = u(x) is well-suited to generate negativeexponentially distributed random numbers u1, . . . , un starting from equallydistributed ones x1, . . . , xn




Diskrete . . .

of 93




Sine-Cosine Transform

• let x1, x2 be two realizations of our random variable X equally distributedon the unit interval

• two transforms result in two new random variables (i.e. n = 2):

u1 =√−2 ln x1 · cos(2π · x2)

u2 =√−2 ln x1 · sin(2π · x2)

• basic calculus leads to

g(u1, u2) =1√2π· e−u2

12 · 1√

2π· e−u2

22 ,

i.e. a product of two independent normal (Gaussian) distributions N(0, 1)

• general mean and standard deviation: obtain N(ξ, σ) via

u1 = ξ +√−2σ lnx1 · cos(2π · x2)

u2 = ξ +√−2σ lnx1 · sin(2π · x2)




Diskrete . . .

of 93




Generating Arbitrary Random Numbers

• objective: for a given arbitrarydistribution, we want to generate random num-bers

• question: how to find the appropriate transform u?

• first strategy: generalize the principle from before – inverse transform !

– let X be equally distributed on the unit interval with density function f

– let U be of a given (nearly) arbitrary distribution function G(u) and den-sity function g(u)

– objective: generate random numbers u1, . . . , un from given x1, . . . , xn

– strategy: use the transform v(x) = G−1(x) (inverse function, not 1/...)

– resulting density function of V according to the previous section:

h(v) = f(x) ·∣∣∣∣∂x

∂v

∣∣∣∣ = 1 ·∣∣∣∣∂G(v)

∂v

∣∣∣∣ = g(v) ≥ 0

– hence: the above transform produces random numbers that follow thedistribution of U

• general principle, reduces the generation of arbitrarily distributed randomnumbers to the generation of equally distributed ones!




Diskrete . . .

of 93




Example 1: Negative Exponential Distribution

• here:G(u) = 1− e−λ·u

• inverse function of G(u):

x = 1− e−λ·u ⇔ u = − 1λ· ln(1− x)

(the transform we had used – without motivation – in logarithmic transform)

• simplification:

– with X, 1−X is equally distributed on [0, 1], too

– hence:

* produce equally distributed random numbers x1, . . . , xn

* calculateu1, . . . , un, ui = − 1

λ· lnxi

to get negative exponentially distributed random numbers

• now, we are able to produce the input data for the arrival process of a M|M|1,for example




Diskrete . . .

of 93




Example 2: Random Numbers via Tables

• problem cases:

– the distribution’s inverse function can not be given in a closed form– calculating the inverse function is too costly

• solution: use tables of G(u):

– generate random number 0 ≤ x < 1 (equal distribution)– look for next table entries:

G(uk) = xk ≤ x < xk+1 = G(uk+1)

– linear interpolation:

u(x) = uk +uk+1 − uk

xk+1 − xk· (x− xk)




Diskrete . . .

of 93




Random Numbers for Special Distributions

• special distributions have special stochastic properties

• these can sometimes be used to construct tailored generation methods forrandom numbers

• in the following: two important examples

– Gaussian (normal) distribution

– Poisson distribution

• remark:

– the evaluation (testing) of random numbers and their generators will bediscussed later – here, we just present the algorithms




Diskrete . . .

of 93




Example 1: Gaussian Distribution

• starting point: central limit theorem

– let X1, . . . , Xn be independent and identically distributed (iid) RV withmean and standard deviation µ and σ, respectively

– then

Zn =∑n

i=1(Xi − µ)√n · σ2

tends towards an N(0, 1)-distributed RV (normal distribution with mean0 and standard deviation 1) for n towards infinity

– remark: identical distribution is actually not necessary (only indepen-dence is necessary!)

• our choice: all Xi follow a uniform distribution on the unit interval with mean12 and variance 1

12

• hence:

Zn =∑n

i=1(Xi − µ)√n · σ2

=∑n

i=1 Xi − n2√

n12

= 2√

3n ·(

Xi −12

) n → ∞

∼ N(0, 1)

• choice of n:

– not too big (efficiency) and not too small (approximation, size of num-bers)




Diskrete . . .

of 93




Example 2: Poisson Distribution

• let X be Poisson distributed with parameter λ

p(X = i) =λi · e−λ

i!, i ∈ IN0

• we know already that X counts arrivals of a negative exponentially distri-buted inter-arrival process Y of arrival rate λ

∆t in a time interval of length∆t

• hence strategy:

– produce a random sequence of inter-arrival times y1, y2, . . . accordingto the negative exponential distribution with parameter λ

– determine k such that

k∑i=1

yi ≤ 1 <k+1∑i=1

yi

– then k gives the number of arrivals in the time interval of length 1

– hence: use k as a random number for a RV Poisson-distributed withparameter λ




Diskrete . . .

of 93




Tests for Random Numbers

• here: no test theory (see literature or tables), just application of tests

• restriction to equal or uniform distribution (justified due to previous subsecti-ons)

• two important properties of random numbers:

– uniformity (numbers seem to stem from a uniform distribution)

– independence (two different samples must be independent)

• tests used for uniformity:

– frequency tests : use Kolmogorov-Smirnov or chi-square tests to checkthe occurrences of the different numbers

• tests used for independence:

– runs test : tests the runs (sequences of numbers) up and down or theruns above and below the mean, uses chi-square tests

– autocorrelation test : tests the correlation between numbers

– gap test : counts the numbers of digits that appear between repetitionsof particular digits and then uses Kolmogorov-Smirnov tests

– poker test: treats numbers grouped together as a poker hand, uses chi-square tests for testing the obtained hands




Diskrete . . .

of 93




Testing Random Numbers

• for the established (simulation) languages or random number generators, notesting is necessary

• however, new or non-documented generators should be tested

• testing for uniformity:

– null hypothesis : H0 : Ri ∼ U(0, 1) uniform on the unit interval

– type-1 error : p(reject null hypothesis although true)

– type-2 error : p(accept null hypothesis although wrong)

– significance α: bound for the above probabilities

• testing for independence:

– null hypothesis: H0 : Ri ∼ independently

• tests discussed here are reduced to standard ones, for which there existtables

• Note that the risk of making a type-1 error at least once increases with thenumber of tests performed (just by chance, due to repetition)!




Diskrete . . .

of 93




Frequency Tests

• objective: test of uniformity

• two different methods: Kolmogorov-Smirnov and chi-square test

• both measure agreement between the distribution of the N samples and theuniform distribution

• Kolmogorov-Smirnov test:

– compares deviations in the distribution functions (empirical versus theo-retical)

F (x) = x, FN (x) =#Ri : Ri ≤ x

N, D = max

x| F (x)− FN (x) |

– procedure:

* reorder such that R1 ≤ R2 ≤ R3 ≤ · · · ≤ Rn

* compute

D+ = max1≤i≤N

{i

N−Ri

}, D− = max

1≤i≤N

{Ri −

i− 1N

},

D = max{D+, D−}

* check the Kolmogorov-Smirnov table for the critical value Dα (forgiven significance level α and sample size N )

* rule for test: accept, if D ≤ Dα




Diskrete . . .

of 93




Kolmogorov-Smirnov: Example

• 5 samples: 0.44, 0.81, 0.14, 0.05, 0.93

• calculations:

Ri 0.05 0.14 0.44 0.81 0.93iN 0.20 0.40 0.60 0.80 1.00iN −Ri 0.15 0.26 0.16 −0.01 0.07Ri − i−1

N 0.05 −0.06 0.04 0.21 0.13




Diskrete . . .

of 93




Frequency Tests (2)

• chi-square test :

– subdivides interval [0, 1] into n classes

– uses the sample statistics

χ20 =

n∑i=1

(Oi − Ei)2

Ei

– here (for an overall number of N samples, N > 50 recommended):

* number of samples in class i: Oi

* expected number in class i: Ei, i.e. Ei = Nn for equally spaced

classes (Ei ≥ 5 recommended)

– It can be shown that – for perfect random numbers – the sample quan-tity χ2

0 follows a chi-square distribution with n− 1 degrees of freedom.

– Look in a chi-square table and accept the null hypothesis if the abovevalue is smaller or equal the critical value given in the table (for signifi-cance α and n− 1 degrees of freedom).

• Kolmogorov-Smirnov test is the more powerful one, applicable also for smal-ler N




Diskrete . . .

of 93




Chi-Square: Example

N = 100 samples, 10 classes (intervals of equal length 0.1)class i: [(i− 1) · 0.1, i · 0.1]

0.34 0.90 0.25 0.89 0.87 0.44 0.12 0.21 0.46 0.670.83 0.76 0.79 0.64 0.70 0.81 0.94 0.74 0.22 0.740.96 0.99 0.77 0.67 0.56 0.41 0.52 0.73 0.99 0.020.47 0.30 0.17 0.82 0.56 0.05 0.45 0.31 0.78 0.050.79 0.71 0.23 0.19 0.82 0.93 0.65 0.37 0.39 0.420.99 0.17 0.99 0.46 0.05 0.66 0.10 0.42 0.18 0.490.37 0.51 0.54 0.01 0.81 0.28 0.69 0.34 0.75 0.490.72 0.43 0.56 0.97 0.30 0.94 0.96 0.58 0.73 0.050.06 0.39 0.84 0.24 0.40 0.64 0.40 0.19 0.79 0.620.18 0.26 0.97 0.88 0.64 0.47 0.60 0.11 0.29 0.78




Diskrete . . .

of 93




Chi-Square: Example (cont’d)

• computations for executing the test:

i Oi Ei Oi − Ei (Oi − Ei)2(Oi−Ei)

2

Ei

1 8 10 −2 4 0.42 8 10 −2 4 0.43 10 10 0 0 0.04 9 10 −1 1 0.15 12 10 2 4 0.46 8 10 −2 4 0.47 10 10 0 0 0.08 14 10 4 16 1.69 10 10 0 0 0.0

10 11 10 1 1 0.1

sum 100 100 0 3.4

table provides χ20.05,9 = 16.9 hence: accept!




Diskrete . . .

of 93




Runs Tests

• objective: tests of independence

• starting point:

0.08 0.09 0.23 0.29 0.42 0.55 0.58 0.72 0.89 0.91−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−→0.11 0.16 0.18 0.31 0.41 0.53 0.71 0.73 0.74 0.84−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−→0.02 0.09 0.30 0.32 0.45 0.47 0.69 0.74 0.91 0.95−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−→0.12 0.13 0.29 0.36 0.38 0.54 0.68 0.86 0.88 0.91

– test of uniformity: OK

– however: scepticism concerning independence (four increasing ”runs−−→”)

• rearrangement:

– looks better (more independent!)

0.41 0.68 0.89 0.84 0.74 0.91 0.55 0.71 0.36 0.300.09 0.72 0.86 0.08 0.54 0.02 0.11 0.29 0.16 0.180.88 0.91 0.95 0.69 0.09 0.38 0.23 0.32 0.91 0.530.31 0.42 0.73 0.12 0.74 0.45 0.13 0.47 0.58 0.29

• up run / down run : subsequence of increasing / decreasing numbers

• not realistic: only one run 0.08 0.18 0.23 0.36 0.42 0.55 0.63 0.72−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−→• not realistic: N − 1 runs 0.08 0.−−−−−→93 0.←−−−−15 0.−−−−→96 0.←−−−−26 0.−−−−→84 0.←−−−−28 0.79−−−−−→




Diskrete . . .

of 93




Runs Tests (2)

• consider a true random sequence of N numbers; RV A: #runs

• then it can be shown:

E(A) =2N − 1

3, V (A) =

16N − 2990

• distribution of A: approximately A ∼ N(E(A), V (A)) for N > 20

• allows for a standard test of the mean value of a normal distribution

• besides up and down runs: runs above and runs below the mean

– example: 20 numbers above the mean follow 20 below it: doesn’t lookindependent!

– test of number of subsequences above/below the mean (again standardtest for mean of normal distribution)

– example:

0.63 0.72 0.79 0.81 0.52 0.94 0.83 0.93 0.87 0.670.54 0.83 0.89 0.55 0.88 0.77 0.74 0.95 0.82 0.860.43 0.32 0.36 0.18 0.08 0.19 0.18 0.27 0.36 0.340.31 0.45 0.49 0.43 0.46 0.35 0.25 0.39 0.47 0.41

– perfect with respect to up and down runs, nevertheless not convincing!




Diskrete . . .

of 93




Runs Tests (3)

• finally: test length of runs

– if all runs (up, down, above the mean, below the mean) are of the samelength, this is not really convincing:

0.02 0.98 0.48 0.52 0.04 0.96 0.46 0.54 0.06 0.940.44 0.56 0.08 0.92 0.42 0.58 0.10 0.90 0.40 0.600.12 0.88 0.38 0.72 0.14 0.86 0.36 0.64 0.16 0.840.34 0.66 0.18 0.82 0.32 0.68 0.20 0.80 0.30 0.700.22 0.78 0.28 0.72 0.24 0.76 0.26 0.74 0.49 0.51

* hence: test length of runs – random?

* leads to a chi-square test

– runs of higher order:0.01 0.02 0.03 0.98 0.96 0.94 0.10 0.13 0.16 0.800.76 0.72 0.20 0.25 0.30 0.60 0.54 0.48 0.40 0.47

– in practice: test for all main runs characteristics!




Diskrete . . .

of 93




Other Tests of Independence

• autocorrelation tests :

– detect phenomena like ”every fifth number is bigger than 0.95”

– such patterns are a clear hint for dependence, but can not be detectedby the tests discussed so far

• gap test :

– determine the significance of the intervals between the recurrences ofthe same digit

– record intervals for all ten digits

– theoretically, we have p(gap ≤ x) = 0.1 ·∑x

i=0 0.9i = 1− 0.9x+1

– define n classes and arrange both observed samples of gaps and theo-retically expected gap lengths in these classes

– perform a Kolmogorov-Smirnov test

• poker test :all triples have exactly 2 different digits

– example: 0.255 0.577 0.331 0.414 0.828 0.909 0.303 0.001

p(only 1 digit) = 0.1 · 0.1, p(3 different digits) = 0.9 · 0.8,

p(2 different digits) =(

32

)· 0.1 · 0.9 = 0.27


2) Diskrete Modellierung und - in.tum.de · • Regel 5: ¬∃i : xP iy ⇔xPy ∀(x,y),∀R...

Documents

Transcript of 2) Diskrete Modellierung und - in.tum.de · • Regel 5: ¬∃i : xP iy ⇔xPy ∀(x,y),∀R...