1
Grundbegriffe der Wahrscheinlichkeitstheorie
Karin Haenelt
11.1.2013
Inhalt
Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
2
Wahrscheinlichkeitsraum
Modell zur Beschreibung von Zufallsexperimenten
Ein Wahrscheinlichkeitsraum ist ein normierter Maßraum Es gilt: Ein Wahrscheinlichkeitsraum ist ein Maßraum (Ω, 𝓐, P) Dabei ist
Ω eine Menge 𝓐 eine σ-Algebra in Ω, und P ein Maß 𝓐 auf mit der Normierungsbedingung P(Ω) = 1.
3
Bauer, 2001, 4
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
σ-Algebra
eine Mengenalgebra, die unter abzählbar unendlichen Vereinigungen abgeschlossen ist
Mengensystem 𝓐 über Ω mit folgenden Eigenschaften ø ∊ 𝓐 A ∊ 𝓐 ⇒ ∊ 𝓐 A1, A2, … ∊ 𝓐 ⇒ ∊ 𝓐
Die Elemente A der σ-Algebra 𝓐 eines Wahrscheinlichkeitsraumes (Ω, 𝓐, P) heißen Ereignisse
Die Elemente ω von Ω heißen Elementarereignisse
4
A
i iA
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Wahrscheinlichkeitsmaß
P(A) ist die Wahrscheinlichkeit von A oder für das Eintreten des Ereignisses A.
eine Abbildung P : A → [1,0] mit den Eigenschaften P(A) ≥ 0 für jedes A ∊ 𝓐 Gilt
A1, A2, … ∊ 𝓐 mit
so gilt P(Ω) = 1
5
11)()(
i ii i APAP ,für jiAA ji
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Komponenten des Wahrscheinlichkeitsraumes
6
Bezeichnung Erläuterung
(Ω,𝓐,P) Wahrscheinlichkeitsraum
Ω Ergebnismenge Menge aller Elementarereignisse
ω Elementarereignis Element von Ω
σ-Algebra über Ω Ereignisraum Menge aller möglichen Ereignisse;-Nicht notwendigerweise jede Teilmenge von Ω, mindestens
- Ω als sicheres Ereignis- als unmögliches
Ereignis
A σ-Algebra über Ω
Ereignis
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Komponenten des Wahrscheinlichkeitsraumes: Beispiel 1
7
Bezeichnung Beispiel
(Ω,𝓐,P) Wahrscheinlichkeitsraum
Ω Ergebnismenge {a,b,c}
ω Elementarereignis a
σ-Algebra über Ω Ereignisraum { {a,b,c}, {a,b},{a,c}, {a}, {b,c}, {b}, {c}, {} }
A σ-Algebra über Ω
Ereignis {a,b,c}
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Komponenten des Wahrscheinlichkeitsraumes: Beispiel 2 (Verkehrsampel)
8
Bezeichnung Beispiel
(Ω,F,P) Wahrscheinlichkeitsraum
Ω Ergebnismenge {rot,gelb,grün}
ω Elementarereignis gelb
σ-Algebra über Ω Ereignisraum { {rot}, {rot,gelb},{gelb}, {grün}, {} }
A σ-Algebra über Ω
Ereignis {rot,gelb}
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Inhalt
Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette
9© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Bedingte Wahrscheinlichkeit
10
P(A) Wahrscheinlichkeit (a priori Wahrscheinlichkeit)
- Wahrscheinlichkeit, dass Ereignis A eintritt
- betrachtet eine Teilmenge aus der Gesamtmenge- P(A) / P(Gesamtmenge) = P(A) / 1 = P(A)
P(A|B) Bedingte Wahrscheinlichkeit (a posteriori Wahrscheinlichkeit)
- Wahrscheinlichkeit - dass Ereignis A eintritt, - wenn Ereignis B eingetreten ist
- betrachtet eine Teilmenge aus einer Teilmenge- P(A|B) = P(AB) / P(B)
A BAB
Gesamtmenge
A BAB
Gesamtmenge
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Das Pferd „Harry“ und das Wetter
11
155
65 15
Einfache Wahrscheinlichkeit P(A)
betrachtet Teilmengen aus der Gesamtmenge, Beispiele2.)( winP )(/)( gesamtPwinP
15.)( rainwinP )(/)( gesamtPrainwinP
Bedingte Wahrscheinlichkeit P(A|B)
betrachtet Teilmengen aus einer Teilmenge, Beispiel5.)|( rainwinP )(/)( rainPrainwinP
Rennen Gesamt bei Regen gewonnen 20 15 verloren 80 15 gelaufen 100 30
Rennen Gesamt bei Regen gewonnen 20 15 verloren 80 15 gelaufen 100 30
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Bedingte Wahrscheinlichkeit
12
DefinitionP(B)
B)P(AB)|P(A
P(Rain)
Rain)P(WinRain)|P(Win
.5.30
.15Rain)|P(Win
P(B)
B),P(AB)|P(A
P(B) / B)&P(AB)|P(A
Schreib-varianten
155
65
A BA
15B P(Win)
Win)P(RainWin)|P(Rain
.75.20
.15Win)|P(Rain
P(A|B) P(B|A)
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Theorem von Bayes
13
P(B)
B)P(AB)|P(A
ermöglicht Berechnung von P(B|A) aus P(A|B)
P(A ∩ B) = P(B) · P(A ∩ B) / P(B) = P(B) · P(A|B)
0.3 · .15 / 0.3 = 0.3 · 0.5 = 0.15
= P(A) · P(A ∩ B) / P(A) = P(A) ·P(B|A)
0.2 · .15 / 0.2 = 0.2 · 0.75 = 0.15
P(A|B )= P(A ∩ B) / P(B) = P(B) · P(A|B) / P(B)
0.3 · 0.5 / 0.3 = 0.50
= P(A) ·P(B|A) / P(B)
0.2 · 0.75 / 0.3 = 0.50
Regel von Bayes
Theorem von Bayes
Herleitung durch Umformung
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
, 14
ermöglicht Berechnung von P(B|A) aus P(A|B
P(A ∩ B) = P(B) · P(A ∩ B) / P(B) = P(B) · P(A|B)
0.3 · .15 / 0.3 = 0.3 · 0.5 = 0.15
= P(A) · P(A ∩ B) / P(A) = P(A) ·P(B|A)
0.2 · .15 / 0.2 = 0.2 · 0.75 = 0.15
P(A|B )= P(A ∩ B) / P(B) = P(B) · P(A|B) / P(B)
0.3 · 0.5 / 0.3 = 0.50
= P(A) ·P(B|A) / P(B)
0.2 · 0.75 / 0.3 = 0.50
Regel von Bayes
Theorem von Bayes
155
65
BA
15
A:win
B:rain
Herleitung durch Umformung
Theorem von Bayes
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Inhalt
Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette
15© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Unabhängige Ereignisse
Zwei Ereignisse sind voneinander unabhängig, wenn gilt:
Typisches Beispiel:
Es werden zwei Würfel geworfen.Sei A das Ereignis: der 1. Wurf ist eine 1: P(A) = 1/6Sei B das Ereignis: der 2. Wurf ist eine 6: P(B) = 1/6
Wahrscheinlichkeit A und B: P(A∩B) = 1/6 · 1/6 = 1/36
16
P(A|B) = P(A)
P(A ∩ B) = P(A) · P(B)
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Test zweier Ereignisse auf Unabhängigkeit
1717
Rennen alle Rennen bei Regen(Beispiel 1)
bei Regen(Beispiel 2)
gewonnen 20 15 10
verloren 80 15 40
Gesamt 100 30 50
P(win|rain) P(win) Ergebnis:die Ereignisse „win“ und „rain“ sind
Beispiel 1 .50 .20 abhängig
Beispiel 2 .20 = .20 unabhängig
P(win ∩ rain) P(win) · P(rain)
Ergebnis:die Ereignisse „win“ und „rain“ sind
Beispiel 1 .15 .2 .3 = .06 abhängig
Beispiel 2 .10 = .2 .5 = .10 unabhängig
155
65 15
1010
40 40
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Abhängige und unabhängige Ereignisse
diese Formeln gelten in beiden Fällen, da die rechte und die linke Seite äquivalent sind
18
P(A ∩ B) = P(A) ·P(B | A) = P(B) · P(A | B)
P(A | B) = P(A ∩ B) / P(B) P(win ∩ rain) =
P(win|rain) · P(rain) = P(rain|win) · P(win)
Beispiel 1 .15 = .5 · .3 = .75 · .2
Beispiel 2 .10 = .2 · .5 = .5 · .2
P(win|rain) = P(win ∩rain) / P(rain)
Beispiel 1 .5 .15 / .3
Beispiel 2 .2 .10 / . 5
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Inhalt
Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette
19© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Stochastischer Prozess
Definition 1 Sei Ω eine Menge elementarer Zufallsereignisse
(Ergebnismenge eines Wahrscheinlichkeitsraumes).Ein stochastischer Prozess oder Zufallsprozess ist eine Folge von elementaren ZufallsereignissenX1,X2,…Xi Ω
Definition 2 Die möglichen Zufallswerte in einem stochastischen Prozess
heißen Zustände des Prozesses.Man sagt, dass sich der Prozess zum Zeitpunkt t in Zustand Xt befindet
20
Brants, 1999: 30
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Stochastischer Prozess
Für die vollständige Beschreibung eines Zufallsprozesses mit diskretem Zeitparameter benötigt man
1. die Anfangswahrscheinlichkeit:die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er als Zustand X1 beobachtet werden kann (d.h. den Startzustand bildet)
πi = P(X1=si)
2. die Übergangswahrscheinlichkeit:die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er in einer Zustandsfolge auftritt:
P(Xt+1 = xt+1 | X1 = x1, X2 = x2, …,Xt = xt)
21
Brants, 1999: 30
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Stochastischer Prozess: Beispiel
Ein Textgenerator hat ein Lexikon mit drei Wörtern von denen an jeder Position jedes auftreten kann : Ω = {geschickt, werden, wir}
wir beobachten an jeder Position, welches Wort generiert wurde Sei
X1 das Wort zum ersten Beobachtungszeitpunkt
X2 das Wort zum zweiten Beobachtungszeitpunkt, usw.
Dann ist die Folge der Wörter ein stochastischer Prozess mit diskreter Zufallsvariable und diskretem Zeitparameter
Für diese Folge kann man eine Wahrscheinlichkeit angeben
22© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Inhalt
Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette
23© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Markow-Kette
Eine Markow-Kette ist ein stochastischer Prozess, bei dem der nächste Zustand Xt+1 bei bekanntem gegenwärtigem Zustand Xt
unabhängig von den vergangenen Zuständen Xt-1, Xt-2,…,X0 ist.
Es giltP(Xt+1 = j | Xt = it, Xt-1 = it-1, …,X1 = i1, X0=i0) = P(Xt+1 = j | Xt = it)
daher der Name Kette: Kettenglieder hängen nur am vorigen Kettenglied, nicht an allen vorherigen Kettengliedern
24
Brants,Crocker,Lieblang, 2000:22
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Endliche Markow-Kette
Für eine endliche Markow-Kette gibt es endlich viele Zustände, und die Kette muss sich zu jedem Zeitpunkt in einem dieser endlich vielen Zustände befinden
Prozess „ohne Gedächtnis“ mit endlich vielen Zuständen
entspricht den Eigenschaften eines endlichen Automaten
25
Brants, 1999: 31
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Markow-Kette und Eigenschaften menschlicher Sprachen: ein Beispiel
nach einem q folgt oft ein u, Vorhersage über 2. Buchstaben hinter q? abhängig von q?
nach einem s folgt ein c, dann folgt ein h Vorhersage über 3. Buchstaben hinter s? abhängig von s?
26
Kunze, 2001
Markow-Modell1. Ordnung
Markow-Modell2. Ordnung
…
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Markow-Kette: Matrix-Darstellung
kann beschrieben werden durch die Angaben Stochastische Übergangsmatrix A
Anfangswahrscheinlichkeiten Π
27
it sX jt sX 1 geschickt werden wir geschickt .3 .4 .3 werden .4 .2 .4 wir .3 .4 .3
X t
geschickt .2 werden .3 wir .5
)|( 1 itjtij sXsXPa
0ijaji ,
N
j
jia1
, 1i
)( 1 ii sXP
N
i
i
1
1
Manning/Schütze, 2000: 318
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Markow Model: Definition
28
Ein Markow-Modell wird spezifiziert durch ein Tripel (S,Π,A)
S = {S1, ..., SN} Menge der Zustände
Π = {πi} Wahrscheinlichkeiten der Startzustände
πi = P(X1 = Si)
N
i
i
1
1
A = {aij} Wahrscheinlichkeiten der Zustandsübergänge
aij = P(Xt+1 = Sj | Xt = Si) 1 ≤ i , j ≤ N
N
j
ija1
1
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Markow-Kette: Graph-Darstellung
kann beschrieben werden durch Zustandsübergangsgraphen
29
wir
werden
geschickt
.3
.3.3.4
.4
.4
.4
.3
.2
.2
.3
.5
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Markow-Kette: Berechnung einer Sequenz-Wahrscheinlichkeit
Wahrscheinlichkeit der Sequenz der Zustände X1 … XT
für eine Markow-Kette gilt:
30
),...,( 1 TXXP),...,|()...,|()|()( 11123121 TT XXXPXXXPXXPXP
)|()...|()|()( 123121 TT XXPXXPXXPXP
11
1
1
tt XX
T
t
aX
Manning/Schütze, 2000: 320
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Markow-Kette: Berechnungsbeispiel
Wahrscheinlichkeit der Sequenz der Zustände X1 … XT
31
),,( 321 geschicktXwerdenXwirXP
)|(
)|(
)(
23
12
1
werdenXgeschicktXP
wirXwerdenXP
wirXP
08.0)4.4.5(.
it sX jt sX 1 geschickt werden wir geschickt .3 .4 .3 werden .4 .2 .4 wir .3 .4 .3
X t
geschickt .2 werden .3 wir .5
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Literatur
• Bauer, Heinz (2001). Wahrscheinlichkeitstheorie. de Gruyter. 5. verbesserte Auflage.• Brants, Thorsten (1999). Statistische Methoden in der Sprachverarbeitung. Seminarskript
15. Juni 1999• Brants, Thorsten; Matthew Crocker und Enrico Lieblang (2000). Statistische Methoden in
der Sprachverarbeitung. Seminarskript. http://www.coli.uni-saarland.de/~thorsten/stat00/skript.ps.gz
• Manning, Christopher D.; Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: http://www.sultry.arts.usyd.edu.au/fsnlp)
• Versionen 11.1.2013, 26.5.2009, 31.10.2005, 4.5.2002
32© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013
Top Related