Sprachen
Seiten
Rechtliche
Ma- und Wahrscheinlichkeitstheorie
Frank WernerInstitut fur Numerische und Angewandte Mathematik
Georg-August-Universitat GottingenLotzestrae 16-1837083 Gottingen
29. Juli 2009
Basierend auf der Vorlesung Ma- und Wahrscheinlichkeitstheorie von Dr. Ulf-Rainer Fiebig im Sommer-semester 2009 an der Georg-August-Universitat Gottingen
3Vorwort
Dieses Skript ist unter einigem Arbeitsaufwand wahrend der Vorlesung Wahrscheinlichkeitstheorie vonPD Dr. Fiebig im Sommersemester 2009 an der Georg-August-Universitat Gottingen entstanden.
Eigentlich ist es nicht moglich, Wahrscheinlichkeitstheorie und Matheorie getrennt zu behandeln, den-noch wird es in diesem Skript versucht. Zu Beginn werden die elementar notwendigen Ergebnisse aus derMatheorie wiederholt und im folgenden in der Wahrscheinlichkeitstheorie angewendet. Fur ein intensi-veres Studium der Matheorie sei auf [Hal98,Bil95] verwiesen.
Dieses Skript behandelt alle wesentlichen Werkzeuge, die die Wahrscheinlichkeitstheorie bereitstellt, unteranderem 0-1-Gesetze, schwache und starke Gesetze und Grenzwertsatze. Allerdings werden Anwendungennur gestreift, dafur sei auf weitere Vorlesungen wie etwa Stochastische Prozesse verwiesen.
Fur Grundlagen der diskreten oder auch stetigen Stochastik wie etwa spezielle Verteilungen etc. verwei-sen wir auf das Skript [WB08], an welches die vorliegende Vorlesung direkt anschliet. Auerdem seiauf [DH04,Kre05] verwiesen.
Es handelt sich hierbei ausdrucklich nur um eine studentische Mitschrift, nicht um ein offiziell vom Do-zenten herausgegebenes Skript. Trotz groer Anstrengungen sind sicherlich einige Fehler mathematischerwie auch sprachlicher Natur im Skript verblieben, was hoffentlich nicht allzu groe Schwierigkeiten fur dasVerstandnis aufwerfen wird. Besonderer Dank gilt Robert Stuck und Fabian Dunker fur viele hilfreicheKorrekturen.
Gottingen, 29. Juli 2009
Frank Werner
Ma- und Wahrscheinlichkeitstheorie
Inhaltsverzeichnis 5
Inhaltsverzeichnis
1 -Algebren, Mae, Integration und endliche Produkte 71.1 Mengensysteme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.2 Mae . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.3 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.1 Mae mit Dichten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.3.2 Integration bezuglich eines Bildmaes . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4 Endliche Produkte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.4.1 Spezialfall n = 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161.4.2 Produktdichten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2 Grundbegriffe der Wahrscheinlichkeitstheorie 192.1 Wahrscheinlichkeitsraume und bedingte Wahrscheinlichkeiten . . . . . . . . . . . . . . . . 192.2 Zufallsvariablen und Momente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.3 Spezielle Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.1 Diskrete Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.3.2 Stetige Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4 Unabhangigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262.5 Unendliche Produkte von Wahrscheinlichkeitsraumen . . . . . . . . . . . . . . . . . . . . . 31
3 0-1-Gesetze 33
4 Wahrscheinlichkeitsungleichungen und Lp-Raume 394.1 Wahrscheinlichkeitsungleichungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394.2 Lp-Raume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5 Konvergenzbegriffe 43
6 Gesetze der groen Zahlen 476.1 Schwache Gesetze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476.2 Starke Gesetze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
7 Schwache Konvergenz und Konvergenz in Verteilung 537.1 Schwache Konvergenz von Wahrscheinlichkeitsmaen . . . . . . . . . . . . . . . . . . . . . 537.2 Konvergenz in Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
8 Charakteristische Funktionen 61
9 Grenzwertsatze 71
10 Bedingte Erwartungen 77
11 Gleichgradige Integrierbarkeit 81
12 Stationare Prozesse mit diskreter Zeit 8912.1 Grundbegriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8912.2 Matreue Abbildungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9112.3 Ergodensatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
13 Losungen ausgewahlter Aufgaben 97
Ma- und Wahrscheinlichkeitstheorie
1 -Algebren, Mae, Integration und endliche Produkte 7
1 -Algebren, Mae, Integration und endlicheProdukte
1.1 Mengensysteme
Fur den ganzen Abschnitt sei eine nicht-leere Menge und bezeichne P () ihre Potenzmenge.Definition 1.1. Ein Mengensystem A P () ist eine Algebra, wenn1. A,2. A A Ac := {x | x / A} A und3. A1, ..., An A
ni=1Ai A.
Gilt sogari=1Ai A fur jede Folge A1, A2, ... A, so heit A eine -Algebra.
Beispiel 1.2. Ein h-Intervall (wobei h fur halboffen steht) in R ist eine Menge der Form
{x R | a < x b}
mit irgendwelchen a b . Sei nun A das Mengensystem aller endlichen disjunkten Vereini-gungen
I1 ... In,wobei n N beliebig und jedes Ik ein h-Intervall ist.Aufgabe 1.3. Zeige, dass das so definierte Mengensystem A eine Algebra, aber keine -Algebra ist.Definition 1.4. Sei E P () ein Mengensystem. Der Durchschnitt aller -Algebren, die E enthalten,ist wieder eine -Algebra, die mit (E) bezeichnet und auch die von E erzeugte -Algebra genannt wird.Wir sagen in diesem Fall auch, dass E ein Erzeugendensystem von (E) ist.Aufgabe 1.5. Zeige, dass
(E) :=
AAlgebraEA
A
tatsachlich wieder eine -Algebra ist und dass (E) die kleinste -Algebra ist, die E enthalt.Definition 1.6. Sei O das System der (topologisch) offenen Mengen auf R. Die Borelsche -AlgebraB = B (R) ist definiert als (O) - die kleinste -Algebra, die alle offenen Mengen enthalt. Jede MengeA B heit Borel-mebar.Bemerkung 1.7. Es gilt naturlich B P (R), aber die Inklusion ist echt (vergleiche [Hal98, Sec. 16]).Bemerkung 1.8. Es gibt viele weitere Erzeugendensysteme E fur B, zum Beispiel E := {(a, b) | a, b R, a < b}, E := {(a, b] | a, b R, a < b}, E := {[a, b] | a, b R, a < b}, E := {(, b) | b R}.
Folgendes Hilfsmittel wird haufig benotigt, etwa um die Eindeutigkeit von Maen zu zeigen oder umunabhangige Familien und bedingte Erwartungen zu behandeln:
Definition 1.9. Ein Mengensystem D P () heit Dynkin-System, wenn1. D,
Ma- und Wahrscheinlichkeitstheorie
8 1 -Algebren, Mae, Integration und endliche Produkte
2. A D Ac D und3. A1, A2, ... D paarweise disjunkt, so auch
i=1Ai D.
Beispiel 1.10. Sei eine endliche Menge mit einer geraden Anzahl von Elementen. Dann ist
D := {A | A enthalt eine gerade Anzahl von Elementen}ein Dynkin-System aber keine Algebra (und entsprechend auch keine -Algebra).
Definition 1.11. Wir nennen ein Mengensystem M P () schnitt-stabil oder auch -stabil, fallsA B M fur alle A,B M.Satz 1.12. Ein Dynkin-System D ist eine -Algebra genau dann, wenn D -stabil ist.Beweis. Notwendig: Wegen
A B = (Ac Bc)c
ist jede -Algebra -stabil.Hinreichend: Seien A1, A2, ... D beliebig. Dann gilt
i=1
= A1 A2 \A1 A3 \ (A1 A2) ...
= A1 A2 \ (A1 A2) A3 \ ...= A1 (A2 Ac1)
D
(A3 Ac1 Ac2) D
...,
und da diese Mengen disjunkt sind, muss die Vereinigung wieder in D sein.Definition 1.13. Sei E ein Mengensystem. Das durch E erzeugte Dynkin-System D (E) ist das kleinsteDynkin-System, welches E enthalt.Aufgabe 1.14. Zeige, dass
D (E) =
DDynkin-SystemED
D
tatsachlich wieder ein Dynkin-System ist.
Satz 1.15. Sei das Mengensystem E -stabil. Dann ist (E) = D (E).Aufgabe 1.16. Zeige, dass stets D (E) (E) gilt.Folgendes Korollar wird ebenfalls haufig benutzt:
Korollar 1.17. Sei E ein -stabiles Mengensystem, D ein Dynkin-System und gelteE D (E) .
Dann gilt D = (E).
1.2 Mae
Definition 1.18. Ein Prama ist eine Funktion : A // [0,] auf einer Algebra A mit1. () = 0 und2. fur A1, A2, ... A paarweise disjunkt und
i=1Ai A gilt (-Additivitat)
( i=1
Ai
)=i=1
(Ai) .
Ist A sogar eine -Algebra, so nennen wir auch Ma.Definition 1.19. Sei ein Prama auf einer Algebra A. heit endlich, wenn ()
1 -Algebren, Mae, Integration und endliche Produkte 9
Definition 1.20. Sei 6= und A eine -Algebra auf . Dann heit das Tupel (,A) mebarer Raum.Ist zusatzlich ein Ma auf A, so heit das Tupel (,A, ) Maraum. Ist dabei normiert, d.h. () = 1,so heit das Tupel (,A, ) auf Wahrscheinlichkeitsraum oder kurz WRaum.Ein Maraum (,A, ) heit vollstandig, wenn A alle Teilmengen von -Nullmengen enthalt, d.h. fallsfur jedes A A mit (A) = 0 auch P (A) A.Beispiel 1.21. Sei (,A) ein mebarer Raum.1. Dann definiert
(A) :=
{#A falls A endlich,
sonst,A A
das sogenannte Zahlma auf A.2. Fur x fest definiert
(A) :=
{1 falls x A,0 falls x / A,
A A
das Dirac-Ma oder auch einfach Punktma in x. In diesem Fall schreiben wir auch = x oderseltener = x. Wir sprechen auch von der Punktmasse in x.
3. Sei endlich oder abzahlbar und A = P (). Sei (p1, p2, ...) ein Wahrscheinlichkeitsvektor (d.h. esgelte pi [0, 1] fur alle i N und
i=1 pi = 1) auf den Elementen 1, 2, ... von . Falls endlich
ist mit = {1, ..., n}, so fordern wir pi = 0 fur alle i > n.Dann ist
(A) :=iA
pi, A A
ein normiertes Ma auf A.Satz 1.22 (ohne Beweis). Sei ein Prama auf einer Algebra A. Dann gilt:1. Sind A,B A mit A B, so gilt (Monotonie)
(A) (B) .
2. Sind A1, A2, ... A s.d. auchi=1Ai A, so gilt (Subadditivitat)
( i=1
Ai
)i=1
(Ai) .
3. Sind A1 A2 ... Elemente aus A miti=1Ai A, so gilt (Stetigkeit von unten)
( i=1
Ai
)= limi
(Ai) .
4. Sind A1 A2 ... Elemente aus A miti=1Ai A und (A1)
10 1 -Algebren, Mae, Integration und endliche Produkte
Beweis. Man verwendet ein Kompaktheitsargument und weitere Eigenschaften aus der Matheorie.
Bemerkung 1.24. Man setzt fur ein F wie im Satz oben
F () := limxF (x) ,
F () := limxF (x) ,
wobei diese Werte bzw. sein konnen. Damit ist der Ausdruck (1.1) stets definiert.Satz 1.25 (Fortsetzungssatz von Caratheodory - ohne Beweis). Sei A eine Algebra und ein Pramaauf A. Dann gibt es ein Ma auf der von A erzeugten -Algebra (A), s.d.
|A = .
Ist -endlich, so ist eindeutig bestimmt.
Bemerkung 1.26. Sei A A fur A und wie im Fortsetzungssatz. Dann ist
(A) = inf
{ i=1
(Ai) Ai A, A
i=1
Ai
}.
Dieser Ausdruck wird auch als aueres Ma bezeichnet.
Korollar 1.27. Zu jedem monoton steigenden, rechtsstetigen F : R //R gibt es genau ein Ma F aufB mit
F ((a, b)) = F (b) F (a)fur alle a, b, R, a < b.Beispiel 1.28. Die Funktion F (x) = x liefert das Lebesgue-Ma 1 = auf B.Fur die Eindeutigkeit wird im Allgemeinen der folgende Satz verwendet, fur dessen Beweis Dynkin-Systeme benutzt werden:
Satz 1.29 (ohne Beweis). Sei A eine -Algebra, E ein -stabiles Erzeugendensystem fur A und seien1, 2 Mae auf A mit1. 1 (E) = 2 (E) fur alle E E und2. es gibt E1, E2, ... E s.d. =
i=1Ei und 1 (Ei) = 2 (Ei) fur alle i N.
Dann gilt 1 = 2.
Definition 1.30. Eine monoton wachsende, rechtsstetige Funktion F : R // R mit limx F (x) = 1und limx F (x) = 0 heit Verteilungsfunktion.
Korollar 1.31. 1. Zu jeder Verteilungsfunktion F existiert genau ein Wahrscheinlichkeitsma F aufder Borelschen -Algebra B auf R mit der Eigenschaft
F ((a, b)) = F (b) F (a)fur alle a, b R, a < b.
2. Ist ein Wahrscheinlichkeitsma auf B, so existiert eine Verteilungsfunktion F s.d. = F gilt.F ist gegeben als
F (x) = ((, x]) .Definition 1.32. Die Lebesguesche -Algebra L (R) entsteht aus B (R) durch Hinzufugen aller Teilmen-gen von Nullmengen, d.h.
L (R) = {A N | A B (R) und B B (R) mit N B und (B) = 0} .Auf L (R) ist (A N) := (A) das Lebesgue-Ma, welches so definiert vollstandig ist.Beweis. Man setzt
(A) := inf
{ i=1
(bi ai) A
i=1
(ai, bi) , ai, bi R, ai < bi fur alle i N}, A L (R)
und verwendet Eigenschaften aus der Matheorie.
Ma- und Wahrscheinlichkeitstheorie
1 -Algebren, Mae, Integration und endliche Produkte 11
1.3 Integration
Seien (,A) und (,A) mebare Raume und f : // eine Abbildung.Definition 1.33. f heit mebar (genauer: AA-mebar), wenn
f1 (A) A fur alle A A.
Satz 1.34. Ist A = (E ) und gilt f1 (E) A fur alle E E , so ist f mebar.Beweis. Es gilt
E {A A | f1 (A) A} ()
A.
Da () eine -Algebra ist und (E ) = A gilt, folgt die Behauptung.Aufgabe 1.35. Zeige, dass () tatsachlich eine -Algebra definiert.Bemerkung 1.36. Ist f : R //R stetig, so ist f B Bmebar. Dies folgt direkt aus obigem Satz mitE = {(a, b) | a, b R, a < b}.Bemerkung 1.37. Ist (,A) ein mebarer Raum und f : //R, so betrachtet man den Zielraum R stetsversehen mit der Borelschen -Algebra B. In diesem Sinne bedeutet also mebar stets ABmebar.Definition 1.38. Wir sagen
eine Funktion f : R // R ist Lebesgue-mebar, wenn f L (R) Bmebar ist. eine Funktion f : R // R ist Borel-mebar, wenn f B Bmebar ist.
Korollar 1.39. Eine Funktion f : // R ist A-mebar genau dann, wenn f1 ((, a]) A fur allea R.Satz 1.40 (ohne Beweis). Sind f, g : //R mebar, so sind auch die punktweise definierten Funktionenf + g und f g mebar.Definition 1.41. Sei R := [,] = R {}. Definiere durch
B (R) := {A R | A R B (R)}eine -Algebra mit den Erzeugendensystemen
{[, a] | a R}, {(a,] | a R}.
Satz 1.42 (ohne Beweis). Seien fn : //R fur n N mebar. Dann sind folgende Funktionen ebenfalllsmebar: (
supnN
fn
)(x) := sup
nN(fn (x)) , x ,(
infnN
fn
)(x) := inf
nN(fn (x)) , x ,(
lim supn
fn
)(x) := lim sup
n(fn (x)) , x ,(
lim infn fn
)(x) := lim inf
n (fn (x)) , x ,
max {f1, f2} (x) := max {f1 (x) , f2 (x)} , x ,min {f1, f2} (x) := min {f1 (x) , f2 (x)} , x .
Falls f (x) := limn fn (x) , x existiert, so ist f ebenfalls mebar.
Ma- und Wahrscheinlichkeitstheorie
12 1 -Algebren, Mae, Integration und endliche Produkte
Definition 1.43. Es sei
L+ (,A) := {f : // [0,] | f ist mebar} .Oft schreiben wir auch verkurzend L+ = L+ (,A) falls klar ist, um welchen mebaren Raum es sichhandelt.
Definition 1.44. Sei (,A) ein mebarer Raum. Eine Elementarfunktion ist eine Funktion : //Rvon der Form
=ni=1
aiAi
mit ai R und Ai A fur i = 1, ..., n, wobei
A () =
{1 falls A,0 falls / A,
fur A A.Falls alle Ai disjunkt sind und
ni=1Ai = gilt, so sprechen wir von einer Normalfunktion.
Satz 1.45 (ohne Beweis). Zu f L+ existiert eine Folge von Elementarfunktionen n mit 0 1 2 ... f punktweise und
limnn (x) = f (x) , x .
Bemerkung 1.46. Damit folgt auch, dass fur f, g L+ die Funktionen f+g und f g ebenfalls Elementeaus L+ definieren.
Definition 1.47. Sei (,A, ) ein Maraum. Fur Elementarfunktionen = ni=1 aiAi definiert mand :=
ni=1
ai (Ai) .
Es wird dabei die Konvention 0 = 0 genutzt. Fur f L+ seifd := sup
{d
ist Elementarfunktion mit 0 f}das Integral von f uber .Fur A A setze auerdem
A
f d :=f Ad
und bezeichne dies als das Integral von f uber A.
Bemerkung 1.48. Es folgt sofort, dass fur f g mit f, g L+ auch f d g d und man zeigtleicht, dass
c f d = c f d
fur c 0.Satz 1.49 (von der monotonen Konvergenz - ohne Beweis). Seien f1 f2 ... Funktionen aus L+ undsei f := limn fn der punktweise Grenzwert. Dann gilt
f d = limn
fn d.
Satz 1.50 (ohne Beweis). Seien f1, f2, ... L+. Dann gilt n=1
fn d =n=1
fn d.
Insbesondere ist (f1 + f2) d =
f1 d+
f2 d.
Ma- und Wahrscheinlichkeitstheorie
1 -Algebren, Mae, Integration und endliche Produkte 13
Definition 1.51. Sei (,A, ) ein Maraum und N A mit (N) = 0. Erfullen alle x / N eineEigenschaft E, so sagen wir E gilt -fast sicher oder auch einfach E gilt fast sicher.
Satz 1.52 (ohne Beweis). Fur f, g L+ gilt:1.f d = 0 genau dann, wenn f = 0 -fast sicher und
2. f = g -fast sicher, so auchf d =
g d.
Lemma 1.53 (Fatou - ohne Beweis). Sind f1, f2, ... L+, so giltlim infn fn d lim infn
fn d.
Beispiel 1.54. Sei = R, A = B (R) und = das Lebesgue-Ma. Setzefn := [n,n+1].
Dann gilt lim infn fn = 0, aber lim infnfn d = 1.
Definition 1.55. Sei f : // R gegeben. Setze
f+ (x) := max {f (x) , 0} , x ,f (x) := max {f (x) , 0} , x .
Dies liefert eine Zerlegungf = f+ f
mit Funktionen f+, f L+.Definition 1.56. Eine mebare Funktion f : // R heit -integrierbar, wenn
f+ d
14 1 -Algebren, Mae, Integration und endliche Produkte
Satz 1.60 (von der mjaorisierten Konvergenz - ohne Beweis). Seien f1, f2, ... L1 mit fn //f, n //punktweise. Es gebe ein g L1 mit g 0 und |fn| g. Dann ist auch f L1 und es gilt
f d = limn
fn d.
Bemerkung 1.61. Statt fn // f, n // punktweise genugt auch f mebar und fn // f, n // fastsicher.
Definition 1.62. Fur f L1 (R,L (R) , ) istf d :=
f+ d
f d
das Lebesgue-Integral von f .
Satz 1.63 (ohne Beweis). Ist f : [a, b] // R Riemann-integrierbar, so ist f auch Lebesgue-integrierbarund die entsprechenden Integrale stimmen uberein.
1.3.1 Mae mit Dichten
Sei (,A, ) ein beliebiger Maraum.Satz 1.64. Fur f L+ definiert
(A) :=A
f d, A A
ein Ma auf (,A).Beweis. Man nutzt den Satz von der monotonen Konvergenz um die -Additivitat zu zeigen.
Definition 1.65. Fur f L+ und definiert wie im Satz nennen wir f die Dichte von bezuglich und schreiben = f.
Satz 1.66 (ohne Beweis). Sei = f fur ein f L+.1. Fur f L+ gilt dann g d = f g d.2. Ist g : // R mebar, so ist g -integrierbar genau dann, wenn f g -integrierbar ist.
In diesem Fall gilt g d =
f g d.
1.3.2 Integration bezuglich eines Bildmaes
Satz 1.67 (ohne Beweis). Seien (,A) und (,A) mebare Raume. Sei T : // eine mebareAbbildung und ein Ma auf (,A).Dann ist durch
(A) := (T1 (A)
), A A
ein Ma auf (,A) definiert.Wir schreiben =: T () = T1 und nennen das Bildma von unter T .Satz 1.68 (Transformationssatz - ohne Beweis). Sei (,A, ) ein Maraum, (,A) ein mebarer Raumund T : // mebar. Dann gilt fur alle f L+ (,A) die Gleichung
f d (T ()) =f T d. (1.2)
Eine A-mebare Funktion f : // R ist T ()-integrierbar genau dann, wenn f T -integrierbar istund in diesem Fall gilt ebenfalls (1.2).
Ma- und Wahrscheinlichkeitstheorie
1 -Algebren, Mae, Integration und endliche Produkte 15
1.4 Endliche Produkte
Seien (i,Ai) mebare Raume fur 1 i n. Auf
:= 1 ... n =ni=1
i
sei pii die i-te Koordinatenabbildung, d.h. pii : // i ist gegeben durch
pii (1, ..., n) = i, (1, ..., n) .
Definition 1.69. Das ProduktA := A1 ...An
der -Algebren A1, ...,An ist die kleinste -Algebra auf , s.d. jedes pii AAi-mebar ist. Wir schreibenauch
ni=1
Ai = A.
Satz 1.70 (ohne Beweis). Sind Ei, i = 1, .., n Erzeugendensysteme fur Ai derart, dass es Ei,k Ei mitk=1Ei,k = i fur i = 1, ..., n gibt, so ist
ni=1
Ai = ({E1 ... En | Ei 3 Ei, 1 i n}) .
Bemerkung 1.71. So erzeugen etwa (a1, b1] ... (an, bn] die Borelsche -Algebra
B (Rn) :=ni=1
B (R)
auf dem Rn.
Aufgabe 1.72. Zeige, dass auch
B (Rn) = ({M Rn | M offen})
gilt.
Satz 1.73 (ohne Beweis). Seien (,A) und (i,Ai) fur i = 1, ..., n mebare Raume. Eine Abbildungf : //
ni=1 i ist A
ni=1Ai-mebar genau dann, wenn fur alle i = 1, ..., n die Abbildung fi := piif
AAi-mebar ist.
Satz 1.74 (ohne Beweis). Seien (i,Ai, i) fur i = 1, ..., n Maraume. Fur i = 1, ..., n sei Ei einErzeugendensystem von Ai, welches -stabil ist und jeweils eine Familie (Ei,k)kN mit i (Ei,k) < und i =
k=1Ei,k enthalt.
Dann gibt es genau ein Produktma aufn
i=1Ai mit der Eigenschaft
(E1 ... En) = 1 (E1) ... n (En) fur alle Ei Ei, 1 i n.
Wir schreiben auch = 1 ... n.
Bemerkung 1.75. Insbesondere gilt also: Wenn alle i -endlich sind, so existiert das Produktma undist eindeutig bestimmt (Einfach Ei = Ai fur i = 1, ..., n im obigen Satz).
Beispiel 1.76. Das n-dimensiopnale Lebesgue-Ma n auf B (Rn) existiert und ist eindeutig festgelegtdurch
n ((a1, b1] ... (an, bn]) =ni=1
(bi ai) fur alle ai, bi R, ai < bi fur 1 i n.
Ma- und Wahrscheinlichkeitstheorie
16 1 -Algebren, Mae, Integration und endliche Produkte
1.4.1 Spezialfall n = 2
Seien (1,A1, 1) und (2,A2, 2) zwei -endliche Maraume und sei Q A1 A2.Satz 1.77 (ohne Beweis). Dann ist
Q1 := {2 2 | (1, 2) Q}
ein Element aus A2 fur jedes beliebige 1 1. Analog ist Q2 A1 fur alle 2 2. Wir nennen Q1den 1-Schnitt zu Q, analog nennen wir Q2 den 2-Schnitt zu Q.Die Funktion 1 7 2 (Q1) ist A1-mebar, und genauso ist 2 7 1 (Q2) A2-mebar. Es gilt
(1 2) (Q) =2 (Q1) d1 (1)
=1 (Q2) d2 (2) .
Abbildung 1.1: Skizze des 1-Schnitts Q1 zu Q.
Bemerkung 1.78. Wir erhalten so eine zweite Moglichkeit das Produktma 1 2 zu definieren.Induktiv konnen wir so auch beliebige endliche Produkte definieren.
Definition 1.79. Eine fast uberall definierte Funktion auf einem Maraum (,A, ) ist eine Funktionf : N c // R derart, dass N A mit (N) = 0. Anders gesagt ist eine fast uberall definierte Funktionmit Ausnahme einer Nullmenge auf ganz definiert.Eine solche Funktion heit -integrierbar, falls die (uberall definierte) Funktion
f (x) :=
{f (x) falls x / N,0 falls x N
-integrierbar ist. Wir setzen f d :=
f d
falls existent.
Satz 1.80 (Tonelli / Fubini - ohne Beweis). 1. (Tonelli)Fur f L+ (1 2,A1 A2) definiert
g (1) :=f1 d2
eine Funktion aus L+ (1,A1) und
h (2) :=f2 d1
Ma- und Wahrscheinlichkeitstheorie
1 -Algebren, Mae, Integration und endliche Produkte 17
eine Funktion aus L+ (2,A2) fur
f1 (2) := f (1, 2) , f2 (1) = f (1, 2) , (1, 2) 1 2.
Auerdem gilt f d (1 2) =
1
2
f (1, 2) d2 (2)
=g(1)
d1 (1) (1.3)
=2
1
f (1, 2) d1 (1)
=h(2)
d2 (2) . (1.4)
2. (Fubini)Sei f : 12 //R 12-integrierbar (dies kann mit Tonelli durch betrachten von |f | uberpruftwerden). Dann ist
f1 wie oben definiert 2-integrierbar fur 1-fast alle 1 1, f2 wie oben definiert 1-integrierbar fur 2-fast alle 2 2
und die fast uberall definierten Funktionen
g (1) :=f1 d2, h (2) :=
f2 d1
sind 1- bzw. 2-integrierbar. Auch hier gelten (1.3) und (1.4).
1.4.2 Produktdichten
Satz 1.81 (Produktdichten - ohne Beweis). Seien (i,Ai, i) fur i = 1, ..., n -endliche Maraume undfi 0 reellwertige Funktionen, die jeweils auf i definiert und Ai-mebar sind. Wir setzen i := fiifur i = 1, ..., n.Dann ist jedes i -endlich und somit ist das Ma
ni=1 i definiert und eindeutig bestimmt.
Dann giltni=1
i = f ni=1
i
mit der Produktdichte
f (1, ..., n) =ni=1
fi (i) , (1, ..., n) ni=1
i.
Aufgabe 1.82. Zeige, dass fur ein -endliches Ma auf dem mebaren Raum (,A) und eine A-mebare Funktion f : // [0,) das Ma := f tatsachlich wieder -endlich ist.
Ma- und Wahrscheinlichkeitstheorie
2 Grundbegriffe der Wahrscheinlichkeitstheorie 19
2 Grundbegriffe der Wahrscheinlichkeitstheorie
2.1 Wahrscheinlichkeitsraume und bedingte Wahrscheinlichkeiten
Definition 2.1. Ein Wahrscheinlichkeitsraum ist ein Maraum (,A,P) mit normiertem Ma, d.h. esgilt P () = 1.P heit Wahrscheinlichkeitsma oder Wahrscheinlichkeitsverteilung, heit Grundraum, Ereignisraumoder Stichprobenraum. Ein Element heit auch Elementarereignis und A A heit Ereignis.Ein A A mit P (A) = 1 heit fast sicheres Ereignis.Beispiel 2.2. 1. Diskrete Wahrscheinlichkeitsraume
Hier ist endlich oder abzahlbar unendlich, d.h. es gilt
= {1, 2, ...}und die -Algebra ist A = P ().Die Wahrscheinlichkeitsverteilung P ist durch einen Wahrscheinlichkeitsvektor
p = (p1, p2, ...) ,
d.h. p erfullt pi [0, 1] fur alle i N undi=1 pi = 1, mittels
P (A) :=iA
pi, A A
gegeben.Ein Spezialfall sind Laplace-Raume, d.h. = {1, ..., n} und pi = 1/n fur alle i = 1, ..., n. Danngilt
P (A) =#An
fur alle A P () .Mehr dazu sehen wir in Abschnitt 2.3.1 oder in [Kre05, DH04].
2. Allgemeine ModelleHier sind zum Beispiel Wahrscheinlichkeitsmae mit Dichten auf R wie etwa N (0, 1) usw. zunennen. Daruberhinaus finden sich Modelle fur
den unendlichen Munzwurf oder stochastische Prozesse: Wahrscheinlichkeitsraume mit = C (R), der Menge aller stetigen
Funktionen auf R.Hierzu verweisen wir auf Abschnitt 2.3.2.
Definition 2.3. Sei (,A,P) ein Wahrscheinlichkeitsraum und B A mit P (B) > 0. Dann ist
P (A | B) := P (A B)P (B)
, A A
die bedingte Wahrscheinlichkeit von A gegeben B.
Aufgabe 2.4. Zeige, dass die Abbildung A 7 P (A | B), A A unter den Voraussetzungen wie obenwieder ein Wahrscheinlichkeitsma auf (,A) definiert.
2.2 Zufallsvariablen und Momente
Definition 2.5. Sei (,A,P) ein Wahrscheinlichkeitsraum und (,A) ein mebarer Raum.Eine mebare Abbildung
X : //
heit Zufallsvariable oder kurz ZV.
Ma- und Wahrscheinlichkeitstheorie
20 2 Grundbegriffe der Wahrscheinlichkeitstheorie
Fur (,A) = (R,B (R)) sprechen wir von einer reellen Zufallsvariablen.
Fur (,A) = (R,B (R)) sprechen wir von einer numerischen Zufallsvariablen. Fur (,A) = (Rn,B (Rn)) sprechen wir von einem Zufallsvektor und schreiben
X = (X1, ..., Xn)
mit reellen Zufallsvariablen X1, ..., Xn.
Auerdem notieren wir verkurzend
{X A} = { | X () A}
fur eine Zufallsvariable X und A A.
Definition 2.6. Sei X eine Zufallsvariable auf einem Maraum mit Bild in einem mebaren Raumfur die Bezeichnungen wie oben. Das Bildma X (P) auf (,A) wird mit PX bezeichnet und heitVerteilung von X.
Somit gilt fur A A, dass
PX (A) =P (X A) =P (X1 (A)) .Definition 2.7. Sei X eine reelle Zufallsvariable. Dann ist
FX (t) :=P (X t) =PX ((, t]) , t R
die Verteilungsfunktion von X.
Bemerkung 2.8. Zu jeder Verteilungsfunktion F gibt es eine reelle Zufallsvariable X mit FX = F .Denn ist PF das Wahrscheinlichkeitsma zu F gema Korollar 1.31, so tut es
X : (R,B (R) ,PF ) // (R,B (R)) , X (x) = x.
Wir werden daher des ofteren nur noch von Verteilungen PX sprechen.
Aufgabe 2.9 (Summen von Maen). Sei I endlich oder anzahlbar unendlich und seien (k)kI Wahr-scheinlichkeitsmae auf einem festen mebaren Raum (,A). Seien pk 0, k I reelle Koeffizientenmit
kI pk = 1. Zeige, dass dann durch(
kIpkk
)(A) :=
kI
pkk (A) , A A
ein Wahrscheinlichkeitsma auf (,A) definiert wird.
Definition 2.10. Eine diskrete Wahrscheinlichkeitsverteilung PX auf R ist eine Verteilung der FormkI
pkxk
mit pk wie in der Aufgabe oben und Dirac-Maen xk zu bestimmten Punkten xk R, k I.
Definition 2.11. Sei X = (X1, ..., Xn) ein reeller Zufallsvektor. Die Verteilung PX auf Rn heitLebesgue-stetig (oder kurz stetig), falls es ein f L+ (Rn,B (Rn)) mit
PX (A) =A
f dn
fur alle A B (Rn) fur das n-dimensionale Lebesgue-Ma n gibt. In diesem Fall heit f auch Dichtevon X (oder von PX).
Ma- und Wahrscheinlichkeitstheorie
2 Grundbegriffe der Wahrscheinlichkeitstheorie 21
Bemerkung 2.12 (n = 1). Fur eine stetige Zufallsvariable X mit Dichte f gilt dann
Fx (t) =P (X t)=PX ((, t])
=
t
f d
fur t R.Definition 2.13. Ist nun X eine numerische Zufallsvariabe auf (,A,P) und gilt entweder X 0 oderX ist P-integrierbar, so ist
E (X) :=X dP
der Erwartungswert von X bzw. PX .
Bemerkung 2.14. Nach Satz 1.57 ist X genau dann P-integrierbar, wenn |X| dP
22 2 Grundbegriffe der Wahrscheinlichkeitstheorie
Beweis. Es genugt, die Behauptung fur mebares f 0 zu zeigen, denn andernfalls zerlegen wir f in f+und f. Ist also f 0 mebar, so gilt
f dx = sup{
dx | ist Elementarfunktion mit 0 f}
= sup { (x) | ist Elementarfunktion mit 0 f} f (x) .
Gleichheit folgt nun mit der Elementarfunktion = f (x) {x}.Bemerkung 2.19. Damit gilt:
1. Ist PX =kI pkxk eine diskrete Verteilung, so folgt nun mit g (x) = |x|n , x R und dem
Transformationssatz wie oben
E (|X|n) =g X dP
=|x|n dPX
=kI
pk |xk|n . (2.1)
Ist der Ausdruck (2.1) ungleich , so gilt die selbe Rechnung auch ohne Betrage und das n-teMoment von X ist gegeben als
E (Xn) =kI
pkxnk .
2. Hat PX die Dichte f bezuglich , so folgt analog mit g (x) = |x|n , x R und Satz 1.66, dass
E (|X|n) =g X dP
=|x|n dPX
=f d
=|x|n f (x) ,d. (2.2)
Ist der Ausdruck (2.2) ungleich , so gilt die selbe Rechnung auch ohne Betrage und das n-teMoment von X ist gegeben als
E (Xn) =xnf (x) d.
Definition 2.20. Sei X eine reelle Zufallsvariable mit E (|X|)
2 Grundbegriffe der Wahrscheinlichkeitstheorie 23
Beweis. Es gilt
V (X) = E(X2 2XE (X) + (E (X))2
)= E
(X2) 2E (X)E (X) + (E (X))2
= E(X2) (E (X))2 ,
wobei die Rechnung nach Voraussetzung zulassig ist, da das erste und zweite Moment von X endlichsind. Das zeigt auch V (X)
24 2 Grundbegriffe der Wahrscheinlichkeitstheorie
2.3.2 Stetige Verteilungen
1. N (0, 1) ist die Standard-Normalverteilung mit Dichte
0,1 =12pi
exp(x
2
2
), x R.
Diese Dichte wird auch als Gausche Glockenkurve bezeichnet.Die Verteilungsfunktion von N (0, 1) ist
(t) =
t
0,1 (x) dx.
Es gilt E (X) = 0 und V (X) = 1, wie man mit partieller Integration leicht sieht.Ist X N (0, 1)1, und setzen wir Y := X + fur , R mit 6= 0, so hat Y (bzw. das Mavon Y ) die Dichte
,2 =1
2pi2exp
( (x )
2
22
), x R.
Dies ist die Dichte der allgemeinen Normalverteilung N (, 2) zu und 2 auf R mit E (Y ) = und V (Y ) = 2.
Bemerkung 2.27. Wir verweisen dazu auch auf [WB08], insbesondere auf den Abschnitt Trans-formation von Dichten dort. Dort wie hier wird folgendes allgemeine Setting betrachtet:Sei X : (,A,P) // (R,B (R)) eine Zufallsvariable mit Dichte f , d.h. es sei PX = f. Seiauerdem g : (R,B (R)) // (R,B (R)) mebar. Dann stellt sich die Frage, ob g X ebenfalls eineDichte hat und wenn ja welche.Ist g invertierbar, sind sowohl g als auch g1 mebar und hat g () die Dichte h bezuglich (d.h.g () = h), so gilt
PgX = g(PX
)= g (f ) = (f g1) g () = (f g1) h
Dichte von gX
.
Aufgabe 2.28. Zeige die Richtigkeit der obigen Rechnung!
In unserem Fall ist g (X) = x+ , d.h. g1 (y) = (y ) /, und da
g1 ((a, b]) =(a
,b
]gilt
(g1 ((a, b])
)=
1|| (a, b] ,
was g () = 1/ || zeigt.2. Die Cauchy-Verteilung zu > 0. Sie hat die Dichte
f (x) =
pi
12 + x2
, x R.
Hier existieren weder Erwartungswert noch Varianz, da fur x stets 2x2 2 + x2, d.h.|x|
2 + x2 1
2x
gilt. Dies impliziert
E (|X|) =|x| f (x) dx
x
12x
pidx =.
1Damit meinen wir, dass X nach N (0, 1) verteilt sein soll.
Ma- und Wahrscheinlichkeitstheorie
2 Grundbegriffe der Wahrscheinlichkeitstheorie 25
3. Die Exponentialverteilung zu > 0 hat die Dichte
f (x) = [0.) (x) exp (x) , x R.
Die Verteilungsfunktion ist entsprechend F (x) = [0.) (x) (1 exp (x)) , x R. Partielle Inte-gration zeigt
E (X) =1, V (X) =
12.
4. Die Gleichverteilung auf A B (Rn) mit n (A) (0,) hat die Dichte
f (x) =1
n (A)A (x) , x R.
Fur B B (Rn) gilt dann
PX (B) =B
f dn =1
n (A)
AB
n =n (A B)n (A)
= n (B | A) .
5. Die Standard-Normalverteilungn
k=1N (0, 1) auf Rn hat die Dichte
f (x1, ..., xn) = 0,1 (x1) ... 0,1 (xn) = (2pi)n2 exp
(1
2xTx
), x = (x1, ..., xn) Rn.
Sei nunX nk=1N (0, 1), b Rn und A Rnn eine invertierbare Matrix. Betrachte die Funktiong (x) = Ax+ b, x Rn. Dann ist g1 (y) = A1 (x b) und
g (n) =1
det(A)n,
denn fur Quader Q zeigt man in der Algebra / Matheorie, dass
g (n) (Q) = n(g1 (Q)
)= det
(A1
)n (Q) .
Damit sieht man wie oben, dass Y := g (X) die Dichte
(f g1) 1
det(A)(x) =
1
(2pi)n2 det ()
exp(1
2(x b)T 1 (x b)
)fur die Kovarianzmatrix = AAT hat. Man erhalt so eine nicht ausgeartete Normalverteilung aufdem Rn.
6. Man kann sich nun die Frage stellen, ob jede Wahrscheinlichkeitsverteilung auf (R,B (R)) einegewichtete Summe a1 + (1 a)2 mit einer diskreten Wahrscheinlichkeitsverteilung 1 und einerstetigen Wahrscheinlichkeitsverteilung (bzgl. ) 2 ist.Dies ist leider nicht der Fall, ein Gegenbeispiel liefert das sogenannte Cantor-Ma C auf R. IstC die Cantor-Menge (vergleiche [Hal98, Sec. 15, Ex. (5)]), so hat dieses Ma die Eigenschaften
C ({x}) = 0 fur alle x R (d.h. C hat keinen diskreten Anteil), aber C (C) = 1.
Da die Cantor-Menge C eine Nullmenge ist, kann C keine Dichte bezuglich haben, denn ware feine solche Dichte, so
1 = C (C) =C
f d =
C=0 fast sicher
f d = 0.
C hat als Verteilungsfunktion die sogenannte Teufelsleiter oder Cantor-Funktion FC (vergleiche[Hal98, Sec. 19, Ex. (3)]). Sie erfullt
FC ist stetig, F C existiert fast uberall und F C = 0 wo existent.
Ma- und Wahrscheinlichkeitstheorie
26 2 Grundbegriffe der Wahrscheinlichkeitstheorie
2.4 Unabhangigkeit
Definition 2.29. Sei (,A,P) ein Wahrscheinlichkeitsraum und I 6= eine beliebige Indexmenge.1. Fur alle i I sei Ei A. Die Familie Ei, i I heit unabhangig, wenn
P
jJ
Aj
= jJP (Aj)
fur alle endlichen Teilmengen J I und Aj Ej fur alle j J .2. Ereignisse Ai, i I heien unabhangig, wenn
P
jJ
Aj
= jJP (Aj)
fur alle endlichen Teilmengen J I gilt, d.h. wenn die Mengensysteme Ei := {Ai} , i I un-abhangig sind.
3. Seien Xi : (,A,P) // (i,Ai) fur i I Zufallsvariablen. Die Zufallsvariablen Xi, i I heienunabhangig, wenn die Mengensysteme
Ei := X1i Ai ={X1i (Ai) | Ai Ai
}, i I
unabhangig sind.Aquivalent: Wenn die erzeugten -Algebren (Xi) , i I unabhangig sind, vergleiche Definition2.36.
Satz 2.30. Seien Xi fur i I unabhangige Zufallsvariablen wie in der Definition undfi : (i,Ai) // (i,Ai)
mebare Funktionen. Dann sind auch die Zufallsvariablen
fi Xi, i Iunabhangig.
Beweis. Es gilt
(fi Xi)1 (Ai) = X1i(f1i Ai Ai
) X1i Ai.
Da per Definition Teilsysteme von unabhangigen Mengensystemen ebenfalls wieder unabhangig sind, folgtdie Behauptung.
Beispiel 2.31. Wir betrachten den zweifachen Munzwurf und die Ereignisse
A1 = Erster Wurf ist Zahl,
A2 = Zweiter Wurf ist Kopf,
A3 = Erster Wurf = Zweiter Wurf.
Fur i 6= j gilt dannP (Ai Aj) = 14 =P (Ai) P (Aj) ,
d.h. die Ereignisse sind paarweise unabhangig. Aber sie sind wegen
P (A1 A2 A3) = 0 6= 18 =P (A1) P (A2) P (A3)
nicht unabhangig.Paarweise Unabhangigkeit impliziert also nicht Unabhangigkeit!
Ma- und Wahrscheinlichkeitstheorie
2 Grundbegriffe der Wahrscheinlichkeitstheorie 27
Satz 2.32 (Erzeugung unabhangiger Familien). Sei (,A,P) ein Wahrscheinlichkeitsraum und seienEi, i I unabhangige Mengensysteme.1. Dann sind die erzeugten Dynkin-Systeme D (Ei) , i I unabhangig.2. Ist Ei -stabil fur alle i I, so sind auch die erzeugten -Algebren (Ei) , i I unabhangig.3. Ist Ei -stabil fur alle i I und ist eine Partitionierung I =
kK Ik disjunkt fur eine beliebige
Indexmenge K gegeben, so sind auch
(iIkEi), k K
unabhangig.
Beweis. 1. Sei J I eine endliche Teilmenge, die wir ohne Einschrankung als J = {1, ..., n} schreiben.Es genugt nun zu zeigen, dass
D (E1) , E2, ..., Enunabhangig sind. Dazu setzen wir
D := {F A | {F} , E2, ..., En sind unabhangig} .Nach Voraussetzung gilt E1 D. Wir weisen nun nach, dass D ein Dynkin-System ist: Offenbar gilt D, da A = A fur alle A A. Sei F D. Zu zeigen ist F c D. Sei dazu K J mit K = {1, i1, ..., ik}. Dann gilt mitAij Eij fur alle j = 1, ..., k wegen der vorausgesetzten Unabhangigkeit
P (F c Ai1 ... Aik) =P kj=1
Aij
PF k
j=1
Aij
= (1P (F ))
=P(F c)
kj=1
P(Aij).
D.h. {F c} ist ebenfalls unabhangig zu E2, ..., En, also F c D. Sei nun F1, F2, ... eine disjunkte Folge aus D, d.h. es gilt
P (Fm Ai1 ... Aik) =P (Fm) P (Ai1) ... P (Aik)fur alle m N und Aij Eij mit j = 1, ..., k wie oben. Die -Additivitat von P impliziert,dass dann die Gleichung ebenfalls fur die disjunkte Vereinigung der Fm gilt.
Damit folgt D (E1) D und somit die Behauptung.2. Da Ei fur alle i I -stabil ist, folgt mit Satz 1.12, dass D (Ei) = (Ei) fur alle i I. Damit folgt
die Behauptung aus Teil 1.
3. Fur jedes k K sei E k das System aller endlichen Durchschnitte von Mengen ausiIk Ei. Offenbar
ist dann E k -stabil fur jedes k K. In Aufgabe 2.33 sehen wir, dass (E k) = (
iIk Ei)
fur allek K.Nach Teil 2 genugt es damit zu zeigen, dass die Mengensysteme E k, k K unabhangig sind.Sei dazu L K endlich und Ak E k fur alle k L. Dann ist
Ak =iJk
Ei
fur bestimmte endliche Teilmengen Jk Ik und Ei Ei. Da die Teilmengen Jk, k L disjunktsein mussen und alle Ei nach Voraussetzung unabhangig sind, gilt
P
(kL
Ak
)=P
(kL
iJk
Ei
)
=kL
iJk
P (Ei)
=kL
P
( iJk
Ei
).
Ma- und Wahrscheinlichkeitstheorie
28 2 Grundbegriffe der Wahrscheinlichkeitstheorie
Dies zeigt die Unabhangigkeit der E k, k K und somit die Behauptung.
Aufgabe 2.33. Es mogen die Voraussetzungen von Teil 3 des obigen Satzes erfullt sein. Wie im Beweissei E k fur k K das System aller endlichen Durchschnitte von Mengen aus
iIk Ei. Zeige, dass
(E k) = (iIkEi)
fur alle k K, d.h. dass E k bereits ein Erzeuger fur (
iIk Ei)
ist.
Satz 2.34. Seien Xi : (,A,P) // (i,Ai) fur i I mit beliebiger Indexmenge I Zufallsvariablen undFi Ai -stabile Erzeuger fur i I. Dann gilt:
Xi, i I sind unabhangig X1i Fi, i I sind unabhangig.
Beweis. Sind die Zufallsvariablen Xi, i I unabhangig, so sind per Definition die MengensystemeX1i Ai, i I unabhangig. Da aber X1i Fi X1i Ai fur i I, mussen also auch diese Teilsystemeunabhangig sein.
Es sei E i := X1i Fi fur i I. Da Fi jeweils -stabil ist, muss auch Ei jeweils -stabil sein. Aufgabe2.35 zeigt, dass X1i Fi fur jedes i I ein Erzeuger von X1i Ai ist. Anwenden von Satz 2.32 zeigt,dass mit der Voraussetzung auch X1i Ai, i I unabhangig sind. Per Definition zeigt das dieUnabhangigkeit von Xi, i I.
Aufgabe 2.35. Sei X : (,A,P) // (,A) eine Zufallsvariable und sei F ein -stabiler Erzeugerfur A. Zeige, dass dann X1F ein Erzeuger der -Algebra X1A ist.Definition 2.36. Seien Xi : // (i,Ai) fur i I beliebige Indexmenge Abbildungen. Dann ist
(Xi, i I) := (iI
X1i Ai)
die von den Abbildungen Xi, i I erzeugte -Algebra. Sie ist die kleinste -Algebra auf derart, dassalle Xi, i I mebar sind.Aufgabe 2.37. Sei X : // (,A) eine Abbildung aus in den mebaren Raum (,A). Zeige, dassdann
(X1A) = X1A
gilt, d.h. dass X1A bereits eine -Algebra ist.Beispiel 2.38. Sei #I = 1 und X : // (,A). Dann ist gema Aufgabe 2.37
(X) = (X1A) = X1A,
Definition 2.39. Seien (i,Ai) fur i I mebare Raume und sei
:=iI
i ={
(i)iI | i i fur alle i I}
der Produktraum. Fur festes j I ist die Projektion auf j gegeben als
pij : // j , pij((i)iI
)= j .
Die Produkt -Algebra auf ist iIAi := (pii, i I) .
Satz 2.40. Seien Xi : // (i,Ai) fur i I Abbildungen. Dann ist
(Xi, i I) = X1iIAi
fur X = (Xi)iI : //(
iI i,
iI Ai)
mit X () := (Xi ())iI .
Ma- und Wahrscheinlichkeitstheorie
2 Grundbegriffe der Wahrscheinlichkeitstheorie 29
Beweis. Nach Konstruktion ist Xi = X pii. Per Definition istiI pi
1i Ai ein Erzeuger fur
iI Ai.
Nach Aufgabe 2.35 ist dann
X1iIAi =
(X1
(iI
pi1i Ai))
= (iI
(X1 pi1i
=X1i
Ai)).
Dies zeigt die Behauptung.
Beispiel 2.41. Fur i = {1, 2} folgt
(X1, X2) = (X1, X2)1 (A1 A2) .
Dies zeigt etwa, dass es zu A (X1, X2) ein B A1 A2 mit
A = (X1, X2)1B = { | (X1 () , X2 ()) B}
geben muss.
Beispiel 2.42 (Blockungslemma 1). Sind X1, ..., X10 unabhangige Zufallsvariablen (mit Bild in (i,Ai)entsprechend), so sind auch
(X1, ..., X3) , (X4, ..., X9) , X10
unabhangig.
Beweis. Wir setzen I1 := {1, 2, 3}, I2 := {4, 5, 6, 7, 8, 9} und I3 := {10}. Dann ist I =3k=1 Ik und nach
Satz 2.32, Teil (3) mit Ei := X1i Ai, i I (diese Mengen sind als -Algebren - vergleiche Aufgabe 2.37- -stabil) sind auch
(iIk
X1i Ai), k = 1, 2, 3
unabhangig. Nun verwenden wir Satz 2.40 und sehen
(iIk
X1i Ai)
=((Xi)iIk
)1 iIkAi,
wobei die linken Seiten bzgl. k = 1, 2, 3 unabhangig sind. Das zeigt die Behauptung.
Satz 2.43 (Blockungslemma 2). Gilt I =kJ Ik disjunkt und sind Xi, i I unabhangige Zufallsvaria-
blen, so sind auch(Xi)iIk , k J
unabhangig.
Beweis. Analog zu Beispiel 2.42.
Bemerkung 2.44. Zusammen mit Satz 2.30 sehen wir also, dass sowohl Partitionierung als auch dasVerknupfen mit Funktionen die Unabhangigkeit von Zufallsvariablen erhalten.
Beispiel 2.45. Sind X1, ..., X5 unabhangige reelle Zufallsvariablen, so sind auch
X1 exp (X3) , X4X5 sin (X2)
unabhangig.
Definition 2.46. Seien Xi : (,A,P) // (i,Ai) fur i = 1, ..., n Zufallsvariablen.Die gemeinsame Verteilung von X1, ..., Xn ist die Verteilung P(X1,...,Xn) der Zufallsvariablen
(X1, ..., Xn) : (,A,P) //(
ni=1
i,ni=1
Ai).
Satz 2.47. Seien Xi : (,A,P) // (i,Ai) fur i = 1, ..., n Zufallsvariablen. Dann sind X1, ..., Xnunabhangig genau dann, wenn P(X1,...,Xn) =PX1 ...PXn gilt.
Ma- und Wahrscheinlichkeitstheorie
30 2 Grundbegriffe der Wahrscheinlichkeitstheorie
Beweis. Sei Ai Ai fur i = 1, ..., n. Es gilt stets
P(X1,...,Xn) (A1 ...An) =P(
(X1, ..., Xn)1 (A1 ...An)
)=P
(X11 A1 ... X1n An
). (2.3)
Auerdem hat man zum einen, dass P((X1,...,Xn) = PX1 ...PXn genau dann, wenn die linke Seitevon (2.3) gleich
P(X11 A1
) ... P (X1n An) = ni=1
PXi (Ai)
ist, und zum anderen, dass X1, ..., Xn genau dann unabhangig sind, wenn die rechte Seite von (2.3) gleich
ni=1
PXi (Ai)
ist. Das zeigt die Behauptung.
Satz 2.48. Seien X1, ..., Xn unabhangige reelle Zufallsvariablen, die alle 0 oder alle integrierbar sind.Dann gilt
E
(ni=1
Xi
)=
ni=1
E (Xi) . (2.4)
Beweis. Wir verwenden den Transformationssatz 1.68 fur die Funktion g (x1, ..., xn) :=ni=1 |xi|. Dann
folgt mit der Unabhangigkeit der Zufallsvariablen und dem Satz von Tonelli (Satz 1.80)
E
(ni=1
|Xi|)
=g (x1, ..., xn) dP
=g (x1, ..., xn) dP(X1,...,Xn)
=|x1| ... |xn| d
(PX1 ...PXn)
=...
|x1| ... |xn|PX1 ...dPXn
=ni=1
|xi| dPXi
=ni=1
E (|Xi|) .
Falls also alle Xi 0 sind, so gilt die behauptete Gleichung (2.4).Sind alle Xi integrierbar, so zeigt die Rechnung, dass dann auch
ni=1Xi integrierbar ist und die selbe
Rechnung ohne Betrage (mit Fubini anstelle von Tonelli, selber Satz) zeigt ebenfalls (2.4).
Lemma 2.49. Seien X,Y Zufallsvariablen mit E(X2)
2 Grundbegriffe der Wahrscheinlichkeitstheorie 31
Beispiel 2.52. Seien X und Y unabhangige reelle Zufallsvariablen. Dann gilt E (X Y ) = E (X) E (Y )gema (2.4). Daher sind X und Y also unkorelliert.Allerdings gilt die Umkehrung nicht zwingend!
Satz 2.53. Seien X1, ..., Xn reelle Zufallsvariablen mit E(X2i)
32 2 Grundbegriffe der Wahrscheinlichkeitstheorie
3. Nun zeigt man, dass durch A0 = pi1J Aj 7 PJ (AJ) ein wohldefiniertes Prama auf A0 gegebenist (sehr aufwandig!).
4. Zuletzt wendet man den Satz von Caratheodory (Satz 1.25) an.
Beispiel 2.55 (unendlicher Munzwurf). Es sei I = N, i = {0, 1}, Ai = P (i) fur alle i I und dasWahrscheinlichkeitsma Pi sei durch
Pi ({0}) = 12 =Pi ({1})
fur alle i I gegeben. Dann istiI
i = {0, 1}N ={
(xi)iN | xi {0, 1} fur alle i N}.
Der Satz besagt, dass es auf(
iI i,
iI Ai)
genau ein Ma P gibt, welches die endlichen Produkteder Pi (die einem endlichen Munzwurf entsprechen) sinnvoll fortsetzt.
Definition 2.56. Unter den Voraussetzungen von Satz 2.54 schreiben wir fur das Profuktma P auch
P =iIPi
und nennen (iI
i,iIAi,iIPi
)den Produktwahrscheinlichkeitsraum.
Bemerkung 2.57. Ist I endlich, so entspricht das eben definierte Produktma
iIPi genau denendlichen Produktma aus Satz 1.74.
Satz 2.58 (Anwendung). Seien (i,Ai,Pi) fur i I Wahrscheinlichkeitsraume. Dann gibt es einenWahrscheinlichkeitsraum (,A,P) und unabhangige Zufallsvariablen
Xi : (,A,P) // (i,Ai)
fur i I derart, dass PXi =Pi fur alle i I.Beweis. Wir setzen
(,A,P) :=(iI
i,iIAi,iIPi
)und definieren Xi := pii fur i I. Dann ist PXi = pii (P) = Pi nach Konstruktion (mit J = {i}) furalle i I. Die Unabhangigkeit sieht man wie folgt:Sei J I endlich, d.h. J = {j1, ..., jn}. Dann gilt
P(X1,...,Xn) = piJ (P)
=Pj1 ...Pjn=PXj1 ...PXjn ,
woraus die Unabhangigkeit der Xi, i I folgt.Beispiel 2.59. Dieser Satz sichert z.B. die Existenz einer Folge unabhangiger Zufallsvariablen X1, X2, ...,die alle normalverteilt mit Parametern , 2 sind.
Ma- und Wahrscheinlichkeitstheorie
3 0-1-Gesetze 33
3 0-1-Gesetze
Wir beschreiben hier Ereignisse, die nur Wahrscheinlichkeit 0 oder 1 haben konnen.
Satz 3.1 (Lemma von Borel-Cantelli). Sei (,A,P) ein Wahrscheinlichkeitsraum und sei (An)nN eineFolge aus A. Man setzt nun
lim supAn :=m=1
mn
Am
= { | An fur unendlich viele n N} .
Dann gilt:
1. Istn=1P (An) n. Dann gilt mit Benutzung von 1 + x exp (x) fur alle x R,
Ma- und Wahrscheinlichkeitstheorie
34 3 0-1-Gesetze
dass
P
mn
Am
P ( km=n
Am
)
= 1P(
km=n
Acm
)
= 1k
m=n
(1P (Am))
1 exp(
km=n
P (Am) k // //
)
k // // 1,
wobei wir verwendet haben, dass nach Satz 2.32, Teil 3 auch (An) , n N unabhangig und somitnach Satz 2.32, Teil 2 auch Acn, n N unabhangig sind. Es folgt P (lim supAn) = 1.
Korollar 3.2. Seien An, n N unabhangige Ereignisse. Dann gilt
P (lim supAn) {0, 1}
und das Lemma von Borel-Cantelli liefert ein Kriterium, um zwischen 0 oder 1 zu entscheiden.
Beispiel 3.3. Seien X1, X2, ... unabhangig Bernoulli-verteilt mit Parameter p [0, 1]. Wir setzen
An := {Xn = 1} = X1n {1} .
Da die Zufallsvaribalen Xn, n N unabhangig sind, sind auch die Ereignisse An, n N unabhangig. DaP (An) = p fur alle n N folgt mit dem Lemma von Borel-Cantelli, dass
P (Xn = 1 unendlich oft) =
{0 falls p = 0,
1 falls p > 0.
Beispiel 3.4. Seien X1, X2, ... unabhangige reelle Zufallsvariablen und seien B1, B2, ... B (R). Danngilt
P (Xi Bi fur unendlich viele i N) =P(lim supX1i Bi
) {0, 1}nach Borel-Cantelli.
Wir wollen uns nun mit der Frage befassen, ob es eine Folge von Erfolgswahrscheinlichkeiten (pi)iNderart gibt, s.d. fur X1, X2, ... unabhangig und Xi Bernoulli-verteilt mit Erfolgswahrscheinlichkeit pi gilt:
P
(limn
1n
ni=1
Xi =12
)=
15. (3.1)
Satz 3.5 (0-1-Gesetz von Kolmogrov). Sei (,A,P) ein Wahrscheinlichkeitsraum und An, n N seienunabhangige Teil--Algebren von A, d.h. An A fur alle n N.Dann gilt fur jedes Ereignis
E A :=n=1
mnAm ,
dass P (E) {0, 1}. Ereignisse E A heien auch terminale Ereignisse.
Ma- und Wahrscheinlichkeitstheorie
3 0-1-Gesetze 35
Beweis. Sei E A beliebig. Als -Algebren sind die Mengensysteme Am, m N offenbar -stabil.Teil 3 des Sates 2.32 liefert, dass auch
( m=n+1
Am)
und
(n
m=1
Am)
fur beliebiges n N unabhangig sind. Nach Voraussetzung gilt E (m=n+1Am) fur alle n N, unddaher sind auch
{E} und (
nm=1
Am)
fur beliebiges n N unabhangig. Es folgt, dass
{E} undn=1
(n
m=1
Am)
unabhangig sind. Das zweite Mengensystem ist dabei -stabil, da (nm=1Am) bezuglich n N aufstei-gend ist1. Wiederum mit Satz 2.32, Teil 2 folgt, dass auch
{E} und ( n=1
(n
m=1
Am))
unabhangig sind. Per Definition gilt
E ( m=1
Am)
=
( m=1
(Am))
( n=1
(n
m=1
Am))
,
womit {E} von sich selbst unabhangig sein muss. Das zeigt
P (E) =P (E E) =P (E) P (E) ,
also P (E) {0, 1}.Beispiel 3.6 (Anwendung). Seien X1, X2, ... unabhangige reelle Zufallsvariablen auf (,A,P). Durch
An := X1n B (R) , n N
definieren wir unabhangige -Algebren, fur die
A =n=1
mn
X1m B (R)
=n=1
(Xm, m n)
gilt, d.h. in A liegen genau die Ereignisse, die mit X1, X2, ... beschrieben werden konnen, aber nicht vonendlich vielen Xi abhangen (d.h. endlich viele Xi konnen ohne Veranderung des Ereignisses weggelassenwerden). Insbesondere ist
E =
{limn
1n
ni=1
Xi = c
}
=
{limmm>n
1m
mi=n
Xi = c
} (Xm, m n) = A
fur festes c R, d.h. die Gleichung (3.1) ist nach dem 0-1-Gesetz von Kolmogrov fur keine Folge vonErfolgswahrscheinlichkeiten (pi)iN erfullt.
1zu A,B Sn=1 `Snm=1Am findet man ein n N mit A,B `Snm=1Am, und da es sich hierbei um eine -Algebrahandelt, ist auch A B `Snm=1Am Sn=1 `Snm=1Am.
Ma- und Wahrscheinlichkeitstheorie
36 3 0-1-Gesetze
Ein zweiter Beweis des 0-1-Gesetzes von Kolmogrof kann gegeben werden mit folgendem
Lemma 3.7. Sei (,A,P) ein Wahrscheinlichkeitsraum und A0 eine Algebra, die A erzeugt, Dann gilt:Zu jedem > 0 und A A gibt es ein A0 A0 mit
P (A4A0) < fur A4A0 := (A \A0) (A0 \A) = (A A0) \ (A A0).Beweis. Sei P die Erweiterung von P|A0 auf A gema Satz 1.25. Dann gilt
P|A0 =P|A0
und da A0 -stabil ist und alle hier betrachteten Maraume als Wahrscheinlichkeitsraume zwangslaufig-endlich sind, folgt ebenfalls aus Satz 1.25, dass
P = P.
Sei nun > 0 und A A beliebig. Die Konstruktion der Erweiterung P liefert, dass es A1, A2, ... A0mit
A i=1
Ai =: A und P (A) i=1
P (Ai) 2gibt. Somit folgt aus der Booleschen Ungleichung
P (A \A) =P (A)P (A) i=1
P (Ai)( i=1
P (Ai) 2
)=
2.
Sei nun N N so gro, dassP
(A \
Ni=1
Ai
) 2n,
k N.
Nach Voraussetzung finden wir ein B derart, dass
A = {(X1, X2, ...) B} ={(X(1), X(2), ...
) B} .Dann ist
P (C 4A) =P({(Xn+1, ..., X2n) D}4{(X(1), X(2), ...) B})
=P({(
X(1), X(2), ...) (D RN)4B})
=P({
(X1, X2, ...) (D RN
)4B})=P ({(X1, ..., Xn) D}4{(X1, X2, ...) B})=P (C4A)< ,
wobei benutzt haben, dass die Zufallsvariablen X1, X2, ... unabhangig und identisch verteilt sind (in derForm, dass P(X1,X2,...) =P(X(1),X(2),...) gilt).Damit haben wir fur 0 sofort
P (C 4A) =P (C4A) // 0.
Das bedeutet
P (C ) //P (A) , P (C) //P (A) ,P (C C) //P (A) fur 0.
Da aber C und C stets unabhangig sind, folgt so
P (A) =P (A)2 ,
was P (A) {0, 1} erzwingt.
Aufgabe 3.11. Seien X1, X2, ... unabhangige, identisch verteilte Zufallsvariablen. Zeige, dass
(X1, X2, ...) =
( n=1
(X1, ..., Xn)
)
gilt und dassn=1 (X1, ..., Xn) eine Algebra ist.
Ma- und Wahrscheinlichkeitstheorie
38 3 0-1-Gesetze
Beispiel 3.12. Seien X1, X2, ... unabhangig mit
P (Xi = 1) = 12 =P (Xi = 1) fur alle i N.
Setze Sn :=ni=1Xi und sei (cn)nN eine beliebige Folge aus R. Dann ist
A = {Sn cn fur unendlich viele n N}
kein terminales Ereignis bezuglich der X1, X2, ..., da endlich viele Xi den Wert der Summe (beliebig!)beeinflussen konnen, aber dafur handelt es sich um ein symmetrisches Ereignis mit
A = {(X1, X2, ...) B} fur B ={
(x1, x2, ...) RN ni=1
xi cn fur unendlich viele n N}.
Beachte, dass B hier nicht von der Permutation abhangt. Daher folgt aus dem 0-1-Gesetz von Hewitt-Savage, dass
P (A) {0, 1} .Gesetz vom iterierten Logarithmus:Man kann zeigen, dass fur
cn := (1 + )
2n log log n
mit > 0 beliebig P (A) = 0 gilt, aber fur
cn := (1 )
2n log log n
mit > 0 beliebig P (A) = 1 gilt.
Ma- und Wahrscheinlichkeitstheorie
4 Wahrscheinlichkeitsungleichungen und Lp-Raume 39
4 Wahrscheinlichkeitsungleichungen undLp-Raume
4.1 Wahrscheinlichkeitsungleichungen
In diesem Kapitel seien alle verwendeten Zufallsvariablen auf einem generischen Wahrscheinlichkeitsraum(,A,P) definiert.Satz 4.1 (Tschebyschow-Markov-Ungleichung). Sei X eine reelle Zufallsvariable und g : [0,) // [0,)eine monoton wachsende Funktion mit g (x) > x fur alle x > 0. Dann gilt
P (|X| ) E (g |X|)g ()
fur alle > 0.
Beweis. Da g monoton ist, muss g mebar sein. Man berechnet
E (g |X|) =g |X| dP
g |X| {|X|} dP
g (){|X|} dP
= g () P (|X| ) .Umstellen dieses Resultats liefert wegen g () > 0 die Behauptung.
Korollar 4.2 (Markov-Ungleichung). Sei X eine reelle Zufallsvariable und r > 0. Dann gilt
P (|X| ) E (|X|r)
rfur alle > 0.
Beweis. Man wendet Satz 4.1 mit g (x) = xr an.
Korollar 4.3 (Tschebyschow-Ungleichung). Sei X eine integrierbare Zufallsvariable. Dann gilt
P (|X E (X)| ) V (X)2
fur alle > 0.
Beweis. Man wendet Satz 4.1 auf die Zufallsvariable X E (X) mit g (x) = x2 an.Satz 4.4 (Jensensche Ungleichung). Sei I R ein offenes Intervall und g : I //R eine konvexe Funktion.Sei X eine integrierbare Zufallsvariable mit Werten in I. Dann ist E (X) I und falls g X ebenfallsintegrierbar ist, so gilt
g (E (X)) E (g (X)) .Beweis. Wir schreiben I = (a, b) mit a [,) und b (,]. Wir zeigen zunachst, das E (X) Igilt:Fur b = ist E (X) < b wegen der vorausgesetzten Integrierbarkeit von X trivial, und anderenfallssetzen wir bn := b 1/n fur n N. Dann ist
n=1 {X < bn} = aufsteigend, d.h. es existiert ein n N
mit P (X < bn) > 0. Fur dieses n finden wir
E (X) b P (X bn) + bnP (X < bn) < b (P (X bn) +P (X < bn)) = b.Analog zeigt man E (X) > a.Da g konvex ist, finden wir ein c R derart, dass
g (x) g (E (X)) + c (x E (X)) =:L(x)
fur alle x I.
Ma- und Wahrscheinlichkeitstheorie
40 4 Wahrscheinlichkeitsungleichungen und Lp-Raume
Abbildung 4.1: Skizze der konvexen Funktion g und der der Geraden L, die komplett unter g liegt und gin x = E (X) beruhrt.
In dieser Ungleichung ersetzen wir x durch X und integrieren uber , das liefert
E (g (X)) g (E (X)) + c E (X E (X)) =0
wie behauptet.
Beispiel 4.5. Wir betrachten etwa die Funktion g (x) = x2 mit I = R. Dann folgt fur eine reelleZufallsvariable mit endlichem zweiten Moment
(E (X))2 E (X2) ,was mit der Tatsache korrespondiert, dass V (X) 0.
4.2 Lp-Raume
Sei (,A, ) hier stets ein allgemeiner Maraum.Definition 4.6 (L p-Raume). Fur 1 p
4 Wahrscheinlichkeitsungleichungen und Lp-Raume 41
2. Sei 1 p
42 4 Wahrscheinlichkeitsungleichungen und Lp-Raume
Bemerkung 4.13 (p =). Wir setzen
L (,A, ) := {f : // R | f ist mebar und es gibt ein M > 0 derart, dass |f | M fast sicher} .
Auf diesem Raum definieren wir
f := inf {M | |f | M fast sicher} , f L (,A, ) .
Dieser Ausdruck wird auch als essentielles Supremum von f bezeichnet.
Aufgabe 4.14. Zeige, dass fur f L (,A, )
|f | f fast sicher
gilt.
Bemerkung 4.15. Die Minkowskysche Ungleichung sowie der Satz von Fischer-Riesz gelten auch inL (,A, ).Die Holdersche Ungleichung gilt auch im Fall p = 1, q =.Fur Zufallsvariablen (d.h. auf einem Wahrscheinlichkeitsraum) gilt
E (|X|s) Xsfur alle 1 s
5 Konvergenzbegriffe 43
5 Konvergenzbegriffe
Seien X,X1, X2, ... stets reelle Zufallsvariablen auf einem Wahrscheinlichkeitsraum (,A,P).Definition 5.1. 1. Wir sagen, die Folge (Xn)nN von Zufallsvariablen konvergiert fast sicher gegen
X und schreiben
Xnf.s.
n ////X,
falls
P
({
Xn () n // //X ()}) = 1.2. Sei 1 r . Wir sagen, die Folge (Xn)nN von Zufallsvariablen konvergiert im r-ten Mittel
gegen X und schreiben
XnLr
n ////X,
falls Xn Lr (,A,P) fur alle n N, X Lr (,A,P) undlimnE (|Xn X|
r) = 0.
Im Fall r = 1 spricht man auch von Konvergenz im Mittel.
3. Wir sagen, die Folge (Xn)nN von Zufallsvariablen konvergiert stochastisch gegen X und schreiben
XnP
n ////X,
fallslimnP
({ |Xn ()X ()| > }) = 0
fur alle > 0.
Bemerkung 5.2. Es gibt in der Wahrscheinlichkeitstheorie noch einen weiteren wichtigen Konvergenz-begriff, namlich Konvergenz in Verteilung, fur welchen wir
XnD
n ////X
schreiben. Wir verweisen dafur auf Kapitel 7, Abschnitt 7.2. Dieser Konvergenzbegriff unterscheidet sichin sofern von den anderen, dass fur diesen die Zufallsvariablen Xn auf verschiedenen Wahrscheinlich-keitsraumen definiert sein durfen.Wir geben nun einen kurzen Uberblick uber den Zusammenhang zwischen den verschiedenen Konvergenz-begriffen:
Xn Xf.s. //Xn X
n ////
Xn XLr //Xn X
n ////
X
Xn
Satz 5.6
#??
????
????
?
????
????
???
X
Xn
Satz 5.9
;C
Xn XP //Xn X
n //// X Xn
Satz 7.11+3 Xn XD //Xn X
n ////
Allerdings impliziert Xnf.s.
n ////X nicht Xn
Lr
n ////X, und auch die Umkehrung ist falsch.
Ma- und Wahrscheinlichkeitstheorie
44 5 Konvergenzbegriffe
Aufgabe 5.3. 1. Es gelte XnP
n //// X auf einem Wahrscheinlichkeitsraum (,A,P). Sei g :
R // R eine stetige Funktion. Zeige, dass dann auch
g Xn Pn //
// g X.
2. Es gelte Xnf.s.
n ////X auf einem Wahrscheinlichkeitsraum (,A,P). Sei g : R //R eine stetige
Funktion. Zeige, dass dann auch
g Xn f.s.n //
// g X.
Lemma 5.4. Wir setzen An () := {|X Xn| > } und Bm () :=nmAn () fur > 0.
1. Es gilt Xnf.s.
n ////X genau dann, wenn limmP (Bm ()) = 0 fur alle > 0.
2. Giltn=1P (An ()) 0, so folgt Xn
f.s.
n ////X.
Beweis. 1. Wir setzen C :={
Xn () n // //X ()}. Xn f.s.
n ////X bedeutet P (C) = 1. Sei > 0 beliebig. Dann gilt
m=1
nm
An () { | Xn () konvergiert nicht gegen X () fur n //}
Cc
und somit ist
P
( m=1
Bm ()
)=P
m=1
nm
An ()
= 0.Da B1 () B2 () ... folgt mit der Stetigkeit des Maes von oben, dass
limnP (Bn ()) = 0.
Nach Voraussetzung gilt insbesondere
P
(Bm
(1k
))m // // 0
fur alle k N. Hier impliziert die Stetigkeit von oben somit
P
( m=1
Bm
(1k
))= 0
fur alle k N, d.h.P
( m=1
(Bm
(1k
))c)= 1
fur alle k N. Wie bereits gesehen, bleibt diese Eigenschaft auch fur einen abzahlbaren Schnittsolcher Mengen erhalten, also
P
( k=1
m=1
(Bm
(1k
))c)= 1.
Allerdings ist die Menge, deren Wahrscheinlichkeit hier bestimmt wird, genau C und die Be-hauptung ist gezeigt.
Ma- und Wahrscheinlichkeitstheorie
5 Konvergenzbegriffe 45
2. Fur alle > 0 gilt
P (Bm ()) nm
P (An ())m // // 0,
womit die Behauptung aus Teil 1 des Lemmas folgt.
Aufgabe 5.5. Zeige Teil 2 des Lemmas direkt ohne Verwendung von Teil 1 mit Hilfe des Satzes vonBorel-Cantelli.
Satz 5.6. Gilt Xnf.s.
n ////X, so auch Xn
P
n ////X.
Beweis. Wir arbeiten mit den Bezeichnungen des Lemmas. Dann gilt
Am () Bm ()und somit folgt nach Teil 1 des Lemmas
Xnf.s.
n ////X P (Bm ()) m
// // 0 fur alle > 0
P (Am ()) m// // 0 fur alle > 0
Xn Pn //
//X,
was die Behauptung zeigt.
Bemerkung 5.7. Die Umkehrung dieser Aussage gilt nicht, d.h.
XnP
n ////X 6 Xn f.s.
n ////X.
Wir geben dafur nun ein
Beispiel 5.8. Wir betrachten den Wahrscheinlichkeitsraum ([0, 1] ,B ([0, 1]) , ) mit dem Lebesguema .Wir definieren eine Folge von Zufallsvariablen durch
X2n+k := [ k2n , k+12n ], k = 0, ...., 2n 1, n N.
Offenbar konvergiert Xn () fur kein [0, 1], da sowohl der Wert 0 als auch der Wert 1 beliebig oftangenommen wird. Allerdings ist
P (|X2n+k| > ) = 12n fur k = 0, ..., 2n 1, n N und (0, 1) ,
weshalb naturlich XnP
n //// 0 gilt.
Satz 5.9. Sei 1 s r und gelte Xn Lr
n ////X. Dann gilt auch Xn
P
n ////X und Xn
Ls
n ////X.
Beweis. Mit der Markov-Ungleichung (fur das r aus der Voraussetzung) gilt
P (|Xn X| ) E (|Xn X|r)
rn // // 0
nach Voraussetzung fur alle > 0, d.h. es gilt auch XnP
n ////X.
Die Lyapunov-Ungleichung impliziert
E (|Xn X|s) E (|Xn X|r)sr
n // // 0
fur das vorgegebene s nach Voraussetzung. Das zeigt XnLs
n ////X.
Ma- und Wahrscheinlichkeitstheorie
46 5 Konvergenzbegriffe
Satz 5.10. Gilt XnP
n ////X, so gibt es eine Teilfolge
(Xn(k)
)kN mit
Xn(k)f.s.
k ////X.
Beweis. Nach Voraussetzung gilt
Yn := |Xn X| Pn //
// 0.
Da Yn 0 ist, finden wir n (1) < n (2) < n (3) < ... derart, dassP(Yn(k) > 2k
)< 2k.
Sei nun Ak :={Yn(k) > 2k
}. Dann gilt
k=1
P (Ak) ) > fur alle k N. Insbesondere kann also keine Teilfolge von Xnk stochastisch konvergieren, undsomit gema Satz 5.6 auch keine Teilfolge fast sicher. Es existiert also keine fast sicher konvergenteTeilfolge von Xnk im Widerspruch zur Voraussetzung.
Aufgabe 5.13. Finde ein Beispiel, welches zeigt, dass Xnf.s.
n ////X nicht Xn
Lr
n ////X impliziert.
Bemerkung 5.14. Beachte, dass damit auch XnP
n ////X nicht Xn
Lr
n ////X impliziert (denn
schlielich impliziert fast sichere Konvergenz auch stochastische Konvergenz).
Bemerkung 5.15. Ist (Xn)nN eine Folge in Lr mit E (|Xn Xm|r) n,m
// // 0, d.h. eine Cauchy-Folge, so existiert nach dem Satz von Riesz-Fischer ein X Lr mit
XnLr
n ////X.
Aufgabe 5.16. Es gelte XnLr
n //// X. Zeige, dass dann auch E (|Xn|r) n
// // E (|X|r) gilt.
Zeige zusatzlich fur r = 1, dass E (Xn)n // // E (X) unter den gemachten Voraussetzungen.
Ma- und Wahrscheinlichkeitstheorie
6 Gesetze der groen Zahlen 47
6 Gesetze der groen Zahlen
Seien stets X1, X2, ... reelle Zufallsvariablen auf einem Wahrscheinlichkeitsraum (,A,P).Definition 6.1. Sei Xi P-integrierbar fur alle i N, d.h. es gelte E (|Xi|) < fur alle i N. Wirsagen, die Folge (Xi)iN erfullt das schwache Gesetz der groen Zahlen, wenn
1n
ni=1
(Xi E (Xi)) Pn //
// 0
gilt.Wir sagen, sie erfullt das starke Gesetz der groen Zahlen, wenn
1n
ni=1
(Xi E (Xi)) f.s.n //
// 0
gilt.
6.1 Schwache Gesetze
Satz 6.2. Seien Xi, i N paarweise unkorrelierte reelle Zufallsvariablen (d.h. Cov (Xi, Xj) = 0 furi 6= j) mit E (X2i )
48 6 Gesetze der groen Zahlen
6.2 Starke Gesetze
Wir wollen in diesem Abschnitt ein starkes Gesetz zeigen. Gema Lemma 5.4 mussen wir dazu furSn :=
ni=1 (Xi E (Xi)), n N zeigen, dass
P
nm
1nSn
m // // 0fur alle > 0 gilt, und nicht nur wie im letzten Abschnitt
P
( 1nSn ) n // // 0
fur alle > 0. Dafur brauchen wir eine Art Premimum-Version der Tschebyschow-Ungleichung, diesogenannte Hajek-Renyi-Ungleichung. Zur Vorbereitung bringen wir folgendes
Lemma 6.5. Seien Zm, Zm+1, ..., Zn 0 Zufallsvariablen mit E (Zi) 0und Zm1 := 0 gilt
P
(sup
minZi
) 1
ni=m
Bi
(Zi Zi1) dP,
wobei Bi :=i1j=m1 {Zj < } ist (insbesondere gilt Bm = ).
Beweis. Es sei Ai := {Zi } fur m 1 i n und A :=ni=mAi =
{supmin Zi
}. Dann genugt
es zu zeigen, dass
A 1
ni=m
(Zi Zi1)Bi
punktweise gilt, denn Integration dieser Ungleichung liefert die Behauptung. Dazu unterscheiden wir furfestes zwei Falle:
/ A In diesem Fall ist A () = 0 und Zi () < fur alle m i n. Daher gilt Bm ... Bn undes folgt
1
ni=m
(Zi () Zi1 ())Bi () =1
=1
(Zn () Zm1 ()
=0
) 0 = A () . A In diesem Fall finden wir einen kleinsten Index j {m,m+ 1, ..., n} mit der Eigenschaft Aj ,
d.h. Zj () . Dann gilt Zi () < fur alle m i j 1 und Zj () . Damit ist Bi furalle m i j und / Bi fur j + 1 i n. Damit folgt
1
ni=m
(Zi () Zi1 ())Bi () =1
ji=m
(Zi () Zi1 ()) = 1Zj () 1,
da Zj () nach Wahl von jDamit ist die Ungleichung gezeigt und das Lemma bewiesen.
Satz 6.6 (Hajek-Renyi-Ungleichung). Seien X1, ..., Xn unabhangige reellwertige Zufallsvariablen mitE (|Xi|) 1 ... n > 0 reelle Zahlen. Wir setzen
Si :=i
j=1
(Xj E (Xj)) fur 1 i n.
Dann gilt fur jedes > 0 und jeden Index 1 m n
P
(sup
mini |Si|
) 12
2m mj=1
V (Xj) +n
j=m+1
2jV (Xj)
.
Ma- und Wahrscheinlichkeitstheorie
6 Gesetze der groen Zahlen 49
Beweis. Ohne Einschrankung konnen wir E (Xi) = 0 und V (Xi) < fur alle i N annehmen, da diebehauptete Ungleichung sonst trivial ist oder wir Xi durch Xi E (Xi) ersetzen konnen.Wir setzen Zi := 2i S
2i fur m i n. Dann gilt mit obigem Lemma
P
(sup
mini |Si|
)=P
(supmil
Zi 2)
12
ni=m
Bi
(Zi Zi1) dP.
Wir berechnen nun die Terme der rechten Seite:
1. Fur i = m ergibt sich wegen Bm = , Zm1 = 0, E (Xi) = 0 und der Unabhangigkeit der Zufalls-variablen
Bi
(Zi Zi1) dP =Zm dP
= 2m
S2m dP
= 2mV (Sm)
= 2mmj=1
V (Xj) .
2. Fur m < i n ergibt sich wegen E (Xi) = 0 sofortZi = 2i (Si1 +Xi)
2 = 2i S2i1 + 2
2i Si1Xi +
2iX
2i ,
woraus mit Hilfe des Blockungslemmas und Satz 2.48bi
(Zi Zi1) dP =(2i 2i1
) 0
bi
S2i1 dP
0
+22i
BiSi1Xi dP +
2i
Bi
X2i dP
22iE ((BiSi1)Xi) + 2iX2i dP
= 22iE (BiSi1) E (Xi) =0
+2i V (Xi)
= 2i V (Xi) .
folgt.
Zusammensetzen dieser beiden Teile und der Abschatzung von oben ergibt die Behauptung.
Bemerkung 6.7. Mit m = n = 1 und 1 = 1 erhalt man die gewohnliche Tschebyschow-Unglei-chung.
Mit m = 1 und i = 1 fur 1 i n erhalt man die sogenannte Kolmogorov-Ungleichung:
P
sup1in
i
j=1
(Xj E (Xj))
12
nj=1
V (Xj) .
Satz 6.8. Seien X1, X2, ... unabhangig mit E(X2n)
50 6 Gesetze der groen Zahlen
Beweis. Wir schreiben Si :=ij=1 (Xj E (Xj)) fur i N. Nun setzt man
Bm () :=im
{1i Si }
fur m N und > 0. Gema Lemma 5.4 genugt es zu zeigen, dass
P (Bm ())m // // 0
fur alle > 0 gilt. Verkurzend schreiben wir Vj := V (Xj). Sei > 0 beliebig. Nach Voraussetzung findenwir ein M N mit
j=M+1
1j2Vj 0 beliebig war, ist die Behauptung gezeigt.
Sind die Zufallsvariablen X1, X2, ... unabhangig und identisch verteilt, so genugt die Existenz des Erwar-tungswerts (und dies ist die bereits angekundigte Verbesserung von Korollar 6.4):
Satz 6.9 (Starkes Gesetz fur unabhangige, identisch verteilte Zufallsvariablen). Seien X1, X2, ... un-abhangige, identisch verteilte Zufallsvariablen, die alle integrierbar sind (d.h. E (|X1|)
6 Gesetze der groen Zahlen 51
wobei wir den Lebesgueschen Konvergenzsatz mit (In X1) X1 n// // X1 punktweise und
|(In X1) X1| |X1| , X1 L 1 benutzt haben. Mit dem aus der Analysis bekannten Cesaro-Mittel folgt
1n
ni=1
E (Yi)n // // E (X1) .
2. GGZ fur (Yn)nN:Mit
Y 2n = (In Xn) X2n =ni=1
(Hi Xn) X2n
fur Hi := Ii \ Ii1, 2 i n erhalten wirn=1
1n2V (Yn)
n=1
1n2E(Y 2n)
=n=1
1n2
ni=1
E((Hi Xi) X2i
)=i=1
n=i
1n2
2i
E((Hi Xi) X2i
)
2i=1
X1i (Hi)
|Xi| |Xi|i1
dP
2E (|Xi|)= 2E (|X1|) ,
dai=1X
1i (Hi) = disjunkt. Daher ist Satz 6.8 anwendbar und es gilt
1n
ni=1
(Yi E (Yi)) f.sn //
// 0,
weshalb wir mit Teil 1 dieses Beweises
1n
ni=1
Yif.s.
n //// E (X1)
sehen.
3. Borel-Cantelli:Wir setzen Cn := {Xn 6= Yn} fur n N. Unter Verwendung von Aufgabe 2.25 erhalten wir
>n=1
P (|X1| n) n=1
P (|X1| > n) =n=1
P (Cn) .
Daher folgt mit dem Satz von Borel-Cantelli P (lim supCn) = 0, d.h. fast sicher gilt Xn 6= Yn furnur endlich viele n N. Das zeigt
1n
ni=1
Xif.s.
n //// E (X1)
wie behauptet.
Nun wollen wir noch die Frage diskutieren, ob die Voraussetzungen an den Satz minimal sind, d.h. ob
1n
ni=1
Xi
fur unabhangige, identisch verteilte reelle Zufallsvariablen X1, X2, ... fast sicher konvergieren kann, ohnedas E (|X1|)
52 6 Gesetze der groen Zahlen
Satz 6.10. Seien X1, X2, ... unabhangig und identisch verteilt und es gelte
1n
ni=1
Xif.s.
n //// Y
fur irgendeine Zufallsvariable Y . Dann ist E (|X1|)
7 Schwache Konvergenz und Konvergenz in Verteilung 53
7 Schwache Konvergenz und Konvergenz inVerteilung
7.1 Schwache Konvergenz von Wahrscheinlichkeitsmaen
Sei F eine Verteilungsfunktion auf R und sei das nach Korollar 1.31 dazugehorige Wahrscheinlichkeits-ma auf (R,B (R)).Dann gilt fur beliebiges x R unter Verwendung der Stetigkeit des Maes von unten:F ist stetig in x F ist linksstetig in x
limnF (xn) = F (x) fur jede monoton wachsende Folge xn x, n
limn ((, xn]) = ((, x]) fur jede monoton wachsende Folge xn x, n
((, x)) = ((, x]) ({x}) = 0.
Daruber hinaus ist An := {x R | ({X}) 1/n} fur jedes n N endlich (diese Menge kann wegen (R) = 1 und der Monotonie des Maes hochstens n Elemente enthalten), und daher ist
{x R | F ist nicht stetig in x} =n=1
An
als Vereinigung abzahlbar vieler endlicher (und somit abzahlbarer) Mengen wieder abzahlbar.Wir setzen
CF := {x R | F ist stetig in x} .Definition 7.1. Eine Folge von Wahrscheinlichkeitsmaen (n)nN auf (R,B (R)) konvergiert schwachgegen ein Wahrscheinlichkeitsma auf (R,B (R)), falls
Fn (x)n // // F (x) fur alle x CF ,
wobei Fn und F die zu n und entsprechend gehorenden Verteilungsfunktionen bezeichnen.In diesem Fall schreiben wir auch
nschwach
n //// .
Bemerkung 7.2. Mit obigen Berechnungen sehen wir sofort, dass
nschwach
n //// n ((, x]) n
// // ((, x]) fur alle x R mit ({x}) = 0.
Beispiel 7.3. Wir benutzen hier wieder die Dirac-Mae
x (A) =
{1 falls x A,0 sonst
fur x R und A B (R).1. Es sei n := n das Dirac-Ma im Punkt n N. Offenbar gilt in diesem Fall
Fn = [n,),
d.h. es liegt Fnn // // 0 punktweise vor, aber die konstante 0-Funktion ist keine Verteilungs-
funktion! Daher konvergiert (n)nN nie schwach gegen ein Wahrscheinlichkeitsma auf (R,B (R))
Ma- und Wahrscheinlichkeitstheorie
54 7 Schwache Konvergenz und Konvergenz in Verteilung
(denn dann ware F (x) = 0 fur alle x CF fur die zu diesem Wahrscheinlichkeitsma gehorendeVerteilungsfunktion F was aber
limxF (x) = limx
xCF
F (x) = 0
widersprache).
2. Es sei n := 1/n fur n N. Dann gilt offenbar
Fn = [ 1n ,).
Fur die Verteilungsfunktion F = [0,) zu = 0 ist dann CF = R \ {0} und es gilt
Fn (x)n // // F (x) fur alle x CF .
Also folgt
nschwach
n //// = 0.
Beachte, dass auch Fn (0) konvergiert, allerdings gegen 0 und nicht gegen F (0) = 1.
3. Es sei n := (1)n1/n fur n N. Dann gilt offenbar
Fn = [ (1)nn ,).
Auch hier folgt
nschwach
n //// 0,
aber im Gegensatz zum letzten Beispiel konvergiert
Fn (0) =
{0 falls n 2N,1 falls n / 2N
nicht.
Aufgabe 7.4. Es sei
n :=n1i=0
1n in.
Zeige, dass dann
nschwach
n //// |[0,1]
fur das eingeschrankte Lebesgue-Ma |[0,1] auf [0, 1].
Definition 7.5. Sei ein Wahrscheinlichkeitsma auf (R,B (R)). Eine Menge A B (R) heit -randlos,falls
(A) = 0,
wobei A = A\A den topologischen Rand, A den topologischen Abschluss und A das topologische Innerevon A bzgl. der Standard-Topologie auf R bezeichnet.
Satz 7.6. Fur Wahrscheinlichkeitsmae (n)nN und auf (R,B (R)) sind aquivalent:
1. Es gilt nschwach
n //// .
2. Es giltf dn //
f d fur alle f Cb (R), dem Raum aller stetigen und beschrankten reellwer-
tigen Funktionen auf R.
3. Es gilt n (A)n // // (A) fur alle -randlosen Mengen A B (R).
Beweis. Wir zeigen die Behauptung per Ringschluss.
Ma- und Wahrscheinlichkeitstheorie
7 Schwache Konvergenz und Konvergenz in Verteilung 55
1. 2. Sei D := {X R | ({x}) > 0 oder n ({x}) > 0 fur irgendein n N}. Dann ist D als abzahlbareVereinigung von abzahlbaren Mengen wieder abzahlbar.Sei nun f CB (R). Dann gibt es ein K R mit |f (x)| K fur alle x R. Sei nun > 0. Dannfinden wir a < b mit ((a, b]) > 1 /K.Auf dem kompakten Intervall [a, b] ist f gleichmaig stetig, d.h. wir finden Punkte a = x0 < x1 1 /K fur n n1 (dies ist wegen der schwachenKonvergenz ebenfalls moglich). Dann folgt
I1 |f g| d
=
(a,b]c
|f g| =|f |
dn +
(a,b]
|f g|
dn
(
1(
1 K
))K +
= 2
fur n n1.Fur I3 folgt analog I3 2 und dies zeigt f dn f d 5.fur alle n n1.
2. 3. Sei zunachst C = A eine abgeschlossene Menge. Wir setzen
d (x,C) := infyC|x y| fur x R.
Sei nun Ck := {x R | d (x,C) < 1/k} . Damit erhalten wir Mengen mitk=1 Ck = C und C1
C2 ..., d.h. mit der Stetigkeit des Maes von oben folgt
(Ck)k // // C. (7.1)
Wir setzen nun fk (x) := 1 min {1, k d (x,C)} fur k N. Dann ist jedes fk eine gleichmaig
Ma- und Wahrscheinlichkeitstheorie
56 7 Schwache Konvergenz und Konvergenz in Verteilung
Abbildung 7.1: Skizze der reellwertigen Funktion fk.
stetige Funktion mit Werten in [0, 1] und fk|C = 1, fk|Cck
= 0. Damit folgt nach Voraussetzung
lim supn
n (C) = lim supn
C dn
lim supn
fk dn
=fk d
Ck d
= (Ck) fur alle k N.
Unter Verwendung von 7.1 zeigt das lim supn n (C) (C) .Fur eine offene Menge A = O folgt so mit C = Oc, dass
lim supn
(1 n (O)) 1 (O)
und daher1
lim infn n (O) (O) .
Sei nun A B (R) eine beliebige -randlose Menge. Dann erhalten wir zuammenfassend
lim infn n (A) lim infn n (A
)
(A)=
(A)
lim supn
n(A)
lim supn
n (A) .
Da stets lim infn xn = lim supn xn, muss also Gleichheit gelten und damit der Grenzwert derFolge (n (A))nN existieren. Es folgt
limnn (A) = (A
) = (A)
= (A) ,
da die Menge A als -randlos vorausgesetzt wurde/
1Beachte, dass lim inf
n xn = lim supnxn
gilt.
Ma- und Wahrscheinlichkeitstheorie
7 Schwache Konvergenz und Konvergenz in Verteilung 57
3. 1. Sei F die Verteilungsfunktion zu . Fur x CF gilt dann ({x}) = 0 und daher ist die Menge
(, x]
-randlos fur alle x Cf . Nach Voraussetzung gilt also
n ((, x]) n// // ((, x]) fur alle x CF .
Das zeigt die Behauptung.
Bemerkung 7.7. Der Beweis von 2. 3. zeigt:Gilt 2. nur fur alle f Cb (R), die gleichmaig stetig sind, so folgt bereits
nschwach
n ////
7.2 Konvergenz in Verteilung
Seien X,X1, X2, ... reelle Zufallsvariablen mit Verteilungen , 1, 2, ... entsprechend auf (R,B (R)).Definition 7.8. Wir sagen (Xn)nN konvergiert in Verteilung gegen X und schreiben
XnD
n ////X,
falls nschwach
n //// .
Bemerkung 7.9. Die Zufallsvariablen X, X1, X2,... konnen alle auf verschiedenen Wahrscheinlich-keitsraumen defineirt sein; im Extremfall hat jede Zufallsvariable einen eigenen Wahrscheinlichkeitsraum:X ist definiert auf (,A,P) und Xn ist definiert auf (n,An,Pn) fur n N. In diesem Fall entsprichtKonvergenz in Verteilung
XnD
n ////X
genau
PXnn =Xn(Pn)
schwach
n ////PX .
Wir bringen nun zunachst folgenden Satz, der in Korollar 7.16 noch verbessert wird:
Satz 7.10. Gelte XnD
n ////X und sei g : R // R stetig. Dann gilt auch
g Xn Dn //
// g X.
Beweis. Wir verwenden die Charakterisierung 2. aus Satz 7.6: Fur f Cb (R) gilt unter Verwendung derTransformationsformel und der Voraussetzung Xn
Dn //
//X, dass
f dPgXnn =
f gCb(R)
dPXn
n // //f g dPX
=f dPgX ,
was die Behauptung zeigt.
Ma- und Wahrscheinlichkeitstheorie
58 7 Schwache Konvergenz und Konvergenz in Verteilung
Satz 7.11. Es seien Xn : (,A,P) // R Zufallsvariablen mit Xn Pn //
//X. Dann gilt
XnD
n ////X.
Beweis. Es ist zu zeigen, dass PXn schwachn //
//X gilt. Wir verwenden dazu Bemerkung 7.7. Sei
f Cb (R) gleichmaig stetig. Dann gibt es zu > 0 ein > 0 s.d. fur alle x, y R mit |x y| < auch|f (x) f (y)| < gilt. Damit folgt fur hinreichend groes n, dass f dPXn f dPX = f Xn dP f X dP
|f Xn f X| dP
=
{|XnX|}
|f Xn f X| dP +
{|XnX|}
|f Xn f X| dP
2 fP (|Xn X| ) + 2,
was die Behauptung zeigt.
Bemerkung 7.12. Falls die Zufallsvariablen X1, X2, ... auf verschiedenen Wahrscheinlichkeitsraumen
definiert sind, so kann man trotzdem XnP
n ////a fur eine Konstante a R definieren, namlich genau
durch
Pn (|Xn a| > ) n// // 0
fur alle > 0.
Satz 7.13. Fur eine Konstante a R gilt
XnD
n //// a Xn P
n //// a
Beweis. Wir zeigen nur die Richtung , die andere Implikation wird in Aufgabe 7.14 gezeigt.Es gelte Xn
Dn //
// a, d.h. PXnnschwach
n //// a. Mit der Charakterisierung 3. aus Satz 7.6 und der
a-randlosen Menge I := [a , a+ ] folgt
PXnn (I)n // // a (I) = 1.
Die linke Seite ist gleich Pn (Xn I) =Pm (|Xn a| ), was die Behauptung zeigt.
Aufgabe 7.14. Es gelte XnP
n ////a fur eine Konstante a R im Sinne von Bemerkung 7.12. Zeige,
dass dann auchXn
Dn //
// a
gilt.
Bemerkung 7.15 (Satz von Skorohod). Gilt nschwach
n //// fur Wahrscheinlichkeitsmae , 1, 2, ...,
so gibt es einen Wahrscheinlichkeitsraum (,A,P) und Zufallsvariablen Y, Y1, Y2, ... darauf derart, dass
PYn = n, PY = , Yn ()n // // Y () fur alle .
Insbesondere gilt Ynf.s.
n //// Y .
Man kann dabei auerdem (,A,P) =(
(0, 1) ,B ((0, 1)) , |(0,1))
wahlen.
Ma- und Wahrscheinlichkeitstheorie
7 Schwache Konvergenz und Konvergenz in Verteilung 59
Beweis (Skizze). Wir setzen (,A,P) =(
(0, 1) ,B ((0, 1)) , |(0,1))
. Fur (0, 1) definiert man
Yn () := inf {x R | Fn (x)} ,wobei wir mit Fn wieder die Verteilungsfunktion zu n bezeichnen. Analog definieren wir Y uber bzw. F .Dann ist Yn eine verallgemeinerte Umkehrfunktion zu Fn und Aufgabe 7.18 zeigt, dass die Eigenschaften
PYn = n, PY =
erfullt sind.Man zeigt nun, dass
Fn (x)n // // F (x) fur alle x CF Yn f.s.
n //// Y.
Diese Aussage kann man etwa bei [Bil95, P. 333] nachlesen.Nun setzt man Yn () = Y () = 0 fur die (0, 1) mit limn Yn () 6= Y (). Dies garantiert diepunktweise Konvergenz
Ynn // // Y auf ganz
wie behauptet.
Korollar 7.16. Gilt XnD
n ////X und ist g : R // R PX-fast sicher stetig, so gilt
g Xn D // g X.Aufgabe 7.17. Zeige mit Hilfe des Satzes von Skorohod Korollar 7.16.
Aufgabe 7.18. Sei F eine Verteilungsfunktion und Y :(
(0, 1) ,B ((0, 1)) , |(0,1))
// R definiert durch
Y () := inf {x R | F (x)} .Zeige, dass
Y () x F ()und folgere, dass Y die Verteilungsfunktion F besitzt.
Satz 7.19 (Auswahlsatz von Helly). Sei (Fn)nN eine Folge von Verteilungsfunktionen. Dann gibt eseine Teilfolge
(Fn(k)
)kN und eine monoton wachsende, rechtsstetige Funktion F derart, dass
Fn(k) (x)k // // F (x) fur alle x CF .
Beweis. Da (Fn (x))nN fur jedes x R eine beschrankte Folge ist, finden wir mit einem Diagonalfolgen-argument eine Teilfolge
(Fn(k)
)kN derart, dass fur jedes q Q der Grenzwert
G (q) := limk
Fn(k) (q)
existiert. Nun setzt manF (x) := inf {G (q) | x < q} .
Dies liefert eine monoton wachsende Funktion F . F ist auch rechtsstetig:Zu x R und > 0 sei q Q derart, das x < q und G (q) < F (x) + . Per Definition von F ist diesmoglich. Nun gilt fur alle x y < q mit der Monotonie
F (x) F (y) G (q) < F (x) + .Dies zeigt
limyx
F (y) = F (x) .
Zuletzt zeigen wir punktweise Konvergenz: Es sei x CF . Dann finden wir zu > 0 ein y < x mitF (x) < F (y). Wahle nun q0, q1 Q mit y < q0 < x < q1 und G (q1) < F (x) + . Dann gilt
F (x) < F (y) G (q0) G (q1) < F (x) + ,
Ma- und Wahrscheinlichkeitstheorie
60 7 Schwache Konvergenz und Konvergenz in Verteilung
wobei wir die Monotonie der Fn(k) benutzt haben. Diese impliziert auch
Fn(k) (q0) Fn(k) (x) Fn(k) (q1) ,
und da hier die linke Seite gegen G (q0) und die rechte Seite gegen G (q1) konvergiert, folgt
Fn(k) (x) [F (x) , F (x) + ]
fur jedes hinreichend groe k N.Allerdings muss F keine Verteilungsfunktion sein:
Beispiel 7.20. Sei n = n fur n N und Fn die zu n gehorige Verteilungsfunktion Fn = [n,). Danngilt
Fn (x)n // // 0 fur alle x R
und folglich muss auch jede Teilfolge punktweise gegen F 0 konvergieren. Wie weiter oben schon bemerktist dieses F aber keine Verteilungsfunktion.
Um als Grenzwert tatsachlich eine Verteilungsfunktion zu erhalten, muss verhindert werden, dass dieWahrscheinlichkeitsmasse abwandert:
Definition 7.21. Eine Folge (n)nN von Wahrscheinlichkeitsmaen auf (R,B (R)) ist straff, wenn eszu jedem > 0 ein Intervall [a, b] mit < a b 1 fur alle n N.
Analog kann man auch ein Intervall (a, b] verwenden.
Satz 7.22. Es sei (n)nN eine straffe Folge von Wahrscheinlichkeitsmaen. Dann gibt es eine Teilfolge(n(k)
)kN und ein Wahrscheinlichkeitsma auf (R,B (R)) s.d.
n(k)schwach
k //// .
Beweis. Wir bezeichnen mit Fn die Verteilungsfunktion zu n fur n N. Nach dem Auswahlsatz vonHelly finden wir eine monoton wachsende, rechtsstetige Funktion F und eine Teilfolge
(Fn(k)
)kN mit
Fn(k) (x)k // // F (x) fur alle x CF .
Laut Satz 1.23 gibt es dazu genau ein Ma auf (R,B (R)) s.d.
((a, b]) = F (b) F (a)
fur alle a b. Es genugt nun zu zeigen, dass dieses ein Wahrscheinlichkeitsma ist, d.h. dass (R) = 1gilt.Wegen F (x) [0, 1] per Definition (als Grenzwert) folgt
(R) = limT
(F (T ) F (T )) 1.
Zu > 0 beliebig sei nun (a, b] mit < a b 1 fur alle n N.
Ohne Einschrankung konnen wir a, b CF annehmen. Nun folgt
(R) ((a, b]) = F (b) F (a) = limk
(Fn(k) (b) Fn(k) (a)
)= limk
n(k) ((a, b]) 1 .
Da > 0 beliebig war folgt so (R) 1 und die Behauptung ist gezeigt.
Ma- und Wahrscheinlichkeitstheorie
8 Charakteristische Funktionen 61
8 Charakteristische Funktionen
Wir bringen hier noch ein analytisches Hilfsmittel, um weitere Grenzwertsatze zu zeigen.Es sei (,A, ) ein Wahrscheinlichkeitsraum und f : // C eine Funktion. Wir schreiben
f = g + ih mit g = < (f) : // R und h = = (f) : // R.Definition 8.1. Die Funktion f heit mebar, wenn g und h mebar sind. Die Funktion f heit -integrierbar, wenn g und h -integrierbar sind. In diesem Fall setzt man
f d :=g d+ i
hd.
Bemerkung 8.2. Sind f1, f2 : // C -integrierbar und c C, so giltf1 + f2 d =
f1 d+
f2 d,
cf1 d = cf1 d,
f1 d =f1 d.
Lemma 8.3. Sei f : // C eine Funktion.
1. f ist -integrierbar genau dann, wenn |f | d
62 8 Charakteristische Funktionen
Definition 8.4. Sei ein Wahrscheinlichkeitsma auf (R,B (R)). Dann ist : R // C gegeben als
(t) :=
exp (itx) d (x) , t R
die charakteristische Funktion (oder auch Fouriertransformation) des Maes .
Bemerkung 8.5. Die Eulersche Formel liefert
(t) :=
cos (tx) d (x) + i
sin (tx) d (x) , t R.
Definition 8.6. Fur eine reelle Zufallsvariable X nennen wir
X (t) := PX (t) , t R
die charakteristische Funktion von X.
Bemerkung 8.7. 1. Es gilt
| (t)| = exp (itx) d (x) |exp (itx)|
=1
d (x) = 1
fur alle t R. Insbesondere gilt also
: R //D := {z C | |z| 1}
und es gilt (0) = (R) = 1.
2. Eine leichte Anwendung des Lebesgueschen Satzes von der majorisierten Konvergenz auf Real- undImaginarteil von zeigt, dass stetig ist.
3. Fur T : R // R, T (x) := ax + b mit a, b R fest berechnet man fur eine Zufallsvariable X diecharakteristische Funktion von Y := T (X) mittels PY = T
(PX
)und der Transformationsformel
als
Y (t) =
exp (itx) dPY (x) =
exp (it (ax+ b)) dPX (x) = exp (itb)
exp (iatx) dPX (x)
= bX(at)
.
Daher giltaX + b (t) = exp (itb) X (at) .
4. Speziell fur b = 0 und a = 1 folgt so
X (t) = X (t) = X (t)
wegen Bemerkung 8.5.
Beispiel 8.8. Wir berechnen die charakteristische Funktion einer Punktmasse in R als
(t) =
exp (itx) d (x) = exp (it)
fur t R, wobei wir Bemerkung 2.18 genutzt haben.Damit konnen wir nun die charakteristische Funktion vieler diskreter Verteilungen sehr leicht be-rechnen:
Ma- und Wahrscheinlichkeitstheorie
8 Charakteristische Funktionen 63
Die Binomialverteilung: Bezeichnen wir mit Bin (n, p) das zur Binomialverteilung mit Parameternn und p gehorige Ma, so gilt
Bin (n, p) (t) =nk=0
(n
k
)pk (1 p)nk exp (itk) = (1 p+ p exp (it))n
fur t R. Die Poissonverteilung: Bezeichnen wir mit Poi () das zur Poissonverteilung mit Parameter
gehorige Ma, so gilt
Poi () (t) =k=0
exp () k
Top Related