Zusammenfassung (17. und 24. April 2019)
1. Einleitung und Uberblick
Stochastik: Lehre von den math. Gesetzmaßigkeiten des Zufalls.
•Wahrscheinlichkeitstheorie. Bildung und Untersuchung
wahrscheinlichkeitstheoretischer Modelle (Wahrscheinlichkeits-
raume, Zufallsvariablen).
• Statistik. Methoden zur Auswertung konkreter Daten.
1.1. Konzepte und Methoden in W’theorie u. Statistik
Beispiel: Qualitatsprufung von N Produktionsteilen.
1.1.1. Einfache Modellannahmen
• Produktionsteile mit Wahrscheinlichkeit p ∈ [0, 1] defekt.
• Produktionsteile unabhangig.
1.1.2. Ein wahrscheinlichkeitstheoretisches Modell
•Wahrscheinlichkeitsraum (ΩN ,FN ,PN,p):
ΩN = 0, 1N (Stichprobenraum),
FN = Pot(ΩN) (σ-Algebra der Ereignisse),
PN,p : FN → [0, 1] (Wahrscheinlichkeitsmaß).
• Zufallsvariablen (ΩN ,FN ,PN,p) → R:
Yi(ω) = ωi, ω = (ω1, . . . , ωN) ∈ ΩN , i = 1, . . . , N ,
ZN = (1/N)∑N
i=1 Yi, . . .
1.1.3. Wahrscheinlichkeitstheoretische Untersuchungen
• Erwartungswert:
EN,p[ZN ] =N∑
k=0
k
NPN,p
[ZN =
k
N
]= · · · = p.
Zusammenfassung (26. April 2019)
• Varianz:VarN,p(ZN) = EN,p
[(ZN − EN,p[ZN ])
2]= p(1− p)/N .
• Schwaches Gesetz der großen Zahlen:
limN→∞
PN,p
[|ZN − p| ≥ ǫ
]= 0, ǫ > 0.
(stochastische Konvergenz)
• Zentraler Grenzwertsatz:
limN→∞
PN,p
[√N/p(1− p)(ZN − p) ∈ [a, b]
]
= (1/√2π)∫ ba dx exp(−x2/2), a, b ∈ R, a < b.
(Konvergenz in Verteilung, Normalverteilung)
1.1.4. Ein statistisches Modell (XN ,GN , (QN,p)p∈[0,1]) (zur
Schatzung der Fehlerw’keit pw mit Hilfe der beobachteten Anzahl
defekter Produktionsstucke)
- XN = 0, 1, . . . , N (Stichprobenraum, mogl. Beobachtungen)
- GN = Pot(XN) (σ-Algebra; fur Schatzung relevante Ereignisse)
-QN,p, p ∈ [0, 1] (W’maße auf (XN ,GN); mogl. Verteilungen des
Beobachtungswerts;QN,p Binomialverteilung zu Param. N , p)
1.1.5. Statistische Untersuchungen
•Maximum-Likelihood-Schatzer (Beobachtungswert: x ∈ XN):
pw lost QN,pw[x] = supp∈[0,1]QN,p[x], d.h., pw = x/N .
Zusammenfassung (3. Mai 2019)
• Konfidenzbereich: Zu Irrtumsniveau s ∈ (0, 1) sei
XN ∋ y → C(y) (moglichst kleines) Intervall in [0, 1] mit
supp∈[0,1]QN,p
[y ∈ XN : C(y) 6∋ p
]≤ s.
=⇒ Fur alle Beobachtungen x gilt:”Mit einer Sicherheit von
mindestens (1− s) · 100 % liegt pw in dem Intervall C(x)“.
• Testen einer Hypothese: Zu Irrtumsniveau t ∈ (0, 1) und
Nullhypothese Θ0 ⊆ [0, 1] ist ein Test
XN ∋ x→ φ(x) =
0, falls p ∈ Θ0 angenommen wird,
1, falls p 6∈ Θ0 vermutet wird,
zu suchen mit
– supp∈Θ0QN,p[x ∈ XN : φ(x) = 1] ≤ t und
– QN,p[x ∈ XN : φ(x) = 0] !!= minimal fur alle p ∈ [0, 1]\Θ0.
=⇒ Fur alle x gilt:”Mit einer Sicherheit von mindestens
(1− t) · 100 % wird die Gultigkeit der Nullhypothese erkannt.
Die Alternative [0, 1] \ Θ0 wird mit maximaler Zuverlassigkeit
nachgewiesen“.
1.1.6. Zusammenfassung und Ausblick: Stochastik, Wahr-
scheinlichkeitstheorie, Statistik; Wahrscheinlichkeitsraum, Zufallsva-
riable, Unabhangigkeit, Erwartungswert, Gesetz der großen Zah-
len, Zentraler Grenzwertsatz, Normalverteilung; statistisches Mo-
dell, Schatzer, Konfidenzbereich, Test; Maß- und Integrationstheorie.
Zusammenfassung (8. Mai 2019)
1.2. Geschichte der W’theorie und der Statistik
Bis Mitte 19. Jhr.: Glucksspiele; Modellierung des”Zufalls“ unklar.
Ende 19. Jhr.: Maß- und Integrationstheorie.
1933: Axiomensystem von A.N. Kolmogorov.
Danach: Schnelle Fortschritte (Stoch. Diff’gleichungen, Martingale)
2. Wahrscheinlichkeitsraume
Kolmogorovsche Axiome:
A. Sei Ω 6= ∅. Eine Familie F ⊆ Pot(Ω) mit
(a) Ω ∈ F (Sicheres Ereignis)
(b) A ∈ F =⇒ (Ω \A) ∈ F (A tritt nicht ein)
(c) A1, A2, ... ∈ F =⇒ ⋃∞n=1An ∈ F (A1 oder A2 oder ...)
wird als σ-Algebra bezeichnet. F beschreibt Menge der Ereignisse.
(Ω,F) ist ein meßbarer Raum.
B. Eine Funktion P : F→ [0, 1] mit
(a) P[Ω] = 1,
(b) P[⋃∞
i=1Ai
]=∑∞
i=1P[Ai], falls Ai ∩ Aj = ∅, i 6= j,
heißt Wahrscheinlichkeitsmaß. (b) wird als σ-Additivitat bezeich-
net. (Ω,F,P) ist ein Wahrscheinlichkeitsraum.
Zusammenfassung (10. Mai 2019)
2.1. Elementare wahrscheinlichkeitstheoret. Modelle
•Munzwurf (fair, unfair; ein-, mehrmalig unabhangig)
•Wurf eines Wurfels (fair, unfair)
• Laplacescher W’raum: |Ω| <∞; P[ω] = 1/|Ω|, ω ∈ Ω
(Gleichverteilung auf Ω).
2.2. Diskrete Wahrscheinlichkeitsmaße
Ω endlich oder abzahlbar unendlich; F = Pot(Ω);
P[A] =∑
a∈A pa, A ∈ F (pa ∈ [0, 1], a ∈ Ω;∑
a∈Ω pa = 1).
• Bernoulli-Verteilung (|Ω| = 2).
• Binomial-Verteilung (Ω = 0, ..., N; pk =(Nk
)pk(1− p)N−k).
• Geometrische Verteilung (Ω=N; pk=(1− p)k−1p).
• Negative Binomial Verteilung (Ω=N0; pk=(k+r−1k
)pr(1−p)k).
• Laplacesche Verteilung (Ω =M (endlich); pω = 1/|M |).• Poissonverteilung (Ω = N0; pk = exp(−λ)λk/k!).•Multinomialverteilung, hypergeometrische Verteilung.
P W’maß auf (Ω,F). a ∈ Ω Atom von P, falls P[a] > 0.
Diskrete Wahrscheinlichkeitsmaße sind auf Atomen konzentriert.
Wahrscheinlichkeitsmaße mit Dichte besitzen keine Atome.
Zusammenfassung (15. Mai 2019)
2.3. Konsequenzen aus den Kolmogorovschen Axiomen
2.3.1. Weitere Eigenschaften von σ-Algebren
• ∅ ∈ F.
• A1, A2, . . . , AN ∈ F =⇒ ⋃Nn=1An ∈ F.
• A1, A2, · · · ∈ F =⇒ ⋂∞n=1An ∈ F.
2.3.2. Weitere Eigenschaften von W’maßen
• P[∅] = 0.
• endliche Additivitat.• P[A ∪B] = P[A] +P[B]−P[A ∩B], A,B ∈ F.
• Subadditivitat: P[A ∪B] ≤ P[A] +P[B], A,B ∈ F.
•Monotonie: A ⊆ B =⇒ P[A] ≤ P[B].
• σ-Subadditivitat: P[⋃∞
i=1Ai
]≤∑∞
i=1P[Ai], A1, A2, · · · ∈ F.
2.4. Konstruktion von σ-Algebren und W’maßen
Ω sei gegeben.
• Familie F∗ ⊆ Pot(Ω)”elementarer“ Ereignisse.
• P∗ : F∗ → [0, 1] mit”Eigenschaften“ eines W’maßes.
• Erweiterung F = σ(F∗) (kleinste σ-Algebra ⊇ F∗).
• Fortsetzung P von P∗. P : F → [0, 1] W’maß auf (Ω,F).
2.4.1. Gleichverteilung auf [0,1]
Ω = [0, 1]; F∗ Menge der Intervalle in Ω; P∗[(a, b)] = |b− a|.F = σ(F∗) = B([0, 1]) Borelsche σ-Algebra; P Lebesguemaß.
2.4.2. ∞-facher, unabhangiger Munzwurf
Ω = 0, 1N (0, 1-wertige Folgen);F∗ durch endlich viele Wurfe bestimmte Ereignisse;
P∗ durch w’theoretische Modelle fur endlich viele Wurfe gegeben.
Zusammenfassung (17. Mai 2019)
• P[1. Wurf von”Kopf“ in geradem Zeitpkt.]=p/(p+1),
p ∈ (0, 1).
• P[”Kopf“ nur endlich oft geworfen] = 0, p ∈ [0, 1).
2.4.3. Lebesguemaß in Rd, d = 1, 2, . . .
λ(A) = Vol(A) = |A|, A ∈ B(Rd) (Borelsche σ-Algebra).
λ ist kein Wahrscheinlichkeitsmaß.
2.5. Satz von Vitali
Pot(Ω) ist in uberabzahlbaren Stichprobenraumen Ω i.allg. als σ-
Algebra ungeeignet. Begrundung: Widerspruch bei der Konstruktion
eines vernunftigen W’maßes (fur ∞-fachen, unabhangigen, fairen
Munzwurf).
2.6. W’maße mit einer Dichte bzgl. des Lebesguemaßes
f :Rd→ [0,∞) meßbar,∫Rddx f(x)=1 (Wahrscheinlichkeitsdichte);
P[A] =∫A dx f(x), A ∈ B(Rd).
Zusammenfassung (22. Mai 2019)
• Normalverteilung (f(x) = exp(−(x− µ)2/(2σ2))/√2πσ2),
• Exponentialverteilung (f(x) = I[0,∞)(x)λ exp(−λx)),• Gleichverteilung auf G (beschrankt) (f(x) = IG(x)Vol(G)
−1),
• Cauchy-Verteilung (f(x) = a/(π(a2 + x2))),
• Gamma-Verteilung (f(x)=I[0,∞)(x)(αr/Γ(r))xr−1 exp(−αx)),
• χ2n-Verteilung (Gamma-Verteilung mit α = 1/2 und r = n/2).
2.6.1.”Anwendung“ der Gleichverteilung
Nicht jede sinnvoll klingende”Anwendung“ der Mathematik ist ver-
nunftig !!
2.7. Poisson-Approximation der Binomialverteilung
Sei pn, n ∈ N, eine Folge in (0, 1) mit limn→∞ npn = λ ∈ (0,∞).
=⇒ limn→∞
B(n, pn)[k] =λk
k!e−λ = P (λ)[k], k = 0, 1, ...
Zusammenfassung (24. Mai 2019)
2.7.1. Anwendung der Poisson-Approximation
Bedeutung der Poissonverteilung in Anwendungen basiert auf der
Poisson-Approximation der Binomialverteilung.
Beispiele: Modellierung der Anzahl der Zerfalle eines radioaktiven
Praparats (Anfragen an einen E-Mail-Server) in einem festen Zeit-
intervall, der Anzahl der Sterne in einem homogenen Bereich des
Weltraums, . . . .
3. Zufallsvariablen
ZV’en dienen der Modellierung “zufalliger Beobachtungsgroßen“.
(Ω,F), (Ω′,F′) meßbare Raume. X : (Ω,F) → (Ω′,F′) mit
X−1(A′) = ω ∈ Ω : X(ω) ∈ A′ = X ∈ A′ ∈ F, A′ ∈ F′,
heißt meßbar.
(Ω,F,P) Wahrscheinlichkeitsraum, (Ω′,F′) meßbarer Raum.
Eine meßbare Funkt. X : (Ω,F,P)→ (Ω′,F′) heißt Zufallsvariable.
• Ω abzahlbar, F = Pot(Ω): Alle Funktionen auf Ω sind meßbar.
• Ω′ abzahlbar, F′ = Pot(Ω′): Falls X−1(ω′) ∈ F, ω′ ∈ Ω′, ist
X meßbar. X ist dann eine diskrete meßbare Funktion.
• Die Meßbarkeit einer Funktion X : (Ω,F) → (Ω′,F′) geht ver-
loren, wenn F zu klein ist.
3.1. Verteilung von Zufallsvariablen
Die Verteilung einer ZVX : (Ω,F,P) → (Ω′,F′) ist definiert durch
PX [A′] = P[ω ∈ Ω : X(ω) ∈ A′] = P[X ∈ A′], A′ ∈ F′.
• PX ist ein Wahrscheinlichkeitsmaß auf (Ω′,F′).
• Ω′ hochstens abzahlbar, F′ = Pot(Ω′).
PX [A′] =
∑a∈A′ PX [a], A′ ∈ F′,
d.h., PX ist eindeutig durch PX [a], a ∈ Ω′, bestimmt.
• Beispiel: Beliebig oft unabhangig wiederholtes, identisches”Ex-
periment“ mit Ausgangen”Erfolg“, bzw.
”Mißerfolg“.
Der Zeitpunkt des ersten Erfolgs ist geometrisch verteilt.
Zusammenfassung (29. Mai 2019)
3.1.1. Konstruktion und Simulation diskreter ZV’en
Eine N-wertige Zufallsvariable mit vorgegebener Verteilung µ =
(µn)n∈N ist zu konstruieren.
• Sei (Ω,F,P)=(N,Pot(N), µ); X(ω) = ω, ω∈Ω =⇒ PX = µ.
• (Ω,F,P) = ([0, 1],B([0, 1]), λ[0,1]);
X1(ω) = n, ω ∈[∑n−1
k=1 µk,∑n
k=1 µk), n ∈ N =⇒ PX1 = µ.
• Simulation von unabhangigen N-wertigen ZV’en mit gegebener
Verteilung µ = (µn)n∈N: X1(x1), X1(x2), . . .
(x1, x2, . . . Folge von ”unabhangigen“, in [0, 1]
”gleichverteilten“
Pseudozufallszahlen.)
Es gibt qualitativ unterschiedliche Zufallsgeneratoren!
3.2. Familien v. ZV’en u. deren gemeinsame Verteilung
”Abhangigkeiten“ zwischen Zufallsvariablen werden durch deren ge-
meinsame Verteilung beschrieben.
Zusammenfassung (31. Mai 2019)
Seien (Ω,F,P) ein W’raum und (Ω′λ,F
′λ), λ ∈ Λ, meßbare Raume.
Xλ : (Ω,F,P) → (Ω′λ,F
′λ), λ ∈ Λ, seien Zufallsvariablen.
• Die gemeinsame Verteilung der Xλ, λ ∈ Λ, ist durch
P[Xλ1 ∈ A′λ1, . . . , Xλn ∈ A′
λn],
λ1, . . . , λn ⊆ Λ, A′λ1
∈ F′λ1, . . . , A′
λn∈ F′
λn, n ∈ N,
charakterisiert.
• Die ZV’enXλ, λ ∈ Λ, heißen unabhangig, wenn die gemeinsame
Verteilung”faktorisiert“, d.h., wenn jeweils
P[Xλ1∈A′λ1, . . . , Xλn∈A′
λn] = P[Xλ1∈A′
λ1] · · ·P[Xλn∈A′
λn].
3.2.1. Gem. Verteilung endlich vieler diskreter ZV’en
Mk, k = 1, . . . , n, seien hochstens abzahlbar.
Xk : (Ω,F,P) → (Mk,Pot(Mk)), k = 1, . . . , n, seien ZV’en.
PX1,...,Xn[A′] := P[(X1, ..., Xn)∈A′] (Gemeinsame Verteilung)
=∑
(m1,...,mn)∈A′P[X1=m1, ..., Xn=mn], A
′∈Pot(M1×...×Mn).
PX1,...,Xn ist ein W’maß auf (M1×. . .×Mn,Pot(M1×. . .×Mn)).
3.2.2. Unabhangige Zufallsvariablen mit einer Dichte
X1, . . . , XN unabhangige, reellwertige Zufallsvariablen.
Fur k = 1, . . . , N habe die Verteilung PXk die Dichte fk.
⇒ Gemeinsame Verteilung PX1,...,XN hat Dichte
(y1, . . . , yN) →∏N
k=1 fk(yk) auf (RN ,B(RN)).
Beispiel: Mehrdimensionale Normalverteilung.
3.2.3. Unabhangigkeit von Ereignissen
Ereignisse Aλ, λ ∈ Λ, in einem W’raum (Ω,F,P) sind unabhangig,
wenn P[⋂
λ∈∆Aλ
]=∏
λ∈∆P[Aλ], ∆ ⊂ Λ, |∆| <∞.
Beachte: Paarweise Unabhangigkeit ; Unabhangigkeit.
Zusammenfassung (5. Juni 2019)
3.2.4. Verteilung von Summen unabhangiger ZV’en
p = (pn)n∈Z, q = (qn)n∈Z =⇒ (p ∗ q)m :=∑∞
n=−∞ pnqm−n, m ∈ Z.
f , gW’dichten auf R =⇒ (f ∗g)(u) :=∫∞−∞ dv f(v)g(u−v), u ∈ R.
p ∗ q (f ∗ g) ist die Faltung von p und q (f und g).
X , Y seien unabhangige, Z-wertige ZV’en. =⇒ PX+Y = PX ∗PY .
X , Y seien unabhangige, R-wertige ZV’en mit Dichte f , bzw. g.
=⇒ Dichte von X + Y ist f ∗ g.3.2.5. Gleichheitsbegriffe fur Zufallsvariablen
•X, Y : (Ω,F,P) → (Ω′,F′).
X = Y , f.s., falls P[X = Y ] = 1 (fast-sichere Gleichheit).
•X : (Ω,F,P) → (Ω′,F′), Y : (Ω1,F1,P1) → (Ω′,F′).
XL= Y (X
d= Y ), falls PX = PY
(Gleichheit in Verteilung, X und Y sind identisch verteilt).
3.3. Verteilungsfunktionen reellwertiger ZV’en
X reellwert. ZV.Verteilungsfunktion FX : R→ [0, 1] definiert durch
FX(y) := P[X ≤ y] = PX [(−∞, y]], y ∈ R.
3.3.1. Eigenschaften von Verteilungsfunktionen
• PX
[(a, b]
]= FX(b)− FX(a), −∞ < a < b <∞.
=⇒ Verteilung PX ist durch FX eindeutig bestimmt.
• FX ist monoton wachsend.
• limy→−∞FX(y) = 0, limy→∞FX(y) = 1.
• FX ist rechtsstetig und besitzt linksseitige Grenzwerte.
• a ∈ R ein Atom von PX ⇐⇒ FX hat Sprung in a.
Es gilt: FX(a)− limyրa FX(y) = P[X = a] = PX [a].• PX habe eine Dichte f bzgl. des Lebesguemaßes auf R.
=⇒ FX(y) =∫ y−∞ dz f(z), y ∈ R.
Allg.: FX differenzierbar mit F ′X=f ⇐⇒ PX hat Dichte f .
Zusammenfassung (7. Juni 2019)
3.3.2. Beispiele fur Verteilungsfunktionen
• . . .• Dichtetransformation:X reellwertige ZVmit stetiger Dichte ψ.
H ∈ C1(R), H ′ > 0, limx→±∞H(x) = ±∞.
=⇒ H(X) besitzt die Dichte ψH(.) = ψ(H−1(.))/H ′(H−1(.)).
Beispiel: α > 0, β ∈ R.
ψα,β(y) = (1/α)ψ((y − β)/α), y ∈ R, Dichte der ZV αX + β.
3.3.3. Simulation einer Folge von i.i.d. ZV’en mit Dichte
µ W’maß auf R mit Dichte f > 0, d.h., Fµ stetig, invertierbar.
x1, x2, ... ”unabh. in (0, 1) gleichverteilte“ Pseudozufallszahlen.
=⇒ F−1µ (x1), F
−1µ (x2), . . . simulieren i.i.d. ZV’en mit Verteilung µ
(Inversionsmethode).
3.3.4. Quantile reellwertiger Zufallsvariablen
Sei X eine (R,B(R))-wertige ZV, α ∈ (0, 1). q ∈ R mit
P[X ≤ q] ≥ α, P[X ≥ q] ≥ 1− α
ist ein α-Quantil von X .
Ein Median ist ein (1/2)-Quantil (”mittlerer Wert von X“).
FX streng monoton steigend =⇒ Quantile sind eindeutig.
I. allg. brauchen Quantile nicht eindeutig zu sein.
qα := infy ∈ R : P[X ≤ y] ≥ α
ist das kleinste α-Quantil.
Zusammenfassung (12. Juni 2019)
3.4. Stochastische Prozesse
(Ω,F,P) W’raum, (Ω′,F′) meßbarer Raum, T ⊆ R (”Zeitpunkte“).
Xt : (Ω,F,P)→ (Ω′,F′), t ∈ T, seien ZV’en.
X = (Xt)t∈T stochastischer Prozeß mit Zustandsraum (Ω′,F′).
Verteilung von X , Verteilung von Xt : t ∈ T.• Bernoulli-Prozeß Y = (Yk)k∈N zum Parameter p ∈ [0, 1]:
Y1, Y2, . . . unabhangige, −1, 1-wertige Zufallsvariablen mit
P[Yk = −1] = 1− p, P[Yk = 1] = p, k = 1, 2, . . . .
Zusammenfassung (14. Juni 2019)
• Irrfahrt: X0 = 0; Xk = Xk−1 + Yk =∑k
r=1 Yr, k = 1, 2, . . . .
In jedem Zeitpunkt k ∈ N springt X = (Xk)k∈N0 auf Z mit
W’keit p nach rechts bzw. mit W’keit (1−p) nach links.
p = 1/2: Symmetrische Irrfahrt.
Irrfahrten sind einfach zu simulieren!
3.4.1. Stationare stochastische Prozesse
X=(Xk)k∈N0 ist stationar, wenn fur k1<...<kn, n∈N, die gemein-
same Verteilung von Xk+k1, . . . , Xk+kn unabhangig von k∈N0 ist.
Ein Bernoulli-Prozeß ist stationar. Eine Irrfahrt ist nicht stationar.
3.5. W’raume und ZV’en in der Modellbildung
• Allgemeine W’raume als”Zufallsgeneratoren“ zur Konstrukti-
on der bei der Modellbildung benotigten Zufallsvariablen.
Ein Modell ist brauchbar, wenn”hinreichend viele“ Zufallsva-
riablen mit”vernunftigen“ Verteilungen zur Verfugung stehen.
• Spezielle W’raume zur Beschreibung und Untersuchung der
gemeinsamen Verteilung von ZV’en und in der Statistik.
4. Schatztheorie
Ziel: Schatzen unbekannter Parameter in Modellen zuf. Phanomene.
4.1. Statistische Modelle (X,G, (Pλ)λ∈Λ)
• (X,G) meßbarer Raum (X mogl. Beobachtungswerte, G Ereig-
nisse, auf denen statistische Entscheidungen aufbauen).
• Pλ, λ ∈ Λ, Familie von Wahrscheinlichkeitsmaßen auf (X,G)
(mogliche W’verteilungen der Beobachtungswerte).
Statistisches Modell als”Arbeitsumfeld“ in der Statistik.
• Diskretes statistisches Modell: X abzahlbar, G = Pot(X).
• Kontinuierliches statistisches Modell: X ∈ B(Rn), G = B(X),
Pλ besitzt eine Dichte ρλ fur alle λ ∈ Λ.
Eine Statistik S ist eine meßbare Abbildung auf (X,G) (Entschei-
dungsverfahren).
4.2. Maximum-Likelihood-Schatzer λx zum Beobachtungs-
wert x ∈ X fur unbekannten Parameter λ.
Idee: λx ist plausibelster Parameter.
• Diskretes statistisches Modell: Pλx[x] = supλ∈ΛPλ[x].
• Kontinuierliches statistisches Modell: ρλx(x) = supλ∈Λ ρλ(x).
Likelihood-Funktion zum Beobachtungswert x ∈ X:
Λ ∋ λ→ Lx(λ) =
Pλ[x] (diskretes statistisches Modell),
ρλ(x) (kontinuierliches stat. Modell).
Log-Likelihood-Funktion: Λ ∋ λ→ ℓx(λ) = logLx(λ).
Fur x ∈ X ist genau dann Lx in λx maximal, wenn ℓx maximal ist.
Zusammenfassung (19. Juni 2019)
• Beispiel:Vorgegebene Eingaben eines linearen Systems: x1, . . . , xn.
Beobachtete Ausgaben: yk = α + βxk + zk, k = 1, . . . , n.
z1, . . . , zn Rauschen (Realisierungen unabhangiger N(0, σ2)-ver-
teilter ZV’en).
(α, β) Maximum-Likelihood-Schatzer fur (α, β) zur Beobach-
tung (x1, . . . , xn, y1, . . . , yn). β empirischer Regressionskoef-
fizient.
Regressionsgerade: R ∋ x→ α + βx.
Zusammenfassung (21. Juni 2019)
• Taxiproblem: Maximum-Likelihood-Sch. kann unbefriedigend
sein. Es gibt Kriterien zur Qualitatsbewertung von Schatzern.
4.3. Konfidenzbereiche
(X,G, (Pλ)λ∈Λ) statistisches Modell, α ∈ (0, 1).
Eine Abbildung X ∋ x → C(x) ⊆ Λ heißt Konfidenzbereich zum
Irrtumsniveau α, wenn
supλ∈Λ
Pλ[x ∈ X : C(x) 6∋ λ] ≤ α.
Sprechweise:”Fur jede Beobachtung x liegt mit einer Sicherheit
(!! nicht Wahrscheinlichkeit !!) von mindestens (1 − α) · 100% der
(wahre) Parameter λ in C(x)“.
• C(.) ist klein zu wahlen, wenn der”Erkenntnisgewinn“ groß sein
soll.
• Unterschiedliche Zielsetzungen beeinflussen die Wahl der Konfi-
denzbereiche.
• Berechnung von Konfidenzintervallen.
– Spezielle Methode mit Hilfe von Quantilen.
– Allgemeine Methode basierend auf der Cebysev’schen Un-
gleichung (nichtoptimale Konfidenzintervalle).
Zusammenfassung (26. Juni 2019)
5. Laplacesche Wahrscheinlichkeitsraume
und Kombinatorik
Ω endlich, F = Pot(Ω), P[ω] = |Ω|−1, ω ∈ Ω.
”Alle Elemente von Ω sind gleichwahrscheinlich“.
Losung von Abzahlproblemen zur Bestimmung von Wahrscheinlich-
keiten P[A] = |A|/|Ω|, A ∈ F.
5.1. Urnenmodelle (Hilfsmittel fur Abzahlprobleme)
Urne mit N unterscheidbaren Kugeln, n Ziehungen.
Ziehungsvarianten:
(U1) Ziehung mit Zurucklegen, Reihenfolge berucksichtigt.
(U2) Ziehung ohne Zurucklegen, Reihenfolge berucksichtigt.
(U3) Ziehung mit Zurucklegen, Reihenfolge unberucksichtigt.
(U4) Ziehung ohne Zurucklegen, Reihenfolge unberucksichtigt.
Wk(N, n) mogliche Ziehungsresultate fur (Uk), k = 1, . . . , 4.
5.1.1. Darstellung der Mengen Wk(N,n), k = 1, . . . , 4
W1(N,n) , 1, . . . , Nn
= (w1, . . . , wn) : w1, . . . , wn = 1, . . . , N,W2(N,n) , w ∈ W1(N,n) : wi 6= wj, i 6= j,W3(N,n) , w ∈ W1(N,n) : 1≤w1≤w2≤ . . .≤wn≤N,W4(N,n) , w ∈ W1(N,n) : 1≤w1<w2<. . .<wn≤N.(wi , Resultat der i-ten Ziehung; beiW3(N,n) undW4(N,n) evtl.
Umordnung der”Ziehungszeitpunkte“)
5.1.2. Berechnung von |Wk(N, n)|, k = 1, . . . , 4
|W1(N,n)| = Nn, |W2(N,n)| = N !/(N − n)!,
|W3(N,n)| =(N+n−1
n
), |W4(N,n)| =
(Nn
).
Zusammenfassung (28. Juni 2019)
5.2. Anwendungen von Urnenmodellen
•W’keit fur 2 Buben im Skat = |W4(4, 2)|/|W4(32, 2)|.•W’keit, daß von M Pers. 2 am gleichen Tag Geburtstag haben
= 1− |W2(365,M)||W1(365,M)| ≥ 1− exp
(−M(M−1)
730
).
•Wahrscheinlichkeit fur r Richtige beim Zahlenlotto”6 aus 49“
= |W4(6,r)| |W4(43,6−r)||W4(49,6)| =
(6r)·(436−r)
(496 ).
•Warnung vor sorgloser Anwendung von Laplaceschen Modellen.
Einfuhrung einer kunstlichen Reihenfolge bei Ziehungen aus ei-
ner Urne kann hilfreich sein.
Zusammenfassung (3. Juli 2019)
5.3. Eine Alternative zu den Urnenmodellen
Verteilung von n”Murmeln“ auf N
”Zellen“.
Vier Varianten:
•Mehrfachbelegung der Zellen erlaubt / nicht erlaubt.
•Murmeln unterscheidbar / nicht unterscheidbar.
Aquivalenz zu entsprechenden Urnenmodellen.
5.4. Multinomialverteilung u. hypergeom. Verteilung
Multinomialverteilung Mn(N, q1, . . . , qn) mit Parametern
n,N ∈ N und q1, . . . , qn ∈ [0, 1], wobei∑n
k=1 qk = 1:
Ωn,N =ω = (ω1, . . . , ωn) :
ωk∈0, 1, ..., N, k=1, ..., n;∑n
k=1ωk=N,
Mn(N, q1, . . . , qn)[ω] =N !
ω1! . . . ωn!qω11 . . . qωnn , ω∈Ωn,N .
• Beispiel: Urne mit Kugeln der Farben 1, . . . , n.
Fur k = 1, . . . , n sei qk der Anteil der Kugeln der Farbe k.
N -maliges Ziehen mit Zurucklegen.
P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen]
= Mn(N, q1, . . . , qn)[(l1, . . . , ln)],l1, . . . , ln ∈ 0, 1, . . . , N, ∑n
k=1 lk = N.
Hypergeometrische Verteilung Hn,M(N,m1, ...,mn)
mit Parametern n,M,N ∈ N, m1, . . . ,mn ∈ 1, . . . ,Mmit n,N ≤M und
∑nk=1mk =M :
Ωm1,...,mnn,N =
ω = (ω1, ..., ωn) :
ωk ∈ 0, 1, ...,mk, k = 1, ..., n;∑n
k=1 ωk = N,
Hn,M(N,m1, ...,mn)[ω] =(m1ω1
)(m2ω2
)...(mnωn
)(MN
) , ω ∈ Ωm1,...,mnn,N .
• Beispiel: Urne mit Kugeln der Farben 1, . . . , n.
Fur k = 1, . . . , n sei mk die Anzahl der Kugeln der Farbe k.
Beim N -maligen Ziehen ohne Zurucklegen ist Farbverteilung
durch Hn,M(N,m1, ...,mn) bestimmt.
• Bsp.: Multinomialapproximation der hypergeom. Verteilung.
Zusammenfassung (5. Juli 2019)
6. Erwartungswert und Varianz
6.1. Erwartungswert fur diskrete Zufallsvariablen
X : (Ω,F,P) → (R,B(R)) diskret, d.h.X(Ω) hochstens abzahlbar.
•X ist integrabel, wenn∑
x∈X(Ω) |x|P[X = x] <∞.
• Fur integrable Zufallsvariablen definiert
(∗) E[X ] :=∑
x∈X(Ω) xP[X = x]
den Erwartungswert von X .
• Fur positive Zufallsvariablen kann durch (∗) immer ein Erwar-
tungswert definiert werden. Dieser kann ∞ sein.
•X ist integrabel ⇐⇒ E[|X|] <∞.
6.2. Eigenschaften der Abbildung X → E[X]
X , Y , Xk, Yk, k ∈ N, integrable, reellwertige Zufallsvariablen.
•Monotonie des Erwartungswerts:X≤Y , f.s. =⇒ E[X ]≤E[Y ].
• Linearitat des Erwartungswerts: Sei c ∈ R.
cX , X + Y sind integrabel mit
– E[cX ] = cE[X ],
– E[X + Y ] = E[X ] + E[Y ].
• σ-Additivitat des Erwartungswerts:Xk ≥ 0, f.s., k ∈ N; X =
∑∞k=1Xk =⇒ E[X ] =
∑∞k=1E[Xk].
Satz von der monotonen Konvergenz:
Yk ր Y , f.s. =⇒ E[Y ] = limk→∞E[Yk].
• Produktregel fur unabhangige Zufallsvariablen:
X, Y unabhangig. =⇒ XY integrabel, E[XY ] = E[X ]E[Y ].
• Normierung: Sei X = 1, f.s. =⇒ E[X ] = 1.
Zusammenfassung (10. Juli 2019)
6.3. Erwartungswert fur allgemeine, reellwertige ZV’en
• Bestimmung von E[X ] mit Hilfe diskreter Approximationen.
Sei X(m)(ω) = ⌊mX(ω)⌋/m, ω∈Ω, m∈N.
(a) X(n) ≤ X ≤ X(n) + n−1.
(b) X(n0) sei integrabel.
=⇒ alle X(n) sind integrabel;
E[X(n)], n ∈ N, ist Cauchy-Folge.
• Definition: X integrabel, wenn ein X(n) integrabel ist.
• Definition: E[X ] := limn→∞E[X(n)] fur integrable ZV X .
• Eigenschaften in 6.2 gelten fur beliebige integrable ZV’en.
• E[ . ] ist abstraktes Integral:
E[X ] =:∫ΩX(ω)P(dω) =:
∫XdP.
• PX habe Dichte f bzgl. des Lebesguemaßes. H sei meßbar.
X ist integrabel, falls∫Rdx |x|f(x) <∞,
H(X) ist integrabel, falls∫Rdx |H(x)|f(x) <∞,
E[X ] =∫Rdx xf(x), E[H(X)] =
∫Rdx H(x)f(x).
•X ≥ 0 =⇒ E[X ] ∈ [0,∞] ist wohldefiniert.
•X = X+ −X− (Zerlegung in Positiv- und Negativteil).
E[X ] := E[X+]−E[X−], wenn E[X+] <∞ oder E[X−] <∞.
E[X ] existiert nicht, wenn E[X+] = E[X−] = ∞.
•X ist integrabel ⇐⇒ E[|X|] = E[X+] + E[X−] <∞.
Zusammenfassung (12. Juli 2019)
6.4. Varianz und verwandte Begriffe
• Sei p ∈ N.
Falls E[Xp] existiert, heißt E[Xp] das p-te Moment von X .
p-tes Moment von X ist endlich, falls |X|p integrabel ist.• E[|X|p] <∞ =⇒ E[|X|r] <∞, 1 ≤ r < p.
• Lp(Ω,F,P) := Y : (Ω,F,P) → (R,B(R)) : E[|Y |p] <∞ist ein Banachraum mit der Norm ‖Y ‖p := (E[|Y |p])1/p.L2(...) ist Hilbertraum mit Skalarprodukt 〈Y, Z〉 :=E[YZ].
• Varianz: Var(X) := E[(X − E[X ])2] = E[X2]− E[X ]2.
(Starke der Fluktuationen von X um”typischen“ Wert E[X ])
• Cauchysche Ungleichung: E[X ]2 ≤ E[X2].
• Standardabweichung: σX :=√Var(X).
• Kovarianz:Cov(X, Y ) :=E[(X−E[X ])(Y −E[Y ])]=E[XY ]−E[X ]E[Y ].
• Korrelation: ρ(X,Y ) := Cov(X,Y )/(σXσY ) ∈ [−1, 1].
ρ(X,Y )> 0 (bzw. < 0), wenn”typischerweise“ X−E[X ] und
Y −E[Y ] gleiches (entgegengesetztes) Vorzeichen besitzen.
•X1, . . . , Xd seien R-wertige, quadratintegrable Zufallsvariablen.
(Cov(Xi, Xj))i,j=1,...,d ist die Kovarianzmatrix.
•X ,Y unabhangig, X, Y ∈ L2(. . . )
⇒ X ,Y unkorreliert, d.h., Cov(X, Y ) = 0.
X ,Y unkorreliert ; X ,Y unabhangig.
6.4.1. Rechenregeln fur Varianz und Kovarianz
•Cov(aX + b, cY + d) = ac Cov(X,Y ), a, b, c, d ∈ R,
Var(aX + b) = a2 Var(X).
Zusammenfassung (17. Juli 2019)
•Var(X1+ · · ·+Xn) =n∑
k=1
Var(Xk) +∑
k,l=1,...,n; k 6=lCov(Xk, Xl).
Fur unkorrelierte ZV’en addieren sich die Varianzen.
•Cov(X, Y )2 ≤ Var(X) Var(Y ).
• |ρX,Y | ≤ 1.
6.5. Beispiele zum Erwartungswert und zur Varianz
•X habe Exponentialverteilung mit Parameter λ > 0.
⇒ E[X ] = 1/λ, E[X2] = 2/λ2, Var(X) = 1/λ2.
•X habe Cauchy-Verteilung.
⇒ E[X ] existiert nicht, E[X2] = ∞.
•X habe Normalverteilung mit Parameter µ ∈ R und σ2 > 0.
⇒ Alle Momente existieren,
E[X ] = µ, Var(X) = σ2, E[X2] = σ2 + µ2.
6.6. Erwartungstreue Schatzer
(X,G, (Pλ)λ∈Λ) statistisches Modell mit Λ ∈ B(R).
T : (X,G) → (R,B(R)) sei Schatzer fur λ.
• Bias von T : bλ(T ) := Eλ[T ]− λ, λ ∈ Λ
(”Systematischer“ Fehler des Schatzers T ).
• T heißt erwartungstreu, wenn bλ(T ) = 0, λ ∈ Λ.
Zusammenfassung (19. Juli 2019)
•Maximum-Likelihood-Sch. braucht nicht erwartungstreu zu sein.
• Erwartungstreuer Schatzer braucht nicht zu existieren.
•X1, . . . , XN i.i.d. ZV’en mit Erwartungswert µ und Varianz σ2.
µ := N−1∑N
k=1Xk und σ2 := (N − 1)−1∑N
k=1(Xk − µ)2
sind erwartungstreue Schatzer fur µ, bzw. σ2.
6.6.1. Mittlerer quadratischer Fehler eines Schatzers
(X,G, (Pλ)λ∈Λ) diskretes statistisches Modell, Λ ⊆ R Intervall.
Sei T eine Statistik zur Schatzung von λ.
•Mittl. quadratischer Fehler von T : s2λ(T ) := Eλ[(T−λ)2], λ∈Λ.
• Informationsungleichung fur erwartungstreuen Schatzer T :
Eλ[(T − λ)2] = Varλ(T ) ≥ I(λ)−1, λ ∈ Λ,
I(λ) = Eλ[ℓ′.(λ)
2] =∑
x∈X ℓ′x(λ)
2Pλ[x] Fisher-Information
(Λ ∋ λ→ ℓx(λ) Log-Likelihood-Funktion zur Beobachtung x).
6.7. Elementare Ungleichungen in der W’theorie
Sei X eine reellwertige Zufallsvariable.
•Markov-Ungleichung. Sei f : [0,∞) → [0,∞) monoton wach-
send mit f(x) > 0 fur x > 0. Dann gilt:
P[|X| ≥ ǫ] ≤ E[f(|X|)]f(ǫ)
, ǫ > 0.
• Cebysev-Ungleichung: P[|X| ≥ ǫ] ≤ E[X2]
ǫ2, ǫ > 0.
6.8. Konvergenzbegriffe in der W’theorie
• Stochastische Konvergenz
(Konvergenz in W’keit; Anwendung: Schwaches GGZ).
P[|Xn −X| > ǫ]n→∞→ 0, ǫ > 0 ⇐⇒: Xn
P→ X .
• Fast-sichere Konvergenz (Anwendung: Starkes GGZ).
P[limn→∞Xn = X ] = 1 ⇐⇒: Xnf.s.→ X .
• Konvergenz in Verteilung (Anwendung: ZGWS).
limn→∞E[h(Xn)]=E[h(X)], h ∈ Cb(R) ⇐⇒: Xnd→ X .
• Aquivalente Aussagen:–Xn
d→ X .
– limn→∞FXn(y) = FX(y), y ∈ R, FX stetig in y.
– limn→∞ψXn(y) = ψX(y), y ∈ R.
(FY Verteilungsfunktion, ψY mit ψY (z) = E[exp(izY )]
charakteristische Funktion einer Zufallsvariable Y )
•Xnf.s.→ X =⇒ Xn
P→ X =⇒ Xnd→ X .
Zusammenfassung (24. Juli 2019)
7. Gesetz der großen Zahlen
7.1. Ein schwaches Gesetz der großen Zahlen
•Xk, k ∈ N, Folge von unkorrelierten, reellwertigen ZV’en in
L2(Ω,F,P) mit E[Xk] = µ, k ∈ N, und supk∈NVar(Xk) <∞.
=⇒ P[∣∣(1/N)
∑Nk=1Xk − µ
∣∣ ≥ ǫ] N→∞→ 0, ǫ > 0.
• Unter obigen Bedingungen gilt auch das starke GGZ:
limN→∞(1/N)∑N
k=1Xk = µ, f.s.
7.2. Anwendungen des schwachen GGZ
7.2.1. Monte-Carlo-Integration h : [0, 1]→R meßb., beschr.
=⇒ (1/N)∑N
k=1 h(Xk)P→∫ 1
0 dx h(x)
(X1, X2, . . . unabhangig, gleichverteilt auf [0, 1]).
• Starkes GGZ: (1/N)∑N
k=1 h(Xk)f.s.→∫ 1
0 dx h(x).
• Konvergenzgeschwindigkeit:(1/N)
∑Nk=1 h(Xk)−
∫ 1
0 dx h(x) = O(N−1/2).
•MC-Integration:
Ersetze X1, X2, . . . durch Pseudozufallszahlen x1, x2, . . . .
•MC-Integration sinnvoll bei irregularen Integranden h.
9. Zentraler Grenzwertsatz
Ziel: Prazisierung des GGZ fur i.i.d. ZV’en in L2(Ω,F,P) mit pos.
Varianz. Charakterisierung der Konvergenzgeschwindigkeit.
9.3. Zentraler Grenzwertsatz fur i.i.d. Zufallsvariablen
Xn, n∈N, i.i.d.R-wertige ZV’en.E[X1]=µ,Var(X1)=σ2∈ (0,∞).
=⇒√N
σ2
(1
N
N∑
k=1
Xk − µ
)d→ X mit PX = N(0, 1).
• Kurzer Beweis des ZGWS durch Verwendung charakteristischer
Funktionen.
• ZGWS ist ein zentrales Resultat der Mathematik und ihrer An-
wendungen.
• Andere Schreibweise des Zentralen Grenzwertsatzes:
P
[√N
σ2
(1
N
N∑
k=1
Xk−µ)∈ (a, b)
]N→∞→ 1√
2π
∫ b
a
dx exp(−x2/2).
Top Related