Martingale in diskreter Zeit || Invarianz, Austauschbarkeit und U-Statistiken
Transcript of Martingale in diskreter Zeit || Invarianz, Austauschbarkeit und U-Statistiken
Kapitel 10Invarianz, Austauschbarkeit und U -Statistiken
In diesem Kapitel untersuchen wir austauschbare Prozesse und U -Statistiken, wo-bei Martingale eine wichtige Rolle spielen. Die austauschbaren Prozesse bilden eineKlasse von Prozessen, deren Verteilung unter endlichen Vertauschungen und damitunter einer speziellen Gruppenoperation invariant ist. Wir behandeln daher im erstenAbschnitt einige abstrakte Resultate über invariante und ergodische Verteilungen.U -Statistiken spielen eine zentrale Rolle in der statistischen Theorie erwartungs-treuer Schätzer. Es werden Resultate aus den Kap. 1, 4 und 5 benutzt.
Seien .˝;F ; P / ein Wahrscheinlichkeitsraum, .X ;A/ ein messbarer Raum undM 1.A/ die Menge der Wahrscheinlichkeitsmaße auf A.
10.1 Invarianz und Ergodizität
Sei G eine Halbgruppe, also eine nicht-leere Menge mit einer assoziativen Opera-tion G � G ! G; .g; h/ 7! gh, die von links oder rechts auf X operiert, dasheißt, es gibt eine Abbildung G � X ! X ; .g; x/ 7! gx mit .gh/x D g.hx/
beziehungsweise .gh/x D h.gx/ für alle g; h 2 G; x 2 X und ex D x für allex 2 X , falls G ein Einselement e besitzt. Ferner seien die induzierten AbbildungenX ! X ; x 7! gx für alle g 2 G bezüglich .A;A/ messbar. Wir werden häufigg 2 G mit der induzierten Abbildung x 7! gx identifizieren.
Die � -Algebra der G -invarianten messbaren Mengen
A.G/ WD fA 2 A W g�1.A/ D A für alle g 2 Gg;wobei g�1.A/ WD fx 2 X W gx 2 Ag, spielt eine wichtige Rolle. Eine Abbildungf W X ! Y heißt G-invariant, falls f ı g D f für alle g 2 G. Für A 2 A gilt alsogenau dann A 2 A.G/, wenn 1A G-invariant ist. Für ein Maß � auf A sei noch
A.G; �/ WD fA 2 A W �.A�g�1.A// D 0 für alle g 2 Ggdie � -Algebra der �-fast G -invarianten messbaren Mengen. Wegen
Ac�g�1.Ac/ D Ac�.g�1.A//c D A�g�1.A/
H. Luschgy, Martingale in diskreter Zeit, Springer-Lehrbuch Masterclass, 331DOI 10.1007/978-3-642-29961-2_10, © Springer-Verlag Berlin Heidelberg 2013
332 10 Invarianz, Austauschbarkeit und U -Statistiken
und
� 1[nD1
An
��g�1
� 1[nD1
An
�D� 1[
nD1
An
��� 1[
nD1
g�1.An/�
�1[
nD1
.An�g�1.An//
ist dabei A.G; �/ in der Tat eine �-Algebra.
Lemma 10.1
(a) Sei f W .X ;A/ ! .Y;B/ messbar. Ist f G-invariant, so ist f .A.G/;B/-messbar. Ist umgekehrt f .A.G/;B/-messbar und gilt fff .x/g W x 2 X g � B,so ist f G-invariant.
(b) Seien f W .X ;A/ ! .R;B.R// messbar und � ein Maß auf A. Dann ist f
genau dann A.G; �/-messbar, wenn f ı g D f �-f.s. für alle g 2 G gilt.
Beweis (a) Ist f G-invariant, so ist f .A.G/;B/-messbar wegen g�1.f �1.B// D.f ı g/�1.B/ D f �1.B/ für g 2 G; B 2 B. Falls f .A.G/;B/-messbar ist, so gilt
x 2 f �1.ff .x/g/ D g�1.f �1.ff .x/g// D .f ı g/�1.ff .x/g/;also f .gx/ D f .x/ für x 2 X ; g 2 G.
(b) Gilt �.f ı g 6D f / D 0 für alle g 2 G, so ist f A.G; �/-messbar wegen
f �1.B/�g�1.f �1.B// � ff ı g 6D f g
für B 2 B.R/. Ist f A.G; �/-messbar, so folgt �.f ı g 6D f / D 0 aus
ff ı g 6D f g D[r2Q
.ff � rg�g�1.ff � rg//
für g 2 G. utEin Maß � auf A heißt G-invariant, falls
�g .A/ D �.g�1.A// D �.A/
für alle g 2 G; A 2 A. Mit
M 1.A; G/
wird die Menge der G -invarianten Wahrscheinlichkeitsmaße auf A bezeichnet.M 1.A; G/ ist eine konvexe Teilmenge des Vektorraums der beschränkten signiertenMaße auf A (oder des Vektorraums RA). Eine Verteilung Q 2 M 1.A; G/ heißt Ex-tremalpunkt von M 1.A; G/, falls aus der Darstellung Q D �Q1 C .1 � �/Q2 mitQ1; Q2 2 M 1.A; G/; � 2 .0; 1/ folgt Q1 D Q2. Die Menge der Extremalpunktevon M 1.A; G/ wird mit exM 1.A; G/ bezeichnet. Eine Verteilung Q 2 M 1.A; G/
heißt G-ergodisch, falls Q.A.G; Q// D f0; 1g. Wir zeigen, dass die G-ergodischenVerteilungen genau die Extremalpunkte von M 1.A; G/ sind.
10.1 Invarianz und Ergodizität 333
Satz 10.2 Es gilt
ex M 1.A; G/ D fQ 2 M 1.A; G/ W Q.A.G; Q// D f0; 1gg:Für Extremalpunkte Q1; Q2 von M 1.A; G/ gilt ferner Q1 D Q2 oder Q1?Q2.
Beweis 1. Wir zeigen zunächst, dass für Q1; Q2 2 M 1.A; G/ aus Q1jA.G; Q1 CQ2/ D Q2jA.G; Q1 C Q2/ schon die Gleichheit von Q1 und Q2 folgt. Mit Q WD.Q1 C Q2/=2 und fi WD dQi=dQ für i 2 f1; 2g gilt A.G; Q/ D A.G; Q1 C Q2/,QjA.G; Q/ D Qi jA.G; Q/ und daher nach 7.1(b)
EQ.fi jA.G; Q// D dQi jA.G; Q/
dQjA.G; Q/D 1 Q-f.s.
Für a 2 R; g 2 G; i 2 f1; 2g seien A WD ffi � ag, B WD g�1.A/ \ Ac undC WD A \ .g�1.A//c . Dann folgt
Qi .B/ D Qi .g�1.A// � Qi .A \ g�1.A//
D Qi .A/ � Qi .A \ g�1.A// D Qi .C /;
also auch Q.B/ D Q.C /. Wegen fi � a > 0 auf B gilt
Qi .B/ � aQ.B/ DZ
B
.fi � a/dQ � 0
und Qi .B/ � aQ.B/ D 0 genau dann, wenn Q.B/ D 0. Ferner gilt
Qi .C / DZ
C
fi dQ � aQ.C /:
Man erhält
Qi .B/ � aQ.B/ D aQ.C / � Qi .C / D Qi .B/;
was Qi .B/ D aQ.B/ und damit Q.C / D Q.B/ D 0 impliziert. Es folgtQ.A�g�1.A// D Q.B/ C Q.C / D 0, also A 2 A.G; Q/. Dies liefert dieA.G; Q/-Messbarkeit von fi . Es folgt fi D EQ.fi jA.G; Q// D 1 Q-f.s. unddamit Q1 D Q D Q2.
2. Wir kommen zum Beweis des Satzes. Falls Q 2 M 1.A; G/ nicht G-ergodischist, gibt es eine Menge A 2A.G; Q/ mit 0 < Q.A/ < 1. Für Q1 WD Q.A\� /=Q.A/,Q2 WD Q.Ac \ � /=Q.Ac/ und � WD Q.A/ gilt dann Q1; Q2 2 M 1.A; G/,Q1 6D Q2 und Q D �Q1 C .1 � �/Q2. Dies impliziert Q … ex M 1.A; G/. Seinun umgekehrt Q 2 M 1.A; G/ G-ergodisch. Aus der Darstellung Q D �Q1 C.1 � �/Q2 mit Q1; Q2 2 M 1.A; G/, � 2 .0; 1/ folgt QjA.G; Q/ D Qi jA.G; Q/
und wegen A.G; Q/ D A.G; Q1 C Q2/ daher Q1 D Q2 nach 1. Also ist Q einExtremalpunkt von M 1.A; G/.
334 10 Invarianz, Austauschbarkeit und U -Statistiken
Für Extremalpunkte Q1; Q2 von M 1.A; G/, Q1 6D Q2 folgt schließlichQ1jA.G; Q1 C Q2/ 6D Q2jA.G; Q1 C Q2/ aus 1., und wegen A.G; Q1 C Q2/ �A.G; Qi / und der G-Ergodizität von Qi gilt
Q1.A.G; Q1 C Q2// D Q2.A.G; Q1 C Q2// D f0; 1g:Daher gibt es eine Menge A 2 A.G; Q1 C Q2/ mit Q1.A/ D 0 und Q2.A/ D 1.Also gilt Q1 ? Q2. ut
Im Spezialfall G D feg erhält man M 1.A; G/ D M 1.A/ und
ex M 1.A/ D fQ 2 M 1.A/ W Q.A/ D f0; 1gg:Falls A abzählbar erzeugt ist, sind das genau die Dirac-Maße auf A. Sei dazu Q 2M 1.A/ mit Q.A/ D f0; 1g, E ein abzählbarer Erzeuger von A und G WD fA 2E[fC c W C 2 Eg W Q.A/ D 1g. Für B WD T
A2G A gilt dann B 2 A und Q.B/ D 1.Ferner ist B ein Atom von A, das heißt B 6D ; und aus A 2 A; A � B folgt A D ;oder A D B , denn wegen E \ B D f;; Bg gilt A\ B D �B .E \ B/ D f;; Bg. Diesimpliziert Q D ıx für jedes x 2 B .
Die Bemerkung nach 10.11 zeigt, dass f0; 1g-wertige Maße im Allgemeinen kei-ne Dirac-Maße sind.
Für G-ergodische Verteilungen Q 2 M 1.A; G/ sind messbare Abbildungen f W.X ;A.G; Q// ! .Y;B/ Q-fast sicher konstant, falls B abzählbar erzeugt ist undfyg 2 B für alle y 2 Y , denn wegen Qf .B/ D f0; 1g gilt nach obiger BemerkungQf D ıy für ein y 2 Y und damit Q.f D y/ D 1.
Im für uns hauptsächlich interessanten Fall abzählbarer Halbgruppen gibt es eineschönere Charakterisierung ergodischer Verteilungen.
Satz 10.3 (Ergodizität) Sei G eine abzählbare kommutative Halbgruppe oder eineabzählbare Gruppe. Dann gilt A.G; Q/ D A.G/ Q-f.s. für alle Q 2 M 1.A/.Insbesondere gilt
ex M 1.A; G/ D fQ 2 M 1.A; G/ W Q.A.G// D f0; 1gg:Beweis Für Q 2 M 1.A/ und A 2 A.G; Q/ definiere man
B WD[
g2G
\h2G
.gh/�1.A/:
(B hängt nicht von Q ab.) Wegen der Abzählbarkeit von G gilt B 2 A, und wegen
A�B D\g2G
[h2G
.A \ ..gh/�1.A//c [[
g2G
\h2G
.Ac \ .gh/�1.A//
�[g2G
.A�g�1.A//
gilt Q.A�B/ D 0. Ist G kommutativ, so operiert G von links auf X . Für k 2 G
gilt dann mit Gk WD fgk W g 2 Gg � G
k�1.B/ D[g2G
\h2G
.ghk/�1.A/ D[g2G
\h2Gk
.gh/�1.A/ � B
10.1 Invarianz und Ergodizität 335
und wegen der Kommutativität von G
k�1.B/ D[g2G
\h2G
.gkh/�1.A/ D[
g2Gk
\h2G
.gh/�1.A/ � B;
also k�1.B/ D B . Ist G eine Gruppe, so gilt kG D Gk D G und daher B DTg2G g�1.A/ und k�1.B/ D B . Man erhält A.G; Q/ � A.G/ Q-f.s., und wegen
A.G/ � A.G; Q/ folgt A.G; Q/ D A.G/ Q-f.s. Die Charakterisierung der G-ergodischen Verteilungen folgt damit aus Satz 10.2. ut
Das folgende Beispiel zeigt, dass 10.3 für nicht-kommutative, endliche Halb-gruppen und für nicht-abzählbare Gruppen im Allgemeinen falsch ist.
Beispiel 10.4 (a) Seien X D Œ0; 1�2;A die Borelsche �-Algebra über X und gi WX ! X mit g1.x1; x2/ WD .x1; x1/ und g2.x1; x2/ WD .x2; x2/. Dann sind die gi
stetig und es gilt g1 ıg2 D g2 und g2 ıg1 D g1. Also ist G WD fg1; g2g eine (nicht-kommutative) Halbgruppe mit der Komposition als Halbgruppenoperation und derLinksoperation gx D g.x/ auf X . Wegen g�1
i .D/ D X und g�1i .A/ \ D D A \ D
für A 2 A, wobei D WD f.x; x/ W x 2 Œ0; 1�g die Diagonale bezeichnet, gelten
M 1.A; G/ D fQ 2 M 1.A/ W Q.D/ D 1gund A.G; Q/ D A für alle Q 2 M 1.A; G/. Da A abzählbar erzeugt ist und dief0; 1g-wertigen Maße auf A daher wegen der Bemerkung nach 10.2 Dirac-Maßesind, liefert 10.2
ex M 1.A; G/ D fıx W x 2 Dg:Andererseits gilt A.G/ D f;;X g und damit
fQ 2 M 1.A; G/ W Q.A.G// D f0; 1gg D M 1.A; G/:
(b) SeienX D R, A die Borelsche �-Algebra überX und G die (überabzählbare)Gruppe der bijektiven Abbildungen g W X ! X mit jfx 2 X W g.x/ 6D xgj < 1.Dann gelten
M 1.A; G/ D fQ 2 M 1.A/ W Q.fxg/ D 0 für alle x 2 X gund A.G; Q/ D A für alle Q 2 M 1.A; G/. Wegen 10.2 und der Bemerkung nach10.2 folgt
ex M 1.A; G/ D ;;
während A.G/ D f;;X g und
fQ 2 M 1.A; G/ W Q.A.G// D f0; 1gg D M 1.A; G/:
Um Bedingungen an A.G/ zu formulieren, die zur Charakterisierung 10.3 derErgodizität äquivalent sind, benötigen wir das statistische Suffizienz-Konzept. Eine
336 10 Invarianz, Austauschbarkeit und U -Statistiken
Unter-�-Algebra B � A heißt suffizient für Q � M 1.A/, falls es für alle A 2 Aeine B-messbare (von Q 2 Q unabhängige) Funktion fA W .X ;B/ ! .R;B.R//
gibt mit
fA D EQ.1AjB/ Q-f.s. für alle Q 2 Q:
B heißt paarweise suffizient für Q, falls B für alle zweielementigen Teilmengenvon Q suffizient ist.
Satz 10.5 (Ergodizität und paarweise Suffizienz) Für K.G/ WD fQ 2 M 1.A; G/ WQ.A.G// D f0; 1gg sind äquivalent:
(i) ex M 1.A; G/ D K.G/,(ii) A.G/ ist paarweise suffizient für K.G/,
(iii) A.G/ ist verteilungsbestimmend für K.G/, das heißt, aus Q1jA.G/ DQ2jA.G/ für Qi 2 K.G/ folgt Q1 D Q2.
Beweis (i) ) (ii). Für Q1; Q2 2 K.G/; Q1 6D Q2 seien Q WD .Q1CQ2/=2; fi WDdQi=dQ und Qfi WD EQ.fi jA.G//. Wir definieren Wahrscheinlichkeitsmaße QQi
auf A durch QQi WD Qfi Q. Dann gilt für A 2 A.G/
QQi .A/ DZ
A
Qfi dQ DZ
A
fi dQ D Qi .A/;
also QQi jA.G/ D Qi jA.G/, und wegen der G-Invarianz von Qfi (10.1(a)) und Q giltQQi 2 M 1.A; G/. Dies impliziert QQi 2 K.G/ und . QQi CQi /=2 2 K.G/. Wegen (i)
folgt QQi D Qi . Die Maße Q1 und Q2 haben demnach eine A.G/-messbare Dichtebezüglich Q. Daraus folgt die Suffizienz von A.G/ für fQ1; Q2g, denn für B 2 Aund A 2 A.G/ gilt
Z
A
EQ.1B jA.G//dQi DZ
A
EQ.1B jA.G// Qfi dQ
DZ
A
EQ.1BQfi jA.G//dQ
DZ
A
1BQfidQ D
Z
A
1BdQi ;
also EQ.1B jA.G// D EQi.1B jA.G// Qi -f.s.
(ii) ) (iii). Seien Q1; Q2 2 K.G/ mit Q1jA.G/ D Q2jA.G/. Für A 2 A gibtes nach (ii) eine A.G/-messbare Funktion fA mit fA D EQi
.1AjA.G// Qi -f.s. füri 2 f1; 2g. Damit folgt
Q1.A/ DZ
fAdQ1jA.G/ DZ
fAdQ2jA.G/ D Q2.A/:
(iii) ) (i). Nach 10.2 gilt exM 1.A; G/ � K.G/. Sei nun Q 2 K.G/ undQ D �Q1 C .1 � �/Q2 mit Q1; Q2 2 M 1.A; G/ und � 2 .0; 1/. Dann gilt
10.1 Invarianz und Ergodizität 337
Qi 2 K.G/ und Q1jA.G/ D Q2jA.G/, was wegen (iii) Q1 D Q2 impliziert.Also ist Q ein Extremalpunkt von M 1.A; G/. ut
Im Allgemeinen folgt aus der Gleichheit 10.5(i) nicht die paarweise Suffizienzvon A.G/ für M 1.A; G/ [123]. In der Situation von 10.3 ist allerdings A.G/ sogarsuffizient für M 1.A; G/ [96].
Als Anwendung der „nicht-kompakten Choquet-Theorie“ und der Charakterisie-rung 10.2 erhält man, dass in regulären Fällen jede Verteilung in M 1.A; G/ ein-deutige Mischung von G-ergodischen Verteilungen ist. Wir benötigen dazu einemessbare Struktur über M 1.A/. Für A 2 A sei
'A W M 1.A/ ! Œ0; 1�; 'A.Q/ WD Q.A/:
Damit sei
˙.M 1.A// WD �.'A; A 2 A/
und für Teilmengen Q � M 1.A/ sei
˙.Q/ WD �.'AjQ W A 2 A/:
Dann ist ˙.Q/ die Spur-�-Algebra ˙.M 1.A// \ Q.
Satz 10.6 (Integraldarstellung) Seien X ein polnischer Raum, A die Borelsche �-Algebra über X und X ! X ; x 7! gx für alle g 2 G stetig. Dann gibt es zu jedemQ 2 M 1.A; G/ genau ein � 2 M 1.˙.ex M 1.A; G/// mit
Q DZ
ex M 1.A;G/
Q0d�.Q0/:
Die obige Gleichung bedeutet ausführlich
Q.A/ DZ
ex M 1.A;G/
Q0.A/d�.Q0/
für alle A 2 A.
Beweis Aus der Stetigkeit von x 7! gx für alle g 2 G folgt, dass M 1.A; G/ einein der schwachen Topologie abgeschlossene Teilmenge von M 1.A/ ist. Dabei istdie schwache Topologie die gröbste Topologie auf M 1.A/ derart, dass für jede ste-tige, beschränkte Funktion f W X ! R die Abbildung M 1.A/ ! R; Q 7! R
fdQ
stetig ist. Ferner ist M 1.A; G/ ein (nicht-kompaktes) Choquet-Simplex, das heißtder konvexe Kegel K WD RCM 1.A; G/ der G-invarianten, endlichen Maße auf Aist ein Verband in seiner eigenen (partiellen) Ordnung „� � �, falls � � � 2 K.“Diese Ordnung stimmt offenbar mit der üblichen mengenweisen Ordnung „� � �,falls �.A/ � �.A/ für alle A 2 A“ überein. Zum Nachweis der Verbandseigen-schaft, also für �; � 2 K existieren � ^ � und � _ � in K, seien f WD d�=d.� C �/
338 10 Invarianz, Austauschbarkeit und U -Statistiken
und h WD d�=d.� C �/. Wie im Beweis von 10.2 sind f und h A.G; � C �/-messbar. Also ist auch f ^ h A.G; � C �/-messbar und wegen 10.1(b) gilt.f ^ h/ ı g D f ^ h � C �-f.s. Für WD .f ^ h/.� C �/ folgt 2 K und D � ^ �. Ebenso gilt WD .f _ h/.� C �/ 2 K und D � _ �. Mit diesenbeiden Eigenschaften von M 1.A; G/ folgt die Behauptung aus einem allgemeinenIntegraldarstellungssatz [124, 150]. ut
In der Situation von Satz 10.6 gilt insbesondere ex M 1.A; G/ 6D ;, fallsM 1.A; G/ 6D ;. Wegen Beispiel 10.4(b) ist dies und damit 10.6 ohne die Stetig-keit der Operation von G auf X im Allgemeinen nicht richtig.
10.2 Austauschbare Prozesse
Wir spezialisieren jetzt die Halbgruppe G zur Gruppe der endlichen Permutatio-nen von N, das sind bijektive Abbildungen g W N ! N mit jfn 2 N W g.n/ 6Dngj < 1. Mit der Komposition als Gruppenoperation ist G dann eine abzählbare(nicht-kommutative) Gruppe. Für einen messbaren Raum .X ;A/ operiert die Halb-gruppe aller Abbildungen g W N ! N (die Halbgruppenoperation ist wieder dieKomposition) von rechts auf XN durch
gx WD .xg.n//n�1;
und die induzierte Abbildung XN ! XN; x 7! gx ist (AN;AN)-messbar, weilx 7! xg.n/ für alle n 2 N bezüglich .AN;A/ messbar ist.
Die Gruppe G hat eine einfache Struktur. Für die Untergruppen
Gn WD fg 2 G W g.j / D j für alle j > ng;
n 2 N gilt
jGnj D nŠ; Gm � Gn für m � n und1[
nD1
Gn D G:
Gn operiert auch auf X n durch gx WD .xg.1/; : : : ; xg.n// und x 7! gx ist .An;An/-messbar.
Ein .X ;A/-wertiger Prozess X D .Xn/n�1 heißt austauschbar, falls
P X 2 M 1.AN; G/;
also P gX D .P X /g D P X für alle g 2 G, wobei X hier als (XN;AN)-wertigeZufallsvariable aufgefasst wird. Austauschbare Prozesse sind identisch verteilt, undfalls X eine unabhängige Folge identisch verteilter Zufallsvariablen ist, so ist X
austauschbar. Weitere einfache Eigenschaften sind:
10.2 Austauschbare Prozesse 339
Lemma 10.7
(a) Ein .X ;A/-wertiger Prozess X D .Xn/n�1 ist genau dann austauschbar, wenn
P .X1;:::;Xn/ 2 M 1.An; Gn/
für alle n � 1.(b) Ist H die Halbgruppe der injektiven Abbildungen von N nach N, so gilt
M 1.AN; G/ D M 1.AN; H/:
(c) Ist h W N ! N; h.n/ WD n C 1 und H0 die von h erzeugte Halbgruppe, so gilt
M 1.AN; G/ � M 1.AN; H0/:
Prozesse X mit P X 2 M 1.AN; H0/ heißen stationär. Austauschbare Prozessesind nach 10.7(c) also stationär.
Beweis Weil f.�1; : : : ; �n/�1.B/ W n 2 N; B 2 Ang ein durchschnittsstabilerErzeuger von AN ist, gilt für .X ;A/-wertige Prozesse X und Y nach dem Maß-eindeutigkeitssatz P X D P Y genau dann, wenn P .X1;:::;Xn/ D P .Y1;:::;Yn/ für allen � 1.
(a) Für g 2 G, also g 2 Gm für ein m � 1, und n � 1 folgt aus der angegebenenBedingung P .Xg.1/;:::;Xg.n// D P .X1;:::;Xn/, denn für m � n ist g 2 Gn und fürm > n folgt dies durch Übergang zu den n-dimensionalen Randverteilungen. Manerhält P gX D P X .
(b) Wegen G � H gilt M 1.AN; H/ � M 1.AN; G/. Zu h 2 H und n � 1 gibt esein g 2 G mit gjf1; : : : ; ng D hjf1; : : : ; ng und dies impliziert für Q 2 M 1.AN; G/
Q.�h.1/;:::�h.n// D Q.�g.1/;:::�g.n// D Q.�1;:::;�n/:
Also gilt Qh D Q.(c) folgt wegen H0 � H aus (b) . utFür einen .X ;A/-wertigen Prozess X D .Xn/n�1 seien
AN.Gn/X WD X�1.AN.Gn// und AN.G/X WD X�1.AN.G//:
Dann gilt
AN.G/X D1\
nD1
AN.Gn/X ;
denn für C 2 T1nD1 AN.Gn/X gilt C D X�1.An/ mit An 2 AN.Gn/ für alle
n � 1, und für A WD lim supn!1 An folgt A 2 AN.G/ und C D X�1.A/, also C 2AN.G/X . Die umgekehrte Inklusion ist eine Konsequenz der Gleichung AN.G/ DT1
nD1 AN.Gn/.Alle Resultate im Rest dieses Abschnitts basieren auf dem folgenden Konver-
genzsatz, einer Konsequenz des Martingalkonvergenzsatzes 4.26.
340 10 Invarianz, Austauschbarkeit und U -Statistiken
Satz 10.8 Seien X D .Xn/n�1 ein austauschbarer .X ;A/-wertiger Prozess, 1 �p < 1 und f W .XN;AN/ ! .R;B.R// mit f .X/ 2 Lp. Dann gilt
E.f .X/jAN.Gn/X / D 1
nŠ
Xg2Gn
f .gX/
für alle n � 1 und
1
nŠ
Xg2Gn
f .gX/ ! E.f .X/jAN.G/X / f.s. und in Lp
für n ! 1.
Für m 2 N und messbare Funktionen f W .Xm;Am/ ! .R;B.R// kann man10.8 auf Qf .x/ WD f .x1; : : : ; xm/; x 2 XN anwenden und erhält
E.f .X1; : : : ; Xm/jAN.Gn/X / D 1
nŠ
Xg2Gn
Qf .gx/ D 1
nŠ
Xg2Gn
f .Xg.1/; : : : Xg.m//
! E.f .X1; : : : ; Xm/jAN.G/X / f.s. und in Lp:
Beweis Für n � 1 sei fn die durch
fn.x/ WD 1
nŠ
Xg2Gn
f .gx/; x 2 XN
definierte Gn-Symmetrisierung von f . Dann ist fn bezüglich .AN;B.R// messbarund Gn-invariant, also nach 10.1(a) AN.Gn/-messbar. Damit ist fn.X/ bezüglichAN.Gn/X messbar und für C 2 AN.Gn/X , C D X�1.A/ mit A 2 AN.Gn/, gilt dieRadon-Nikodym-Gleichung
Z
C
fn.X/dP D 1
nŠ
Xg2Gn
Z1A.X/f .gX/dP
D 1
nŠ
Xg2Gn
Z1A.X/f .X/dP D
Z
C
f .X/dP:
Also gilt
E.f .X/jAN.Gn/X / D fn.X/:
Daher ist .Yn/n2�N mit Yn WD f�n.X/, Fn WD AN.G�n/X und F D .Fn/n2�N
wegen Yn D E.Y�1jFn/ ein F-Martingal. Der Konvergenzsatz 4.26 über dieRückwärtskonvergenz von Martingalen liefert wegen F�1 D T1
nD1 AN.Gn/X DAN.G/X
fn.X/ D Y�n ! E.Y�1jF�1/ D E.f .X/jAN.G/X / f.s. und in Lp
für n ! 1. ut
10.2 Austauschbare Prozesse 341
Wegen der Bemerkung nach 10.5 ist die �-Algebra AN.G/ der G-invariantenAN-messbaren Mengen suffizient für M 1.AN; G/. Dies folgt auch sofort aus 10.8:Für A 2 AN sei
fn WD 1
nŠ
Xg2Gn
1A ı g
die Gn-Symmetrisierung von 1A. Dann ist fn AN-messbar und Gn-invariant. FürfA WD lim supn!1 fn gilt nach 10.8 (mit X D .�n/n�1/
fA D EQ.1AjAN.G// Q-f.s.
für alle Q 2 M 1.AN; G/, und weil fA G-invariant und damit wegen 10.1(a)AN.G/-messbar ist, folgt die Suffizienz von AN.G/ für M 1.AN; G/.
Für einen .X ;A/-wertigen Prozess X D .Xn/n�1 sei
TX WD\n�1
�.Xk ; k � n/
die X -terminale �-Algebra.
Satz 10.9 (Austauschbarkeit und Terminalität) Für jeden .X ;A/-wertigen ProzessX D .Xn/n�1 gilt TX � AN.G/X , und falls X austauschbar ist, gilt
TX D AN.G/X f:s:
Beweis Da der Shift �n W XN ! XN, �n.x/ D .xnCj /j �1 bezüglich .AN;AN/
messbar und Gn-invariant ist, gilt wegen 10.1(a) �.�n/ D ��1n .AN/ � AN.Gn/ und
damit �.�n.X// � AN.Gn/X für alle n � 1. Wegen �.Xk; k � nC1/ D �.�n.X//
folgt TX � AN.G/X .Für austauschbare Prozesse X zeigen wir jetzt AN.G/X � TX f.s. Für C 2
AN.G/X ;F WD FX und m � 1 sei dazu
Mm WD P.C jFm/:
Faktorisierung liefert Mm D fm.X1; : : : ; Xm/ mit fm.x1; : : : ; xm/ D P.C jX1 Dx1; : : : ; Xm D xm/; 0 � fm � 1. Für n � 1 sei
Un;m WD 1
nŠ
Xg2Gn
fm.Xg.1/; : : : ; Xg.m//
und für n > 2m seien
Gn;m WDm\
j D1
fg 2 Gn W g.j / > mg
und
Vn;m WD 1
nŠ
Xg2Gn;m
fm.Xg.1/; : : : ; Xg.m//:
342 10 Invarianz, Austauschbarkeit und U -Statistiken
Wegen
Gn n Gn;m Dm[
j D1
m[iD1
fg 2 Gn W g.j / D ig
gilt jGn n Gn;mj � m2.n � 1/Š Man erhält für n > 2m wegen 0 � fm � 1
jUn;m � Vn;mj � jGn n Gn;mjnŠ
� m2
n;
und dies impliziert Un;m � Vn;m ! 0 gleichmäßig auf ˝ für n ! 1. Weil nach10.8 Un;m ! E.MmjAN.G/X / f.s., folgt
Vn;m ! E.MmjAN.G/X / f.s.
für n ! 1. Offenbar ist Vn;m bezüglich �.Xk ; k � mC1/ messbar für n > 2m, sodass Vm WD lim supn!1 Vn;m (D lim supn!1 Un;m) bezüglich �.Xk; k � m C 1/
messbar ist und
Vm D E.MmjAN.G/X / f.s.
für alle m � 1. Daher ist V WD lim supm!1 Vm bezüglich TX messbar. WegenF1 D X�1.AN/ gilt nach dem Konvergenzsatz 4.8
Mm ! P.C jF1/ D 1C f.s.
und mit dominierter Konvergenz für bedingte Erwartungswerte folgt
E.MmjAN.G/X / ! P.C jAN.G/X / D 1C f.s.
für m ! 1. Man erhält V D 1C f.s. Für D WD fV D 1g gilt dann D 2 TX undC�D � fV 6D 1C g, also P.C�D/ D 0. ut
Wir kommen nun zur zentralen Charakterisierung austauschbarer Prozesse alsdiejenigen Prozesse X , die bedingt unter AN.G/X unabhängig und identisch verteiltsind. Dabei heißt eine Folge X D .Xn/n�1 von .X ;A/-wertigen Zufallsvariablenbedingt unabhängig unter G für eine Unter-�-Algebra G � F , falls
P� n\
iD1
fXi 2 Ai gˇ̌ˇG�
DnY
iD1
P.Xi 2 Ai jG/
für alle n � 1, A1; : : : ; An 2 A. Sie heißt bedingt identisch verteilt unter G, falls
P.Xn 2 AjG/ D P.X1 2 AjG/
für alle n � 1; A 2 A. Beide Eigenschaften zusammen sind dann äquivalent zu
P� n\
iD1
fXi 2 Aigˇ̌ˇG�
DnY
iD1
P.X1 2 Ai jG/
für alle n � 1; A1; : : : ; An 2 A.
10.2 Austauschbare Prozesse 343
Satz 10.10 (de Finetti) Ein .X ;A/-wertiger Prozess X D .Xn/n�1 ist genau dannaustauschbar, wenn .Xn/n�1 eine bedingt unabhängige Folge bedingt identisch ver-teilter Zufallsvariablen unter AN.G/X ist.
Beweis Sei X austauschbar. Für m; n � 1 und A1; : : : ; Am 2 A seien
fm.x1; : : : ; xm/ WDmY
iD1
1Ai.xi /;
Un.1Ai/ WD 1
nŠ
Xg2Gn
1Ai.Xg.1//
und
Un.fm/ WD 1
nŠ
Xg2Gn
fm.Xg.1/; : : : ; Xg.m//:
Dann gelten nach 10.8 wegen fm.X1; : : : ; Xm/ D 1TmiD1fXi 2Ai g
Un.fm/ ! P� m\
iD1
fXi 2 Ai gˇ̌ˇAN.G/X
�f.s.
und
mYiD1
Un.1Ai/ !
mYiD1
P.X1 2 Ai jAN.G/X / f.s.
für n ! 1. Wir zeigen jetzt, dass die beiden fast sicheren Limiten übereinstim-men. Für n � m seien dazu Kn;m die Menge aller Abbildungen von f1; : : : ; mgnach f1; : : : ; ng und Hn;m die Menge der injektiven Abbildungen in Kn;m. WegenjKn;mj D nm, jHn;mj D nŠ=.n � m/Š und
Gn D[
h2Hn;m
fg 2 Gn W gjf1; : : : ; mg D hg
folgt
Un.fm/ D .n � m/Š
nŠ
Xh2Hn;m
fm.Xh.1/; : : : ; Xh.m//;
also insbesondere
Un.1Ai/ D 1
n
nXj D1
1Ai.Xj /:
344 10 Invarianz, Austauschbarkeit und U -Statistiken
Dies impliziert für n � m
mYiD1
Un.1Ai/ D 1
nm
Xh2Kn;m
fm.Xh.1/; : : : ; Xh.m//
D nŠ
.n � m/ŠnmUn.fm/ C 1
nm
Xh2Kn;mnHn;m
fm.Xh.1/; : : : ; Xh.m//:
Wegen nŠ=.n � m/Šnm ! 1 und
ˇ̌ˇ̌ 1
nm
Xh2Kn;mnHn;m
fm.Xh.1/; : : : ; Xh.m//
ˇ̌ˇ̌ � jKn;mj � jHn;mj
nm
D 1 � nŠ
.n � m/Šnm! 0
für n ! 1 erhält man
mYiD1
Un.1Ai/ ! P
� m\iD1
fXi 2 Aigˇ̌ˇAN.G/X
�f.s.
für n ! 1.Umgekehrt folgt aus
P� n\
iD1
fXi 2 Aigˇ̌ˇAN.G/X
�D
nYiD1
P.X1 2 Ai jAN.G/X /
für g 2 Gn auch
P� m\
iD1
fXg.i/ 2 Ai gˇ̌ˇAN.G/X
�D
nYiD1
P.X1 2 Ai jAN.G/X /
und Erwartungswertbildung liefert
P g.X1;:::;Xn/� nY
iD1
Ai
�D P .X1;:::;Xn/
� nYiD1
Ai
�:
Also stimmen P g.X1;:::;Xn/ und P .X1;:::;Xn/ auf einem durchschnittsstabilen Erzeu-ger von An überein und sind deshalb gleich. Dies impliziert wegen 10.7(a) die Aus-tauschbarkeit von X . ut
Mit 10.9 und 10.10 lassen sich nun leicht die G-ergodischen Verteilungen cha-rakterisieren.
10.2 Austauschbare Prozesse 345
Satz 10.11 (Ergodizität, Hewitt und Savage) Die Verteilung eines austauschba-ren .X ;A/-wertigen Prozesses X D .Xn/n�1 ist genau dann G-ergodisch, wenn.Xn/n�1 eine unabhängige Folge identisch verteilter Zufallsvariablen ist, und diesist äquivalent zu P.AN.G/X / D f0; 1g. Insbesondere gilt
ex M 1.AN; G/ D fQN W Q 2 M 1.A/g:
Die Eigenschaft P.AN.G/X / D f0; 1g für unabhängige Folgen identisch ver-teilter Zufallsvariablen X D .Xn/n�1 heißt 0-1-Gesetz von Hewitt und Savage.
Beweis Nach 10.3 gilt
ex M 1.AN; G/ D fQ 2 M 1.AN; G/ W Q.AN.G// D f0; 1gg:
Wegen P X .AN.G// D P.AN.G/X / ist daher die G-Ergodizität von P X äquivalentzu P.AN .G/X / D f0; 1g. Ist X D .Xn/n�1 eine unabhängige Folge identischverteilter Zufallsvariablen, so impliziert Kolmogorovs 0-1-Gesetz P.TX / D f0; 1gund wegen 10.9 folgt P.AN.G/X / D f0; 1g. Ist umgekehrt P X G-ergodisch, sogilt (etwa wegen A.12(b)) E.ZjAN.G/X / D EZ für alle Z 2 L1. Mit 10.10 folgtP X D .P X1 /N. Die Spezialisierung von X auf den Prozess der Projektionen liefertexM 1.AN; G/ D fQN W Q 2 M 1.A/g. ut
Eine direkte Konsequenz von 10.11 und 10.2 ist die Kakutani-Dichotomie 7.5für Produktmaße mit identischen Faktoren.
Die (G-ergodischen) Produktmaße QN sind zwar f0; 1g-wertig auf AN.G/, aberkeine Dirac-Maße aufAN.G/; falls A die einelementigen Teilmengen von X enthältund Q kein Dirac-Maß auf A ist: Andernfalls gilt QN.Gx/ D 1 für ein x 2 XN,da die G-Bahn Gx WD fgx W g 2 Gg als abzählbare Teilmenge von XN zu AN unddamit zu AN.G/ gehört. Für QN gilt aber QN.fzg/ D 0 für alle z 2 XN, denn mitc WD supy2X Q.fyg/ < 1 folgt
QN.fzg/ D limn!1
nYiD1
Q.fzig/ � limn!1 cn D 0;
was den Widerspruch QN.Gx/ D 0 impliziert. Insbesondere ist damit AN.G/ we-gen der Bemerkung nach 10.2 nicht abzählbar erzeugt, falls jX j � 2 und A dieeinelementigen Teilmengen von X enthält.
Für die G-Bahnen Gx; x 2 XN gilt übrigens jGxj D 1 genau dann, wenn xn Dx1 für alle n � 1. In allen anderen Fällen ist Gx nicht endlich. Dies zeigt wegenQN.fgxg/ D QN.fxg/ nochmal, dass QN nicht auf einer G-Bahn konzentriert seinkann, wenn Q kein Dirac-Maß ist (und ffyg W y 2 X g � A/.
In dem folgenden Lemma wird die „Isomorphie“ zwischen den G-ergodischenVerteilungen aufAN und M 1.A/ präzisiert. Eine messbare Abbildung F W .Y;B/ !.Z; C/ heißt Isomorphismus der messbaren Räume .Y;B/ und .Z; C/, falls F bi-jektiv und auch die Umkehrabbildung F �1 messbar ist.
346 10 Invarianz, Austauschbarkeit und U -Statistiken
Lemma 10.12 Für P WD fQN W Q 2 M 1.A/g wird durch
F W .M 1.A/; ˙.M 1.A// ! .P ; ˙.P//; F .Q/ WD QN
ein Isomorphismus der messbaren Räume definiert.
Beweis Die Bijektivität von F ist klar. Weil
E WDn n\
iD1
f�i 2 Ai g W n 2 N; A1; : : : ; An 2 Ao
ein durchschnittsstabiler Erzeuger von AN und
fA 2 A W 'AjP ist �.'AjP ; A 2 E/-messbargein Dynkin-System ist, das E enthält, gilt ˙.P/ D �.'AjP ; A 2 E/. Daher ist F
messbar, denn für A 2 E , also A D TniD1f�i 2 Ai g, ist die Funktion 'A ı F wegen
'A ı F.Q/ DnY
iD1
Q.Ai / DnY
iD1
'Ai.Q/
als Produkt ˙.M 1.A//-messbarer Funktionen ˙.M 1.A//-messbar. Die Umkehr-funktion F �1 ist wegen 'A ı F �1 D '��1
1.A/ für A 2 A messbar. ut
Für eine Unter-�-Algebra G � F und einen Markov-Kern K von .˝;G/ nach.X ;A/ ist die Abbildung ˝ ! M 1.A/; ! 7! K.!; � / bezüglich .G; ˙.M 1.A//
messbar, so dass man K als .M 1.A/; ˙.M 1.A///-wertige Zufallsvariable auffas-sen kann. Wegen 10.12 wird dann durch
KN.!; A/ WD K.!; � /N.A/ D F.K.!; � //.A/
für ! 2 ˝; A 2 AN ein Markov-Kern von .˝;G/ nach .XN;AN/ definiert.Für reguläre Räume .X ;A/ erhält man nun mit 10.10 die folgende eindeutige
Integraldarstellung der Verteilung austauschbarer Prozesse.
Satz 10.13 (Integraldarstellung, de Finetti, Hewitt und Savage) Seien X ein polni-scher Raum und A die Borelsche �-Algebra über X . Ferner seien X D .Xn/n�1
ein austauschbarer .X ;A/-wertiger Prozess und
K WD P X1jAN.G/X
die bedingte Verteilung von X1 unter AN.G/X .
(a) �.K/ D �.KN/ und P X jK D KN.(b) Es gibt genau ein � 2 M 1.˙.M 1.A/// mit
P X DZ
M 1.A/
QNd�.Q/:
Für � gilt dabei � D .P jAN.G/X /K D P K .
10.2 Austauschbare Prozesse 347
Da X polnisch ist, existiert die obige bedingte Verteilung wegen A.17. Die Dar-stellung von P X in (b) bedeutet wie in 10.6 ausführlich
P X .A/ DZ
M 1.A/
QN.A/d�.Q/
für alle A 2 AN. Die ˙.M 1.A//-Messbarkeit von Q 7! QN.A/ für A 2 AN giltnach 10.12.
Beweis (a) Der in 10.12 beschriebene Isomorphismus liefert
�.K.�; A/; A 2 A/ D �.K/ D �.F ı K/ D �.KN/ D �.KN. � ; A/; A 2 AN/:
Für A D TniD1f�i 2 Aig mit A1; : : : ; An 2 A gilt wegen �.K/ � AN.G/X , der
Turmeigenschaft und 10.10
P.X 2 AjK/ D P� n\
iD1
fXi 2 Ai gˇ̌ˇK�
D E�P� n\
iD1
fXi 2 Ai gˇ̌ˇAN.G/X
�ˇ̌ˇK�
D E� nY
iD1
P.X1 2 Ai jAN.G/X /ˇ̌ˇK�
D E� nY
iD1
K. � ; Ai /ˇ̌ˇK�
DnY
iD1
K. � ; Ai / D KN. � ; A/:
Weil die Mengen der Form von A einen durchschnittsstabilen Erzeuger von AN
bilden, definiert der Markov-Kern KN eine bedingte Verteilung von X unter K .(b) Nach (a) gilt insbesondere P X D PKN. Für � WD P K erhält man � 2
M 1.˙.M 1.A/// und
P X DZ
KN.!; � /dP.!/ DZ
M 1.A/
QNd�.Q/:
Sei nun � 2 M 1.˙.M 1.A/// ein beliebiges darstellendes Maß für P X . FürA 2 A sei
fA.x/ WD lim supn!1
1
n
nXiD1
1A.xi /; x 2 XN:
Dann gilt nach 10.8 fA.X/ D K. � ; A/ P -f.s. und nach dem starken Gesetz dergroßen Zahlen von Kolmogorov fA D Q.A/ QN-f.s. für alle Q 2 M 1.A/. Diesimpliziert für A1; : : : ; An 2 A und B1; : : : ; Bn 2 B.Œ0; 1�/
P K� n\
iD1
f'Ai2 Big
�D P
� n\iD1
fK. � ; Ai / 2 Bi g�
D P X� n\
iD1
ffAi2 Big
�
DZ
M 1.A/
QN� n\
iD1
ffAi2 Bi g
�d�.Q/ D �
� n\iD1
f'Ai2 Bi g
�:
348 10 Invarianz, Austauschbarkeit und U -Statistiken
Weiln n\
iD1
f'Ai2 Bi g W n 2 N; A1; : : : ; An 2 A; B1; : : : ; Bn 2 B.Œ0; 1�/
o
ein durchschnittsstabiler Erzeuger von ˙.M 1.A// ist, folgt P K D � aus dem Maß-eindeutigkeitssatz. ut
Die Integraldarstellung (b) ist auch eine direkte Konsequenz von 10.6.
Alternativer Beweis von Satz 10.13(b) Der Raum XN versehen mit der Pro-dukttopologie ist wieder polnisch und AN ist die Borelsche �-Algebra über XN
([17], Satz 1.3.12). Da für eine Folge .xn/ in XN die Konvergenz xn ! x in XN
gleichbedeutend mit der Konvergenz xni ! xi in X für alle i 2 N ist und somit
XN ! XN; x 7! gx für alle g 2 G stetig ist, kann man 10.6 anwenden. Nach 10.6und 10.11 gibt es genau ein � 2 M 1.˙.P// mit
P X DZ
P
Q0d�.Q0/;
wobei P WD fQN W Q 2 M 1.A/g. Für � WD �F �1mit dem Isomorphismus F aus
10.12 gilt dann � 2 M 1.˙.M 1.A/// und
P X DZ
P
Q0d�F .Q0/ DZ
M 1.A/
F.Q/�.Q/ DZ
M 1.A/
QNd�.Q/:
Die Eindeutigkeit von � folgt aus der von �. utOhne die obige Regularitätsvoraussetzung an den Zustandsraum .X ;A/ ist die
Existenzaussage von 10.13(b) im Allgemeinen falsch [94]. Die Eindeutigkeitsaus-sage bleibt allerdings richtig: Aus
ZQNd�1.Q/ D
ZQNd�2.Q/
für �i 2 M 1.˙.M 1.A/// folgt für m 2N, A1; : : : ; Am 2A und .n1; : : : ; nm/ 2Nm0 ,
n0 WD 0
Z
Œ0;1�m
mYiD1
xni
i d�.'A1
;:::;'Am /
1 .x/ DZ
QN� m\
iD1
ni�1Cni\j Dni�1C1
f�j 2 Ai g�d�1.Q/
DZ
Œ0;1�m
mYiD1
xni
i d�.'A1
;:::;'Am /
2 .x/
.Tni�1
ni�1C1 WD XN/. Weil eine Verteilung auf B.Œ0; 1�m/ eindeutig durch die (ge-mischten) .n1; : : : ; nm/-ten Momente, .n1; : : : ; nm/ 2 N
m0 bestimmt ist (dies ist
etwa eine Konsequenz des Approximationssatzes von Weierstraß), gilt
�.'A1
;:::;'Am /
1 D �.'A1
;:::;'Am /
2 :
10.2 Austauschbare Prozesse 349
Daher stimmen �1 und �2 auf dem durchschnittsstabilen Erzeuger
f.'A1; : : : ; 'Am
/�1.B/ W m 2 N; A1; : : : ; Am 2 A; B 2 B.Œ0; 1�m/gvon ˙.M 1.A// überein und sind somit gleich.
Besonders einfach und nützlich ist der Spezialfall X D f0; 1g.
Beispiel 10.14 Sei .X ;A/ D .f0; 1g;P.f0; 1g//. Die Integraldarstellung 10.13(b)hat dann die äquivalente Form
P X DZ
Œ0;1�
B.1; p/Nd�.p/
mit einer eindeutig bestimmten Verteilung � auf B.Œ0; 1�/, wobei B.1; p/ WD pı1 C.1 � p/ı0, also
P.X1 D x1; : : : ; Xn D xn/ DZ
Œ0;1�
pPn
iD1 xi .1 � p/n�PniD1 xi d�.p/
für .x1; : : : ; xn/ 2 X n. Dies folgt aus 10.13(b), weil
F W .Œ0; 1�;B.Œ0; 1�// ! .M 1.A/; ˙.M 1.A///; F .p/ WD B.1; p/
wegen F �1 D 'f1g ein Isomorphismus der messbaren Räume ist. Dabei ist
� D .P K/F �1 D P Z
mit
Z WD K. � ; f1g/ D P.X1 D 1jAN.G/X / D E.X1jAN.G/X /:
Wegen K D Zı1C.1�Z/ı0 DW B.1; Z/ gilt �.Z/ D �.K/ und daher hat 10.13(a)die Form
P X jZ D B.1; Z/N:
Beispiel 10.15 (Pólyas Urnenmodell) In der Situation von Beispiel 1.7(e) sei
Vn WD 1fUn�Xn�1g
für n � 1, wobei Vn D 1 bedeutet, dass die zum Zeitpunkt n gezogene Kugel rotist. Dann ist V WD .Vn/n�1 ein austauschbarer Prozess, denn .Vn/n�0 mit V0 WD 0
ist F-adaptiert,
P.Vn D 1jFn�1/ D E.VnjFn�1/ D Xn�1
D Yn�1
r C s C m.n � 1/D r C m
Pn�1iD1 Vi
r C s C m.n � 1/
350 10 Invarianz, Austauschbarkeit und U -Statistiken
für n � 1 und daher mit Taking out what is known
P.V1 D x1; : : : ; Vn D xn/ D E�n�1Y
iD1
1fVi Dxi gP.Vn D xnjFn�1/�
D E
n�1YiD1
1fVi Dxi g�
r C mwn�1
r C s C m.n � 1/1f1g.xn/ C s C m.n � 1 � wn�1/
r C s C m.n � 1/1f0g.xn/
�
für .x1; : : : ; xn/ 2 f0; 1g und wj WD PjiD1 xi . Mit Induktion folgt
P.V1 D x1; : : : ; Vn D xn/ DQwn�1
iD0 .r C mi/Qn�1�wn
iD0 .s C mi/Qn�1iD0.r C s C mi/
:
Die rechte Seite der obigen Gleichung hängt nur von wn und nicht von der Rei-henfolge der x1; : : : ; xn ab. Also ist V wegen 10.7(a) austauschbar. Für die AnzahlPn
iD1 Vi der bis zum Zeitpunkt n (also nach n Zügen) gezogenen roten Kugeln folgt
P� nX
iD1
Vi D k�
D
n
k
!Qk�1iD0 .r C mi/
Qn�k�1iD0 .s C mi/Qn�1
iD0.r C s C mi/
D
n
k
!Qk�1iD0 . r
mC i/
Qn�k�1iD0 . s
mC i/Qn�1
iD0. rCsm
C i/
für k 2 f0; : : : ; ng. Das ist die Zähldichte der Pólya-Verteilung mit Parameternr=m; s=m und n. Im Fall r D s D m erhält man die Laplace-Verteilung auff0; : : : ; ng.
Wir können das darstellende Maß � 2 M 1.B.Œ0; 1�// für P V aus 10.14 identifi-zieren. Wegen
Z
Œ0;1�
pnd�.p/ D P.V1 D 1; : : : ; Vn D 1/
DQn�1
iD0. rm
C i/Qn�1iD0. rCs
mC i/
D . rm
C n/ . sCrm
/
. rCsm
C n/ . rm
/
für n � 1 stimmen die n-ten Momente von � mit denen der Beta.a; b/-Verteilungmit Parametern a D r=m und b D s=m überein. (Die �-Dichte der Beta.a; b/-Verteilung für a; b > 0 ist
.a C b/
.a/ .b/ya�1.1 � y/b�11.0;1/.y/:/
Da eine Verteilung auf B.Œ0; 1�/ eindeutig durch die n-ten Momente, n 2 N be-stimmt ist, gilt � D Beta.r=m; s=m/. Speziell für r D s D m folgt � DBeta.1; 1/ D U.0; 1/.
10.3 U -Statistiken 351
Als direkte Konsequenz erhält man die Asymptotik des Anteils Xn der rotenKugeln zur Zeit n, die schon mit anderen Argumenten in 4.10(c) (für den Spezialfallr D s D m D 1) und Aufgabe 4.3 beschrieben wurde. Wegen 10.14 gilt � D P Z
mit Z D E.V1jAN.G/V / und nach 10.8 gilt
1
n
nXiD1
Vi ! Z f.s.;
also
Xn D r
r C s C mnC m
PniD1 Vi
r C s C mn! Z f.s.
für n ! 1 und P Z D Beta.r=m; s=m/.
10.3 U -Statistiken
Wir untersuchen hier die zentralen „Statistiken“ aus dem vorhergehenden Abschnittetwas ausführlicher. Dazu beschränken wir uns auf den ergodischen Fall, also aufunabhängige Folgen X D .Xn/n�1 identisch verteilter .X ;A/-wertiger Zufallsva-riablen. Die Gruppen G und Gn seien wie in Abschn. 10.2 definiert.
Für m 2 N, eine messbare Gm-invariante Funktion f W .Xm;Am/ ! .R;B.R//
und n � m sei
Un D Un.f / WD 1�nm
�X
1�i1<:::<im�n
f .Xi1 ; : : : ; Xim/:
Un heißt U -Statistik mit Kern f . Dabei sind die Summanden identisch verteilt(aber für m � 2 nicht unabhängig) und
�nm
�ist die Anzahl der Summanden. Für
Kerne mit f .X1; : : : ; Xm/ 2 L1 gilt also
EUn D Ef .X1; : : : ; Xm/ DW #
für alle n � m. U -Statistiken spielen wegen ihrer Optimalitätseigenschaften einewichtige Rolle in der statistischen Theorie erwartungstreuer Schätzer. (Das U imNamen steht für „unbiased“, was hier „erwartungstreu“ bedeutet.)
Wegen der Gm-Invarianz von f gilt
Un D .n � m/Š
nŠ
Xg2Hn;m
f .Xg.1/; : : : ; Xg.m//;
wobei Hn;m die Menge der injektiven Abbildungen von f1; : : : ; mg nach f1; : : : ; ngbezeichnet, und wie im Beweis von 10.10 folgt
Un D 1
nŠ
Xg2Gn
f .Xg.1/; : : : ; Xg.m//:
352 10 Invarianz, Austauschbarkeit und U -Statistiken
Falls f .X1; : : : ; Xm/ 2 L1, ist damit .U�n/n��m nach dem Beweis von 10.8 einMartingal bezüglich der Filtration .AN.G�n/X /n��m, und 10.8 und 10.11 lieferndas starke Gesetz der großen Zahlen für U -Statistiken:
Un ! # f.s. und in L1
für n ! 1.Für einen Kern f mit f .X1; : : : ; Xm/ 2 L1 seien noch
fk.x1; : : : ; xk/ WD Ef .x1; : : : ; xk ; XkC1; : : : ; Xm/
für 1 � k � m � 1, f0 WD # , fm WD f und
�2k WD Var fk.X1; : : : ; Xk/ .2 Œ0; 1�/
für 0 � k � m. Die Funktionen fk sind ..P X1 /k-fast sicher definiert und reell und)offenbar Gk-invariant.
Satz 10.16 (Varianzformel und CLT, Hoeffding) Ist f .X1; : : : ; Xm/ 2 L1, so giltEfk.X1; : : :, Xk/ D # für alle 0 � k � m und
0 D �20 � �2
1 � : : : � �2m � 1:
Falls f .X1; : : : ; Xm/ 2 L2, gelten
Var Un D 1�nm
�mX
kD1
m
k
! n � m
m � k
!�2
k
für n � m (�
nj
� WD 0, falls n < j ), n Var Un ! m2�21 und
pn.Un � #/ ! N.0; m2�2
1 / mischend
für n ! 1.
Im Fall �21 > 0 ist der obige zentrale Grenzwertsatz gleichbedeutend mit
Un � EUnpVar Un
! N.0; 1/ mischend:
Beweis Nach der Substitutionsregel A.19 gilt für 1 � k � m � 1
fk.X1; : : : ; Xk/ D E.f .X1; : : : ; Xm/jX1; : : : ; Xk/
und damit Efk.X1; : : : ; Xk/ D # . Wegen der Turmeigenschaft folgt für 1 � k <
r � m
fk.X1; : : : ; Xk/ D E.fr .X1; : : : ; Xr /jX1; : : : ; Xk/;
was mit der bedingten Jensen-Ungleichung �2k
� �2r impliziert.
10.3 U -Statistiken 353
Sei nun f .X1; : : : ; Xm/ 2 L2. Mit XK WD .Xi /i2K für K � f1; : : : ; ng; K 6D ;gilt
Var Un D 1�nm
�2X
jKjDjLjDm
Kov.f .XK/; f .XL//
für n � m. Ist K \ L D ;, so sind f .XK/ und f .XL/ unabhängig und man erhältKov.f .XK/; f .XL// D 0. Für 1 � k WD jK \ Lj � m gilt
Kov.f .XK/; f .XL// D Var fk.XK\L/ D �2k
und ferner
jf.K; L/ W K; L � f1; : : : ; ng; jKj D jLj D m;
jK \ Lj D kgj D
n
m
! m
k
! n � m
m � k
!;
denn ein Paar .K; L/ ensteht etwa indem man zuerst K auswählt, dann eine k-elementige Teilmenge von K und schließlich eine .m � k/-elementige Teilmengevon f1; : : : ; ng n K . Es folgt
Var Un D 1�nm
�2mX
kD1
XjKjDjLjDmjK\LjDk
�2k
D 1�nm
�mX
kD1
m
k
! n � m
m � k
!�2
k :
Wegen�
nm
�=nm ! 1=mŠ und
n � m
m � k
!=nm�k ! 1=.m � k/Š
für n ! 1 impliziert die Varianzformel n Var Un ! m2�21 .
Für
OUn WD m
n
nXj D1
.f1.Xj / � #/; n � 1
gilt schließlich nach dem klassischen stabilen zentralen Grenzwertsatz 5.33p
n OUn ! N.0; m2�21 / mischend:
Wegen E.f .XK/jXj / D f1.Xj / für j 2 K � f1; : : : ; ng; jKj D m undE.f .XK/jXj / D # für j 2 f1; : : : ; ng n K folgt für j 2 f1; : : : ; ng
E.Un � #jXj / D 1
nm
XjKjDmj 2K
.f1.Xj / � #/ D�
n�1m�1
��
nm
� .f1.Xj / � #/
D m
n.f1.Xj / � #/ D E. OUnjXj /
354 10 Invarianz, Austauschbarkeit und U -Statistiken
und damit
E.Un � # � OUn/ OUn D m
n
nXj D1
E.Un � # � OUn/.f1.Xj / � #/
D m
n
nXj D1
EE.Un � # � OUnjXj /.f1.Xj / � #/ D 0:
Wegen Var OUn D m2�21 =n erhält man
nE.Un � # � OUn/2 D n.Var Un � Var OUn/ ! 0;
und dies impliziert wegen 5.29p
n.Un � #/ D pn. OUn C Un � # � OUn/ ! N.0; m2�2
1 / mischend: utBeispiel 10.17 Sei .X ;A/ D .R;B.R//.
(a) Für m D 1 gilt Un D PniD1 f .Xi /=n.
(b) (Empirische Varianz) Für m D 2 und f .x1; x2/ WD 12.x1 �x2/2 gilt für n � 2
mit X WD PniD1 Xi=n und Yi WD Xi � X wegen
PniD1 Yi D 0
Un D 1�n2
�X
1�i<j �n
1
2.Xi � Xj /2 D 1�
n2
�X
1�i<j �n
1
2.Yi � Yj /2
D 1�n2
�nX
iD1
nXj D1
.Yi � Yj /2 D 2n�n2
�nX
iD1
Y 2i D 1
n � 1
nXiD1
.Xi � X/2:
Sei nun X1 2 L4 und �2 WD Var X1 > 0. Mit a WD EX1 und �4 WD E.X1 � a/4
gelten
# D Ef .X1; X2/ D �2; Un ! �2 f.s.;
f1.x1/ D 1
2E.x1 � X2/2 D 1
2.x1 � a/2 C �2
2;
�21 D Var f1.X1/ D 1
4.�4 � �4/ und
�22 D Var f .X1; X2/ D 1
2.�4 C �4/ > 0:
Aus 10.16 folgt
Var Un D 1
n.n � 1/.2.n � 2/�2
1 C �22 / D �4
n� .n � 3/�4
n.n � 1/
undp
n.Un � �2/ ! N.0; �4 � �4/ mischend:
Im Fall �21 D 0 ist der zentrale Grenzwertsatz 10.16 bedeutungslos. Kerne mit
�21 D 0 sind im folgenden Sinne mindestens einfach ausgeartet.
10.3 U -Statistiken 355
Definition 10.18 Sei f .X1; : : : ; Xm/ 2 L1. Der Kern f heißt k-fach ausgeartetfür 0 � k � m � 1, falls �2
kD 0 < �2
kC1. f heißt nicht ausgeartet, falls f 0-fach
ausgeartet ist.
Nicht ausgeartete Kerne sind solche mit �21 > 0. Nach 10.16 ist ein k-fach aus-
gearteter Kern auch r-fach ausgeartet für r < k.Wir klären zunächst den Zusammenhang mit der Martingalstruktur von .Un/n�m.
(Da .Un/n�m nach Umparametrisierung der Zeit stets ein Martingal ist, geht es jetztum die Martingaleigenschaft ohne diese Umparametrisierung.) Sei F WD F
X .
Satz 10.19 (Doob-Zerlegung) Sei f .X1; : : : ; Xm/ 2 L1. Für den F-KompensatorA der denormalisierten U -Statistiken .
�nm
�Un/n�m gilt
An DnX
j DmC1
j � 1
m � 1
!Uj �1.fm�1/:
Insbesondere ist .�
nm
�Un/n�m ein F-Martingal, falls f .m � 1/-fach ausgeartet und
# D 0 ist.
Für m D 1 gilt An D .n � 1/# . Dies ist nach 1.20(a) bekannt.
Beweis Durch Yn WD �nm
�Un für n � m wird ein F-adaptierterL1-Prozess definiert.
Für n > m gilt
Yn D Yn�1 CX
1�i1<:::<im�1�n�1
f .Xi1 ; : : : ; Xim�1; Xn/
und damit wegen der Substitutionsregel A.19
E.�YnjFn�1/ DX
1�i1<:::<im�1�n�1
E.f .Xi1 ; : : : ; Xim�1; Xn/jFn�1/
DX
1�i1<:::<im�1�n�1
fm�1.Xi1 ; : : : ; Xim�1/
D
n � 1
m � 1
!Un�1.fm�1/:
Dies liefert die behauptete Darstellung des F-Kompensators von Y (1.13). Ist# D 0 und f .m � 1/-fach ausgeartet, so gilt fm�1.X1; : : : ; Xm�1/ D 0 f.s.,also auch fm�1.Xi1 ; : : : ; Xim�1
/ D 0 f.s. für paarweise verschiedene ij . Es folgtUn.fm�1/ D 0 f.s. für alle n � m, was A D 0 f.s. impliziert. ut
Wir konzentrieren uns jetzt auf den Martingalfall. Ist f .X1; : : : ; Xm/ 2 L2
und f .m � 1/-fach ausgeartet, so gilt nach 10.16 nm Var Un ! mŠ�2m wegen
nm=�
nm
� ! mŠ, insbesondere also nm2
�".Un � #/L2
! 0 für n ! 1 und " > 0.Wir zeigen, dass sogar fast sichere Konvergenz gilt.
356 10 Invarianz, Austauschbarkeit und U -Statistiken
Satz 10.20 (Konvergenzgeschwindigkeit im SLLN) Ist f .X1; : : : ; Xm/ 2 L2 undf .m � 1/-fach ausgeartet, so gilt
nm2
�".Un � #/ ! 0 f.s.
für n ! 1 und jedes " > 0.
Beweis Nach 10.19 wird wegen Un � # D Un.f � #/ durch Mn WD �nm
�.Un � #/
für n � m ein L2-Martingal definiert. Für die Zuwächse des Submartingales M 2
gilt mit der Varianzformel 10.16 wegen �21 D : : : D �2
m�1 D 0 < �2m < 1
E.�Mn/2 D E�M 2n D
n
m
!2
Var Un �
n � 1
m
!2
Var Un�1
D �2m
n
m
!�
n � 1
m
!!D m�2
m
�nm
�
n
für n � m C 1. Mit an WD nm=2C" folgt
1XnDmC1
E.�M 2n /
a2n
D m�2m
1XnDmC1
�nm
�
nmn1C2"< 1:
Das starke Gesetz der großen Zahlen 5.4(a) (oder 5.6(a)) liefert nun
Mn
an
! 0 f.s.
und man erhält
nm2 �".Un � #/ D nm
�nm
�Mn
an
! 0 f.s. ut
In der Situation von 10.20 gilt für das durch Mn WD �nm
�.Un � #/ definierte
Martingal M neben
Mn
nm=2C"! 0 f.s.
auch
hM in
nmC"! 0 f.s. und
ŒM �n
nmC"! 0 f.s.
für n ! 1 und alle " > 0. Dies folgt aus dem Kronecker-Lemma 5.1, denn we-gen der im Beweis gezeigten Konvergenz von
P1nDmC1 E.�Mn/2=nmC" geltenP1
nDmC1 E..�Mn/2jFn�1/= nmC" < 1 f.s. undP1
nDmC1.�Mn/2=nmC" < 1 f.s.Die zentralen Grenzwertsätze aus Kap. 5 sind im Martingalfall für m � 2 nicht
anwendbar: Un ist nicht asymptotisch normal (oder gemischt normal). Wie beschrei-ben für den Fall m D 2 die Klasse der möglichen Limesverteilungen.
10.3 U -Statistiken 357
Satz 10.21 (Limesverteilungen) Seien m D 2; f .X1; X2/ 2 L2 und f einfachausgeartet. Dann gilt
n.Un � #/ !Xj 2J
�j .Z2j � 1/ mischend
für n ! 1, wobei J D f1; : : : ; Kg mit K 2 N oder J D N; .Zj /j 2J eine un-abhängige Folge N.0; 1/-verteilter Zufallsvariablen ist und .�j /j 2J die von Nullverschiedenen Eigenwerte des Integraloperators
S W L2.P X1 / ! L2.P X1 /;
Sh WDZ
h.x1/.f .x1; � / � #/dP X1 .x1/ D Eh.X1/.f .X1; � / � #/
sind.
Die obige mischende Konvergenz ist als
n.Un � #/ ! � mischend
für die Verteilung � vonP
j 2J �j .Z2j � 1/ zu lesen. Erläuterungen zur Konvergenz
dieser Reihe und zu dem Operator S findet man im Beweis.
Beweis Wir können ohne Einschränkung # D 0 annehmen.1. Wir beginnen mit Bemerkungen zu dem Operator S und bezeichnen dazu mit
k � k und h � ; � i die Norm und das Skalarprodukt sowohl in L2.P X1 / als auch inL2.P X1 ˝ P X1 /. Wegen
Zkf . � ; x2/k2dP X1 .x2/ D kf k2 < 1
gilt f . � ; x2/ 2 L2.P X1 / für P X1 -fast alle x2 2 X und somit ist Sh für h 2L2.P X1 / P X1 -fast sicher definiert und reell. Die Cauchy-Schwarz-Ungleichungliefert für h 2 L2.P X1 /
kShk2 �Z �Z
jh.x1/ C f .x1; x2/jdP X1 .x1/
2
dP X1 .x2/
�“
h2dP X1
Zf .x1; x2/2dP X1 .x1/dP X1 .x2/
D khk2kf k2 < 1;
also Sh 2 L2.P X1 /. Damit ist S ein linearer stetiger Operator mit kSk � kf k.Operatoren von diesem Typ mit Kernen f 2 L2.P X1 ˝ P X1 / heißen Hilbert-Schmidt Operatoren. Wegen der G2-Invarianz von f ist S symmetrisch, das heißt
hSh; ki D hh; Ski
358 10 Invarianz, Austauschbarkeit und U -Statistiken
für h; k 2 L2.P X1 /. Für solche Operatoren S existiert eine abzählbare Orthonor-malbasis .hj /j 2J von .Ker S/? aus Eigenvektoren von S , also
Shj D �j hj ; j 2 J
mit zugehörigen reellen Eigenwerten .�j /j 2J ([37], Satz 16.2). Wegen 0 < �22 D
Var f .X1; X2/ D kf k2 gilt dim.Ker S/? � 1 und daher J 6D ; , denn S D 0
impliziert
0 D h1A1; S1A2
i DZ
A1�A2
fdP X1 ˝ P X1
für alle A1; A2 2 A und damit f D 0. Aus hj 2 .Ker S/? folgt �j 6D 0 für allej 2 J . Ohne Einschränkung sei J D f1; : : : ; Kg mit K 2 N oder J D N.
Weil f einfach ausgeartet und # D 0 ist, gilt S1 D f1 D 0, also 1 2 Ker S . Esfolgt für alle j 2 J
Ehj .X1/ D hhj ; 1i D 0; Var hj .X1/ D Ehj .X1/2 D khj k2 D 1
und
Kov.hj .X1/; hk.X1// D Ehj .X1/hk.X1/ D hhj ; hki D 0 für j 6D k:
Wegen S.L2.P X1 // � .Ker S/? gilt die Spektraldarstellung
Sh DXj 2J
hSh; hj ihj DXj 2J
hh; Shj ihj DXj 2J
�j hh; hj ihj in L2.P X1 /
für alle h 2 L2.P X1 /, und hj D S.hj =�j / 2 S.L2.P X1 // für alle j 2 J impliziert
S.L2.P X1 // D .Ker S/?:
Da .hj ˝ hj /j 2J mit hj ˝ hj .x1; x2/ WD hj .x1/hj .x2/ eine orthonormale Folge inL2.P X1 ˝ P X1 / ist, gilt ferner mit der Bessel-Ungleichung
Xj 2J
�2j D
Xj 2J
hShj ; hj i2 DXj 2J
hf; hj ˝ hj i2 � kf k2 < 1:
Die Konvergenz der ReiheP
j 2J �2j impliziert die L2.P X1 ˝ P X1 /-Konvergenz
der ReiheP
j 2J �j hj ˝ hj , und man erhält die Fourier-Entwicklung
f DXj 2J
�j hj ˝ hj
von f , denn für alle Ai 2 A giltZ
A1�A2
Xj 2J
�j hj ˝ hj dP X1 ˝ P X1 DXj 2J
�j hhj ; 1A1ihhj ; 1A2
i
D hS1A1; 1A2
i DZ
A1�A2
fdP X1 ˝ P X1 :
10.3 U -Statistiken 359
Insbesondere gilt damit
kf k2 DXj 2J
�2j :
2. Für f N WD PNkD1 �khk ˝ hk mit N 2 J gilt
nUn.f N / !NX
kD1
�k.Z2k � 1/ mischend
für n ! 1. Dies folgt aus der Darstellung
Un.f N / D .n � 2/Š
nŠ
X1�i 6Dj �n
f N .Xi ; Xj /
D 1
n.n � 1/
h nXi;j D1
f N .Xi ; Xj / �nX
iD1
f N .Xi ; Xi /i
D 1
n.n � 1/
NXkD1
�k
h� nXiD1
hk.Xi /�2 �
nXiD1
hk.Xi /2i;
also
.n � 1/Un.f N / DNX
kD1
�k
�1pn
nXiD1
hk.Xi /
2
�NX
kD1
�k
�1
n
nXiD1
hk.Xi /2
für n � 2. Wegen 1. ist der Zufallsvektor .h1.X1/; : : : ; hN .X1// zentriert und seineKovarianzmatrix ist die Einheitsmatrix. Daher folgt aus dem klassischen stabilen(univariaten) zentralen Grenzwertsatz 5.33 mit der Cramér-Wold-Technik gemäßder Bemerkung nach 5.27
1pn
nXiD1
.h1.Xi /; : : : ; hN .Xi // ! .Z1; : : : ; ZN / mischend;
und wegen der Stetigkeit der Funktion RN ! R, y 7! PN
kD1 �ky2k
und 5.29(b)erhält man
NXkD1
�k
�1pn
nXiD1
hk.Zi /
2
!NX
kD1
�kZ2k mischend
für n ! 1. Das starke Gesetz der großen Zahlen von Kolmogorov liefert
NXkD1
�k
�1
n
nXiD1
hk.Xi /2
!
NXkD1
�k f.s.
wegen Ehk.X1/2 D 1, was die Behauptung 2. wegen 5.29 impliziert.
360 10 Invarianz, Austauschbarkeit und U -Statistiken
3. Sei nun J D N. Für
WN WDNX
kD1
�k.Z2k � 1/; N 2 N
gilt mit 1.
EW 2N D
NXkD1
�2kE.Z2
k � 1/2 D 2
NXkD1
�2k � 2
1XkD1
�2k < 1:
Damit ist .WN /N �1 nach 1.7(a) ein L2-beschränktesFZ-Martingal und aus 4.1 folgt
WN ! W WD1X
kD1
�k.Z2k � 1/ f.s.
für N ! 1. Insbesondere gilt die schwache Konvergenz �N ! � für �N WD P WN
und � WD P W . Wegen
f N1 .x1/ D Ef N .x1; X2/ D
NXkD1
�khk.x1/Ehk.X2/ D 0
ist auch f N und damit der Kern f � f N einfach ausgeartet. Die Varianzformel10.16 und 1. liefern daher wegen E.f � f N /.X1; X2/ D 0
n2EjUn � Un.f N /j2 D n2EUn.f � f N /2 D n2 Var Un.f � f N /
D n2
�n2
� Var.f .X1; X2/ � f N .X1; X2//
D 2n
n � 1kf � f N k2 � 4
1XkDN C1
�2k
für alle n � 2 und N � 1, also mit 1.
limN !1 lim sup
n!1n2EjUn � Un.f N /j2 D 0:
Die Behauptung des Satzes folgt nun wegen 2. und der Markov-Ungleichung aus5.30. ut
Für das Martingal Mn D �n2
�.Un � #/; n � m bedeutet Satz 10.21
Mn
n! 1
2
Xj 2J
�j .Z2j � 1/ mischend:
Das erste der folgenden Beispiele zeigt, dass man im zentralen Grenzwertsatz5.31 die stochastische Konvergenz in 5.31(i) im Allgemeinen nicht durch die Ver-teilungskonvergenz ersetzen kann.
10.3 U -Statistiken 361
Beispiel 10.22 Sei .X ;A/ D .R;B.R//.(a) Seien m D 2, f .x1; x2/ WD x1x2; X1 2 L2 und �2 WD Var X1 > 0. Dann gilt
# D .EX1/2 und für n � 2
Un D 1�n2
�nX
j D2
Xj
j �1XiD1
Xi ;
f1.x1/ D x1EX1; �21 D #�2 und �2
2 D .�2 C #/2 � #2 > 0:
Der zentrale Grenzwertsatz 10.16 liefertp
n.Un � #/ ! N.0; 4#�2/ mischend:
Einfache Ausartung liegt unter # D 0, also im zentrierten Fall EX1 D 0 vor. Indiesem Fall hat der Kern f � # D f die Darstellung f .x1; x2/ D �2h1.x1/h1.x2/
mit der L2.P X1 /-normierten Funktion h1.x/ WD x=� . Daher gilt für den Opera-tor S
Sh D �2h1
Zhh1dP X1 :
Es folgt dim.Ker S/? D dim S.L2.P X1 // D 1 und �2 ist der einzige von Nullverschiedene Eigenwert von S mit zugehörigem Eigenvektor h1. Aus 10.21 folgt
nUn ! �2.Z2 � 1/ mischend
und für das Martingal Mn D �n2
�Un
Mn
n! 1
2�2.Z2 � 1/ mischend
mit P Z D N.0; 1/. (Für einen einfachen direkten Beweis vergleiche man Teil 2 desBeweises von 10.21.)
Mit Nn WD PniD1 Xi für n � 0;F0 WD f;; ˝g und M0 D M1 WD 0 gilt M D
N� N auf N0. Für die quadratische Charakteristik von M folgt nach 1.19
hM in D .N 2� hN i/n D �2
nXj D2
�j �1XiD1
Xi
�2
und damit
hM in
n2
d! �4Y
für eine positive reelle Zufallsvariable Y ([17], Satz 10.1.16).Für den Leser mit Kenntnissen in der Theorie zeitstetiger Prozesse: Es gilt
Y D R 1
0W 2
t dt für eine Brownsche Bewegung .Wt /t2Œ0;1�. Dies ist plausibel, weil
.Z2 � 1/=2dD .W 2
1 � 1/=2 D .W W /1 und Y D hW W i1.
362 10 Invarianz, Austauschbarkeit und U -Statistiken
Wir zeigen, dass M unter der Voraussetzung X1 2 Lp für ein p > 2 die bedingteLyapunov-Bedingung und damit wegen 5.32(a) die bedingte Lindeberg-Bedingung(mit Rate an D n) erfüllt. Es gilt
1
np
nXj D1
E.j�Mj jpjFj �1/ D 1
np
nXj D1
E�ˇ̌ˇXj
j �1XiD1
Xi
ˇ̌ˇp ˇ̌ˇFj �1
�
D 1
np
nXj D1
ˇ̌ˇj �1XiD1
Xi
ˇ̌ˇp
EjX1jp:
Für b WD .p � 1/=p gilt wegen b > 1=2 nach 5.5
jPn�1iD1 Xi jpnpb
! 0 f.s.;
und die diskrete Regel von de l’Hospital 5.37(b) liefert wegenPn
j D1 j pb npbC1=.pb C 1/ und pb C 1 D p
Pnj D1 jPj �1
iD1 Xi jpnp
! 0 f.s.
für n ! 1.Demnach kann man im zentralen Grenzwertsatz 5.31 die stochastische Konver-
genz der skalierten quadratischen Charakteristik nicht durch die Verteilungskonver-genz ersetzen, denn die Verteilung der obigen Limesvariable ist nicht symmetrisch(bezüglich 0) und daher keine Mischung von zentrierten Normalverteilungen.
(b) (Empirische Varianz) In der Situation von Beispiel 10.17(b) sei f einfachausgeartet, also �2
1 D .�4 � �4/=4 D 0 oder Var.X1 � a/2 D 0. Dies ist äquivalentzu .X1 � a/2 D �2 f.s., was P.X1 2 fa C �; a � �g/ D 1 bedeutet. Wegena D EX1 gilt P.X1 D a C �/ D P.X1 D a � �/ D 1=2. Dies ist eine sehrausgeartete Situation. Für den Kern f � �2 erhält man die Darstellung
f .x1; x2/ � �2 D 1
2.x1 � x2/2 � �2 D ��2h1.x1/h1.x2/ P X1 ˝ P X1 -f.s.
mit der L2.P X1 /-normierten Funktion h1.x/ WD .x � a/=� , und wie in (a) folgt
n.Un � �2/ ! ��2.Z2 � 1/ mischend
mit P Z D N.0; 1/.(c) (Cramér-von Mises Statistik) Sei F die Verteilungsfunktion von P X1 . Wir
untersuchen den Cramér-von Mises Abstand zwischen der durch
Fn.x/ WD 1
n
nXiD1
1.�1;x�.Xi /
10.3 U -Statistiken 363
für x 2 R definierten empirischen Verteilungsfunktion und F , nämlich
Vn WDZ
jFn � F j2dP X1 :
Wenn F stetig ist kann man wegen P F .X1/ D U.0; 1/ den allgemeinen Fall aufden Fall U.0; 1/-verteilter Zufallsvariablen reduzieren. Wir nehmen im FolgendenP X1 D U.0; 1/ an. Dann gilt für n � 2
Vn D1Z
0
jFn.x/ � xj2dx D 1
n2
nXiD1
nXj D1
1Z
0
.1Œ0;x�.Xi / � x/.1Œ0;x�.Xj / � x/dx
D 1
n2
nXiD1
nXj D1
f .Xi ; Xj / D 2�
n2
�
n2Un.f / C 1
n2
nXiD1
f .Xi ; Xi /
mit
f .x1; x2/ WD1Z
0
.1Œ0;x�.x1/ � x/.1Œ0;x�.x2/ � x/dx D 1
2.x2
1 C x22/ � x1 _ x2 C 1
3
für xi 2 Œ0; 1�. Wegen E1Œ0;x�.X2/ D x für x 2 Œ0; 1� erhält man
f1.X1/ D Ef .x1; X2/ D1Z
0
.1Œ0;x�.x1/ � x/.E1Œ0;x�.X2/ � x/dx D 0:
Damit ist f einfach ausgeartet und # D 0. Für die von Null verschiedenen Eigen-werte des Integraloperators auf L2.P X1 / mit Kern f gilt
�j D j �2��2; j 2 N
([56], Beispiel 5.136). Ferner gilt Ef .X1; X1/ D 1=6. Aus 10.21 und dem starkenGesetz der großen Zahlen von Kolmogorov folgt die mischende Konvergenz
nVn D .n � 1/Un.f / C 1
n
nXiD1
f .Xi ; Xi /
!1X
j D1
j �2��2.Z2j � 1/ C 1
6D
1Xj D1
j �2��2Z2j
wegenP1
j D1 j �2 D �2=6. (Die Limesvariable ist übrigens verteilungsgleich mitR 1
0 B2t dt für eine Brownsche Brücke .Bt /t2Œ0;1�.)
Es ist nicht untypisch, dass für Parameter im Martingalfall Singularitäten auftre-ten und Limesverteilungen von Schätzern sich ziemlich drastisch von der Normal-verteilung (oder Varianzmischungen von Normalverteilungen wie in 5.38(b) und9.10) unterscheiden [125].
364 10 Invarianz, Austauschbarkeit und U -Statistiken
Aufgaben
10.1 Zeigen Sie, dass Q 2 M 1.A; G/ genau dann G-ergodisch ist, wenn es keinQ1 2 M 1.A; G/ mit Q1 6D Q und Q1 � Q gibt.
10.2 Seien X D f0; 1gN0 und A die Potenzmenge von X . Zeigen Sie
ex M 1.A/ D fıx W x 2 X g:Dieses Resultat ist bemerkenswert, weil A nicht abzählbar erzeugt ist (denn sonstwäre jAj � jRj, während jAj D 2jRj > jRj wegen jX j D jRj/ .
10.3 Seien Q1 2 M 1.A/ und Q2 2 M 1.A; G/ mit Q1 � Q2. Zeigen Sie, dassQ1 2 M 1.A; G/ genau dann gilt, wenn
dQ1
dQ2
ı g D dQ1
dQ2
Q2-f.s.
für alle g 2 G.
10.4 (Invarianz und Minimalsuffizienz) Zeigen Sie, dass A.G/ minimalsuffizientfür Q WD M 1.A; G/ ist, sobald A.G/ suffizient für Q ist. Dabei heißt eine suffizi-ente Unter-�-Algebra B0 � A minimalsuffizient für Q, falls B0 � B1 Q-f.s. fürjede andere suffiziente Unter-�-Algebra B1 � A gilt. Die Relation B0 � B1 Q-f.s.bedeutet, dass es für alle A0 2 B0 ein A1 2 B1 gibt mit Q.A0�A1/ D 0 für alleQ 2 Q. (Die Minimalsuffizienz von B0 ist äquivalent zur Minimalität von B0, alsoaus B1 � B0 Q-f.s. für eine suffiziente Unter-�-Algebra B1 � A folgt B1 D B0
Q-f.s. [70]).Hinweis: QjA.G/ ist vollständig, das heißt aus
ZfdQ D 0 für f 2
\Q2Q
L1.A.G/; Q/
und alle Q 2 Q folgt f D 0 Q-f.s. für alle Q 2 Q. Dies impliziert die Minimal-suffizienz von A.G/.
10.5 (Endliche Gruppen) Seien G eine endliche Gruppe und A abzählbar erzeugt.Zeigen Sie, dass A.G/ abzählbar erzeugt ist und
ex M 1.A; G/ D
1
jGjXg2G
ıgx W x 2 X�:
Hinweis: Für den durch K.x; � / WD 1jGjP
g2G ıgx auf .X ;A/ definiertenMarkov-Kern gilt �.K/ D A.G/. Daher ist A.G/ abzählbar erzeugt und die G-ergodischen Maße sind Dirac-Maße auf A.G/ nach Satz 10.3 und der Bemerkungnach Satz 10.2. Die Behauptung folgt aus Satz 10.5.
In den restlichen Aufgaben sei G wie in Abschn. 10.2 die Gruppe der endlichenPermutationen von N und Gn D fg 2 G W g.j / D j für alle j > ng.
Aufgaben 365
10.6 Seien X D .Xn/n�1 ein austauschbarer .X ;A/-wertiger Prozess, Y eine vonX unabhängige .Y;B/-wertige Zufallsvariable und f W .X �Y;A ˝B/ ! .Z; C/.Zeigen Sie, dass der Prozess .f .Xn; Y //n�1 austauschbar ist.
10.7 (Positive Korrelation) Sei X D .Xn/n�1 ein austauschbarer reeller Prozessmit X1 2 L2. Zeigen Sie, dass Kov.Xj ; Xk/ D Kov.X1; X2/ für j; k 2 N; j 6D k
und
Kov.X1; X2/ � 0:
10.8 Seien X D .Xn/n�1 ein austauschbarer reeller Prozess mit X1 2 L1 undUn WD Pn
iD1 Xi=n. Zeigen Sie
EjUnj � EjUn�1j für n � 2;
P.supn�1
jUnj � a/ � 1
aEjX1j für a > 0
und
E supn�1
jUnjp � p
p � 1EjX1jp für 1 < p < 1:
Hinweis: Satz 3.3.
10.9 Seien X eine .X ;A/-wertige Zufallsvariable, f W .X ;A/ ! .R;B.R// mess-bar mit f .X/ 2 L1 und B � A eine Unter-�-Algebra. Zeigen Sie
EP .f .X/jX�1.B// D EP X .f jB/ ı X P -f.s.
Danach gilt speziell für jeden .X ;A/-wertigen Prozess X D .Xn/n�1 und f W.XN;AN/ ! .R;B.R// mit f .X/ 2 L1
EP .f .X/jAN.G/X / D EP X .f jAN.G// ı X P -f.s.
10.10 Seien .X ;A/ ein messbarer Raum und
T� D\n�1
�.�j ; j � n/
die �-terminale �-Algebra (über XN/ für den Prozess der Projektionen � D.�n/n�1. Zeigen Sie
TX D X�1.T� /
für jeden .X ;A/-wertigen Prozess X D .Xn/n�1.
10.11 (Terminale �-Algebren und Produktmaße) Seien .X ;A/ ein messbarer Raum,T� die �-terminale �-Algebra (Aufgabe 10.10) und Q 2 M 1.A/. Zeigen Sie, dassQNjT� kein Dirac-Maß ist, falls A die einelementigen Teilmengen von X enthältund Q kein Dirac-Maß ist.
Wegen T� � AN.G/ (Satz 10.9) verschärft dies die Bemerkung nach Satz 10.11,wonach QNjAN.G/ kein Dirac-Maß ist.
Hinweis: Für x 2 XN untersuche man das Ereignis lim infn!1f�n D xng.
366 10 Invarianz, Austauschbarkeit und U -Statistiken
10.12 (Austauschbarkeit und Terminalität) Seien X D .Xn/n�1 ein .Rd ;B.Rd //-wertiger Prozess und Yn WD Pn
iD1 Xi für n � 1. Zeigen sie TX � TY � AN.G/Xmit A WD B.Rd / und falls X austauschbar ist, TX D TY D AN.G/X f.s.
10.13 Sei H0 die von h W N ! N, h.n/ D n C 1 erzeugte Halbgruppe. Zeigen Sie
AN.H0/ � T� � AN.G/
und mit Suffizienzeigenschaften
AN.H0/ D AN.G/ Q-f.s.
für Q WD M 1.AN; G/ (siehe Aufgabe 10.4).Hinweis: Wegen der Bemerkung nach Satz 10.8 und Aufgabe 10.4 ist AN.G/
minimalsuffizient für Q. Für AN.H0/ gilt
AN.H0/ D fA 2 AN W h�1.A/ D Ag;
und für A 2 AN und
fA WD lim supn!1
1
n C 1
nXj D0
1A ı hj
gilt nach dem Ergodensatz von Birkhoff ([53], Satz 6.12)
fA D EQ.1AjAN.H0// Q-f.s.
für alle Q 2 M 1.AN; H0/. Also ist AN.H0/ suffizient für M 1.AN; H0/ und damitwegen Lemma 10.7(c) für Q.
10.14 (Austauschbarkeit, Stationarität und Ergodizität) Zeigen Sie für die ergodi-schen stationären Verteilungen auf AN
ex M 1.AN; H0/ \ M 1.AN; G/ D ex M 1.AN; G/:
Hinweis: Satz 10.3, Lemma 10.7(c) und Aufgabe 10.13.
10.15 Seien X ein polnischer Raum, A die Borelsche �-Algebra über X undX D .Xn/n�1 ein austauschbarer .X ;A/-wertiger Prozess. Zeigen Sie, dass diepaarweise symmetrische Unabhängigkeit von X , das heißt
P .X1;X2/.A � A/ D P X1 .A/P X2 .A/
für alle A 2 A, schon die Unabhängigkeit der Folge X impliziert.Hinweis: Für K WD P X1jAN.G/X erhält man wegen Satz 10.10 VarK. � ; A/ D 0,
also K. � ; A/ D P X1 .A/ f.s. für alle A 2 A. Aus A.16(b) folgt K D P X1 f.s. unddamit P X D .P X1 /N nach Satz 10.13.
Aufgaben 367
10.16 (Pólyas Urnenmodell) Zeigen Sie in der Situation von Beispiel 1.7(e) für denAnteil Xn der roten Kugeln in der Urne zur Zeit n
P
�Xn D r C km
r C s C mn
D
1Z
0
B.n; p/.fkg/d�.p/
für k 2 f0; : : : ; ng mit � D Beta.r=m; s=m/.Hinweis: Beispiel 10.15.
10.17 (U -Statistiken) Seinen X D .Xn/n�1 eine unabhängige Folge identischverteilter .X ;A/-wertiger Zufallsvariablen und f W .Xm;Am/ ! .R;B.R// ein.m � 1/-fach ausgearteter Gm-invarianter Kern mit f .X1; : : : ; Xm/ 2 L2. ZeigenSie für die U -Statistik mit Kern f
nm=2
.log n/s.Un � #/ ! 0 f.s.
für n ! 1 und s > 1=2. Dies ist eine Verbesserung von Satz 10.20.
10.18 Seien X D .Xn/n�1 eine unabhängige Folge identisch verteilter reeller Zu-fallsvariablen mit X1 2 L3, EX1 D 0 und �2 WD Var X1 > 0, m D 3 undf .x1; x2; x3/ WD Q3
iD1 xi . Zeigen Sie für die U -Statistik mit dem 2-fach ausge-arteten Kern f
n3=2Un ! �3.Z3 � 3Z/ mischend
mit P Z D N.0; 1/.Hinweis: Für n � 3 gilt
n3=2Un D n3
n.n � 1/.n � 2/
�1pn
nXj D1
Xj
3
��
3
n
nXj D1
X2j
�1pn
nXj D1
Xj
C 2
n3=2
nXj D1
X3j
�: