Kapitel 10Invarianz, Austauschbarkeit und U -Statistiken

In diesem Kapitel untersuchen wir austauschbare Prozesse und U -Statistiken, wo-bei Martingale eine wichtige Rolle spielen. Die austauschbaren Prozesse bilden eineKlasse von Prozessen, deren Verteilung unter endlichen Vertauschungen und damitunter einer speziellen Gruppenoperation invariant ist. Wir behandeln daher im erstenAbschnitt einige abstrakte Resultate über invariante und ergodische Verteilungen.U -Statistiken spielen eine zentrale Rolle in der statistischen Theorie erwartungs-treuer Schätzer. Es werden Resultate aus den Kap. 1, 4 und 5 benutzt.

Seien .˝;F ; P / ein Wahrscheinlichkeitsraum, .X ;A/ ein messbarer Raum undM 1.A/ die Menge der Wahrscheinlichkeitsmaße auf A.

10.1 Invarianz und Ergodizität

Sei G eine Halbgruppe, also eine nicht-leere Menge mit einer assoziativen Opera-tion G � G ! G; .g; h/ 7! gh, die von links oder rechts auf X operiert, dasheißt, es gibt eine Abbildung G � X ! X ; .g; x/ 7! gx mit .gh/x D g.hx/

beziehungsweise .gh/x D h.gx/ für alle g; h 2 G; x 2 X und ex D x für allex 2 X , falls G ein Einselement e besitzt. Ferner seien die induzierten AbbildungenX ! X ; x 7! gx für alle g 2 G bezüglich .A;A/ messbar. Wir werden häufigg 2 G mit der induzierten Abbildung x 7! gx identifizieren.

Die � -Algebra der G -invarianten messbaren Mengen

A.G/ WD fA 2 A W g�1.A/ D A für alle g 2 Gg;wobei g�1.A/ WD fx 2 X W gx 2 Ag, spielt eine wichtige Rolle. Eine Abbildungf W X ! Y heißt G-invariant, falls f ı g D f für alle g 2 G. Für A 2 A gilt alsogenau dann A 2 A.G/, wenn 1A G-invariant ist. Für ein Maß � auf A sei noch

A.G; �/ WD fA 2 A W �.A�g�1.A// D 0 für alle g 2 Ggdie � -Algebra der �-fast G -invarianten messbaren Mengen. Wegen

Ac�g�1.Ac/ D Ac�.g�1.A//c D A�g�1.A/

H. Luschgy, Martingale in diskreter Zeit, Springer-Lehrbuch Masterclass, 331DOI 10.1007/978-3-642-29961-2_10, © Springer-Verlag Berlin Heidelberg 2013

332 10 Invarianz, Austauschbarkeit und U -Statistiken

und

� 1[nD1

An

��g�1

� 1[nD1

An

�D� 1[

nD1

An

��� 1[

nD1

g�1.An/�

�1[

nD1

.An�g�1.An//

ist dabei A.G; �/ in der Tat eine �-Algebra.

Lemma 10.1

(a) Sei f W .X ;A/ ! .Y;B/ messbar. Ist f G-invariant, so ist f .A.G/;B/-messbar. Ist umgekehrt f .A.G/;B/-messbar und gilt fff .x/g W x 2 X g � B,so ist f G-invariant.

(b) Seien f W .X ;A/ ! .R;B.R// messbar und � ein Maß auf A. Dann ist f

genau dann A.G; �/-messbar, wenn f ı g D f �-f.s. für alle g 2 G gilt.

Beweis (a) Ist f G-invariant, so ist f .A.G/;B/-messbar wegen g�1.f �1.B// D.f ı g/�1.B/ D f �1.B/ für g 2 G; B 2 B. Falls f .A.G/;B/-messbar ist, so gilt

x 2 f �1.ff .x/g/ D g�1.f �1.ff .x/g// D .f ı g/�1.ff .x/g/;also f .gx/ D f .x/ für x 2 X ; g 2 G.

(b) Gilt �.f ı g 6D f / D 0 für alle g 2 G, so ist f A.G; �/-messbar wegen

f �1.B/�g�1.f �1.B// � ff ı g 6D f g

für B 2 B.R/. Ist f A.G; �/-messbar, so folgt �.f ı g 6D f / D 0 aus

ff ı g 6D f g D[r2Q

.ff � rg�g�1.ff � rg//

für g 2 G. utEin Maß � auf A heißt G-invariant, falls

�g .A/ D �.g�1.A// D �.A/

für alle g 2 G; A 2 A. Mit

M 1.A; G/

wird die Menge der G -invarianten Wahrscheinlichkeitsmaße auf A bezeichnet.M 1.A; G/ ist eine konvexe Teilmenge des Vektorraums der beschränkten signiertenMaße auf A (oder des Vektorraums RA). Eine Verteilung Q 2 M 1.A; G/ heißt Ex-tremalpunkt von M 1.A; G/, falls aus der Darstellung Q D �Q1 C .1 � �/Q2 mitQ1; Q2 2 M 1.A; G/; � 2 .0; 1/ folgt Q1 D Q2. Die Menge der Extremalpunktevon M 1.A; G/ wird mit exM 1.A; G/ bezeichnet. Eine Verteilung Q 2 M 1.A; G/

heißt G-ergodisch, falls Q.A.G; Q// D f0; 1g. Wir zeigen, dass die G-ergodischenVerteilungen genau die Extremalpunkte von M 1.A; G/ sind.

10.1 Invarianz und Ergodizität 333

Satz 10.2 Es gilt

ex M 1.A; G/ D fQ 2 M 1.A; G/ W Q.A.G; Q// D f0; 1gg:Für Extremalpunkte Q1; Q2 von M 1.A; G/ gilt ferner Q1 D Q2 oder Q1?Q2.

Beweis 1. Wir zeigen zunächst, dass für Q1; Q2 2 M 1.A; G/ aus Q1jA.G; Q1 CQ2/ D Q2jA.G; Q1 C Q2/ schon die Gleichheit von Q1 und Q2 folgt. Mit Q WD.Q1 C Q2/=2 und fi WD dQi=dQ für i 2 f1; 2g gilt A.G; Q/ D A.G; Q1 C Q2/,QjA.G; Q/ D Qi jA.G; Q/ und daher nach 7.1(b)

EQ.fi jA.G; Q// D dQi jA.G; Q/

dQjA.G; Q/D 1 Q-f.s.

Für a 2 R; g 2 G; i 2 f1; 2g seien A WD ffi � ag, B WD g�1.A/ \ Ac undC WD A \ .g�1.A//c . Dann folgt

Qi .B/ D Qi .g�1.A// � Qi .A \ g�1.A//

D Qi .A/ � Qi .A \ g�1.A// D Qi .C /;

also auch Q.B/ D Q.C /. Wegen fi � a > 0 auf B gilt

Qi .B/ � aQ.B/ DZ

B

.fi � a/dQ � 0

und Qi .B/ � aQ.B/ D 0 genau dann, wenn Q.B/ D 0. Ferner gilt

Qi .C / DZ

C

fi dQ � aQ.C /:

Man erhält

Qi .B/ � aQ.B/ D aQ.C / � Qi .C / D Qi .B/;

was Qi .B/ D aQ.B/ und damit Q.C / D Q.B/ D 0 impliziert. Es folgtQ.A�g�1.A// D Q.B/ C Q.C / D 0, also A 2 A.G; Q/. Dies liefert dieA.G; Q/-Messbarkeit von fi . Es folgt fi D EQ.fi jA.G; Q// D 1 Q-f.s. unddamit Q1 D Q D Q2.

2. Wir kommen zum Beweis des Satzes. Falls Q 2 M 1.A; G/ nicht G-ergodischist, gibt es eine Menge A 2A.G; Q/ mit 0 < Q.A/ < 1. Für Q1 WD Q.A\� /=Q.A/,Q2 WD Q.Ac \ � /=Q.Ac/ und � WD Q.A/ gilt dann Q1; Q2 2 M 1.A; G/,Q1 6D Q2 und Q D �Q1 C .1 � �/Q2. Dies impliziert Q … ex M 1.A; G/. Seinun umgekehrt Q 2 M 1.A; G/ G-ergodisch. Aus der Darstellung Q D �Q1 C.1 � �/Q2 mit Q1; Q2 2 M 1.A; G/, � 2 .0; 1/ folgt QjA.G; Q/ D Qi jA.G; Q/

und wegen A.G; Q/ D A.G; Q1 C Q2/ daher Q1 D Q2 nach 1. Also ist Q einExtremalpunkt von M 1.A; G/.

334 10 Invarianz, Austauschbarkeit und U -Statistiken

Für Extremalpunkte Q1; Q2 von M 1.A; G/, Q1 6D Q2 folgt schließlichQ1jA.G; Q1 C Q2/ 6D Q2jA.G; Q1 C Q2/ aus 1., und wegen A.G; Q1 C Q2/ �A.G; Qi / und der G-Ergodizität von Qi gilt

Q1.A.G; Q1 C Q2// D Q2.A.G; Q1 C Q2// D f0; 1g:Daher gibt es eine Menge A 2 A.G; Q1 C Q2/ mit Q1.A/ D 0 und Q2.A/ D 1.Also gilt Q1 ? Q2. ut

Im Spezialfall G D feg erhält man M 1.A; G/ D M 1.A/ und

ex M 1.A/ D fQ 2 M 1.A/ W Q.A/ D f0; 1gg:Falls A abzählbar erzeugt ist, sind das genau die Dirac-Maße auf A. Sei dazu Q 2M 1.A/ mit Q.A/ D f0; 1g, E ein abzählbarer Erzeuger von A und G WD fA 2E[fC c W C 2 Eg W Q.A/ D 1g. Für B WD T

A2G A gilt dann B 2 A und Q.B/ D 1.Ferner ist B ein Atom von A, das heißt B 6D ; und aus A 2 A; A � B folgt A D ;oder A D B , denn wegen E \ B D f;; Bg gilt A\ B D �B .E \ B/ D f;; Bg. Diesimpliziert Q D ıx für jedes x 2 B .

Die Bemerkung nach 10.11 zeigt, dass f0; 1g-wertige Maße im Allgemeinen kei-ne Dirac-Maße sind.

Für G-ergodische Verteilungen Q 2 M 1.A; G/ sind messbare Abbildungen f W.X ;A.G; Q// ! .Y;B/ Q-fast sicher konstant, falls B abzählbar erzeugt ist undfyg 2 B für alle y 2 Y , denn wegen Qf .B/ D f0; 1g gilt nach obiger BemerkungQf D ıy für ein y 2 Y und damit Q.f D y/ D 1.

Im für uns hauptsächlich interessanten Fall abzählbarer Halbgruppen gibt es eineschönere Charakterisierung ergodischer Verteilungen.

Satz 10.3 (Ergodizität) Sei G eine abzählbare kommutative Halbgruppe oder eineabzählbare Gruppe. Dann gilt A.G; Q/ D A.G/ Q-f.s. für alle Q 2 M 1.A/.Insbesondere gilt

ex M 1.A; G/ D fQ 2 M 1.A; G/ W Q.A.G// D f0; 1gg:Beweis Für Q 2 M 1.A/ und A 2 A.G; Q/ definiere man

B WD[

g2G

\h2G

.gh/�1.A/:

(B hängt nicht von Q ab.) Wegen der Abzählbarkeit von G gilt B 2 A, und wegen

A�B D\g2G

[h2G

.A \ ..gh/�1.A//c [[

g2G

\h2G

.Ac \ .gh/�1.A//

�[g2G

.A�g�1.A//

gilt Q.A�B/ D 0. Ist G kommutativ, so operiert G von links auf X . Für k 2 G

gilt dann mit Gk WD fgk W g 2 Gg � G

k�1.B/ D[g2G

\h2G

.ghk/�1.A/ D[g2G

\h2Gk

.gh/�1.A/ � B

10.1 Invarianz und Ergodizität 335

und wegen der Kommutativität von G

k�1.B/ D[g2G

\h2G

.gkh/�1.A/ D[

g2Gk

\h2G

.gh/�1.A/ � B;

also k�1.B/ D B . Ist G eine Gruppe, so gilt kG D Gk D G und daher B DTg2G g�1.A/ und k�1.B/ D B . Man erhält A.G; Q/ � A.G/ Q-f.s., und wegen

A.G/ � A.G; Q/ folgt A.G; Q/ D A.G/ Q-f.s. Die Charakterisierung der G-ergodischen Verteilungen folgt damit aus Satz 10.2. ut

Das folgende Beispiel zeigt, dass 10.3 für nicht-kommutative, endliche Halb-gruppen und für nicht-abzählbare Gruppen im Allgemeinen falsch ist.

Beispiel 10.4 (a) Seien X D Œ0; 1�2;A die Borelsche �-Algebra über X und gi WX ! X mit g1.x1; x2/ WD .x1; x1/ und g2.x1; x2/ WD .x2; x2/. Dann sind die gi

stetig und es gilt g1 ıg2 D g2 und g2 ıg1 D g1. Also ist G WD fg1; g2g eine (nicht-kommutative) Halbgruppe mit der Komposition als Halbgruppenoperation und derLinksoperation gx D g.x/ auf X . Wegen g�1

i .D/ D X und g�1i .A/ \ D D A \ D

für A 2 A, wobei D WD f.x; x/ W x 2 Œ0; 1�g die Diagonale bezeichnet, gelten

M 1.A; G/ D fQ 2 M 1.A/ W Q.D/ D 1gund A.G; Q/ D A für alle Q 2 M 1.A; G/. Da A abzählbar erzeugt ist und dief0; 1g-wertigen Maße auf A daher wegen der Bemerkung nach 10.2 Dirac-Maßesind, liefert 10.2

ex M 1.A; G/ D fıx W x 2 Dg:Andererseits gilt A.G/ D f;;X g und damit

fQ 2 M 1.A; G/ W Q.A.G// D f0; 1gg D M 1.A; G/:

(b) SeienX D R, A die Borelsche �-Algebra überX und G die (überabzählbare)Gruppe der bijektiven Abbildungen g W X ! X mit jfx 2 X W g.x/ 6D xgj < 1.Dann gelten

M 1.A; G/ D fQ 2 M 1.A/ W Q.fxg/ D 0 für alle x 2 X gund A.G; Q/ D A für alle Q 2 M 1.A; G/. Wegen 10.2 und der Bemerkung nach10.2 folgt

ex M 1.A; G/ D ;;

während A.G/ D f;;X g und

fQ 2 M 1.A; G/ W Q.A.G// D f0; 1gg D M 1.A; G/:

Um Bedingungen an A.G/ zu formulieren, die zur Charakterisierung 10.3 derErgodizität äquivalent sind, benötigen wir das statistische Suffizienz-Konzept. Eine

336 10 Invarianz, Austauschbarkeit und U -Statistiken

Unter-�-Algebra B � A heißt suffizient für Q � M 1.A/, falls es für alle A 2 Aeine B-messbare (von Q 2 Q unabhängige) Funktion fA W .X ;B/ ! .R;B.R//

gibt mit

fA D EQ.1AjB/ Q-f.s. für alle Q 2 Q:

B heißt paarweise suffizient für Q, falls B für alle zweielementigen Teilmengenvon Q suffizient ist.

Satz 10.5 (Ergodizität und paarweise Suffizienz) Für K.G/ WD fQ 2 M 1.A; G/ WQ.A.G// D f0; 1gg sind äquivalent:

(i) ex M 1.A; G/ D K.G/,(ii) A.G/ ist paarweise suffizient für K.G/,

(iii) A.G/ ist verteilungsbestimmend für K.G/, das heißt, aus Q1jA.G/ DQ2jA.G/ für Qi 2 K.G/ folgt Q1 D Q2.

Beweis (i) ) (ii). Für Q1; Q2 2 K.G/; Q1 6D Q2 seien Q WD .Q1CQ2/=2; fi WDdQi=dQ und Qfi WD EQ.fi jA.G//. Wir definieren Wahrscheinlichkeitsmaße QQi

auf A durch QQi WD Qfi Q. Dann gilt für A 2 A.G/

QQi .A/ DZ

A

Qfi dQ DZ

A

fi dQ D Qi .A/;

also QQi jA.G/ D Qi jA.G/, und wegen der G-Invarianz von Qfi (10.1(a)) und Q giltQQi 2 M 1.A; G/. Dies impliziert QQi 2 K.G/ und . QQi CQi /=2 2 K.G/. Wegen (i)

folgt QQi D Qi . Die Maße Q1 und Q2 haben demnach eine A.G/-messbare Dichtebezüglich Q. Daraus folgt die Suffizienz von A.G/ für fQ1; Q2g, denn für B 2 Aund A 2 A.G/ gilt

Z

A

EQ.1B jA.G//dQi DZ

A

EQ.1B jA.G// Qfi dQ

DZ

A

EQ.1BQfi jA.G//dQ

DZ

A

1BQfidQ D

Z

A

1BdQi ;

also EQ.1B jA.G// D EQi.1B jA.G// Qi -f.s.

(ii) ) (iii). Seien Q1; Q2 2 K.G/ mit Q1jA.G/ D Q2jA.G/. Für A 2 A gibtes nach (ii) eine A.G/-messbare Funktion fA mit fA D EQi

.1AjA.G// Qi -f.s. füri 2 f1; 2g. Damit folgt

Q1.A/ DZ

fAdQ1jA.G/ DZ

fAdQ2jA.G/ D Q2.A/:

(iii) ) (i). Nach 10.2 gilt exM 1.A; G/ � K.G/. Sei nun Q 2 K.G/ undQ D �Q1 C .1 � �/Q2 mit Q1; Q2 2 M 1.A; G/ und � 2 .0; 1/. Dann gilt

10.1 Invarianz und Ergodizität 337

Qi 2 K.G/ und Q1jA.G/ D Q2jA.G/, was wegen (iii) Q1 D Q2 impliziert.Also ist Q ein Extremalpunkt von M 1.A; G/. ut

Im Allgemeinen folgt aus der Gleichheit 10.5(i) nicht die paarweise Suffizienzvon A.G/ für M 1.A; G/ [123]. In der Situation von 10.3 ist allerdings A.G/ sogarsuffizient für M 1.A; G/ [96].

Als Anwendung der „nicht-kompakten Choquet-Theorie“ und der Charakterisie-rung 10.2 erhält man, dass in regulären Fällen jede Verteilung in M 1.A; G/ ein-deutige Mischung von G-ergodischen Verteilungen ist. Wir benötigen dazu einemessbare Struktur über M 1.A/. Für A 2 A sei

'A W M 1.A/ ! Œ0; 1�; 'A.Q/ WD Q.A/:

Damit sei

˙.M 1.A// WD �.'A; A 2 A/

und für Teilmengen Q � M 1.A/ sei

˙.Q/ WD �.'AjQ W A 2 A/:

Dann ist ˙.Q/ die Spur-�-Algebra ˙.M 1.A// \ Q.

Satz 10.6 (Integraldarstellung) Seien X ein polnischer Raum, A die Borelsche �-Algebra über X und X ! X ; x 7! gx für alle g 2 G stetig. Dann gibt es zu jedemQ 2 M 1.A; G/ genau ein � 2 M 1.˙.ex M 1.A; G/// mit

Q DZ

ex M 1.A;G/

Q0d�.Q0/:

Die obige Gleichung bedeutet ausführlich

Q.A/ DZ

ex M 1.A;G/

Q0.A/d�.Q0/

für alle A 2 A.

Beweis Aus der Stetigkeit von x 7! gx für alle g 2 G folgt, dass M 1.A; G/ einein der schwachen Topologie abgeschlossene Teilmenge von M 1.A/ ist. Dabei istdie schwache Topologie die gröbste Topologie auf M 1.A/ derart, dass für jede ste-tige, beschränkte Funktion f W X ! R die Abbildung M 1.A/ ! R; Q 7! R

fdQ

stetig ist. Ferner ist M 1.A; G/ ein (nicht-kompaktes) Choquet-Simplex, das heißtder konvexe Kegel K WD RCM 1.A; G/ der G-invarianten, endlichen Maße auf Aist ein Verband in seiner eigenen (partiellen) Ordnung „� � �, falls � � � 2 K.“Diese Ordnung stimmt offenbar mit der üblichen mengenweisen Ordnung „� � �,falls �.A/ � �.A/ für alle A 2 A“ überein. Zum Nachweis der Verbandseigen-schaft, also für �; � 2 K existieren � ^ � und � _ � in K, seien f WD d�=d.� C �/

338 10 Invarianz, Austauschbarkeit und U -Statistiken

und h WD d�=d.� C �/. Wie im Beweis von 10.2 sind f und h A.G; � C �/-messbar. Also ist auch f ^ h A.G; � C �/-messbar und wegen 10.1(b) gilt.f ^ h/ ı g D f ^ h � C �-f.s. Für WD .f ^ h/.� C �/ folgt 2 K und D � ^ �. Ebenso gilt WD .f _ h/.� C �/ 2 K und D � _ �. Mit diesenbeiden Eigenschaften von M 1.A; G/ folgt die Behauptung aus einem allgemeinenIntegraldarstellungssatz [124, 150]. ut

In der Situation von Satz 10.6 gilt insbesondere ex M 1.A; G/ 6D ;, fallsM 1.A; G/ 6D ;. Wegen Beispiel 10.4(b) ist dies und damit 10.6 ohne die Stetig-keit der Operation von G auf X im Allgemeinen nicht richtig.

10.2 Austauschbare Prozesse

Wir spezialisieren jetzt die Halbgruppe G zur Gruppe der endlichen Permutatio-nen von N, das sind bijektive Abbildungen g W N ! N mit jfn 2 N W g.n/ 6Dngj < 1. Mit der Komposition als Gruppenoperation ist G dann eine abzählbare(nicht-kommutative) Gruppe. Für einen messbaren Raum .X ;A/ operiert die Halb-gruppe aller Abbildungen g W N ! N (die Halbgruppenoperation ist wieder dieKomposition) von rechts auf XN durch

gx WD .xg.n//n�1;

und die induzierte Abbildung XN ! XN; x 7! gx ist (AN;AN)-messbar, weilx 7! xg.n/ für alle n 2 N bezüglich .AN;A/ messbar ist.

Die Gruppe G hat eine einfache Struktur. Für die Untergruppen

Gn WD fg 2 G W g.j / D j für alle j > ng;

n 2 N gilt

jGnj D nŠ; Gm � Gn für m � n und1[

nD1

Gn D G:

Gn operiert auch auf X n durch gx WD .xg.1/; : : : ; xg.n// und x 7! gx ist .An;An/-messbar.

Ein .X ;A/-wertiger Prozess X D .Xn/n�1 heißt austauschbar, falls

P X 2 M 1.AN; G/;

also P gX D .P X /g D P X für alle g 2 G, wobei X hier als (XN;AN)-wertigeZufallsvariable aufgefasst wird. Austauschbare Prozesse sind identisch verteilt, undfalls X eine unabhängige Folge identisch verteilter Zufallsvariablen ist, so ist X

austauschbar. Weitere einfache Eigenschaften sind:

10.2 Austauschbare Prozesse 339

Lemma 10.7

(a) Ein .X ;A/-wertiger Prozess X D .Xn/n�1 ist genau dann austauschbar, wenn

P .X1;:::;Xn/ 2 M 1.An; Gn/

für alle n � 1.(b) Ist H die Halbgruppe der injektiven Abbildungen von N nach N, so gilt

M 1.AN; G/ D M 1.AN; H/:

(c) Ist h W N ! N; h.n/ WD n C 1 und H0 die von h erzeugte Halbgruppe, so gilt

M 1.AN; G/ � M 1.AN; H0/:

Prozesse X mit P X 2 M 1.AN; H0/ heißen stationär. Austauschbare Prozessesind nach 10.7(c) also stationär.

Beweis Weil f.�1; : : : ; �n/�1.B/ W n 2 N; B 2 Ang ein durchschnittsstabilerErzeuger von AN ist, gilt für .X ;A/-wertige Prozesse X und Y nach dem Maß-eindeutigkeitssatz P X D P Y genau dann, wenn P .X1;:::;Xn/ D P .Y1;:::;Yn/ für allen � 1.

(a) Für g 2 G, also g 2 Gm für ein m � 1, und n � 1 folgt aus der angegebenenBedingung P .Xg.1/;:::;Xg.n// D P .X1;:::;Xn/, denn für m � n ist g 2 Gn und fürm > n folgt dies durch Übergang zu den n-dimensionalen Randverteilungen. Manerhält P gX D P X .

(b) Wegen G � H gilt M 1.AN; H/ � M 1.AN; G/. Zu h 2 H und n � 1 gibt esein g 2 G mit gjf1; : : : ; ng D hjf1; : : : ; ng und dies impliziert für Q 2 M 1.AN; G/

Q.�h.1/;:::�h.n// D Q.�g.1/;:::�g.n// D Q.�1;:::;�n/:

Also gilt Qh D Q.(c) folgt wegen H0 � H aus (b) . utFür einen .X ;A/-wertigen Prozess X D .Xn/n�1 seien

AN.Gn/X WD X�1.AN.Gn// und AN.G/X WD X�1.AN.G//:

Dann gilt

AN.G/X D1\

nD1

AN.Gn/X ;

denn für C 2 T1nD1 AN.Gn/X gilt C D X�1.An/ mit An 2 AN.Gn/ für alle

n � 1, und für A WD lim supn!1 An folgt A 2 AN.G/ und C D X�1.A/, also C 2AN.G/X . Die umgekehrte Inklusion ist eine Konsequenz der Gleichung AN.G/ DT1

nD1 AN.Gn/.Alle Resultate im Rest dieses Abschnitts basieren auf dem folgenden Konver-

genzsatz, einer Konsequenz des Martingalkonvergenzsatzes 4.26.

340 10 Invarianz, Austauschbarkeit und U -Statistiken

Satz 10.8 Seien X D .Xn/n�1 ein austauschbarer .X ;A/-wertiger Prozess, 1 �p < 1 und f W .XN;AN/ ! .R;B.R// mit f .X/ 2 Lp. Dann gilt

E.f .X/jAN.Gn/X / D 1

nŠ

Xg2Gn

f .gX/

für alle n � 1 und

1

nŠ

Xg2Gn

f .gX/ ! E.f .X/jAN.G/X / f.s. und in Lp

für n ! 1.

Für m 2 N und messbare Funktionen f W .Xm;Am/ ! .R;B.R// kann man10.8 auf Qf .x/ WD f .x1; : : : ; xm/; x 2 XN anwenden und erhält

E.f .X1; : : : ; Xm/jAN.Gn/X / D 1

nŠ

Xg2Gn

Qf .gx/ D 1

nŠ

Xg2Gn

f .Xg.1/; : : : Xg.m//

! E.f .X1; : : : ; Xm/jAN.G/X / f.s. und in Lp:

Beweis Für n � 1 sei fn die durch

fn.x/ WD 1

nŠ

Xg2Gn

f .gx/; x 2 XN

definierte Gn-Symmetrisierung von f . Dann ist fn bezüglich .AN;B.R// messbarund Gn-invariant, also nach 10.1(a) AN.Gn/-messbar. Damit ist fn.X/ bezüglichAN.Gn/X messbar und für C 2 AN.Gn/X , C D X�1.A/ mit A 2 AN.Gn/, gilt dieRadon-Nikodym-Gleichung

Z

C

fn.X/dP D 1

nŠ

Xg2Gn

Z1A.X/f .gX/dP

D 1

nŠ

Xg2Gn

Z1A.X/f .X/dP D

Z

C

f .X/dP:

Also gilt

E.f .X/jAN.Gn/X / D fn.X/:

Daher ist .Yn/n2�N mit Yn WD f�n.X/, Fn WD AN.G�n/X und F D .Fn/n2�N

wegen Yn D E.Y�1jFn/ ein F-Martingal. Der Konvergenzsatz 4.26 über dieRückwärtskonvergenz von Martingalen liefert wegen F�1 D T1

nD1 AN.Gn/X DAN.G/X

fn.X/ D Y�n ! E.Y�1jF�1/ D E.f .X/jAN.G/X / f.s. und in Lp

für n ! 1. ut

10.2 Austauschbare Prozesse 341

Wegen der Bemerkung nach 10.5 ist die �-Algebra AN.G/ der G-invariantenAN-messbaren Mengen suffizient für M 1.AN; G/. Dies folgt auch sofort aus 10.8:Für A 2 AN sei

fn WD 1

nŠ

Xg2Gn

1A ı g

die Gn-Symmetrisierung von 1A. Dann ist fn AN-messbar und Gn-invariant. FürfA WD lim supn!1 fn gilt nach 10.8 (mit X D .�n/n�1/

fA D EQ.1AjAN.G// Q-f.s.

für alle Q 2 M 1.AN; G/, und weil fA G-invariant und damit wegen 10.1(a)AN.G/-messbar ist, folgt die Suffizienz von AN.G/ für M 1.AN; G/.

Für einen .X ;A/-wertigen Prozess X D .Xn/n�1 sei

TX WD\n�1

�.Xk ; k � n/

die X -terminale �-Algebra.

Satz 10.9 (Austauschbarkeit und Terminalität) Für jeden .X ;A/-wertigen ProzessX D .Xn/n�1 gilt TX � AN.G/X , und falls X austauschbar ist, gilt

TX D AN.G/X f:s:

Beweis Da der Shift �n W XN ! XN, �n.x/ D .xnCj /j �1 bezüglich .AN;AN/

messbar und Gn-invariant ist, gilt wegen 10.1(a) �.�n/ D ��1n .AN/ � AN.Gn/ und

damit �.�n.X// � AN.Gn/X für alle n � 1. Wegen �.Xk; k � nC1/ D �.�n.X//

folgt TX � AN.G/X .Für austauschbare Prozesse X zeigen wir jetzt AN.G/X � TX f.s. Für C 2

AN.G/X ;F WD FX und m � 1 sei dazu

Mm WD P.C jFm/:

Faktorisierung liefert Mm D fm.X1; : : : ; Xm/ mit fm.x1; : : : ; xm/ D P.C jX1 Dx1; : : : ; Xm D xm/; 0 � fm � 1. Für n � 1 sei

Un;m WD 1

nŠ

Xg2Gn

fm.Xg.1/; : : : ; Xg.m//

und für n > 2m seien

Gn;m WDm\

j D1

fg 2 Gn W g.j / > mg

und

Vn;m WD 1

nŠ

Xg2Gn;m

fm.Xg.1/; : : : ; Xg.m//:

342 10 Invarianz, Austauschbarkeit und U -Statistiken

Wegen

Gn n Gn;m Dm[

j D1

m[iD1

fg 2 Gn W g.j / D ig

gilt jGn n Gn;mj � m2.n � 1/Š Man erhält für n > 2m wegen 0 � fm � 1

jUn;m � Vn;mj � jGn n Gn;mjnŠ

� m2

n;

und dies impliziert Un;m � Vn;m ! 0 gleichmäßig auf ˝ für n ! 1. Weil nach10.8 Un;m ! E.MmjAN.G/X / f.s., folgt

Vn;m ! E.MmjAN.G/X / f.s.

für n ! 1. Offenbar ist Vn;m bezüglich �.Xk ; k � mC1/ messbar für n > 2m, sodass Vm WD lim supn!1 Vn;m (D lim supn!1 Un;m) bezüglich �.Xk; k � m C 1/

messbar ist und

Vm D E.MmjAN.G/X / f.s.

für alle m � 1. Daher ist V WD lim supm!1 Vm bezüglich TX messbar. WegenF1 D X�1.AN/ gilt nach dem Konvergenzsatz 4.8

Mm ! P.C jF1/ D 1C f.s.

und mit dominierter Konvergenz für bedingte Erwartungswerte folgt

E.MmjAN.G/X / ! P.C jAN.G/X / D 1C f.s.

für m ! 1. Man erhält V D 1C f.s. Für D WD fV D 1g gilt dann D 2 TX undC�D � fV 6D 1C g, also P.C�D/ D 0. ut

Wir kommen nun zur zentralen Charakterisierung austauschbarer Prozesse alsdiejenigen Prozesse X , die bedingt unter AN.G/X unabhängig und identisch verteiltsind. Dabei heißt eine Folge X D .Xn/n�1 von .X ;A/-wertigen Zufallsvariablenbedingt unabhängig unter G für eine Unter-�-Algebra G � F , falls

P� n\

iD1

fXi 2 Ai gˇ̌ˇG�

DnY

iD1

P.Xi 2 Ai jG/

für alle n � 1, A1; : : : ; An 2 A. Sie heißt bedingt identisch verteilt unter G, falls

P.Xn 2 AjG/ D P.X1 2 AjG/

für alle n � 1; A 2 A. Beide Eigenschaften zusammen sind dann äquivalent zu

P� n\

iD1

fXi 2 Aigˇ̌ˇG�

DnY

iD1

P.X1 2 Ai jG/

für alle n � 1; A1; : : : ; An 2 A.

10.2 Austauschbare Prozesse 343

Satz 10.10 (de Finetti) Ein .X ;A/-wertiger Prozess X D .Xn/n�1 ist genau dannaustauschbar, wenn .Xn/n�1 eine bedingt unabhängige Folge bedingt identisch ver-teilter Zufallsvariablen unter AN.G/X ist.

Beweis Sei X austauschbar. Für m; n � 1 und A1; : : : ; Am 2 A seien

fm.x1; : : : ; xm/ WDmY

iD1

1Ai.xi /;

Un.1Ai/ WD 1

nŠ

Xg2Gn

1Ai.Xg.1//

und

Un.fm/ WD 1

nŠ

Xg2Gn

fm.Xg.1/; : : : ; Xg.m//:

Dann gelten nach 10.8 wegen fm.X1; : : : ; Xm/ D 1TmiD1fXi 2Ai g

Un.fm/ ! P� m\

iD1

fXi 2 Ai gˇ̌ˇAN.G/X

�f.s.

und

mYiD1

Un.1Ai/ !

mYiD1

P.X1 2 Ai jAN.G/X / f.s.

für n ! 1. Wir zeigen jetzt, dass die beiden fast sicheren Limiten übereinstim-men. Für n � m seien dazu Kn;m die Menge aller Abbildungen von f1; : : : ; mgnach f1; : : : ; ng und Hn;m die Menge der injektiven Abbildungen in Kn;m. WegenjKn;mj D nm, jHn;mj D nŠ=.n � m/Š und

Gn D[

h2Hn;m

fg 2 Gn W gjf1; : : : ; mg D hg

folgt

Un.fm/ D .n � m/Š

nŠ

Xh2Hn;m

fm.Xh.1/; : : : ; Xh.m//;

also insbesondere

Un.1Ai/ D 1

n

nXj D1

1Ai.Xj /:

344 10 Invarianz, Austauschbarkeit und U -Statistiken

Dies impliziert für n � m

mYiD1

Un.1Ai/ D 1

nm

Xh2Kn;m

fm.Xh.1/; : : : ; Xh.m//

D nŠ

.n � m/ŠnmUn.fm/ C 1

nm

Xh2Kn;mnHn;m

fm.Xh.1/; : : : ; Xh.m//:

Wegen nŠ=.n � m/Šnm ! 1 und

ˇ̌ˇ̌ 1

nm

Xh2Kn;mnHn;m

fm.Xh.1/; : : : ; Xh.m//

ˇ̌ˇ̌ � jKn;mj � jHn;mj

nm

D 1 � nŠ

.n � m/Šnm! 0

für n ! 1 erhält man

mYiD1

Un.1Ai/ ! P

� m\iD1

fXi 2 Aigˇ̌ˇAN.G/X

�f.s.

für n ! 1.Umgekehrt folgt aus

P� n\

iD1

fXi 2 Aigˇ̌ˇAN.G/X

�D

nYiD1

P.X1 2 Ai jAN.G/X /

für g 2 Gn auch

P� m\

iD1

fXg.i/ 2 Ai gˇ̌ˇAN.G/X

�D

nYiD1

P.X1 2 Ai jAN.G/X /

und Erwartungswertbildung liefert

P g.X1;:::;Xn/� nY

iD1

Ai

�D P .X1;:::;Xn/

� nYiD1

Ai

�:

Also stimmen P g.X1;:::;Xn/ und P .X1;:::;Xn/ auf einem durchschnittsstabilen Erzeu-ger von An überein und sind deshalb gleich. Dies impliziert wegen 10.7(a) die Aus-tauschbarkeit von X . ut

Mit 10.9 und 10.10 lassen sich nun leicht die G-ergodischen Verteilungen cha-rakterisieren.

10.2 Austauschbare Prozesse 345

Satz 10.11 (Ergodizität, Hewitt und Savage) Die Verteilung eines austauschba-ren .X ;A/-wertigen Prozesses X D .Xn/n�1 ist genau dann G-ergodisch, wenn.Xn/n�1 eine unabhängige Folge identisch verteilter Zufallsvariablen ist, und diesist äquivalent zu P.AN.G/X / D f0; 1g. Insbesondere gilt

ex M 1.AN; G/ D fQN W Q 2 M 1.A/g:

Die Eigenschaft P.AN.G/X / D f0; 1g für unabhängige Folgen identisch ver-teilter Zufallsvariablen X D .Xn/n�1 heißt 0-1-Gesetz von Hewitt und Savage.

Beweis Nach 10.3 gilt

ex M 1.AN; G/ D fQ 2 M 1.AN; G/ W Q.AN.G// D f0; 1gg:

Wegen P X .AN.G// D P.AN.G/X / ist daher die G-Ergodizität von P X äquivalentzu P.AN .G/X / D f0; 1g. Ist X D .Xn/n�1 eine unabhängige Folge identischverteilter Zufallsvariablen, so impliziert Kolmogorovs 0-1-Gesetz P.TX / D f0; 1gund wegen 10.9 folgt P.AN.G/X / D f0; 1g. Ist umgekehrt P X G-ergodisch, sogilt (etwa wegen A.12(b)) E.ZjAN.G/X / D EZ für alle Z 2 L1. Mit 10.10 folgtP X D .P X1 /N. Die Spezialisierung von X auf den Prozess der Projektionen liefertexM 1.AN; G/ D fQN W Q 2 M 1.A/g. ut

Eine direkte Konsequenz von 10.11 und 10.2 ist die Kakutani-Dichotomie 7.5für Produktmaße mit identischen Faktoren.

Die (G-ergodischen) Produktmaße QN sind zwar f0; 1g-wertig auf AN.G/, aberkeine Dirac-Maße aufAN.G/; falls A die einelementigen Teilmengen von X enthältund Q kein Dirac-Maß auf A ist: Andernfalls gilt QN.Gx/ D 1 für ein x 2 XN,da die G-Bahn Gx WD fgx W g 2 Gg als abzählbare Teilmenge von XN zu AN unddamit zu AN.G/ gehört. Für QN gilt aber QN.fzg/ D 0 für alle z 2 XN, denn mitc WD supy2X Q.fyg/ < 1 folgt

QN.fzg/ D limn!1

nYiD1

Q.fzig/ � limn!1 cn D 0;

was den Widerspruch QN.Gx/ D 0 impliziert. Insbesondere ist damit AN.G/ we-gen der Bemerkung nach 10.2 nicht abzählbar erzeugt, falls jX j � 2 und A dieeinelementigen Teilmengen von X enthält.

Für die G-Bahnen Gx; x 2 XN gilt übrigens jGxj D 1 genau dann, wenn xn Dx1 für alle n � 1. In allen anderen Fällen ist Gx nicht endlich. Dies zeigt wegenQN.fgxg/ D QN.fxg/ nochmal, dass QN nicht auf einer G-Bahn konzentriert seinkann, wenn Q kein Dirac-Maß ist (und ffyg W y 2 X g � A/.

In dem folgenden Lemma wird die „Isomorphie“ zwischen den G-ergodischenVerteilungen aufAN und M 1.A/ präzisiert. Eine messbare Abbildung F W .Y;B/ !.Z; C/ heißt Isomorphismus der messbaren Räume .Y;B/ und .Z; C/, falls F bi-jektiv und auch die Umkehrabbildung F �1 messbar ist.

346 10 Invarianz, Austauschbarkeit und U -Statistiken

Lemma 10.12 Für P WD fQN W Q 2 M 1.A/g wird durch

F W .M 1.A/; ˙.M 1.A// ! .P ; ˙.P//; F .Q/ WD QN

ein Isomorphismus der messbaren Räume definiert.

Beweis Die Bijektivität von F ist klar. Weil

E WDn n\

iD1

f�i 2 Ai g W n 2 N; A1; : : : ; An 2 Ao

ein durchschnittsstabiler Erzeuger von AN und

fA 2 A W 'AjP ist �.'AjP ; A 2 E/-messbargein Dynkin-System ist, das E enthält, gilt ˙.P/ D �.'AjP ; A 2 E/. Daher ist F

messbar, denn für A 2 E , also A D TniD1f�i 2 Ai g, ist die Funktion 'A ı F wegen

'A ı F.Q/ DnY

iD1

Q.Ai / DnY

iD1

'Ai.Q/

als Produkt ˙.M 1.A//-messbarer Funktionen ˙.M 1.A//-messbar. Die Umkehr-funktion F �1 ist wegen 'A ı F �1 D '��1

1.A/ für A 2 A messbar. ut

Für eine Unter-�-Algebra G � F und einen Markov-Kern K von .˝;G/ nach.X ;A/ ist die Abbildung ˝ ! M 1.A/; ! 7! K.!; � / bezüglich .G; ˙.M 1.A//

messbar, so dass man K als .M 1.A/; ˙.M 1.A///-wertige Zufallsvariable auffas-sen kann. Wegen 10.12 wird dann durch

KN.!; A/ WD K.!; � /N.A/ D F.K.!; � //.A/

für ! 2 ˝; A 2 AN ein Markov-Kern von .˝;G/ nach .XN;AN/ definiert.Für reguläre Räume .X ;A/ erhält man nun mit 10.10 die folgende eindeutige

Integraldarstellung der Verteilung austauschbarer Prozesse.

Satz 10.13 (Integraldarstellung, de Finetti, Hewitt und Savage) Seien X ein polni-scher Raum und A die Borelsche �-Algebra über X . Ferner seien X D .Xn/n�1

ein austauschbarer .X ;A/-wertiger Prozess und

K WD P X1jAN.G/X

die bedingte Verteilung von X1 unter AN.G/X .

(a) �.K/ D �.KN/ und P X jK D KN.(b) Es gibt genau ein � 2 M 1.˙.M 1.A/// mit

P X DZ

M 1.A/

QNd�.Q/:

Für � gilt dabei � D .P jAN.G/X /K D P K .

10.2 Austauschbare Prozesse 347

Da X polnisch ist, existiert die obige bedingte Verteilung wegen A.17. Die Dar-stellung von P X in (b) bedeutet wie in 10.6 ausführlich

P X .A/ DZ

M 1.A/

QN.A/d�.Q/

für alle A 2 AN. Die ˙.M 1.A//-Messbarkeit von Q 7! QN.A/ für A 2 AN giltnach 10.12.

Beweis (a) Der in 10.12 beschriebene Isomorphismus liefert

�.K.�; A/; A 2 A/ D �.K/ D �.F ı K/ D �.KN/ D �.KN. � ; A/; A 2 AN/:

Für A D TniD1f�i 2 Aig mit A1; : : : ; An 2 A gilt wegen �.K/ � AN.G/X , der

Turmeigenschaft und 10.10

P.X 2 AjK/ D P� n\

iD1

fXi 2 Ai gˇ̌ˇK�

D E�P� n\

iD1

fXi 2 Ai gˇ̌ˇAN.G/X

�ˇ̌ˇK�

D E� nY

iD1

P.X1 2 Ai jAN.G/X /ˇ̌ˇK�

D E� nY

iD1

K. � ; Ai /ˇ̌ˇK�

DnY

iD1

K. � ; Ai / D KN. � ; A/:

Weil die Mengen der Form von A einen durchschnittsstabilen Erzeuger von AN

bilden, definiert der Markov-Kern KN eine bedingte Verteilung von X unter K .(b) Nach (a) gilt insbesondere P X D PKN. Für � WD P K erhält man � 2

M 1.˙.M 1.A/// und

P X DZ

KN.!; � /dP.!/ DZ

M 1.A/

QNd�.Q/:

Sei nun � 2 M 1.˙.M 1.A/// ein beliebiges darstellendes Maß für P X . FürA 2 A sei

fA.x/ WD lim supn!1

1

n

nXiD1

1A.xi /; x 2 XN:

Dann gilt nach 10.8 fA.X/ D K. � ; A/ P -f.s. und nach dem starken Gesetz dergroßen Zahlen von Kolmogorov fA D Q.A/ QN-f.s. für alle Q 2 M 1.A/. Diesimpliziert für A1; : : : ; An 2 A und B1; : : : ; Bn 2 B.Œ0; 1�/

P K� n\

iD1

f'Ai2 Big

�D P

� n\iD1

fK. � ; Ai / 2 Bi g�

D P X� n\

iD1

ffAi2 Big

�

DZ

M 1.A/

QN� n\

iD1

ffAi2 Bi g

�d�.Q/ D �

� n\iD1

f'Ai2 Bi g

�:

348 10 Invarianz, Austauschbarkeit und U -Statistiken

Weiln n\

iD1

f'Ai2 Bi g W n 2 N; A1; : : : ; An 2 A; B1; : : : ; Bn 2 B.Œ0; 1�/

o

ein durchschnittsstabiler Erzeuger von ˙.M 1.A// ist, folgt P K D � aus dem Maß-eindeutigkeitssatz. ut

Die Integraldarstellung (b) ist auch eine direkte Konsequenz von 10.6.

Alternativer Beweis von Satz 10.13(b) Der Raum XN versehen mit der Pro-dukttopologie ist wieder polnisch und AN ist die Borelsche �-Algebra über XN

([17], Satz 1.3.12). Da für eine Folge .xn/ in XN die Konvergenz xn ! x in XN

gleichbedeutend mit der Konvergenz xni ! xi in X für alle i 2 N ist und somit

XN ! XN; x 7! gx für alle g 2 G stetig ist, kann man 10.6 anwenden. Nach 10.6und 10.11 gibt es genau ein � 2 M 1.˙.P// mit

P X DZ

P

Q0d�.Q0/;

wobei P WD fQN W Q 2 M 1.A/g. Für � WD �F �1mit dem Isomorphismus F aus

10.12 gilt dann � 2 M 1.˙.M 1.A/// und

P X DZ

P

Q0d�F .Q0/ DZ

M 1.A/

F.Q/�.Q/ DZ

M 1.A/

QNd�.Q/:

Die Eindeutigkeit von � folgt aus der von �. utOhne die obige Regularitätsvoraussetzung an den Zustandsraum .X ;A/ ist die

Existenzaussage von 10.13(b) im Allgemeinen falsch [94]. Die Eindeutigkeitsaus-sage bleibt allerdings richtig: Aus

ZQNd�1.Q/ D

ZQNd�2.Q/

für �i 2 M 1.˙.M 1.A/// folgt für m 2N, A1; : : : ; Am 2A und .n1; : : : ; nm/ 2Nm0 ,

n0 WD 0

Z

Œ0;1�m

mYiD1

xni

i d�.'A1

;:::;'Am /

1 .x/ DZ

QN� m\

iD1

ni�1Cni\j Dni�1C1

f�j 2 Ai g�d�1.Q/

DZ

Œ0;1�m

mYiD1

xni

i d�.'A1

;:::;'Am /

2 .x/

.Tni�1

ni�1C1 WD XN/. Weil eine Verteilung auf B.Œ0; 1�m/ eindeutig durch die (ge-mischten) .n1; : : : ; nm/-ten Momente, .n1; : : : ; nm/ 2 N

m0 bestimmt ist (dies ist

etwa eine Konsequenz des Approximationssatzes von Weierstraß), gilt

�.'A1

;:::;'Am /

1 D �.'A1

;:::;'Am /

2 :

10.2 Austauschbare Prozesse 349

Daher stimmen �1 und �2 auf dem durchschnittsstabilen Erzeuger

f.'A1; : : : ; 'Am

/�1.B/ W m 2 N; A1; : : : ; Am 2 A; B 2 B.Œ0; 1�m/gvon ˙.M 1.A// überein und sind somit gleich.

Besonders einfach und nützlich ist der Spezialfall X D f0; 1g.

Beispiel 10.14 Sei .X ;A/ D .f0; 1g;P.f0; 1g//. Die Integraldarstellung 10.13(b)hat dann die äquivalente Form

P X DZ

Œ0;1�

B.1; p/Nd�.p/

mit einer eindeutig bestimmten Verteilung � auf B.Œ0; 1�/, wobei B.1; p/ WD pı1 C.1 � p/ı0, also

P.X1 D x1; : : : ; Xn D xn/ DZ

Œ0;1�

pPn

iD1 xi .1 � p/n�PniD1 xi d�.p/

für .x1; : : : ; xn/ 2 X n. Dies folgt aus 10.13(b), weil

F W .Œ0; 1�;B.Œ0; 1�// ! .M 1.A/; ˙.M 1.A///; F .p/ WD B.1; p/

wegen F �1 D 'f1g ein Isomorphismus der messbaren Räume ist. Dabei ist

� D .P K/F �1 D P Z

mit

Z WD K. � ; f1g/ D P.X1 D 1jAN.G/X / D E.X1jAN.G/X /:

Wegen K D Zı1C.1�Z/ı0 DW B.1; Z/ gilt �.Z/ D �.K/ und daher hat 10.13(a)die Form

P X jZ D B.1; Z/N:

Beispiel 10.15 (Pólyas Urnenmodell) In der Situation von Beispiel 1.7(e) sei

Vn WD 1fUn�Xn�1g

für n � 1, wobei Vn D 1 bedeutet, dass die zum Zeitpunkt n gezogene Kugel rotist. Dann ist V WD .Vn/n�1 ein austauschbarer Prozess, denn .Vn/n�0 mit V0 WD 0

ist F-adaptiert,

P.Vn D 1jFn�1/ D E.VnjFn�1/ D Xn�1

D Yn�1

r C s C m.n � 1/D r C m

Pn�1iD1 Vi

r C s C m.n � 1/

350 10 Invarianz, Austauschbarkeit und U -Statistiken

für n � 1 und daher mit Taking out what is known

P.V1 D x1; : : : ; Vn D xn/ D E�n�1Y

iD1

1fVi Dxi gP.Vn D xnjFn�1/�

D E

n�1YiD1

1fVi Dxi g�

r C mwn�1

r C s C m.n � 1/1f1g.xn/ C s C m.n � 1 � wn�1/

r C s C m.n � 1/1f0g.xn/

�

für .x1; : : : ; xn/ 2 f0; 1g und wj WD PjiD1 xi . Mit Induktion folgt

P.V1 D x1; : : : ; Vn D xn/ DQwn�1

iD0 .r C mi/Qn�1�wn

iD0 .s C mi/Qn�1iD0.r C s C mi/

:

Die rechte Seite der obigen Gleichung hängt nur von wn und nicht von der Rei-henfolge der x1; : : : ; xn ab. Also ist V wegen 10.7(a) austauschbar. Für die AnzahlPn

iD1 Vi der bis zum Zeitpunkt n (also nach n Zügen) gezogenen roten Kugeln folgt

P� nX

iD1

Vi D k�

D

n

k

!Qk�1iD0 .r C mi/

Qn�k�1iD0 .s C mi/Qn�1

iD0.r C s C mi/

D

n

k

!Qk�1iD0 . r

mC i/

Qn�k�1iD0 . s

mC i/Qn�1

iD0. rCsm

C i/

für k 2 f0; : : : ; ng. Das ist die Zähldichte der Pólya-Verteilung mit Parameternr=m; s=m und n. Im Fall r D s D m erhält man die Laplace-Verteilung auff0; : : : ; ng.

Wir können das darstellende Maß � 2 M 1.B.Œ0; 1�// für P V aus 10.14 identifi-zieren. Wegen

Z

Œ0;1�

pnd�.p/ D P.V1 D 1; : : : ; Vn D 1/

DQn�1

iD0. rm

C i/Qn�1iD0. rCs

mC i/

D . rm

C n/ . sCrm

/

. rCsm

C n/ . rm

/

für n � 1 stimmen die n-ten Momente von � mit denen der Beta.a; b/-Verteilungmit Parametern a D r=m und b D s=m überein. (Die �-Dichte der Beta.a; b/-Verteilung für a; b > 0 ist

.a C b/

.a/ .b/ya�1.1 � y/b�11.0;1/.y/:/

Da eine Verteilung auf B.Œ0; 1�/ eindeutig durch die n-ten Momente, n 2 N be-stimmt ist, gilt � D Beta.r=m; s=m/. Speziell für r D s D m folgt � DBeta.1; 1/ D U.0; 1/.

10.3 U -Statistiken 351

Als direkte Konsequenz erhält man die Asymptotik des Anteils Xn der rotenKugeln zur Zeit n, die schon mit anderen Argumenten in 4.10(c) (für den Spezialfallr D s D m D 1) und Aufgabe 4.3 beschrieben wurde. Wegen 10.14 gilt � D P Z

mit Z D E.V1jAN.G/V / und nach 10.8 gilt

1

n

nXiD1

Vi ! Z f.s.;

also

Xn D r

r C s C mnC m

PniD1 Vi

r C s C mn! Z f.s.

für n ! 1 und P Z D Beta.r=m; s=m/.

10.3 U -Statistiken

Wir untersuchen hier die zentralen „Statistiken“ aus dem vorhergehenden Abschnittetwas ausführlicher. Dazu beschränken wir uns auf den ergodischen Fall, also aufunabhängige Folgen X D .Xn/n�1 identisch verteilter .X ;A/-wertiger Zufallsva-riablen. Die Gruppen G und Gn seien wie in Abschn. 10.2 definiert.

Für m 2 N, eine messbare Gm-invariante Funktion f W .Xm;Am/ ! .R;B.R//

und n � m sei

Un D Un.f / WD 1�nm

�X

1�i1<:::<im�n

f .Xi1 ; : : : ; Xim/:

Un heißt U -Statistik mit Kern f . Dabei sind die Summanden identisch verteilt(aber für m � 2 nicht unabhängig) und

�nm

�ist die Anzahl der Summanden. Für

Kerne mit f .X1; : : : ; Xm/ 2 L1 gilt also

EUn D Ef .X1; : : : ; Xm/ DW #

für alle n � m. U -Statistiken spielen wegen ihrer Optimalitätseigenschaften einewichtige Rolle in der statistischen Theorie erwartungstreuer Schätzer. (Das U imNamen steht für „unbiased“, was hier „erwartungstreu“ bedeutet.)

Wegen der Gm-Invarianz von f gilt

Un D .n � m/Š

nŠ

Xg2Hn;m

f .Xg.1/; : : : ; Xg.m//;

wobei Hn;m die Menge der injektiven Abbildungen von f1; : : : ; mg nach f1; : : : ; ngbezeichnet, und wie im Beweis von 10.10 folgt

Un D 1

nŠ

Xg2Gn

f .Xg.1/; : : : ; Xg.m//:

352 10 Invarianz, Austauschbarkeit und U -Statistiken

Falls f .X1; : : : ; Xm/ 2 L1, ist damit .U�n/n��m nach dem Beweis von 10.8 einMartingal bezüglich der Filtration .AN.G�n/X /n��m, und 10.8 und 10.11 lieferndas starke Gesetz der großen Zahlen für U -Statistiken:

Un ! # f.s. und in L1

für n ! 1.Für einen Kern f mit f .X1; : : : ; Xm/ 2 L1 seien noch

fk.x1; : : : ; xk/ WD Ef .x1; : : : ; xk ; XkC1; : : : ; Xm/

für 1 � k � m � 1, f0 WD # , fm WD f und

�2k WD Var fk.X1; : : : ; Xk/ .2 Œ0; 1�/

für 0 � k � m. Die Funktionen fk sind ..P X1 /k-fast sicher definiert und reell und)offenbar Gk-invariant.

Satz 10.16 (Varianzformel und CLT, Hoeffding) Ist f .X1; : : : ; Xm/ 2 L1, so giltEfk.X1; : : :, Xk/ D # für alle 0 � k � m und

0 D �20 � �2

1 � : : : � �2m � 1:

Falls f .X1; : : : ; Xm/ 2 L2, gelten

Var Un D 1�nm

�mX

kD1

m

k

! n � m

m � k

!�2

k

für n � m (�

nj

� WD 0, falls n < j ), n Var Un ! m2�21 und

pn.Un � #/ ! N.0; m2�2

1 / mischend

für n ! 1.

Im Fall �21 > 0 ist der obige zentrale Grenzwertsatz gleichbedeutend mit

Un � EUnpVar Un

! N.0; 1/ mischend:

Beweis Nach der Substitutionsregel A.19 gilt für 1 � k � m � 1

fk.X1; : : : ; Xk/ D E.f .X1; : : : ; Xm/jX1; : : : ; Xk/

und damit Efk.X1; : : : ; Xk/ D # . Wegen der Turmeigenschaft folgt für 1 � k <

r � m

fk.X1; : : : ; Xk/ D E.fr .X1; : : : ; Xr /jX1; : : : ; Xk/;

was mit der bedingten Jensen-Ungleichung �2k

� �2r impliziert.

10.3 U -Statistiken 353

Sei nun f .X1; : : : ; Xm/ 2 L2. Mit XK WD .Xi /i2K für K � f1; : : : ; ng; K 6D ;gilt

Var Un D 1�nm

�2X

jKjDjLjDm

Kov.f .XK/; f .XL//

für n � m. Ist K \ L D ;, so sind f .XK/ und f .XL/ unabhängig und man erhältKov.f .XK/; f .XL// D 0. Für 1 � k WD jK \ Lj � m gilt

Kov.f .XK/; f .XL// D Var fk.XK\L/ D �2k

und ferner

jf.K; L/ W K; L � f1; : : : ; ng; jKj D jLj D m;

jK \ Lj D kgj D

n

m

! m

k

! n � m

m � k

!;

denn ein Paar .K; L/ ensteht etwa indem man zuerst K auswählt, dann eine k-elementige Teilmenge von K und schließlich eine .m � k/-elementige Teilmengevon f1; : : : ; ng n K . Es folgt

Var Un D 1�nm

�2mX

kD1

XjKjDjLjDmjK\LjDk

�2k

D 1�nm

�mX

kD1

m

k

! n � m

m � k

!�2

k :

Wegen�

nm

�=nm ! 1=mŠ und

n � m

m � k

!=nm�k ! 1=.m � k/Š

für n ! 1 impliziert die Varianzformel n Var Un ! m2�21 .

Für

OUn WD m

n

nXj D1

.f1.Xj / � #/; n � 1

gilt schließlich nach dem klassischen stabilen zentralen Grenzwertsatz 5.33p

n OUn ! N.0; m2�21 / mischend:

Wegen E.f .XK/jXj / D f1.Xj / für j 2 K � f1; : : : ; ng; jKj D m undE.f .XK/jXj / D # für j 2 f1; : : : ; ng n K folgt für j 2 f1; : : : ; ng

E.Un � #jXj / D 1

nm

XjKjDmj 2K

.f1.Xj / � #/ D�

n�1m�1

��

nm

� .f1.Xj / � #/

D m

n.f1.Xj / � #/ D E. OUnjXj /

354 10 Invarianz, Austauschbarkeit und U -Statistiken

und damit

E.Un � # � OUn/ OUn D m

n

nXj D1

E.Un � # � OUn/.f1.Xj / � #/

D m

n

nXj D1

EE.Un � # � OUnjXj /.f1.Xj / � #/ D 0:

Wegen Var OUn D m2�21 =n erhält man

nE.Un � # � OUn/2 D n.Var Un � Var OUn/ ! 0;

und dies impliziert wegen 5.29p

n.Un � #/ D pn. OUn C Un � # � OUn/ ! N.0; m2�2

1 / mischend: utBeispiel 10.17 Sei .X ;A/ D .R;B.R//.

(a) Für m D 1 gilt Un D PniD1 f .Xi /=n.

(b) (Empirische Varianz) Für m D 2 und f .x1; x2/ WD 12.x1 �x2/2 gilt für n � 2

mit X WD PniD1 Xi=n und Yi WD Xi � X wegen

PniD1 Yi D 0

Un D 1�n2

�X

1�i<j �n

1

2.Xi � Xj /2 D 1�

n2

�X

1�i<j �n

1

2.Yi � Yj /2

D 1�n2

�nX

iD1

nXj D1

.Yi � Yj /2 D 2n�n2

�nX

iD1

Y 2i D 1

n � 1

nXiD1

.Xi � X/2:

Sei nun X1 2 L4 und �2 WD Var X1 > 0. Mit a WD EX1 und �4 WD E.X1 � a/4

gelten

# D Ef .X1; X2/ D �2; Un ! �2 f.s.;

f1.x1/ D 1

2E.x1 � X2/2 D 1

2.x1 � a/2 C �2

2;

�21 D Var f1.X1/ D 1

4.�4 � �4/ und

�22 D Var f .X1; X2/ D 1

2.�4 C �4/ > 0:

Aus 10.16 folgt

Var Un D 1

n.n � 1/.2.n � 2/�2

1 C �22 / D �4

n� .n � 3/�4

n.n � 1/

undp

n.Un � �2/ ! N.0; �4 � �4/ mischend:

Im Fall �21 D 0 ist der zentrale Grenzwertsatz 10.16 bedeutungslos. Kerne mit

�21 D 0 sind im folgenden Sinne mindestens einfach ausgeartet.

10.3 U -Statistiken 355

Definition 10.18 Sei f .X1; : : : ; Xm/ 2 L1. Der Kern f heißt k-fach ausgeartetfür 0 � k � m � 1, falls �2

kD 0 < �2

kC1. f heißt nicht ausgeartet, falls f 0-fach

ausgeartet ist.

Nicht ausgeartete Kerne sind solche mit �21 > 0. Nach 10.16 ist ein k-fach aus-

gearteter Kern auch r-fach ausgeartet für r < k.Wir klären zunächst den Zusammenhang mit der Martingalstruktur von .Un/n�m.

(Da .Un/n�m nach Umparametrisierung der Zeit stets ein Martingal ist, geht es jetztum die Martingaleigenschaft ohne diese Umparametrisierung.) Sei F WD F

X .

Satz 10.19 (Doob-Zerlegung) Sei f .X1; : : : ; Xm/ 2 L1. Für den F-KompensatorA der denormalisierten U -Statistiken .

�nm

�Un/n�m gilt

An DnX

j DmC1

j � 1

m � 1

!Uj �1.fm�1/:

Insbesondere ist .�

nm

�Un/n�m ein F-Martingal, falls f .m � 1/-fach ausgeartet und

# D 0 ist.

Für m D 1 gilt An D .n � 1/# . Dies ist nach 1.20(a) bekannt.

Beweis Durch Yn WD �nm

�Un für n � m wird ein F-adaptierterL1-Prozess definiert.

Für n > m gilt

Yn D Yn�1 CX

1�i1<:::<im�1�n�1

f .Xi1 ; : : : ; Xim�1; Xn/

und damit wegen der Substitutionsregel A.19

E.�YnjFn�1/ DX

1�i1<:::<im�1�n�1

E.f .Xi1 ; : : : ; Xim�1; Xn/jFn�1/

DX

1�i1<:::<im�1�n�1

fm�1.Xi1 ; : : : ; Xim�1/

D

n � 1

m � 1

!Un�1.fm�1/:

Dies liefert die behauptete Darstellung des F-Kompensators von Y (1.13). Ist# D 0 und f .m � 1/-fach ausgeartet, so gilt fm�1.X1; : : : ; Xm�1/ D 0 f.s.,also auch fm�1.Xi1 ; : : : ; Xim�1

/ D 0 f.s. für paarweise verschiedene ij . Es folgtUn.fm�1/ D 0 f.s. für alle n � m, was A D 0 f.s. impliziert. ut

Wir konzentrieren uns jetzt auf den Martingalfall. Ist f .X1; : : : ; Xm/ 2 L2

und f .m � 1/-fach ausgeartet, so gilt nach 10.16 nm Var Un ! mŠ�2m wegen

nm=�

nm

� ! mŠ, insbesondere also nm2

�".Un � #/L2

! 0 für n ! 1 und " > 0.Wir zeigen, dass sogar fast sichere Konvergenz gilt.

356 10 Invarianz, Austauschbarkeit und U -Statistiken

Satz 10.20 (Konvergenzgeschwindigkeit im SLLN) Ist f .X1; : : : ; Xm/ 2 L2 undf .m � 1/-fach ausgeartet, so gilt

nm2

�".Un � #/ ! 0 f.s.

für n ! 1 und jedes " > 0.

Beweis Nach 10.19 wird wegen Un � # D Un.f � #/ durch Mn WD �nm

�.Un � #/

für n � m ein L2-Martingal definiert. Für die Zuwächse des Submartingales M 2

gilt mit der Varianzformel 10.16 wegen �21 D : : : D �2

m�1 D 0 < �2m < 1

E.�Mn/2 D E�M 2n D

n

m

!2

Var Un �

n � 1

m

!2

Var Un�1

D �2m

n

m

!�

n � 1

m

!!D m�2

m

�nm

�

n

für n � m C 1. Mit an WD nm=2C" folgt

1XnDmC1

E.�M 2n /

a2n

D m�2m

1XnDmC1

�nm

�

nmn1C2"< 1:

Das starke Gesetz der großen Zahlen 5.4(a) (oder 5.6(a)) liefert nun

Mn

an

! 0 f.s.

und man erhält

nm2 �".Un � #/ D nm

�nm

�Mn

an

! 0 f.s. ut

In der Situation von 10.20 gilt für das durch Mn WD �nm

�.Un � #/ definierte

Martingal M neben

Mn

nm=2C"! 0 f.s.

auch

hM in

nmC"! 0 f.s. und

ŒM �n

nmC"! 0 f.s.

für n ! 1 und alle " > 0. Dies folgt aus dem Kronecker-Lemma 5.1, denn we-gen der im Beweis gezeigten Konvergenz von

P1nDmC1 E.�Mn/2=nmC" geltenP1

nDmC1 E..�Mn/2jFn�1/= nmC" < 1 f.s. undP1

nDmC1.�Mn/2=nmC" < 1 f.s.Die zentralen Grenzwertsätze aus Kap. 5 sind im Martingalfall für m � 2 nicht

anwendbar: Un ist nicht asymptotisch normal (oder gemischt normal). Wie beschrei-ben für den Fall m D 2 die Klasse der möglichen Limesverteilungen.

10.3 U -Statistiken 357

Satz 10.21 (Limesverteilungen) Seien m D 2; f .X1; X2/ 2 L2 und f einfachausgeartet. Dann gilt

n.Un � #/ !Xj 2J

�j .Z2j � 1/ mischend

für n ! 1, wobei J D f1; : : : ; Kg mit K 2 N oder J D N; .Zj /j 2J eine un-abhängige Folge N.0; 1/-verteilter Zufallsvariablen ist und .�j /j 2J die von Nullverschiedenen Eigenwerte des Integraloperators

S W L2.P X1 / ! L2.P X1 /;

Sh WDZ

h.x1/.f .x1; � / � #/dP X1 .x1/ D Eh.X1/.f .X1; � / � #/

sind.

Die obige mischende Konvergenz ist als

n.Un � #/ ! � mischend

für die Verteilung � vonP

j 2J �j .Z2j � 1/ zu lesen. Erläuterungen zur Konvergenz

dieser Reihe und zu dem Operator S findet man im Beweis.

Beweis Wir können ohne Einschränkung # D 0 annehmen.1. Wir beginnen mit Bemerkungen zu dem Operator S und bezeichnen dazu mit

k � k und h � ; � i die Norm und das Skalarprodukt sowohl in L2.P X1 / als auch inL2.P X1 ˝ P X1 /. Wegen

Zkf . � ; x2/k2dP X1 .x2/ D kf k2 < 1

gilt f . � ; x2/ 2 L2.P X1 / für P X1 -fast alle x2 2 X und somit ist Sh für h 2L2.P X1 / P X1 -fast sicher definiert und reell. Die Cauchy-Schwarz-Ungleichungliefert für h 2 L2.P X1 /

kShk2 �Z �Z

jh.x1/ C f .x1; x2/jdP X1 .x1/

2

dP X1 .x2/

�“

h2dP X1

Zf .x1; x2/2dP X1 .x1/dP X1 .x2/

D khk2kf k2 < 1;

also Sh 2 L2.P X1 /. Damit ist S ein linearer stetiger Operator mit kSk � kf k.Operatoren von diesem Typ mit Kernen f 2 L2.P X1 ˝ P X1 / heißen Hilbert-Schmidt Operatoren. Wegen der G2-Invarianz von f ist S symmetrisch, das heißt

hSh; ki D hh; Ski

358 10 Invarianz, Austauschbarkeit und U -Statistiken

für h; k 2 L2.P X1 /. Für solche Operatoren S existiert eine abzählbare Orthonor-malbasis .hj /j 2J von .Ker S/? aus Eigenvektoren von S , also

Shj D �j hj ; j 2 J

mit zugehörigen reellen Eigenwerten .�j /j 2J ([37], Satz 16.2). Wegen 0 < �22 D

Var f .X1; X2/ D kf k2 gilt dim.Ker S/? � 1 und daher J 6D ; , denn S D 0

impliziert

0 D h1A1; S1A2

i DZ

A1�A2

fdP X1 ˝ P X1

für alle A1; A2 2 A und damit f D 0. Aus hj 2 .Ker S/? folgt �j 6D 0 für allej 2 J . Ohne Einschränkung sei J D f1; : : : ; Kg mit K 2 N oder J D N.

Weil f einfach ausgeartet und # D 0 ist, gilt S1 D f1 D 0, also 1 2 Ker S . Esfolgt für alle j 2 J

Ehj .X1/ D hhj ; 1i D 0; Var hj .X1/ D Ehj .X1/2 D khj k2 D 1

und

Kov.hj .X1/; hk.X1// D Ehj .X1/hk.X1/ D hhj ; hki D 0 für j 6D k:

Wegen S.L2.P X1 // � .Ker S/? gilt die Spektraldarstellung

Sh DXj 2J

hSh; hj ihj DXj 2J

hh; Shj ihj DXj 2J

�j hh; hj ihj in L2.P X1 /

für alle h 2 L2.P X1 /, und hj D S.hj =�j / 2 S.L2.P X1 // für alle j 2 J impliziert

S.L2.P X1 // D .Ker S/?:

Da .hj ˝ hj /j 2J mit hj ˝ hj .x1; x2/ WD hj .x1/hj .x2/ eine orthonormale Folge inL2.P X1 ˝ P X1 / ist, gilt ferner mit der Bessel-Ungleichung

Xj 2J

�2j D

Xj 2J

hShj ; hj i2 DXj 2J

hf; hj ˝ hj i2 � kf k2 < 1:

Die Konvergenz der ReiheP

j 2J �2j impliziert die L2.P X1 ˝ P X1 /-Konvergenz

der ReiheP

j 2J �j hj ˝ hj , und man erhält die Fourier-Entwicklung

f DXj 2J

�j hj ˝ hj

von f , denn für alle Ai 2 A giltZ

A1�A2

Xj 2J

�j hj ˝ hj dP X1 ˝ P X1 DXj 2J

�j hhj ; 1A1ihhj ; 1A2

i

D hS1A1; 1A2

i DZ

A1�A2

fdP X1 ˝ P X1 :

10.3 U -Statistiken 359

Insbesondere gilt damit

kf k2 DXj 2J

�2j :

2. Für f N WD PNkD1 �khk ˝ hk mit N 2 J gilt

nUn.f N / !NX

kD1

�k.Z2k � 1/ mischend

für n ! 1. Dies folgt aus der Darstellung

Un.f N / D .n � 2/Š

nŠ

X1�i 6Dj �n

f N .Xi ; Xj /

D 1

n.n � 1/

h nXi;j D1

f N .Xi ; Xj / �nX

iD1

f N .Xi ; Xi /i

D 1

n.n � 1/

NXkD1

�k

h� nXiD1

hk.Xi /�2 �

nXiD1

hk.Xi /2i;

also

.n � 1/Un.f N / DNX

kD1

�k

�1pn

nXiD1

hk.Xi /

2

�NX

kD1

�k

�1

n

nXiD1

hk.Xi /2

für n � 2. Wegen 1. ist der Zufallsvektor .h1.X1/; : : : ; hN .X1// zentriert und seineKovarianzmatrix ist die Einheitsmatrix. Daher folgt aus dem klassischen stabilen(univariaten) zentralen Grenzwertsatz 5.33 mit der Cramér-Wold-Technik gemäßder Bemerkung nach 5.27

1pn

nXiD1

.h1.Xi /; : : : ; hN .Xi // ! .Z1; : : : ; ZN / mischend;

und wegen der Stetigkeit der Funktion RN ! R, y 7! PN

kD1 �ky2k

und 5.29(b)erhält man

NXkD1

�k

�1pn

nXiD1

hk.Zi /

2

!NX

kD1

�kZ2k mischend

für n ! 1. Das starke Gesetz der großen Zahlen von Kolmogorov liefert

NXkD1

�k

�1

n

nXiD1

hk.Xi /2

!

NXkD1

�k f.s.

wegen Ehk.X1/2 D 1, was die Behauptung 2. wegen 5.29 impliziert.

360 10 Invarianz, Austauschbarkeit und U -Statistiken

3. Sei nun J D N. Für

WN WDNX

kD1

�k.Z2k � 1/; N 2 N

gilt mit 1.

EW 2N D

NXkD1

�2kE.Z2

k � 1/2 D 2

NXkD1

�2k � 2

1XkD1

�2k < 1:

Damit ist .WN /N �1 nach 1.7(a) ein L2-beschränktesFZ-Martingal und aus 4.1 folgt

WN ! W WD1X

kD1

�k.Z2k � 1/ f.s.

für N ! 1. Insbesondere gilt die schwache Konvergenz �N ! � für �N WD P WN

und � WD P W . Wegen

f N1 .x1/ D Ef N .x1; X2/ D

NXkD1

�khk.x1/Ehk.X2/ D 0

ist auch f N und damit der Kern f � f N einfach ausgeartet. Die Varianzformel10.16 und 1. liefern daher wegen E.f � f N /.X1; X2/ D 0

n2EjUn � Un.f N /j2 D n2EUn.f � f N /2 D n2 Var Un.f � f N /

D n2

�n2

� Var.f .X1; X2/ � f N .X1; X2//

D 2n

n � 1kf � f N k2 � 4

1XkDN C1

�2k

für alle n � 2 und N � 1, also mit 1.

limN !1 lim sup

n!1n2EjUn � Un.f N /j2 D 0:

Die Behauptung des Satzes folgt nun wegen 2. und der Markov-Ungleichung aus5.30. ut

Für das Martingal Mn D �n2

�.Un � #/; n � m bedeutet Satz 10.21

Mn

n! 1

2

Xj 2J

�j .Z2j � 1/ mischend:

Das erste der folgenden Beispiele zeigt, dass man im zentralen Grenzwertsatz5.31 die stochastische Konvergenz in 5.31(i) im Allgemeinen nicht durch die Ver-teilungskonvergenz ersetzen kann.

10.3 U -Statistiken 361

Beispiel 10.22 Sei .X ;A/ D .R;B.R//.(a) Seien m D 2, f .x1; x2/ WD x1x2; X1 2 L2 und �2 WD Var X1 > 0. Dann gilt

# D .EX1/2 und für n � 2

Un D 1�n2

�nX

j D2

Xj

j �1XiD1

Xi ;

f1.x1/ D x1EX1; �21 D #�2 und �2

2 D .�2 C #/2 � #2 > 0:

Der zentrale Grenzwertsatz 10.16 liefertp

n.Un � #/ ! N.0; 4#�2/ mischend:

Einfache Ausartung liegt unter # D 0, also im zentrierten Fall EX1 D 0 vor. Indiesem Fall hat der Kern f � # D f die Darstellung f .x1; x2/ D �2h1.x1/h1.x2/

mit der L2.P X1 /-normierten Funktion h1.x/ WD x=� . Daher gilt für den Opera-tor S

Sh D �2h1

Zhh1dP X1 :

Es folgt dim.Ker S/? D dim S.L2.P X1 // D 1 und �2 ist der einzige von Nullverschiedene Eigenwert von S mit zugehörigem Eigenvektor h1. Aus 10.21 folgt

nUn ! �2.Z2 � 1/ mischend

und für das Martingal Mn D �n2

�Un

Mn

n! 1

2�2.Z2 � 1/ mischend

mit P Z D N.0; 1/. (Für einen einfachen direkten Beweis vergleiche man Teil 2 desBeweises von 10.21.)

Mit Nn WD PniD1 Xi für n � 0;F0 WD f;; ˝g und M0 D M1 WD 0 gilt M D

N� N auf N0. Für die quadratische Charakteristik von M folgt nach 1.19

hM in D .N 2� hN i/n D �2

nXj D2

�j �1XiD1

Xi

�2

und damit

hM in

n2

d! �4Y

für eine positive reelle Zufallsvariable Y ([17], Satz 10.1.16).Für den Leser mit Kenntnissen in der Theorie zeitstetiger Prozesse: Es gilt

Y D R 1

0W 2

t dt für eine Brownsche Bewegung .Wt /t2Œ0;1�. Dies ist plausibel, weil

.Z2 � 1/=2dD .W 2

1 � 1/=2 D .W W /1 und Y D hW W i1.

362 10 Invarianz, Austauschbarkeit und U -Statistiken

Wir zeigen, dass M unter der Voraussetzung X1 2 Lp für ein p > 2 die bedingteLyapunov-Bedingung und damit wegen 5.32(a) die bedingte Lindeberg-Bedingung(mit Rate an D n) erfüllt. Es gilt

1

np

nXj D1

E.j�Mj jpjFj �1/ D 1

np

nXj D1

E�ˇ̌ˇXj

j �1XiD1

Xi

ˇ̌ˇp ˇ̌ˇFj �1

�

D 1

np

nXj D1

ˇ̌ˇj �1XiD1

Xi

ˇ̌ˇp

EjX1jp:

Für b WD .p � 1/=p gilt wegen b > 1=2 nach 5.5

jPn�1iD1 Xi jpnpb

! 0 f.s.;

und die diskrete Regel von de l’Hospital 5.37(b) liefert wegenPn

j D1 j pb npbC1=.pb C 1/ und pb C 1 D p

Pnj D1 jPj �1

iD1 Xi jpnp

! 0 f.s.

für n ! 1.Demnach kann man im zentralen Grenzwertsatz 5.31 die stochastische Konver-

genz der skalierten quadratischen Charakteristik nicht durch die Verteilungskonver-genz ersetzen, denn die Verteilung der obigen Limesvariable ist nicht symmetrisch(bezüglich 0) und daher keine Mischung von zentrierten Normalverteilungen.

(b) (Empirische Varianz) In der Situation von Beispiel 10.17(b) sei f einfachausgeartet, also �2

1 D .�4 � �4/=4 D 0 oder Var.X1 � a/2 D 0. Dies ist äquivalentzu .X1 � a/2 D �2 f.s., was P.X1 2 fa C �; a � �g/ D 1 bedeutet. Wegena D EX1 gilt P.X1 D a C �/ D P.X1 D a � �/ D 1=2. Dies ist eine sehrausgeartete Situation. Für den Kern f � �2 erhält man die Darstellung

f .x1; x2/ � �2 D 1

2.x1 � x2/2 � �2 D ��2h1.x1/h1.x2/ P X1 ˝ P X1 -f.s.

mit der L2.P X1 /-normierten Funktion h1.x/ WD .x � a/=� , und wie in (a) folgt

n.Un � �2/ ! ��2.Z2 � 1/ mischend

mit P Z D N.0; 1/.(c) (Cramér-von Mises Statistik) Sei F die Verteilungsfunktion von P X1 . Wir

untersuchen den Cramér-von Mises Abstand zwischen der durch

Fn.x/ WD 1

n

nXiD1

1.�1;x�.Xi /

10.3 U -Statistiken 363

für x 2 R definierten empirischen Verteilungsfunktion und F , nämlich

Vn WDZ

jFn � F j2dP X1 :

Wenn F stetig ist kann man wegen P F .X1/ D U.0; 1/ den allgemeinen Fall aufden Fall U.0; 1/-verteilter Zufallsvariablen reduzieren. Wir nehmen im FolgendenP X1 D U.0; 1/ an. Dann gilt für n � 2

Vn D1Z

0

jFn.x/ � xj2dx D 1

n2

nXiD1

nXj D1

1Z

0

.1Œ0;x�.Xi / � x/.1Œ0;x�.Xj / � x/dx

D 1

n2

nXiD1

nXj D1

f .Xi ; Xj / D 2�

n2

�

n2Un.f / C 1

n2

nXiD1

f .Xi ; Xi /

mit

f .x1; x2/ WD1Z

0

.1Œ0;x�.x1/ � x/.1Œ0;x�.x2/ � x/dx D 1

2.x2

1 C x22/ � x1 _ x2 C 1

3

für xi 2 Œ0; 1�. Wegen E1Œ0;x�.X2/ D x für x 2 Œ0; 1� erhält man

f1.X1/ D Ef .x1; X2/ D1Z

0

.1Œ0;x�.x1/ � x/.E1Œ0;x�.X2/ � x/dx D 0:

Damit ist f einfach ausgeartet und # D 0. Für die von Null verschiedenen Eigen-werte des Integraloperators auf L2.P X1 / mit Kern f gilt

�j D j �2��2; j 2 N

([56], Beispiel 5.136). Ferner gilt Ef .X1; X1/ D 1=6. Aus 10.21 und dem starkenGesetz der großen Zahlen von Kolmogorov folgt die mischende Konvergenz

nVn D .n � 1/Un.f / C 1

n

nXiD1

f .Xi ; Xi /

!1X

j D1

j �2��2.Z2j � 1/ C 1

6D

1Xj D1

j �2��2Z2j

wegenP1

j D1 j �2 D �2=6. (Die Limesvariable ist übrigens verteilungsgleich mitR 1

0 B2t dt für eine Brownsche Brücke .Bt /t2Œ0;1�.)

Es ist nicht untypisch, dass für Parameter im Martingalfall Singularitäten auftre-ten und Limesverteilungen von Schätzern sich ziemlich drastisch von der Normal-verteilung (oder Varianzmischungen von Normalverteilungen wie in 5.38(b) und9.10) unterscheiden [125].

364 10 Invarianz, Austauschbarkeit und U -Statistiken

Aufgaben

10.1 Zeigen Sie, dass Q 2 M 1.A; G/ genau dann G-ergodisch ist, wenn es keinQ1 2 M 1.A; G/ mit Q1 6D Q und Q1 � Q gibt.

10.2 Seien X D f0; 1gN0 und A die Potenzmenge von X . Zeigen Sie

ex M 1.A/ D fıx W x 2 X g:Dieses Resultat ist bemerkenswert, weil A nicht abzählbar erzeugt ist (denn sonstwäre jAj � jRj, während jAj D 2jRj > jRj wegen jX j D jRj/ .

10.3 Seien Q1 2 M 1.A/ und Q2 2 M 1.A; G/ mit Q1 � Q2. Zeigen Sie, dassQ1 2 M 1.A; G/ genau dann gilt, wenn

dQ1

dQ2

ı g D dQ1

dQ2

Q2-f.s.

für alle g 2 G.

10.4 (Invarianz und Minimalsuffizienz) Zeigen Sie, dass A.G/ minimalsuffizientfür Q WD M 1.A; G/ ist, sobald A.G/ suffizient für Q ist. Dabei heißt eine suffizi-ente Unter-�-Algebra B0 � A minimalsuffizient für Q, falls B0 � B1 Q-f.s. fürjede andere suffiziente Unter-�-Algebra B1 � A gilt. Die Relation B0 � B1 Q-f.s.bedeutet, dass es für alle A0 2 B0 ein A1 2 B1 gibt mit Q.A0�A1/ D 0 für alleQ 2 Q. (Die Minimalsuffizienz von B0 ist äquivalent zur Minimalität von B0, alsoaus B1 � B0 Q-f.s. für eine suffiziente Unter-�-Algebra B1 � A folgt B1 D B0

Q-f.s. [70]).Hinweis: QjA.G/ ist vollständig, das heißt aus

ZfdQ D 0 für f 2

\Q2Q

L1.A.G/; Q/

und alle Q 2 Q folgt f D 0 Q-f.s. für alle Q 2 Q. Dies impliziert die Minimal-suffizienz von A.G/.

10.5 (Endliche Gruppen) Seien G eine endliche Gruppe und A abzählbar erzeugt.Zeigen Sie, dass A.G/ abzählbar erzeugt ist und

ex M 1.A; G/ D

1

jGjXg2G

ıgx W x 2 X�:

Hinweis: Für den durch K.x; � / WD 1jGjP

g2G ıgx auf .X ;A/ definiertenMarkov-Kern gilt �.K/ D A.G/. Daher ist A.G/ abzählbar erzeugt und die G-ergodischen Maße sind Dirac-Maße auf A.G/ nach Satz 10.3 und der Bemerkungnach Satz 10.2. Die Behauptung folgt aus Satz 10.5.

In den restlichen Aufgaben sei G wie in Abschn. 10.2 die Gruppe der endlichenPermutationen von N und Gn D fg 2 G W g.j / D j für alle j > ng.

Aufgaben 365

10.6 Seien X D .Xn/n�1 ein austauschbarer .X ;A/-wertiger Prozess, Y eine vonX unabhängige .Y;B/-wertige Zufallsvariable und f W .X �Y;A ˝B/ ! .Z; C/.Zeigen Sie, dass der Prozess .f .Xn; Y //n�1 austauschbar ist.

10.7 (Positive Korrelation) Sei X D .Xn/n�1 ein austauschbarer reeller Prozessmit X1 2 L2. Zeigen Sie, dass Kov.Xj ; Xk/ D Kov.X1; X2/ für j; k 2 N; j 6D k

und

Kov.X1; X2/ � 0:

10.8 Seien X D .Xn/n�1 ein austauschbarer reeller Prozess mit X1 2 L1 undUn WD Pn

iD1 Xi=n. Zeigen Sie

EjUnj � EjUn�1j für n � 2;

P.supn�1

jUnj � a/ � 1

aEjX1j für a > 0

und

E supn�1

jUnjp � p

p � 1EjX1jp für 1 < p < 1:

Hinweis: Satz 3.3.

10.9 Seien X eine .X ;A/-wertige Zufallsvariable, f W .X ;A/ ! .R;B.R// mess-bar mit f .X/ 2 L1 und B � A eine Unter-�-Algebra. Zeigen Sie

EP .f .X/jX�1.B// D EP X .f jB/ ı X P -f.s.

Danach gilt speziell für jeden .X ;A/-wertigen Prozess X D .Xn/n�1 und f W.XN;AN/ ! .R;B.R// mit f .X/ 2 L1

EP .f .X/jAN.G/X / D EP X .f jAN.G// ı X P -f.s.

10.10 Seien .X ;A/ ein messbarer Raum und

T� D\n�1

�.�j ; j � n/

die �-terminale �-Algebra (über XN/ für den Prozess der Projektionen � D.�n/n�1. Zeigen Sie

TX D X�1.T� /

für jeden .X ;A/-wertigen Prozess X D .Xn/n�1.

10.11 (Terminale �-Algebren und Produktmaße) Seien .X ;A/ ein messbarer Raum,T� die �-terminale �-Algebra (Aufgabe 10.10) und Q 2 M 1.A/. Zeigen Sie, dassQNjT� kein Dirac-Maß ist, falls A die einelementigen Teilmengen von X enthältund Q kein Dirac-Maß ist.

Wegen T� � AN.G/ (Satz 10.9) verschärft dies die Bemerkung nach Satz 10.11,wonach QNjAN.G/ kein Dirac-Maß ist.

Hinweis: Für x 2 XN untersuche man das Ereignis lim infn!1f�n D xng.

366 10 Invarianz, Austauschbarkeit und U -Statistiken

10.12 (Austauschbarkeit und Terminalität) Seien X D .Xn/n�1 ein .Rd ;B.Rd //-wertiger Prozess und Yn WD Pn

iD1 Xi für n � 1. Zeigen sie TX � TY � AN.G/Xmit A WD B.Rd / und falls X austauschbar ist, TX D TY D AN.G/X f.s.

10.13 Sei H0 die von h W N ! N, h.n/ D n C 1 erzeugte Halbgruppe. Zeigen Sie

AN.H0/ � T� � AN.G/

und mit Suffizienzeigenschaften

AN.H0/ D AN.G/ Q-f.s.

für Q WD M 1.AN; G/ (siehe Aufgabe 10.4).Hinweis: Wegen der Bemerkung nach Satz 10.8 und Aufgabe 10.4 ist AN.G/

minimalsuffizient für Q. Für AN.H0/ gilt

AN.H0/ D fA 2 AN W h�1.A/ D Ag;

und für A 2 AN und

fA WD lim supn!1

1

n C 1

nXj D0

1A ı hj

gilt nach dem Ergodensatz von Birkhoff ([53], Satz 6.12)

fA D EQ.1AjAN.H0// Q-f.s.

für alle Q 2 M 1.AN; H0/. Also ist AN.H0/ suffizient für M 1.AN; H0/ und damitwegen Lemma 10.7(c) für Q.

10.14 (Austauschbarkeit, Stationarität und Ergodizität) Zeigen Sie für die ergodi-schen stationären Verteilungen auf AN

ex M 1.AN; H0/ \ M 1.AN; G/ D ex M 1.AN; G/:

Hinweis: Satz 10.3, Lemma 10.7(c) und Aufgabe 10.13.

10.15 Seien X ein polnischer Raum, A die Borelsche �-Algebra über X undX D .Xn/n�1 ein austauschbarer .X ;A/-wertiger Prozess. Zeigen Sie, dass diepaarweise symmetrische Unabhängigkeit von X , das heißt

P .X1;X2/.A � A/ D P X1 .A/P X2 .A/

für alle A 2 A, schon die Unabhängigkeit der Folge X impliziert.Hinweis: Für K WD P X1jAN.G/X erhält man wegen Satz 10.10 VarK. � ; A/ D 0,

also K. � ; A/ D P X1 .A/ f.s. für alle A 2 A. Aus A.16(b) folgt K D P X1 f.s. unddamit P X D .P X1 /N nach Satz 10.13.

Aufgaben 367

10.16 (Pólyas Urnenmodell) Zeigen Sie in der Situation von Beispiel 1.7(e) für denAnteil Xn der roten Kugeln in der Urne zur Zeit n

P

�Xn D r C km

r C s C mn

D

1Z

0

B.n; p/.fkg/d�.p/

für k 2 f0; : : : ; ng mit � D Beta.r=m; s=m/.Hinweis: Beispiel 10.15.

10.17 (U -Statistiken) Seinen X D .Xn/n�1 eine unabhängige Folge identischverteilter .X ;A/-wertiger Zufallsvariablen und f W .Xm;Am/ ! .R;B.R// ein.m � 1/-fach ausgearteter Gm-invarianter Kern mit f .X1; : : : ; Xm/ 2 L2. ZeigenSie für die U -Statistik mit Kern f

nm=2

.log n/s.Un � #/ ! 0 f.s.

für n ! 1 und s > 1=2. Dies ist eine Verbesserung von Satz 10.20.

10.18 Seien X D .Xn/n�1 eine unabhängige Folge identisch verteilter reeller Zu-fallsvariablen mit X1 2 L3, EX1 D 0 und �2 WD Var X1 > 0, m D 3 undf .x1; x2; x3/ WD Q3

iD1 xi . Zeigen Sie für die U -Statistik mit dem 2-fach ausge-arteten Kern f

n3=2Un ! �3.Z3 � 3Z/ mischend

mit P Z D N.0; 1/.Hinweis: Für n � 3 gilt

n3=2Un D n3

n.n � 1/.n � 2/

�1pn

nXj D1

Xj

3

��

3

n

nXj D1

X2j

�1pn

nXj D1

Xj

C 2

n3=2

nXj D1

X3j

�: