Kapitel 6Markov-Prozesse, Martingale und optimalesStoppen

Es gibt interessante Beziehungen zwischen der Martingaltheorie und der Theorie derMarkov-Prozesse. Wir bringen hier grundlegende Definitionen und Eigenschaften,die für diesen Zusammenhang wichtig sind.

Sei .˝;F ; P / wie immer ein Wahrscheinlichkeitsraum, T D Œ˛; ˇ� \ Z ein Z-Intervall und F D .Fn/n2T eine Filtration in F . Für Folgen .an/ und .bn/ in R

bedeutet an � bn für n ! 1, dass limn!1 an=bn D 1.

6.1 Markov-Prozesse

Wir untersuchen .X ;A/-wertige Prozesse X für einen messbaren Raum .X ;A/,die eine einfache Abhängigkeitsstruktur haben. Ist Q ein Markov-Kern von .X ;A/

nach .Y;B/ für einen weiteren messbaren Raum .Y;B/ und � ein Wahrscheinlich-keitsmaß auf Ak für ein k 2 N, so wird durch

� ˝ Q.C / WD“

1C .x1; : : : ; xk ; y/Q.xk; dy/d�.x1; : : : ; xk/

für C 2 Ak ˝ B ein Wahrscheinlichkeitsmaß auf Ak ˝ B und durch

�Q.B/ WDZ

Q.xk; B/d�.x1; : : : ; xk/ D � ˝ Q.X k � B/

für B 2 B die Randverteilung von � ˝ Q auf B definiert. Einen Markov-Kern von.X ;A/ nach .X ;A/ nennen wir Markov-Kern auf .X ;A/.

Definition 6.1 Sei R ein Markov-Kern auf .X ;A/. Ein F-adaptierter .X ;A/-wertiger Prozess X D .Xn/n2T heißt (homogener) F-Markov-Prozess mit Über-gangskern R, falls

P.XnC1 2 AjFn/ D R.Xn; A/

für alle n 2 T; n < ˇ und A 2 A.

H. Luschgy, Martingale in diskreter Zeit, Springer-Lehrbuch Masterclass, 225DOI 10.1007/978-3-642-29961-2_6, © Springer-Verlag Berlin Heidelberg 2013

226 6 Markov-Prozesse, Martingale und optimales Stoppen

Für X gilt dann die (schwache) F-Markov-Eigenschaft

P.XnC1 2 AjFn/ D P.XnC1 2 AjXn/

für alle n 2 T; n < ˇ; A 2 A, denn aus der Turmeigenschaft folgt

P.XnC1 2 AjXn/ D E.P.XnC1 2 AjFn/jXn/ D E.R.Xn; A/jXn/ D R.Xn; A/:

Diese Eigenschaft bedeutet, dass der zukünftige Zustand XnC1 des Prozesses vonder n-Vergangenheit Fn nur durch die Gegenwart Xn abhängt. Der Markov-KernR.Xn; � / von .˝; �.Xn// nach .X ;A/ ist eine bedingte Verteilung von XnC1 unterFn und auch unter Xn, während der Markov-Kern R selbst eine bedingte Verteilungvon XnC1 unter Xn D x ist. Es gilt also

P Xn ˝ R D P .Xn;XnC1/

und insbesondere

P Xn R D P XnC1

für alle n 2 T; n < ˇ. Da der Übergangskern R nicht vom Zeitpunkt n 2 T abhängt,spricht man von der (zeitlichen) Homogenität des F-Markov-Prozesses X .

Ist G eine weitere Filtration in F mit FX � G � F, so ist X auch ein G-Markov-Prozess mit Übergangskern R: Mit der Turmeigenschaft gilt

P.XnC1 2 AjGn/ D E.P.XnC1 2 AjFn/jGn/ D E.R.Xn; A/jGn/ D R.Xn; A/

für n 2 T; n < ˇ und A 2 A. Insbesondere ist ein F-Markov-Prozess ein FX -

Markov-Prozess. Genauso wie für Martingale werden wir für Markov-Prozesse dieAbhängigkeit von der Filtration häufig nicht mehr explizit angeben.

Der Kern R beschreibt die 1-Schritt Übergangswahrscheinlichkeiten. Die k-Schritt Übergangskerne lassen sich folgendermaßen konstruieren. Für Markov-Kerne Q1 und Q2 auf .X ;A/ ist die durch

Q1Q2.x; A/ WD“

1A.x2/Q2.x1; dx2/Q1.x; dx1/

DZ

Q2.x1; A/Q1.x; dx1/ D Q1.x; � /Q2.A/

für x 2 X ; A 2 A definierte Komposition wieder ein Markov-Kern auf .X ;A/. Mitdem Satz von Fubini für Kerne folgt die Assoziativität der Komposition. Für k 2 N0

definieren wir Markov-Kerne Rk auf .X ;A/ rekursiv durch R0.x; � / WD ıx und fürk � 1

Rk WD Rk�1R:

Insbesondere gilt R1 D R. Wegen der Assoziativität erhalten wir die Chapman-Kolmogorov-Gleichungen

RkRm D RkCm

6.1 Markov-Prozesse 227

für alle k; m 2 N0, denn mit Induktion über m gilt RkRm D RkRm�1R DRkCm�1R D RkCm. Damit ist .Rk/k�0 eine kommutative Halbgruppe. Sie heißtMarkov-Halbgruppe von X .

Für f W .X ;A/ ! .R;B.R// und x 2 X sei

Rf .x/ WDZ

f .y/R.x; dy/;

falls f bezüglich R.x; � / quasiintegrierbar ist.

Lemma 6.2 (k-Schritt Übergangskerne) Für einen .X ;A/-wertigen Markov-Pro-zess X mit Übergangskern R gelten

P.XnCk 2 AjFn/ D Rk.Xn; A/ und E.f .XnCk/jFn/ D Rkf .Xn/

für alle n 2 T; k 2 N0 mit n C k 2 T; A 2 A und messbare Funktionen f W.X ; A/ ! .R;B.R//, falls f .XnCk/ P -quasiintegrierbar ist.

Beweis Die Gleichungen gelten für k D 0 wegen R0f .Xn/ D f .Xn/. DaR.Xn; � / eine bedingte Verteilung von XnC1 unter Fn ist, gilt die zweite Gleichungfür k D 1 und alle n wegen A.18(b). Damit folgt die erste Gleichung mit Induktionüber k. Sei dazu k � 2. Wir nehmen an, dass die erste Gleichung bei festem A fürk � 1 und alle n richtig ist. Dann liefert die Turmeigenschaft

P.XnCk 2 AjFn/ D E.P.XnC1Ck�1 2 AjFnC1/jFn/

D E.Rk�1.XnC1; A/jFn/

D R.Rk�1. � ; A//.Xn/

D RRk�1.Xn; A/ D Rk.Xn; A/

für alle n. Die zweite Gleichung für k � 2 folgt nun aus der ersten Gleichung wiefür k D 1. ut

Nach 6.2 gilt

P Xn ˝ Rk D P .Xn;XnCk/

und insbesondere für die Randverteilungen

P Xn Rk D P XnCk :

Wir zeigen jetzt, dass sämtliche endlichdimensionalen Randverteilungen ei-nes Markov-Prozesses (und damit seine Verteilung) durch seine eindimensiona-len Randverteilungen und den Übergangskern R eindeutig bestimmt sind. Im Fall˛ > �1 reichen dazu schon die Anfangsverteilung P X˛ und R. Für k; m 2 N undMarkov-Kerne Q1 von .X ;A/ nach .X k;Ak/ und Q2 von .X ;A/ nach .Xm;Am/

ist das durch

Q1 ˝ Q2.x; B/

WD“

1B.x1; : : : ; xkCm/Q2.xk ; d.xkC1; : : : ; xkCm//Q1.x; d.x1; : : : ; xk//

D Q1.x; � / ˝ Q2.B/

228 6 Markov-Prozesse, Martingale und optimales Stoppen

für x 2 X und B 2 AkCm definierte Produkt ein Markov-Kern von .X ;A/ nach.X kCm;AkCm/. Mit dem Satz von Fubini für Kerne erhält man die Assoziativitätdes Produkts, also .Q1 ˝ Q2/ ˝ Q3 D Q1 ˝ .Q2 ˝ Q3/ für einen weiterenMarkov-Kern Q3 von .X ;A/ nach .X r ;Ar /. Für k 2 N definieren wir rekursivProduktkerne Rk von .X ;A/ nach .X k ;Ak/ durch R1 WD R und für k � 2

Rk WD Rk�1 ˝ R:

Wegen der Assoziativität gilt dann

Rk.x; B/ DZ

: : :

Z1B.x1; : : : ; xk/R.xk�1; dxk/ : : : R.x; dx1/

für x 2 X ; B 2 Ak ,

Rk ˝ Rm D RkCm für k; m 2 N

und für die Randverteilungen

Rk.x;X k�1 � A/ D Rk.x; A/ für k � 2; x 2 X ; A 2 A;

� ˝ Rm.X k � � / D �Rk ˝ Rm�k für k; m 2 N; k < m;

� ˝ Rm.Xm � � / D �Rm für m 2 N;

wobei � ein Wahrscheinlichkeitsmaß auf A bezeichnet.

Satz 6.3 (Endlichdimensionale Randverteilungen) Seien X ein .X ;A/-wertigerProzess und R ein Markov-Kern auf .X ;A/. Dann ist X genau dann ein F

X -Markov-Prozess mit Übergangskern R, wenn

P .Xn;:::;XnCk/ D P Xn ˝ Rk

für alle n 2 T; k 2 N mit n C k 2 T . Falls ˛ > �1, ist dies äquivalent zu

P .X˛ ;:::;X˛Ck/ D P X˛ ˝ Rk

für alle k 2 N mit ˛ C k 2 T .

Beweis Sei X ein FX -Markov-Prozess mit Übergangskern R. Wir zeigen die For-

mel für die endlichdimensionalen Randverteilungen von X durch Induktion über k

bei festem n 2 T . Für k D 1 folgt dies aus der Definition 6.1. Für k � 2 undA0; : : : ; Ak 2 A gilt wegen C WD Tk�1

iD0 fXnCi 2 Aig 2 FXnCk�1

und der Indukti-

6.1 Markov-Prozesse 229

onsvoraussetzung

P .Xn;:::;XnCk /� kY

iD0

Ai

�

D P.C \ fXnCk 2 Akg/ DZ

C

R.XnCk�1; Ak/dP

DZ k�1Y

iD0

1Ai.xi /R.xk�1; Ak/dP .Xn;:::;XnCk�1/.x0; : : : ; xk�1/

DZ k�1Y

iD0

1Ai.xi /R.xk�1; Ak/dP Xn ˝ Rk�1.x0; : : : ; xk�1/

D P Xn ˝ Rk�1 ˝ R� kY

iD0

Ai

�D P Xn ˝ Rk

� kYiD0

Ai

�:

Weil fQkiD0 Ai W Ai 2 Ag ein durchschnittsstabiler Erzeuger von AkC1 ist, folgt

aus dem Eindeutigkeitssatz für Wahrscheinlichkeitsmaße

P .Xn;:::;XnCk/ D P Xn ˝ Rk:

Zum Beweis der Umkehrung sei n 2 T; n < ˇ und

En WDn n\

iDm

fXi 2 Ai g W m 2 T; m � n; Am; : : : ; An 2 Ao:

Dann ist En ein durchschnittsstabiler Erzeuger von FXn mit ˝ 2 En, und für F 2 En,

also F D TniDmfXi 2 Ai g, und A 2 A gilt

Z

F

R.Xn; A/dP DZ nY

iDm

1Ai.xi /R.xn; A/dP .Xm ;:::;Xn/.xm; : : : ; xn/

D P Xm ˝ Rn�m ˝ R� nY

iDm

Ai � A�

D P Xm ˝ Rn�mC1� nY

iDm

Ai � A�

D P .Xm;:::;XnC1/� nY

iDm

Ai � A�

D P.F \ fXnC1 2 Ag/:Dies impliziert wegen A.11(h) (oder dem Maßeindeutigkeitssatz)

P.XnC1 2 AjFXn / D R.Xn; A/:

230 6 Markov-Prozesse, Martingale und optimales Stoppen

Sei nun ˛ > �1 und

P .X˛ ;:::;X˛Ck/ D P X˛ ˝ Rk

für alle k 2 N mit ˛ C k 2 T . Für n 2 T , n > ˛, k 2 N mit n C k 2 T gilt dannnach den Formeln für Randverteilungen

P .Xn;:::;XnCk/ D P .X˛ ;:::;Xn�1;Xn;:::;XnCk /.X n�˛ � � /D P X˛ ˝ RnCk�˛.X n�˛ � � / D P X˛ Rn�˛ ˝ Rk

und

P X˛ Rn�˛ D P X˛ ˝ Rn�˛.X n�˛ � � / D P .X˛ ;:::;Xn/.X n�˛ � � / D P Xn ;

also

P .Xn;:::;XnCk/ D P Xn ˝ Rk: ut

Im Fall ˛ > �1 wird das Existenzproblem für Markov-Prozesse mit gegebenerAnfangsverteilung und gegebenem Übergangskern durch den folgenden Satz gelöst.

Satz 6.4 (Existenz) Seien ˛ > �1 und R ein Markov-Kern auf .X ;A/. Dann gibtes zu jeder Verteilung � aufA genau eine Verteilung P� aufAT mit der Eigenschaft,dass der Prozess X D .Xn/n2T der Projektionen Xn W .X T ;AT / ! .X ;A/ unterP� ein FX -Markov-Prozess mit Übergangskern R und Anfangsverteilung P

X˛� D �

ist. Für Px WD Pıxgilt ferner

P Xnx D Rn�˛.x; � /

für alle x 2 X ; n 2 T , und durch K.x; � / WD Px wird ein Markov-Kern von .X ;A/

nach .X T ;AT / definiert mit

P� D �K DZ

Pxd�.x/:

Beweis Ist ˇ < 1, so hat

P� WD � ˝ Rˇ�˛

wegen 6.3 die gewünschte Eigenschaft. Im Fall ˇ D 1 existiert nach dem Satz vonIonescu Tulcea ([17], Satz 1.9.3) genau eine Verteilung P� auf AT mit

P.X˛ ;:::;X˛Ck/� D � ˝ Rk

für alle k 2 N. Insbesondere gilt PX˛� D �. Dies impliziert nach 6.3, dass X unter

P� ein FX -Markov-Prozess mit Übergangskern R ist. Aus 6.2 folgt für x 2 X und

n 2 T

P Xnx D P X˛

x Rn�˛ D ıxRn�˛ D Rn�˛.x; � /:

6.1 Markov-Prozesse 231

Ferner ist

D WD fC 2 AT W K. � ; C / ist A-messbar und P�.C / D �K.C /gein Dynkin-System, das den durchschnittsstabilen Erzeuger

E WDn˛Ck\

iD˛

fXi 2 Ai g W k 2 N0; ˛ C k 2 T; A˛; : : : ; A˛Ck 2 Ao

von AT D FXˇ

enthält, denn für C 2 E ; C D T˛CkiD˛ fXi 2 Ai g mit k � 1 gilt

K.x; C / D Px.C / D P.X˛ ;:::;X˛Ck/x

�˛CkYiD˛

Ai

�

D ıx ˝ Rk�˛CkY

iD˛

Ai

�D 1A˛

.x/Rk�x;

˛CkYiD˛C1

Ai

�;

also insbesondere die A-Messbarkeit von K. � ; C /, und daher

P�.C / D P.X˛ ;:::;X˛Ck /�

�˛CkYiD˛

Ai

�D � ˝ Rk

�˛CkYiD˛

Ai

�DZ

Px.C /d�.x/:

Für C D fX˛ 2 A˛g gilt K.x; C / D 1A˛.x/ und P�.C / D �.A˛/ DR

Px.C /d�.x/. Es folgt D D AT . utStatt im Fall ˛ > �1 für jede Verteilung � auf A einen Markov-Prozess Y D

Y.�/ mit Anfangsverteilung P Y˛.�/ D � und Übergangskern R zu untersuchen,kann man auch zum kanonischen Markov-Prozess X mit Kern R und Verteilungen.Px/x2X auf AT gemäß 6.4 übergehen. Wegen

P Y.�/ D P X� D P� D

ZPxd�.x/

lässt sich dann jedes Verteilungsproblem für Y.�/ in ein Problem für den kanoni-schen Prozess übersetzen. Nur die ursprüngliche Filtration geht dabei verloren.

Integration bezüglich Px wird mit Ex bezeichnet.Markov-Prozesse können als stochastische dynamische Systeme interpretiert

werden, wobei das Rauschen durch eine unabhängige Folge identisch verteilter Zu-fallsvariablen modelliert wird. Wir formulieren nur die uns interessierende Rich-tung.

Satz 6.5 (Stochastische dynamische Systeme) Seien ˛ > �1, .Z; C/ ein mess-barer Raum, .Zn/n2T;n�˛C1 eine F-adaptierte Folge identisch verteilter .Z; C/-wertiger Zufallsvariablen, �.ZnC1/ und Fn seien unabhängig für alle n 2 T mitn < ˇ, X˛ eine F˛-messbare .X ;A/-wertige Zufallsvariable und F W .X � Z;

A ˝ C/ ! .X ;A/. Dann wird durch X˛ und

Xn D F.Xn�1; Zn/ für n 2 T; n � ˛ C 1

232 6 Markov-Prozesse, Martingale und optimales Stoppen

ein .X ;A/-wertiger F-Markov-Prozess X D .Xn/n2T definiert mit Übergangskern

R.x; � / D P F .x;Z˛C1/ für x 2 X :

Die Abbildung R ist in der Tat ein Markov-Kern auf .X ;A/, weil

x 7! R.x; A/ DZ

1A.F.x; z//dP Z˛C1 .z/

.A;B.R//-messbar ist. Die Homogenität des obigen Markov-Prozesses ist eine

Konsequenz der Voraussetzung an das Rauschen ZndD Z˛C1 für alle n � ˛ C 1

und der Unabhängigkeit der Abbildung F von n.

Beweis Mit Induktion folgt die F-Adaptiertheit von X , und für n 2 T; n < ˇ undA 2 A gilt wegen der Substitutionsregel A.19

P.XnC1 2 AjFn/ D E.1A.F.Xn; ZnC1//jFn/

DZ

1A.F.Xn; z//dP Z˛C1 .z/ D R.Xn; A/: ut

Beispiel 6.6 (a) In der Situation von 6.5 seien .X ;A/ D .Z; C/ D .R;B.R// undZ˛ D X˛. Dann ist jeder der folgenden Prozesse ein Markov-Prozess mit demangegebenen Übergangskern:

Xn DnX

iD˛

Zi ; R.x; � / D P xCZ˛C1 ;

Xn DnY

iD˛

Zi ; R.x; � / D P xZ˛C1 ;

Xn D min˛�i�n

Zi ; R.x; � / D P x^Z˛C1 ;

Xn D max˛�i�n

Zi ; R.x; � / D P x_Z˛C1 :

Mit .X ;A/ D .R2;B.R2// und Z˛ D X1˛ D X2

˛ gilt dies etwa auch für den Prozess

Xn D .X1n ; X2

n/ D� nY

iD˛

Zi ; min˛�j �n

jYiD˛

Zi

�;

R..x1; x2/; � / D P .x1Z˛C1;x2^.x1Z˛C1//

wegen

Xn D .X1n�1Zn; X2

n�1 ^ X1n/ D .X1

n�1Zn; X2n�1 ^ .X1

n�1Zn//:

(b) (Zufällige Abbildungen) In der Situation von 6.5 seien X abzählbar (umMessbarkeitsprobleme zu vermeiden), A die Potenzmenge P.X /;Z D XX ; C D

6.1 Markov-Prozesse 233

AX und Xn D Zn.Xn�1/ für n � ˛ C 1. Dann ist X ein Markov-Prozess mitÜbergangskern R.x; � / D P Z˛C1.x/.

(c) (Pólyas Urnenmodell) In der Situation von Beispiel 1.7(e) sei noch Zn WDr C s C nm � Yn die Anzahl der schwarzen Kugeln in der Urne zur Zeit n. Dannist .Y; Z/ D ..Yn; Zn//n2T ein Markov-Prozess mit Werten in X D N

2 und Über-gangskern

R..y; z/; � / D y

y C zı.yCm;z/ C z

y C zı.y;zCm/;

denn für A � N2 und n 2 T D N0 gilt mit der Substitutionsregel A.19

P..YnC1; ZnC1/ 2 AjFn/ D Xn1A.Yn C m; Zn/ C .1 � Xn/1A.Yn; Zn C m/

D R..Yn; Zn/; A/:

Dagegen sind die Übergangskerne der eindimensionalen Prozesse X; Y (und Z)abhängig von n 2 T : Es gilt für n 2 T; A � N

P.YnC1 2 AjFn/ D QY;n.Yn; A/

mit

QY;n.y; � / D y

r C s C nmıyCm C

�1 � y

r C s C nm

�ıy

für y 2 N, und für B 2 B.Œ0; 1�/ gilt

P.XnC1 2 BjFn/ D QX;n.Xn; B/

mit

QX;n.x; � / D xı .rCsCnm/xCmrCsC.nC1/m

C .1 � x/ı .rCsCnm/xrCsC.nC1/m

für x 2 Œ0; 1�. (Die eindimensionalen Prozesse sind inhomogene F-Markov-Pro-zesse.)

Wir zeigen jetzt entscheidende Erweiterungen der Markov-Eigenschaft. Dabei istes bequem, den durch

� W XN0 ! XN0 ; �..xk/k�0/ WD .x1Ck/k�0

definierten Shift zu benutzen. Ferner sei �0 WD id und für n � 1 �n WD �n�1 ı � ,also �n..xk/k�0/ D .xnCk/k�0. Für einen F-adaptierten .X ;A/-wertigen ProzessX mit T D N0 und n 2 N0 ist der Prozess �n.X/ dann .FnCk/k�0-adaptiert.

Satz 6.7 (Markov-Eigenschaft) Für einen .X ;A/-wertigen Markov-Prozess X mitÜbergangskern R gilt

P..Xn; : : : ; XnCk/ 2 BjFn/ D ıXn˝ Rk.B/

234 6 Markov-Prozesse, Martingale und optimales Stoppen

für alle n 2 T; k 2 N mit n C k 2 T , B 2 AkC1 und im Fall T D N0

P.�n.X/ 2 C jFn/ D PXn.C /

und

E.f .�n.X//jFn/ D EXnf D

Zf .y/PXn

.dy/

für alle n 2 T; C 2 AT und messbare Funktionen f W .X T ;AT / ! .R;B.R//,falls f .�n.X// P -quasiintegrierbar ist.

Dabei ist ıXn˝Rk der Markov-Kern .!; B/ 7! ıXn.!/ ˝Rk.B/ von .˝; �.Xn//

nach .X kC1;AkC1/.

Beweis 1. Wir zeigen zunächst

E� kY

iD0

fi .XnCi/ˇ̌ˇFn

�D E

� kYiD0

fi .XnCi /ˇ̌ˇXn

�

für alle k 2 N0 und alle messbaren beschränkten Funktionen fi W .X ;A/ !.R;B.R//; i 2 f0; : : : ; kg durch Induktion über k bei festem n 2 T . Für k D 0

ist dies klar und für k � 1 gilt mit der Turmeigenschaft und der Induktionsvoraus-setzung

E� kY

iD0

fi .XnCi /jFn

�D E

�k�1YiD0

fi .XnCi /E.fk.XnCk/jFnCk�1/ˇ̌ˇFn

�

D E�k�1Y

iD0

fi .XnCi /Rfk.XnCk�1/ˇ̌ˇFn

�

D E�k�1Y

iD0

fi .XnCi /Rfk.XnCk�1/ˇ̌ˇXn

�

D E� kY

iD0

fi .XnCi/ˇ̌ˇXn

�:

2. Für n 2 T und k 2 N mit n C k 2 T und B D QkiD0 Ai mit Ai 2 A gilt

nach 1.

P..Xn; : : : ; XnCk/ 2 BjFn/ D P..Xn; : : : ; XnCk/ 2 BjXn/

und für F D fXn 2 Ag 2 �.Xn/ mit A 2 A wegen 6.3Z

F

ıXn˝ Rk.B/dP D

“1A.x0/1B.x0; : : : ; xk/Rk.x0; d.x1; : : : ; xk//dP Xn .x0/

D P Xn ˝ Rk..A � X k/ \ B/

D P .Xn;:::;XnCk/..A � X k/ \ B/

D P.F \ f.Xn; : : : ; XnCk/ 2 Bg/:

6.1 Markov-Prozesse 235

Also gilt die erste Gleichung für B D QkiD0 Ai . Weil die Mengen B 2 AkC1,

für die die erste Gleichung gilt, ein Dynkin-System bilden und fQkiD0 Ai W A0;

: : : ; Ak 2 Ag ein durchschnittsstabiler Erzeuger von AkC1 ist, gilt die erste Glei-chung für alle B 2 AkC1.

Im Fall T D N0 gilt für n 2 N0; k 2 N und C D f.�0; : : : ; �k/ 2 Bg mitB 2 AkC1, wobei �n W X T ! X die n-te Projektion bezeichnet, wegen der erstenGleichung, 6.4 und 6.3

P.�n.X/ 2 C jFn/ D P..Xn; : : : ; XnCk/ 2 BjFn/

D ıXn˝ Rk.B/ D P

.�0;:::;�n/Xn

.B/ D PXn.C /:

Für k D 0 und C D f�0 2 Bg gilt P.�n.X/ 2 C jFn/ D ıXn.B/ D PXn

.C /.Weil f.�0; : : : ; �k/�1 .B/ W k 2 N0; B 2 AkC1g ein durchschnittsstabiler Erzeugervon AT ist, gilt die zweite Gleichung für alle C 2 AT . Damit ist der Markov-KernPXn

D K.Xn; � / von .˝; �.Xn// nach .X T ;AT / eine bedingte Verteilung von�n.X/ unter Fn und die letzte Gleichung folgt aus A.18. ut

Nach 6.7 gilt im Fall T D N0

P Xn ˝ K D P .Xn;�n.X//

und mit � WD P Xn D P X0 Rn

P� D �K D P X0 RnK D P Xn K D P �n.X/:

In der (schwachen) Markov-Eigenschaft kann man noch den festen Zeitpunktn 2 T durch eine Stoppzeit ersetzen.

Satz 6.8 (Starke Markov-Eigenschaft) Seien T D N0; X ein .X ;A/-wertigerMarkov-Prozess mit Übergangskern R und � eine Stoppzeit. Dann gilt

E.f .�� .X//jF� / D EX�f P -f.s. auf f� < 1g

für alle messbaren Funktionen f W .X T ;AT / ! .RC;B.RC//.

Beweis Aus 2.7(c) und 6.7 folgt

E.1f�<1gf .�� .X//jF� / DX

n2N0

1f�DngE.f .�n.X//jFn/

DX

n2N0

1f�DngEXnf D 1f�<1gEX�

f: ut

Die starke Markov-Eigenschaft ermöglicht Charakterisierungen rekurrenter Zu-stände für Markov-Prozesse mit abzählbarem Zustandsraum. Wir definieren Rekur-renz mit dem assoziierten Potentialkern.

236 6 Markov-Prozesse, Martingale und optimales Stoppen

Definition 6.9 Für einen Markov-Kern R auf .X ;A/ heißt

U D U.R/ WD1X

kD0

Rk

Potentialkern von R.

Dabei ist U (nach dem Satz von Fubini für das Zählmaß) in der Tat ein Kern auf.X ;A/, das heißt U.x; � / ist für jedes x 2 X ein Maß auf A und U. � ; A/ ist fürjedes A 2 A bezüglich .A;B.R// messbar.

Im Rest dieses Abschnitts seien X abzählbar, A D P.X /; T D N0 und X einkanonischer Markov-Prozess mit Verteilungen .Px/x2X , Übergangskern R und zu-gehörigem Potentialkern U , insbesondere also .˝;F/ D .X T ;AT / und F D F

X .Das zufällige Zählmaß von X wird durch

N.A/ WD1X

nD0

1A.Xn/

für A � X definiert. N.A/ beschreibt die Zahl der Besuche von X in A. Man erhältwegen 6.4

ExN.A/ D1X

nD0

Px.Xn 2 A/ D1X

nD0

Rn.x; A/ D U.x; A/:

Wir schreiben zur Abkürzung

R.x; y/ D R.x; fyg/; U.x; y/ D U.x; fyg/ und N.y/ D N.fyg/:Wegen R0.x; x/ D 1 gilt U.x; x/ � 1.

Definition 6.10 Ein Zustand x 2 X heißt R-rekurrent, falls U.x; x/ D 1, R-transient, falls U.x; x/ < 1 und R-absorbierend, falls R.x; x/ D 1.

Die Abhängigkeit der obigen Eigenschaften vom Markov-Kern R wird häu-fig nicht mehr angegeben. Absorbierende Zustände sind natürlich rekurrent: AusR.x; x/ D 1 folgt nämlich induktiv für k � 2

Rk.x; x/ DXz2X

Rk�1.z; x/R.x; z/ D Rk�1.x; x/ D 1

und daher U.x; x/ D 1. Ist x 2 X rekurrent, so kehrt der Prozess X im Px-Mittelunendlich oft nach x zurück. Wir werden sehen, dass diese Aussage auch fast sichergilt.

Zur Beschreibung der Verteilung von N.x/ für x 2 X definieren wir für k � 0

Stoppzeiten rekursiv durch �0x WD 0 und für k � 1

�kx WD inffn > �k�1

x W Xn D xg:

6.1 Markov-Prozesse 237

Nach 2.5 sind die Eintrittszeiten (Rückkehrzeiten) �kx in der Tat Stoppzeiten und

�kx � 1 für k � 1. Es gilt dann

n 1XnD1

1fxg.Xn/ � ko

D f�kx < 1g

für alle k 2 N0 und daher

N.x/ D 1fxg.X0/ C1X

kD1

1f�kx <1g:

Seien �x WD �1x und

F.x; y/ WD Px.�y < 1/ D Px

� 1[nD1

fXn D yg�:

F .x; x/ ist die Rückkehrwahrscheinlichkeit nach x.

Satz 6.11 (Rückkehrzeiten und Potentialkern) Für alle x; y 2 X und k 2 N gelten

Px.�ky < 1/ D F.x; y/F.y; y/k�1;

U.x; y/ D F.x; y/

1 � F.y; y/; falls x 6D y und U.x; x/ D 1

1 � F.x; x/

(mit 0=0 WD 0 und c=0 WD 1 für c > 0/.

Beweis Für k � 2 und m 2 N gilt auf f�k�1y D mg

�k�1y C �y ı ��k�1

yD m C �y ı �m D m C inffn > 0 W XnCm D xgD m C inffj > m W Xj D xg � m D �k

y :

Man erhält auf f�k�1y < 1g

�ky D �k�1

y C �y ı ��k�1y

:

Wir zeigen die erste Gleichung durch Induktion über k bei festen x; y 2 X . Fürk D 1 ist das die Definition und für k � 2 folgt wegen f�k

y < 1g � f�k�1y < 1g,

der starken Markov-Eigenschaft 6.8, X�k�1y

D y auf f�k�1y < 1g und der Indukti-

onsvoraussetzung

Px.�ky < 1/ D Px.�k

y < 1; �k�1y < 1/

D Px.�k�1y < 1; �y ı ��k�1

y< 1/

D Ex.1f�k�1y <1gEx.1f�y<1g.��k�1

y/jF�k�1

y//

D Ex.1f�k�1y <1gEX

�k�1y

1f�y<1g/

D Px.�k�1y < 1/Py.�y < 1/

D F.x; y/F.y; y/k�2F.y; y/ D F.x; y/F.y; y/k�1 :

238 6 Markov-Prozesse, Martingale und optimales Stoppen

Die erste Gleichung impliziert

U.x; y/ D ExN.y/ D Px.X0 D y/ C1X

kD1

Px.�ky < 1/

D Px.X0 D y/ C F.x; y/

1XkD0

F.y; y/k

D Px.X0 D y/ C F.x; y/

1 � F.y; y/;

also die zweite und dritte Gleichung. utSatz 6.11 zeigt insbesondere, dass F.x; y/ > 0 für x 6D y genau dann gilt, wenn

U.x; y/ > 0 und ferner F.x; x/ > 0 genau dann, wenn U.x; x/ > 1.Man erhält die folgende Charakterisierung rekurrenter Zustände.

Satz 6.12 (Rekurrenz) Für einen Zustand x 2 X sind äquivalent:

(i) x ist rekurrent,(ii) F.x; x/ D 1,

(iii) Px.N.x/ D 1/ D 1.

Ferner gelten Py.N.x/ 2 f0; 1g/ D 1 und Py.N.x/ D 1/ D F.y; x/ für alley 2 X , falls x rekurrent ist, und U.y; x/ < 1 für alle y 2 X , falls x transient ist.

Die Bedingung (ii) besagt, dass der Prozess Px-fast sicher in den Zustand x

zurückkehrt und (iii), dass der Prozess Px-fast sicher unendlich oft nach x zurück-kehrt.

Beweis Die Äquivalenz der Bedingungen (i) und (ii) folgt direkt aus 6.11, und dieBedingung (iii) impliziert natürlich U.x; x/ D ExN.x/ D 1, also (i). Aus (ii)folgt Px.�k

x < 1/ D 1 für alle k � 1 wegen 6.11 und damit

N.x/ D 1fxg.X0/ C1X

kD1

1f�kx <1g D 1 Px-f.s.;

also (iii).Ist x 2 X rekurrent und y 2 X mit y 6D x, so gilt nach obiger Äquivalenz

F.x; x/ D 1 und daher nach 6.11 für alle k � 1

Py.N.x/ � k/ D Py.�kx < 1/ D F.y; x/:

Man erhält mit der Stetigkeit (von oben) von Py ,

Py.N.x/ D 1/ D Py

� 1\kD1

fN.x/ � kg�

D limk!1

Py.N.x/ � k/ D F.y; x/;

6.1 Markov-Prozesse 239

und weil

Py.N.x/ D 0/ D Py.�x D 1/ D 1 � F.y; x/;

folgt Py.N.x/ 2 f0; 1g/ D 1.Ist x 2 X transient und y 2 X mit y 6D x, so gilt nach der obigen Äquivalenz

F.x; x/ < 1, und aus 6.11 folgt U.y; x/ D F.y; x/=.1 � F.x; x// < 1. utIst x 2 X transient, so ist N.x/ unter Px wegen 6.11 geometrisch verteilt mit

Px.N.x/ D k/ D .1 � F.x; x//F.x; x/k�1

für k 2 N.X heißt R-irreduzibel, falls U.x; y/ > 0 für alle x; y 2 X .

Satz 6.13 (Rekurrenz und Irreduzibilität) Ist x 2 X rekurrent und gilt F.x; y/ > 0,so ist auch y rekurrent, F.x; y/ D F.y; x/ D 1 und damit Px.N.y/ D 1/ DPy.N.x/ D 1/ D 1. Insbesondere ist jeder Zustand rekurrent oder jeder Zustandtransient, falls X irreduzibel ist.

Beweis Wegen 6.12 können wir x 6D y annehmen. Nach 6.11 gilt U.x; y/ > 0, esgibt also ein n � 1 mit Rn.x; y/ > 0. Wieder mit 6.11, den Chapman-Kolmogorov-Gleichungen und der Rekurrenz von x folgt

U.y; y/ � F.x; y/U.y; y/ D U.x; y/

�1X

kD0

RnCk.x; y/ �1X

kD0

Rk.x; x/Rn.x; y/

D U.x; x/Rn.x; y/ D 1:

Daher ist y rekurrent. Weil

f�y < 1g � f�x ı ��y< 1g Px-f.s.

wegen

�y C �x ı ��yD inffn > �y W Xn D xg

auf f�y < 1g, erhält man mit der starken Markov-Eigenschaft 6.8

F.x; y/ D Px.�y < 1/ D Px.�y < 1; �x ı ��y< 1g

D Ex.1f�y<1gEx.1f�x<1g.��y/jF�y

//

D Px.�y < 1/Py.�x < 1/ D F.x; y/F.y; x/:

Dies impliziert F.y; x/ D 1 und damit Py.N.x/ D 1/ D 1 wegen 6.12. Rollen-tausch von x und y liefert F.x; y/ D Px.N.y/ D 1/ D 1. ut

Der obige Satz hat die folgende interessante Konsequenz: Gibt es ein y 2 X mitF.x; y/ > 0 und F.y; x/ < 1, so ist x transient.

240 6 Markov-Prozesse, Martingale und optimales Stoppen

Beispiel 6.14 (Einfacher Random walk auf Z) Seien T D N0 und Y ein einfa-cher F-Random walk auf Z, Yn D Z0 C Pn

iD1 Zi mit P.Z1 D C1/ D p,P.Z1 D �1/ D 1�p, p 2 .0; 1/ und einer Z-wertigen Zufallsvariablen Z0. Wegen6.6(a) gilt für den Übergangskern R.x; y/ D P.x C Z1 D y/, also R.x; y/ D p,falls y D x C1, R.x; y/ D 1 � p, falls y D x � 1 und R.x; y/ D 0 sonst. Definiertman Y.x/n WD x CPn

iD1 Zi und ist X der kanonische Prozess, so gilt

Rn.x; � / D P Xnx D P Y.x/n

und damit

Rn.x; y/ D P� nX

iD1

Zi D y � x�

D Rn.0; y � x/

für alle n 2 N0; x; y 2 Z. Speziell gilt Rn.x; x/ D Rn.0; 0/ und für den Potential-kern U.x; x/ D U.0; 0/ für alle x 2 Z. Demnach sind alle Zustände rekurrent oderalle Zustände transient. Da Z offenbar R-irreduzibel ist, folgt dies auch aus 6.13.Wegen Rn.0; 0/ D 0 für ungerades n und

Rn.0; 0/ D P� nX

iD1

.Zi C 1/=2 D n=2�

D

n

n=2

!pn=2.1 � p/n�n=2

für gerades n 2 N; n � 2 folgt

U.0; 0/ D 1 C1X

nD1

R2n.0; 0/ D 1 C1X

nD1

2n

n

!.p.1 � p//n:

Die Stirlingsche Formel nŠ � p2�n.n=e/n liefert

2n

n

!� 4n

p�n

für n ! 1, und weil p.1 � p/ < 1=4 für p 6D 1=2, erhält man

U.0; 0/

(D 1; falls p D 1=2;

< 1; falls p 6D 1=2:

Es liegt also Rekurrenz vor bei p D 1=2 und Transienz bei p 6D 1=2.

6.2 Harmonische Funktionen und Martingale 241

Dies ist auch eine Konsequenz von 6.12. Mit �x WD inffn � 1 W Y.0/n D xg fürx 2 Z gilt nämlich wegen 2.19(c)

F.0; 0/ D P0.�0 < 1/ D P.�0 < 1/

D P.�0 < 1; Z1 D C1/ C P.�0 < 1; Z1 D �1/

D P�� 1[

nD1

n nXiD2

Zi D �1o�

\ fZ1 D 1g�

C P�� 1[

nD1

n nXiD2

Zi D 1g�

\ fZ1 D �1o�

D pP.��1 < 1/ C .1 � p/P.�1 < 1/

D 2.p ^ .1 � p//:

6.2 Harmonische Funktionen und Martingale

Sei R ein Markov-Kern auf .X ;A/. Wir nennen eine Funktion f W T �X ! R be-züglich .A;B.R// messbar, falls fn WD f .n; � / für alle n 2 T bezüglich .A;B.R//

messbar ist. Eine solche Funktion f heißt R-quasiintegrierbar (R-integrierbar) fallsfn für alle x 2 X und alle n 2 T; n > ˛ bezüglich R.x; � / quasiintegrierbar (inte-grierbar) ist.

Definition 6.15 Eine R-quasiintegrierbare Funktion f W T � X ! R heißt R-harmonisch, falls

RfnC1 D fn

für alle n 2 T; n < ˇ. f heißt R-superharmonisch, falls

RfnC1 � fn

für alle n 2 T; n < ˇ.

Die Abhängigkeit der obigen Eigenschaften vom Markov-Kern R wird häufignicht mehr angegeben.

Der folgende Satz liefert die Grundlage des Zusammenhangs zwischen Martin-galen und Markov-Prozessen.

Satz 6.16 Seien X ein .X ;A/-wertiger Markov-Prozess mit Übergangskern R, f WT �X ! R eine .A;B.R//-messbare Funktion und f .n; Xn/ 2 L1 für alle n 2 T .Ist dann f harmonisch, so ist .f .n; Xn//n2T ein Martingal. Ist f superharmonisch,so ist .f .n; Xn//n2T ein Supermartingal und sind f positiv und ˛ > �1, so reichtdie Integrabilitätsvoraussetzung f .˛; X˛/ 2 L1. Im Fall ˛ > �1 ist

fn.Xn/ �nX

iD˛C1

.Rfi � fi�1/.Xi�1/; n 2 T

ein Martingal.

242 6 Markov-Prozesse, Martingale und optimales Stoppen

Beweis Der durch Yn WD f .n; Xn/ definierte Prozess Y ist adaptiert. Für n 2T; n < ˇ und harmonische Funktionen f gilt

E.YnC1jFn/ D RfnC1.Xn/ D fn.Xn/ D Yn:

Genauso folgt die Supermartingaleigenschaft von Y für superharmonische f . Istf � 0, so gilt ohne jede Integrabilitätsvoraussetzung an Y

E.YnC1jFn/ D RfnC1.Xn/ � fn.Xn/ D Yn;

und falls ˛ > �1 und Y˛ 2 L1, liefert Induktion EYn � EY˛ < 1 für alle n 2 T .Also ist Y ein Supermartingal. Ebenfalls im Fall ˛ > �1 gilt für den KompensatorA von Y

An DnX

j D˛C1

E.Yj jFj �1/ DnX

j D˛C1

.Rfj � fj �1/.Xj �1/: ut

Man beachte, dass die L1-Voraussetzung für den Prozess .f .n; Xn//n2T wegen

Ejfn.Xn/j D EE.jfn.Xn/j jFn�1/ D ERjfnj.Xn�1/

D“

jfnj.y/R.x; dy/dP Xn�1 .x/

schon für alle n 2 T , n > ˛ die Bedingung fn 2 L1.R.x; � // für P Xn�1 -fast alle x

impliziert.

Beispiel 6.17 (a) (Pólyas Urnenmodell) Die von n 2 T D N0 unabhängige Funk-tion f W X D N

2 ! RC; f .y; z/ WD y=.y C z/ ist harmonisch für den Über-gangskern R des zweidimensionalen Markov-Prozesses .Y; Z/ aus Beispiel 6.6(c),denn

Rf .y; z/ D y

y C zf .y C m; z/ C z

y C zf .y; z C m/

D y.y C m/ C yz

.y C z/.y C m C z/D f .y; z/:

Man erhält das aus Beispiel 1.7(e) bekannte Resultat, dass Xn D f .Yn; Zn/; n 2 T

ein Martingal ist.(b) (Random walk) Seien T D N0 und X ein F-Random walk, Xn D Pn

iD0 Zi

mit Z1 2 L2. Nach 6.6(a) ist X ein Markov-Prozess mit Übergangskern R.x; � / DP xCZ1 und Zustandsraum .X ;A/ D .R;B.R//. Die .B.R/;B.R//-messbare Funk-tion f W N0 � R ! R; f .n; x/ WD .x � nEZ1/2 � n Var Z1 ist harmonisch. FallsZ0 2 L2, erhält man das aus 1.20(a) bekannte Resultat, dass f .n; Xn/ D Y 2

n �hY in

mit Yn D Z0 CPniD1.Zi � EZ1/ ein Martingal ist.

(c) (Geometrischer Random walk) Ein Stück Kreide der Länge 1 wird an einerzufälligen (uniform verteilten) Stelle in zwei Stücke gebrochen, das rechte Stückwird beiseitegelegt und das linke Stück wieder zufällig in zwei Stücke gebrochen

6.2 Harmonische Funktionen und Martingale 243

etc. Die Länge des verbleibenden Bruchstücks nach n Brüchen sei Xn. Wie schnellkonvergiert Xn gegen 0?

Dazu seien T D N0 und X ein geometrischer F-Random walk, Xn D QniD0 Zi

mit X0 D Z0 D 1 und P Z1 D U.0; 1/. Wir wählen .X ;A/ D ..0; 1�;B..0; 1�// alsZustandsraum. Nach 6.6(a) ist X ein Markov-Prozess mit Übergangskern

R.x; � / D P xZ1 D U.0; x/ für x 2 .0; 1�:

Eine .A;B.R//-messbare Funktion f W N0 � .0; 1� ! RC ist also genau dannharmonisch, wenn

1

x

xZ

0

f .n C 1; y/dy D f .n; x/

für alle x 2 .0; 1� und n 2 N0 gilt. Die positiven Funktionen

fa.n; x/ WD .1 C a/nxa; a > �1

erfüllen diese Bedingung. Wegen Efa.0; X0/ D 1 < 1 ist .fa.n; Xn//n2N0nach

6.16 ein positives Martingal.Diese Martingale kann man zur Bestimmung der fast sicheren Konvergenzord-

nung von Xn gegen 0 benutzen. Weil .fa.n; Xn//n2N0wieder ein geometrischer

F-Random walk ist, gilt nach 4.6(a)

fa.n; Xn/ ! 0 f.s.

für n ! 1 und alle a > �1; a 6D 0. Die Funktion ' W .�1; 1/ ! RC; '.a/ WD.1 C a/1=a für a 6D 0 und '.0/ WD e ist stetig und strikt monoton fallend mit'.�1C/ D 1 und '.1/ D 1. Für den fast sicheren Limes gilt wegen

limn!1 '.a/nXn D lim

n!1 fa.n; Xn/1=a D(

0; falls a > 0;

1; falls � 1 < a < 0

also

limn!1 rnXn D

(0; falls 0 < r < e;

1; falls r > e;

wobei e D 2;71828 : : : Die Ordnung der fast sicheren Konvergenz von Xn gegen0 ist approximativ e�n. Wegen EXn D 2�n konvergiert damit Xn viel schnellergegen 0 als die Erwartungswerte.

(d) Sei T endlich, T D f˛; : : : ; ˇg. Ist g W .X ;A/ ! .R;B.R// für allek 2 f1; : : : ; ˇ � ˛g Rk-integrierbar, so wird durch f .n; x/ WD Rˇ�ng.x/ eineharmonische Funktion definiert. Umgekehrt ist jede harmonische Funktion f , fürdie fn für alle n > ˛ R-integrierbar ist, mit g WD fˇ von dieser Form.

244 6 Markov-Prozesse, Martingale und optimales Stoppen

Im Folgenden untersuchen wir nur noch von n 2 T unabhängige harmonischeoder superharmonische Funktionen. Solche superharmonischen positiven Funktio-nen lassen sich in einen harmonischen Anteil und einen Potentialanteil zerlegen.Eine positive R-superharmonische Funktion f W .X ;A/ ! .RC;B.RC// heißtdabei R-Potential, falls

Rkf ! 0 für k ! 1:

Harmonizität und die Potentialeigenschaft sind disjunkte Konzepte: Für ein harmo-nisches Potential f gilt f D 0 wegen Rkf D f .

Potentiale sind die endlichen Bilder positiver Funktionen des Potentialkerns. Dasich der Potentialkern U wie eine geometrische Reihe verhält, kann man die Glei-chung

U D R0 C RU

benutzen, wobei die Komposition von Kernen auf .X ;A/ genauso wie die vonMarkov-Kernen definiert ist. In der Tat folgt mit monotoner Konvergenz für x 2X ; A 2 A

RU.x; A/ DZ

U.y; A/R.x; dy/ D1X

kD0

ZRk.y; A/R.x; dy/

D1X

kD0

RkC1.x; A/ D1X

kD1

Rk.x; A/:

Für ein Potential f gilt f D Ug mit g D f � Rf , wobei mit Standardschluss

Ug.x/ WDZ

g.y/U.x; dy/ D1X

kD0

Zg.y/Rk.x; dy/ D

1XkD0

Rkg.x/;

denn

Ug D limk!1

kXj D0

Rj .f � Rf / D limk!1

.f � RkC1f / D f:

Ist umgekehrt f D Ug < 1 für eine messbare, positive reelle Funktion g, so gilt

Rkf D RkUg D1X

j Dk

Rj g ! 0

für k ! 1 und Rf D RUg � Ug D f , also ist f ein Potential.Aus Ug1 D Ug2 < 1 für messbare, positive reelle Funktionen gi folgt ferner

g1 D g2 wegen

g1 C RUg1 D Ug1 D Ug2 D g2 C RUg2

und RUg1 D RUg2 � Ugi < 1.

6.2 Harmonische Funktionen und Martingale 245

Satz 6.18 (Riesz-Zerlegung) Sei f W .X ;A/ ! .RC;B.RC// eine positive super-harmonische Funktion. Dann hat f eine eindeutige Zerlegung

f D h C g;

wobei h eine positive harmonische Funktion und g ein Potential ist. Es gelten h Dlimk!1 Rkf und g D U.f � Rf /.

Beweis Wegen 0 � Rf � f < 1 ist f R-integrierbar und die Folge .Rkf /k�0

monoton fallend. Definiert man h WD limk!1 Rkf , so ist h positiv und harmo-nisch, denn mit monotoner (oder dominierter) Konvergenz folgt für x 2 X

Rh.x/ DZ

limk!1

Rkf .y/R.x; dy/ D limk!1

ZRkf .y/R.x; dy/

D limk!1

RkC1f .x/ D h.x/:

Die Funktion g WD f � h ist positiv und wegen Rg D Rf � h � g und Rkg DRkf � h ! 0 ein Potential. Nach der Bemerkung vor 6.18 gilt g D U.g � Rg/ DU.f � Rf /.

Zum Nachweis der Eindeutigkeit der Zerlegung ist nur zu beachten, dass für denPotentialanteil g in jeder Zerlegung von obigem Typ g D U.g�Rg/ D U.f �Rf /

gilt. Daher ist der Potentialanteil und damit auch der harmonische Anteil eindeutigbestimmt. ut

Als Anwendung erhält man die Riesz-Zerlegung des Supermartingals aus 6.16im positiven Fall. Die Riesz-Zerlegung eines positiven L1-beschränkten Supermar-tingals Y schreiben wir in der Form

Y D M C Z;

wobei Z das Potential des Kompensators von �Y ist, denn �Y D N �Z nach 1.28,also Y D �N C Z D M C Z.

Satz 6.19 (Riesz-Zerlegung für positive Supermartingale) Seien ˇ D 1; X

ein .X ;A/-wertiger Markov-Prozess mit Übergangskern R und f W .X ;A/ !.RC;B.RC// eine positive superharmonische Funktion mit Riesz-Zerlegung f Dh C g. Ist .f .Xn//n2T L1-beschränkt, so ist

f .Xn/ D h.Xn/ C g.Xn/

für n 2 T die Riesz-Zerlegung des positiven Supermartingals .f .Xn//n2T . Im Fall˛ > �1 reicht die Voraussetzung f .X˛/ 2 L1.

Beweis Nach 6.16 ist Y WD .f .Xn//n2T in der Tat ein positives Supermartingal.Wegen 0 � h � f und 0 � g � f sind M WD .h.Xn//n2T und Z WD .g.Xn//n2T

adaptierte L1-beschränkte Prozesse, und wieder nach 6.16 ist M ein positives Mar-tingal und Z ein positives Supermartingal. Ferner gilt

ZnL1

! 0

246 6 Markov-Prozesse, Martingale und optimales Stoppen

für n ! 1, denn für m; n 2 T; m � n folgt mit der Potentialeigenschaft von g undmonotoner (oder dominierter) Konvergenz

EZn DZ

g.x/dP Xn .x/ DZ

g.x/dP Xm Rn�m.x/

DZ

Rn�mg.x/dP Xm .x/ ! 0

für n ! 1. Damit ist Y D M C Z die Riesz-Zerlegung von Y . utZur Illustration werden wir Eintrittswahrscheinlichkeiten als Funktion des An-

fangszustandes heranziehen und eine Chararakterisierung der Rekurrenz durch Har-monizität angeben. Dazu seien im Rest dieses Abschnitts X abzählbar, A DP.X /; T D N0 und X ein kanonischer Markov-Prozess mit Übergangskern R undVerteilungen .Px/x2X .

Satz 6.20 (Eintrittswahrscheinlichkeiten) Für A � X seien �A WD inffn � 0 WXn 2 Ag und fA.x/ WD Px.�A < 1/. Dann ist fA die kleinste positive Lösung desdiskreten Dirichlet-Problems

(Rv auf X n A;

1 auf A

und superharmonisch. Für die Riesz-Zerlegung fA D hA C gA von fA gilt

hA.x/ D Px.N.A/ D 1/

und gA.x/ D U.fA � RfA/.x/ D Px.1 � N.A/ < 1/ mit

fA.x/ � RfA.x/ D Px

� 1Xj D1

1A.Xj / D 0�1A.x/:

Ferner gelten für alle x 2 X , n 2 N0

fA.Xn/ D Px

� 1[j Dn

fXj 2 Agˇ̌ˇFn

�und hA.Xn/ D Px.N.A/ D 1jFn/ Px-f.s.

Beweis Für x 2 X und n 2 N0 gilt wegen

n C �A ı �n D inffj � n W Xj 2 Ag

und PXnx D Rn.x; � / mit der Markov-Eigenschaft 6.7

Px

� 1[j Dn

fXj 2 Ag�

D Px.�A ı �n < 1/ D ExPXn.�A < 1/

D ExfA.Xn/ D RnfA.x/:

6.2 Harmonische Funktionen und Martingale 247

Es folgt für x 2 X n A

fA.x/ D Px

� 1[nD0

fXj 2 Ag�

D Px

� 1[nD1

fXj 2 Ag�

D RfA.x/;

und für x 2 A gilt fA.x/ D 1. Also ist fA eine positive Lösung des obigen Dirichlet-Problems und wegen fA � 1 damit superharmonisch.

Sei nun v eine beliebige positive Lösung des Dirichlet-Problems. Für n 2 N0

und x 2 X gilt dann mit � WD �A wegen f� > ng � fXn 2 AcgEx.v.X�

nC1/jFn/ D Ex.v.X�n /jFn/1f��ng C Ex.v.XnC1/jFn/1f�>ng

D v.X�n /1f��ng C Rv.Xn/1f�>ng

D v.X�n /1f��ng C v.Xn/1f�>ng D v.X�

n /:

Da Exv.X�0 / D Exv.X0/ D v.x/ < 1, ist .v.X�

n //n2N0ein L1.Px/-Prozess und

damit ein Px-Martingal. Es folgt

v.x/ D Exv.X�n / � Ex1f��ngv.X� / D Px.� � n/

und mit der Stetigkeit (von unten) von Px

v.x/ � limn!1 Px.� � n/ D fA.x/:

Damit ist fA die kleinste positive Lösung. (Falls fA.x/ D 1 für alle x 2 X , ist fA

die einzige positive Lösung.)Für die Riesz-Zerlegung von fA gilt nach 6.18

hA.x/ D limn!1 RnfA.x/ D lim

n!1 Px

� 1[j Dn

fXj 2 Ag�

D Px.lim supj !1

fXj 2 Ag/ D Px.N.A/ D 1/

und gA D U.fA � RfA/ mit fA.x/ � RfA.x/ D 0 für x 2 X n A und für x 2 A

fA.x/ � RfA.x/ D 1 � Px

� 1[nD1

fXn 2 Ag�

D Px

� 1XnD1

1A.Xn/ D 0�:

Wegen fA.x/ D Px.N.A/ � 1/ gilt außerdem

gA.x/ D fA.x/ � hA.x/ D Px.1 � N.A/ < 1/

für alle x 2 X .Ferner gilt Px-fast sicher für alle x 2 X wegen der Markov-Eigenschaft 6.7

fA.Xn/ D PXn.�A < 1/ D Ex.1f�A<1g ı �njFn/

D Px.�A ı �n < 1jFn/ D Px

� 1[j Dn

fXj 2 AgjFn

�

und wegen der Shift-Invarianz 1fN.A/D1g ı �n D 1fN.A/D1ghA.Xn/ D PXn

.N.A/ D 1/ D Px.N.A/ D 1jFn/: ut

248 6 Markov-Prozesse, Martingale und optimales Stoppen

Korollar 6.21 (Rekurrenz und Harmonizität) Für x 2 X seien �x WD inffn � 0 WXn D xg und fx.y/ WD Py.�x < 1/. Dann ist fx entweder harmonisch oder einPotential, und fx ist genau dann harmonisch, wenn x rekurrent ist.

Beweis Sei fx D hx C gx die Riesz-Zerlegung der positiven superharmonischenFunktion fx . Ist fx kein Potential, so gibt es ein y 2 X mit hx.y/ D Py.N.x/ D1/ 6D 0. Wegen 6.20, dem Konvergenzsatz 4.8 und fN.x/ D 1g 2 F1 D AN0

gilt

hx.Xn/ ! 1fN.x/D1g Py -f.s.:

für n ! 1. Für den Limes gilt dann

1fN.x/D1g D hx.x/ Py-f.s. auf fN.x/ D 1g;weil .hx.Xn.!//n2N0

für ! 2 fN.x/ D 1g unendlich oft den Wert hx.x/ an-nimmt, also hx.x/ D 1. Daher ist hx eine positive Lösung des Dirichlet-Problemsvon 6.20 (für A D fxg/ mit hx � fx . Aus der Minimalität von fx folgt fx D hx

und fx ist harmonisch.Nach 6.20 gilt

fx.y/ � Rfx.y/ D Py

� 1Xj D1

1fxg.Xj / D 0�1fxg.y/ D .1 � F.y; x//1fxg.y/

für alle y 2 X . Danach ist fx genau dann harmonisch, wenn F.x; x/ D 1, also x

wegen 6.12 rekurrent ist. utSatz 6.16 erlaubt noch einen martingaltheoretischen Beweis der Konstanz be-

schränkter superharmonischer Funktionen unter Irreduzibiliät und Rekurrenz.

Satz 6.22 Jede nach unten beschränkte superharmonische Funktion f W X ! R

ist konstant, falls X irreduzibel und ein x 2 X (und damit jedes x 2 X ) rekurrentist.

Beweis Wir können ohne Einschränkung (durch Übergang zu f � inf f ) f � 0

annehmen. Seien x; y 2 X . Wegen 6.16 ist .f .Xn//n2N0ein positives Px-Super-

martingal. Der Martingalkonvergenzsatz 4.5 liefert

f .Xn/ ! f .X/1 Px-f.s.

für n ! 1 mit f .X/1 2 L1.Px/. Da Px.N.x/ D 1/ D Px.N.y/ D 1/ D 1

nach 6.13, folgt für den Limes f .X/1 D f .x/ und f .X/1 D f .y/ Px-f.s., alsof .x/ D f .y/. ut

6.3 Optimales Stoppen

In diesem Abschnitt sei T endlich, also T D f˛; : : : ; ˇg mit ˛; ˇ 2 Z; ˛ < ˇ. DieMenge ˙ der einfachen Stoppzeiten stimmt dann mit der Menge aller T -wertigerStoppzeiten überein.

6.3 Optimales Stoppen 249

Sei Y ein adaptierterL1-Prozess, wobei Yn als Auszahlung zum Zeitpunkt n 2 T

interpretiert wird. Das Problem des optimalen Stoppens für Y ist die Optimierungs-aufgabe,

EY� über � 2 ˙ zu maximieren;

also die Bestimmung des Wertes des Stoppproblems

v WD sup�2˙

EY�

und einer Stoppzeit � 2 ˙ mit v D EY� .Eine F-Stoppzeit � 2 ˙ mit v D EY� heißt optimale F-Stoppzeit.Das Problem des optimalen Stoppens lässt sich mit Rückwärtsinduktion lösen.

Befindet man sich schon im Zeitpunkt ˇ, ohne vorher gestoppt zu haben, hat mankeine andere Wahl als die Auszahlung Zˇ WD Yˇ zu akzeptieren. Im Zeitpunktˇ � 1 hat man die Wahl zwischen der Auszahlung Yˇ�1 und der „optimalen“ Aus-zahlung Zˇ bei Fortsetzung der Beobachtung. Zˇ ist aber zur Zeit ˇ � 1 noch nichtbekannt und wird durch E.Zˇ jFˇ�1/ prognostiziert. Dies führt auf das Stoppkri-terium: Stoppe zur Zeit ˇ � 1, falls Yˇ�1 � E.Zˇ jFˇ�1) und mache eine weitereBeobachtung, falls Yˇ�1 < E.Zˇ jFˇ�1/. Geeignete Iteration dieses Argumentsliefert den folgenden Satz. Dazu definieren wir noch ˙n WD f� 2 ˙ W � � ng und

vn WD sup�2˙n

EY�

für n 2 T . Es gilt v D v˛ .

Satz 6.23 Seien Zˇ WD Yˇ und

Zn WD maxfYn; E.ZnC1jFn/g für n D ˇ � 1; : : : ; ˛:

Ferner sei für n 2 T

�n WD inffj 2 T W j � n; Yj D Zj g D inffj 2 T W j � n; Yj � E.Zj C1jFj /g(mit ZˇC1 WD Zˇ / und � WD �˛. Dann ist Z D .Zn/n2T das kleinste Supermartin-gal, das Y dominiert, Z� ein Martingal, �n 2 ˙n,

Zn D E.Y�njFn/ D ess sup�2˙n E.Y� jFn/

und

EZn D EY�nD vn

für alle n 2 T . Insbesondere gilt

EZ˛ D EY� D v

und � ist die kleinste optimale Stoppzeit (in der Halbordnung „� � � f.s.“ auf ˙).

Das in 6.23 definierte F-Supermartingal Z heißt Snellscher F-Umschlag desF-adaptierten L1-Prozesses Y .

250 6 Markov-Prozesse, Martingale und optimales Stoppen

Beweis Der Prozess Z ist offenbar adaptiert und Rückwärtsinduktion zeigt, dassZ ein L1-Prozess ist. Aus der Definition von Z folgt Zn � E.ZnC1jFn/ für allen < ˇ und daher ist Z ein Supermartingal, das Y dominiert. Ist V ein weiteresSupermartingal mit V � Y , so gilt Vˇ � Yˇ D Zˇ . Rückwärtsinduktion liefertV � Z, denn aus Vn � Zn für n > ˛ folgt

Vn�1 � E.VnjFn�1/ � E.ZnjFn�1/;

und zusammen mit Vn�1 � Yn�1 erhält man

Vn�1 � maxfYn�1; E.ZnjFn�1/g D Zn�1:

Also ist Z das kleinste Supermartingal, das Y dominiert.Nach 2.5 gilt �n 2 ˙n, da �n � ˇ wegen Zˇ D Yˇ . Ferner ist der gestoppte

Prozess Z�n auf fj 2 T W j � ng ein Martingal für alle n 2 T . Dazu sei n � j < ˇ

und G WD f�n > j g. Wegen G 2 Fj und

G � fZj > Yj g � fZj D E.Zj C1jFj /ggilt dann für alle F 2 Fj

Z

F

Z�n

j C1dP DZ

F \G

Zj C1dP CZ

F \Gc

Z�n

j dP

DZ

F \G

E.Zj C1jFj /dP CZ

F \Gc

Z�n

j dP

DZ

F \G

Zj dP CZ

F \Gc

Z�n

j dP

DZ

F

Z�n

j dP:

Insbesondere ist Z� ein Martingal (auf T ). Wegen Z�nD Y�n

folgt aus der Martin-galeigenschaft von Z�n

Zn D Z�nn D E.Z

�n

ˇjFn/ D E.Z�n

jFn/ D E.Y�njFn/;

und Optional sampling für das Supermartingal Z und � 2 ˙n liefert wegenZ� � Y�

Zn � E.Z� jFn/ � E.Y� jFn/:

Man erhält

Zn D E.Y�njFn/ D ess sup

�2˙n

E.Y� jFn/

6.3 Optimales Stoppen 251

und durch Erwartungswertbildung

EZn D EY�nD vn:

Insbesondere ist � eine optimale Stoppzeit.Ist � 2 ˙ eine weitere optimale Stoppzeit, so gilt wieder mit Optional sampling

für Z

EZ˛ D EY� D EY� � EZ� � EZ˛ ;

also EY� D EZ� . Dies impliziert Y� D Z� f.s. Man erhält f� D ng � fYn DZng � f� � ng f.s. für alle n 2 T und damit � � � f.s. ut

Satz 6.23 liefert im Prinzip einen algorithmischen Zugang zur Lösung des Stopp-problems. Wegen der dort auftauchenden bedingten Erwartungswerte erhält manallerdings nur sehr selten eine explizite Lösung.

Bemerkung 6.24 (a) Für das durch Mn WD E.Yˇ jFn/ definierte Martingal M giltZ � M , denn für die konstante Stoppzeit � WD ˇ gilt � 2 ˙n und wegen 6.23daher Zn � E.Y� jFn/ D Mn für alle n 2 T . Falls M � Y , so folgt Z D M ausder Minimalität von Z. Insbesondere gilt dann v D EZ˛ D EYˇ , so dass � eineoptimale Stoppzeit ist.

Ist Y ein Submartingal, also im „günstigen Spiel“, so gilt M � Y und damitZ D M und v D EYˇ . Z ist dann nach 1.29(a) der Martingalanteil in der Riesz-Zerlegung von Y .

(b) Ist Y ein Supermartingal, also im „ungünstigen Spiel“, gilt Z D Y und� D ˛.

Beispiel 6.25 (Eins verliert) Bei einem Spiel mit einem fairen Würfel darf der Spie-ler maximal N mal würfeln mit N � 10 und das Spiel jederzeit beenden. SeinGewinn ist dann die Summe der Augenzahlen sämtlicher vorhergehender Würfe.Würfelt der Spieler allerdings eine Eins, ist das Spiel beendet und der Spieler erhältkeinen Gewinn.

Seien T D f1; : : : ; N g, V1; : : : ; VN unabhängige, auf f1; : : : ; 6g Laplace-ver-teilte Zufallsvariable, Sn WD Pn

iD1 Vi und F WD FV . Die Auszahlung (der Gewinn)

nach n Würfen wird dann durch

Yn WD 1fV1 6D1;:::;Vn 6D1gSn

beschrieben. Wegen P.V1 6D 1/ D 5=6 und EV11fV1 6D1g D 20=6 gilt für n 2 T ,n < N

E.YnC1jFn/ D E.Yn1fVnC1 6D1g C 1fV1 6D1;:::;VnC1 6D1gVnC1jFn/

D YnP.VnC1 6D 1/ C 1fV1 6D1;:::;Vn 6D1gEVnC11fVnC1 6D1g

D 1fV1 6D1;:::;Vn 6D1g�

5

6Sn C 20

6

�:

Mit der Stoppzeit

� WD inffn 2 T W Vn D 1g

252 6 Markov-Prozesse, Martingale und optimales Stoppen

folgt für n 2 T; n < N

E.YnC1jFn/ � Yn auf fSn � 20g;

E.YnC1jFn/ D Yn D 0 auf f� � ng Dn[

j D1

fVj D 1g;

E.YnC1jFn/ > Yn auf fSn < 20g \ f� > ng:Das liefert für den Snellschen Umschlag Z

Zn D Yn auf fSn � 20gZn D Yn D 0 auf f� � ng

für n 2 T (Rückwärtsinduktion) und ferner für n < N

Yn < E.YnC1jFn/ � E.ZnC1jF/ � Zn auf fSn < 20g \ f� > ng:Mit der Stoppzeit

� WD inffn 2 T W Sn � 20ggilt daher für n 2 T

Zn D Yn auf f� ^ � � ng;Zn > Yn auf f� ^ � > ng;

wobei � ^ � � 10 � N , was

� ^ � D �

impliziert für die kleinste optimale Stoppzeit � aus 6.23. Für den Wert v gilt v DEY�^� , und wegen EYn D n.5=6/n�120=6 gilt noch

v � maxn2T

EYn D EY5 D 8;0375 : : :

Im Markov-Fall erhält man einen einfacheren Algorithmus. Dazu seien X D.Xn/n2T ein .X ;A/-wertiger Markov-Prozess mit Übergangskern R, f W T �X ! R eine .A;B.R//-messbare Funktion und

Yn WD f .n; Xn/ für n 2 T:

Wir nehmen an, dass

fn 2n�\̨kD1

L1.Rk/

für alle n 2 T; n > ˛ und dass Y ein L1-Prozess ist, wobei

L1.R/ WD\x2X

L1.R.x; � //:

6.3 Optimales Stoppen 253

Satz 6.26 Sei g W T � X ! R; gˇ WD fˇ und

gn WD maxffn; RgnC1g für n D ˇ � 1; : : : ; ˛:

Dann ist g die kleinste superharmonische Majorante von f . Für den SnellschenUmschlag Z gilt

Zn D g.n; Xn/

für alle n 2 T und die kleinste optimale Stoppzeit � hat die Form

� D inffn 2 T W Xn 2 Bngmit Bn D fx 2 X W fn.x/ D gn.x/g.

Beweis Wir zeigen zunächst durch Rückwärtsinduktion, dass

gn 2n�\̨kD1

L1.Rk/

für alle n 2 T; n > ˛. Für n D ˇ ist dies wegen gˇ D fˇ klar. Die Behauptunggelte für n 2 T; n > ˛ C 1. Es folgt für 1 � k � n � ˛ � 1Z

jRgn.y/jRk.x; dy/ �Z

Rjgnj.y/Rk.x; dy/ D RkC1jgnj.x/ < 1

für alle x 2 X , also Rgn 2 Tn�˛�1kD1 L1.Rk/ und damit

gn�1 D maxffn�1; Rgng 2n�˛�1\

kD1

L1.Rk/:

Insbesondere ist gn R-integrierbar für alle n 2 T; n > ˛.Aus der Definition von g folgt gn � RgnC1 für alle n < ˇ und damit ist g

superharmonisch mit g � f . Ist h W T � X ! R eine weitere superharmonischeMajorante von f , so gilt hˇ � fˇ D gˇ . Rückwärtsinduktion liefert h � g, dennaus hn � gn für n > ˛ folgt hn�1 � Rhn � Rgn, und wegen hn�1 � fn�1 erhältman

hn�1 � maxffn�1; Rgng D gn�1:

Also ist g die kleinste superharmonische Majorante von f . Für Z gilt Zn Dg.n; Xn/ für alle n 2 T , denn Zˇ D Yˇ D fˇ .Xˇ / D gˇ .Xˇ / und wieder mitRückwärtsinduktion gilt für n > ˛ wegen der Induktionsvoraussetzung und 6.2

Zn�1 D maxffn�1.Xn�1/; E.ZnjFn�1/gD maxffn�1.Xn�1/; E.gn.Xn/jFn�1/gD maxffn�1.Xn�1/; Rgn.Xn�1/g D gn�1.Xn�1/:

Die Beschreibung von � folgt damit aus 6.23. utAnwendungen findet man in Kap. 8.

254 6 Markov-Prozesse, Martingale und optimales Stoppen

Aufgaben

6.1 (Stabilitätseigenschaft) Seien ˛ > �1 und X ein .X ;A/-wertiger F-Markov-Prozess mit Übergangskern R. Zeigen Sie, dass für eine erste Eintrittszeit � WDinffn 2 T W Xn 2 Ag mit A 2 A der gestoppte Prozess X� ein F-Markov-Prozessmit Übergangskern

Q.x; � / WD ıx1A.x/ C R.x; � /1Ac .x/ für x 2 Xist.

Hinweis: f� � ng D fX�n 2 Ag für alle n 2 T .

6.2 (Stabilitätseigenschaft) Seien X ein .X ;A/-wertiger F-Markov-Prozess mitÜbergangskern R; .Y;B/ ein messbarer Raum und F W.X ;A/ ! .Y;B/ eine mess-bare Abbildung mit F.X / 2 B. Zeigen Sie: Ist R ein Markov-Kern auf .X ; �.F //,so ist .F.Xn//n2T ein F-Markov-Prozess mit Übergangskern Q, wobei

Q.F.x/; � / D R.x; � /F für x 2 X :

Hinweis: Nach dem Faktorisierungslemma A.10 gibt es für B 2 B eine messbareFunktion gB W .Y;B/ ! .RC;B.RC// mit R. � ; F �1.B// D gB ıF . Man definiereQ.y; B/ WD gB .y/, falls y 2 F.X /, und Q.y; B/ WD �, falls y 2 Y n F.X / füreine beliebige Verteilung � auf B.

Die obige Aussage ist für beliebige messbare surjektive Abbildungen F nichtrichtig. Beispiel 6.6(c) zeigt, dass die Homogenität verloren gehen kann, unddie zweite Projektion des zweidimensionalen Markov-Prozesses in Beispiel 6.6(a)zeigt, dass die Markov-Eigenschaft selbst nicht erhalten bleiben muss.

6.3 (Starke Markov-Eigenschaft) Seien X ein .X ;A/-wertiger Markov-Prozess mitÜbergangskern R; T D N0; � eine Stoppzeit und f W T � X T ! RC bezüglich.AT ;B.RC// messbar. Zeigen Sie

E.f .�; �� .X//jF� / DZ

f .�; y/K.X� ; dy/ P -f.s. auf f� < 1g

mit K aus Satz 6.4.

6.4 Sei X abzählbar. Für einen Markov-Kern R auf X existiere eine R-invarianteVerteilung � auf X , das heißt �R D �. Zeigen Sie, dass x 2 X rekurrent ist, falls�.fxg/ > 0.

6.5 Seien X abzählbar und X ein X -wertiger kanonischer Markov-Prozess mitT D N0, Übergangskern R und Verteilungen .Px/x2X . Zeigen Sie Px.N.y/ D0/ D 1 oder Px.N.y/ D 1/ D 1 für alle y 2 X , falls x 2 X rekurrent ist.

6.6 Seien ˛ > �1; X ein F-adaptierter .X ;A/-wertiger Prozess und R einMarkov-Kern auf .X ;A/. Zeigen Sie: Ist

f .Xn/ �nX

iD˛C1

.Rf � f /.Xi�1/; n 2 T

Aufgaben 255

für alle messbaren beschränkten Funktionen f W .X ;A/ ! .R;B.R// ein F-Martingal, so ist X ein F-Markov-Prozess mit Übergangskern R.

6.7 (Raum-Zeit-Prozess) Seien X D .Xn/n2T ein .X ;A/-wertiger F-Markov-Prozess mit Übergangskern R; Yn WD .n; Xn/ für n 2 T der zugehörige Raum-Zeit-Prozess und .Y;B/ WD .T � X ;P.T / ˝ A/. Zeigen Sie, dass Y ein .Y;B/-wertiger F-Markov-Prozess mit Übergangskern Q ist, wobei

Q..n; x/; � / WD ı1Cn ˝ R.x; � /für n < ˇ und falls ˇ < 1; Q..ˇ; x/; � / WD ı.ˇ;x/.

Zeigen Sie ferner, dass eine R-integrierbare Funktion f W T � X ! R genaudann R-harmonisch ist, wenn f Q-harmonisch ist, also Qf D f gilt.

6.8 Sei X D .Xn/n2N0ein kanonischer X -wertiger Markov-Prozess mit X D N0,

Übergangskern R und Verteilungen .Px/x2X , wobei

R.0; 0/ WD 1 und R.x; y/ WD e�x xy

yŠ

für x � 1 und y 2 N0. .R.x; � / ist eine Poisson-Verteilung mit Parameter x

für x � 1.) Bestimmen Sie die rekurrenten Zustände. Zeigen sie ferner, dassf W N0 ! N0, f .x/ WD x harmonisch ist und Xn ! 0 Px-f.s. für n ! 1und alle x 2 X D N0.

6.9 Seien X endlich und R ein Markov-Kern auf X . Zeigen Sie, dass es mindestenseinen rekurrenten Zustand gibt.

6.10 Sei X abzählbar und R ein Markov-Kern auf X . Zeigen Sie, dass X genaudann irreduzibel ist, wenn F.x; y/ > 0 für alle x; y 2 X .

6.11 (Pólyas Urnenmodell) Zeigen Sie, dass f# W N2 ! RC

f#.y; z/ WD . yCzm

/

. ym

/ . zm

/#

ym

�1.1 � #/zm

�1

mit # 2 .0; 1/ eine harmonische Funktion für den Übergangskern R des zweidi-mensionalen Markov-Prozesses .Y; Z/ aus Beispiel 6.6(c) ist. (Das ist die �-Dichteder Beta.y=m; z=m/-Verteilung an der Stelle # .) Nach Satz 6.16 ist daher

f#.Yn; Zn/ D . rCsm

C n/

. Yn

m/ . rCs

mC n � Yn

m/#

Ynm �1.1 � #/

rCsm Cn�1� Yn

m ; n � 0

ein Martingal. Zeigen Sie ferner, dass für A 2 B..0; 1// auch fA W N2 ! RC,

fA.y; z/ WDZ

A

f#.y; z/d#

256 6 Markov-Prozesse, Martingale und optimales Stoppen

R-harmonisch ist,

fA.Yn; Zn/ D Beta.Yn=m; Zn=m/.A/; n � 0

ein Martingal ist und

P X1jFn D P X1jXn D Beta.Yn=m; Zn=m/

für alle n � 0 gilt, wobei X1 den fast sicheren Limes von Xn für n ! 1 bezeich-net (Beispiel 4.10(c))

Hinweis zur bedingten Verteilung von X1: Aufgabe 4.3.

6.12 (Optimales Stoppen) Seien T D f˛; ˛ C 1; : : : ; ˇg mit ˛; ˇ 2 Z, ˛ < ˇ,Y ein adaptierter L1-Prozess und Z D M � A die Doob-Zerlegung des SnellschenUmschlangs Z von Y , wobei A der Kompensator von �Z ist.

(a) Zeigen Sie für das Problem des optimalen Stoppens von Y , dass � 2 ˙ genaudann eine optimale Stoppzeit ist, wenn Z� D Y� und Z� ein Martingal ist.

(b) Zeigen Sie, dass

�� WD inffn 2 T W n < ˇ; AnC1 > 0g ^ ˇ

D inffn 2 T W n < ˇ; E.ZnC1jFn/ 6D 0g ^ ˇ

die größte optimale Stoppzeit ist und ferner, dass � 2 ˙ genau dann optimalist, wenn Z� D Y� und � � �� f.s. (�� ist der erste Zeitpunkt vor ˇ, an dem Z

die Martingaleigenschaft verliert.)

6.13 (Optimales Stoppen) Seien T D f˛; : : : ˇg mit ˛; ˇ 2 Z; ˛ < ˇ und Y einadaptierter L1-Prozess mit

fYn � E.YnC1jFn/g � fYnC1 � E.YnC2jFnC1/gfür alle n 2 T; n < ˇ, wobei YˇC1 WD Yˇ . Zeigen Sie für die kleinste optimaleStoppzeit � gemäß Satz 6.23

� D inffn 2 T W Yn � E.YnC1jFn/g:Beispiel 6.25 ist von diesem Typ.

6.14 Seien R ein Markov-Kern auf .X ;A/ und f W .X ;A/ ! .RC;B.RC// einemessbare beschränkte Funktion.

(a) Sei h0 WD f und

hk WD maxfhk�1; Rhk�1g für k 2 N:

Zeigen Sie, dass f � WD supk2N0hk die kleinste, („von n unabhängige“) super-

harmonische Majorante von f ist.(b) Sei g.ˇ/ W T � X ! RC die superharmonische Funktion aus Satz 6.26 bezüg-

lich T D f0; : : : ; ˇg. Zeigen Sie, dass .g.ˇ/0/ˇ2N monoton wachsend ist undlimˇ!1 g.ˇ/0 D f �.