Master Seminar Mathematik - uni-due.deadf040p/files/Monte-Carlo-Integration.pdf · Master Seminar...

Master Seminar MathematikMonte-Carlo IntegrationStephan Napierala ■ 06. Juli 2017

Inhaltsverzeichnis

1. Geschichtlicher Hintergrund

2. Stochastische Grundbegriffe

3. Monte-Carlo Integration

4. Vorteile gegenüber anderen Verfahren

5. Konvergenzbeschleunigung

06. Juli 2017 [email protected] Integration

12

Geschichtlicher Hintergrund


Welchen Zusammenhang haben diese beiden Bilder?

Abbildung: Panoramablick von Monte-Carlo(Quelle: Moreh, 2015)

Abbildung: Explosion einer Atombombe (Quelle:www.pixabay.com 2015)


4


In den 1940er Jahren gab es ein geheimes Projekt im Los Alamos Scientific Laboratory,welches zur Entwicklung der Atombombe führte

An diesem Projekt waren unter anderem Enrico Fermi, Stanislaw Ulam und John vonNeumann

Ein Ziel des Projekts war es Neutronenbewegungen vorhersagen zu können.

In Anlehnung an die Beziehungen von Ulams Onkel zur Spielbank von Monte Carlo, wurde derName Monte-Carlo Algorithmen verwendet. (vgl. Nahrstedt, 2015)

Die Erforschung der Algorithmen wurde mit der Entwicklung immer leistungsfähigererComputer weiter voran getrieben, da sie zur Durchführung der Algorithmen unerlässlich sind.

Unter Monte-Carlo Algorithmen versteht man heute den Einsatz von Zufallszahlen zur Lösungvon mathematischen Problemen (vgl. Neumann, 2012).


5

Stochastische Grundbegriffe

Zufallsvariable

Eine Zufallsvariable X ist eine Funktion, die jedem Ausgang eines Zufallsexperiments einennumerischen Wert zuordnet.

Diese Zufallsvariable kann entweder diskret (z.B. Würfelwurf) oder stetig (z.B. Körpergröße)sein.

X heißt gleichverteilt, wenn alle Ausgänge des Zufallsexperiments gleich wahrscheinlich sind.

Abbildung: Würfel und Casino Chips (Quelle: www.pixabay.com 2017)


7

Erwartungswert

Sei X eine Zufallsvariable. Dann ist der Erwartungswert von X:

E[X] =

∑

i pi · Xi im diskreten Fall,∫∞−∞ f(x) · x dx im stetigen Fall

Analog lässt sich der Erwartungswert für eine Funktion g(x) formulieren als:

E[g(x)] =

∑

i pi · g(Xi) im diskreten Fall,∫∞−∞ f(x) · g(x) dx im stetigen Fall

Zudem gelten folgende Rechenregeln

E[X1 + ...+ Xn] = E[X1] + ...+ E[Xn]

E[aX] = a · E[X], für a ∈ R


8

Varianz

Die Varianz einer Zufallsvariablen X gibt die Streuung der Werte von X um denErwartungswert E[X] an.

Sie ist definiert als: σ2[X] = Var[X] = E[(X − E[X])2]

σ[X] heißt Standardabweichung von X. Sie ist auch ein Maß der Streuung um denErwartungswert, hat jedoch die gleiche Dimension wie die Zufallsvariable im Gegensatz zurVarianz.

Auch hier gelten folgende Rechenregeln

σ2[X1 + ...+ Xn] = σ2[X1] + ...+ σ2[Xn], wenn X1 + ...+ Xn unabhängig sind.

⇒ σ2[X1 + X2] = σ2[X1] + σ2[X2] + 2 · Cov[X1,X2], Spezialfall für zwei Zufallsvariablen

σ2[aX] = a2 · σ2[X], für a ∈ R


9

Monte-Carlo Integration


Zugrundeliegende Idee:

Das Integral einer Funktion f(x) im Intervall [a, b] kann als arithmetisches Mittel oderErwartungswert der Funktion f an zufälligen Stellen x formuliert werden als:

I[f] = Fba = E[f(x)] =

∫ b

af(x) · 1

b − adx

wenn X eine gleich verteilte Zufallsvariable ist.

Seien x1, ..., xn Zufallszahlen von X in [a, b], dann ist

IN[f] = (b − a) · 1

N

N∑n=1

f(xn) ≈ E[f(x)] = I[f]

eine Approximation des Erwartungswerts von f.


11


Formel für die Monte-Carlo Integration:

IN[f] = (b − a) · 1

N

N∑n=1

f(xn) ≈ E[f(x)] = I[f]

Abbildung: Visualisierung der Monte-Carlo Integration (Quelle: Scratchapixel, 2015)


12

Beweis der Monte-Carlo Integration

Warum gilt die angegebene Formel zur Monte-Carlo Integration, also IN[f] ≈ I[f]?

Für den Erwartungswert gilt:

E[IN[f]] = ...

= ...

= I[f]

und dann gilt mit dem starken Gesetzder großen Zahlen:

P( limN→∞

IN[f] = E[f(x)] = I[f]) = 1

was insgesamt dazu führt, dass gilt:

limN→∞

IN[f] −→ I[f]


13

Fehler der Monte-Carlo Integration

Wie schnell nähert sich diese Approximation dem richtigen Wert an?

Der absolute Fehler lässt sich definieren als: ϵN[f] = I[f]− IN[f]

Betrachte den MSE (mean-square error): E[ϵ2N]!= σ2[IN[f]]

Untersuche die Varianz derApproximation genauer:

σ2[IN[f]] = ...

= ...

=(b − a)2

N· σ2 [f(x)]

und anschließend den RMSE(root-mean-square error):

√E[ϵ2N] =

√σ2[IN[f]]

= σ[IN[f]]

=(b − a)√

N· σ [f(x)]


14

Fehler der Monte-Carlo Integration

Wie schnell nähert sich diese Approximation dem richtigen Wert an?

Somit hängt der Fehler nur von N und zwei Konstanten (zum einen der Standardabweichung)des Problems ab.

Der Fehler hat somit die Komplexität:

O((b − a)√

Nσf

)= O

(σf√N

)= O

(1

√N

)

Das bedeutet, dass vier mal so viele Zufallszahlen benötigt werden, um den Fehler zuhalbieren.

⇒ Das ist nicht gut! ABER...


15

Vorteile gegenüber anderen Verfahren

Vorteile gegenüber anderen Verfahren

Das Verfahren ist robust.

Die Konvergenz des Verfahrens ist mit O(

1√N

)= O

(N− 1

2

)nicht gut, aber hängt nicht von

der Dimension des Problems ab!Bei Verfahren, die mit festen Gittern arbeiten, beträgt die Komplexität O

(N− k

d)

. k ist dabei die

Ordnung der Methode (Trapez-Regel ∧= 1; Simpson-Regel ∧

= 3) und d ist die Dimension.⇒ Zudem ist es kaum möglich in höheren Dimensionen ein Gitter zu verwenden, da es zunächst 2d

Punkte benötigt. Wird es gleichmäßig verfeinert, so wird es um den Faktor 2d vergrößert.

⇒ Monte-Carlo Integration ist demnach effizienter als Verfahren mit Gittern, wenn kd < 1

2gilt.

Die Methode ist einfach zu implementieren und vielseitig anwendbar.


17

Konvergenzbeschleunigung

Konvergenzbeschleunigung

Wie kann die Konvergenz der Monte-Carlo Integration beschleunigt werden?

1. Quasi-Monte-Carlo Integration

2. VarianzreduktionControl Variates („Kontrolliere die Zufallsvariablen“)Antithetic Variables („gegensätzliche Variablen“)


19

Varianzreduktion durch Control Variates


Benutze eine Funktion g, die ähnlich zu f ist

g kann jedoch exakt integriert werden, d.h. I[g] =∫ b

a g(x)dx

Dann kann man schreiben:

∫ b

af(x)dx =

∫ b

a(f(x)− g(x))dx +

∫ b

ag(x)dx (1)

und bekommt für den entstehenden Fehler:

ϵN[f(x)] ≈(b − a)√

Nσf−g <

(b − a)√

Nσf, wenn σf−g ≪ σf


20


1. Möglichkeit, damit σf−g ≪ σf gilt:

Mit Kenntnis über f kann g so gewählt werden, dass sie sich sehr ähnlich sind.

Dann kann auf Gleichung (1) die Monte-Carlo Integration angewendet werden:

IN[f] = (b − a) 1N

N∑n=1

(f(xn)− g(xn)) + I[g]

Da f und g ähnlich, ist h := f − g nahezu konstant

und es gilt σ2[h] = 0, wenn h konstant

⇒ σf−g ≪ σf, wenn g ähnlich zu f gewählt wurde


21


2. Möglichkeit, (Kenntnis über die Größe des Fehlers):

Wende die Monte-Carlo Integration auf Gleichung (1) an und forme so um:

IN[f] = (b − a) 1N

( N∑n=1

f(xn)−N∑

n=1

g(xn)

)+ I[g]

= IN[f] + I[g]− IN[g]

Identifiziere die Größe des Fehler der Monte-Carlo Integration am bekannten Integral derFunktion g

Da f und g ähnlich sind, ist mit der gleichen Größe des Fehlers im Integral von f zu rechnen,sodass dieser mit beachtet bzw. sogar entfernt werden kann

⇒ Das Verfahren wird somit schneller!


22

Varianzreduktion durch Antithetic Variables


Nimm für alle erzeugten Zufallszahlen xi auch −xi und werte die Funktion f dort aus.

Dies führt zur Formel:

IN[f] = (b − a) 1

2N

N∑n=1

(f(xn) + f(−xn))

So wird die Anzahl der zu generierenden Zufallszahlen halbiert.

Zudem wird die Varianz verringert, da...


23

Varianzreduktion durch Antithetic Variables

Seien X1 = x1, ..., xn und X2 = −x1, ...,−xn zwei Zufallsvariablen, die I[f] approximieren.

Dann sind X1,X2 negativ korreliert und besitzen die gleiche Varianz.

Dann stellt IN[f] = IN[X1]+IN[X2]2

eine Approximation von I[f] dar.

Für die Varianz zweier Zufallsvariablen gilt:

σ2[X1 + X2] = σ2[X1] + σ2[X2] + 2 · Cov[X1,X2]

Da X1,X2 negativ korreliert sind, ist Cov[X1,X2] negativ

⇒ Das Verfahren wird somit schneller!


24

Beispiel der Varianzreduktion

Als Beispiel soll das drei-dimensionale Gauß-Integral berechnet werden:

I[u] = (2π)−32

∫ ∞

−∞

∫ ∞

−∞

∫ ∞

−∞ue−

(x21+x22+x23)

2 dx1dx2dx3

mit dem Integranden u:

u = (1 + r0)−1(1 + r1)−1(1 + r2)−1(1 + r3)−1

r1 = r0eσx1−σ2

2

r2 = r1eσx2−σ2

2

r3 = r2eσx3−σ2

2

Dieses Integral kann so interpretiert werden, dass 1 Euro über vier Jahre mit einem Zinssatz ri

im Jahr i verzinst wird.


25


Abbildung: Monte-Carlo Integration: Ergebnis aus 20 Testdurchläufen für jedes N (vgl. Caflisch, 1998)


26


Abbildung: Quasi-Monte-Carlo Integration: Ergebnis aus 20 Testdurchläufen für jedes N (vgl. Caflisch, 1998)


27

Vielen Dank für die Aufmerksamkeit!

KontaktStephan Napierala

Universität [email protected]

Literaturverzeichnis II

Caflisch, Russel E. (1998). „Monte Carlo and quasi-Monte Carlo methods“. In: Acta Numerica 7,S. 1–49.

Moreh, Jack (2015). www.stockvault.net. url:http://www.stockvault.net/photo/172351/panoramic-view-of-monte-carlo-in-monaco

(besucht am 12. 06. 2017).Nahrstedt, Harald (2015). Die Monte-Carlo-Methode: Beispiele unter Excel VBA. Springer-Verlag.Neumann, Martin (2012). „Computational Physics I: Grundlagen“. lecture note. Wien: Institut für

Experimentalphysik der Universität Wien.Scratchapixel (2015). www.scratchapixel.com. url:

https://www.scratchapixel.com/lessons/mathematics-physics-for-computer-

graphics/monte-carlo-methods-in-practice/monte-carlo-integration (besucht am12. 06. 2017).


29

http://www.stockvault.net/photo/172351/panoramic-view-of-monte-carlo-in-monaco

https://www.scratchapixel.com/lessons/mathematics-physics-for-computer-graphics/monte-carlo-methods-in-practice/monte-carlo-integration

https://www.scratchapixel.com/lessons/mathematics-physics-for-computer-graphics/monte-carlo-methods-in-practice/monte-carlo-integration

Literaturverzeichnis IIII

www.pixabay.com (2015). url:https://pixabay.com/de/atombombe-atompilz-explosion-1011738/ (besucht am12. 06. 2017).

www.pixabay.com (2017). url:https://pixabay.com/de/w%C3%BCrfel-gl%C3%BCcksspiel-gl%C3%BCck-spielen-2038343/

(besucht am 12. 06. 2017).


30

https://pixabay.com/de/atombombe-atompilz-explosion-1011738/

https://pixabay.com/de/w%C3%BCrfel-gl%C3%BCcksspiel-gl%C3%BCck-spielen-2038343/

Master Seminar Mathematik - uni-due.deadf040p/files/Monte-Carlo-Integration.pdf · Master Seminar...

Documents

Transcript of Master Seminar Mathematik - uni-due.deadf040p/files/Monte-Carlo-Integration.pdf · Master Seminar...