Ingo Rechenberg

PowerPoint-Folien zur 3. Vorlesung „Evolutionsstrategie I“

Globale und lokale Optimumsuche

Vier elementare Strategien auf dem Prüfstand

Qx ?

Strategie

VersuchsobjektQualitätsmessungVerstellbarkeitExperimentierkreis

4 Strategien

1. Globale deterministische Suche2. Globale stochastische Suche3. Lokale deterministische Suche4. Lokale stochastische Suche

opt

Kann ein technisches Objekt, aber auch ein Lebewesen sein

Suche nach dem Optimum

Bei schwach kausalem Weltverhalten

Bei stark kausalem Weltverhalten

?

Z

1 m

m

1

1. Globale deterministische SucheSystematisches Scannen des Versuchsfeldes

2)2( mG

nn mG )(

Beispiel:80 Variable mit je 10 diskreten Einstellstufen

G = 1080 Zahl der Elementarteilchen im Weltall

Z

1 m

m

1

2. Globale stochastische SucheZielfindung mit 95% Wahrscheinlichkeit

2)2( 99.2 mG

nn mG 99.2)(

Rechnung mit Wahrscheinlichkeitstheorie

1. Versuch Ziel getroffen: 21

mW z

1. Versuch Ziel nicht getroffen: 211 mW z

1. & 2. Versuch Ziel nicht getroffen:2

211 )(z mW

1. & 2. & 3. Versuch Ziel nicht getroffen:3

211 )(z mW

G

mW )(z 2111. & 2. & 3…& G. Versuch Ziel nicht getroffen:

G Versuche Ziel getroffen:G

mW )(z 2111

)( 211ln)1(ln mGW z )( 2

11ln)1(ln

m

WG z

3232)1ln( xxxx 22

1)11(ln mm

)(zWmG

1

1ln2

)(zWmG n

1

1ln

Für n Variable

996,2 nmG

Für Wz = 0.95

Text

1. Globale deterministische Suche

3. Lokale deterministische Suche

2. Globale stochastische Suche

4. Lokale stochastische Suche

Suche nach dem Optimum

Bei schwach kausalem Weltverhalten

Bei stark kausalem Weltverhalten

Konstruktion einer additiven Einbahnstraße zum Berggipfel

?

Zurückgelegter Weg berganZahl der Versuche

Definition der Fortschrittsgeschwindigkeit

Konstruktion einer additiven Einbahnstraße zum Berggipfel

Ließe sich das Vorhandensein eines zusammengesetzten Organs nachweisen, das nicht durch zahlreiche aufeinander folgende geringe Abänderungen entstehen könnte, so müsste meine Theorie zusammenbrechen.

Charles Darwin

Sichtbar gemachtes Normalverhalten der Welt

Die Idee der Linearisierung

Linearitätsradius

Z

x

y

Linearitätsradius

Fortschritt

3. Lokale deterministische SucheFolgen des steilsten Anstiegs

3)2(

grad

1)(

grad nn

Zurückgelegter Weg berganZahl der Versuche

Man darf nur so weit gehen, wie die Annahme „Ebene“ gilt !

Versuch in y-Richtung

Versuch in x-Richtung

Auflegen einer Scheibe

Steilster Anstieg

Arbeitsschritt der Länge in Richtung des steilsten Anstiegs am Beispiel für 3 Dimensionen:

222alteun ΔΔΔΔ

zyx

x

QQQQxx

222altneu ΔΔΔΔ

zyx

y

QQQ

Qyy

222altneu ΔΔΔΔ

zyx

z

QQQQzz

Gradientenstrategie

Man be

wegt si

ch pro

portio

nal zu

den

jeweili

gen Q

ualitä

tsänd

erung

en in

die

x-, y-

, und

z-Rich

tung

(1 + 1)-ES

Ebene symbolisiert die lineare Theorie

?)2(evo

Z

x

y

Linearitätsradius

4. Lokale stochastische SucheZufallsdriften entlang des steilsten Anstiegs

1. Nachkomme

2. NachkommeElter

?)2(evo

?)(evon

Plus-Nachkomme

Minus-Nachkomme

Statistisches Mittel des FortschrittsBestimmung des

linearen Fortschritts

Elter

Linearitätsradius

Schwerpunkt

+

−

s r

Plus-Nachkomme

Minus-Nachkomme

Statistisches Mittel des Fortschritts

Elter

Linearitätsradius

Schwerpunkt

+

−

Fortschrittsgeschwindigkeit:

Weil die Hälfte der Kinder Misserfolge sind !

s2r

r

s r

?

r steht für randverteilte Zufallsschritte

rr

rsr 2 rsr 21

2 Dim. 3 Dim. n Dim.

sr srsr

Schwerpunkt

?

Plus-Nachkomme

Minus-Nachkomme

Statistisches Mittel des FortschrittsBestimmung des

linearen Fortschritts

Linearitätsradius

Schwerpunkt

Elter

+

−

sv

v steht für volumenverteilte Zufallsschritte

Plus-Nachkomme

Minus-Nachkomme

Statistisches Mittel des Fortschritts

Linearitätsradius

Schwerpunkt

Elter

+

−

Fortschrittsgeschwindigkeit:

Weil die Hälfte der Kinder Misserfolge sind !

s2v

v

sv

?

r

rsv 4 rsv 83

2 Dim. 3 Dim. n Dim.

sv sv

Schwerpunkt

r

?

sv

r

Aufgabe:

1. Berechnung des Schwerpunkts einer n-dimensionalen Halbkugelschale

2. Berechnung des Schwerpunkts einer n-dimensionalen Vollhalbkugel

Was ist eine n-dimensionale Kugel ― Hyperkugel ?

Was ist ein n-dimensionaler Würfel ― Hyperwürfel ?

Hyperraum aus der Sicht eines Künstlers

Der n-dimensionale Raum der Mathematiker ist eine

abstrakte Idee, eine Extrapolation !

Strecke – Quadrat – Würfel – Tesserakt

Der Weg zum n-dimensionalen Würfel

Wenn Sie diese Figur räumlich sehen, dann sehen Sie die Projektion eines 4-dimensionalen Würfels in 3 Dimensionen

Die Fortentwicklung einer konstruktiven mathematischen Idee

Hyperwürfel

∂a

∂a

∂a ∂a

∂a

∂a

a 2a 3a na

Was ist eine n-dimensionale Kugel ?

Genannt:

Stecken-element

Flächen-element

Volumen-element

Hypervolumen-element

Beispiel: Strecken-Flächen-Volumen-Element

212 )( xxD

212

212 )()( yyxxD

212

212

212 )()()( zzyyxxD

212

212

212

212 )()()()( zzyyxxD

}{ 11 xP

}{ 22 xP

},{ 111 yxP

},{ 222 yxP },,{ 2222 zyxP

},,{ 1111 zyxP },,,,{ 11111 zyxP

},,,,{ 22222 zyxP

Entfernung D zweier Punkte1P

2PAnaloge Extrapolationsidee für die

Die konstruktive Idee einer n-dimensionalen

Kugeloberfläche: Alle Punkte P2, die von dem

Punkt P1 die gleiche Entfernung R haben.

D

Zurück zur Aufgabe:

1. Berechnung des Schwerpunkts einer n-dimensionalen Halbkugelschale

2. Berechnung des Schwerpunkts einer n-dimensionalen Vollhalbkugel

Paul Guldin (1577 – 1643)

Die 1. Guldinsche RegelEine Kurve erzeugt durch Rotation um 360 Grad eine Rotationsfläche. Dann ist die Oberfläche der Rotationsfläche gleich der Länge der erzeugenden Kurve mal dem Weg des Schwerpunktes dieser Kurve.

Paul Guldin (1577 – 1643)

Die 1. Guldinsche RegelEine Kurve erzeugt durch Rotation um 360 Grad eine Rotationsfläche. Dann ist die Oberfläche der Rotationsfläche gleich der Länge der erzeugenden Kurve mal dem Weg des Schwerpunktes dieser Kurve.

Ein Halbkreis erzeugt durch Rotation um 360° eine Kugel. Dann ist die Oberfläche der Kugel gleich der Länge des Halbkreislinie ( r ) mal dem Rotationsweg des Schwerpunkts des Halbkreislinie.

Beispiel:

Halbkreislinienschwerpunkt

Halbkreis mit dem Radius r

Schwerpunktsweg

s

KreisKugel 212 UsO

Paul Guldin (1577 – 1643)

Die 2. Guldinsche RegelEine Fläche erzeugt durch Rotation um 360 Grad einen Rotationskörper. Dann ist das Volumen des Rotationskörpers gleich dem Inhalt der erzeugenden Fläche mal dem Weg des Schwerpunktes dieser Fläche.

Paul Guldin (1577 – 1643)

Die 2. Guldinsche RegelEine Fläche erzeugt durch Rotation um 360 Grad einen Rotationskörper. Dann ist das Volumen des Rotationskörpers gleich dem Inhalt der erzeugenden Fläche mal dem Weg des Schwerpunktes dieser Fläche.

Halbkreisflächenschwerpunkt

Halbkreis mit dem Radius r

Schwerpunktsweg

s

Ein Halbkreis erzeugt durch Rotation um 360° eine Kugel. Dann ist das Volumen der Kugel gleich dem Inhalt des Halbkreisfläche (1/2 r

2) mal dem Rotati-onsweg des Schwerpunkts der Halbkreisfläche.

Beispiel:

KreisKugel 212 FsV

KreisKugel 212 UsO r

Kreis

KugelUOsr

KreisKugel 212 FsV v

Kreis

KugelF

Vsv

2

)3()2(

Kugel

Kugel

OOsr

(2)

(3))2(

Kugel

Kugel

VVsv

2

)3()2(

Kugel

Kugel

2 OO

r

2

)3()2(

Kugel

Kugel

2 VV

v

n

nn

r OO

Kugel

Kugel

2)1(

)(

n

nn

v VV

Kugel

Kugel

2)1(

)(

(2)KugelOr2KreisU

gedeutet als

1 Dimension 221 )( xxD

2 Dimensionen 221

221 )()( yyxxD

3 Dimensionen 221

221

221 )()()( zzyyxxD

4 Dimensionen 221

221

221

221 )()()()( uuzzyyxxD

Guldin

Guldin

n

nn

r OO

Kugel

Kugel

2)1(

)(

Oberfläche einern-dimensionalen Kugel

12/)(

2Γ2 nnn RnO )(

nnn RnnV )(22 Γ2/)( Volumen einer

n-dimensionalen Kugel

)()(

21

22

)(

n

nn

r

n

nn

v VV

Kugel

Kugel

2)1(

)( 121

22

)(

nn

n

nn

v )()(

(m) = (m – 1)! für ganzzahlige m

(x +1) = x (x), (1) =(2) = 1, (1/2) =

Zur Gammafunktion (verallgemeinerte Fakultät)

Es gilt die asymptotische Formel:

nn

r1

2)(

11

2)(

nn

nn

v

für n >> 1

nn

n

n

2lim2

12

)()(

n1

2 für große

n

Randverteilte Zufallszahlen

Volumenverteilte Zufallszahlen

Text

20 40 60 80 1001

0,5

1,0

1

90r

Vo lum e n-Ve rte ilung

n

Zur Geometrie der n-dimensionalen Kugel

Text

Gradienten Strategie kontra Evolutionsstrategie

Für n >> 1

nn

2

1)(evon

n )(grad

1/ n

Evolutionsstrategie

1/n

Gradientenstrategie

Text

Der Dumme, der einfach losgeht, kommt weiter als der Schlaue, der sitzen bleibt und sich vor lauter Nachdenken nicht entscheiden kann.

Motto des Evolutionsstrategen

Der Streit um Darwin und um den Zufall in der Evolution ist eher ein Streit, ob die Welt sich schwach kausal oder stark kausal verhält.

?!

PessimistOptimist

Ließe sich das Vorhandensein eines zusammengesetzten Or-gans nachweisen, das nicht durch zahlreiche aufeinan- derfolgende geringe Abän-derungen entstehen könnte, so müsste meine Theorie zusammenbrechen.

Endewww.bionik.tu-berlin.de

Wahrscheinlichkeitsrechnung, ganz einfach:

Gesucht ist eine Gesamtwahrscheinlichkeit, die sich aus einzelnen bekannten Wahrscheinlichkeiten zusammensetzt.

Werden bei der verbalen Formulierung der Aufgabe die einzelnen Wahrscheinlichkeiten durch „und“ verbunden, müssen rechnerisch die Wahrscheinlichkeiten multipliziert werden. Also die Wahrscheinlichkeit mit einem Würfel eine 6 zu würfeln und dann nochmals eine 6 zu würfeln ist 1/6 mal 1/6 = 1/36. Die Wahrscheinlichkeit 3 Mal hintereinander eine 6 zu würfeln ist 1/6 mal 1/6 mal 1/6 = 1/216.

Werden bei der verbalen Formulierung der Aufgabe die einzelnen Wahrscheinlichkeiten durch „oder“ verbunden, müssen rechnerisch die Wahrscheinlichkeiten addiert werden. Also die Wahrscheinlichkeit mit einem Würfel 6 Augen oder 5 Augen zu würfeln ist dann 1/6 plus 1/6 = 2/6 = 1/3. Die Wahrscheinlichkeit, eine 6 oder ein 5 oder eine 4 oder eine 3 oder ein 2 oder eine1 zu würfeln ist dann 1/6 +1/6 +1/6 +1/6 +1/6 +1/6 = 1.

Die Wahrscheinlichkeit, keine 4 zu würfeln, ist gleich der Wahrscheinlichkeit eine 1 oder eine 2 oder eine 3 oder eine 5 oder eine 6 zu würfeln, und das ist 1/6 +1/6 +1/6 +1/6 +1/6 = 5/6 = 1 -1/6. Die Wahrscheinlichkeit, keine 2 oder keine 3 zu würfeln, ist gleich der Wahrscheinlichkeit eine 1 oder eine 4 oder eine 5 oder eine 6 zu würfeln, und das ist 1/6 + 1/6 + 1/6 + 1/6 = 4/6 = 1 – (eine 2 oder eine 3 zu würfeln) = 1 – (1/6 +1/6) = 1 – 2/6.

Eine sehr wichtige Aussage der Theorie: Zwei völlig verschiedene Verteilungender Mutationen (gleichmäßig am Kugelrand und gleichmäßig im Kugelvolumen)ergeben für viele Variable n das gleiche Ergebnis. Das heißt, es lohnt sich nicht,über Vor- und Nachteile verschiedener Mutationsverteilungen zu sinnieren.

Das Diagramm zeigt, dass in einer hochdimensionalen Hyperkugel sich das Volumen fast ausschließlich an der Oberfläche der Kugel konzentriert. Das Innere einer Hyperkugel hat nur sehr wenig Volumen. Ein gleichverteilter Zufalls-punkt wird sich deshalb mit großer Wahrscheinlichkeit immer am äußeren Rand der Hyperkugel befinden.

Die Theorie zeigt: Eine planvoll durchdachte Handlungsweise zum Folgen des Gra-dientenweges (Gradientenstrategie) muss nicht notwendigerweise effektiver sein als die Diffusion bergauf durch eine Reihe spontan ausgeführter kleiner Zufalls-schritte. Man muss den Gesamtaufwand sehen. Die Gradientenstrategie benötigt n Vorversuche (genau n+1), die zunächst noch keinen Fortschritt erbringen. Erstnachdem die Informationen gesammelt wurden folgt der eigentliche Arbeitsschritt, der nun allerdings den größtmöglichen Gewinn erbringt. Bei der Evolutionsstrategie ist es umgekehrt. Die Chance für eine großen Gewinn ist bei einem Zufallsschritt gering. Ein kleiner Gewinn tritt aber im Mittel jedes 2. Mal auf.

Fazit: Die vielen Hilfsoperationen bei einen ausgeklügelten Strategie können zu einer größeren Verlangsamung des Fortschritts führen als die unvermeidlichen Abweichungen eines Zufallsschrittes (im linearen Fall ist ja jeder 2. Schritt im Mittel erfolgreich) von der optimalen Fortschrittsrichtung