12. Vorlesung Stochastische Optimierung · SC WS 17/18 Georg Frey316 • Differential Evolution...

12. Vorlesung

Stochastische Optimierung

Differential Evolution

Soft Control

(AT 3, RMA)

http://www.uni-saarland.de/en/

SC

315 WS 17/18 Georg Frey

12. Vorlesung im Aufbau der Vorlesung

1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen

"intelligenter" Systeme

2. Wissensrepräsentation und Wissensverarbeitung (Symbolische KI)

Anwendung: Expertensysteme

3. Fuzzy-Systeme: Umgang mit unscharfem Wissen

Anwendung: Fuzzy-Control

4. Konnektionistische Systeme: Neuronale Netze

Anwendung: Identifikation und neuronale Regler

5. Stochastische Optimierung (Genetische Algorithmen Simulated

Annealing, Differential Evolution) Anwendung: Optimierung

1. Genetische Algorithmen

2. Simulated Annealing

3. Differential Evolution

6. Zusammenfassung & Literaturhinweise


SC


• Differential Evolution (DE) gehört, wie auch genetische Algorithmen, zu

den Populations-basierten Optimierungsverfahren

• DE hat kein natürliches Vorbild

• DE wurde 1996 von Storn und Price vorgestellt

R. Storn, R. and K. Price, K. Differential Evolution - A Simple and Efficient

Heuristic for Global Optimization over Continuous Spaces, Journal of

Global Optimization, 11, (1997) pp. 341–359.

• Verfahren kann direkt auf Minimum- und Maximum-Probleme

angewandt werden (siehe GA nur Maximum-Probleme)

• Anwendungsgebiet

Optimierung in mehrdimensionalen Suchräumen mit Gleitkommazahlen

z.B. Reglerauslegung

Differential Evolution: Einführung


SC


• DE dient zur Suche eines Optimums in einem mehr-

dimensionalen kontinuierlichem Such-Raum

Eine Lösung (x, potenzielles Optimum) wird durch einen Vektor mit der

Dimension (D) des Suchraums beschreiben

Die Elemente des Vektors sind Fließkommazahlen:

• Der Suchraum wird mit mehreren Lösungen (Vektoren,

Individuen) gleichzeitig durchsucht (Populations-basiert)

Die Menge der Lösungen heißt Population (p), mit N Individuen

• Die Güte einer Lösung wird durch eine Funktion beschrieben

: Gütefunktional, Fitness-Funktion

Differential Evolution: Grundidee

Dx

x

x

x2

1

ix

DiN xxxxp ,,,, 21

Dxf :)(


SC


• Initialisierung

Initiale Population erzeugen (z.B. Zufallslösungen)

• Mutation

Eine neue zufällige Lösung durch Änderung einer bestehenden Lösung der

alten Generation erzeugen

• Rekombination

Zwei Lösungen zu einer neuen Lösung vereinen

• Selektion

Lösung für neue Generation ermitteln

Differential Evolution: Grundalgorithmus 1/2

Initialisierung Mutation Rekombination Selektion


SC


Differential Evolution: Grundalgorithmus 2/2

4 Vektoren der

alten Generation

Mutation

Rekombination

1 Donator-Vektor (v)

Selektion

3 Vektoren (zufällig gewählt, xr1,xr2,xr3)

1 Vektor (x)

1 Versuchs-Vektor (u)

Neue Generation

Neuer Vektor (x+)

Jeder Vektor der

alten Generation

ist genau einmal

dieser Vektor


SC


• Für jeden Vektor x der alten Generation bestimme zusätzlich drei

Vektoren aus der alten Generation (xr1,xr2,xr3), sodass gilt: x≠xr1≠xr2≠xr3

• Bestimme den Donator-Vektor (v) als Linear-Kombination von xr1,xr2,xr3

• Anschauliche Interpretation

Erstelle eine neue Lösung auf Basis von xr1 aus der Differenz von xr2 und xr3

Verstärke Heterogenität der Lösungen

• x und v bilden gemeinsam das Elternpaar für die Rekombination

Differential Evolution: Mutation

xr1

xr2

xr3

xr2-xr3

F*(xr2-xr3)

v

2,0),(* 321 FxxFxv rrr


SC


• Erzeuge einen Versuchs-Vektor (u) durch Mischen der Elemente von x

und v

• Die Mischung der Element von x und v erfolgt zufallsgesteuert

x,v,u sind Vektoren der Dimension D

CR ist die Cross-Over-Rate:

j ist eine ganzzahlige Zufallszahl:

ri ist eine reelle Zufallszahl:

• x und u bilden Konkurrenten bei der Selektion

Differential Evolution: Rekombination

DDD u

u

u

v

v

v

x

x

x

2

1

2

1

2

1

,,

1,0CR

Dj ,1

1,0ir

sonst,

oderfalls,

i

ii

ix

j iCR rvu

j sorgt dafür, dass

sich x und u in

mindestens einem

Element

unterscheiden

CR ist ein Parameter des

Optimierungsverfahrens


SC


• Wähle einen der beiden Vektoren x, u für die neue Generation aus

• Auswahl erfolgt ausschließlich auf Basis der Güte (Fitness) eines

Individuums (Vektor)

Nur das bessere der beiden Individuen wird in die neue Generation

übernommen

Kein Abhängigkeit von Zufallsgrößen bei der Selektion

f: zu optimierendes Gütefunktional (Fitness-Funktion)

Bei gleicher Güte wird das durch Mutation und Rekombination entstandene

Individuum in die neue Generation übernommen

Verstärke Heterogenität über Generationen hinweg

• Selektion in DE hat impliziten Elitismus

Nur bessere oder gleichgute Individuen bilden die neue Generation

Differential Evolution: Selektion

sonst ,

falls ,

x

f(x)f(u)ux

sonst ,

falls ,

x

f(x)f(u)ux

Minimierung Maximierung


SC


• Ackleys Funktion

2-dimensonale kontinuierliche Funktion mit mehreren lokalen Minima und

einem globalen Minimum bei (0,0)

Optimierungsproblem: Minimiere f(x1,x2)

Differential Evolution: Anwendungsbeispiel

))**2cos()**2*(cos(5.0)*(5.0*2,0

2121

22

21*2020),(

xxxxeeexxf


SC


• Parameter für Optimierung

20 Individuen

CR: 50%

F: 0,8

• Initialpopulation

Differential Evolution: Anwendungsbeispiel (Initialisierung)

Minimum: 4,355


SC


Differential Evolution: Anwendungsbeispiel (1. neue Generation)

Minimum: 4,355


SC



Minimum: 4,355


SC



Minimum: 3,866


SC



Minimum: 1,664


SC



Minimum: 0,348


SC



Minimum: 0,001


SC


Zusammenfassung 12. VL: Vergleich stochastischer Optimierungsverfahren

• Genetische Algorithmen und Genetische Programmierung

Optimierung durch Mutation und Auslese nach dem Vorbild der Evolution in

biologischen Systemen

Paralleles Durchsuchen des Suchraums

Gut geeignet für neue Rechnerstrukturen mit Multi-Core-Prozessoren

Bei Fließkommazahlen hoher Aufwand für Codierung der Lösung

• Simulated Annealing

Optimierungsverfahren inspiriert durch Entstehung von Gitterstrukturen in

Kristallen

Nur eine Lösung wird zum Absuchen verwendet

Keine Geschwindigkeitsvorteile durch Multi-Core-Prozessoren

Besonderheit: temporäre Verschlechterung wird als Verbesserung aufgefasst

• Differential Evolution

Künstliches Populations-basiertes Optimierungsverfahren

Gut geeignet für neue Rechnerstrukturen mit Multi-Core-Prozessoren

Verfahren zur Optimierung von Fließkommazahlen


SC


Literatur (ergänzend/weiterführend) 1/2

Kapitel 1 bzw. ganze Vorlesung: Allgemeines zu Methoden der KI Götz, Güntzer (Hrsg.): Handbuch der künstlichen Intelligenz. Oldenbourg Verlag, 2000.

"Umfassendes Nachschlagewerk für Interessierte.„

King R.E.: Computational Intelligence in Control Engineering. Marcel Dekker, 1999

"Sehr schöne Übersicht zu Soft-Control.„

Kapitel 2: Expertensysteme Polke, M.: Prozeßleittechnik. Oldenbourg Verlag, 1994.

"Einige Ideen für die Anwendung in der Leittechnik in Kapitel 13.„

Ahrens, W.; Scheurlen, H.-J.; Spohr, G.-U.: Informationsorientierte Leittechnik. Oldenbourg Verlag,

1997.

"Einführung in XPS für leittechnische Aufgaben (und etwas Fuzzy) in Kapitel 9.„

Lunze, J.: Künstliche Intelligenz für Ingenieure I und II. Oldenbourg Verlag, 1994/1995.

"Sehr Ausführliche Behandlung von XPS.„


SC


Literatur (ergänzend/weiterführend) 2/2

Kapitel 3: Fuzzy Kiendl, H.: Fuzzy Control methodenorientiert. Oldenbourg Verlag, 1997.

"Ausführliche Darstellung mit kurzer Einführung in die Regelungstechnik und sehr sehr

ausführlichem Beispiel.„

Kapitel 4: Neuro Zakharian, S.; Ladewiw-Riebler, P.; Thoer, S.: Neuronale Netze für Ingenieure. Vieweg Verlag,

1998.

"Kompakte und gut verständliche Darstellung mir Anwendungen in der Regelungstechnik."

Kapitel 5: Genetische Algorithmen Goley, D.A.: An Introduction to Genetic Algorithms for Scientists and Engineers. World Scientific

Publishing, 1999.

"Sehr ausfürliche Darstellung."

Fleming, P.J.; Purshouse, R.C.: Genetic algorithms in control systems engineering. IFAC

PROFESSIONAL BRIEF.

"Sehr gute Übersicht.„


SC


Danksagung

Vielen Dank für Ihr Interesse während des Semesters


12. Vorlesung Stochastische Optimierung · SC WS 17/18 Georg Frey316 • Differential Evolution...

Documents

Transcript of 12. Vorlesung Stochastische Optimierung · SC WS 17/18 Georg Frey316 • Differential Evolution...