Klassische evolutionäre Verfahren -...

Planung und Optimierung mit evolutionären Verfahren

K4: Klassische evolutionäre Verfahren

1

Planung und Optimierung mit evolutionären Verfahren Dr. W. Jakob

Studiengänge Informatik und Wirtschaftsinformatik K4_Klassische-EA.pptx 1

Klassische evolutionäre Verfahren

Übersicht

Evolutionsstrategie (ES)

Genetische Algorithmen (GA)



Klassische Evolutionäre Verfahren - Übersicht

Übersicht:

Parallele Entwicklung der EAs in den USA und Deutschland

Evolutionsstrategie (ES)

Mitte der 60-iger, Rechenberg und Schwefel [Rec73, Schw95]

Chromosome aus reellen Zahlen (Entscheidungsvariablen + Strategieparameter)

verwendet adaptive Mutation

vergleichsweise weit fortgeschrittene Theorie

Anwendungen: vor allem numerische aber auch kombinatorische Optimierung

Genetische Algorithmen (GA)

Anfang der 70-iger, Holland [Hol75]

Chromosom besteht aus Bitstrings (später auch: real-coded GAs)

verwendete anfangs fitnessproportionale Selektion

Bit-Codierung bringt Vorteile bei der Theoriebildung. Ergebnisse aber umstritten

Anwendungen: numerische und kombinatorische Optimierung,

maschinelles Lernen (LCS learning classifier systems)



2



Klassische Evolutionäre Verfahren - Übersicht

Evolutionäre Programmierung (EP)

Mitte der 60-iger, Fogel, Owens und Walsh [Fog66]

Chromosomenstruktur nicht festgelegt, anfangs Repräsentation endlicher

Automaten, später Erweiterung auf reellwertige Variable

basiert im Wesentlichen auf Mutation einschließlich selbstadaptierender Mutation

in der reellwertigen Variante Ähnlichkeiten zur ES

Genetische Programmierung (GP)

Ende der 80-iger, Koza [Koza89]

Chromosome repräsentieren Computerprogramme als Baum (z.B. LISP) oder

Maschinencode, Ziel ist die Erstellung von Computerprogrammen

Crossover und Mutation:

Crossover wegen der Baumstruktur mächtiger als bei GAs oder der ES.

Mutation mit Reparaturmechanismen

Anwendungen: maschinelles Lernen, Elektronikentwicklung, Sortier- und

Suchalgorithmen, …



Klassische Evolutionäre Algorithmen - Evolutionsstrategie

Evolutionsstrategie:

Chromosom = reellwertiger Vektor bestehend aus

n zu optimierenden Entscheidungsvariable

n´ Mutationsschrittweiten

Meist entweder eine einheitliche Mutationsschrittweite oder

für jede Entscheidungsvariable eine eigene

Beide Parametersätze unterliegen der Evolution

Optimierung auf der Problemebene UND der Ebene der Schrittweiten

Anpassung der Suche an den Suchraum (Selbstadaption)

Gefahr, an lokalen Optima hängen zu bleiben oder

größere undefinierte Gebiete (implizite Restriktionen)

nicht überspringen zu können.

Vorteil: schnellere Suche

nixi 1,

nnjj 1,



3




Ablaufschema:

1. Initialisierung der Startpopulation

Zufällige Wahl der m Individuen, (eher zu große) Vorbelegung der Schrittweiten

2. Partnerwahl

Zufällige Wahl der Eltern für l Kinder. l sollte deutlich größer als m sein.

Empfehlung von Schwefel und Bäck: 𝝀 = 𝟕 ⋅ 𝝁 oder mehr bei starker Multimodalität.

3. Erzeugung eines Nachkommens

Rekombination mit anschließender Mutation der

Schrittweiten und danach der Entscheidungsvariablen:

1. Intermediäre Rekombination der Schrittweiten

2. Mutation der Schrittweiten, liefert 𝝈′𝒋.

3. Diskrete Rekombination der Entscheidungsvariablen

4. Mutation der Entscheidungsvariablen mit den geänderten Schrittweiten 𝝈′𝒋

stärkt die Breitensuche




3. Erzeugung eines Nachkommens (2):

Schritt 2: Mutation der Schrittweiten

mit: N(0,1) normalverteilte Zufallsgröße mit

Erwartungswert 0 und Standardabweichung 1

N(0,1) gilt allgemein, Nj(0,1) wird für jedes 𝜎′𝑗

neu bestimmt.

Wirkung: kleine Änderungen wahrscheinlich, große weniger,

sehr große unwahrscheinlich, aber möglich

Schritt 4: Mutation der Entscheidungsvariablen mit den geänderten Schrittweiten 𝝈′𝒋:

𝒙′𝒋 = 𝒙𝒋 +𝑵𝒋 𝟎,𝝈′𝒋

N(0,1) )(xpNormalverteilung N(m,)



4




4. Akzeptanzregel

Zwei unterschiedliche Strategien:

(m+l)–Strategie (Plus-Strategie):

Auswahl der m besten aus Eltern und Nachkommen zur Bildung der

Folgegeneration.

Elitäre Strategie

(m, l)–Strategie (Komma-Strategie):

Die m besten Nachkommen ersetzen die Elterngeneration vollständig.

Nichtelitäre Strategie

5. Abbruchkriterium

Geringe Fitnessunterschiede in der Population (Schwefel):

Weitere Abbruchkriterien, wie Erreichen einer Zielfitness oder eines Zeitlimits, …

0,minmax - fitnessfitness



Besonderheiten der Evolutionsstrategie:

Adaptive Schrittweitensteuerung

auslöschende Selektion:

Schlechte Individuen haben keine Chance zur Reproduktion.

Die Populationsgröße m darf wegen des starken Selektionsdrucks nicht zu klein sein.

Geeignete Werte für m sind anwendungsabhängig!

Weitere Eigenschaften:

Plus-Strategie: Neigung zu vorzeitiger Konvergenz an einem Suboptimum

Explizite Beschränkungen: Letalmutation, keine Akzeptanz. unproblematisch.

Implizite Beschränkungen können je nach Größe und aktuellen Schrittweiten

nicht übersprungen werden.

Gegenmaßnahmen:

m deutlich größer als Anzahl der Beschränkungen

Möglichst gleichmäßige Verteilung der Startpopulation im Suchraum

ES sehr gut zur Optimierung kontinuierlicher Probleme geeignet.




5




Strategieparameter:

Komma- oder Plus-Strategie

Anzahl der adaptierten Schrittweiten

Parameter der Schrittweitensteuerung

Populationsgröße m

Anzahl der Nachkommen pro Generation l

Parameter von alternativen Selektions- oder Akzeptanzverfahren




Übung:

Gegeben seien die beiden Eltern E1 und E2 bestehend aus 4 Entscheidungsvariablen

und einem Strategieparameter:

E1 = (4.3, -1.2, 25.75, -12.4; 2.4) E2 = (6.2, 5.4, -11.6, 0.5; 1.8)

Daraus sollen zwei Nachkommen erzeugt werden. Zufallswerte:

1 0 0 1 mit 1=Allel von E1 und 0=Allel von E2 e ≈ 2.718

0.8 0.5 -0.5 2.5 -1.8 -3.5, 0.4, 1.2, -0.2, -0.6, 1.9, -2.65, 2.9, 3.3, -4.15, -0.77

K1,R = (4.3, 5.4, -11.6, -12.4; )

K1,MS = (4.3, 5.4, -11.6, -12.4; )

K1,M = (6.8, ; 2,28)

K2,R = (6.2, -1.2, 25.75, 0.5; )

K2,MS = (6.2, -1.2, 25.75, 0.5; )

K2,M = (5.6, 0.7, 23.1, 3.4; 5.22)



6




Evolutionsstrategie und kombinatorische Probleme:

Ganzzahlige Entscheidungsvariable statt reellwertige

angepasste Mutationsoperatoren

Beibehaltung der adaptiven Schrittweitensteuerung

Einige erfolgreiche Anwendungen:

Traveling Salesman Problem (TSP), Tourenplanung

Magisches Quadrat

Rubik‘s Cube

Hochwasserspeichersystem

(Kombination verschiedener Becken)

Quelle: I. Rechenberg

Albrecht Dürer, Melancholie,1514




Weiterentwicklungen der ES:

geschachtelte Evolutionsstrategie

Spezielles Migrationsmodell basierend auf sich eine Zeit lang getrennt

entwickelnden Unterpopulationen (Variante des Inselmodells)

CMA-ES (Covariance Matrix Adaptation Evolution Strategy)

Die Kovarianzmatrix der mehrdimensionalen Normalverteilung der Schrittweiten

beschreibt die paarweisen Abhängigkeiten zwischen den Variablen

derandomisiertes Verfahren zur Adaption der Kovarianzmatrix

Idee: Erhöhung der Wahrscheinlichkeit von vormals erfolgreichen Schritten,

Verbesserte Anpassung der Schrittweitensteuerung gegenüber der ES

gut geeignet für „schwierige“ Aufgaben der kontinuierlichen Optimierung

[Hansen]

Anpassung der Verteilung der

Nachkommen im Verlauf der Evolution:

Quelle: W

ikim

edia

ES-Demo/maq2006s.exe



7



Klassische Evolutionäre Algorithmen - Genetische Algorithmen

Klassische Genetische Algorithmen:

Chromosom = Bitstring

Codierung: Abbildung der Entscheidungsvariablen auf Bitabschnitte

Anzahl der Bits pro Entscheidungsvariable je nach Wertebereich oder

gewünschter Genauigkeit

Decodierung zur Fitnessberechnung notwendig

Anordnung der Entscheidungsvariable wie bisher: Chromosom = (P1, P2, … , Pn)

Jeder Entscheidungsvariable wird binär codiert.

Wertigkeit der Bits bei ganzen Zahlen: 2n , …, 2

1, 2

0 (umgekehrte Reihenfolge!)

Ermöglicht neutrale genetische Operatoren,

die ohne phänotypischen Zusammenhang wirken (müssen).

Vorteil: Vereinfacht die Implementierung

Nachteil: Anwendungsbezogene genetische Operatoren schwierig zu implementieren




Codierungsbeispiel:

Chromosom = (P1, P2, … , Pn)

Wertigkeit der Bits bei ganzen Zahlen: 2n , …, 2

1, 2

0

Beispiel für drei ganzzahlige und eine boolesche Variable P4:

(Aus Gründen der Einfachheit werden negative Zahlen nicht als 2er-Komplement dargestellt)

Anzahl der Bits pro Variable: P1: P2: P3:

Bitstring aus Sicht der Wertezuordnung: 0 1 0 1 1 0 1 1 0 0 1 1 1 0 1 0 0

P1=24+22+21=22

P2=24+23+20=25

Bitstring aus Sicht der Evolution:

Bitpositionen:

1415,300,600 321 - PPP

0 1 0 1 1 0 1 1 0 0 1 1 1 0 1 0 0

17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1



8




Verfahren:

1. Initialisierung der Startpopulation Zufällige Wahl der m Individuen oder Vorbelegung einiger.

2. Partnerwahl fitness-proportionale Selektion der Eltern

3. Erzeugung eines Nachkommens

1-Punkt-Crossover (Pc> 0.6) mit anschließender Mutation beider Offspring.

Mutation: Invertierung eines jeden Bits mit Pm (z.B. Pm=0.0001).

4. Akzeptanz

Die so erzeugten m Nachkommen ersetzen die Elterngeneration vollständig.

(generational replacement)

Das Crossover ist der Hauptoperator.

Die zweitrangige Mutation soll der Fixierung von Allelwerten entgegenwirken.

nicht elitär!




Viele Variationen:

Rangbasierte Selektion wie Lineares Ranking

(auch bekannt als roulette wheel selection).

Wettkampfselektion

Zufällige Auswahl von nm Individuen, die gegeneinander antreten.

Das Beste kommt in die Elterngruppe.

Zufällige Bestimmung der Eltern aus der Elterngruppe

2-Punkt- oder Uniform-Crossover anstelle des 1-Punkt-Crossover

Liefern im Allgemeinen bessere Ergebnisse.

Uniform-Crossover: Zufällige Wahl des das Bit liefernde Elter pro Bit.

Steady State GA

Schrittweise Erzeugung von Nachkommen, die das jeweils schlechteste Mitglied der

Population ersetzen, sofern sie sich von allen unterscheiden.

Es gibt keine Population von Nachkommen.

Elitäre Akzeptanz

Förderung des Erhalts der genotypischen Varianz



9




Kritik der binären Codierung:

Erschwert die Formulierung problembezogener genetischer Operatoren

Keine starke Kausalität bei Änderungen zwischen Geno- und Phänotyp

Ziel: Kleine Änderung, kleine Wirkung

Stattdessen:

Abhilfe: Graycodes (Codes bei denen sich benachbarte Zahlen nur in einem Bit unterscheiden)

Änderung eines niederwertigen Bits

gleich wahrscheinlich

wie die eines hochwertigen

gleichwahrscheinliche Änderung

mit sehr unterschiedlichen

Auswirkungen !

Einige benachbarte Integerwerte

unterscheiden sich in

ihrer Bitrepräsentation erheblich!

Beispiele: alle Paare 2n-1 und 2

n

große Änderung

mit sehr geringen

Auswirkungen !




Weitere Variante:

Real-coded GAs

Bei kontinuierlichen Problemen weitaus bessere Ergebnisse als klassische GAs

Übernahme von Selektions- und Akzeptanzmechanismen

Aber eigentlich ein eigenständiger EA

Anwendungsgebiete:

kombinatorische Probleme wie

Scheduling

Timetabling

Tourenplanung

ganzzahlige Optimierungsprobleme

kontinuierliche Optimierung (insbesondere real-coded GAs)



10




Strategieparameter:

Populationsgröße

häufig

Mutationsrate

Crossoverrate

Anzahl der Nachkommen pro Paarung oder Generation

Parameter von Selektions- oder Akzeptanzverfahren

Wahl zwischen alternativen Operatoren

20030 m



Klassische Evolutionäre Algorithmen

Generelle Problematik einer EA-Parametrierung:

Balance zwischen exploration und exploitation

durch Wahl eines geeigneten Selektionsdrucks.

Geeignete Populationsgröße m (beeinflusst auch den Selektionsdruck)

zu klein: Gefahr vorzeitiger Konvergenz

zu groß: Verschwendung von Rechenzeit

Au

fwan

d

Populationsgröße m

ein Limit erreicht was ist hier los?

Bereich

ohne

oder

nur geringem

Erfolg

Arbeitsbereich Erfolg bei

unnötig

hohem Aufwand



11




Übung zu den GAs:

1. Codierung, Mutation und Decodierung

Es sollen folgende 4 Variable für einen binär codierten GA dargestellt werden:

1.1 Wie viel Bits werden pro Entscheidungsvariable benötigt?

P1: P2: P3: P4:

1.2 Wie sieht die Darstellung von 10, 0, -3, blau aus?

1.3 Mutieren Sie die Bits 6, 11 und 15:

1.4 Welche Werte haben die Entscheidungsvariablen?

P´1= 2 P´2=16 P´3= 3 P´4=blau

P1 =10 P2 = 0 P3 =-3 P4 =blau

blaugrünrotPPPP ,,762201215 4321 --

5 5 4 2 (00=rot, 01=grün, 10=blau)

16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1




Übung (2):

2. Mutation

Mutieren Sie die Bits 1 und 10 des Mutanten (Lösung von Aufg. 1.3):

Wie lauten die Entscheidungsvariablen jetzt?

P´´1=2 P´´2=24 P´´3=3

Wie ist das Ergebnis zu interpretieren?

Eine Letalmutation!

Unzulässig sind:

P´´2

P´´4

0 0 0 1 0 1 1 0 0 0 0 0 1 1 1 1

P´´4=?

weil >22

weil es diesen Wert nicht gibt!



12




Übung (3):

3. Crossover

3.1 1-Punkt-Crossover nach Bit 4 mit dem Chromosom von Aufgabe 1.2 und:

Kind 1:

Kind 2:

Wie lauten die Entscheidungsvariablen der Kinder?

Kind 1: P1=10 P2=0 P3=-0 P4=grün

Kind 2: P1=5 P2=19 P3=-7 P4=blau


Begründung:

0 0 1 0 1 1 0 0 1 1 1 1 0 0 0 1

P3=-7 < -6 = untere Grenze

Kind 2 ist unzulässig!

16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1

0 1 0 1 0 0 0 0 0 0 1 0 0 0 0 1

0 0 1 0 1 1 0 0 1 1 1 1 1 1 1 0

▼




Übung (4):

3.2 2-Punkt-Crossover nach Bit 14 und 5 mit dem Chromosom von Aufgabe 1.2 und:

Kind 1:

Kind 2:

Wie lauten Entscheidungsvariablen der Kinder?

Kind 1: P1=12 P2=5 P3=3 P4=blau

Kind 2: P1=-2 P2=0 P3=-5 P4=rot


1 0 1 0 0 0 0 1 0 1 0 1 0 1 0 0

Beide Kinder sind zulässig

16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1

0 1 1 0 0 0 0 1 0 1 0 0 1 1 1 0

1 0 0 1 0 0 0 0 0 0 1 1 0 1 0 0

▼ ▼



13



Klassische EA – Das Wichtigste in Kürze

Wesentliche Eigenschaften der vier klassischen EAs F2 - F3

Evolutionsstrategie (ES) F4 - F9

Chromosom = Entscheidungsvariablen + Mutationsschrittweite(n) F4

Nachkommenserzeugung mit Schrittweitensteuerung, F5 - F6

Komma- (μ,λ) und elitäre Plusstrategie (μ+λ) F7

Eigenschaften und Strategieparameter, ES + Kombinatorik, CMA-ES F8 - 9, F11-12

Klassische Genetische Algorithmen (GA) F13 - F18

Codierung der Entscheidungsvariablen als Bitstrings F13 – F14

Verfahren (generational replacement, Hauptoperator Crossover, …) F15

Varianten: Ranking, Wettkampfselektion, steady state GA, real-coded GA… F16, F18

Kritik der binären Codierung: Verletzung der starken Kausalität F17

Allgemeine EA-Parametrierung: F20

Selektionsdruck und Balance zwischen Breiten- und Tiefensuche

Populationsgröße: zu groß: Rechenzeitverschwendung, unnötig langsam

zu klein: Gefahr vorzeitiger Konvergenz (zu hoher Selektionsdruck)

K5_GLEAM.pptx

Klassische evolutionäre Verfahren -...

Documents

Transcript of Klassische evolutionäre Verfahren -...