II. Nichtlineare Optimierung - algebra.tuwien.ac.at · Minimum vor. H. Weber, FHW, OR SS06, Teil 5,...

H. Weber, FHW, OR SS06, Teil 5, Seite 1

II. Nichtlineare Optimierung

1. Problemstellungen 2. Grundlagen 3. Probleme ohne Nebenbedingungen 4. Probleme mit Nebenbedingungen – Theorie 5. Probleme mit Nebenbedingungen – Verfahren


1. Problemstellungen Ein einführendes Beispiel aus der Schulmathematik:

Es soll eine Dose mit einem Liter Fassungsvermögen hergestellt werden.


Dabei werden Grund- und Deckkreis aus dem umschriebenen Quadrat ausgeschnitten. Wie groß sind die Ausmaße zu wählen, wenn dabei möglichst wenig Blech verwendet werden soll und der Abfall beim Ausstanzen der Grund- und Deckfläche zum verbrauchten Material zählt. Da Deckel und Boden aus einem quadratischen Blech gestanzt werden, ist die Fläche des verwendeten Blechs:

F = 2(2r)2 + 2πrh Dabei ist 2(2r)2 die Fläche für den Deckel und Boden (inklusive Abfall) und 2πrh die Fläche des Mantels. Das Volumen der Dose soll 1 Liter betragen. Ein Liter ist 1 dm3, darum wählt man als Einheit für alle Längen im Folgenden Dezimeter (dm). Die Formel für das Volumen ist

V = 1 = hπr2 (Nebenbedingung)


Daraus folgt durch Umformung: h = 1/(πr2) Man erhält die Funktion der Fläche in Abhängigkeit vom Radius r (durch Ersetzen von h durch r):

F(r) = 8r2 + 2πrh = 8r2 + 2πr/(πr2) = 8r2 + 2/r. Diese Zielfunktion F(r) ist zu minimieren:

F'(r) = 16r - 2/r2 = 0 <=> 16r3 - 2 = 0 <=> r3 = 1/8 <=> r = 1/2 Das Ergebnis ist r = 1/2 dm = 5 cm. Man überprüft nun über die zweite Ableitung, ob 1/2 auch wirklich das Minimum ist: F''(r) = 16+4/r3 Einsetzten von r liefert: F''(1/2) = 48 > 0, es liegt also wirklich ein Minimum vor.


Wir beschäftigen uns hier mit nichtlinearen Optimierungsproblemen Sie stellen eine natürliche Verallgemeinerung der linearen Optimierungs-probleme dar. Diese Probleme sind in der Regel von der Theorie (Lösbarkeitsaus-sagen) her erheblich schwieriger als lineare Aufgaben. Auch in der Praxis sind diese Probleme viel aufwendiger zu behandeln als lineare Aufgaben, wo ein generell akzeptiertes und verwendbares Verfahren, der Simplex-Algorithmus, zur Verfügung steht. Das Attribut aufwendig bezieht sich sowohl auf die Programmierung als auch auf den Rechenaufwand. Sei F: Rn → R eine hinreichend glatte (genügend oft stetig differen-zierbare) Funktion, seien gj: Rn → R, j=1,...,m, hinreichend glatte Funktionen.


Wir gehen aus vom Problem: Maximiere F(x) unter den Nebenbedingungen

gi(x) ≤ 0, i = 1,…,m

und Nichtnegativitätsbedingungen xj ≥ 0, j = 1,…,n

Wir benutzen auch gelegentlich die aus der linearen Optimierung bekannte Vektorschreibweise: Maximiere F(x) unter den Nebenbedingungen g(x) ≤ 0 und x ≥ 0 (komponentenweise geschrieben), wobei x ∈ Rn und g : Rm → Rn


Diese Problemstellung kann noch erweitert werden, in dem man etwa

• Gleichheitsnebenbedingungen der Form h(x) = 0 hinzunimmt, aber auch vereinfacht werden,

• in dem man etwa die Nichtnegativitätsbedingungen x ≥ 0 wegläßt. Auch Minimalaufgaben können, wie üblich, leicht durch Multiplikation der Zielfunktion mit –1 betrachtet werden.


Beispiel: Es stammt aus der Produktionsplanung. Zu maximieren ist die Summe der Deckungsbeiträge zweier Produkte unter Beachtung linearer Kapazitätsrestriktionen. Je nach den Eigenschaften des Marktes kommt man zu verschiedenen Zielfunktionen (linear bzw. nichtlinear). Im Fall eines Angebotsmonopolisten ist der Preis der Produkte eine Funktion seiner Absatzmenge. Wir kommen dann zur Aufgabe: Maximiere F(x1, x2) = 5x1 – x1

2 + 5x2 – x22

unter den Nebenbedingungen x1 + 2x2 – 8 ≤ 0 (g1(x):= x1 + 2x2 – 8) 3x1 + x2 – 9 ≤ 0 (g2(x):= 3x1 + x2 – 9) und x1, x2 ≥ 0 Wie im Fall der linearen Optimierung können wir im Zweidimensionalen


leicht Nebenbedingungen und Zielfunktion grafisch darstellen:

Der Punkt (2.5, 2.5) mit F(2.5, 2.5) = 12.5 ist das Maximum des unrestringierten Problems.


Beispiel: Geht man von der sog. Gutenberg’schen Verbrauchsfunktion aus, so kommt man zu nichtlinearen Nebenbedingungen. Zusammen mit einer linearen Zielfunktion erhält man die Aufgabe Maximiere F(x1, x2) = 6x1 + 4x2 unter den (quadratischen) Nebenbedingungen 20.25 x1

2 + 25 x2

2 ≤ 506.25

16 x12

+ 100 x22

≤ 1600 und x1, x2 ≥ 0 (g1(x) = 20.25 x1

2 + 25 x2

2 – 506.25, g2(x) = 16 x1

2 + 100 x2

2 – 1600)

Die Verhältnisse können ebenfalls leicht grafisch dargestellt werden.


Der zulässige Bereich ergibt sich durch Schnitt der beiden Ellipsenabschnitte. Das Maximum der Zielfunktion kann hier grafisch durch Parallelverschiebung der Niveaulinie der ZF bestimmt werden.


Ein weiteres Beispiel einer Minimalaufgabe mit nichtlinearer Zielfunktion und einer nichtlinearen Randbedingung soll nur grafisch dargestellt werden: Wo liegt das Minimum?


In den Wirtschafts- und Naturwissenschaften gibt es jede Menge von nichtlinearen Optimierungsaufgaben zu lösen! Häufig stellen die linearen Aufgaben nur eine vereinfachte Form der ursprünglich nichtlinearen Probleme dar. Zu den wesentlichen Schwierigkeiten der nichtlinearen Optimierung zählt die Frage, wieviele Extremstellen es gibt (lokale Extrema vs. globale Extrema!). Zur Berechnung der Extremwerte sind i.A. numerische Verfahren notwendig.


2. Grundlagen

• Die Menge der zulässigen Lösungen eines nichtlinearen Optimierungsproblems bezeichnen wir mit X.

• Die Menge der optimalen Lösungen bezeichnen wir mit X*. Ist X = Rn, so nennen wir das Problem unrestringiert.

Bei linearen Problemen ist X ein konvexes Polyeder. Dies gilt bei nichtlinearen Problemen häufig nicht. Definition Sei also X ⊆ Rn die Menge der zulässigen Lösungen eines nichtlinearen Optimierungsproblems. 1. Ein Punkt x* ∈ X heißt globales Maximalstelle der Funktion F : X → R, falls F(x) ≤ F(x*) für alle x∈ X gilt. 2. Ein Punkt x* ∈ X heißt lokales Maximalstelle der Funktion F : X → R, falls F(x) ≤ F(x*) für alle x aus einer Umgebung von x* gilt.


3. Eine globale und ein lokale Minimalstelle sind analog definiert. Bei auf R definierten zweimal stetig differenzierbaren Funktionen F kennen wir aus der Schule notwendige und hinreichende Bedingungen für Maxima und Minima. a) x* lokale Maximalstelle von F F’(x*) = 0 b) x* lokale Minimalstelle von F F’(x*) = 0 c) F’(x*) = 0 und F“(x*) < 0 x* lokale Maximalstelle von F d) F’(x*) = 0 und F“(x*) > 0 x* lokale Minimalstelle von F Es gibt auch noch kompliziertere hinreichende Bedingungen, die höhere Ableitungen mit einbeziehen. Sie sollen uns hier nicht interessieren. Wir erweitern nun diese Aussagen für zweimal stetig differenzierbare Funktionen F : Rn → R .


Definition

Der Vektor ∇ F(x) =

1

( )

...( )

n

F xx

F xx

∂ ∂ ∂ ∂

der partiellen Ableitungen an der Stelle x

heißt der Gradient von F. Er gibt in jedem Punkt x die Richtung des steilsten Anstiegs der Funktion F an.

Die quadratische nxn-Matrix H(x) =

2 2 2

1 1 1 2 12 2 2

2 1 2 2 2

2 2 2

1 2

( ) ( ) ( )...

( ) ( ) ( )...

... ... ... ...( ) ( ) ( )...

n

n

n n n n

F x F x F xx x x x x xF x F x F xx x x x x x

F x F x F xx x x x x x

∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂

∂ ∂ ∂ ∂ ∂ ∂

∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂

der zweiten


partiellen Ableitungen von F in x∈ X nennt man die Hesse-Matrix.

Die Hesse-Matrix ist symmetrisch wegen 2 2( ) ( )

i j j i

F x F xx x x x

∂ ∂=

∂ ∂ ∂ ∂ .

Beispiel: Die Zielfunktion F(x1,x2) = 5 x1 – x1

2 + 5 x2 – x22 besitzt den Gradienten

∇ F(x) = 1

2

5 25 2

xx

− − und die Hesse-Matrix H(x) =

2 00 2

− − .

Definition 1. Eine symmetrische nxn-Matrix C heißt positiv definit, wenn xTCx > 0 für alle x ≠ 0 gilt. 2. Eine symmetrische nxn-Matrix C heißt positiv semidefinit, wenn xTCx ≥ 0 für alle x ≠ 0 gilt.


Satz Sei X ⊆ Rn offene Menge. Sei F: X → R eine zweimal stetig differenzierbare Funktion von n Variablen x = (x1, ..., xn)T . a) Hat F an der Stelle x* ∈ X ein lokales Maximum bzw. Minimum, so gilt ∇ F(x*) = 0. b) Ist ∇ F(x*) = 0 und -H(x*) positiv definit, so hat F an der Stelle x* ein lokales Maximum. c) Ist ∇ F(x*) = 0 und H(x*) positiv definit, so hat F an der Stelle x* ein lokales Minimum. Beispiel: Die Funktion F(x1,x2) = 5 x1 – x1

2 + 5 x2 – x22 besitzt im Punkt

x* = (2.5, 2.5)T ein lokales Maximum, da -H(x) = 2 00 2

für alle x positiv

definit ist.


Definition: a) Eine auf einer konvexen Menge X definierte Funktion F heißt konvex, wenn für je zwei Punkte x1, x2 ∈ X und für alle x = λx1 + (1-λ)x2 mit 0 < λ < 1 gilt:

F(x) ≤ λF(x1) + (1-λ)F(x2) Sie heißt streng konvex, wenn F(x) < λF(x1) + (1-λ)F(x2) gilt. b) Eine auf einer konvexen Menge X definierte Funktion F heißt konkav, wenn für je zwei Punkte x1, x2 ∈ X und für alle x = λx1 + (1-λ)x2 mit 0 < λ < 1 gilt:

F(x) ≥ λF(x1) + (1-λ)F(x2) Sie heißt streng konkav, wenn F(x) > λF(x1) + (1-λ)F(x2) gilt.


In der Literatur wird allgemein von konvexer Optimierung gesprochen, wenn man es mit einer konvexen bzw. konkaven Zielfunktion zu tun hat und die Menge X der zulässigen Lösungen konvex ist. Satz Sei F: X → R eine auf einer konvexen Menge X ⊆ Rn definierte konkave Funktion. a) Eine lokale Maximalstelle x* von F ist sogleich globale Maximalstelle von F auf X. b) Ist F zweimal stetig differenzierbar auf der offenen Menge X, so ist ∇ F(x*) = 0 eine notwendige und hinreichende Bedingung für eine globale Maximalstelle.


3. Probleme ohne Nebenbedingungen Die Behandlung von unrestringierten Optimierungsproblemen hat deswegen einen hohen Stellenwert, weil sie in vielen Verfahren zur Lösung komplexerer Probleme als Teilproblem auftreten. Im letzten Abschnitt haben wir Resultate und Vorgehensweisen zur Analyse unrestringierter Probleme bei zweimal stetig differenzierbaren Funktionen kennengelernt. Für die praktische Arbeit sind jedoch numerische Verfahren zur Bestimmung der Extremwerte unumgänglich. Die hierfür in Frage kommenden Verfahren lassen sich grob einteilen in:

a) solche, die keine Ableitungen von F benutzen, b) solche, die Ableitungen F’(x) bzw. ∇ F(x) von F benötigen.


Probleme mit einer Variablen Zu lösen sei das nichtlineare Optimierungsproblem: Maximiere F(x) mit x ∈ R. Zur Gruppe a) gehören u.a.

• die Methode des goldenen Schnitts, • das Fibonacci-Verfahren.

Zur Gruppe b) gehören u.a.

• das Bisektionsverfahren • das Newton-Verfahren • das Sekanten-Verfahren


Die Methode des goldenen Schnitts Dabei sei F : R → R eine konkave Funktion. Damit ist jedes lokale Maximum auch ein globales Maximum. Ausgegangen wird von einem Intervall [a1, b1] in dem sich ein globales Maximum x* befinden muß. Mit jeder Iteration wird das Intervall verkleinert, so daß man sich beliebig einem Maximum der Funktion nähern kann. Von einem Ausgangsintervall ∆ wird stets ein Teil δ abgeschnitten, so daß sich δ zum Rest ( ∆ - δ ) genauso verhält, wie ( ∆ - δ ) zum Gesamtintervall ∆ :

.

Diese Gleichung ist nur für δ = 0.382 ∆ bzw. ∆ - δ = 0.618 ∆ erfüllt. Gegeben: a1, b1 und ε.

δ δδ

∆ −=

∆ − ∆


Algorithmus Methode des Goldenen Schnitts Start: Berechne λ1 = a1 + δ (b1 – a1) und µ1 = a1 + (1-δ )(b1 – a1). Iteration k ( =1, 2, …): Falls (bk – ak) < ε, Abbruch der Verfahrens a) Falls F(λk) < F(µk), setze ak+1 = λk, bk+1 = bk, λk+1 = µk, µk+1 = ak+1 + (1-δ )(bk+1 – ak+1) b) Falls F(λk) ≥ F(µk), setze ak+1 = ak, bk+1 = µk, µk+1 = λk, λk+1 = ak+1 + δ (bk+1 – ak+1) Gehe zur nächsten Iteration.


Abgetrennt wird also immer derjenige Teil eines Intervalls, der links bzw. rechts des Punktes λk bzw. µk mit dem kleineren der beiden Funktions-werte liegt. Beim Newton-Verfahren handelt es sich um die Anwendung des bekannten Verfahrens auf die Gleichung F’(x) = 0.


Algorithmus Newton-Verfahren Startwert: x0, Schranke ε>0, Zähler: k=0 Iteration: xk+1 = xk – F’(xk)/F“(xk) falls | xk – xk+1 | < ε, Abbruch des Verfahrens. k = k+1, nächste Iteration Es sind hier auch andere Abbruchkriterien möglich. Die anderen Verfahren sind aus der Vorlesung über Numerische Mathe-matik bekannt. Diese Verfahren werden hier auch auf die Funktion F’(x) angewandt.


Probleme mit mehreren Variablen Wir betrachten nichtlineare Optimierungsprobleme der Form: Maximiere F(x) mit x ∈ Rn . Aus der Vielzahl verfügbarer Verfahren unter Verwendung von Ableitungen betrachten wir hier prototypisch das Gradientenverfahren, auch bekannt als Methode des stärksten Anstiegs/Abstiegs. Stellt man eine Funktion F : R2 → R grafisch dar, so erhält man eine „Landschaft mit Bergen und Tälern“. Bild a) zeigt einen Berg mit zwei Gipfeln. Bild b) zeigt einen Berg mit einem Gipfel


a)


b)


Der Gradient von F im Punkt 1 2( , )x x x= zeigt lokal in die Richtung des stärksten Anstiegs, seine Länge ist ein Maß für die Stärke des Anstiegs. Es empfiehlt sich, jeweils so lange in Richtung des stärksten Anstiegs zu gehen, bis in dieser Richtung kein Anstieg mehr möglich ist. Das gerade macht das Gradientenverfahren. Um den in Richtung des Gradienten von x aus erreichbaren, bezüglich F maximalen Punkt zu bestimmen, löst man das eindimensionale Teilproblem:

Maximiere ( ) ( ( ))H F x F xλ λ= + ∇ mit 0λ > . λ ist die Schrittweite. Man hat sie so zu bestimmen, daß der Anstieg in Richtung des Gradienten maximal wird.


Algorithmus Gradientenverfahren Voraussetzungen: stetig differenzierbare, konkave Funktion F: Rn → R, Abbruchschranke ε > 0, Anfangspunkt x(0) ∈ Rn. Iteration k ( = 0, 1, 2, ...):

Schritt 1: Gradient ( )( )kF x∇ berechnen, (*) falls ( )( )kF x ε∇ < , Abbruch der Verfahrens.

Schritt 2: (+) Berechne den Wert * 0λ > , für den die Funktion ( ) ( )( ) ( ( ))k kH F x F xλ λ= + ∇ maximal ist.

Setze ( 1) ( ) * ( )( )k k kx x F xλ+ = + ∇ und gehe zu Iteration k+1. Das Resultat ist eine Näherung für den Maximalpunkt von F.


Eine Alternative zum hier verwendeten Abbruchkriterium (*) ist: (**) Falls ( 1) ( )k kx x ε+ − < , Abbruch des Verfahrens. Die eindimensionale Maximierung (+) kann mit Hilfe eines der oben genannten Verfahren (goldener Schnitt, Sekanten-Verfahren, Newton-Verfahren, etc.) vorgenommen werden. Beispiel:

2 21 2 2 1 2( ) 2 2F x x x x x x= + − −

2 1

1 2

2 2( )

2 2 2x x

F xx x

− ∇ = + −

x(0) = ( 0 , 0 ) x(4) = (¾, ¾) x* = ( 1, 1 ) x(1) = ( 0 , ½) x(5) = (¾, 7/8) x(2) = ( ½, ½) x(6) = (7/8,

7/8) x(3) = ( ½, ¾) u.s.w.


Es ergibt sich eine Art Zickzackweg zum Maximalpunkt!


Niveaulinien und Iterationsfolge für ein anderes Beispiel:


Das Gradientenverfahren konvergiert unter ungünstigen Umständen nur langsam. Es gibt jedoch nach ähnlichem Prinzip funktionierende Verfahren, die ihre Anstiegsrichtungen auf kompliziertere Weise ermitteln (konjugierte Gradienten, Newton-Verfahren, etc) und schneller konvergieren.


4. Probleme mit Nebenbedingungen - Theorie Wir betrachten nun endlich Probleme der Form (NL) Maximiere F(x) unter den Ungleichungsnebenbedingungen gi(x) ≤ 0, i = 1,…,m und Nichtnegativitätsbedingungen xj ≥ 0, j = 1,…,n, wobei F: Rn → R, F, g stetig. Kurz formuliert:

Maximiere F(x) unter den Ungleichungsnebenbedingungen g(x) ≤ 0 und Nichtnegativitätsbedingungen x ≥ 0, wobei x ∈ Rn und g : Rn → Rm, F: Rn → R. Man kann auch Gleichungsnebenbedingungen in das Problem einbeziehen, etwa der Form h(x) = 0 mit einer Funktion h : Rn → Rp


Die Charakterisierung von Maximalstellen dieses Problems ist kompizierter als bei nichtrestringierten Aufgaben. Definition: Die Funktion L: R+

n+m → R mit L(x, u) := F(x) – uTg(x),

wobei x ∈ R+

n, u ∈ R+m, bezeichnet man als Lagrange-Funktion des

Problems. Die zusätzlichen Variablen u1,...,um heißen Lagrange-Multiplikatoren. Definition: Seien F und g stetig. Ein Vektor (x*, u*)T des R+

n+m wird Sattelpunkt einer Funktion L(x, u) genannt, wenn für alle x ∈ R+

n und alle u ∈ R+

m gilt:

L(x, u*) ≤ L(x*, u*) ≤ L(x*, u)


Für n = m = 1 ist ein Sattelpunkt in folgender Zeichnung dargestellt.


x* ist für festes u* ≥ 0 globales Maximum der Funktion L(x, u*), wenn x in R+

n variert. u* ist für festes x* ≥ 0 globales Minimum der Funktion L(x*, u), wenn u in R+

m variert. Sattelpunktsatz (x*, u*) ist Sattelpunkt von L(x, u) → x* ist Maximalstelle von NL Die Verwendung des Sattelpunksatzes ist im allgemeinen sehr schwierig, weil man die Gültigkeit der Ungleichungskette L(x, u*) ≤ L(x*, u*) ≤ L(x*, u) nachweisen muß. Für Probleme mit stetig differenzierbaren Funktionen F und g gibt es einfachere Aussagen.


Definition: Die Slater-Bedingung ist erfüllt, falls es ein x ≥ 0 gibt mit g(x) ≤ 0. Satz (Karush-Kuhn-Tucker) a) Gegeben sei Problem NL mit stetig differenzierbaren Funktionen F und g. Dann folgt aus der Sattelpunktseigenschaft von (x*,u*), daß (KKT1) Lx(x*, u*) ≤ 0 (KKT2) x*TLx(x*, u*) = 0 (KKT3) Lu(x*, u*) ≥ 0 (KKT4) u*TLu(x*, u*) = 0 (KKT5) u* ≥ 0, x* ≥ 0 b) Sind darüber hinaus F konkav, alle gi konvex, i=1,...,m und ist die Slater-Bedingung erfüllt, so sind die KKT-Bedingungen notwendig und hinreichend dafür, daß sich in x* ein globales Maximum von NL befindet.


Wir betrachten noch einmal die Aufgabe: Maximiere F(x1, x2) = 5x1 – x1

2 + 5x2 – x22 unter den Nebenbedingungen

x1 + 2x2 – 8 ≤ 0 (g1(x):= x1 + 2x2 – 8) 3x1 + x2 – 9 ≤ 0 (g2(x):= 3x1 + x2 – 9) und x1, x2 ≥ 0,


Die Zielfunktion ist konkav und die Nebenbedingungen konvex. Die Slater-Bedingung ist erfüllt, da die Menge der zul. Lösungen ein konvexes Polyeder ist. Daher sind die KKT-Bedingungen notwendig und hinreichend für ein globales Optimum. Die Lagrange-Funktion des Problems lautet: L(x, u) = 5x1 – x1

2 + 5x2 – x22 – u1(x1 + 2x2 – 8) – u2(3x1 + x2 – 9)

Die KKT-Bedingungen haben hier das Aussehen: KKT1 1x

L : 5 – 2x1 – u1 – 3u2 ≤ 0 , 2x

L : 5 – 2x2 – 2u1 – u2 ≤ 0

KKT2 11 xx L : x1(5 – 2x1 – u1 – 3u2) = 0, 22 xx L : x2(5 – 2x2

– 2u2 – u2) = 0

KKT3 1uL : x1 + 2x2 – 8 ≤ 0, 2u

L : 3x1 + x2 – 9 ≤ 0

KKT4 11 uu L : u1 (x1 + 2x2 – 8) = 0, 22 uu L : u2 (3x1 + x2 – 9) = 0 KKT5 u1 ≥ 0, u2 ≥ 0, x1 ≥ 0, x2 ≥ 0


Der früher ermittelte Minimalpunkt des unrestringierten Problems ist A = (2.5, 2.5). Die Linien gleicher Abweichung der Zielfunktion von diesem Punkt sind gestrichelt. Der Maximierung der obigen Zielfunktion entspricht die Ermittlung eines Punktes x aus dem zulässigen Bereich, so daß der Radius des Kreises, auf dem er liegt, minimal ist. Damit findet man den Punkt B = (2.2, 2.4). Die Untersuchung der KKT-Bedingungen ergibt, daß der Vektor (x1 = 2.2, x2 = 2.4, u1 = 0, u2 = 0.2) alle Bedingungen erfüllt. Also ist B die optimale Lösung unseres Problems.


5. Probleme mit Nebenbedingungen – Verfahren Es gibt eine Vielzahl von mehr oder weniger komplizierten Verfahren zur Lösung von nichtlinearen Optimierungsproblemen mit Gleichungs- bzw. Ungleichungs-Nebenbedingungen. Zum Überblick können wir diese sehr grob einteilen in:

1. Verwendung der KKT-Bedingungen Hierbei wird aus den KKT-Bedingungen ein ein nichtlineares Gleichungs-system hergeleitet und dies numerisch, etwas mit dem Newton-Verfahren gelöst. Dies ist sehr aufwendig und funktioniert nur bei guten Startwerten.

2. Verfahren der zulässigen Richtungen Man geht aus von einem zulässigen Startpunkt und bestimmt eine zulässige Anstiegsrichtung der Zielfunktion. In diese Richtung bewegt


man sich soweit, daß die Zielfunktionswert maximal erhöht wird und man im zulässigen Bereich bleibt. Dies wird iteraiv wiederholt, solange bis ein maximum gefunden ist. Problematisch ist die Bewegung auf dem Rand des zulässigen Bereichs, vor allem bei nichtlinearen Nebenbedingungen. Die Konvergenz ist im allgemeinen langsam.

3. Straffunktionsverfahren Die Idee der Straffunktionsverfahren ist, ein restringiertes Problem in eine Folge parameterabhängiger, unrestringierter Probleme zu trans-formieren. Dies geschieht durch von einem wachsenden Parameter abhängige Addition/Subtraktion bestimmter Strafterme zur Zielfunktion. Die resultierenden Aufgaben werden dann mit Hilfe der bekannten, relativ einfachen Methoden für unrestringierte Verfahren (z.B. Gradi-entenverfahren) numerisch näherungsweise gelöst. Theoretisch ist diese Vorgehensweise sehr attraktiv. Praktisch ergeben sich jedoch numer-ische Schwierigkeiten, wenn der Parameter groß wird.


Verfahren der zulässigen Richtungen Eines dieser Verfahren ist der Algorithmus von Frank und Wolfe. Er ist anwendbar auf die folgende Problemklasse: Maximiere F(x), F: Rn → R, unter den linearen Ungleichungs- und Gleichungsnebenbedingungen (ai)Tx ≤ bi , i= 1,…,s (ai)Tx = bi , i= s+1,…,m Zulässige Aufstiegsrichtungen werden mit Hilfe der Linearisierungs-methode gewonnen. Die nichtlineare Zielfunktion wird im Punkt x linear approximiert: (F(x) + ( ∇ F(x))T(y-x)) = Max ! (ai)Ty ≤ bi , i= 1,…,s (ai)Ty = bi , i= s+1,…,m


Mit c:= ∇ F(x) ist die äquivalent zur Aufgabe Maximiere cTy unter den Nebenbedingungen (ai)Ty ≤ bi , i= 1,…,s (ai)Ty = bi , i= s+1,…,m Dies ist ein LOP! Der Algorithmus von Frank und Wolfe setzt sich also aus der Bestimmung der Aufstiegsrichtung durch den Simplex-Algorithmus und die nachfolgende eindimensionale Maximierung in Richtung dieser Aufstiegsrichtung zusammen. Das Ganze wird iterativ durchgeführt. Er ist allerdings auf die Problemklasse mit linearen Nebenbedingungen beschränkt.


Algorithmus von Frank und Wolfe 0. Bestimme einen zulässigen Punkt x(0), falls nötig, mit Phase 1 des Simplex-Algorithmus. Setze k:= 0. 1. Berechne c(k):= ∇ F(x(k)) . 2. Bestimme y(k) als Lösung des LOPs c(k)Ty = Max! unter (ai)Ty ≤ bi , i= 1,…,s (ai)Ty = bi , i= s+1,…,m 3. Falls c(k)Ty(k) = c(k)Tx(k), dann Abbruch des Verfahrens. 4. Setze d(k) := y(k) – x(k) und berechne eine optimale Schrittweite λ, so daß die Funktion ( ) ( )( ) ( ))k kH F x dλ λ= + maximal ist. 5. Setze x(k+1) := x(k) + λd(k), k:= k+1. und gehe zu 1.


Beispiel: Maximiere F(x) = 5x1 – x1

2 + 8x2 – 2x22

unter 3x1 + 2x2 ≤ 6, x ≥ 0 Start mit dem zulässigen Punkt x(0) = (0, 0)T liefert die Iterationsfolge x(1) = (2, 0)T, x(2) = (5/6, 7/6)T, x(3) = .... ..... die nach Augenschein in die Richtung des Punktes x = (1, 3/2) strebt. Dies ist tatsächlich die gseuchte Lösung. Allerdings braucht man sehr viele Iterationsschritte, um sie mit guter Genauigkeit zu erreichen


Straffunktionsverfahren Wir betrachten hier konvexe Probleme (also mit konvexen Nebenbe-dingungen und konkaver Zielfunktion) der Gestalt (*) maximiere F(x), F: Rn → R, unter gi(x) ≤ 0, i=1,...,m, x ≥ 0 Auch Probleme mit Gleichungsnebenbedingungen können hier behandelt werden. Es gibt zwei prinzipielle Varianten dieser Verfahren, die sog. Penalty-Verfahren und die sog. Barriere-Verfahren.


Penalty-Verfahren Hier wird von der Zielfunktion F eine Penalty-Funktion, P: Rn → R+, abgezogen, es ergibt sich F(x, µ) := F(x) – µP(x), µ>0 Der Wert von P(x) strebt gegen unendlich, je weiter x außerhalb des zulässigen Bereichs X liegt. Für x ∈ X gilt P(x) = 0. Eine nützliche Penalty-Funktion ist

2 2

1 1

( ) [max (0, ( ))] [max (0, )]m n

i ii j

P x g x x= =

= + −∑ ∑ Damit wird ein Verstoß gegen die Zulässigkeit zwar erlaubt, in der Zielfunktion jedoch bestraft. Charakteristisch für diese Verfahren ist die Approximation von außen.


Das bedeutet, daß die durch ein Penalty-Verfahren sukzessiv berechnete Folge von Näherungslösungen x(0), x(1), ..., x(q) gilt: x(k) ∉ X für alle k. Penalty-Funktion im Eindimensionalen für g1(x) = x-b und g2(x) = a-x


Algorithmus Penalty-Verfahren Sei µ1, µ2, .... Folge von positiven Zahlen mit µk →∞, µk+1 > µk. Für jedes k = 0,1,2... löse man das unrestringierte Problem Maximiere F(x, µk) := F(x) – µkP(x). Anfangswert sei jeweils die Lösung des vorigen Problems mit µ = µk-1. Die Lösung des Problems für µ = µk-1 sei xk . Die Lösungen xk der unrestringierten Probleme streben dann gegen die Lösung x* der restringierten Optimierungsaufgabe (*).


Barriere-Verfahren Im Gegensatz zu den eben betrachteten Außenbereichs-Verfahren bezeichnet man die Barriere-Verfahren auch als Innenbereichs-Verfahren. Man betrachtet hier meist ein Zielfunktion der Form

P(x,r) = F(x) – rB(x) mit r > 0,

die zu maximieren ist. Die sog. Barriere-Funktion B(x) soll verhindern, daß die Iteration den zulässigen Bereich X verläßt. Sie sollte deshalb folgende Eigenschaften besitzen: 1. B(x) ist klein, wenn x ∈X weit von der Grenze von X entfernt ist. Im Innern von X soll also F möglichst wenig verfälscht werden. 2. B(x) ist groß, wenn sich x ∈ X der Grenze des zulässigen Bereichs nähert. 3. B(x) strebt gegen unendlich für x gegen den Rand von X.


Wenn wir beispielsweise

1 1

1 1( )( )

m n

i ji j

B xg x x= =

= +−∑ ∑

setzen, sind die drei Forderungen erfüllt. Der zweite Term sichert die Einhaltung der Nichtnegativitätsbedingungen, der erste die der übrigen Nebenbedingungen. B(x) wird mit einem positiven Parameter r gewichtet, der von Iteration zu Iteration um einen Faktor verkleinert wird.


Der Algorithmus SUMT (Sequential Unconstrained Maximization Technique) Voraussetzung: Maximierungsproblem (*) mit konkavem F und konvexem X, zulässiger Punkt x(0), der nicht auf dem Rand von X liegen darf, Abbruchschranke ε > 0, zwei Parameter θ ∈ (0,1) und r > 0. Iteration k (=0,1, ...) Ausgehend von x(k) verwende man ein Verfahren der unrestringierten Minimierung zur Bestimmung der Näherung x(k+1) für ein lokales Maxi-mum von

P(x,r) = F(x) – rB(x) Falls || x(k) - x(k+1) || < ε, Abbruch des Verfahrens, andernfalls setze r := θr und gehe zur nächsten Iteration: k:= k+1. Ergebnis: x(k+1) als Näherung für das lokale Maximum von F in X.


Beispiel: Maximiere F(x1, x2) = 6x1 + 4x2 unter den Nebenbedingungen 20.25 x1

2 + 25 x2

2 ≤ 506.25

16 x12

+ 100 x22

≤ 1600 und x1, x2 ≥ 0 (g1(x) = 20.25 x1

2 + 25 x2

2 – 506.25, g2(x) = 16 x1

2 + 100 x2

2 – 1600)

Wir lösen dieses Problem mit SUMT und wählen dabei r = 1, θ=0.1. Startwert: x(0) = (1,1)T . Dann erhalten wir die Folge x(1) = (3.834, 1.928)T x(2) = (4.142, 2.201)T

x(3) = (4.238, 2.284)T

...

x(8) = (4.286, 2.316)T mit F(x(8)) = 34.982.


Zur Erinnerung unsere Zeichnung vom Anfang des Kapitels:


SUMT eignet sich auch zur numerischen Lösung von Aufgaben mit Gleichungsrestriktionen etwa der Form (**) maximiere F(x), Rn → R, unter gi(x) ≤ 0, i=1,...,m, hk(x) = 0, k=1,...,q, x ≥ 0 Hier kann man z.B. die Funktion P(x,r)

2

1 1

1 1 ( )( , ) ( ) ( )( )

qm nk

i j ki j

h xP x r F x rg x x r= =

= − + −−∑ ∑ ∑

zur unrestringierten Maximimierung verwenden.

II. Nichtlineare Optimierung - algebra.tuwien.ac.at · Minimum vor. H. Weber, FHW, OR SS06, Teil 5,...

Documents

Transcript of II. Nichtlineare Optimierung - algebra.tuwien.ac.at · Minimum vor. H. Weber, FHW, OR SS06, Teil 5,...