Nichtlineare Optimierung || Optimalitätskriterien

2 Optimalitätskriterien

Übersicht

2.1 Optimalitätskriterien für Optimierungsprobleme ohne Nebenbedingungen . . 49

2.2 Optimalitätskriterien für Optimierungsprobleme mit Nebenbedingungen . . . 52

2.3 Übungsaufgaben zu Kapitel 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

2.1 Optimalitätskriterien für Optimierungsproblemeohne Nebenbedingungen

Im Folgenden gelte für die offene Menge D ⊂ Rn immer D �= ∅.

Definition 2.1

Es seien D ⊂ Rn eine offene Menge und f ∈ C1(D,R). Ein Punkt x∗ ∈ D heißt sta-

tionärer Punkt von f , wenn ∇f(x∗) = 0 gilt. Existieren in jeder offenen Umgebung

U (x∗) ⊂ D eines stationären Punktes x∗ sowohl Punkte x mit f(x) < f(x∗) als auchPunkte x mit f(x) > f(x∗), so heißt x∗ strenger Sattelpunkt von f .

Der folgende Satz formuliert ein notwendiges Optimaltitätskriterium für stetig differen-

zierbare Funktionen.

Satz 2.2 (Notwendiges Optimalitätskriterium 1. Ordnung)

Es seien D ⊂ Rn eine offene Menge und f ∈ C1(D,R). Ist der Punkt x∗ ∈ D eine lokale

Minimalstelle von f über D, dann gilt ∇f(x∗) = 0.

Beweis: Es sei d ∈ Rn \ {0}. Wegen der Offenheit von D und der lokalen Minimalstelle

x∗ gilt x∗ + td ∈ D, x∗ − td ∈ D, f (x∗ + td)− f (x∗) ≥ 0 und f (x∗ − td)− f (x∗) ≥ 0

für alle hinreichend kleinen t > 0. Weiterhin gilt wegen f ∈ C1(D,R)

0 ≤ limt→+0

f(x∗ + td)− f(x∗)t

= ∇f(x∗)Td

R. Reinhardt et al., Nichtlineare Optimierung, DOI 10.1007/978-3-8274-2949-0_2,

© Springer-Verlag Berlin Heidelberg 2013

50 2 Optimalitätskriterien

und

0 ≤ limt→+0

f(x∗ − td)− f(x∗)t

= −∇f(x∗)Td ,

woraus unmittelbar ∇f(x∗) = 0 folgt. �

Das im Satz 2.2 aufgeführte notwendige Optimalitätskriterium 1. Ordnung ist nicht hin-

reichend für das Vorliegen einer lokalen Minimalstelle, da ein x∗ ∈ D mit ∇f(x∗) = 0

auch eine lokale Maximalstelle (siehe Aufgabe 2.1) oder ein strenger Sattelpunkt von

f sein könnte. Für konvexe Funktionen über einer konvexen Menge ist das in Satz 2.2

formulierte notwendige Optimalitätskriterium 1. Ordnung jedoch auch hinreichend.

Satz 2.3

Es seien D ⊂ Rn eine offene konvexe Menge und f ∈ C1(D,R) eine konvexe Funktionüber D. Ein Punkt x∗ ∈ D ist genau dann eine globale Minimalstelle von f über D,

wenn ∇f(x∗) = 0 gilt.

Beweis: Ist x∗ eine globale Minimalstelle von f über D, so folgt ∇f(x∗) = 0 aufgrund

von Satz 2.2 − auch wenn f nicht konvex ist. Es seien nun ∇f(x∗) = 0 und f konvex.

Mit Satz 1.68 (a) folgt f(x) ≥ f(x∗) +∇f(x∗)T (x− x∗) = f(x∗) für alle x ∈ D, womitx∗ eine globale Minimalstelle von f über D ist. �



Minimalstelle von f über D, dann ist die Hesse-Matrix ∇2f(x∗) positiv semi-definit.

Beweis: Es sei d ∈ Rn \ {0}. Wegen der Offenheit von D und der lokalen Minimalität

von x∗ gilt x∗ + td ∈ D und f (x∗ + td)− f (x∗) ≥ 0 für alle hinreichend kleinen t > 0.

Mit f ∈ C2(D,R), dem Mittelwertsatz und Satz 2.2 folgt für gewisse τ(t) ∈ (0, 1)

0 ≤ f(x∗ + td)− f(x∗)= f(x∗) + t∇f(x∗)Td+ t2dT∇2f(x∗ + τ(t)td)d− f(x∗)= t2dT∇2f(x∗ + τ(t)td)d ,

und somit nach Division durch t2 für t→ 0 sofort dT∇2f(x∗)d ≥ 0. �

Auch das in Satz 2.4 formulierte notwendige Optimalitätskriterium 2. Ordnung, die

positive Semidefinitheit der Hesse-Matrix in einem stationären Punkt, ist wiederum

nicht hinreichend für das Vorliegen einer lokalen Minimalstelle (siehe Aufgabe 2.2).

2.1 Optimalitätskriterien für Optimierungsprobleme ohne Nebenbedingungen 51

Satz 2.5 (Hinreichendes Optimalitätskriterium 2. Ordnung)

Es seien D ⊂ Rn eine offene Menge, f ∈ C2(D,R) und x∗ ∈ D.Gilt ∇f(x∗) = 0 und ∇2f(x∗) ∈ SPDn, dann ist x∗ eine strikte lokale Minimalstelle vonf über D.

Beweis: Wegen der Offenheit von D gilt x∗ + d für alle d ∈ Rn mit hinreichend kleinerNorm. Mit dem Mittelwertsatz folgt wegen∇f(x∗) = 0 und ∇2f(x∗) ∈ SPDn für diese d

f(x∗ + d) = f(x∗) +∇f(x∗)Td+ 12dT∇2f(x∗ + td)d

= f(x∗) + 12dT∇2f(x∗)d+ 1

2dT

(∇2f(x∗ + td)−∇2f(x∗)

)d

≥ f(x∗) + 12λmin(∇2f(x∗))‖d‖2 + 1

2dT

(∇2f(x∗ + td)−∇2f(x∗)

)d

für ein t ∈ (0, 1). Mit

|dT(∇2f(x∗ + td)−∇2f(x∗)

)d| ≤ ‖∇2f(x∗ + td)−∇2f(x∗)‖ ‖d‖2

gilt

−‖∇2f(x∗ + td)−∇2f(x∗)‖ ‖d‖2 ≤ dT(∇2f(x∗ + td)−∇2f(x∗)

)d

für alle d ∈ Rn, und es folgt

f(x∗ + d) ≥ f(x∗) + 1

2

(λmin(∇2f(x∗))− ‖∇2f(x∗ + td)−∇2f(x∗)‖

)‖d‖2

sowie schließlich wegen f ∈ C2(D,R)

f(x∗ + d) > f(x∗)

für alle d �= 0 mit hinreichend kleiner Norm. �

Wir möchten bemerken, dass das in Satz 2.5 aufgeführte hinreichende Optimalitäts-

kriterium nicht notwendig für das Vorliegen einer strikten lokalen Minimalstelle ist, wie

das Beispiel f : R2 → R mit f(x1, x2) = x41 + x

22 an der Stelle x

∗ = (0, 0)T zeigt.

Beispiel 2.6

Wir betrachten die Funktion (Problem Nr. 20) f : R2 → R mit f(x) = 13x3

1 + x1x22 −

4x1x2 + 1. Wegen ∇f(x1, x2) =

(x2

1 + x22 − 4x2

2x1(x2 − 2)

)erhalten wir die folgenden vier sta-

tionären Punkte (0, 0)T , (0, 4)T , (−2, 2)T und (2, 2)T , für die die notwendige Bedingung1. Ordnung aus Satz 2.2 für das Vorliegen einer lokalen Minimalstelle erfüllt ist. Da

∇2f(x1, x2) =

(2x1 2x2 − 4

2x2 − 4 2x1

)gilt, ist aber lediglich für den Punkt x∗ := (2, 2)T


mit ∇2f(2, 2) =

(4 0

0 4

)die notwendige Bedingung 2. Ordnung aus Satz 2.4 für das

Vorliegen einer lokalen Minimalstelle erfüllt. Natürlich ist hier auch die hinreichende Be-

dingung 2. Ordnung aus Satz 2.5 erfüllt und x∗ somit die einzige lokale Minimalstelleder Funktion f . �

−5 −4 −3 −2 −1 0 1 2 3 4 5−3−2−101234567

x1

x2

−40

−40

−40

−40

−20

−20

−20

−20

−10

−10

−10

−10−5

−5

−5

−5

−5

−2

−2

−2

−2

−2

−2

−2

0

0

0

0

00

0

0

2

2

22

2

2

2

5

5

55

5

20

20

2020

40

40

40

40

lokalesMinimum

Abb. 2.1 Höhenlinienbild für die Funktion aus Beispiel 2.6

2.2 Optimalitätskriterien für Optimierungsproblememit Nebenbedingungen

Es seien f : D ⊂ Rn → R, D eine offene und M ⊂ D eine nichtleere Menge. Wir

betrachten nun Optimierungsprobleme der Form MIN{f(x)| x ∈M}.

Definition 2.7

Es seien x ∈ Rn, {xk}k∈N ⊂ Rn\{x} und limk→∞xk = x. Die Folge {xk}k∈N heißt gerichtet

konvergent gegen x in Richtung y ∈ Rn \ {0}, wenn

limk→∞

xk − x‖xk − x‖ = y

gilt.

Konvergiert die Folge {xk}k∈N gerichtet gegen x in Richtung y, so vereinbaren wir die

Schreibweise xky−→ x. Ist {xk}k∈N ⊂ Rn\{x} eine gegen x ∈ Rn konvergente Folge, dann

ist die durch yk := xk−x‖xk−x‖ für alle k ∈ N definierte Folge {yk}k∈N in der kompakten

2.2 Optimalitätskriterien für Optimierungsprobleme mit Nebenbedingungen 53

Menge ∂U1(0) ⊂ Rn enthalten. Somit existiert eine gegen ein d ∈ ∂U1(0) konvergente

Teilfolge {yk(i)}i∈N von {yk}k∈N, und für die entsprechende Teilfolge {xk(i)}i∈N von

{xk}k∈N gilt xkid−→ x. Folglich enthält jede gegen x ∈ Rn konvergente Folge {xk}k∈N ⊂

Rn \ {x} mindestens eine gegen x gerichtet konvergente Teilfolge.

Definition 2.8

Es seien M ⊂ Rn, x ∈M und x kein isolierter Punkt von M . Dann heißt

T (M, x) :={αy ∈ Rn

∣∣∣ ∃{xk}k∈N ⊂M : xky−→ x, α ≥ 0

}Tangentenkegel in x an die Menge M . Für einen isolierten Punkt x ∈ M definieren wir

T (M, x) := {0}.

Natürlich gilt 0 ∈ T (M, x) für alle x ∈M und T (M, x) = Rn für alle x ∈ intM .

x^

yxk

y

xk M

x + T M , x( )^ ^

xk

y

0

T M x( , )^

Abb. 2.2 Tangentenkegel T (M, x) und Approximation 1. Ordung x + T (M, x) an die MengeM im Punkt x ∈M

Lemma 2.9

Für alle x ∈M ∈ Rn ist der Tangentenkegel T (M, x) eine abgeschlossene Menge.

Beweis: Es sei {dk}k∈N ⊂ T (M, x) mit limk→∞dk = d ∈ clT (M, x). Für d = 0 folgt

d ∈ T (M, x). Somit gelte d �= 0 und o. B. d. A. dk �= 0 für alle k. Nach der Definition

des Tangentenkegels existieren für alle k ∈ N Folgen {xk,l}l∈N ⊂ M mit xk,lyk−→ x und

yk = dk

‖dk‖. Weiterhin existiert für jedes k ein Index l(k) mit

∥∥∥∥ xk,l(k) − x‖xk,l(k) − x‖ −dk

‖dk‖

∥∥∥∥ ≤ 1

k,


und es folgt∥∥∥∥ xk,l(k) − x‖xk,l(k) − x‖ −d

‖d‖

∥∥∥∥ ≤ ∥∥∥∥ xk,l(k) − x‖xk,l(k) − x‖ −dk

‖dk‖

∥∥∥∥+ ∥∥∥∥ dk‖dk‖ − d

‖d‖

∥∥∥∥bzw.

limk→∞

xk,l(k) − x‖xk,l(k) − x‖ =

d

‖d‖ .

Für die Folge {xk,l(k)}k∈N ⊂ M gilt damit xk,l(k)y−→ x, y = d

‖d‖ und somit auch in

diesem Fall d ∈ T (M, x), womit die Abgeschlossenheit des Tangentenkegels T (M, x)gezeigt ist. �

Der um x verschobene Tangentenkegel x+ T (M, x) ist eine sogenannte Approximation

1. Ordung der zulässigen MengeM in einer gewissen Analogie zur Taylor-Approximation

1. Ordung einer Funktion. Wir haben gezeigt, dass die Ableitungen der Zielfunktion f

die entscheidende Rolle bei der Formulierung der Optimalitätskriterien bei Problemstel-

lungen ohne Nebenbedingungen spielen. Bei Problemstellungen mit Nebenbedingungen

werden nun zusätzlich Approximationen 1. Ordnung der zulässigen Menge für die For-

mulierung der entsprechenden Optimalitätskriterien benötigt.

Unter Verwendung des Tangentenkegels als (zugegebenermaßen unhandliche) Approxi-

mation 1. Ordnung des zulässigen Bereiches lassen sich nun in Analogie zu den Ausfüh-

rungen in Abschnitt 2.1 Optimalitätskriterien für Optimierungsprobleme mit Nebenbe-

dingungen formulieren.


Es seien f : D ⊂ Rn → R, D eine offene Menge, M ⊂ D eine nichtleere Menge und

f ∈ C1(D,R). Ist x ∈M eine lokale Minimalstelle von f über M , dann gilt

∇f(x)Td ≥ 0

für alle d ∈ T (M, x).

Beweis: Für d = 0 ist nichts zu zeigen. Es gelte d �= 0 und sei {xk}k∈N ⊂ M mit

xky−→ x und y = d

‖d‖ . Wegen der lokalen Minimalität von x bzw. f ∈ C1(D,R) gilt

f(xk)− f(x) ≥ 0

für alle hinreichend großen k bzw.

f(xk) = f(x) +∇f(x)T (xk − x) + o(‖xk − x‖)

für alle k ∈ N. Hieraus ergibt sich

0 ≤ limk→∞

f(xk)− f(x)‖xk − x‖ = lim

k→∞∇f(x)T (xk − x) + o(‖xk − x‖)

‖xk − x‖ =1

‖d‖ ∇f(x)Td


und somit unmittelbar ∇f(x)Td ≥ 0. �

In Analogie zur Definition 2.1 bezeichnen wir einen zulässigen Punkt x ∈ M , der dasnotwendige Optimalitätskriterium 1. Ordnung erfüllt, auch als stationären Punkt des

restringierten Optimierungsproblems.

Satz 2.11 (Hinreichendes Optimalitätskriterium 1. Ordnung)Es seien f : D ⊂ Rn → R, D eine offene Menge, M ⊂ D eine nichtleere Menge und

f ∈ C1(D,R). Gilt∇f(x)Td > 0

für alle d ∈ T (M, x) \ {0}, dann ist x ∈M eine strenge lokale Minimalstelle von f über

M .

Beweis: Angenommen, x ∈ M ist keine strenge lokale Minimalstelle von f über M ,

dann existiert für alle k ∈ N ein Punkt xk ∈M ∩ U 1k(x) mit xk �= x und

f(xk) ≤ f(x) .

Für die Folge {xk}k∈N ⊂ M gilt limk→∞xk = x. Sei {xk(l)}l∈N eine gegen x in Richtung

y ∈ Rn gerichtet konvergente Teilfolge von {xk}k∈N. Somit gilt y ∈ T (M, x) \ {0}, undes folgt

0 ≥ liml→∞f(xk(l))− f(x)‖xk(l) − x‖ = lim

l→∞∇f(x)T (xk(l) − x) + o(‖xk(l) − x‖)

‖xk(l) − x‖ = ∇f(x)Ty

− im Widerspruch zur Voraussetzung ∇f(x)Td > 0 für alle d ∈ T (M, x) \ {0}. �



f ∈ C2(D,R). Ist x ∈M eine lokale Minimalstelle von f über M mit ∇f(x) = 0, dann

gilt

dT∇2f(x)d ≥ 0

für alle d ∈ T (M, x).

Beweis: Es gelte d ∈ T (M, x) und o. B. d. A. d �= 0. Dann existiert eine Folge {xk}k∈N ⊂M mit xk

y−→ x und y = d‖d‖ . Wegen der lokalen Minimalität von x bzw. wegen f ∈

C2(D,R) und ∇f(x) = 0 gilt

f(xk)− f(x) ≥ 0

für alle hinreichend großen k und

f(xk) = f(x) +1

2(xk − x)T∇2f(x)(xk − x) + o(‖xk − x‖2)


für alle k ∈ N. Hieraus folgt

0 ≤ limk→∞

f(xk)− f(x)‖xk − x‖2

= limk→∞

12(xk − x)T∇2f(x)(xk − x) + o(‖xk − x‖2)

‖xk − x‖2

=1

2 ‖d‖2dT∇2f(x)d

und somit dT∇2f(x)d ≥ 0. �



f ∈ C2(D,R). Gelten im Punkt x ∈M die Bedingungen

∇f(x) = 0 und dT∇2f(x)d > 0

für alle d ∈ T (M, x) \ {0}, dann ist x ∈M eine strenge lokale Minimalstelle von f über

M .

Der Beweis von Satz 2.13 erfolgt analog dem Beweis von Satz 2.11 und sei dem Le-

ser als Aufgabe 2.7 überlassen. Für einen Punkt x ∈ intM gilt wie bereits erwähnt

T (M, x) = Rn. Somit stellen Satz 2.10, Satz 2.12 bzw. Satz 2.13 Verallgemeinerungender bekannten Optimalitätskriterien für Optimierungsprobleme ohne Nebenbedingun-

gen dar. Die hier formulierten Optimalitätskriterien 1. und 2. Ordnung nutzen nicht die

konkrete Struktur der zulässigen Menge M und werden aus diesem Grunde auch als

geometrische Optimalitätkriterien bezeichnet.

Dem aufmerksamen Leser wird nicht entgangen sein, dass die Bedingung ∇f(x) = 0

in den Sätzen 2.12 und 2.13 für die lokale Lösung x eines restringierten Optimierungs-

problems nur in Ausnahmefällen erfüllt ist, denn dann wäre x ja auch gleichzeitig ein

stationärer Punkt von f und damit eine Lösung des zugehörigen unrestringierten Pro-

blems. Wir werden aber sehen, dass die beiden Sätze sehr nützlich sind, um weitere

Optimalitätskriterien für die im Anschluss betrachteten restringierten Optimierungspro-

bleme mit konkreter Struktur des zulässigen Bereiches herzuleiten.

Im Folgenden werden wir uns auf Optimierungsprobleme mit Nebenbedingungen be-

schränken, bei denen der zulässige Bereich lediglich durch endlich viele Ungleichungs-

und/oder Gleichungsnebenbedingungen beschrieben wird. Wir betrachten somit im Wei-

teren Problemstellungen der Form(P≤=

)MIN{f(x)| x ∈M} mit M = {x ∈ Rn| G(x) ≤ 0, H(x) = 0} ,(

P≤)

MIN{f(x)| x ∈M} mit M = {x ∈ Rn| G(x) ≤ 0} sowie(P=) MIN{f(x)| x ∈M} mit M = {x ∈ Rn| H(x) = 0}


mit f : Rn → R, G = (g1, · · · , gm)T : Rn → Rm und H = (h1, · · · , hp)T : Rn → Rp.

Vereinbarung:

Im weiteren Verlauf dieses Abschnittes seien die Funktionen f , G und H

stets auf einer den zulässigen Bereich M umfassenden offenen Menge stetig

differenzierbar.

Wir bezeichnen eine Ungleichungsnebenbedingung gi(x) ≤ 0 als aktiv bzw. nicht ak-

tiv in einem zulässigen Punkt x ∈ M , wenn gi(x) = 0 bzw. gi(x) < 0 gilt, und wir

definieren

I(x) := {i | gi(x) = 0, i ∈ {1, 2, · · · ,m}}

als Menge aller aktiven Indizes in x.

Wir konzentrieren uns bei unseren Betrachtungen in den meisten Fällen auf die Pro-

blemstellung(P≤=

), da sich alle Aussagen durch Spezialisierung auf die entsprechenden

Problemstellungen(P≤

)bzw. (P=) übertragen lassen.

Definition 2.14

Für einen zulässigen Punkt x ∈M des Optimierungsproblems(P≤=

)heißt

K(x) :={y ∈ Rn

∣∣∣ ∇gi(x)Ty ≤ 0 ∀i ∈ I(x), ∇hj(x)Ty = 0 ∀j ∈ {1, · · · , p}}

linearisierender Kegel in x an die Menge M .

Offensichtlich gilt für den um x verschobenen linearisierenden Kegel

x+K(x) =

{x ∈ Rn

∣∣∣∣∣ gi(x) +∇gi(x)T (x− x) ≤ 0 ∀i ∈ I(x),hj(x) +∇hj(x)T (x− x) = 0 ∀j ∈ {1, · · · , p}

}

mit gi(x) = 0 für i ∈ I(x) und hj(x) = 0 für j ∈ {1, · · · , p}, d. h. für die in x aktivenUngleichungsnebenbedingungen und alle Gleichungsnebenbedingungen werden die Funk-

tionen gi bzw. hj jeweils durch ihre Taylor-Polynome 1. Grades mit Entwicklungsstelle

x ersetzt. Zwischen dem Tangentenkegel (geometrisch topologische Beschreibung) und

dem linearisierenden Kegel (analytische Beschreibung) in einem zulässigen Punkt gilt die

folgende Beziehung:

Lemma 2.15Für jeden zulässigen Punkt x ∈M des Problems

(P≤=

)gilt T (M, x) ⊂ K(x).

Beweis: Es gelte d ∈ T (M, x) und o. B. d. A. d �= 0. Dann existiert eine Folge {xk}k∈N ⊂M mit xk

y−→ x und y = d‖d‖ . Für alle i ∈ I(x) bzw. j ∈ {1, · · · , p} und alle k gilt

gi(xk)− gi(x) = gi(xk) ≤ 0 bzw. hj(x

k)− hj(x) = 0 .


Wegen G ∈ C1(Rn,Rm) bzw. H ∈ C1(Rn,Rp) folgt

0 ≥ limk→∞

gi(xk)− gi(x)‖xk − x‖ = lim

k→∞∇gi(x)T (xk − x) + o(‖xk − x‖)

‖xk − x‖ = ∇gi(x)Td

‖d‖

bzw.

0 = limk→∞

hj(xk)− hj(x)‖xk − x‖ = lim

k→∞∇hj(x)T (xk − x) + o(‖xk − x‖)

‖xk − x‖ = ∇hj(x)Td

‖d‖

und damit offensichtlich d ∈ K(x). �

Beispiel 2.16

Wir betrachten das Optimierungsproblem (Problem Nr. 118)

MIN

{f(x) =

1

2(x1 + 1)2 +

1

2x2

2

∣∣∣∣∣ g1(x1, x2) = −x1 + (x2 + 1)2 − 1 ≤ 0

g2(x1, x2) = −x1 + (x2 − 1)2 − 1 ≤ 0

}

mit der globalen Lösung x = (0, 0)T und ∇f(x) = (1, 0)T , ∇g1(x) = (−1, 2)T , ∇g2(x) =(−1,−2)T sowie I(x) = {1, 2}. Die Abb. 2.3 zeigt, dass für dieses Beispiel ∇f(x)Td ≥ 0

für alle d ∈ K(x) gilt. �

−1 −0.5 0 0.5 1 1.5 2−1.5

−1

−0.5

0

0.5

1

1.5

x1

x2

0.02

0.05

0.1

0.1

0.3

0.3

0.3

0.5

0.5

0.5

1

1

1

1

1

2

2

2

3

3

3

4

4

4

K(x)

∇g1(x)/2

∇g2(x)/2

−∇f(x)/2

dx

M

Abb. 2.3 Zulässiger Bereich M und Linearisierungskegel K(x) für Beispiel 2.16, ∇f(x)Td ≥ 0für alle d ∈ K(x)

Lemma 2.15 und Beispiel 2.16 geben Anlass zu der Vermutung, dass in Analogie zu Satz

2.10 für eine lokale Lösung x eines Optimierungsproblems der Form(P≤=

)∇f(x)Td ≥ 0


für alle d ∈ K(x) gelten muss.

Beispiel 2.17


MIN

{f(x) = (x1 − 2)2 + x2

2

∣∣∣∣∣ g1(x1, x2) = (x1 − 1)3 + x2 ≤ 0

g2(x1, x2) = −x2 ≤ 0

}

mit der globalen Lösung x = (1, 0)T und ∇f(x) = (−2, 0)T , ∇g1(x) = (0, 1)T , ∇g2(x) =(0,−1)T sowie I(x) = {1, 2}. Für den Tangentenkegel bzw. den linearisierenden Kegelin x gilt T (M, x) =

{y ∈ R2 | y1 ≤ 0, y2 = 0

}� K(x) =

{y ∈ R2 | y2 = 0

}und somit

∇f(x)Td ≥ 0 nur für alle d ∈ T (M, x). �

−0.5 0 0.5 1 1.5 2 2.5−1.5

−1

−0.5

0

0.5

1

1.5

x1

x2 0.020.06

0.06

0.3

0.3

0.3

0.50.5

0.50.5

1

1

1

1

22

2

2

2 2

3

3

3

3

4

4

4

5

5

5

−∇f(x)

∇g1(x)M

∇g2(x)

x

x + T (M, x)

x + K(x)

Abb. 2.4 Zulässiger Bereich M , Tangentenkegel T (M, x) und Linearisierungskegel K(x) fürBeispiel 2.17, T (M, x) � K(x), ∇f(x)Td ≥ 0 nur für alle d ∈ T (M, x)

Damit ist die vorher formulierte Vermutung falsch. Sie gilt jedoch trivialerweise, wenn

wir zusätzlich T (M, x) = K(x) für die betrachtete lokale Minimalstelle x eines Optimie-

rungsproblems der Form(P≤=

)fordern.

Definition 2.18

Ein zulässiger Punkt x des Optimierungsproblems(P≤=

)erfüllt die Regularitätsbedingung

(CQ) (engl.: constraint qualification), wenn T (M, x) = K(x) gilt.

Im Gegensatz zum Tangentenkegel ist der linearisierende Kegel von der analytischen

Darstellung des zulässigen Bereiches abhängig, wie das folgende Beispiel illustriert.


Beispiel 2.19

Wir betrachten das Optimierungsproblem

MIN

⎧⎪⎪⎨⎪⎪⎩f(x) = (x1 − 2)2 + x22

∣∣∣∣∣∣∣∣g1(x1, x2) = −(1− x1)3 + x2 ≤ 0

g2(x1, x2) = −x2 ≤ 0

g3(x1, x2) = x1 − 1 ≤ 0

⎫⎪⎪⎬⎪⎪⎭mit der globalen Lösung x = (1, 0)T und ∇f(x) = (−2, 0)T , ∇g1(x) = (0, 1)T ,

∇g2(x) = (0,−1)T , ∇g3(x) = (1, 0)T sowie I(x) = {1, 2, 3}. Der zulässige Bereich diesesOptimierungsproblems stimmt offensichtlich mit dem zulässigen Bereich aus Beispiel 2.17

überein. Wegen der zusätzlichen Nebenbedingung g3 gilt hier jedoch

T (M, x) = K(x) ={y ∈ R2 | y1 ≤ 0, y2 = 0

}und somit ∇f(x)Td = −2y1 ≥ 0 für alle d ∈ K(x). �

Es folgen die Definitionen der Lagrange-Funktion, der Karush-Kuhn-Tucker-Bedingungen

und eines Karush-Kuhn-Tucker-Punktes, die im Weiteren von zentraler Bedeutung für

die Formulierung von Optimalitätsbedingungen sein werden.

Definition 2.20

(a) Die Abbildung L : Rn ×Rm ×Rp → R mit

L(x,u, v) := f(x) +G(x)Tu+H(x)Tv = f(x) +m∑i=1

uigi(x) +p∑j=1

vjhj(x)

heißt Lagrange-Funktion des Optimierungsproblems(P≤=

). Die Koordinaten der

Vektoren u ∈ Rm und v ∈ Rp werden als Lagrange-Multiplikatoren bezeichnet.

(b) Die Bedingungen

∇xL(x,u, v) = 0,

∇uL(x,u,v) ≤ 0, u ≥ 0, uT∇uL(x,u, v) = 0,

∇vL(x,u, v) = 0

heißen Karush-Kuhn-Tucker-Bedingungen (kurz: KKT-Bedingungen) des Optimie-

rungsproblems(P≤=

).

(c) Jeder Punkt (x, u, v) ∈ Rn × Rm × Rp, der die Karush-Kuhn-Tucker-Bedin-

gungen des Optimierungsproblems(P≤=

)erfüllt, wird als Karush-Kuhn-Tucker-

Punkt (kurz: KKT-Punkt) von(P≤=

)bezeichnet.


Wir bemerken, dass ∇xL(x,u, v), ∇uL(x,u, v) bzw. ∇vL(x,u,v) die Gradienten

der Lagrange-Funktion bzgl. der Variablenmengen {x1, · · · , xn}, {u1, · · · , um} bzw.

{v1, · · · , vp} bezeichnen. Für die Problemstellungen(P≤

)bzw. (P=) vereinfachen sich

die entsprechenden Lagrange-Funktionen zu

L : Rn ×Rm → R mit L(x,u) := f(x) +G(x)Tu = f(x) +m∑i=1

uigi(x)

bzw.

L : Rn ×Rp → R mit L(x,v) := f(x) +H(x)Tv = f(x) +p∑j=1

vjhj(x)

und die zugehörigen KKT-Bedingungen zu

∇xL(x,u) = 0,

∇uL(x,u) ≤ 0, u ≥ 0, uT∇uL(x,u) = 0

bzw.∇xL(x, v) = 0,

∇vL(x,v) = 0 .

Auch hier bezeichnen wir jeden Punkt (x, u) ∈ Rn ×Rm bzw. (x, v) ∈ Rn ×Rp, der dieKKT-Bedingungen der Optimierungsprobleme

(P≤

)bzw. (P=) erfüllt, als KKT-Punkt

der entsprechenden Optimierungsprobleme.

Ohne Verwendung der Lagrange-Funktion lassen sich die KKT-Bedingungen für das Pro-

blem(P≤=

)offensichtlich äquivalent wie folgt formulieren:

∇f(x) +∇G(x)u+∇H(x)v = ∇f(x) +m∑i=1

ui∇gi(x) +p∑j=1

vj∇hj(x) = 0 ,

G(x) ≤ 0 ,u ≥ 0, uTG(x) = 0,

H(x) = 0 .

Es sei nun (x, u, v) ein KKT-Punkt des Optimierungsproblems(P≤=

). Die Bedingungen

∇uL(x, u, v) = G(x) ≤ 0 und ∇vL(x, u, v) = H(x) = 0

sind äquivalent dazu, dass x ein zulässiger Punkt ist. Weiterhin sind die Bedingungen

∇uL(x, u, v) = G(x) ≤ 0, u ≥ 0, uT∇uL(x, u, v) = 0

äquivalent zu

gi(x) ≤ 0, ui ≥ 0, uigi(x) = 0 ∀i ∈ {1, · · · ,m} .


Daraus folgen die sogenannten Komplementaritätsbedingungen

gi(x) = 0 oder ui = 0 ∀i ∈ {1, · · · ,m} .

Somit gilt sowohl

ui = 0 für alle i ∈ {1, · · · ,m} \ I(x)

als auch die Implikation

ui > 0⇒ i ∈ I(x)

und für Problemstellungen der Form(P≤

)folgt

−∇f(x) ∈ cone{∇gi(x)

∣∣∣ i ∈ I(x)} .Gilt sogar ui > 0 für alle i ∈ I(x), so sagt man, dass in (x, u, v) die strengen Komple-

mentaritätsbedingungen erfüllt sind.

Beispiel 2.21

Wir betrachten das Optimierungsproblem (Problem Nr. 103, a = 2 (Koeff. von x21))

MIN

⎧⎪⎪⎨⎪⎪⎩f(x) = 2x21 − x2

∣∣∣∣∣∣∣∣g1(x1, x2) = (x1 + 1)2 + x2

2 − 1 ≤ 0

g2(x1, x2) = −x21 − (x2 − 1)2 + 1 ≤ 0

g3(x1, x2) = −x1 − 1 ≤ 0

⎫⎪⎪⎬⎪⎪⎭und die zugehörige Lagrange-Funktion L : R2 ×R3 → R mit

L(x,u) = 2x21 − x2 +

⎛⎜⎜⎝(x1 + 1)2 + x2

2 − 1−x2

1 − (x2 − 1)2 + 1

−x1 − 1

⎞⎟⎟⎠T ⎛⎜⎜⎝u1

u2

u3

⎞⎟⎟⎠ .Für die globale Lösung x = (0, 0)T liefern die KKT-Bedingungen neben der Zulässigkeit

von x

(0

−1

)+

(2 0 −10 2 0

)⎛⎜⎜⎝u1

u2

u3

⎞⎟⎟⎠ = 0,

⎛⎜⎜⎝u1

u2

u3

⎞⎟⎟⎠ ≥ 0 sowie

⎛⎜⎜⎝u1

u2

u3

⎞⎟⎟⎠T ⎛⎜⎜⎝

0

0

−1

⎞⎟⎟⎠ = 0

und somit die Lagrange-Multiplikatoren u1 = 0, u2 =12 und u3 = 0. Wegen u1 = 0 und

g1(0, 0) = 0 sind die strengen Komplementaritätsbedingungen in x nicht erfüllt, während

die Regularitätsbedingung (CQ) in x offensichtlich gilt. Angenommen, die KKT-Bedin-

gungen wären für den zulässigen Punkt x = (−1,−1)T ebenfalls erfüllbar, so müssten

Multiplikatoren u1, u2, u3 ≥ 0 existieren mit

(−4−1

)+

(0 2 −1−2 4 0

)⎛⎜⎜⎝u1

u2

u3

⎞⎟⎟⎠ = 0 sowie

⎛⎜⎜⎝u1

u2

u3

⎞⎟⎟⎠T ⎛⎜⎜⎝

0

−40

⎞⎟⎟⎠ = 0 .


Aufgrund der Komplementaritätsbedingungen würde u2 = 0 und somit(−4−1

)+

(0 −1−2 0

)(u1

u3

)= 0

für die übrigen Multiplikatoren u1 und u3 folgen. Dieses lineare Gleichungssystem besitzt

aber die eindeutige Lösung u1 = − 12 und u3 = −4, womit unsere Annahme falsch ist

und die KKT-Bedingungen für den Punkt x nicht erfüllbar sind. Offensichtlich ist x die

globale Maximalstelle von f über M (siehe auch Aufgabe 2.8). �

−1.5 −1 −0.5 0 0.5 1

−1

−0.5

0

0.5

1

x1

x2

3

3

3

3

3

2

2

2

2

2

2

1

1

1

1

1

1

0.5

0.5

0.5

0.5

0.5

0

0

0

0

−0.5

−0.5

−1∇g1(x)/2

∇g2(x)/2M

K(x)

x

−∇f(x)/2

Abb. 2.5 Zulässiger Bereich M und Linearisierungskegel K(x) für Beispiel 2.21, strenge Kom-plementaritätsbedingungen in x nicht erfüllt

Gilt in einer lokalen Lösung des Optimierungsproblems(P≤=

)die Regularitätsbedingung

(CQ), so sind nach dem folgenden zentralen Satz von Karush, Kuhn und Tucker die

KKT-Bedingungen immer erfüllt. Für Optimierungsprobleme ohne Nebenbedingungen

reduzieren sich die KKT-Bedingungen auf die Forderung ∇f(x) = 0, also auf die be-

kannte notwendige Bedingung 1. Ordnung für diese Problemstellungen. Der Satz 2.22

verallgemeinert die Aussage des Satzes 2.2 und liefert ein notwendiges Optimalitätskri-

terium 1. Ordnung für Problemstellungen der Form(P≤=

).

Satz 2.22 (Satz von Karush, Kuhn und Tucker)

Ist x eine lokale Lösung des Optimierungsproblems(P≤=

)und ist in x die Regularitäts-

bedingung (CQ) erfüllt, dann existieren Multiplikatoren u ∈ Rm und v ∈ Rp derart,dass (x, u, v) ein KKT-Punkt von

(P≤=

)ist.


Beweis: Ist x ∈M eine lokale Lösung des Optimierungsproblems(P≤=

), so folgt wegen

(CQ) mit Satz 2.10

−∇f(x)Td ≤ 0

für alle d ∈ T (M, x) = K(x). Offensichtlich gilt

K(x) =

⎧⎪⎪⎨⎪⎪⎩y ∈ Rn

∣∣∣∣∣∣∣∣∇gi(x)Ty ≤ 0 ∀i ∈ I(x),∇hj(x)Ty ≤ 0 ∀j ∈ {1, · · · , p},−∇hj(x)Ty ≤ 0 ∀j ∈ {1, · · · , p}

⎫⎪⎪⎬⎪⎪⎭ .Nach dem Satz von Farkas existieren somit für i ∈ I(x) und j ∈ {1, · · · , p} Multiplika-toren ui, v

+j , v

−j ≥ 0 mit

−∇f(x) =∑i∈I(x)

ui∇gi(x) +∑

j∈{1,··· ,p}v+j ∇hj(x)−

∑j∈{1,··· ,p}

v−j ∇hj(x) .

Mit ui := 0 für alle i ∈ {1, 2, · · · ,m} \ I(x) und vj := v+j − v−j für alle j ∈ {1, · · · , p}folgt die Behauptung des Satzes nun unmittelbar. �

Das Beispiel 2.17 zeigt, dass in einer lokalen Lösung eines Optimierungsproblemes der

Form(P≤=

)die KKT-Bedingungen nicht erfüllt sein müssen, wenn dort die Reguläritäts-

bedingung (CQ) verletzt ist.

Unter konvexen Optimierungsproblemen verstehen wir im Weiteren Problemstellungen

der Form(P f,≤ konv.= aff.−l.

)MIN{f(x)| x ∈M} mit M = {x ∈ Rn| G(x) ≤ 0, H(x) = 0}

mit f konvex über M , gi konvex über M für alle i ∈ {1, · · · ,m} und hj affin-linear füralle j ∈ {1, · · · , p}.

Lemma 2.23

Es seien G : Rn → Rm, H : Rn → Rp und M = {x ∈ Rn| G(x) ≤ 0, H(x) =

0}. Sind alle Koordinatenfunktionen gi mit i ∈ {1, · · · ,m} konvex über M und alle

Koordinatenfunktionen hj mit j ∈ {1, · · · , p} affin-linear, dann ist die Menge M konvex.

Beweis: Es seien x,y ∈ M und λ ∈ [0, 1]. Somit gilt gi(x) ≤ 0 und gi(y) ≤ 0 für alle

i ∈ {1, · · · ,m} bzw. hj(x) = 0 und hj(y) = 0 für alle j ∈ {1, · · · , p}. Aufgrund der

Konvexität der Funktionen gi gilt

gi(λx+ [1− λ]y) ≤ λgi(x) + [1− λ]gi(y) ≤ 0


für alle i ∈ {1, · · · ,m}. Da die Funktionen hj nach Voraussetzung affin-linear und somitsowohl konvex als auch konkav sind (siehe Aufgabe 1.8), gilt weiterhin

hj(λx+ [1 − λ]y) = λhj(x) + [1 − λ]hj(y) = 0

für alle j ∈ {1, · · · , p} und damit λx+ [1− λ]y ∈M . �

Für konvexe Optimierungsprobleme ist nach Satz 1.74 (a) und Lemma 2.23 jede lo-

kale Lösung auch eine globale Lösung, und wir können kurz von einer Lösung sprechen.

Weiterhin stellen für Probleme der Form(P f,≤ konv.= aff.−l.

)die KKT-Bedingungen (ohne

zusätzliche Regularitätsbedingung) ein hinreichendes Optimalitätskriterium dar.

Satz 2.24

Ist (x, u, v) ∈ Rn × Rm × Rp ein KKT-Punkt des konvexen Optimierungsproblems(P f,≤ konv.= aff.−l.

), dann ist x eine Lösung von

(P f,≤ konv.= aff.−l.

).

Beweis: Nach Lemma 2.23 ist der zulässige Bereich M des Optimierungsproblems(P f,≤ konv.= aff.−l.

)eine konvexe Menge. Es sei x ∈ M ein beliebiger zulässiger Punkt. Mit

Satz 1.68 (a), angewandt sowohl auf die Funktion f als auch auf die Funktionen gi, folgt

f(x)− f(x) ≥ ∇f(x)T (x− x)

und

0 ≥ gi(x) = gi(x)− gi(x) ≥ ∇gi(x)T (x− x)

für alle i ∈ I(x). Weiterhin gilt mit hj(x) = cTj x+ a

0 = hj(x)− hj(x) = cTj (x− x)

für alle j ∈ {1, · · · , p}. Aufgrund der KKT-Bedingungen folgt somit

f(x)− f(x) ≥ ∇f(x)T (x− x)

= −∑i∈I(x)

ui∇gi(x)T (x− x)−p∑j=1

vjcTj (x− x)

≥ −∑i∈I(x)

uigi(x)

≥ 0 ,

womit x wegen G(x) ≤ 0 und H(x) = 0 eine Lösung von(P f,≤ konv.= aff.−l.

)ist. �

Im Allgemeinen ist die Gültigkeit der Regularitätsbedingung (CQ) nur schwer zu über-

prüfen. Es gibt jedoch eine Vielzahl von (Regularitäts-)Bedingungen, die die Regulari-

tätsbedingung (CQ) implizieren und leichter zu verifizieren sind (siehe beispielsweise

Elster et al. (1977)) Wir wollen an dieser Stelle auf zwei wichtige Regularitätsbedingun-

gen etwas näher eingehen.


Definition 2.25


)erfüllt die MFCQ-Regularitäts-

bedingung (engl.: Mangasarian-Fromovitz constraint qualification, kurz (MFCQ)), wenn

die beiden folgenden Bedingungen erfüllt sind:

(a) Die Gradienten ∇hj(x) mit j ∈ {1, · · · , p} sind linear unabhängig.

(b) K0(x) :=

{y ∈ Rn

∣∣∣∣∣ ∇gi(x)Ty < 0 ∀i ∈ I(x),∇hj(x)Ty = 0 ∀j ∈ {1, · · · , p}

}ist nichtleer.

Der folgende Satz zeigt, dass die Regularitätsbedingung (MFCQ) die Regularitätsbe-

dingung (CQ) impliziert.

Satz 2.26

Ist x ein zulässiger Punkt des Optimierungsproblems(P≤=

)und ist in x die Regulari-

tätsbedingung (MFCQ) erfüllt, dann gilt in x auch die Regularitätsbedingung (CQ).

Beweis: Mit Lemma 2.15 genügt es zu zeigen, dass die Regularitätsbedingung (MFCQ)

K(x) ⊂ T (M, x)

impliziert. Somit gelte (MFCQ), und es seien d ∈ K(x) sowie d0 ∈ K0(x). Für δ > 0

betrachten wir den Vektor

d(δ) := d+ δd0

mit

∇gi(x)Td(δ) = ∇gi(x)T (d+ δd0) = ∇gi(x)Td+ δ∇gi(x)Td0 < 0

und

∇hj(x)Td(δ) = ∇hj(x)T (d+ δd0) = ∇hj(x)Td+ δ∇hj(x)Td0 = 0

für alle i ∈ I(x) und alle j ∈ {1, · · · , p}.Weiterhin definieren wir zunächst eine Abbildung F : R×Rp → Rp mit

F (t,y) := H(x + td(δ) +H′(x)Ty) und H ′(x) = (∇h1(x), · · · ,∇hp(x))T ∈ R(p,n) .

Offensichtlich gilt F (0,0) = 0 sowie Fy(0,0) = H′(x)H ′(x)T ∈ R(p,p). Wegen der voraus-

gesetzten linearen Unabhängigkeit der Gradienten ∇hj(x) folgt detFy(0,0) �= 0. Nach

dem Satz über implizite Funktionen existieren somit ein εH > 0 und eine Funktion

ϕ ∈ C1((−εH , εH),Rp) mit

ϕ(0) = 0 und F (t, ϕ(t)) = 0 sowie ϕ′(t) = −Fy(t, ϕ(t))−1Ft(t, ϕ(t))


für alle t ∈ (−εH , εH). Folglich ist

ϕ′(0) = −Fy(0,0)−1Ft(0,0) = −Fy(0,0)−1H ′(x)d(δ) = −Fy(0,0)−10 = 0

wegen ∇hj(x)Td(δ) = 0 für alle j ∈ {1, · · · , p}.Wir definieren nun die Abbildung x : (−εH , εH) ⊂ R → Rn mit

x(t) = x+ td(δ) +H ′(x)Tϕ(t) und x′(t) = d(δ) +H′(x)Tϕ′(t) .

Offensichtlich gilt

x(0) = x, x′(0) = d(δ) sowie H(x(t)) = H(x + td(δ) +H′(x)Tϕ(t)) = F (t, ϕ(t)) = 0

für alle t ∈ (−εH , εH). Wegen G ∈ C1(Rn,Rm) folgt auch gi(x(t)) < 0 für alle

i ∈ {1, · · · ,m} \ I(x) und alle hinreichend kleinen t ∈ (−εH , εH). Für ein i ∈ I(x) defi-nieren wir die Hilfsfunktion ξi : R → R mit ξi(t) = gi(x(t)) und ξ′i(t) = ∇gi(x(t))Tx′(t).Somit gilt ξ′i(0) = ∇gi(x)Td(δ) < 0 und folglich auch gi(x(t)) < 0 für alle i ∈ I(x)und alle t ∈ (0, εH) hinreichend klein. Damit existiert aber ein ε > 0 mit G(x(t)) ≤0 und H(x(t)) = 0 für alle t ∈ [0, ε). Wählen wir nun zwei Folgen {tk}k∈N ⊂ R und

{xk}k∈N ⊂ Rn mit limk→∞tk = 0 sowie tk ∈ (0, ε) und xk := x(tk) für alle k, dann folgt

sofort limk→∞xk = x(0) = x sowie {xk}k∈N ⊂ M . Wegen x′(0) = d(δ) gilt weiterhin

xky−→ x mit y = d(δ)

‖d(δ)‖ und somit d(δ) ∈ T (M, x). Schließlich folgt mit limδ→0d(δ) = d

und Lemma 2.9 nun unmittelbar d ∈ T (M, x). �

Die Umkehrung von Satz 2.26 gilt i. Allg. nicht, wie das Beispiel 2.19 zeigt.

Definition 2.27


)erfüllt die LICQ-Regularitäts-

bedingung (engl.: linear independence constraint qualification, kurz (LICQ)), wenn die

Gradienten ∇gi(x) und ∇hj(x) mit i ∈ I(x) und j ∈ {1, · · · , p} linear unabhängig sind.

Der folgende Satz zeigt, dass die Regularitätsbedingung (LICQ) die Regularitätsbe-

dingung (MFCQ) und damit nach Satz 2.26 auch die Regularitätsbedingung (CQ)

impliziert.

Satz 2.28

Ist x ein zulässiger Punkt des Optimierungsproblems(P≤=

)und ist in x die Regularitäts-

bedingung (LICQ) erfüllt, dann gilt in x auch die Regularitätsbedingung (MFCQ).

Beweis: Ist in x die Regularitätsbedingung (LICQ) erfüllt, dann ist trivialerweise

auch Teil (a) der Definition von (MFCQ) gegeben. Nun seien m := |I(x)| + p undA ∈ R(m,n) eine Matrix, wobei die ersten |I(x)| Zeilen gleich den transponierten Gra-dienten ∇gi(x)T mit i ∈ I(x) sowie die folgenden p Zeilen gleich den transponierten


Gradienten ∇hj(x)T mit j ∈ {1, · · · , p} seien. Ferner sei b ∈ Rn ein Vektor, wobei

bk = −1 für k = 1, · · · , |I(x)| und bk = 0 für k = |I(x)|+ 1, · · · , |I(x)| + p gelten möge.Wegen der (LICQ)-Bedingung gilt rangA = m ≤ n, und das inhomogene lineare Glei-chungssystem Az = b besitzt mindestens eine Lösung d ∈ Rn, für welche offensichtlichd ∈ K0(x) gilt. �

Auch die Umkehrung von Satz 2.28 gilt i. Allg. nicht, wie das folgende Beispiel zeigt.

Beispiel 2.29


MIN

{f(x) = (x1 − 1)2 + (x2 + 1)2

∣∣∣∣∣ g1(x1, x2) = (x1 − 1)3 − x2 ≤ 0

g2(x1, x2) = −x2 ≤ 0

}

mit der globalen Lösung x = (1, 0)T und ∇f(x) = (0, 2)T , ∇g1(x) = (0,−1)T , ∇g2(x) =(0,−1)T sowie I(x) = {1, 2}. Offensichtlich ist in x die Regularitätsbedingung (LICQ)nicht erfüllt, die Regularitätsbedingung (MFCQ) wegen K0(x) =

{y ∈ R2 | y2 > 0

}�=

∅ dagegen schon. �

0 1 2−1.5

−1

−0.5

0

0.5

1

1.5

x1

x2

0.02

0.06

0.06

0.3

0.3

0.3

0.5

0.5

0.5

1

1

1

1

2

2

22

2

3

33

34

44

4

5

5 5

5M

x

∇g1(x)/2 = ∇g2(x)/2

g1(x) = 0

g2(x) = 0

x + K0(x)

∇f(x)/2

Abb. 2.6 Zulässiger Bereich M und K0(x) für Beispiel 2.29, (MFCQ) in x erfüllt, (LICQ)in x nicht erfüllt

Wir bemerken, dass für einen KKT-Punkt (x, u, v) des Optimierungsproblems(P≤=

),

in dem die Regularitätsbedingung (LICQ) erfüllt ist, die zugehörigen Lagrange-

Multiplikatoren eindeutig bestimmt sind (siehe Aufgabe 2.12). Eine entsprechende Aus-

sage gilt offensichtlich nicht, wenn in x nur die Regularitätsbedingung (MFCQ) erfüllt

ist (siehe ebenfalls Beispiel 2.29).


Wir wollen nun in Analogie zu unserer bisherigen Vorgehensweise Optimalitätskriteri-

en 2. Ordnung für Probleme der Form(P≤=

)formulieren und definieren dazu für einen

KKT-Punkt (x, u, v) ∈ Rn ×Rm ×Rp

I+(x) :={i ∈ I(x) | ui > 0

}, I0(x) :=

{i ∈ I(x) | ui = 0

}sowie

K+(x) :=

⎧⎪⎪⎨⎪⎪⎩y ∈ Rn

∣∣∣∣∣∣∣∣∇gi(x)Ty ≤ 0 ∀i ∈ I0(x) ,∇gi(x)Ty = 0 ∀i ∈ I+(x) ,∇hj(x)Ty = 0 ∀j ∈ {1, · · · , p}

⎫⎪⎪⎬⎪⎪⎭ .Offensichtlich gilt I(x) = I+(x) ∪ I0(x) und K+(x) ⊂ K(x).


Es seien f ∈ C2(Rn,R), G ∈ C2(Rn,Rm) und H ∈ C2(Rn,Rp). Ist x eine lokale Lösungvon

(P≤=

), in der die Regularitätsbedingung (LICQ) erfüllt ist, und (x, u, v) ∈ Rn ×

Rm ×Rp ein zugehöriger KKT-Punkt, dann gilt

dT∇2xL(x, u, v)d ≥ 0

für alle d ∈ K+(x).

Beweis: Es sei

M+ :=

⎧⎪⎪⎨⎪⎪⎩x ∈ Rn

∣∣∣∣∣∣∣∣gi(x) ≤ 0 ∀i ∈ I0(x) ,gi(x) = 0 ∀i ∈ I+(x) ,hj(x) = 0 ∀j ∈ {1, · · · , p}

⎫⎪⎪⎬⎪⎪⎭ ⊂M .

Offensichtlich gilt x ∈M+ und aufgrund der Komplementaritätsbedingungen

L(z, u, v) = f(z) für alle z ∈M+ .

Da x eine lokale Lösung von(P≤=

)(und damit trivialerweise auch eine lokale Minimalstel-

le von f überM+) ist, und da (x, u, v) ein KKT-Punkt ist, folgt∇xL(x, u, v) = ∇f(x) =0 und mit Satz 2.12 dT∇2

xL(x, u, v)d = dT∇2f(x)d ≥ 0 für alle d ∈ T (M+, x) ⊂T (M, x). Betrachten wir das Optimierungsproblems

(P≤=

)eingeschränkt auf den zuläs-

sigen Bereich M+ ⊂ M , so ist offensichtlich K+(x) der linearisierende Kegel in x an

die Menge M+. Mit Lemma 2.15 sowie den Sätzen 2.26 und 2.28 (jeweils angewandt auf

die eingeschränkte Problemstellung) folgt T (M+, x) = K+(x), womit die Aussage des

Satzes bewiesen ist. �

Die Aussage des Satzes 2.30 bleibt offensichtlich erhalten, wenn wir anstelle der Re-

gularitätsbedingung (LICQ) für x bzgl. des ursprünglichen Problems(P≤=

)lediglich die

Regularitätsbedingung (MFCQ) für x bzgl. des auf den zulässigen Bereich M+ ⊂ Meingeschränkten Problems voraussetzen.


Beispiel 2.31

Wir betrachten das Optimierungsproblem (Problem Nr. 103, a = 0 (Koeff. von x21))

MIN

⎧⎪⎪⎨⎪⎪⎩f(x) = −x2

∣∣∣∣∣∣∣∣g1(x1, x2) = −x2

1 − (x2 − 1)2 + 1 ≤ 0

g2(x1, x2) = (x1 + 1)2 + x22 − 1 ≤ 0

g3(x1, x2) = −x1 − 1 ≤ 0

⎫⎪⎪⎬⎪⎪⎭mit dem zulässigen Punkt x = (0, 0)T und ∇f(x) = (0,−1)T , ∇g1(x) = (0, 2)T ,

∇g2(x) = (2, 0)T , ∇g3(x) = (−1, 0)T sowie I(x) = {1, 2}. Offensichtlich sind in x

die Regularitätsbedingung (LICQ) und die notwendige Bedingung 1. Ordnung aus Satz

2.22 mit den (eindeutigen) Lagrange-Multiplikatoren u = (u1, u2, u3)T = ( 12, 0, 0)T er-

füllt. Somit gilt I0(x) = {2}, I+(x) = {1}, K+(x) ={d ∈ R2 | d1 ≤ 0, d2 = 0

}�= ∅

sowie

∇2xL(x, u) =

(−1 0

0 −1

),

womit die notwendige Bedingung 2. Ordnung aus Satz 2.30 in x nicht erfüllt und x

somit keine lokale Minimalstelle des Optimierungsproblems ist. In der rechten Abbildung

erkennt man, dass x eine globale Maximalstelle der Lagrange-Funktion L in x für festes

u = ( 12 , 0, 0)

T ist. �

−1.5 −1 −0.5 0 0.5 1

−1

−0.5

0

0.5

1

x1

x2

Höhenlinien der Zielfunktion

1 1 1 1

0.5 0.5 0.5

0 0 0 0

−0.5 −0.5 −0.5

−1 −1 −1

x

−∇f(x)/2

globalesMaximum

stationärerPunkt

∇g2(x)/2

globalesMinimum

M

K(x)

∇g1(x)/2

−1.5 −1 −0.5 0 0.5 1

−1

−0.5

0

0.5

1

x1

x2 −0.01

−0.05

−0.05

−0.1

−0.1

−0.1

−0.3−0.3

−0.3

−0.3

−0.3

−0.5

−0.5

−0.5

−0.5

−0.5

−0.5

−0.5

−0.8

−0.8

−0.8

−0.8

−0.8

−0.8

−0.8

−0.8

−1

−1

−1

−1

−1

−1.5

−1.5

Höhenlinien der Lagrange−Funktion in x

L(x, u) konkav in x

x = argmaxxL(x, u)

K+(x)

d

Abb. 2.7 Zielfunktion und Lagrange-Funktion für Beispiel 2.31, notwendige Bedingung 1. Ord-nung in x erfüllt, notwendige Bedingung 2. Ordnung in x nicht erfüllt



Es seien f ∈ C2(Rn,R), G ∈ C2(Rn,Rm), H ∈ C2(Rn,Rp) und (x, u, v) ∈ Rn×Rm×Rp

ein KKT-Punkt von(P≤=

). Gilt

dT∇2xL(x, u, v)d > 0

für alle d ∈ K+(x) \ {0}, dann ist x eine strenge lokale Minimalstelle von f über M =

{x ∈ Rn | G(x) ≤ 0, H(x) = 0}.

Beweis: Mit K+(x) = K(x) ∩{d ∈ Rn

∣∣∣ ∇gi(x)Td = 0 ∀i ∈ I+(x)}und T (M, x) ⊂

K(x) nach Lemma 2.15 folgt

M := T (M, x) ∩{d ∈ Rn

∣∣∣ ∇gi(x)Td = 0 ∀i ∈ I+(x)}⊂ K+(x)

und somit nach Voraussetzung dT∇2xL(x, u)d > 0 für alle d ∈ M \{0}. Angenommen, x

ist keine strenge lokale Minimalstelle von f über M , dann existieren analog der Beweis-

führung von Satz 2.13 eine Folge {xk}k∈N ⊂M und ein z ∈ T (M, x) \ {0} mit xk z−→ xund f(xk)− f(x) ≤ 0 für alle k. Hiermit folgt

0 ≥ limk→∞

f(xk)− f(x)‖xk − x‖ = lim

k→∞∇f(x)T (xk − x) + o(‖xk − x‖)

‖xk − x‖ = ∇f(x)Tz .

Wegen gi(xk) ≤ 0 für alle i ∈ {1, · · · ,m} und gi(x) = 0 für alle i ∈ I(x) bzw. hj(xk) =hj(x) = 0 für alle j ∈ {1, · · · ,m} folgt analog

∇gi(x)Tz ≤ 0 bzw. ∇hj(x)Tz = 0

für alle i ∈ I(x) bzw. für alle j ∈ {1, · · · ,m} und weiterhin

L(xk, u, v)− L(x, u, v) = f(xk)− f(x) +∑i∈I(x)

uigi(xk) ≤ 0 .

Da (x, u, v) nach Voraussetzung ein KKT-Punkt von(P≤=

)ist, gilt ∇xL(x, u, v) = 0,

und es folgt

0 ≥ limk→∞

L(xk, u, v)− L(x, u, v)‖xk − x‖2

= limk→∞

12 (xk − x)T∇2

xL(x, u, v)(xk − x) + o(‖xk − x‖2)

‖xk − x‖2

= 12zT∇2xL(x, u, v)z

und somit z /∈{d ∈ Rn

∣∣∣ ∇gi(x)Td = 0 ∀i ∈ I+(x)}. Damit gilt ∇gi∗(x)Tz < 0 für

mindestens ein i∗ ∈ I+(x), und es folgt

0 = ∇xL(x, u, v)Tz = ∇f(x)Tz +∑i∈I(x)

ui∇gi(x)Tz < 0 ,


womit unsere getroffene Annahme, dass x keine strenge lokale Minimalstelle von f über

M sei, zum Widerpruch geführt und damit falsch ist. �

Wir möchten auch hier bemerken, dass nach dem aufgeführten Beweis die Aussage

des Satzes 2.32 offensichtlich erhalten bleibt, wenn wir dT∇2xL(x, u, v)d > 0 lediglich

für alle d ∈ M \ {0} fordern.Für Optimierungsprobleme ohne Nebenbedingungen liefern die notwendige Bedingung

aus Satz 2.30 bzw. die hinreichende Bedingung aus Satz 2.32 offensichtlich die bekannten

Optimaltitätsbedingungen für diese Problemstellungen (vgl. Satz 2.4 bzw. Satz 2.5).

2.3 Übungsaufgaben zu Kapitel 2

Aufgabe 2.1

Zeigen Sie, dass das in Satz 2.2 formulierte Optimalitätskriterium 1. Ordnung auch not-

wendig für das Vorliegen einer lokalen Maximalstelle von f über D ist.

Aufgabe 2.2

Zeigen Sie, dass für die Funktion f : R2 → R mit f(x1, x2) = x21 − x4

2 an der Stelle

x∗ = (0, 0)T zwar das notwendige Optimalitätskriterium 2. Ordnung aus Satz 2.4 erfüllt

ist, x∗ aber keine lokale Minimalstelle von f über R2 ist.

Aufgabe 2.3

Zeigen Sie:


Maximalstelle von f über D, dann ist die Hesse-Matrix ∇2f(x∗) negativ semi-definit.

Aufgabe 2.4

Zeigen Sie:

Es seien D ⊂ Rn eine offene Menge, f ∈ C2(D,R), x∗ ∈ D und ∇f(x∗) = 0. Dann gilt:

(a) Ist die Hesse-Matrix ∇2f(x∗) negativ definit, dann ist x∗ eine strikte lokale Maxi-malstelle von f über D.

(b) Ist die Hesse-Matrix ∇2f(x∗) indefinit, dann ist x∗ ein strenger Sattelpunkt vonf .

Aufgabe 2.5

Klassifizieren Sie alle stationären Punkte der Funktion f aus Beispiel 2.6.

Aufgabe 2.6

Gegeben sei die Funktion f : R2 → R mit f(x1, x2) = 3x41 − 4x2

1x2 + x22.

(a) Zeigen Sie, dass x∗ = (x∗1, x∗2)T = (0, 0)T der einzige stationäre Punkt der Funktion

f ist.

2.3 Übungsaufgaben zu Kapitel 2 73

(b) Zeigen Sie, dass f längs jeder Ursprungsgeraden in x∗ eine lokale Minimalstellebesitzt.

(c) Überprüfen Sie das hinreichende Optimalitätskriterium aus Satz 2.5 für eine lokale

Minimalstelle von f in x∗.

(d) Zeigen Sie, dass x∗ keine lokale Minimalstelle der Funktion f ist.

Aufgabe 2.7

Beweisen Sie Satz 2.13.

Aufgabe 2.8

Zeigen Sie:

Es seien f ∈ C1(Rn,R), G ∈ C1(Rn,Rm), H ∈ C1(Rn,Rp) und

M = {x ∈ Rn| G(x) ≤ 0, H(x) = 0} .

Dann gilt:

Ist x eine lokale Maximalstelle von f über M und ist in x die Regularitätsbedingung

(CQ) erfüllt, dann existieren Multiplikatoren u ∈ Rm und v ∈ Rp mit

∇f(x) +∇G(x)u+∇H(x)v = 0 ,

G(x) ≤ 0 , u ≤ 0, uTG(x) = 0 und

H(x) = 0 .

Aufgabe 2.9

Zeigen Sie, dass x = (0, 0)T die eindeutige Lösung des Optimierungsproblem aus Bei-

spiel 2.16 ist.

Aufgabe 2.10

Zeigen Sie, dass x = (1, 1, 2)T die eindeutige Lösung des Optimierungsproblem

MIN

⎧⎪⎪⎪⎪⎨⎪⎪⎪⎪⎩f(x) = 3− 5x1 +

1

2

(x2

1 + x22 + x

23

)∣∣∣∣∣∣∣∣∣∣g1(x1, x2, x3) = 3x1 + 4x2 − 8 ≤ 0

g2(x1, x2, x3) = −x1 − 2x2 + 2 ≤ 0

g3(x1, x2, x3) = 2x1 − x3 ≤ 0

h(x1, x2, x3) = −2x1 + x2 + x3 − 1 = 0

⎫⎪⎪⎪⎪⎬⎪⎪⎪⎪⎭ist.


Aufgabe 2.11

Ein konvexes Optimierungsproblem der Form(P f,≤ konv.= aff.−l.

)erfüllt die Regularitätsbedin-

gung von Slater, wenn M0 := {x ∈ Rn| G(x) < 0, H(x) = 0} �= ∅ gilt. Zeigen Sie:Ist x eine Lösung des konvexen Optimierungsproblems

(P f,≤ konv.= aff.−l.

)mit stetig diffe-

renzierbaren Problemfunktionen und erfüllt(P f,≤ konv.= aff.−l.

)die Regularitätsbedingung von

Slater, dann existieren Multiplikatoren u ∈ Rm und v ∈ Rp derart, dass (x, u, v) ein

KKT-Punkt von(P f,≤ konv.= aff.−l.

)ist.

Aufgabe 2.12

Zeigen Sie:

Ist in einem KKT-Punkt (x, u, v) ∈ Rn × Rm × Rp des Optimierungsproblems(P≤=

)die Regularitätsbedingung (LICQ) erfüllt, dann sind die zugehörigen Lagrange-

Multiplikatoren eindeutig bestimmt, d. h. es existiert kein weiterer KKT-Punkt (x, u, v)

von(P≤=

)mit u �= u oder v �= v.

Aufgabe 2.13

Zeigen Sie, dass in der globalen Lösung des Optimierungsproblems aus Beispiel 2.21 das

hinreichende Optimalitätskriterium 2. Ordnung nach Satz 2.32 erfüllt ist.

Aufgabe 2.14

Bestimmen Sie die Lösung des Optimierungsproblems

MIN

{f(x) =

1

x1+

1

x2+

1

x3

∣∣∣∣ h(x1, x2, x3) = x1x2x3 − 8 = 0

}.

Aufgabe 2.15

Gegeben sei das Optimierungsproblem

MIN

⎧⎪⎪⎪⎪⎨⎪⎪⎪⎪⎩f(x) = −x2

1 + x22

∣∣∣∣∣∣∣∣∣∣g1(x1, x2) = −x1 ≤ 0

g2(x1, x2) = x1 − 1 ≤ 0

g3(x1, x2) = −x2 − 1 ≤ 0

g4(x1, x2) = x2 − 1 ≤ 0

⎫⎪⎪⎪⎪⎬⎪⎪⎪⎪⎭.

Bestimmen Sie alle KKT-Punkte und die Lösung des Optimierungsproblems.

Nichtlineare Optimierung || Optimalitätskriterien

Documents

Transcript of Nichtlineare Optimierung || Optimalitätskriterien