Optimierungsmethoden

Vorlesung im Masterstudium – Fruhjahrssemester 2015

Kapitel 1-2

Prof. Dr. Diethard Klatte

Professur Mathematik fur Okonomen

IBW Universitat Zurich

diethard.klatte@business.uzh.ch

Version 26. Januar 20151

Inhalt der Vorlesungen und Ubungen

Behandelt werden in erster Linie die methodischen Aspekte (Theorie und

Losungsverfahren), einzelnen okonomisch relevanten Anwendungen ist ein

Selbststudienprojekt gewidmet.

Kapitel 1-3 (Prof. Klatte)

Grundlagen und Methoden der linearen und nichtlinearen Optimierung

sowie Komplementaritats- und Gleichgewichtsprobleme werden mit einem

einheitlichen Zugang behandelt.

Kapitel 4 (Dr. Butikofer)

Ausgewahlte Losungsverfahren der nichtlinearen Optimierung,

Einfuhrung in relevante Software, vor allem in das algebraische Model-

lierungssystem GAMS.

2

Empfohlene Literatur (Auswahl)

1. Kall: Mathematische Methoden des Operations Research, Teubner (1976)

2. Alt: Nichtlineare Optimierung, Vieweg (2002)

3. Alt: Numerische Verfahren der konvexen, nichtglatten Optimierung, Teubner (2004)

4. Jarre, Stoer: Optimierung, Springer (2004)

5. Geiger, Kanzow: Numerische Verfahren zur Losung unrestringierterOptimierungsaufgaben, Springer (1999)

6. Geiger, Kanzow: Theorie und Numerik restringierter Optimierungsaufgaben,Springer (1999)

7. Gerdts, Lempio: Mathematische Optimierungsverfahren des OR, de Gruyter (2011)

8. Kall: Analysis fur Okonomen, Teubner (1982)

9. Ruszczynski: Nonlinear Optimization, Princeton University Press (2006)

10. Nocedal, Wright: Numerical Optimization, Springer (1999)

11. Stoer, Witzgall: Convexity and Optimization I, Springer (1970)

12. Bank, Guddat, Klatte, Kummer, Tammer: Non-Linear Parametric Optimization,Akademie-Verlag und Birkhauser (1982)

13. van Tiel: Convex Analysis, Wiley (1984)

14. Stein: Bi-Level Strategies in Semi-Infinite Programming, Kluwer (2003)

3

Gliederung Kapitel 1-3

Einfuhrung

1. Grundlagen der Optimierung: konvexe Funktionen und Mengen, Tren-

nungssatze, Lemma von Farkas, Grundlagen der linearen Optimierung.

2. Nichtlineare Optimierung: Lagrange-Methode, Karush-Kuhn-Tucker

(KKT)-Theorie, konvexe Aufgaben mit und ohne Differenzierbarkeit

der Daten, hinreichende Optimalitatsbedingungen 2. Ordnung.

3. Spezielle Kapitel der Optimierung und Anwendungen: KKT-Theorie

und Dualitat in der linearen Optimierung, KKT-Theorie fur Nash-

Gleichgewichte, Optimierung mit mehreren Zielfunktionen, Einhullen-

densatze, robuste Optimierung.

Der Autor dankt herzlich Herrn Prof. Dr. Bernd Kummer, Humboldt-Universitat zu

Berlin, fur das Uberlassen von Vorlesungsunterlagen.

4

Einfuhrung

Einfuhrungsbeispiel No. 1 (Produktionsproblem).

Bei der Herstellung von m Gutern mit Hilfe von n Produktionsfaktorenwerde diejenige Faktormengenkombination x = (x1, . . . , xn) ∈ Rn gesucht ,die die

(konvexe) Kostenfunktion f(x)

unter den folgenden Produktionsnebenbedingungen minimiert :

(Outputs) gi(x) ≥ bi (Nachfrage), i = 1, . . . ,m ,

wobei gi : Rn → R konkave Funktionen seien. Mit anderen Worten:Bestimme den kostenminimalen Faktoreinsatz fur die Produktion desGuterbundels b = (b1, . . . , bm).

Das ist ein typisches Modell der konvexen Optimierung: Minimiere einekonvexe Funktion uber einem konvexen Restriktionsbereich. Sind dieFunktionen f und gi sogar (affin-)linear, liegt ein Modell der linearenOptimierung vor.

5

Einfuhrungsbeispiel No. 2 (Einhullendensatz)

Betrachtet wird eine Firma, die ein Produkt auf dem Markt verkauft, beidessen Herstellung ein gewisser Ausschuss unvermeidbar ist. Die Firmawill den Output y > 0 dieses Produkts derart bestimmen, dass ihr Gewinn

Π(y, r) = p · (ry) − C(y)

maximal wird, wobei der Marktpreis p > 0, eine Kostenfunktion C gegebensind und die Ausschussquote 1− r ∈]0,1[ als Qualitatsparameter angese-hen wird. Alle Daten seien differenzierbar.

So entsteht eine parametrische Optimierungsaufgabe

Maximiere Π(y, r) bezuglich y bei gegebenem r ∈]0,1[ihre Optimalwertfunktion ist

π(r) = maxy Π(y, r), 0 < r < 1.

Wie kann man effizient die optimalen Grenzkosten π′(r) berechnen?

Antwort: Einhullendensatz.6

Einfuhrungsbeispiel No. 3: Robuste Portfolio-Optimierung

Wir wollen 1 CHF investieren in ein Portfolio P aus K Anlagen. Seienzi > 0, i = 1, ...,K, die Renditen (am Ende einer Periode).

Zu bestimmen ist eine Aufteilung x = (x1, . . . , xK) der Anlagen in P, dieden Wert zTx von P am Ende der Periode maximiert – unter gewissenzusatzlichen Restriktionen x ∈ X (Risikoschranken, Kostenrestriktionen,Schranken fur die xi usw.).

In der robusten Modellierung (Ben-Tal/Nemirovski 1999, Stein 2003)setzt man gewisse Daten (z.B. die Renditen zi) als unsicher an, z.B.

Z =

z ∈ RK

∣∣∣∣∣∣K∑i=1

(zi − zi)2

σ2i≤ θ

(”Unsicherheitsmenge”)

mit gegebenen positiven Konstanten zi, σi und θ (Interpretation als Massder Risikoaversion), was ein semi-infinites Problem ergibt:

max(x,y)

{y | y − zTx ≤ 0 ∀z ∈ Z,∑K

i=1xi = 1, x ∈ X}. (1)

7

Fordern wir X ⊂ Rn+ (keine Leerverkaufe) sowie ”X abgeschlossen”, dann

ist der Restriktionsbereich

M := {(x, y) | y − zTx ≤ 0 ∀z ∈ Z,∑K

i=1xi = 1, x ∈ X}

abgeschlossen und beschrankt, allerdings kann er leer sein. Ist allerdings

M nicht leer, so wird das Maximum angenommen (Warum?).

Verallgemeinerung:

Ist x der Losungsvektor von (1), so kann man annehmen, dass die Risikoaver-

sion des Anlegers grosser wird,

wenn die Anteile xi von xi abweichen,

und man setzt die Unsicherheitsmenge an als

Z(x) =

z ∈ RK

∣∣∣∣∣∣K∑i=1

(zi − zi)2

σ2i≤ θ(1 + ∥x− x∥)

,

womit aus (1) ein verallgemeinertes SIP wird (setze Z ← Z(x)).

8

1. Grundlagen der Optimierung

1.1 Konvexe Mengen

1.1.1 Mengen im Rn: Wichtige Begriffe und Zusammenhange

Eine Menge M ⊂ Rn heisst konvex , wenn aus x, y ∈ M folgt, dass auch

alle Punkte z = λx+ (1− λ)y mit 0 < λ < 1 (Strecke zwischen x und y)

aus M sind.

Eine Menge M ⊂ Rn heisst Kegel , wenn aus x ∈ M folgt, dass auch alle

Punkte z = λx mit λ ≥ 0 (Strahl durch 0 und x) aus M sind. Ein Kegel,

der konvex ist, heisst konvexer Kegel .

Offenbar ( Ubung! ) ist der Durchschnitt beliebig vieler konvexer Mengen

wieder konvex. Ebenso ist der Durchschnitt beliebig vieler Kegel ein

Kegel.

9

Es folgt fur konvexes M (Induktion)

z :=m∑

i=1

λi xi ∈M sofern xi ∈M, λi ≥ 0 undm∑

i=1

λi = 1.

Fur A ⊂ Rn bezeichnet convA die konvexe Hulle von A. Sie ist die

kleinste 1) konvexe Menge M mit A ⊂M 2), und es gilt

z ∈ convA ⇔∃m, ∃λ1, . . . , λm ≥ 0, ∃a1, . . . , am ∈ A :∑m

i=1 λi = 1 und z =∑m

i=1 λiai.

(2)

1) kleinste im Sinne der Inklusion A ⊂M

2) Bezeichnung: A ⊂M heisst im ganzen Skript, dass x ∈ A⇒ x ∈M ,

d.h., A = M ist erlaubt

10

Analog definiert man die Kegelhulle pos A von A ⊂ Rn als kleinsten kon-

vexen Kegel, der A enthalt, und es gilt

z ∈ posA ⇔∃m, ∃λ1, . . . , λm ≥ 0, ∃a1, . . . , am ∈ A :

z =∑m

i=1 λiai.

(3)

Mit affA und linA bezeichnen wir die affine bzw. lineare Hulle von

A, d.h., die kleinste lineare Mannigfaltigkeit (affiner Unterraum) bzw.

der kleinste Unterraum, der A enthalt. Die Linearkombinationen in den

Beschreibungen dieser Hullen analog zu (2), (3) sind geeignet anzupassen

(Ubung!) .

11

Ist ∥ · ∥ irgendeine Norm im Rn, so bezeichnen

B◦(x, ε) := {z ∈ Rn | ∥z − x∥ < ε} bzw. B(x, ε) := {z ∈ Rn | ∥z − x∥ ≤ ε}die offene bzw. abgeschlossene Kugel mit Radius ε > 0 um x (zu ∥ · ∥).

Sei M ⊂ Rn. Die Menge

intM := {x ∈M | ∃ε > 0 : B◦(x, ε) ⊂M}heisst das (topologisch) Innere von M .

Ferner ist

rel intM := {x ∈M | ∃ε > 0 : B◦(x, ε) ∩ affM ⊂M}das relative Innere von M , das heisst, das Innere der Menge M relativzur Mannigfaltigkeit affM . So ist z.B.

rel int {(x, y) ∈ R2 | x = 0, y ≥ 0} = {(0, y)|y > 0},aber

int {(x, y) ∈ R2 | x = 0, y ≥ 0} = ∅.

12

Weitere Eigenschaften, vgl. Mathematik III (Bachelorstudium)

Es sei weiter M ⊂ Rn.

M heisst offen , wenn M = intM ist, M heisst abgeschlossen , wenn das

Komplement von M offen ist. Analoge Definitionen gibt es fur rel intM ,

wir werden damit aber nicht arbeiten.

Die kleinste abgeschlossene Menge, die M enthalt, heisst Abschliessung

von M , Bezeichnung clM .

M ist also genau dann abgeschlossen, wenn M = clM ist. Aus der

Mathematik III ist bekannt, dass M genau dann abgeschlossen ist, wenn

aus {xk} ⊂M mit xk → x∗ folgt, dass x∗ ∈M .

13

Ubung:

Sei M eine nichtleere, konvexe Teilmenge des Rn. Zeigen Sie, dass dannauch die Mengen

intM , rel intM und clM

konvex sind.

Machen Sie sich das an selbst gewahlten Beispielen im R2 klar.

Euklidisches Skalarprodukt, euklidische Norm:

Wir verwenden fur das euklidische Skalarprodukt synonym die Schreib-weise

⟨x, y⟩ = xTy ,

die euklidische Norm ist bekanntlich definiert durch

∥x∥ =√⟨x, x⟩ .

14

Ubung:

Man zeige:

(i) Sind Xi ⊂ Rn, i ∈ I (I beliebige Indexmenge), konvexe Mengen, so ist

auch∩i∈I Xi eine konvexe Menge (ggf. leer).

(ii) Sind Xi ⊂ Rn, i ∈ I (I beliebige Indexmenge), abgeschlossene Mengen,

so ist auch∩i∈I Xi eine abgeschlossene Menge (ggf. leer).

Per definitionem betrachten wir die leere Menge als konvex und abge-

schlossen, also lassen wir zukunftig die Zusatzbemerkung ”ggf. leer”

weg.

15

Sei ∥ · ∥ irgendeine Norm im Rn, z.B. die euklidische Norm.

M ⊂ Rn heisst beschrankt , wenn es ein γ > 0 gibt, so dass

∥x∥ ≤ γ fur alle x ∈M .

M ⊂ Rn heisst kompakt , wenn M abgeschlossen und beschrankt ist.

Mathematik III: M ist genau dann kompakt, wenn jede Folge {xk} ⊂ M

einen Haufungspunkt hat, der in M liegt, d.h., wenn es eine konvergente

Teilfolge von {xk} gibt, deren Grenzwert x∗ zu M gehort. ∗

∗Man nennt den Grenzwert x∗ einer konvergenten Teilfolge von {xk} einenHaufungspunkt von {xk}.

16

Stetige Funktionen und Satz von Weierstrass

Es sei M eine nichtleere Teilmenge des Rn.

Eine Funktion f : M → R heisst stetig auf M , wenn fur jedes x0 ∈M undjede Folge {xn} ⊂M mit xn → x0 gilt

limn→∞

f(xn) = f(x0).

Extremwertsatz von Weierstrass: Sind M ⊂ Rn nichtleer und kompakt undf : M → R stetig auf M , so nimmt f auf M sowohl ihr globales Minimumals auch ihr globales Maximum an, d.h.,

es existieren Punkte x∗, x∗∗ ∈M ,so dass f(x∗) ≤ f(x) ≤ f(x∗∗) fur alle x ∈M .

(4)

Zum Beweis vgl. Mathematik III.

Unter Verwendung der Symbole argmin und argmax bedeutet (4)

argmin x∈Mf(x) = ∅ und argmax x∈Mf(x) = ∅,mit argmin x∈Mf(x) := {x∗ ∈M | f(x) ≥ f(x∗)} (analog argmax x∈Mf(x)).

17

1.1.2 Projektionssatz.

Sei ∅ = M ⊂ Rn konvex und abgeschlossen und πM(x) die Projektion von

x ∈ Rn auf M , d.h., πM(x) ∈M erfullt (mit euklidischer Norm ∥ · ∥)

∥πM(x)− x∥ ≤ ∥y − x∥ ∀y ∈M. (5)

(i) Dann ist p = πM(x) eindeutig bestimmt und erfullt

(p− x)T(y − p) ≥ 0 ∀y ∈M. (6)

(ii) Umgekehrt, erfullt p ∈M Bedingung (6), so ist πM(x) = p Losung der

Aufgabe (5).

(iii) Die Projektion πM ist nicht expansiv, d.h.

∥πM(x′)− πM(x)∥ ≤ ∥x′ − x∥. (7)

Dabei gilt fur πM(x′) = πM(x) genau dann die Gleichheit in (7), wenn

πM(x′)− πM(x) = x′ − x.

18

Beweis:

Ein Minimalpunkt p = πM(x) fur (5) existiert nach dem Extremwertsatz

von Weierstrass, weil die Norm stetig ist und es - mit irgendeinem y0 ∈M

- ausreicht, die Norm uber der kompakten Menge M∩{y|∥y−x∥ ≤ ∥y0−x∥}zu minimieren.

(i) Mit beliebigem y ∈M setze man

z(t) = p+ t(y − p), 0 < t < 1.

Dann folgt z(t) = ty + (1− t)p ∈M (Konvexitat) und

∥z(t)− x∥2 = (z(t)− x)T(z(t)− x)

= (p− x+ t(y − p))T(p− x+ t(y − p))

= ∥p− x∥2 +2t (p− x)T(y − p) + t2 ∥y − p∥2.

Wegen ∥z(t)− x∥2 ≥ ∥p− x∥2, muss deshalb (6) gelten - sonst entstunde

ein Widerspruch, da 2t (p− x)T(y − p) + t2 ∥y − p∥2 < 0 fur kleine t > 0.

19

(ii) Erfullen zwei Punkte p, p′ ∈M die Bedingung (6), erhalten wir

(p− x)T(p′ − p) ≥ 0 und (p′ − x)T(p− p′) ≥ 0

und nach Addition

(p− p′)T(p′ − p) = −∥p′ − p∥2 ≥ 0, also p = p′.

Damit gilt (6) nur fur p = πM(x), und πM(x) aus (5) muss eindeutig sein.

(iii) Man wende (6) auf beide Projektionen an:

⟨πM(x)− x, πM(x′)− πM(x)⟩ ≥ 0,

⟨πM(x′)− x′, πM(x)− πM(x′)⟩ = ⟨x′ − πM(x′), πM(x′)− πM(x)⟩ ≥ 0.

Addition und Ausmultiplizieren liefert

⟨ πM(x)− x + x′ − πM(x′) , πM(x′)− πM(x) ⟩ ≥ 0,

⟨ x′ − x, πM(x′)− πM(x) ⟩ − ∥πM(x′)− πM(x)∥2 ≥ 0.

20

Damit gilt auch bei Verwendung der Cauchy-Schwarz-Ungleichung

∥πM(x′)− πM(x)∥2 ≤ ⟨ πM(x′)− πM(x), x′ − x ⟩≤ ∥x− x′∥ ∥πM(x′)− πM(x)∥.

Division durch ∥πM(x′)− πM(x)∥ > 0 liefert Nicht-Expansivitat.

Ausserdem: Die oben gezeigte Ungleichung

∥πM(x′)− πM(x)∥2 ≤ ∥x− x′∥ ∥πM(x′)− πM(x)∥

gilt mit πM(x′) = πM(x) genau dann als Gleichung, wenn

πM(x′)− πM(x) = x′ − x,

also ∥πM(x′)− πM(x)∥ = ∥x− x′∥ ⇔ πM(x′)− πM(x) = x′ − x.

q.e.d.

21

1.1.3 Trennungssatz 1.

Sei ∅ = M ⊂ Rn konvex, abgeschlossen und x /∈ M . Dann existiert ein

u ∈ Rn \ {0} mit

uTx < uTy ∀y ∈M.

Beweis: Es sei p die Projektion von x auf M (Projektionssatz) und

u = p− x.

Dann ist

uT(y − x)= uT(y − p+ p− x)= uT(y − p+ u)= uT(y − p)︸ ︷︷ ︸

≥ 0nach (6)

+∥u∥2 > 0 ∀y ∈M.

q.e.d.

22

1.1.4 Trennungssatz 2.

Es sei ∅ = M ⊂ Rn konvex, abgeschlossen und x /∈ intM . Dann gibt esein u ∈ Rn \ {0}, so dass gilt

uTx ≤ uTy ∀y ∈M.

Beweis: Da x /∈ intM , gibt es Punkte

xk → x (k →∞), so dass xk /∈M .

Auf diese lasst sich Trennungssatz 1 anwenden.

Sei uk ein entsprechender Vektor. O.B.d.A. gelte ∥uk∥ = 1. (Divi-sion durch die Norm). Fur eine unendliche Teilfolge konvergieren diebeschrankten uk gegen ein u mit ∥u∥ = 1. Mit jedem y ∈ M folgt sowegen

ukTxk ≤ ukTy

und Stetigkeit des Skalarprodukts auch

uTx ≤ uTy,

was zu zeigen war.

23

Bemerkung:

Ist M = ∅ nur konvex, aber nicht abgeschlossen, beweist man den Tren-

nungssatz 2 analog,

indem man x von der (konvexen) Abschliessung clM trennt, deren Inneres

x ebenfalls nicht enthalten kann.

24

1.1.5 Satz (Trennung allgemein).

Seien A und B konvexe Teilmengen des Rn, seien ferner A und intB

nichtleer sowie A ∩ intB = ∅. Dann gibt es ein u ∈ Rn \ {0}, so dass gilt

uTa ≤ uTb ∀a ∈ A, b ∈ B.

Beweis: Man bilde die (wiederum konvexe) Menge

M = {x | x = b− a, a ∈ A, b ∈ B}.

Man kann dann zeigen, dass 0 /∈ intM ist. Trennung von 0 und M liefert

die Behauptung, man benutze dazu Trennungssatz 2 (und die Bemerkung

dort). q.e.d.

25

1.1.6 Satz von Caratheodory.

Fur jede Teilmenge A ⊂ Rn gilt die Darstellung (2) bereits mit m ≤ n+1,und es gilt (3) bereits mit m ≤ n.

Beweis. Wir fuhren den Beweis fur die konvexe Hulle, der Beweis fur dieKegelhulle∗ geht analog.

Man schreibe z ∈ convA mit einer minimalen Anzahl m von Elementenai ∈ A, i = 1, ...,m, als Konvexkombination:

z =m∑

i=1

λiai mit λi > 0,

m∑i=1

λi = 1. (8)

Wenn m > n+1 gilt, so sind die m−1 Vektoren ai−a1, i = 2, ...,m, linearabhangig, also existiert ein

(r2, . . . , rm) = 0, so dass 0 =m∑

i=2

ri(ai − a1). (9)

∗Man argumentiere direkt mit {a1, . . . , am} statt mit {a2 − a1, . . . , am − a1}

26

Setzt man r1 = −m∑

i=2ri, folgt

m∑i=1

ri = 0 sowie wegen (9)

m∑i=1

riai = r1a

1 +m∑

i=2

riai = −

m∑i=2

ria1 +

m∑i=2

riai = 0.

Mit beliebigem t ∈ R gilt daher wegen (8)

z =m∑

i=1

(λi + tri)ai,

m∑i=1

(λi + tri) = 1.

Andererseits kann man ein t = t wegen r = (r1, . . . , rm) = 0 und λi > 0

(fur alle i) so wahlen, dass

(λi + tri) ≥ 0 ∀i und λi0 + tri0 = 0 fur wenigstens ein i0

gilt.

Die Darstellung (8) war also nicht minimal, ein Widerspruch. q.e.d.

27

Ubung: Damit ist convA kompakt, wenn A ⊂ Rn kompakt ist. Wieso ?

Idee:

• convA ist beschrankt: Wenn A kompakt ist, ist A insbesondere be-schrankt, d.h., es gibt ein γ > 0 so dass

A ⊂ {x |∥x∥ ≤ γ} = B(0, γ) (konvexe Kugel!),

folglich ist convA ⊂ B(0, γ) als kleinste konvexe Menge, die A umfasst.

• convA ist abgeschlossen: Jede Folge {xk} ⊂ convA, die gegen irgend-ein x∗ konvergiert, hat stets die Darstellung als endliche Summe

xk =n+1∑i=1

λki aki mit aki ∈ A, λki ≥ 0,

n+1∑i=1

λki = 1. (10)

Sowohl A als auch Λ := {λ = (λ1, . . . , λn+1) ≥ 0 |∑n+1

i=1 λi = 1} sindkompakte Mengen. Man kann also sukzessive Teilfolgen aus den Fol-gen {λk}, {ak1}, ..., {akn+1} in (10) auswahlen, die konvergieren, undzwar gegen gewisse λ∗ ∈ Λ, a∗1, . . . , a

∗n+1 ∈ A, die sich zu x∗ zusam-

mensetzen.

28

1.2. Konvexe Funktionen f : Rn → R ∪ {±∞}.

1.2.1 Definition. Sei f : X → R∪{±∞}, d.h., eine erweitert-reellwertigeFunktion auf X. Wir betrachten hier X = Rn , aber die Begriffe sind auchdefiniert, wenn X ein linearer normierter Raum ist.

Die Menge

dom f = {x ∈ X | f(x) ∈ R}

heisst effektiver Definitionsbereich von f .

Die Funktion f heisst konvex , falls ihr Epigraph

epi f := {(x, t) ∈ X × R | f(x) ≤ t} ⊂ X × R

eine konvexe Menge ist.

f ist konkav (d.h., −f ist konvex), wenn der Hypograph

hypo f := {(x, t) ∈ X × R | f(x) ≥ t} ⊂ X × R

konvex ist.29

f heisst eigentlich , falls

dom f = ∅ und f(x) = −∞ ∀x ∈ X,

insbesondere also auch f(x) ≡ +∞. Falls f eigentlich ist, dann ist f

konvex genau dann, wenn dom f eine nichtleere konvexe Menge ist und

f(λx+ (1− λ)y) ≤ λf(x) + (1− λ)f(y) ∀x, y ∈ dom f, 0 < λ < 1

gilt (Beweis?) . Ferner: Falls f im ublichen Sinne konvex uber einer

nichtleeren, konvexen Menge M ⊂ X ist, also wenn

f(λx+ (1− λ)y) ≤ λf(x) + (1− λ)f(y) ∀x, y ∈M, 0 < λ < 1

gilt, so ist

f(x) =

{f(x) falls x ∈M+∞ sonst

eine eigentliche konvexe (erweitert-reellwertige) Funktion.

Wir betrachten in der Regel eigentliche konvexe Funktionen .

30

1.2.2 Ubung: Verknupfungen konvexer Funktionen

Es seien I irgendeine Indexmenge und fi : Rn → R∪{+∞}, i ∈ I, eigentliche

konvexe Funktionen. Dann gilt

• Das punktweise Supremum f(x) := supi∈I fi(x), x ∈ Rn ist konvex.

• Falls I = {1,2, . . .}, so ist der punktweise Limes

g(x) := limi→∞

fi(x), x ∈ Rn, konvex.

• Falls I endlich und λi (i ∈ I) nichtnegative reelle Zahlen sind, dann ist

F (x) :=∑

i∈Iλifi(x) konvex (und eigentlich).

31

1.2.3 Definition. Eine Funktion f : D ⊂ Rn → Rm (D offene Menge)

heisst lokal Lipschitz-stetig auf D , falls zu jedem x ∈ D eine Umgebung

U von x und eine Konstante L = L(x) > 0 existieren, so dass

∥f(x′)− f(x′′)∥ ≤ L∥x′ − x′′∥ ∀x′, x′′ ∈ U.

1.2.4 Satz ((lokale Lipschitz-) Stetigkeit uber offenen Mengen).

Ist f : Rn → R ∪ {+∞} konvex und int dom f nichtleer, so ist f lokal

Lipschitz-stetig auf int dom f .

Zum Beweis vgl. Alt, Numerische Verfahren der nichtglatten, konvexen

Optimierung, Abschnitt 2.7.

Folgerung: Insbesondere ist eine uber einer konvexen Menge M ⊂ Rn

mit nichtleerem Inneren intM definierte konvexe Funktion von M in Rstetig auf intM .

32

1.3. Konvexe Funktionen und Ableitungen

1.3.1 Satz (Repetition 1).

(Konvexe/konkave differenzierbare reelle Funktionen)

Sei I ⊂ R ein Intervall und f : I → R differenzierbar. Dann gilt:

(1) f ist genau dann konvex (bzw. konkav), wenn fur alle x, y ∈ I giltf(y) ≥ f(x) + (y − x)f ′(x) (bzw. f(y) ≤ f(x) + (y − x)f ′(x)).

(2) f ist genau dann konvex (bzw. konkav), wenn die Ableitung f ′ aufI monoton wachsend (bzw. monoton fallend) ist.

(3) Falls f sogar zweimal differenzierbar ist, so ist f genau dann konvex(bzw. konkav), wenn f ′′(x) ≥ 0 (bzw. f ′′(x) ≥ 0) fur alle x ∈ I gilt.

3

Nach Anwendung der Kettenregel auf die reelle Funktion

F (t) = f(x+ t(y − x))

lassen sich diese Aussagen auf den Fall von Funktionen in mehreren Vari-ablen ubertragen, und es folgt:

33

1.3.2 Satz (Repetition 2).

(Konvexe/konkave differenzierbare Funktionen in n Veranderlichen)

Seien f : D ⊂ Rn → R eine stetig differenzierbare Funktion und D eineoffene, konvexe Teilmenge von Rn. Dann gilt:

1. f ist konvex genau dann wenn fur alle Punkte x, y ∈ D die Ungleichungf(y) ≥ f(x) + (y − x)T∇f(x) gilt.

2. Hat f sogar stetige zweite partielle Ableitungen nach allen Variablen,so ist f konvex genau dann, wenn fur jeden Punkt x ∈ D die Hesse-Matrix ∇2f(x) positiv semidefinit ist. 3

Da f konkav genau dann ist, wenn −f konvex ist, gelten die Charak-terisierungen 1. und 2. sinngemass.

Dabei heisst eine symmetrische (n, n)-Matrix A positiv semidefinit, fallshTAh ≥ 0 fur alle Vektoren h ∈ Rn gilt; positiv definit, falls fur alleh ∈ Rn \ {0} sogar hTAh > 0 gilt.

34

1.3.3 Satz (Repetition 3).

(Notwendiges und hinreichendes Optimalitatskriterium)

Seien f : D ⊂ Rn → R eine konvexe, stetig differenzierbare Funktion und

D eine offene, konvexe Teilmenge von Rn. Dann gilt:

1. x0 ∈ D ist ein globaler Minimalpunkt von f(x) bezuglich D

genau dann, wenn ∇f(x0) = 0 ist.

2. x0 ∈ D ist ein globaler Maximalpunkt der konkaven Funktion

g(x) = −f(x) (bezuglich D) genau dann, wenn ∇g(x0) = 0 ist. 3

35

Beweis: Die Notwendigkeit der Bedingung ∇f(x0) = 0 bzw. ∇g(x0) = 0

ist wohlbekannt, andererseits folgt aus der Charakterisierung 1. in Satz

1.3.2 mit ∇f(x0) = 0 sofort fur alle y ∈ D

f(y) ≥ f(x0) + (y − x0)T∇f(x0) = f(x0),

analog fur g = −f . analog Aussage 2.

36

1.4. Grundlagen der linearen Optimierung

Ein Optimierungsproblem der Form

minx∈M

cTx mit M = {x ∈ Rn | Ax ≤ b} (11)

wobei c ∈ Rn, b ∈ Rm und eine (m,n) Matrix A gegeben sind, heisst

lineares Optimierungsproblem oder lineares Programm (kurz LP ).

Die Menge M wird, mit den Zeilen Ai • von A und Komponenten bi von

b, durch m lineare Ungleichungen

Ai •x ≤ bi , i = 1,2, ...,m ,

beschrieben. Sie ist also der Durchschnitt endlich vieler affiner Halbraume.

Solche Mengen (ebenso der Rn) heissen konvexe polyedrische Mengen

oder kurz konvexe Polyeder .∗ Machen Sie sich ihre Gestalt im R2 klar.

∗Hinweis: Zuweilen werden nur beschrankte konvexe polyedrische Mengen als konvexePolyeder bezeichnet, wir lassen auch unbeschrankte Mengen zu.

37

Die Restriktionsmengen linearer Programme sind in Anwendungen haufig

auch in anderer Form beschrieben,

z.B. als Gleichungen mit Vorzeichenbeschrankungen,

M = {x ∈ Rn | Ax = b, x ≥ 0}, (12)

oder in allgemeiner Form mit (in der Dimension passenden) Matrizen

A,B,C,D und Vektoren b, c,

M = {(x, y) ∈ Rn × Rs | Ax+By = b, Cx+Dy ≤ c, x ≥ 0}, (13)

oder es treten ≥-Ungleichungen auf.

Ebenso sind Maximierungsprobleme interessant.

Theoretische Aussagen zu LPs werden in dieser Vorlesung in einer dieser

Formen prasentiert, fur andere Formen sind sie geeignet anzupassen.

38

Durch die im Folgenden zusammengestellten aquivalenten Umformungen

lassen sie sich problemlos aquivalent ineinander uberfuhren.

Aquivalente Umformungen ∗:

Ai •x ≥ bi ⇐⇒ −Ai •x ≤ −bi

Ai •x = bi ⇐⇒ Ai •x ≤ bi, −Ai •x ≤ −bi

xj ∈ R ⇐⇒ ∃(x+j , x−j ) ∈ R2+ : xj = x+j − x−j

maxx∈M

cTx = −[minx∈M

(−cTx)]

Ai •x ≤ bi ⇐⇒ ∃zi ≥ 0 : Ai •x+ zi = bi

∗mit R2+ = {(x1, x2) ∈ R2 |x1 ≥ 0, x2 ≥ 0}

39

1.4.1 Lemma. Fur jede (m,n)-Matrix A ist die Menge

K = {z ∈ Rm | z = Ax, x ≥ 0}

ein abgeschlossener konvexer Kegel.

Beweis: Nach Definition ist K die Kegelhulle der Spaltenvektoren von A,

also ein konvexer Kegel.

Die Abgeschlossenheit von K zeigen wir durch vollstandige Induktion: Fur

n = 1 ist die Aussage trivial (abgeschlossener Strahl). Die Aussage sei fur

n < p gezeigt (Induktionsvoraussetzung), und wir betrachten nun n = p.

Es sei {zk} ⊂ K eine gegebene Folge mit Limes z∗. Dann gibt es eine

zugehorige Folge von xk ≥ 0, so dass zk = Axk und Axk → z∗.

Besitzt die Folge {xk} einen Haufungpunkt x∗, so gilt Axk → Ax∗ und

folglich z∗ = Ax∗, d.h., z∗ ∈ K.

40

Andernfalls folgt ∥xk∥ → ∞ und fur eine unendliche Teilfolge konvergieren

die beschrankten Vektoren

0 ≤ uk = xk

∥xk∥ → u mit u ≥ 0 und ∥u∥ = 1.

O.B.d.A. sei das schon die Ausgangsfolge. Wegen

zk = Axk = ∥xk∥Auk → z∗

muss nun Au = 0 gelten. Damit folgt

u ≥ 0, u = 0, A(xk + tu) = zk fur alle t ∈ R.

Mit geeignetem t = tk ≤ 0 liegen die Punkte hk = xk + tku auf dem Rand

des nichtnegativen Orthanten. Damit ist eine ihrer Komponenten, etwa

hkn, unendlich oft Null.

Die Menge Kn := {Ah |hn = 0} ist aber nach Induktionsvoraussetzung

abgeschlossen, es gilt also wegen Kn ∋ zk → z∗ auch z∗ ∈ Kn ⊂ K. q.e.d.

41

1.4.2 Lemma von Farkas.

Die Ungleichung cTu ≤ 0 gilt fur alle u mit Au ≤ 0 dann und nur dann,

wenn c im Kegel K = {z | z = ATy, y ≥ 0} liegt.

Beweis. Wenn c ∈ K, gilt fur die Zeilen Ai • von A im Falle Au ≤ 0:

cTu = yTAu =∑

iyiAi •u ≤ 0.

Wenn c ∈ K, kann man wegen der Abgeschlossenheit von K (Satz 1.4.2)

und Trennungssatz 1 trennen:

Ein u ∈ Rn erfullt

uTc > uTz ∀z ∈ K.

Da 0 ∈ K und λz ∈ K ∀λ > 0 (falls z ∈ K), folgt also auch

uTc > 0 ≥ uTATy = yTAu ∀y ≥ 0.

Damit muss Au ≤ 0 gelten; aus Au ≤ 0 folgt also nicht cTu ≤ 0. q.e.d

42

2. Nichtlineare Optimierung

2.1. Grundlegende Begriffe

In diesem Kapitel betrachten wir die folgende Standardaufgabe

(P)Minimiere f(x)bezuglich gi(x) ≤ 0, i = 1, . . . ,m ,

hj(x) = 0, j = 1, . . . , r ,

wobei f, gi, hj : Rn → R stetig differenzierbare Funktionen seien.

Mit g = (g1, . . . , gm) und h = (h1, . . . , hr) heisst die Menge

M := {x ∈ Rn | g(x) ≤ 0, h(x) = 0}

zulassiger Bereich oder Restriktionsbereich (auch Menge der

zulassigen Punkte oder Restriktionsmenge) von (P).

43

Kurz schreiben wir (P) auch als

min{f(x) |x ∈M}.

Die Aufgabe (P) heisst nichtlineares Optimierungsproblem (oder nicht-

lineares Programm) unter Gleichungs- und Ungleichungsrestriktionen .

Statt Restriktionen sagt man auch Nebenbedingungen.

Ausnahme:

Sind alle Funktionen f , gi und hj affin-linear, d.h., von der Form

aTx− b mit a ∈ Rn und b ∈ R,

heisst (P) lineares Optimierungsproblem oder lineares Programm.

44

Sind nur die Funktionen gi und hj (∀i ∀j) affin-linear, spricht man von

einem (nichtlinearen) Optimierungsproblem mit linearen Restriktionen

Sind die Funktionen f und gi konvex und hj affin-linear, so heisst das

nichtlineare Optimierungsproblem (P) speziell

ein konvexes Optimierungsproblem oder konvexes Programm.

Die Betrachtung von Minimierungproblemen und Ungleichungen in ≤-Form ist keine Einschrankung der Allgemeinheit, denn es gilt stets

max{f(x) |x ∈M} = −min{−f(x) |x ∈M}

sowie gi(x) ≥ 0 ⇔ −gi(x) ≤ 0.

45

Genugt x0 ∈M der Bedingung

(∗) f(x0) ≤ f(x) ∀x ∈M,

so heisst x0 globaler Minimalpunkt oder globale Losung der Aufgabe

(P).

Existiert dagegen ein ε > 0, so dass nur

(∗∗) f(x0) ≤ f(x) ∀x ∈M ∩B◦(x0, ε),

so heisst x0 lokaler Minimalpunkt oder lokale Losung der Aufgabe (P).

Im Falle, dass < statt ≤ in (∗) oder (∗∗) erfullt ist, spricht man von einem

strikten globalen/lokalen Minimalpunkt.

46

2.2 Notwendige Optimalitatsbedingungen

Behandelt werden in diesem Abschnitt die primale Form, die Karush-

Kuhn-Tucker-Bedingungen und die Lagrange-Bedingungen.

Wir betrachten in diesem Abschnitt die Standardaufgabe (P) mit

Gleichungs- und Ungleichungsrestriktionen, d.h.,

(P)Minimiere f(x)bezuglich gi(x) ≤ 0, i = 1, . . . ,m ,

hj(x) = 0, j = 1, . . . , r ,

wobei f, gi, hj : Rn → R stetig differenzierbare Funktionen seien.

Mit g = (g1, . . . , gm) und h = (h1, . . . , hr) ist

M := {x ∈ Rn | g(x) ≤ 0, h(x) = 0}

der zulassige Bereich.

47

2.2.0 Vorbemerkung zu unrestringierten Aufgaben

In vielen Anwendungen interessiert die Aufgabe ohne Nebenbedingungen

f(x)→ min,

fur die bekanntlich die Bedingung an den Gradienten

∇f(x0) = 0

notwendig fur die Existenz eines lokalen Extremums von f inx0 ist - es

ist also eine notwendige Optimalitatsbedingung erster Ordnung fur die

Aufgabe f(x)→ min.

Ein Punkt x0 mit ∇f(x0) = 0 heisst kritischer Punkt oder stationarer

Punkt von f .

48

Im Falle, dass x0 ein stationarer Punkt von f ist und f als zweimal stetig

differenzierbar vorausgesetzt wird, ist bekanntlich (vgl. Mathematik-

Grundkurs)

die positive Definitheit der Hesse-Matrix ∇2f(x0) von f hinreichend

dafur, dass f in x0 ein striktes lokales Minimum besitzt.

Der Beweis ist in dem von Satz 2.4.4 weiter unten fur restringierte Auf-

gaben enthalten.

Ist f zweimal stetig differenzierbar, so sind notwendig dafur, dass f in

x0 ein lokales Minimum besitzt, die Bedingungen 1. und 2. Ordnung

1. ∇f(x0) = 0 und

2. ∇2f(x0) ist positiv semidefinit.

49

Die Bedingung 1. kennen Sie aus dem Grundkurs Mathematik.

(Indirekter) Beweis von 2.: Angenommen, es gibt ein u ∈ Rn mit

uT∇2f(x0)u < 0.

Nehmen wir ein solches u. Nach Taylorentwicklung 2. Ordnung existiert

dann aber fur den lokalen Minimalpunkt x0 und fur alle reellen Zahlen

t = 0 nahe 0 ein gewisses θ ∈ (0,1), so dass

f(x0) ≤ f(x0 + tu) = f(x0) + tuT∇f(x0) + 12t

2uT∇2(x0 + θtu)u ,

also wegen ∇f(x0) = 0 und nach Division durch 12t

2

(∗ ∗ ∗) 0 ≤ uT∇2f(x0 + θtu)u .

Da ∇2f stetig ist, gilt mit uT∇2(x0)u < 0 auch uT∇2f(x0+ θtu)u < 0 fur

|t| klein - im Widerspruch zu (∗ ∗ ∗). Damit ist 2. gezeigt.

50

2.2.1 Idee notwendiger Optimalitatsbedingungen 1. Ordnung

fur die restringierte Aufgabe (P)

Sei der zulassige Bereich M zunachst eine konvexe Menge

und sei x0 ∈M eine lokale Losung von (P).

Wir betrachten nun eine beliebige zulassige Richtung y, d.h., es gilt

x0 + ty ∈M wenigstens fur t ∈ [0, t0) mit t0 > 0.

Dann folgt sofort aus der lokalen Optimalitat in x0 die Existenz einest1 ∈ (0, t0] (Mittelwertsatz!), so dass

f(x0) ≤ f(x0 + ty) = f(x0) + (ty)T∇f(x0 + θty) ∀t ∈ (0, t1) (14)

mit gewissen θ = θ(t) ∈ (0,1).

Also ergibt sich nach Division durch t und Grenzubergang t ↓ 0 alsnotwendige Optimalitatsbedingung

yT∇f(x0) ≥ 0, d.h.,

die Richtungsableitung von f in x0 ist ≥ 0 in zulassigen Richtungen y.

51

Im Falle nichtkonvexer Restriktionen kann M sehr kompliziert aussehen,

so dass man dann die Anderungsrichtung y etwas allgemeiner fassen muss,

wir definieren dazu den Begriff des Tangentialkegels.

2.2.2 Definition. Sei x0 ∈M . Dann heisst die Menge

T (M,x0) :=

y ∈ Rn

∣∣∣∣∣∣∣∃{xk} ⊂M, xk → x0,∃{tk} ⊂ (0,+∞), tk ↓ 0 :

y = limk→∞ t−1k (xk − x0)

(15)

Tangentialkegel an M im Punkt x0.

Es ist leicht einzusehen, dass stets 0 ∈ T (M,x0) und

mit t > 0 und y ∈ T (M,x0) auch ty ∈ T (M,x0)

gilt , d.h., es handelt sich nach Definition um einen Kegel. Ferner kann

man ohne Muhe zeigen, dass T (M,x0) eine abgeschlossene Menge ist.

52

2.2.3 Definition. Sei M der zulassige Bereich von (P) und x0 ∈ M .

Die Indexmenge der in x0 aktiven Ungleichungen (auch bindenden Un-

gleichungen) ist durch

I(x0) := {i ∈ {1, . . . ,m} | gi(x0) = 0}

definiert. Die Menge

K(M,x0) :=

{y ∈ Rn

∣∣∣∣ ∇gi(x0)Ty ≤ 0 , i ∈ I(x0),∇hj(x0)Ty = 0 , j = 1, . . . , r

}heisst Linearisierungskegel an M in x0.

2.2.4 Ubung. Man zeige, dass stets

T (M,x0) ⊂ K(M,x0)

gilt.

53

2.2.5 Definition. Man sagt, dass im Punkt x0 ∈ M die Abadie-CQ(eigentlich Abadie’s Constraint Qualification oder Regularitatsbedingungvon Abadie) erfullt ist, wenn gilt

T (M,x0) = K(M,x0).

2.2.6 Lemma. (Lineare Restriktionen). Ist (P) ein Optimierungsprob-lem mit linearen Restriktionen, so gilt die Abadie CQ automatisch injedem Punkt x0 ∈M .

Beweis. Es genugt nach Ubung 2.2.4 K(M,x0) ⊂ T (M,x0) zu zeigen.Schreiben wir die Nebenbedingungen als

xTai − bi ≤ 0, i = 1, . . . ,m,

xTaj − bj = 0, j = m+1, . . . ,m+ r,

so gilt fur y ∈ K(M,x0) nach Definition des Linearisierungskegels

yTai ≤ 0, i ∈ I(x0),

yTaj = 0, j = m+1, . . . ,m+ r.

54

Sei y ∈ K(M,x0) beliebig, aber fest. Dann rechnen wir sofort nach

(x0 + ty)Tai = x0Tai + tyTai = bi + tyTai ≤ bi ∀i ∈ I(x0) ∀t ≥ 0

sowie mit J = {m+1, . . . ,m+ r}

(x0 + ty)Taj = x0Taj + tyTaj = bj + tyTaj = bj ∀j ∈ J ∀t ≥ 0.

Fur l ∈ {1, . . . ,m}\I(x0) gilt andererseits wegen x0Tal−bl < 0 mit kleinem

t0 > 0, dass

(x0 + ty)Tal − bl = x0Tal − bl + tyTal < 0 ∀t ∈ (0, t0).

Folglich ist mit Folgen {xk} und {tk} der Form

xk = x0 + tky, tk = 1/k ,

fur genugend grosse k die Definition (15) von y ∈ T (M,x0) erfullt. Wir

haben also K(M,x0) ⊂ T (M,x0) erhalten, was zu zeigen war.

55

2.2.7 Definition Sei x0 ∈M und sei wie oben I(x0) = {i | gi(x0) = 0}.

Man sagt, die Bedingung LICQ ist in x0 erfullt, falls gilt:

{∇gi(x0), i ∈ I(x0), ∇hj(x0), j = 1, . . . , r} ist linear unabhangig.

Man sagt, die Bedingung MFCQ ist in x0 erfullt, falls gilt:

(i) {∇hj(x0), j = 1, . . . , r} ist linear unabhangig, und

(ii) es existiert ein y ∈ Rn, so dass

yT∇gi(x0) < 0, i ∈ I(x0); yT∇hj(x0) = 0, j = 1, . . . , r.

”CQ” deutet auf constraint qualification hin: LICQ = Linear Indepen-

dence CQ, MFCQ = Mangasarian-Fromovitz CQ. Enthalt (P) keine Un-

gleichungsrestriktionen, fallen offenbar die Bedingungen LICQ und MFCQ

zusammen und sind gerade die bekannte Regularitatsvoraussetzung fur die

Lagrange-Bedingungen.

56

2.2.8 Lemma Sei x0 ∈M . Dann gilt in diesem Punkt

LICQ ⇒ MFCQ ⇒ Abadie-CQ.

Beweis. Sei zunachst LICQ in x0 erfullt. Dann gilt speziell (i) in der

Definition von MFCQ, und das lineare Gleichungssystem

yT∇gi(x0) = −1, i ∈ I(x0),

yT∇hj(x0) = 0, j = 1, . . . , r.

hat stets eine Losung y = y wegen der linearen Unabhangigkeit der Zeilen

der Koeffizientenmatrix. Damit gilt MFCQ in x0.

Fur die zweite, komplizierte Implikation vgl. den Anhang zu §2.

57

2.2.9 Ubung. (Bestimmung des Tangentialkegels)

(i) Es seien x0 = (x01, x02) := (1,0) und

M = {(x1, x2) | g1(x1, x2) := x21 + x22 − 1 ≤ 0, g2(x1, x2) := x2 −12 ≤ 0}.

Man zeige

T (M,x0) = {(y1, y2) | y1 ≤ 0}.

(ii) Fur die Menge

M = {x ∈ R3 | gi(x) ≤ 0, i = 1,2,3, h(x) = 0}

und den Punkt x0 = (0,1,0) sowie

g1(x) = x1 + x2 + x3 − 1, g2(x) = −x1, g3(x) = −x2, h(x) = x3

zeige man, dass

T (M, x0) = {y ∈ R3 | y1 + y2 + y3 ≤ 0, y1 ≥ 0, y3 = 0}

gilt. Veranschaulichen Sie das auch geometrisch.

58

2.2.10 Satz. (Primale notwendige Optimalitatsbedingung 1. Ordnung).

Ist x0 lokaler Minimalpunkt des Optimierungsproblems (P), so gilt

∇f(x0)Ty ≥ 0 ∀y ∈ T (M,x0). (16)

Beweis. Sei y ∈ T (M,x0). Dann existieren Folgen

{xk} ⊂M, xk → x0, {tk} ⊂ (0,+∞), tk ↓ 0,

so dass

y = limk→∞

(xk − x0)/tk und f(xk) ≥ f(x0) ∀k.

Mit yk := (xk − x0)/tk gilt xk = x0 + tkyk und somit

0 ≤ f(xk)− f(x0) = tk(yk)T∇f(x0) + o(tky

k),

so dass nach Division durch tk und Grenzubergang wegen yk → y

yT∇f(x0) ≥ 0

folgt, was zu zeigen war.

59

Repetition: Lemma von Farkas. (vgl. Abschnitt 1.4)

Es seien A eine (m,n)-Matrix und b ∈ Rn. Dann ist die Menge

{z ∈ Rn |Az = b, z ≥ 0}

genau dann nicht leer,

wenn fur jedes u ∈ Rm mit ATu ≤ 0 auch bTu ≤ 0 gilt.

Mit anderen Worten:

Der Vektor b lasst sich genau dann als nichtnegative Linearkombination

der Spaltenvektoren von A schreiben, wenn ATu ≤ 0 die Ungleichung

bTu ≤ 0 impliziert.

60

2.2.11 Satz. (Karush-Kuhn-Tucker-Bedingungen). ∗

Sei x0 ein lokaler Minimalpunkt der Aufgabe (P) und sei im Punkt x0

die Abadie-CQ erfullt. Dann existieren Vektoren u ∈ Rm und v ∈ Rr, die

zusammen mit dem Vektor x0 den folgenden Bedingungen genugen:

(i) ∇f(x0) +∑m

i=1 ui∇gi(x0) +∑r

j=1 vj∇hj(x0) = 0,

(ii) ui ≥ 0, gi(x0) ≤ 0, uigi(x

0) = 0 (i = 1, . . . ,m),

(iii) vj ∈ R, hj(x0) = 0 (j = 1, . . . , r).

Man spricht im Vergleich zu Satz 2.2.10 auch von dualen notwendigen

Optimalitatsbedingungen 1. Ordnung

∗In der klassischen und auch in der okonomischen Literatur oft als lokale Kuhn-Tucker-Bedingungen bezeichnet, benannt nach einer Arbeit von Kuhn und Tucker (1951), diealtere Arbeit von Karush (1939) wurde erst in den 70er Jahren ’wiederentdeckt’.

61

Bezeichnungen.

• (i), (ii), (iii) zusammen heissen Karush-Kuhn-Tucker-Bedingungen(kurz KKT-Bedingungen ). Im Falle n = 2, m = 0 und r = 1ergeben sich sofort die Lagrange-Bedingungen aus der Mathematik I.

• Die Zahlen ui und vj heissen Lagrange-Multiplikatoren zu x0,x0 heisst stationarer Punkt , das Tripel (x0, u, v) KKT-Punkt .

• Die Bedingung (i) heisst Lagrange-Gleichung , die Bedingungen (ii)heissen Komplementaritatsbedingungen , (iii) erfasst die Zulassigkeitvon x0.

• Die Funktion (x, u, v) ∈ Rn × Rm × Rr 7→ L(x, u, v) ∈ R mit

L(x, u, v) := f(x) +∑m

i=1uigi(x) +

∑r

j=1vjhj(x)

heisst Lagrange-Funktion. Die Lagrange-Gleichung (i) kann mit demGradienten von L bezuglich x also auch so geschrieben werden:

∇xL(x0, u, v) = 0.

62

Beweis von Satz 2.2.11. Wir fassen die Funktionen gi, i ∈ I = I(x0),

zu einer Vektorfunktion gI zusammen und schreiben kurz

b = −∇f(x0), GT = DgI(x0), HT = Dh(x0).

Ist I die leere Menge, lassen wir die betreffenden Terme einfach weg.

Sei s die Anzahl der Elemente von I. Nach den primalen notwendigen

Bedingungen von Satz 2.2.10 gilt wegen der Abadie CQ, d.h., wegen

T (M,x0) = K(M,x0),

GTy ≤ 0, HTy = 0 ⇒ bTy ≤ 0.

Das kann mit A = (G,H,−H) auch geschrieben werden als

ATy =

GT

HT

−HT

y ≤ 0 ⇒ bTy ≤ 0,

d.h., nach dem Lemma von Farkas gilt {z|Az = b, z ≥ 0} = ∅.

63

Ausgeschrieben bedeutet das

W := { z = (u, λ, µ) ∈ Rs × Rr × Rr | Gu+Hλ−Hµ = b, u, λ, µ ≥ 0} = ∅.

Ist also (u∗, λ∗, µ∗) ∈W , dann ist mit v∗ = λ∗ − µ∗ auch

(u∗, v∗) ∈ {(u, v) ∈ Rs × Rr |Gu+Hv = b, u ≥ 0}.

Ubersetzen wir G, H und b wieder zuruck, so folgt

∇f(x0) +∑i∈I

u∗i∇gi(x0) +

r∑j=1

v∗j∇hj(x0) = 0.

Schreiben wir noch u∗i = 0 fur i ∈ I, setzen u = (u∗1, . . . , u∗m)T und v =

(v∗1, . . . , v∗r)

T und berucksichtigen x0 ∈M , so stehen die KKT-Bedingungen

schon da. Das war zu beweisen.

64

2.2.12 Korollar. Ist x0 ein lokaler Minimalpunkt von (P), der MFCQ

genugt oder sind die Restriktionen von (P) linear, so gelten in x0 die

KKT-Bedingungen (i), (ii) und (iii) aus Satz 2.2.11. (Beweis: klar)

2.2.13 Bemerkung. Sei x0 ein lokaler Minimalpunkt von (P), der MFCQ

genugt. Wir betrachten die Menge aller Lagrange-Multiplikator-Vektoren

zu x0

Λ(x0) :=

{(u, v)

∇f(x0) +∑m

i=1 ui∇gi(x0) +∑r

j=1 vj∇hj(x0) = 0

ui ≥ 0, uigi(x0) = 0 (i = 1, . . . ,m).

}.

Dann gilt mit I = I(x0) und I = {1, . . . ,m} \ I(x0)

(u, v) ∈ Λ(x0)

⇔ ∇f(x0) +∑

i∈I ui∇gi(x0) +∑r

j=1 vj∇hj(x0) = 0,

ui ≥ 0, i ∈ I, uj = 0, j ∈ I.

65

Gilt in dem lokalen Minimalpunkt x0 sogar LICQ (vgl. Lemma 2.2.8),

so hat die in dieser Form aufgeschriebene Lagrange-Gleichung (dabei wird

x0 als gegeben aufgefasst) wegen der linearen Unabhangigkeit aller Vek-

toren ∇gi(x0), ∇hj(x0) eine eindeutige Losung (u, v),

d.h., der Lagrange-Multiplikator-Vektor zu x0 ist eindeutig bestimmt.

Die Umkehrung gilt nicht, z.B. bei minx2 bezuglich x ≤ 0, 2x ≤ 0.

Gilt in x0 MFCQ,

so ist das aquivalent dazu, dass die Menge aller Lagrange-Multiplikator-

Vektoren zu x0 beschrankt ist, wie man mit Hilfe des Farkas-Lemmas und

der bekannten Aquivalenz fur M := {x|Ax = b, x ≥ 0} = ∅,

M beschrankt ⇔ {y|Ay = 0, y ≥ 0} = {0}

leicht beweist.

66

2.2.14 Ubung. Man betrachte die Aufgabe

(NLP 1) min{12x4 − xy + y2 | x ≥ 1, y ≥ 1+ x}.

(a) Stellen Sie die KKT-Bedingungen dazu auf.

(b) Stellen Sie fest, ob (1,2) stationarer Punkt von (NLP 1) ist.

(c) Stellen Sie fest, ob (2,16) stationarer Punkt von (NLP 1) ist.

67

2.2.15 Ubung. Gegeben sei das nichtlineare Programm

(NLP 2) min{−12x2 − 1

2y2 |x2 − y ≤ 1, y ≤ 1}.

(a) Stellen Sie die KKT-Bedingungen dazu auf.

(b) Was sagen die KKT-Bedingungen im Hinblick auf lokale Minima von

(NLP 2) aus?

(c) Berechnen Sie alle stationaren Punkte von (NLP 2).

68

2.2.16 Lagrange-Bedingungen. Betrachten wir speziell Aufgabe (P)

nur unter Gleichungsnebenbedingungen, d.h.,

Minimiere f(x) bezuglich hj(x) = 0, j = 1, . . . , r , (17)

wobei h1, . . . , hr : Rn → R wieder stetig differenzierbare Funktionen seien,

so ergibt sich als Spezialfall von Korollar 2.2.12 und Bemerkung 2.2.13

der bekannte Satz uber die Lagrange Methode:

Satz. Sei x0 ein lokaler Minimalpunkt der Aufgabe (17), und es sei

vorausgesetzt, dass

{∇h1(x0), . . . ,∇hr(x0)} linear unabhangig ist. (LICQ)

Dann existieren eindeutig bestimmte Zahlen v1, . . . , vr ∈ R, so dass

∇f(x0) +r∑

j=1

vj∇hj(x0) = 0. (18)

69

2.3 Konvexe Optimierungsprobleme

2.3.1 Bemerkung (Repetition aus §1).

(i) Sind Xi ⊂ Rn, i ∈ I (I beliebige Indexmenge) konvexe Mengen, so ist

auch∩i∈I Xi eine konvexe Menge.

(ii) Sind f und g konvexe Funktionen auf einer konvexen Menge X ⊂ Rn

und µ eine positive reelle Zahl, so sind auch die Funktionen f + g und

µf konvex.

(iii) Ist X ⊂ Rn eine konvexe Menge, so ist zu jedem ν ∈ R die untere

Niveaumenge {x ∈ X |φ(x) ≤ ν} einer konvexen Funktion φ : X → Reine konvexe Menge.

70

2.3.2 Satz. Sei φ : X ⊂ Rn → R eine konvexe Funktion und X einenichtleere konvexe Menge. Dann gilt:

1. Ist x0 ein lokaler Minimalpunkt der Aufgabe

min{φ(x) |x ∈ X},

so ist x0 auch ein globaler Minimalpunkt dieser Aufgabe.

2. Die Menge aller globalen Optimalpunkte der Aufgabe

min{φ(x) |x ∈ X}

ist konvex.

Beweis. Aussage 2. folgt aus (i) und (iii) in Bemerkung 2.3.1, wenn manbeachtet, dass die Menge X∗ der globalen Optimalpunkte der Aufgabemin{φ(x) |x ∈ X} durch

X∗ = {z ∈ X |φ(z) ≤ φ(x)∀x ∈ X} =∩x∈X{z ∈ X |φ(z) ≤ φ(x)},

d.h., als Durchschnitt konvexer (unterer Niveau-)Mengen, dargestellt wer-den kann.

71

Beweis Aussage 1: Sei x0 ein lokaler Min.punkt von min{φ(x) |x ∈ X},d.h., es existiert ein ε > 0 so dass

φ(x0) ≤ φ(x) ∀x ∈ X ∩B◦(x0, ε) (19)

gilt. Angenommen, es existiert ein x1 ∈ X, so dass

φ(x1) < φ(x0). (20)

Dann liegt jeder Punkt

x(t) = tx1 + (1− t)x0

mit 0 ≤ t ≤ 1 (das sind die Punkte auf der Verbindungsstrecke zwischen

x0 und x1) wegen der Konvexitat von X in X, und es gilt nach Definition

konvexer Funktionen

φ(x(t)) ≤ tφ(x1) + (1− t)φ(x0) ∀t ∈ [0,1].

72

Wegen (20) folgt daraus fur alle t ∈ (0,1]

φ(x(t)) ≤ tφ(x1) + (1− t)φ(x0) < tφ(x0) + (1− t)φ(x0) = φ(x0),

insbesondere gilt also

φ(x(t)) < φ(x0)

auch fur solche kleinen t > 0, fur die x(t) in der Umgebung B◦(x0, ε) und

damit im Durchschnitt X ∩B◦(x0, ε) liegt – im Widerspruch zu (19).

Damit war die Annahme (20) falsch, und unsere Behauptung ist bewiesen.

73

2.3.3 (Glatte) Standardaufgabe mit konvexen Daten.

Wir betrachten wieder die Standardaufgabe (P), aber nun unter zusatzlichen

Konvexitatsvoraussetzungen:

(P)Minimiere f(x)bezuglich gi(x) ≤ 0, i = 1, . . . ,m ,

hj(x) = 0, j = 1, . . . , r ,(21)

wobei die Funktionen f : Rn → R und gi : Rn → R als stetig differenzierbar

und konvex, die Funktionen hj : Rn → R als affin-linear vorausgesetzt sind

(i = 1, . . . ,m, j = 1, . . . , r).

74

Wir fassen wieder die Funktionen gi und hj zu Vektorfunktionen g und h

zusammen und bezeichnen mit

M = {x ∈ Rn | g(x) ≤ 0, h(x) = 0}

den zulassigen Bereich von (P).

Auf der Grundlage des folgenden Satzes und von Aussage 1. in Satz

2.3.2 ist klar, dass die Menge der Losungen der Aufgabe (21) stets

als Menge der globalen Optimallosungen dieser Aufgabe zu verstehen ist.

2.3.4 Satz. Der zulassige Bereich M der konvexen Optimierungsaufgabe

(21) – sogar ohne Voraussetzung der Differenzierbarkeit von f und gi –

ist eine konvexe und abgeschlossene Menge.

75

Beweis. Die Funktionen gi sind nach Voraussetzung konvex uber dem

Rn, also insbesondere stetig (vgl. Satz 1.2.4 in Kapitel 1). Folglich sind

die Mengen Gi = {x|gi(x) ≤ 0} abgeschlossen und konvex. Die Mengen

Hj = {x|hj(x) = 0} sind Hyperebenen (im Falle hj ≡ 0 der ganze Rn),

also auch abgeschlossene, konvexe Mengen. Der zulassige Bereich M ist

als Durchschnitt der Mengen Gi, Hj (∀i, j) dann auch abgeschlossen und

konvex.

2.3.5 Ubung. Zeigen Sie mit analogen Argumenten wie im Beweis des

vorigen Satzes die folgende Aussage: Die Menge der Losungen der kon-

vexen Optimierungsaufgabe (21) ist eine konvexe und abgeschlossene

Menge.

76

2.3.6 Satz.

(KKT-Bedingungen als hinreichendes Optimalitatskriterium).

Wir betrachten das konvexe Programm (21). Erfullt ein Tripel von Vek-

toren (x0, u, v) die KKT-Bedingungen

(i) ∇f(x0) +∑m

i=1 ui∇gi(x0) +∑r

j=1 vj∇hj(x0) = 0,

(ii) ui ≥ 0, gi(x0) ≤ 0, uigi(x

0) = 0 (i = 1, . . . ,m),

(iii) vj ∈ R, hj(x0) = 0 (j = 1, . . . , r),

(22)

so ist x0 Losung der Aufgabe (21).

77

Beweis. Sind die Bedingungen (22) erfullt, so gilt mit I = I(x0) auch

∇f(x0) +∑i∈I

ui∇gi(x0) +r∑

j=1

vj∇hj(x0) = 0, ui ≥ 0, i ∈ I. (23)

Da das Lemma von Farkas eine ”genau dann, wenn”-Aussage ist, konnen

wir die Argumente des Beweises des KKT Theorems (Satz 2.2.11) alle

ruckwarts anwenden, und wir erhalten so aus (23), dass

y ∈ K(M,x0) ⇒ ∇f(x0)Ty ≥ 0

gilt (das geht bis zu dieser Stelle, ohne die Abadie-CQ anzuwenden!!).

Da aber stets, vgl. die Ubung 2.2.4,

T (M,x0) ⊂ K(M,x0)

erfullt ist, folgt daraus

∇f(x0)Ty ≥ 0 ∀y ∈ T (M,x0).

78

Sei nun x ∈M beliebig. Dann gilt aber

x− x0 ∈ T (M,x0),

denn

xk = x0 + tk(x− x0) mit tk = 1/k (speziell also tk ∈ (0,1] ∀k)

erfullen die Eigenschaften der Folgen {xk} und {tk} in der Definition des

Tangentialkegels.

Wegen der Konvexitat von f gilt dann aber

∀x ∈M : f(x)− f(x0) ≥ (x− x0)T∇f(x0) ≥ 0,

also lost x0 die Aufgabe (21).

79

2.3.7 Korollar.

(Konvexe Programme unter linearen Restriktionen).

In dem konvexen Programm (21) seien alle Nebenbedingungen linear.

Dann ist x0 genau dann eine Losung der Aufgabe (21), wenn es Vektoren

u ∈ Rm und v ∈ Rr gibt, die gemeinsam mit x0 den KKT-Bedingungen

(22) genugen.

Beweis. Folgt sofort aus Satz 2.3.6 sowie aus Korollar 2.2.12 und der

Tatsache, dass jeder globale Minimalpunkt auch lokaler Minimalpunkt ist.

80

2.3.8 Definition. Man sagt, dass die Aufgabe (21) der Slater-CQ

(auch Slater-Bedingung genannt) genugt, wenn ein zulassiger Punkt x

existiert, so dass

gi(x) < 0 ∀i ∈ {1, . . . ,m},

d.h., x muss den (nach Voraussetzung: linearen) Gleichungsrestriktionen

genugen und alle Ungleichungsrestriktionen strikt erfullen.

Man nennt x oft auch Slater-Punkt.

2.3.9 Lemma. Wenn die Aufgabe (21) der Slater-CQ genugt, so ist

in jedem zulassigen Punkt von (21) die Abadie-CQ erfullt.

81

Beweis. Sei x0 ∈ M beliebig. Die linearen Nebenbedingungen seien mit

einer (r, n)-Matrix A und einer rechten Seite b ∈ Rr geschrieben, d.h.,

h(x) := Ax− b = 0.

Ohne Beschrankung der Allgemeinheit seien die Zeilen von A linear un-

abhangig, andernfalls lasse die uberflussigen Gleichungen weg.

Sei nun x ein Slaterpunkt. Definiere

y := x− x0.

Dann gilt

Dh(x0)y = Ay = Ax−Ax0 = b− b = 0

sowie wegen der Konvexitat der gi und gi(x) < 0

0 > gi(x) ≥ gi(x0) + (x− x0)T∇gi(x0) = yT∇gi(x0) ∀i ∈ I(x0),

wobei gi(x0) = 0 fur i ∈ I(x0) (d.h., i aktiv) benutzt wurde. Damit ist

MFCQ in x0 erfullt und nach Lemma 2.2.8 auch die Abadie-CQ.

82

2.3.10 Satz:

KKT-Bedingungen als notwendiges Optimalitatskriterium.

Sei x0 eine Losung des konvexen Programms (21), fur das die Slater-CQ

erfullt sei. Dann gibt es Vektoren u und v, die zusammen mit x0 den

KKT-Bedingungen (22) genugen.

2.3.11 Korollar:

Konvexe Programme unter Slater-CQ.

In dem konvexen Programm (21) sei die Slater-CQ erfullt. Dann ist

x0 genau dann eine Losung der Aufgabe (21), wenn Vektoren u ∈ Rm

und v ∈ Rr existieren, die gemeinsam mit x0 den KKT-Bedingungen (22)

genugen.

83

2.3.12 Ubung. Losen Sie mit Hilfe der KKT–Bedingungen die Opti-

mierungsaufgabe in den Variablen x1, ..., xn, xn+1,

min1

2

n+1∑i=1

x2i bezuglich xn+1 ≥ 1+n∑

i=1

xi .

Begrunden Sie, warum es sich um eine Optimallosung handelt.

2.3.13 Ubung. Gegeben sei das nichtlineare Programm

min{4x2 +2y2 +4xy − 9x− 6y |x+ y − 1 ≤ 0, x ≥ 0, y ≥ 0}.

Uberprufen Sie, ob (x, y) = (0.75 , 0.25 ) den KKT-Bedingungen genugt.

Was schliessen Sie daraus?

84

2.4 Optimalitatsbedingungen zweiter Ordnung

Wir betrachten nun die Standardaufgabe

(P)Minimiere f(x)bezuglich gi(x) ≤ 0, i = 1, . . . ,m , hj(x) = 0, j = 1, . . . , r ,

und setzen voraus, dass die Funktionen f, gi, hj : Rn → R (∀i ∀j) zweimal

stetig differenzierbar sind.

Wir fassen wieder g1, .., gm zu einer Vektorfunktion g und h1, .., hr zu

einer Vektorfunktion h zusammen. Der zulassige Bereich von (P) sei

wieder mit M bezeichnet. Das Symbol

L(x, u, v) = f(x) +m∑

i=1

uigi(x) +r∑

j=1

vjhj(x)

bedeutet wieder die Lagrangefunktion der Aufgabe (P).

85

2.4.1 Voruberlegung. Wir gehen von einem KKT-Punkt (x0, u, v) der

Aufgabe (P) aus. Dann gilt – wie oben bewiesen –

∇f(x0)Ty ≥ 0 ∀y ∈ K(x0,M),

wobei K(x0,M) wieder der Linearisierungskegel an M in x0 (∈M) ist.

Wenn nun y speziell eine Richtung aus K(x0,M) mit ∇f(x0)Ty > 0 ist,

dann gilt auch fur t > 0 klein, dass

f(x0 + ty)− f(x0)

t= yT∇f(x0) +

o(t)

t> 0,

also ist x0 bezuglich der Geraden G = {x0 + ty | t ∈ R} lokaler Mini-

malpunkt.

Hingegen kann man fur Richtungen y ∈ K(x0,M) mit ∇f(x0)Ty = 0

zunachst nichts aussagen und muss hoffen, dass Informationen uber zweite

Ableitungen helfen, um die Optimalitat von x0 zu uberprufen. Welche In-

formationen konnten das sein?86

Betrachten wir zum KKT-Punkt (x0, u, v) zulassige Punkte

x0 + y

der Aufgabe (P). Dann gilt wegen u ≥ 0, g(x0+y) ≤ 0, h(x0+y) = 0 und

∇xL(x0, u, v) = 0 sowie L(x0, u, v) = f(x0) (Komplementaritatsbedingung!)

f(x0 + y) ≥ f(x0 + y) + uTg(x0 + y) + vTh(x0 + y)

= L(x0 + y, u, v)

= L(x0, u, v) + yT∇xL(x0, u, v) + 1

2yT∇2

xxL(x, u, v)y

= f(x0) + 12y

T∇2xxL(x, u, v)y

mit einer Zwischenstelle x zwischen x0 und x0 + y.

Die letzte Summe wird > f(x0), wenn der quadratische Term > 0 wird. In

diesem Falle ist der Funktionswert in x0 streng kleiner als in x0+y. In den

hinreichenden Bedingungen werden dann die Richtungen y in K(x0,M)

mit ∇f(x0)Ty = 0 gewahlt.

87

2.4.2 Definition.

Sei x0 ∈M und K(x0,M) der Linearisierungskegel an M in x0, also

K(x0,M)= {y ∈ Rn | ∇hj(x0)Ty = 0, j = 1, . . . , r, ∇gi(x0)Ty ≤ 0, i ∈ I(x0)}.

Die Menge

C(x0, f,M) := {y ∈ K(x0,M) | ∇f(x0)Ty = 0}

heisst kritischer Kegel der Aufgabe (P) im Punkt x0.

88

2.4.3 Lemma.

Sei (x0, u, v) ein gegebener Punkt, der den KKT-Bedingungen der Aufgabe

(P) genugt. Dann gilt

C(x0, f,M) =

y ∈ Rn∇hj(x0)Ty = 0, j = 1, . . . , r,∇gi(x0)Ty = 0, falls i ∈ I(x0) mit ui > 0,∇gk(x0)Ty ≤ 0, falls k ∈ I(x0) mit ui = 0.

,

(24)

wobei I(x0) wieder die Indexmenge der in x0 aktiven Ungleichungen ist.

89

Beweis.

Sei mit Z(x0, u) die Menge in der rechten Seite von (24) bezeichnet. Da

(x0, u, v) KKT-Punkt von (P) ist, lautet die Lagrange-Gleichung

−∇f(x0) =∑

i∈I(x0)ui∇gi(x0) +

r∑j=1

vj∇hj(x0).

Ist y ∈ Z(x0, u), so folgt sofort y ∈ K(x0,M) sowie

−∇f(x0)Ty =∑

i∈I(x0)ui∇gi(x0)Ty +

r∑j=1

vj∇hj(x0)Ty = 0,

also y ∈ C(x0, f,M).

Die umgekehrte Inklusion folgt analog.

90

2.4.4 Satz. (Hinreichende Bedingung 2. Ordnung).

Wir betrachten die Standardaufgabe (P) bei 2× stetig differenzierbaren

f , g und h. Es seien (x0, u, v) ein gegebener KKT-Punkt der Aufgabe (P)

und

H := ∇2xxL(x

0, u, v) = ∇2f(x0) +m∑

i=1

ui∇2gi(x0) +

r∑j=1

vj∇2hj(x0)

die Hesse-Matrix der Lagrangefunktion bezuglich x im Punkt (x0, u, v).

Falls

yTHy > 0 ∀y ∈ C(x0, f,M) \ {0},

gilt, so ist x0 strikter lokaler Minimalpunkt von (P).

Beweis im Anhang zu §2.91

Die Bedingung des Satzes ist im allgemeinen schwer uberprufbar, daC(x0, f,M) durch ein lineares Ungleichungssystem beschrieben ist.

Als Spezialfall folgt aber sofort∗:

2.4.5 Korollar. (Starke hinreichende Bedingung 2. Ordnung).

Unter den Voraussetzungen von Satz 2.4.4 sei (x0, u, v) ein gegebenerKKT-Punkt der Aufgabe (P). Ferner sei die folgende starke Bedingung2. Ordnung, wir nennen sie (SSOSC) , erfullt:

yTHy > 0 gilt fur alle y = 0 mit

∇hj(x0)Ty = 0, j = 1, . . . , r, ∇gi(x0)Ty = 0, i ∈ I(x0) mit ui > 0.

Dann ist x0 strikter lokaler Minimalpunkt.

∗Fur Aufgaben nur mit Gleichungsrestriktionen ist das Korollar zumvorigen Satz aquivalent.

92

2.4.6 Positive Definitheit unter linearen Nebenbedingungen.

Die starke hinreichende Bedingung ist von der Form

yTHy > 0 ∀y = 0 : By = 0 (25)

mit einer Matrix B passender Ordnung (κ, n). Sei {y1, . . . , ys} eine Basis

des Unterraums L := {y|By = 0}. Dann ist

y ∈ L ⇔ y =s∑

j=1

λjyj,

in Matrixschreibweise

y = Y λ mit Y = [y1 . . . ys] (spaltenweise).

Also gilt (25) genau dann, wenn Y THY positiv definit ist, was mit bekann-

ten Kriterien, vgl. z.B. Mathematik III, uberpruft werden kann.

93

2.4.7 Spezialfall eines Kriteriums von Debreu und eine hinreichende

Optimalitatsbedingung 2. Ordnung fur eine Gleichungsrestriktion.

In der okonomischen Literatur sind von Gerard Debreu (1983 Nobel-preis fur Okonomie) aufgestellte Kriterien zur Uberprufung der positivenDefinitheit unter linearen Nebenbedingungen sehr beliebt, die mit Haupt-minoren der folgenden ”geranderten” Matrix arbeiten:(

0 B

BT H

)

Wir diskutieren hier nur einen Spezialfall, der hilfreich ist fur die Aufgabe

(Pspez) min{f(x1, x2) | g(x1, x2) = 0}mit 2× stetig differenzierbaren Funktionen f, g : R2 → R.

Sei (x01, x02, v) ein Punkt, der den Lagrange-Bedingungen genugt, und sei

∇g(x01, x02) = 0. Wir schreiben

H = ∇2f(x01, x02) + v∇2g(x01, x

02) und c = ∇g(x01, x

02)

T.

94

Satz.

Unter den gestellten Voraussetzungen gelten folgende Kriterien mit Hilfe

spezieller Determinanten, und zwar:

1. Die Bedingung

det

(0 cT

c H

)< 0

ist notwendig und hinreichend dafur, dass

yTHy > 0 fur alle y = 0 mit cTy = 0 gilt.

Also ist unter dieser Bedingung x0 lokaler Minimalpunkt der Aufgabe

(Pspez).

95

2. Die Bedingung

det

(0 cT

c H

)> 0,

ist notwendig und hinreichend dafur, dass

yTHy < 0 fur alle y = 0 mit cTy = 0 gilt.

Also ist unter dieser Bedingung x0 lokaler Maximalpunkt der Aufgabe

(Pspez).

96

2.4.8 Beispiel. Man betrachte die Aufgabe

min f(x1, x2) := 12(x

21 − x22)− x1

bezuglich g(x1, x2) := −x1 +2x2 = 0(26)

Losung durch Substitutionsmethode:

Es gilt x1 = 2x2, eingesetzt in die Zielfunktion ergibt sich

φ(x2) := f(2x2, x2) =1

2(4x22 − x22)− 2x2 =

3

2x22 − 2x2.

Folglich

φ′(x2) = 3x2 − 2 = 0 ⇔ x2 =2

3, somit x1 =

4

3.

Die hinreichende Bedingung 2. Ordnung fur freie Extrema lautet

φ′′(23) = 3 > 0,

d.h., x0 = (43,23) ist strikter lokaler Minimalpunkt (und da φ konvex ist,

sogar strikter globaler Minimalpunkt ) der Aufgabe (26).

97

Losung mit Lagrange-Methode und Debreu-Kriterium:

Die Lagrange-Funktion ist im Beispiel gleich

L(x1, x2, λ) = 12(x

21 − x22)− x1 − λ(−x1 +2x2)

Die Lagrange-Bedingungen lauten

(i) x1 +λ = 1

(ii) −x2 −2λ = 0

(iii) −x1 +2x2 = 0

Die Losung des Systems der Lagrange-Bedingungen ist

x01 =4

3, x02 =

2

3, λ = −

1

3.

Die Nebenbedingung in (25) ist hier sehr einfach:

−y1 +2y2 = 0, d.h. y2 = 12y1, (27)

da ∇g(x1, x2) = (−1,2)T fur alle (x1, x2).

98

Die Hesse-Matrix von L bezuglich (x1, x2) in (x01, x02, λ) lautet hier

H =

(1 00 −1

)(Hesse-Matrix).

Sei nun y = (y1, y2)T = o ein beliebiger Vektor mit (27). Dann gilt

yTHy = (y1, y2)

(1 00 −1

)(y1y2

)= y21 − y22

und nach Einsetzen von (27)

yTHy = y21 − y22 = y21 −1

4y21 =

3

4y22 > 0 ∀y = o mit y2 = 1

2y1.

Folglich ist

x0 = (43,23)

strikter lokaler Minimalpunkt der Aufgabe (26).

99

Bemerkungen zum Beispiel 2.4.8:

Beide Methoden lieferten also den gleichen Punkt als strikten lokalen

Minimalpunkt.

Die Substitutionsmethode ergibt allerdings zusatzlich, dass der berechnete

Punkt ein globaler Minimalpunkt ist

100

2.4.9 Notwendige Optimalitatsbedingungen 2. Ordnung.

In §2.4.1 hatten wir uberlegt, dass fur einen KKT-Punkt x0 im Falle

von Richtungen y ∈ K(x0,M) mit ∇f(x0)Ty = 0

Informationen uber zweite Ableitungen fur hinreichende Optimalitats-

bedingungen nutzlich sind.

Bekommt man auch zusatzliche notwendige Bedingungen 2. Ordnung?

Ja!

Die nicht-triviale Herleitung des folgenden Satzes findet man z.B. im

empfohlenen Lehrbuch von A. Ruszczynski in Kapitel 7.3. Wir betrachten

wieder den kritischen Kegel

C(x0, f,M) = K(x0,M) ∩ {x |∇f(x0)Ty = 0} .

101

Satz. (A. Ruszczynski (2006), Theorem 3.46) ∗)

Ist x0 ein lokaler Minimalpunkt der Aufgabe (P), der der MFCQ genugt,dann gilt

1. ∇f(x0)Ty = 0 fur alle y ∈ K(x0,M)(notwendige Bedingung 1. Ordnung),

2. fur jede Richtung y ∈ C(x0, f,M) existiert ein Paar von Multiplika-torvektoren (u, v) ∈ Λ(x0), so dass

yT∇2xxL(x

0, u, v)y ≥ 0 ,

wobei - wie in §2.2.13 -

Λ(x0) :=

{(u, v)

∇f(x0) +∑m

i=1 ui∇gi(x0) +∑r

j=1 vj∇hj(x0) = 0

ui ≥ 0, uigi(x0) = 0 (i = 1, . . . ,m).

}(notwendige Bedingung 2. Ordnung).

∗) Theorem 3.46 ist in einem etwas allgemeineren Kontext formuliert,insbesondere heisst MFCQ dort Robinson’s CQ.

102

2.5 KKT-Bedingungen fur Nash-Gleichgewichte

2.5.1 Definition eines Nash-Gleichgewichts. Es seien

x1 ∈ X1 , . . . , xn ∈ Xn

Strategien von n Spielern aus gewissen Strategienmengen Xj, deren

Gewinne durch

g1(x), ..., gn(x) mit x = (x1, ..., xn) ∈ X1 × · · · ×Xn,

gegeben sind, wenn Spieler i jeweils Strategie xi benutzt.

Hat Spieler i keinen Einfluss auf die Strategiewahl der anderen Spieler,

muss er zufrieden sein, wenn seine Wahl xi die Gleichung

maxξ{gi(x1, .., xi−1, ξ, xi+1, ..., xn) | ξ ∈ Xi} = gi(x)

erfullt. Die linke Seite ist nie kleiner als die rechte. Folglich definiert man

103

Definition.

Ein Strategientupel x ∈ X := X1 × · · · ×Xn, das den Bedingungen

gi(x) ≥ gi(x1, . . . , xi−1, ξi, xi+1, . . . , xn) ∀ξi ∈ Xi ∀i ∈ {1, . . . , n} (28)

genugt, heisst Nash-Gleichgewicht(slosung).

Formulierung als Fixpunktproblem: Dazu definiert man Fi(x) ⊂ Xi als

Fi(x) := argmax {gi(x1, .., xi−1, ξ, xi+1, ..., xn) | ξ ∈ Xi},

und fordert die Existenz eines Fixpunkts

x∗ ∈ F (x∗) := F1(x∗)× · · · × Fn(x

∗)

der mengenwertigen Abbildung x ∈ X 7→ F (x) ⊂ X - das ist aquivalent

zu (28), man setze dort x := x∗.

104

2.5.2 Ein ”konvexes” Gleichgewichtsmodell

Wir setzen hier fur jeden der n Spieler Nr. i ∈ {1, ..., n} voraus:

• Xi eine nichtleere, konvexe und kompakte Teilmenge des Rsi,

• gi : X → R stetig, wobei X = X1 × · · · ×Xn,

• und gi konkav in der Variablen ξi bei festgehaltenen Werten fur die

anderen Variablen, d.h., ξi 7→ gi(ξi, x−i) ist fur festes x konkav, wobei

(ξi, x−i) := (x1, . . . , xi−1, ξi, xi+1, . . . , xn).

Aus der Literatur ∗) ist wohlbekannt, dass unter diesen Voraussetzungen

ein Nash-Gleichgewicht existiert, d.h., es existiert ein x = (x1, . . . , xn) ∈ X,

so dass (28) gilt.

∗) Der Beweis erfordert tiefe Ergebnisse der Analysis und basiert meist

auf dem Fixpunktsatz von Kakutani, vgl. z.B. Borwein, Lewis, Convex

Analysis and Nonlinear Optimization, Springer (2000), Kapitel 8.

105

2.5.3 Kollektion von KKT-Systemen. Um Nash-Gleichgewichte auch

ausrechnen zu konnen, setzen wir zusatzlich voraus:

• Fur jedes i ∈ {1, . . . , n} ist gi : X = X1 × · · · ×Xn → R stetig differen-

zierbar und Xi hat eine Beschreibung der Form

Xi := {ξi ∈ Rsi |hij(ξi) ≤ 0, j = 1, . . . ,mi} ,• hij : Rsi → R, i = 1, . . . , n, j = 1, . . . ,mi, ist stetig differenzierbar.

Sei m := m1 + · · ·+mn und fur jedes Xi die Slater CQ erfullt.

Beim Losen des Nash-Gleichgewichtsmodells (28) muss man fur alle Spieler

ein parametrisches Optimierungsproblem losen und schauen, ob es einen

gemeinsamen Fixpunkt aller Optimalmengenabbildungen gibt.

106

Da gi und hij stetig differenzierbar sind, kann man fur jeden Spieler ”seine”KKT-Bedingungen aufschreiben ∗), das mit n·m (!) Multiplikatoren yij ≥ 0zu Spieler i und Restriktion ij auf die notwendigen und hinreichenden Be-dingungen (man kombiniere Korollar 2.3.11 und die Fixpunktbedingung)

−∇x1 g1(x1, x−1) +

m1∑j=1

y1j∇h1j(x1) = 0

−∇x2 g2(x2, x−2) +

m2∑j=1

y2j∇h2j(x2) = 0

...

−∇xn gn(xn, x−n) +

m∑j=1

ynj∇hnj(xn) = 0

hij(xi) ≤ 0, yij ≥ 0, yijhj(x

i) = 0

(i = 1, . . . , n; j = 1, . . . ,mi)

(29)

fur ein verallgemeinertes Nash-Gleichgewicht x fuhrt.

∗) Zu den Vorzeichen. Man beachte: es ist ein Maximierungsproblem!

107

Das System (29) ist ein sogenanntes

nichtlineares Komplementaritatsproblem

und kann, wenn es losbar ist, viele Losungen haben.

Hinweis: Fur jeden Spieler i werden die (partiellen) Gradienten ∇xi gi(x)

gerade bezuglich ”seines” Strategienvektors xi gebildet.

Interessante Konsequenz: Wir brauchten keine neuen Beweise beim

Ubergang von der KKT-Theorie fur konvexe Optimierungaufgaben und

fur das ”konvexe” Nash-Gleichgewichtsmodell in §2.5.2/2.5.3.

108

Anhang zu Kapitel 2

109

Beweis von MFCQ ⇒ Abadie-CQ in Lemma 2.2.8 Sei MFCQ in x0

erfullt, und es sei y ein Vektor, der der Bedingung (ii) in Definition 2.2.12

von MFCQ genugt. Ferner sei y ∈ K(M,x0) beliebig, aber fest, d.h., es

gilt

∇gi(x0)Ty ≤ 0, i ∈ I(x0), ∇hj(x0)Ty = 0, j = 1, . . . , r.

Zunachst einmal wahlen wir α > 0 beliebig, aber fest. Es genugt zu

zeigen, dass die Richtung y + αy zu T (M,x0) gehort. Da T (M,x0)

abgeschlossen ist, liefert der Grenzubergang α ↓ 0 dann auch y ∈ T (M,x0).

Mit Hilfe des Satzes uber implizite Funktionen kann man zeigen (wir

machen das am Ende des Beweises):

Es existieren ein s > 0 und eine stetig differenzierbare

Funktion x(·) : (−s, s)→ Rn, so dass x(0) = x0,

Dx(0) = y + αy und h(x(t)) = 0 ∀t ∈ (−s, s).

(30)

110

Sei nun i ∈ I(x0). Wegen y ∈ K(M,x0) und nach Wahl von y ist dann

yT∇gi(x0) ≤ 0, folglich (y + αy)T∇gi(x0) < 0.

Das ergibt nach der Kettenregel mit x(·) aus (30)

limt↓0

gi(x(t))− gi(x0)

t= ∇gi(x0)TDx(0) = ∇gi(x0)T(y + αy) < 0.

Folglich existiert ein t0 > 0, so dass

gi(x(t)) = gi(x(t))− gi(x0) < 0 ∀t ∈ (0, t0),

dabei wurde gi(x0) = 0 (wegen i ∈ I(x0)) benutzt. Sei t0 so klein, dass

diese Ungleichung fur alle i ∈ I(x0) gilt. Also haben wir jetzt

gi(x(t)) ≤ 0 ∀t ∈ (0, t0) ∀i ∈ I(x0). (31)

Da gj(x0) < 0 fur j ∈ {1, . . . ,m} \ I(x0) gilt und gj sowie x(·) stetig sind,

ist auch

gj(x(t)) < 0, j ∈ {1, . . . ,m} \ I(x0)

fur hinreichend kleine positive t (die speziell auch t < t0 erfullen mogen).

111

Damit gilt unter Beachtung von (30) und (31) fur

xk = x(tk) und tk = 1/k

und genugend grosses k, dass

xk ∈M.

Weiter gilt xk → x0 sowie

limk→∞

xk − x0

tk= y + αy,

d.h., y + αy ∈ T (M,x0), was zu zeigen war.

Es stand noch aus, die Aussage (30) zu beweisen. Sei dazu

d := y + αy.

Da sowohl Dh(x0)y = 0 als auch Dh(x0)y = 0 gilt, folgt

Dh(x0)d = 0.

112

Nun definieren wir

F (z, t) = h(x0 + td+Dh(x0)Tz), z ∈ Rr, t ∈ R .

Offenbar ist F (0r,0) = h(x0) = 0, wobei 0r den Nullvektor in Rr bezeich-

net. F ist stetig differenzierbar als Zusammensetzung einer affin-linearen

und einer stetig differenzierbaren Funktion. Wir rechnen nach Kettenregel

aus, dass

Jz := DzF (0r,0) = Dh(x0)Dh(x0)T

gilt. Da die Zeilen von Dh(x0) nach Bedingung (i) in der Definition von

MFCQ linear unabhangig sind, ist Jz eine invertierbare Matrix.∗

∗Dass Jz invertierbar ist, sieht man wie folgt. Sei A = Dh(x0). Dann ist

Jz = AAT eine (r, r)-Matrix. Sie ist regular (d.h. invertierbar): Wenn

namlich AATz = 0 gilt, so ist auch (ATz)T(ATz) = zTAATz = 0, folglich

gilt auch (Eigenschaften des euklidischen Skalarprodukts) ATz = 0. Da

die Spalten von AT linear unabhangig sind, folgt z = 0. Also ist AAT

regular.

113

Nach dem Satz uber implizite Funktionen gibt es dann ein s > 0 und eine

stetig differenzierbare Funktion

t ∈ (−s, s) 7→ z(t)

mit

z(0) = 0r und F (z(t), t) = 0 ∀t ∈ (−s, s).

Differentiation an der Stelle t = 0 liefert dann fur φ(t) := F (z(t), t) nach

Kettenregel

0r =dφ(0)

dt= DzF (0r,0)Dz(0) +DtF (0r,0) = JzDz(0) +Dh(x0)d.

Da Dh(x0)d = 0 gilt und Jz invertierbar ist, folgt

Dz(0) = 0r.

114

Wir definieren nun die (offenbar stetig differenzierbare) Funktion

x(t) := x0 + td+Dh(x0)z(t), t ∈ (−s, s).

Es gilt

x(0) = x0, Dx(0) = d = y + αy und h(x(t)) = 0 ∀t ∈ (−s, s),

damit ist Eigenschaft (30) gezeigt und der Beweis abgeschlossen.

115

Beweis von Satz 2.4.4:

Sei (x0, u, v) ein KKT-Punkt, der den Voraussetzungen des Satzes genuge.

Wir zeigen eine Aussage, die sogar starker ist als zu sagen, dass x0 ein

strikter lokaler Minimalpunkt ist, und zwar:

∃ε, c > 0 ∀x ∈ B◦(x0, ε) ∩M : f(x) ≥ f(x0) + c∥x− x0∥2. (32)

Angenommen, (32) ist falsch. Dann existiert eine Folge

{xk} ⊂M \ {x0} : xk → x0 undf(xk)− f(x0)

∥xk − x0∥2<

1

k∀k ∈ N. (33)

Also gilt

lim supk→∞

f(xk)− f(x0)

∥xk − x0∥2≤ 0. (34)

116

Ohne Beschrankung der Allgemeinheit existiere ein y mit

yk :=xk − x0

∥xk − x0∥→ y,

andernfalls wahle eine konvergente Teilfolge (die wegen der Kompaktheit

des Randes der Einheitskugel existiert). Nach Taylorentwicklung 1. Ord-

nung und (33) folgt

(xk − x0)T∇f(x0) + o(xk − x0) = f(xk)− f(x0) <1

k∥xk − x0∥2.

Nach Division durch ∥xk − x0∥ und Grenzubergang folgt

yT∇f(x0) ≤ 0. (35)

Sei nun φ irgendeine der Funktionen gi, i ∈ I(x0), bzw. hj oder −hj,j = 1, . . . ,m.

117

Nach Taylorentwicklung und wegen φ(x0) = 0 sowie φ(xk) ≤ 0 gilt dann

0 ≥ φ(xk)− φ(x0) = (xk − x0)T∇φ(x0) + o(xk − x0),

d.h., nach Division durch ∥xk − x0∥ und Grenzubergang folgt

yT∇φ(x0) ≤ 0.

Also ist

y ∈ K(x0,M).

Da (x0, u, v) KKT-Punkt ist, folgt – wie oben mehrfach benutzt (manbrauchte dazu weder die Abadie-CQ noch Konvexitat) – ∇f(x0)Ty ≥ 0fur alle y in K(x0,M), also gilt zusammen mit (35)

y ∈ C(x0, f,M), ∥y∥ = 1,

d.h., y ist nicht der Nullvektor und liegt im kritischen Kegel der Aufgabe(P) im Punkt x0. Damit gilt fur diese Richtung wegen der Bedingung 2.Ordnung

α := yTHy > 0, mit H = ∇2xxL(x

0, u, v).

118

Wir benutzen zu dem festen Vektor (u, v) die Abkurzung

τ(x) := L(x, u, v) = f(x) + uTg(x) + vTh(x),

d.h., speziell ist

τ(x0) = f(x0) (Komplementaritat)

und

∇τ(x0) = ∇xL(x0, u, v) = 0 (Lagrange-Bedingung)

sowie

∇2τ(x0) = H.

Ferner setzen wir tk := ∥xk−x0∥ und erhalten dann wegen u ≥ 0, g(xk) ≤ 0

und h(xk) = 0 (jeweils komponentenweise) und mit Taylor-Entwicklung

119

f(xk) ≥ f(xk) + uTg(xk) + vTh(xk)

= τ(xk)

= τ(x0) + (xk − x0)∇τ(x0) + 12(x

k − x0)T∇2τ(x0)(xk − x0) + o(t2k)

= f(x0) + 12 t2k yk

THyk + o(t2k),

wobei o(t2k)/(t2k)→ 0 mit k →∞ wie ublich.

Nach Division durch t2k folgt dann

f(xk)− f(x0)

t2k−

o(t2k)

t2k≥ 1

2 ykTHyk ≥

1

4α,

falls k genugend gross ist (denn α := yTHy > 0 und yk → y). Es folgtalso nach Grenzubergang und wegen (34)

0 <1

4α ≤ lim sup

k→∞

f(xk)− f(x0)

t2k≤ 0,

ein Widerspruch! Damit war die Annahme falsch und die gewunschteAussage (32) ist bewiesen.

120