Matthias Gerdts Frank Lempio MATHEMATISCHE METHODEN...

Matthias Gerdts • Frank Lempio

MATHEMATISCHE METHODEN DES

OPERATIONS RESEARCH

Adresse der Autoren:

Matthias Gerdts

Schwerpunkt Optimierung und ApproximationFachbereich MathematikUniversitat Hamburg

Bundesstrasse 55D-20146 Hamburg

E-Mail: [email protected]

Frank Lempio

Lehrstuhl fur Angewandte Mathematikan der Universitat Bayreuth

D-95440 Bayreuth

E-Mail: [email protected]

Last Revision: March 8, 2006

Copyright c© 2006 by Matthias Gerdts and Frank Lempio

Inhaltsverzeichnis

1 Einleitung 11.1 Problemtypen . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 Grundbegriffe und

typische Fragestellungen . . . . . . . . . . . . . . . . . . . . . 2

2 Lineare Optimierung 52.1 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2 Primales Simplex-Verfahren . . . . . . . . . . . . . . . . . . . 92.3 Vermeidung von Zyklen . . . . . . . . . . . . . . . . . . . . . 212.4 Revidiertes primales Simplex-Verfahren . . . . . . . . . . . . 302.5 Stabilisierung des Simplex-Verfahrens . . . . . . . . . . . . . 342.6 Dualitat und Sensitivitat . . . . . . . . . . . . . . . . . . . . . 402.7 Das duale Simplex-Verfahren . . . . . . . . . . . . . . . . . . 51

3 Netzwerkflussprobleme 613.1 Graphentheoretische Grundbegriffe . . . . . . . . . . . . . . . 613.2 Netzwerksimplexverfahren . . . . . . . . . . . . . . . . . . . . 653.3 Maximale Flusse in Netzwerken . . . . . . . . . . . . . . . . . 87

4 Konvexe Optimierung 1074.1 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . 1074.2 Optimalitatsbedingungen . . . . . . . . . . . . . . . . . . . . 1114.3 Sensitivitat und Dualitat . . . . . . . . . . . . . . . . . . . . . 1294.4 Sattelpunkte und Komplementaritat . . . . . . . . . . . . . . 1394.5 Schnittebenenverfahren . . . . . . . . . . . . . . . . . . . . . 150

iii

iv INHALTSVERZEICHNIS

5 Differenzierbare Optimierung 1575.1 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . 1575.2 Notwendige Optimalitatsbedingungen . . . . . . . . . . . . . 1625.3 Hinreichende Optimalitatsbedingungen

und Sensitivitat . . . . . . . . . . . . . . . . . . . . . . . . . . 1815.4 Optimalitatsbedingungen zweiter Ordnung . . . . . . . . . . . 190

6 Nonlinear Programming-Konzepte 2016.1 Reduktionsmethoden . . . . . . . . . . . . . . . . . . . . . . . 2016.2 Methode der zulassigen Richtungen . . . . . . . . . . . . . . . 2036.3 Projektionsverfahren . . . . . . . . . . . . . . . . . . . . . . . 2116.4 Lagrange-Newton-Verfahren . . . . . . . . . . . . . . . . . . . 2146.5 Sequential Quadratic Programming . . . . . . . . . . . . . . . 218

7 Diskrete Dynamische Optimierung 2257.1 Einfuhrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2257.2 Beispiele und Anwendungen . . . . . . . . . . . . . . . . . . . 229

7.2.1 Diskretisierte Optimalsteuerungsprobleme . . . . . . . 2307.2.2 Lagerhaltung . . . . . . . . . . . . . . . . . . . . . . . 2327.2.3 Rucksackpackproblem . . . . . . . . . . . . . . . . . . 2357.2.4 Zuordnungsprobleme . . . . . . . . . . . . . . . . . . . 2367.2.5 Zuverlassigkeitsprobleme . . . . . . . . . . . . . . . . . 238

7.3 Das Optimalitatsprinzip von Bellman . . . . . . . . . . . . . 2397.4 Dynamische Programmierung . . . . . . . . . . . . . . . . . . 2417.5 Diskretes Maximumprinzip . . . . . . . . . . . . . . . . . . . 2477.6 Kontinuierliches Maximumprinzip . . . . . . . . . . . . . . . . 257

8 Ganzzahlige Optimierung 2638.1 Beispiele fur ganzzahlige und

kombinatorische Optimierungsprobleme . . . . . . . . . . . . 2638.2 Schnittebenenverfahren von Gomory . . . . . . . . . . . . . . 2708.3 Branch and Bound-Methoden . . . . . . . . . . . . . . . . . . 2928.4 Travelling Salesman Problem . . . . . . . . . . . . . . . . . . 303

Literaturverzeichnis 313

Kapitel 1

Einleitung

Was ist Operations Research?Nach [MEYERS, Bd.10:1984]:

Operations Research (Operational Research, “Operationsforschung”, Un-ternehmensforschung), Methodik der quantitativen Analyse, Formalisierungund Losung von Entscheidungsproblemen mittels mathematischer Modelle.OR umfasst eine Vielzahl von Methoden und Modellen, die sich auf ver-schiedene mathematische Kalkule stutzen und auf sehr vielen Sachgebieteneingesetzt werden (z.B. in der Betriebswirtschaftslehre, in der Stadte- undVerkehrsplanung, auf volkswirtschaftlichem und militarischem Sektor, in derMedizin und in der Technik).

Etwas pragnanter:

OR befasst sich mit der Modellierung, der qualitativenund quantitativen Analyse und der algorithmischenLosung von Entscheidungsproblemen.

Hauptanwendungsgebiete sind die Analyse und Optimierung vernetzter Sy-steme in Wirtschaftsbetrieben, in der Stadte- und Verkehrsplanung, in derVolkswirtschaft und in der Technik.

Von den zahlreichen hierbei eingesetzten mathematischen Theorien undVerfahren kann nur eine Auswahl vorgestellt werden:

Grundbegriffe (aus Optimierung und Systemtheorie),lineare Optimierung,

1

2 Kapitel 1. Einleitung

konvexe Optimierung,differenzierbare Optimierung,Netzwerkflussprobleme,dynamische Optimierung,ganzzahlige und kombinatorische Optimierung.

Zunachst stellen wir einige Beispiele vor, formalisieren diese Beispieledann mittels einiger Grundbegriffe aus der Systemtheorie und Optimierungund schließen diese Einleitung mit einer Ubersicht uber typische Fragestel-lungen.

1.1 Problemtypen

Vergleiche [59, 61, 60, 62, 77, 78, 47, 2, 3, 6, 29, 22, 23].

1.2 Grundbegriffe undtypische Fragestellungen

Fast alle angegebenen Optimierungsaufgaben sind Spezialfalle des folgendenallgemeinen Problems.

1.2.1. Allgemeines Optimierungsproblem. X sei eine beliebige Mengeund K1 ⊂ X, f : X −→ R eine reelle Funktion, Z sei eine beliebige Mengeund K2 ⊂ Z, g : X −→ Z eine Abbildung.

Mit diesen Daten lautet das Optimierungsproblem:(P) Minimiere f(x) unter den Nebenbedingungen

x ∈ K1, g(x) ∈ K2 !

1.2.2. Definitionen. Mit den Bezeichnungen aus 1.2.1 heißt f Zielfunk-tion, g Restriktionsabbildung, x ∈ K1 implizite Restriktion und g(x) ∈ K2

explizite Restriktion.Jedes x ∈ K1 mit g(x) ∈ K2 heißt zulassige Losung, w = inf{f(x) : x ∈

K1, g(x) ∈ K2} heißt Wert des Problems. x0 heißt Optimallosung, falls x0

zulassig ist und

f(x0) = inf{f(x) : x ∈ K1, g(x) ∈ K2}= min{f(x) : x ∈ K1, g(x) ∈ K2} .

1.2. Grundbegriffe und typische Fragestellungen 3

Typische Fragestellungen:

i) Existieren uberhaupt zulassige Losungen?

ii) Exisistieren Optimallosungen?

iii) Ist die Optimallosung eindeutig bestimmt?

iv) Wie hangen die Optimallosungen von den Problemdaten ab?

v) Welche Eigenschaften besitzen Optimallosungen, mit anderen Wor-ten welche Bedingungen werden von einer Optimallosung notwendigerfullt?

vi) Welche Bedingungen sind hinreichend dafur, dass eine zulassige Lo-sung optimal ist?

vii) Welche Bedingungen sind gleichzeitig notwendig und hinreichend furOptimalitat, charakterisieren also die Optimallosungen?

viii) Wie gewinnt man aus zulassigen Losungen Informationen uber dieOptimallosungen, insbesondere Einschließungen fur den Optimalwertund Fehlerabschatzungen fur die Optimallosung?

ix) Welche konzeptionellen Algorithmen zur Berechnung einer Optimallo-sung stehen zur Verfugung?

x) Welche numerischen Eigenschaften besitzen diese Algorithmen (Kon-vergenz, Konvergenzgeschwindigkeit, Stabilitat)?

Die Fragestellungen i) – vii) sind uberwiegend theoretischer Natur. Aberohne ihre Beantwortung ist die Behandlung der numerischen Fragestellun-gen viii) – x) nicht moglich.

4 Kapitel 1. Einleitung

Kapitel 2

Lineare Optimierung

Besonders einflussreich fur die lineare Optimierung waren die Bucher [16, 44,45, 14, 5]. Eine elementare Darstellung, in der auch alle dualitatstheoretischenHilfsmittel konstruktiv bewiesen werden, gibt [54]. Das Netzwerksimplexver-fahren ist sehr schon in [13] beschrieben.

Die Dualitatssatze der infiniten linearen oder konvexen Optimierung ha-ben ihren funktionalanalytischen Hintergrund in der Dualitatstheorie linea-rer Vektorraume. Fur endlichdimensionale lineare Optimierungsprobleme,wie sie in diesem Kapitel ausschließlich behandelt werden, kann die Anwen-dung dieser Theorie aber vollstandig vermieden werden.

Wir zeigen dies in den Abschnitten 2.1, 2.2 und 2.6, indem wir alle ein-schlagigen Existenz-, Charakterisierungs- und Dualitatssatze der finiten li-nearen Optimierung konstruktiv mit dem Simplex-Algorithmus beweisen.Die Beweise sind nur vollstandig, wenn auch entartete Basislosungen zu-gelassen werden. Dies erreichen wir durch die lexikographische Variantedes Simplex-Verfahrens, die in Abschnitt 2.3 storungstheoretisch begrundetwird, oder durch die Blandsche Anti-Zyklusregel.

Von den vielen weiteren Varianten des Simplex-Algorithmus wird in Ab-schnitt 2.4 das revidierte primale Simplex-Verfahren und in Abschnitt 2.5das stabilisierte Simplex-Verfahren vorgestellt.

2.1 Problemstellung

Finite lineare Optimierungsprobleme haben die folgende Form.

5

6 Kapitel 2. Lineare Optimierung

2.1.1. Lineares Optimierungsproblem. Vorgegeben seien ein fester n-Vektor c, ein fester m-Vektor b, eine feste m×n-Matrix A und ganze Zahlenm′ ∈ {0, 1, . . . ,m} und n′ ∈ {0, 1, . . . , n}.

Minimieren∑

j=1

cjxj

unter den Nebenbedingungen

n∑j=1

aijxj ≤ bi (i = 1, . . . ,m′) ,

n∑j=1

aijxj = bi (i = m′ + 1, . . . ,m)

und den Vorzeichenbedingungen

xj ≥ 0 (j = 1, . . . , n′) .

Die Darstellung eines konkreten Problems als lineares Optimierungspro-blem 2.1.1 ist keineswegs eindeutig.

Fuhren wir z. B. so genannte Schlupfvariablen

s1, . . . , sm′

ein, so ist das Problem 2.1.1 aquivalent zu:

Minimieren∑

j=1

cjxj


n∑j=1

aijxj + si = bi (i = 1, . . . ,m′) ,

n∑j=1

aijxj = bi (i = m′ + 1, . . . ,m)

2.1. Problemstellung 7

und den Vorzeichenbedingungen

xj ≥ 0 (j = 1, . . . , n′) ,si ≥ 0 (i = 1, . . . ,m′) .

Schreiben wir uberdies jede nicht vorzeichenbeschrankte Variable als Dif-ferenz zweier vorzeichenbeschrankter Variablen,

xj = x+j − x

−j (j = n′ + 1, . . . , n) ,

so wird das Problem 2.1.1 aquivalent zu:

Minimieren′∑

j=1

cjxj +n∑

j=n′+1

cj(x+j − x

−j )


n′∑j=1

aijxj +n∑

j=n′+1

aij(x+j − x

−j ) + si = bi (i = 1, . . . ,m′) ,

n′∑j=1

aijxj +n∑

j=n′+1

aij(x+j − x

−j ) = bi (i = m′ + 1, . . . ,m) ,

xj ≥ 0 (j = 1, . . . , n′) ,x+

j ≥ 0 (j = n′ + 1, . . . , n) ,

x−j ≥ 0 (j = n′ + 1, . . . , n) ,

si ≥ 0 (i = 1, . . . ,m′) .

Somit ist das lineare Optimierungsproblem 2.1.1 aquivalent zur folgendenso genannten primalen Normalform.

2.1.2. Primale Normalform. Vorgegeben seien c ∈ Rn, b ∈ Rm und diereelle m×n-Matrix A.

Minimierec?x

unter den Nebenbedingungen x ∈ Rn und

Ax = b, x ≥ 0Rn .


Soweit erforderlich, ist dabei ≥ komponentenweise zu verstehen. Wir er-lautern die Problemstellung geometrisch an Hand eines schon fast als histo-risch zu bezeichnenden Beispiels.

Beispiel 2.1.3 (vergl. [14]). Ein landwirtschaftlicher Betrieb besitzt Stal-lungen fur 50 Kuhe und 200 Schafe. Außerdem verfugt er uber 72 MorgenWeideland und 10 000 Arbeitsstunden jahrlich. Eine Kuh benotigt 1 Mor-gen, ein Schaf 0.2 Morgen Weideland. Fur eine Kuh sind jahrlich 150 Ar-beitsstunden, fur ein Schaf sind jahrlich 25 Arbeitsstunden erforderlich. Derjahrliche Gewinn pro Kuh betragt 250 DM, der jahrliche Gewinn pro Schafbetragt 45 DM. Man maximiere den jahrlichen Gesamtgewinn unter all die-sen Nebenbedingungen.

Bezeichnen wir mit x1 die Anzahl der gehaltenen Kuhe, mit x2 die Anzahlder gehaltenen Schafe, so lautet das Problem in der Gestalt 2.1.1:

Minimiere

−250x1 − 45x2


x1 ≤ 50,x2 ≤ 200,

x1 + 0.2x2 ≤ 72,150x1 + 25x2 ≤ 10000,

x1 ≥ 0,x2 ≥ 0 .

Die zulassigen Punkte bilden eine konvexe polyedrische Menge M . In derSchar paralleler Hyperebenen

{x ∈ R2 : −250x1 − 45x2 = γ} (γ ∈ R)

sucht man diejenige mit minimalem γ = γopt, deren Durchschnitt mit Mnichtleer ist.

Anschaulich ist klar, dass die Hyperebene

{x ∈ R2 : −250x1 − 45x2 = γopt}

mindestens einen Eckpunkt von M enthalt.Da in diesem Beispiel M nur die in der folgenden Ubersicht

2.2. Primales Simplex-Verfahren 9

Eckpunkt P x1(P ) x2(P ) −250x1(P )− 45x2(P )

P0 0 0 0

P1 0 200 −9000

P2 32 200 −17000

P3 40 160 −17200

P4 50 100 −17000

P5 50 0 −12500

enthaltenen Ecken besitzt, erhalt man als Optimallosung

x1 = 40, x2 = 160

und als Maximalgewinn−γopt = 17200 .

Fur weitere Anwendungen vergleiche man die umfangreiche Literatur,insbesondere [47], [16], [38], [44], [14].

Schon fur relativ kleine Probleme wird die Anzahl der Ecken von M sehrgroß, so dass obige Suchmethode nicht durchfuhrbar ist.

2.2 Primales Simplex-Verfahren

Das zu losende lineare Optimierungsproblem sei in der primalen Normalformgegeben. Im Gegensatz zu Abschnitt 2.1 fordern wir jetzt zusatzlich, dass Avollen Zeilenrang m besitzt. Dies kann in einer Vorphase 0 des eigentlichenAlgorithmus z. B. mit Hilfe des Gaußschen Eliminationsverfahrens erreichtwerden.

2.2.1. Primale Normalform. Vorgegeben seien c ∈ Rn, b ∈ Rm und diereelle m×n-Matrix A mit vollem Zeilenrang m.(P) Minimiere

c?x


Ax = b, x ≥ 0Rn .


In diesem Falle ist

M = {x ∈ Rn : Ax = b, x ≥ 0Rn}

die Menge der zulassigen Punkte .Die im folgenden definierten zulassigen Basislosungen entsprechen geo-

metrisch den Ecken von M .

2.2.2. Definition. p ∈ Rn heißt zulassige Basislosung fur das Optimie-rungsproblem 2.2.1, falls gilt:

p ist zulassig, d. h.

Ap = b, p ≥ 0Rn ,

und die Spalten

aj (j ∈ J+)

von A, deren Indizes positiven Komponenten von p entsprechen, sind linearunabhangig.

Insbesondere besteht J+ aus hochstens m Indizes. Da der Rang von Agleich m ist, lassen sich die Spalten

(aj)j∈J+

stets zu einem System von m

linear unabhangigen Spalten(aj)j∈J

von A erweitern.Dabei gilt naturlich

J+ ⊂ J ⊂ {1, . . . , n} .

2.2.3. Definition. p sei zulassige Basislosung fur das Problem 2.2.1. Dannheißt jedes System

AJ =(aj)j∈J

von m linear unabhangige Spalten von A, das die Spalten aj (j ∈ J+) von Aumfasst, deren Indizes positiven Komponenten von p entsprechen, Basis vonp. Die Indizes aus J heißen Basisindizes, die Indizes aus Jc = {1, . . . , n} \ Jheißen Nichtbasisindizes.

Die Komponenten

pj (j ∈ J)

von p heißen Basiskomponenten, die ubrigen Komponenten heißen Nichtba-siskomponenten.


Wir wollen konstruktiv samtliche einschlagigen Existenz- und Dualitats-aussagen der linearen Optimierung mit dem folgenden konzeptionellen Sim-plex-Algorithmus beweisen. Dabei beginnen wir mit Phase II des Verfahrens.Spater werden wir zeigen, wie man in Phase I mit dem Algorithmus ausPhase II, aber abgeanderter Zielfunktion eine zulassige Basislosung fur denStart von Phase II finden kann.

2.2.4. Primales Simplex-Verfahren. p sei zulassige Basislosung fur dasProblem 2.2.1 mit zugehoriger Basis AJ , es ist also

Ap = b, p ≥ 0Rn ,

pk = 0 (k /∈ J) ,AJ = (aj)j∈J regular.

Wir versuchen, ausgehend von p langs Kanten der zulassigen Menge Mzulassige Punkte zu finden mit kleinerem Zielfunktionswert. Definiere dazufur λ ≥ 0 die Kantenhalbgerade

s(λ) = p− λxk

mit

As(λ) = b ,

sk(λ) = λ fur ein k /∈ J ,

sj(λ) = 0 (j /∈ J, j 6= k) .

Dies ist gleichbedeutend mit

xkj = 0 (j /∈ J, j 6= k) ,

xkk = −1 ,

Axk = 0Rm ,

bzw. bei sinngemaßer Verwendung der Matrixschreibweise

AJxkJ = ak .

Wegen

c?s(λ) = c?(p− λxk)= c?p− λ

(c?Jx

kJ − ck

)


lasst sich langs s(λ) der Zielfunktionswert auf diese Weise hochstens dannverringern, wenn gilt

c?JxkJ − ck > 0 .

Fall 1. Es geltec?Jx

kJ − ck ≤ 0

fur alle k ∈ {1, . . . , n} \ J .

Sei z ∈M ein beliebiger zulassiger Punkt,

Az = b ,

z ≥ 0Rn .

Dann besitzt z wegen

AJzJ +AJc

zJc = b = AJpJ

die DarstellungzJ = pJ −

(AJ)−1

AJc

zJc .

Also ist

c?z = c?JpJ − c?JxJc

J zJc + c?JczJc

= c?p−(c?Jx

Jc

J − c?Jc

)zJc

= c?p−∑k∈Jc

(c?Jx

kJ − ck

)zk

≥ c?p .

Da z ∈ M beliebig gewahlt wurde, ist p bereits eine optimale zulassigeBasislosung.

Fall 2. Es gebe einen Index k ∈ {1, . . . , n} \ J mit

c?JxkJ − ck > 0 .

Dann ist zunachst zu untersuchen, wie groß λ ≥ 0 gewahlt werden kann, sodass

s(λ) = p− λxk

zulassig bleibt.


Nach Konstruktion gilt

As(λ) = b (λ ≥ 0) ,

und es ists(λ) = p− λxk ≥ 0Rn

gleichbedeutend mit

pj − λxkj ≥ 0 (j ∈ J) .

Fall 2α. Seixk

j ≤ 0

fur alle j ∈ J .

Dann ist s(λ) zulassig fur alle λ ≥ 0 und daher die Zielfunktion auf Mnicht nach unten beschrankt,

limλ→∞

c?s(λ) = c?p− limλ→∞

λ(c?Jx

kJ − ck

)= −∞ .

Fall 2β. Es gebe einen Index j ∈ J mit

xkj > 0 .

Dann istpj − λxk

j ≥ 0 (j ∈ J)

genau dann, wennλ ∈ [0, λ′]

mitλ′ = min

j∈J

xkj >0

pj

xkj

.

Fall 2β1. Seiλ′ > 0 .

Definierep′ = s(λ′) = p− λ′xk ,

dann ist p′ nach Konstruktion zulassig, und es gilt

c?p′ = c?p− λ′(c?Jx

kJ − ck

)< c?p .


Sei l ∈ J ein Basisindex mit xkl > 0 und

λ′ =pl

xkl

= minj∈J

xkj >0

pj

xkj

.

Dann ist

p′j = pj − λ′xkj ≥ 0 (j ∈ J, j 6= l) ,

p′l = 0 ,p′k = λ′ > 0 ,p′j = 0 (j /∈ J, j 6= k) .

DefiniereJ ′ = (J \ {l}) ∪ {k} .

WegenAJxk

J =∑j∈J

xkj a

j = ak

und xkl > 0 ist nach dem Austauschsatz von Steinitz

span{aj |j ∈ J

}= span

{aj |j ∈ J ′

},

also ist AJ′ regular und damit p′ eine zulassige Basislosung mit kleineremZielfunktionswert.

Fall 2β2. Seiλ′ = 0 .

Dieser Fall tritt dann ein, wenn es j ∈ J gibt mit xkj > 0 und pj = 0.

Dann ist p eine so genannte entartete Basislosung.

Setzt man voraus, dass es nur nichtentartete Basislosungen gibt, dassalso alle Basiskomponenten positiv ausfallen, so kann der letzte Fall nichteintreten.

Im allgemeinen benotigt man aber Zusatzvorschriften, die das Auftre-ten von Zyklen verhindern. Solche Anti-Zyklusregeln untersuchen wir imnachsten Abschnitt.

Da es nur endlich viele Basisindexmengen gibt, gibt es auch nur endlichviele zulassige Basislosungen. Der eben beschriebene Algorithmus ist alsoendlich, falls man eine der Anti-Zyklusregeln aus Sektion 2.3 beachtet.

Insgesamt haben wir damit konstruktiv gezeigt


2.2.5. Satz. Das Optimierungsproblem 2.2.1 besitze wenigstens eine zulas-sige Basislosung.

Dann ist das primale Simplex-Verfahren mit Anti-Zyklusregel endlich. Esliefert entweder eine optimale zulassige Basislosung oder die Information,dass die Zielfunktion auf der zulassigen Menge nicht nach unten beschranktist.

Wir zeigen noch, wie man in der so genannten Phase I des Verfahrenskonstruktiv eine zulassige Basislosung bestimmen kann.

Durch Multiplikation einiger Gleichungsnebenbedingungen mit −1 kon-nen wir erreichen, dass

b ≥ 0Rm

ausfallt. Betrachte damit das Hilfsproblem

Ax+ Emy = b ,

x ≥ 0Rn , y ≥ 0Rm

mit der modifizierten Zielfunktion

m∑i=1

yi .

Offenbar ist x = 0Rn , y = b eine zulassige Basislosung mit der Basis Em.Außerdem ist der Zielfunktionswert auf der zulassigen Menge durch 0

nach unten beschrankt. Also liefert das primale Simplex-Verfahren bei Be-achtung einer Anti-Zyklusregel nach endlich vielen Schritten eine optimalezulassige Basislosung

x, y .

Ist der Minimalwertm∑

i=1

yi > 0, so besitzt das Ausgangsproblem 2.2.1 kei-

ne zulassige Losung. Ist der Minimalwertm∑

i=1

yi = 0, so ist x zulassig fur

das Ausgangsproblem 2.2.1, und die zu positiven Komponenten xj > 0gehorenden Spalten aj von A sind linear unabhangig, da x, y Basislosungdes Hilfsproblems war. Sind weniger als m Komponenten von x positiv, d.h.war x, y eine entartete optimale Basislosung des Hilfsproblems, so erganzeman

{aj : xj > 0}


durch weitere Spalten von A zu einer Basis AJ fur das Ausgangsproblem2.2.1. Da A vollen Zeilenrang m besitzt, ist dies stets moglich. In jedem Falleist x eine zulassige Basislosung fur das Ausgangsproblem 2.2.1. Insgesamtwurde damit konstruktiv der folgende Satz bewiesen.

2.2.6. Satz. Vorgelegt sei das lineare Optimierungsproblem in der prima-len Normalform 2.2.1. Dann tritt genau einer der folgenden drei Falle ein:a) Es gibt keine zulassigen Losungen.b) Die Zielfunktion ist auf der zulassigen Menge nicht nach unten be-schrankt.c) Es gibt eine optimale zulassige Basislosung.

Wir stellen noch die Rekursionsformeln fur das primale Simplex-Verfah-ren zusammen.

2.2.7. Rekursionsformeln fur das primale Simplex-Verfahren.Die Basis AJ′ entstehe aus der Basis AJ gemaß Phase II, Fall 2β durch

Ersetzen des Index l ∈ J durch den Index k /∈ J . Dann sind durch dieFormeln

p′k =pl

xkl

, p′i = pi −plx

ki

xkl

(i ∈ J ′ \ {k}) ,

c?J′p′J′ = c?JpJ −

pl

xkl

[c?Jx

kJ − ck

],

x′jk =xj

l

xkl

, x′ji = xji −

xjlx

ki

xkl

(i ∈ J ′ \ {k}, j /∈ J ′ ∪ {l}) ,

x′lk =1xk

l

, x′li = −xki

xkl

(i ∈ J ′ \ {k}) ,

c?J′x′jJ′ − cj = c?Jx

jJ − cj −

xjl

xkl

[c?Jx

kJ − ck

](j /∈ J ′ ∪ {l}) ,

c?J′x′lJ′ − cl = − 1

xkl

[c?Jx

kJ − ck

]nacheinander die neue Basislosung p′, der zugehorige Wert c?J′p

′J′ der Ziel-

funktion, die Losungen x′JJ′ der der neuen Basis entsprechenden SystemeAJ′x′jJ′ = aj (j /∈ J ′), die fur die Untersuchung von p′ auf Optimalitatbenotigten Zahlen c?J′x

′jJ′ − cj (j /∈ J ′) gegeben.


Beweis. Die Formeln fur p′ und c?J′p′J′ entnehme man Phase II, Fall 2β.

Die Vektoren xjJ bzw. xj

J′ losen die Systeme

AJxjJ = aj bzw. AJ′x′jJ′ = aj (j = 1, . . . , n) .

Hieraus folgt fur j ∈ {1, . . . , n}

0Rm = AJxjJ −A

J′x′jJ′

= AJ\{l}xjJ\{l} −A

J′\{k}x′jJ′\{k} + alxjl − a

kx′jk

=∑

i∈J′\{k}

ai[xj

i − x′ji − x

ki x′jk

]+ al

[xj

l − xkl x′jk

],

wobei ak mittels alter Basis J ausgedruckt wurde. Also ist notwendig

x′jk =xj

l

xkl

, x′ji = xji −

xjlx

ki

xkl

(i ∈ J ′ \ {k}) .

Weiter folgt

c?J′x′jJ′ − cj = c?J′\{k}

[xj

J′\{k} −xj

l

xkl

xkJ′\{k}

]

+ckxj

l

xkl

− cj + clxjl − clx

jl

xkl

xkl

= c?JxjJ − cj −

xjl

xkl

[c?Jx

kJ − ck

].

Fur j = l ergeben sich Vereinfachungen aus

xll = 1, xl

i = 0 (i ∈ J \ {l} = J ′ \ {k}) .

Wir greifen das Beispiel 2.1.3 wieder auf und erlautern damit den Ta-bleauwechsel fur das primale Simplex-Verfahren.

2.2.8. Beispiel. Minimiere

−250x1 − 45x2



x1 ≤ 50 ,x2 ≤ 200 ,

x1 + 0.2x2 ≤ 72 ,150x1 + 25x2 ≤ 10 000 ,

x1 ≥ 0 ,x2 ≥ 0 .

Durch Einfuhrung von Schlupfvariablen x3, x4, x5, x6 erhalten wir die pri-male Normalform:

Minimiere

(−250,−45, 0, 0, 0, 0) x

unter den Nebenbedingungen x ∈ R6, x ≥ 0R6 und1 0 1 0 0 0

0 1 0 1 0 0

1 0.2 0 0 1 0

150 25 0 0 0 1

x =

50

200

72

10 000

.

Als zulassige Basislosung erhalten wir

p =

0

0

50

200

72

10 000

,

als zugehorige Basisindexmenge J = {3, 4, 5, 6}.Damit konnen wir alle wesentlichen Daten fur das Simplexverfahren in

Tableauform festhalten, wobei die Tableaus nach folgendem Schema besetzt


werden:Jc

J xJc

J pJpJ

xkJ

c?JxJc

J − cJc c?JpJ

Als Starttableau erhalten wir:

1 2

3 1 0 50 50

4 0 1 200 —

5 1 0.2 72 72

6 150 25 10000 1000/15

250 45 0

Die hinreichende Bedingung ist nicht erfullt, wir konnen einen Nichtba-sisindex k = 1 wahlen mit c?Jx

kJ − ck > 0.

Weiter existiert ein j ∈ J mit xkj > 0. Wir bestimmen in einer Neben-

rechnung l ∈ J mitpl

xkl

= minj∈J

xkj >0

pj

xkj

und erhalten l = 3 .Das Pivotelement fur den ersten Austauschschritt ist also

x13 = 1 .

Damit konnen wir den Tableauwechsel schematisch durchfuhren und erhal-ten:

3 2

1 1 0 50 —

4 0 1 200 200

5 -1 0.2 22 110

6 -150 25 2500 100

-250 45 -12500


Wiederum lasst sich ein Nichtbasisindex k = 2 wahlen mit c?Jx2J − c2 > 0,

und wiederum existieren j ∈ J mit xkj > 0. Die Nebenrechnung liefert als

Pivotzeilenindex l = 6 . Damit erhalten wir als neues Tableau:

3 6

1 1 0 50 50

4 6 -0.04 100 100/6

5 0.2 -0.008 2 10

2 -6 0.04 100 –

20 -1.8 -17000

Als nachstes Tableau erhalten wir mit k = 3 und l = 5 :

5 6

1 -5 0.04 40

4 -30 0.2 40

3 5 -0.04 10

2 30 -0.2 160

-100 -1 -17200

Jetzt gilt fur alle k ∈ Jc = {5, 6}

c?JxkJ − cj ≤ 0 ,

also ist das Optimalitatskriterium erfullt, und wir erhalten als Optimallo-sung

p1 = 40p2 = 160p3 = 10p4 = 40p5 = 0p6 = 0

2.3. Vermeidung von Zyklen 21

und als Optimalwertc?p = −17200 .

2.3 Vermeidung von Zyklen

Zunachst beschreiben wir die storungstheoretische Interpretation des lexi-kographischen Simplex-Verfahrens, bei dem das Auftreten von Zyklen ver-mieden wird.

Es trete also der Fall ein, dass ein Schritt des primalen Simplex-Verfahrensdie aktuelle zulassige Basislosung p ungeandert lasst,

p′ = p .

Jeder Basisindex l ∈ J mit xkl > 0 und pl = 0 liefert zwar eine neue Basis

AJ′

von p mitJ ′ = (J \ {l}) ∪ {k} .

Man muss aber vermeiden, dass dieselbe Basis von p mehrfach auftritt,da der Algorithmus dann in eine unendliche Schleife gerat. Dies kann mandurch eine besondere Auswahlstrategie fur den aus der Basisindexmenge zuentfernenden Index l erreichen.

2.3.1. Lexikographische Anti-Zyklusregel. Wir storen dazu das Op-timierungsproblem, um die Entartung aufzuheben. Sei p irgendeine festgewahlte zulassige Basislosung mit Basisindexmenge J , z. B. die gerade un-tersuchte p, und

p(·) : [0,∞) −→ Rn, p = p(0) ,

die Abbildung mit

p(ε)J = pJ +

ε1

...

εm

,

p(ε)j = 0 (j /∈ J) .


Dann erfullt p(·) die Bedingungen:

Ap(ε) = AJ p(ε)J = AJ pJ +AJ

ε1

...

εm

,

p(ε)j > 0 (j ∈ J , 0 < ε <∞) .

p(ε) ist also fur jedes ε > 0 eine nichtentartete zulassige Basislosung fur dasProblem mit gestorter rechter Seite

b(ε) = b+AJ

ε1

...

εm

und zugehoriger Basisindexmenge J .

Diese Storung der rechten Seite bewirkt auch eine Storung samtlicherspater berechneter Basislosungen. Wir nehmen induktiv an, dass sich dieaktuelle Basislosung p einbetten lasst in die einparametrige Familie

p(·) : [0, ε0] −→ Rn, p = p(0) ,

mit

Ap(ε) = b+AJ

ε1

...

εm

,

p(ε)j > 0 (j ∈ J, 0 < ε ≤ ε0) ,p(ε)j = 0 (j /∈ J)

fur alle 0 ≤ ε ≤ ε0 mit gewissem ε0 > 0. Beachte, dass dann notwendiger-


weise

p(ε)J = (AJ)−1b+ (AJ)−1AJ

ε1

...

εm

= pJ + xJJ

ε1

...

εm

gilt. Nummerieren wir die Indizes von J ,

J = (s1, . . . , sm) ,

so wird deutlich, dass

p(ε)j = pj +m∑

µ=1

xsµ

j εµ (j ∈ J)

polynomial vom Storparameter abhangt.Betrachte jetzt fur 0 < ε ≤ ε0

λ′(ε) = minj∈J

xkj >0

p(ε)j

xkj

= minj∈J

xkj >0

pj +∑m

µ=1 xsµ

j εµ

xkj

.

Fur hinreichend kleines 0 < ε1 ≤ ε0 wird das Minimum fur einen Indexl ∈ J mit xk

l > 0 angenommen, der unabhangig von ε ∈ (0, ε1] ist:Unter den Polynomen

pj +∑m

µ=1 xsµ

j εµ

xkj

(j ∈ J, xkj > 0)

suche man namlich diejenigen mit

pj = 0, xs1j = 0, . . . , xsµ

j = 0 ,


wobei µ maximal und uberdies der erste nicht verschwindende Koeffizient

pj

xkj

bzw.x

sµ+1j

xkj

minimal ist. Beachte, dass der erste nicht verschwindende Koeffizient positivist wegen p(ε) ≥ 0Rn (0 ≤ ε ≤ ε0). Dies bedeutet gerade, dass man das sogenannte lexikographische Minimum der Vektoren(

pj

xkj

,xs1

j

xkj

, . . . ,xsm

j

xkj

)

fur alle j ∈ J mit xkj > 0 bestimmt.

Die Berechnung von l ist also ohne Spezifizierung von ε und ohne Kennt-nis von ε1 durchfuhrbar.

Durch diese Vorschrift ist l auch eindeutig bestimmt. Gabe es namlicheinen weiteren Index l ∈ J mit xk

l> 0, fur den das Minimum angenommen

wird, so ware(pl

xkl

,xs1

l

xkl

, . . . ,xsm

l

xkl

)=

(pl

xkl

,xs1

l

xkl

, . . . ,xsm

l

xkl

),

also die l-te Zeile von xJJ ein Vielfaches der l-ten Zeile von xJ

J , daher xJJ

singular im Widerspruch zu

AJxJJ = AJ .

Da xJJ regular ist, ist auch(

pl

xkl

,xs1

l

xkl

, . . . ,xsm

l

xkl

)6= 0Rm+1 ,

also ist notwendig fur hinreichend kleines 0 < ε1 ≤ ε0

λ′(ε) =pl +

∑mµ=1 x

sµ

l εµ

xkl

> 0 (0 < ε ≤ ε1) .

Also erhalt man wie im Fall 2β1 vermoge

p′(ε) = p(ε)− λ′(ε)xk


eine zulassige Basislosung mit der Basisindexmenge

J ′ = (J \ {l}) ∪ {k}

und kleinerem Zielfunktionswert fur 0 < ε ≤ ε1 als fur p(ε).Wir zeigen, dass auch p′(ε) nichtentartet ist fur 0 < ε ≤ ε1. Da l eindeutig

bestimmt ist, ist

λ′(ε) =pl +

∑mµ=1 x

sµ

l εµ

xkl

<pj +

∑mµ=1 x

sµ

j εµ

xkj

fur alle j ∈ J \ {l} mit xkj > 0.

Damit folgt fur 0 < ε ≤ ε1

p′(ε)j = p(ε)j − λ′(ε)xkj

= pj +m∑

µ=1

xsµ

j εµ − λ′(ε)xkj

> 0

fur alle j ∈ J \ {l} mit xkj > 0.

Weiter folgt fur 0 < ε ≤ ε1

p′(ε)j = p(ε)j − λ′(ε)xkj

≥ p(ε)j > 0

fur alle j ∈ J \ {l} mit xkj ≤ 0, da p(ε) auf (0, ε1) nicht entartet ist.

Schließlich folgt

p′(ε)k = λ′(ε) > 0 (0 < ε ≤ ε1) .

Damit ist induktiv bewiesen, dass alle zulassigen Basislosungen, beginnendmit p(ε), auf einem hinreichend kleinen Intervall 0 < ε ≤ ε nichtentartetsind. Also musste fur 0 < ε ≤ ε der Zielfunktionswert jeweils strikt verringertworden sein, solange die Zusatzvorschrift beachtet wird und der Algorithmusnicht mit einem der Falle 1 oder 2α abbricht. Insbesondere kann dann keineBasis mehrfach auftreten.


Wir betrachten jetzt das primale Simplexverfahren ohne lexikographischeZusatzvorschrift und nehmen an, dass das Verfahren eine unendliche Folgevon zulassigen Basen

AJ0 , AJ1 , AJ2 , . . .

erzeugt.Da es nur endlich viele Basisindexmengen, namlich hochstens

(mn

)gibt,

muss eine Basis mehrfach auftreten,

Jµ = Jν (ν ≥ µ+ 2, ν minimal).

Die zugehorigen Basislosungen sind

pJcµ

= Θ ,

pJµ =(AJµ

)−1b ,

also durch die Basis eindeutig bestimmt und damit gleich.Insbesondere sind auch die Zielfunktionswerte

cT p = cTJµpJµ

gleich.Zwischen Jµ und Jν ist also kein echter Abstieg erfolgt, der Schrittwei-

tenparameter λ′ im Simplexverfahren wurde also auf 0 gesetzt. Damit sindalle zu den Basen

AJµ , AJµ+1 , . . . , AJν

gehorigen Basislosungen gleich p.Es sei k der großte Pivotspaltenindex, der zwischen Jµ und Jν in eine

Basis aufgenommen wurde, l der zugehorige Pivotzeilenindex.Die zugehorige aktuelle Basis sei Jµ, d.h.

Jµ+1 =(Jµ \ {l}

)∪ {k} .

Da sich im Verlaufe des Zyklus auch Jµ wiederholt, muss spater k auchwieder aus einer Basisindexmenge entfernt werden, die zugehorige aktuelleBasis sei Jµ, d.h.

Jµ+1 =(Jµ \ {l}

)∪ {k}

mitl = k .


Definiere xkJµ

durch

AJµxkJµ

= ak ,

und wie im Simplexverfahren

xkj = 0 (j /∈ Jµ, j 6= k) ,

xkk

= −1 ,

s(λ) = p− λxk (λ ∈ R) .

Dies ist gerade der (im Simplexschritt 2β2 nicht erfolgreiche) Kandidat fureine Abstiegshalbgerade.s(λ) ist so konstruiert, dass

As(λ) = b .

Damit gilt fur beliebige Basis AJ

AJs(λ)J +AJcs(λ)Jc = b = AJpJ ,

alsos(λ)J = pJ − (AJ)−1(AJ)cs(λ)Jc ,

undcT s(λ) = cTJ pJ − cTJ x

Jc

J s(λ)Jc + cTJcs(λ)Jc

= cT p −∑j∈Jc

(cTJ xjJ − cj)s(λ)j .

Unabhangig davon, ob s(λ) alle Vorzeichenbedingungen erfullt oder nicht,lasst sich der Zielfunktionswert fur s(λ) auf zwei Weisen berechnen:

cT s(λ) = cT p −∑j∈Jc

µ

(cTJµ

xjJµ− cj

)s(λ)j

= cT p −∑j∈Jc

µ

(cTJµ

xjJµ− cj

)s(λ)j .

Da das Simplexverfahren beim Ubergang von Jµ zu Jµ+1 nicht abgebrochenist, ist

cTJµxk

Jµ− ck > 0 .


Nach Definition von s(λ) ist

s(λ)j = pj − λxkj

= pj = 0 (j /∈ Jµ, j 6= k) .

Also istcT s(λ) = cT p− λ

< cT p(2.3.1)

fur λ > 0.Dies ist das gemaß der zweiten Darstellung zu erwartende Resultat.Wir analysieren jetzt die erste Darstellung.

a) In Jµ wurde k aufgenommen, es ist also

k ∈ Jcµ und cTJµ

xkJµ− ck > 0 .

Weiter ist wegen k ∈ Jµ

s(λ)k = pk − λxkk.

Da k aus J entfernt wird, ist

minj∈Jµ

xkj

>0

pj

xkj

=pk

xkk

= 0 ,

also insbesondere pk = 0, xkk> 0. Damit wird

s(λ)k = −λxkk< 0 fur λ > 0 .

Also ist der Summand(cTJµ

xkJµ− ck

)s(λ)k < 0 fur λ > 0 .

b) Sei jetzt j ∈ Jcµ, j > k.

k war der großte zwischen Jµ und Jν in eine Basis aufgenommene Index,und zwischen Jµ und Jν kommt auch Jµ vor. Wegen j > k wird j zwischenJµ und Jν und damit auch im ganzen Zyklus nicht mehr in eine Basisaufgenommen, es ist also

j ∈ Jcµ, j 6= k


und darum

xkj = 0, pj = 0 ,

= pj − λxkj = 0 .

Also ist der Summand(cTJµ

xjJµ− cj

)s(λ)j = 0 (λ ∈ Rn) .

c) Schließlich sei j ∈ Jcµ, j < k.

Um ein wohldefiniertes Vorzeichen der zugehorigen negativen reduziertenKosten zu garantieren, wahlen wir fur jeden Pivotspaltenindex und damitauch fur k den kleinsten Index mit positiven “negativen reduzierten Kosten”.

Wegen j < k ist dann

cTJµxj

Jµ− cj ≤ 0 .

Wegen j ∈ Jcµ ist pj = 0, damit

s(λ)j = −λxkj (λ ∈ R) .

c)1 Ist j ∈ Jcµ, j 6= k, so ist xk

j = 0, also

s(λ)j = 0 (λ ∈ R) .

Ist j ∈ Jcµ, j = k, so ist xk

j = −1, also

s(λ)j = λ (λ ∈ R) .

c)2 Sei j ∈ Jµ. Beachte, dass k aus Jµ entfernt wurde. Es ist also

mini∈Jµ

xki

>0

pi

xki

=pk

xkk

= 0

mit pk = 0, xkk> 0.

Um hieraus Informationen uber xkj gewinnen zu konnen, wahlen wir fur

jeden Pivotzeilenindex und damit auch fur k (als aus Jµ zu entfernendenIndex) den kleinsten Index, der obige Quotienten minimiert.

Wegen j < k, liefert j dann obiges Minimum nicht.


Es ist dann also entwederxk

j ≤ 0

und damits(λ)j ≥ 0 (λ ≥ 0)

oderxk

j > 0

undpj

xkj

> 0 .

Dann ist also pj > 0. Wegen j ∈ Jcµ kann diese letzte Situation also nicht

eintreten.Insgesamt ist damit gezeigt

cT s(λ) > cT p

fur λ > 0.Dieser Widerspruch zu (2.3.1) beweist, dass keine Zyklen auftreten konnen,

sofern die Auswahlregel beachtet wird.

2.3.2. Blandsche Anti-Zyklusregel. Wahle fur jeden Pivotspaltenindexden kleinsten moglichen Index und fur jeden Pivotzeilenindex ebenfalls denkleinsten moglich Index.

Dann ist der Simplexalgorithmus endlich.

2.4 Revidiertes primales Simplex-Verfahren

Wir verwenden die Bezeichnungen und Resultate aus Abschnitt 2.2. Offen-bar konnen samtliche benotigten Informationen mit Hilfe der Daten

A, b, c

und der BasisAJ

gewonnen werden, ohne dass alle Vektoren xjJ fur j ∈ {1, . . . , n} \ J uber-

haupt berechnet werden mussen.

2.4. Revidiertes primales Simplex-Verfahren 31

2.4.1. Satz. p sei eine zulassige primale Basislosung mit der Basis AJ , dannist

AJpJ = b .

y ∈ Rm sei Losung des Systems

(AJ)?y = cJ .

Fall 1. Gilt dann fur alle Indizes j ∈ {1, . . . , n} \ J

(aj)?y ≤ cj ,

so ist p optimal.Fall 2. Andernfalls wahle einen Index k ∈ {1, . . . , n} \ J mit

(ak)?y > ck .

Im allgemeinen wahlt man einen Index k, der minimalen reduzierten Kostenentspricht, fur den also gilt

ck − (ak)?y = minj /∈J

[cj − (aj)?y

].

Berechne die Losung xkJ des Systems

AJxkJ = ak .

Fall 2α. Giltxk

j ≤ 0 (j ∈ J) ,

so ist der Wert des in primaler Normalform gegebenen Problems gleich −∞.Fall 2β1. Gilt

xkj > 0 fur ein j ∈ J und min

j∈J

xkj >0

pj

xkj

> 0 ,

so berechne l ∈ J mit xkl > 0 und

pl

xkl

= minj∈J

xkj >0

pj

xkj

.

Dann istAJ′ mit J ′ = (J \ {l}) ∪ {k}


Basis einer neuen zulassigen Basislosung p′ = p− pl

xkl

xk mit

c?p′ < c?p .

Fall 2β2. Giltxk

j > 0 und pj = 0 fur ein j ∈ J ,

so wahle l ∈ J mit xkl > 0 und pl = 0. Dann ist AJ′ mit J ′ = (J \ {l})∪{k}

eine neue Basis fur p.

Dieser Satz ist identisch mit dem Vorgehen beim primalen Simplex-Ver-fahren, wenn man denOptimalitatstest entsprechend modifiziert. Bei Bedarfkann man auch hier die lexikographische Zusatzvorschrift zur Vermeidungvon Zyklen heranziehen. Wir beschreiben im folgenden mehr die algorithmi-sche Seite des Verfahrens und nehmen dabei an, dass keine Zyklen auftreten.

Beim revidierten primalen Simplex-Verfahren in seiner ursprunglichenForm berechnet man alle benotigten Daten mittels der Inversen

VJ =(vj

i

)j=1,...,m

i∈J=(AJ)−1

von AJ , und zwar nach den folgenden Formeln.

2.4.2. Rekursionsformeln fur das revidierte Simplex-Verfahren.Die Basis AJ′ entstehe aus der Basis AJ gemaß Satz 2.4.1, Fall 2β1 oderFall 2β2, durch Ersetzen des Index l ∈ J durch den Index k /∈ J . Dann sinddurch die Formeln

p′k =pl

xkl

, p′i = pi −plx

ki

xkl

(i ∈ J ′ \ {k}) ,

c?J′p′J′ = c?JpJ −

pl

xkl

[y?ak − ck

],

v′jk =vj

l

xkl

, v′ji = vji −

vjl x

ki

xkl

(i ∈ J ′ \ {k}, j = 1, . . . ,m) ,

y′? = y? − vl

xkl

[y?ak − ck

],

y′?aj − cj (j ∈ {1, . . . , n} \ J ′) ,x′k

′

J′ = V ′j′ak′

2.4. Revidiertes primales Simplex-Verfahren 33

nacheinander die neue Basislosung p′, der neue Zielfunktionswert c?J′p′J′ ,

die neue inverse Basis V ′J′ , der neue Vektor y′, die fur die Untersuchungvon p′ auf Optimalitat benotigten Zahlen y′?aj − cj (j /∈ J ′), die aus denangegebenen Formeln direkt berechnet werden konnen, und die zum neuenPivot-Spaltenindex k′ gehorige Darstellung x′k

′

J′ von ak′ bezuglich der neuen

Basis AJ′ gegeben.

Naturlich kann man auch, gegebenenfalls zur Kontrolle, mittels der neueninversen Basis V ′J′

p′J′ = V ′J′b , y′ = V ′?J′ cJ′ , x′k′

J′ = V ′J′ak′

und damit alle anderen Großen direkt berechnen. Das ist zwar aufwandiger,aber dafur ein Ansatzpunkt fur eine Stabilisierung des Verfahrens, wie wirspater noch sehen werden.

Im folgenden beschaftigen wir uns mit der konkreten Durchfuhrung desrevidierten Simplex-Verfahrens.

Der vom Algorithmus benotigte Speicherplatzbedarf lasst sich am bestenaus der folgenden Tableau-Darstellung der Rekursionsformeln 2.4.2 ersehen.

Die alte inverse Basis VJ , die alte Basislosung pJ , der Vektor y und derZielfunktionswert c?JpJ liefern das Tableau:

j ∈ {1, . . . ,m}

i ∈ J vji pi

l→ - - - - - - - - - - - - - -

0 yj c?JpJ

Der Pivot-Spaltenindex k und der Pivot-Zeilenindex l liefern uns die(m+1)× (m+1)-Matrix T J

Jmit

TJ\{l}J

= EJ\{l}J

, T li =

1xk

l

(i = l)

−xki

xkl

(i ∈ J \ {l})

−y?ak − ckxk

l

(i = 0)

,


wobei J = J∪{0}. Multiplikation dieser Matrix mit dem alten Tableauinhaltund Ersetzen von l durch k liefern das neue Tableau:

j ∈ {1, . . . ,m}

i ∈ J ′ v′ji p′i

k → - - - - - - - - - - - - - -

0 y′j c?J′p′J′

Zur Bestimmung des neuen Pivot-Spaltenindex k′ werden in einer Neben-rechnung die Großen

y′?aj − cj (j ∈ {1, . . . , n} \ J ′)

direkt berechnet. Der neue Pivot-Zeilenindex l′ ergibt sich aus p′J′ undx′k

′

J′ = V ′J′ak′ . Zusatzlich zu diesen Nebenrechnungen ist also die Umfor-

mung eines (m+1)× (m+1)-Tableaus erforderlich, wahrend das klassischeprimale Simplex-Verfahren die Umformung eines (m+1)×(n−m+1)-Tableauserfordert.

Uberdies liefert das revidierte primale Simplex-Verfahren explizit in je-dem Schritt die inverse Basis. Wie wir in Sektion 2.6 sehen werden, kannder Vektor y als (im allgemeinen unzulassige) duale Basislosung interpretiertwerden. Ist das Optimalitatskriterium erfullt, so ist diese duale Basislosungzulassig und daher auch optimal fur das Dualproblem.

Speichert man jeweils nur die wesentliche Spalte der Transformations-matrix T J

J, so kann man den Speicherbedarf noch weiter reduzieren, vergl.

die multiplikative Form des revidierten Simplex-Verfahrens in [27].Eine zulassige Startbasis findet man ganz entsprechend wie beim lexi-

kographischen primalen Simplex-Verfahren mit Hilfe kunstlicher Variablen.Eine interessante Kombination von artificial basis-Technik und penalty-Me-thode wird in [27] und in [44] beschrieben. Zur numerischen Durchfuhrungder Phase I vergleiche auch [44] und [4] sowie [75].

2.5 Stabilisierung des Simplex-Verfahrens

Wir deuten an Hand der folgenden Variante des revidierten Simplex-Ver-fahrens Moglichkeiten zur Stabilisierung der einzelnen Simplex-Schritte an.Eine ausfuhrlichere Darstellung findet man in [4] und [74].

2.5. Stabilisierung des Simplex-Verfahrens 35

2.5.1. Optimierungsproblem. Vorgegeben seien die Vektoren c ∈ Rn,b ∈ Rm, die reelle m×n-Matrix A vom Rang m und I ⊂ {1, . . . , n}.

Minimierec?x


Ax = b, xj ≥ 0 (j ∈ I) .

2.5.2. Definition.AJ =

(aj)j∈J

bestehe aus m linear unabhangigen Spalten von A. Dann heißt AJ Basisder Basislosung x ∈ Rn, die eindeutig bestimmt ist durch die Forderungen

AJxJ = b, xj = 0 (j ∈ {1, . . . , n} \ J) .

Ist x zulassig fur das Problem 2.5.1, d. h. gilt

xj ≥ 0 (j ∈ I) ,

so heißt x zulassige Basislosung und AJ zulassige Basis.

Man beachte, dass eine zulassige Basislosung jetzt nicht mehr notwendigEcke der Menge

M = {x ∈ Rn : Ax = b, xj ≥ 0 (j ∈ I)}

der zulassigen Punkte von Problem 2.5.1 zu sein braucht.

2.5.3. Satz. AJ sei eine zulassige Basis des Problems 2.5.1. Lose das lineareGleichungssystem

AJpJ = b

und definiere pj = 0 (j ∈ {1, . . . , n} \ J = Jc). Dann ist p ∈ Rn einezulassige Basislosung. y ∈ Rm sei Losung des linearen Gleichungssystems

(AJ)?y = cJ .

Fall 1. Gilt dann

(aj)?y ≤ cj (j ∈ Jc ∩ I) ,(aj)?y = cj (j ∈ Jc \ I) ,


so ist p optimal.Fall 2. Andernfalls wahle einen Index k ∈ Jc mit

(ak)?y > ck, k ∈ Jc ∩ I

oder mit(ak)?y 6= ck, k ∈ Jc \ I

und setzeσ = sign[(ak)?y − ck] .

xkJ sei Losung des linearen Gleichungssystems

AJxkJ = ak .

Fall 2α. Giltσxk

j ≤ 0 (j ∈ J ∩ I)

so ist der Wert des Problems 2.5.1 gleich −∞.Fall 2β1. Gilt

σxkj > 0 fur ein j ∈ J ∩ I und min

j∈J∩I

σxkj >0

pj

σxkj

> 0 ,

so berechne l ∈ J ∩ I mit σxkl > 0 und

pl

σxkl

= minj∈J∩I

σxkj >0

pj

σxkj

.

Dann ist AJ′ mit J ′ = (J \ {l})∪{k} zulassige Basis einer neuen zulassigenBasislosung p′ = p− pl

σxkl

xk mit

c?p′ = c?p− pl

σxkl

|(ak)?y − ck| < c?p .

Fall 2β2. Gilt

σxkj > 0 und pj = 0 fur ein j ∈ J ∩ I ,

so wahle l ∈ J ∩ I mit σxkl > 0 und pl = 0. Dann ist AJ′ mit J ′ =

(J \ {l}) ∪ {k} eine neue zulassige Basis fur p.


Beweis. Der Beweis lauft ahnlich wie beim revidierten Simplex-Verfahren.Wir fuhren ihn hier noch einmal direkt ohne jeglichen Bezug auf “Ecken”und “Kanten”.

Das Dualproblem zum Optimierungsproblem 2.5.1 lautet jetzt:

(D) Maximiereb?y

unter den Nebenbedingungen y ∈ Rm und

(aj)?y

≤ cj (j ∈ I) ,

= cj (j ∈ {1, . . . , n} \ I) .

Ist dann y ∈ Rm Losung des Systems

(AJ)?y = cJ

und uberdies zulassig fur (D), so beweist man ganz entsprechend wie imAbschnitt 2.2, dass y Optimallosung fur (D) und p Optimallosung fur dasProblem 2.5.1 ist.

Andernfalls findet man naturlich ein k ∈ Jc mit

(ak)?y − ck > 0, k ∈ Jc ∩ I

oder mit(ak)?y − ck 6= 0, k ∈ Jc \ I .

Definiere xk ∈ Rn durch

AJxkJ = ak ,

xkj = 0 (j /∈ J ∪ {k}) ,xk

k = −1

und setze

K = {p− σλxk : λ ≥ 0, pj − σλxkj ≥ 0 (j ∈ J ∩ I)} .

Fur jeden Punkt p(λ) = p− σλxk gilt

c?p(λ) = c?p− σλ[c?Jx

kJ − ck

]= c?p− σλ

[c?J(AJ)−1ak − ck

]= c?p− λ|(ak)?y − ck| .


Im Falle 2α ist p(λ) ∈ K fur alle λ ≥ 0, also ist die Zielfunktion auf Kund darum auf M nicht nach unten beschrankt.

Im Falle 2β1 istpl

σxkl

= λ′ > 0 der großtmogliche Parameterwert mit

p′ = p(λ′) ∈ K. Naturlich ist dann c?p′ < c?p und

p′l = pl − σpl

σxkl

xkl = 0 .

Dass AJ′ nichtsingular ist, beweist man wieder mit dem Basisaustauschsatz.Im Falle 2β2 ist λ′ = 0 und darum p′ = p, aber man erhalt eine neue

Basis fur p .

Anmerkungen. i) Nicht vorzeichenbeschrankte Variablen werden grund-satzlich nicht aus der Basis entfernt.ii) Solange p nicht entartet ist, d. h. solange gilt

pj > 0 (j ∈ J ∩ I) ,

tritt der Fall 2β2 nicht ein.iii) Eine Vorschrift zur Zyklenvermeidung unterdrucken wir.

Außer einigen Nebenrechnungen zur Bestimmung des Pivot-Spaltenindexk und des Pivot-Zeilenindex l sind offenbar fur jeden Basiswechsel drei li-neare Gleichungssysteme zu losen:

AJpJ = b ,

(AJ)?y = cJ ,

AJxkJ = ak .

Diese Systeme lassen sich leicht losen, wenn eine Zerlegung

FAJ = R

der Basis AJ bekannt ist mit einer nichtsingularen m-reihigen Matrix F undeiner m-reihigen oberen Dreiecksmatrix R , dann ist namlich

RpJ = Fb ,

R?z = cJ , y = F ?z ,

RxkJ = Fak .


Man wird naturlich versuchen, mit Hilfe der Zerlegung der alten Basis AJ

und mit moglichst geringem Aufwand eine entsprechende Zerlegung

F ′AJ′ = R′

der neuen Basis AJ′ mit J ′ = (J \ {l}) ∪ {k} zu gewinnen.Dies gelingt mit geeigneten Modifikationstechniken, vergleiche [75]. Sei

z. B.

FAJ = R =

j1 · · · jm

1 • • • • •

· • • • •

· • • •

· • •

m •

Im Tableau erscheinen die Basisindizes geordnet,

J = (j1, . . . , jm) .

Ist der Pivot-Zeilenindex l = jν , der Pivot-Spaltenindex k, so empfiehlt sichfur die neuen Basisindizes die Anordnung

J ′ = (j′1, . . . , j′m) = (j1, . . . , jν−1, jν+1, . . . , jm, k) .

Dann ist namlich

FAJ′ = R =

j1 · · · jν−1 jν+1 · · · jm k

1 • · · · • • · · · • •...

. . ....

......

...

ν−1 • • · · · • •

ν • · · · • •

ν+1 • · · · • •...

. . ....

...

m • •


eine obere Hessenberg-Matrix R, deren Subdiagonalelemente

rj′νν+1, . . . , r

j′m−1m

durch eine Folge von Givens-Rotationen

T(ν,ν+1), . . . , T(m−1,m)

annulliert werden konnen,

T(m−1,m) . . . T(ν,ν+1)R = R′ =

j′1 · · · j′m

1 • • • • •

· • • • •

· • • •

· • •

m •

Definieren wir also

F ′ = T(m−1,m) . . . T(ν,ν+1)F ,

R′ = T(m−1,m) . . . T(ν,ν+1)F AJ′ ,

so erhalten wir die neue Zerlegung

F ′AJ′ = R′

und mit ihr alle notwendigen Daten fur den nachsten Simplex-Schritt.Algolprogramme fur diese Variante des Simplex-Verfahrens, die zwar auf-

wendiger als das revidierte Simplex-Verfahren, dafur aber numerisch stabilerist, findet man in [4]. Dort und in [74] findet man auch Methoden zur Be-stimmung einer Basis (Phase 0 des Verfahrens) und zur Bestimmung einerzulassigen Basis (Phase I des Verfahrens).

2.6 Dualitat und Sensitivitat

Das lineare Optimierungsproblem in primaler Normalform lautet

2.6. Dualitat und Sensitivitat 41

2.6.1. Primale Normalform. Gegeben seien die Vektoren

c ∈ Rn, b ∈ Rm

und die reelle m× n-MatrixA

mit vollem Zeilenrang m.(P) Minimiere

c?x


Ax = b ,

x = 0Rn !

Wir betrachten den Ressourcenvektor b ∈ Rm als Parameter und be-zeichnen mit

w : Rm −→ R ∪ {+∞} ∪ {−∞} ,w(b) = inf{c?x : Ax = b, x ≥ Θ} (b ∈ Rm)

die Minimalwertfunktion der zugehorigen Schar gestorter Optimierungspro-bleme. Es wird also (P ) = (Pb) als so genanntes parametrisches Optimie-rungsproblem aufgefasst. Als ungestortes oder Referenzproblem wahlen wir(Pb) mit speziellem b ∈ Rm.

Jede affine Minorante der Minimalwertfunktion lasst sich schreiben als

{(b, r) ∈ Rm × R : r = y?(b− b) + γ}

mit gewisseny? ∈ Rm, γ ∈ R .

Wir maximieren noch den Wert γ aller dieser Minoranten im Referenzpunktb. Wegen

y?(b− b) + γ ≤ w(b) (b ∈ Rm)←→

y?(b− b) + γ ≤ c?x (x ∈ Rn : Ax = b, x ≥ Θ) (b ∈ Rm)←→

y?(Ax− b) + γ ≤ c?x (x ≥ Θ)←→y?A ≤ c? (komponentenweise) und γ ≤ y?b


ist dies gleichbedeutend mit der Losung des folgenden Optimierungspro-blems.

2.6.2. Duale Normalform. Maximiere

b?y

(D) unter den Nebenbedingungen y ∈ Rm und

A?y ≤ c !

Sei nun x primalzulassig und y dualzulassig, dann folgt

b?y = (Ax)?y = x?A?y ≤ x?c .

Ist also x primalzulassig, y dualzulassig und

b?y = c?x ,

so ist x optimal fur (P) und y optimal fur (D), und es gilt

xj > 0 −→ (aj)?y = cj

bzw.(aj)?y < cj −→ xj = 0

fur alle j = 1, . . . , n.Ist x primalzulassig, y dualzulassig und

xj > 0 −→ (aj)?y = cj (j = 1, . . . , n) ,

so istb?y = c?x

und x optimal fur (P), y optimal fur (D).Damit haben wir bewiesen

2.6.3. Schwacher Dualitatssatz. Ist x zulassig fur (P) und y zulassig fur(D), so gilt

b?y ≤ c?x .


Ist x zulassig fur (P), y zulassig fur (D) und

b?y = c?x

so ist x optimal fur (P) und y optimal fur (D). Fur primalzulassiges xund dualzulassiges y ist b?y = c?x gleichbedeutend mit der ComplementarySlackness Condition

xj > 0 −→ (aj)?y = cj (j = 1, . . . , n) .

In Phase II, Fall 1, des Simplex-Verfahrens haben wir die hinreichendeOptimalitatsbedingung fur eine zulassige Basislosung p mit Basis AJ be-wiesen:

c?JxjJ − cj ≤ 0 (j ∈ Jc) .

Außerdem ist naturlich

c?JxjJ − cj

= c?JδjJ − cj

= cj − cj = 0 (j ∈ J) .

Dies kann wegen

c?JxjJ = c?J(AJ)−1aj

= (aj)?(AJ?

)−1cJ

= (aj)?q

mitq = (AJ?

)−1cJ

folgendermaßen interpretiert werden:

q ist zulassig fur (D).

Weiter gilt fur die Zielfunktionswerte

b?q = (Ap)?q

= (AJpJ)?q

= p?J(AJ)?q

= p?JcJ

= c?p ,


d.h. die Zielfunktionswerte sind gleich. Nach dem schwachen Dualitatssatzist p optimal fur (P) und q optimal fur (D).q ist eine so genannte duale Basislosung zur gleichen Basisindexmenge J

(m linear unabhangige Ungleichungsnebenbedingungen in (D) mit Indizesaus J sind als Gleichungen erfullt.

Damit haben wir mit dem Simplex-Verfahren konstruktiv den folgendenHauptsatz der linearen Optimierung bewiesen.

2.6.4. Hauptsatz der linearen Optimierung. Die primale Normalform(P) besitze zulassige Losungen, und die Zielfunktion von (P) sei auf derzulassigen Menge nach unten beschrankt; letzteres ist der Fall, wenn dieduale Normalform (D) eine zulassige Losung besitzt.

Dann besitzt (P) auch eine optimale primale Basislosung

pJ = (AJ)−1b ,

pj = 0 (j /∈ J)

mit Basisindexmenge J , fur die

c?J(AJ)−1aj

≤ cj (j ∈ Jc)

= cj (j ∈ J)

erfullt ist, und (D) eine optimale duale Basislosung q mit

(aj)?q ≤ cj (j ∈ Jc) ,(AJ)?q = cJ ,

d.h. mit gleicher Basisindexmenge J , und die Zielfunktionswerte

b?q = c?p

sind gleich.

Betrachte jetzt das allgemeine lineare Optimierungsproblem

2.6.5. Allgemeines Primalproblem. Minimiere

c?x


unter den Nebenbedingungen x ∈ Rn

(P )n∑

j=1

aijxj

≥ bi (i = 1, . . . ,m′)

= bi (i = m′ + 1, . . . ,m)

xj ≥ 0 (j = 1, . . . , n′) !

Dieses Problem ist aquivalent zu:Minimiere

n′∑j=1

cjxj +n∑

j=n′+1

cj(x+j − x

−j ) +

m′∑i=1

0 · si


n′∑j=1′

aijxj +n∑

j=n′+1

aij(x+j − x

−j )− si = bi (i = 1, . . . ,m′)

n∑j=1

aijxj +n∑

j=n′+1

aij(x+j − x

−j ) = bi (i = m′ + 1, . . . ,m)

xj ≥ 0 (j = 1, . . . , n′) ,x+

j ≥ 0, x−j ≥ 0 (j = n′ + 1, . . . , n) ,

si ≥ 0 (i = 1, . . . ,m′) !

Dieses Problem hat primale Normalform.Die zugehorige duale Normalform ist:

Maximiereb?y


(aj)?y ≤ cj (j = 1, . . . , n′) ,(aj)?y ≤ cj (j = n′ + 1, . . . , n) ,−(aj)?y ≤ −cj (j = n′ + 1, . . . , n) ,−yi ≤ 0 (i = 1, . . . ,m′) !

Damit erhalten wir das allgemeine Dualproblem


2.6.6. Allgemeines Dualproblem. Maximiere

b?y


(D)n∑

i=1

aijyi

≤ cj (j = 1, . . . , n′)

= cj (j = n′ + 1, . . . , n),

yi ≥ 0 (i = 1, . . . , n′) !

Damit erhalt man das allgemeine Dualisierungschema fur Primalproble-me der Form (P ):

P −→ D

Minimierung Maximierung

Kostenvektor rechte Seite

rechte Seite Kostenvektor

A A?

Ungleichung “≥” Vorzeichenbedingung “≥”

Gleichung freie Variable

Vorzeichenbedingung “≥” Ungleichung “≤”

freie Variable Gleichung

Wenn man nun (D) nochmals dualisieren will, so schreibt man (D) ambesten in der Form (P ):Minimiere

−b?yunter den Nebenbedingungen y ∈ Rm

−n∑

i=1

aij yi

≥ −cj (j = 1, . . . , n′)

= −cj (j = n′ + 1, . . . , n)

yi ≥ 0 (i = 1, . . . ,m′) !


Anwendung des obigen Dualisierungsschemas liefert dann wieder das ur-sprungliche Problem (P ). Damit ist gezeigt

2.6.7. Satz. Doppelte Dualisierung des allgemeinen linearen Optimierungs-problems (P ) liefert wiederum das Problem (P ).

Wir untersuchen noch die Minimalwertfunktion

w : Rm −→ R ∪ {+∞} ∪ {−∞} ,w(b) = inf{c?x : Ax = b, x ≥ Θ}

fur die primale Normalform (Pb) etwas genauer.Ist (Pb) unzulassig, so ist w(b) = +∞,

dom(w) = {b ∈ Rm : w(b) <∞}

heißt Domane oder effektiver Definitionsbereich von w.

2.6.8. Satz. Der Epigraph von w,

epi(w) = {(b, r) ∈ Rm × R : w(b) ≤ r)} ,

ist konvex im Rm+1.Da dom(w) gerade die Projektion von epi(w) auf den Rm ist, ist dann

auch dom(w) konvex im Rm. In diesem Sinne ist

w : Rm −→ R ∪ {+∞} ∪ {−∞}

eine konvexe Funktion.

Beweis. Seien(b, r), (b, r) ∈ epi(w) .

Dann ist also

w(b) = inf{c?x : Ax = b, x ≥ Θ} ≤ r ,w(b) = inf{c?x : Ax = b, x ≥ Θ} ≤ r .

Insbesondere sind dann (Pb), (Pb) zulassig. Nach Definition des Infimumsexistieren fur beliebiges ε > 0 Vektoren x und x ∈ Rn mit

Ax = b, x ≥ Θ, c?x ≤ r + ε ,

Ax = b, x ≥ Θ c?x ≤ r + ε ,


naturlich auch im Falle w(b) = −∞ oder w(b) = −∞. Wegen

A(λx+ (1− λ)x) = λb+ (1− λ)b ,λx+ (1− λ)x ≥ Θ

ist dann

w(λb+ (1− λ)b) ≤ c?(λx+ (1− λ)x≤ λ(r + ε) + (1− λ)r + ε) (2.6.1)≤ λr + (1− λ)r + ε .

Da ε > 0 beliebig gewahlt wurde, ist

w(λb+ (1− λ)b) ≤ λr + (1− λ)r ,

d.h.(λb+ (1− λ)b, λr + (1− λ)r) ∈ epi(w) .

Also ist epi(w) konvex im Rm+1 und damit auch dom(w) konvex im Rm.

Das gleiche Resultat gilt auch fur konvexe Optimierungsprobleme mitStandardstorung, fur lineare Probleme erhalt man aber noch weitergehendeAussagen.

Ist w(b) = −∞ in irgendeinem Punkt, so zeigt obige Ungleichung (2.6.1)(dort kann dann r beliebig klein gewahlt werden), dass

w(λb+ (1− λ)b) = −∞ (0 < λ ≤ 1) ,

unabhangig davon wie b ∈ dom(w) gewahlt wird. Wir setzen daher voraus,dass

w : Rm −→ R ∪ {+∞}eigentlich konvex ist.

Dann istw(b) ∈ R (b ∈ dom(w)) .

Nach dem Hauptsatz der linearen Optimierung existiert dann zu jedemb ∈ dom(w) eine optimale primale Basislosung p(b) mit BasisindexmengeJ(b) und eine optimale duale Basislosung q(b) mit gleicher Basisindexmengeund

w(b) = c?p(b) = b?q(b)= c?J(b)(A

J(b))−1b = b?(AJ(b)?)−1cJ(b) .


Soweit also die optimale Basis AJ(b) ungeandert bleibt bei Storung der rech-ten Seite b, ist die Minimalwertfunktion w linear in b. In diesem Sinne istw stuckweise affin.

Wir charakterisieren noch die Teilbereiche naher, auf denen dieselbe op-timale Basis AJ verwendet werden kann.

Nach dem schwachen Dualitatssatz 2.6.3 bleibt die Basis AJ optimalsolange

AJpJ(b) = b ,

pj(b)

≥ 0 (j ∈ J)

= 0 (j ∈ Jc),

(AJ)?q = cJ , (2.6.2)(aj)?q ≤ cj (j ∈ Jc) ,c?JpJ(b) = b?q .

Die letzte Gleichung ist von selbst erfullt, da die gleiche primale und dualeBasis verwendet wird.AJ bleibt also optimal, solange

b, p = p(b), q

das lineare Gleichungs- und Ungleichungssystem (2.6.2) erfullen. Die Mengedieser Punkte (b, p, q) ist eine konvexe polyedrische Menge im Rm×Rn×Rm.

Ihre Projektion B(J) auf den ersten Faktor ist eine konvexe polyedrischeMenge im Parameterraum Rm.

Insgesamt ist damit gezeigt

2.6.9. Satz. Die Minimalwertfunktion w ist konvex und stuckweise affin.Sie ist affin,

w(b) = c?J(AJ)−1b ,

jeweils auf der maximalen konvexen polyedrischen Teilmenge B(J) des Rm,auf der dieselbe optimale Basis AJ verwendet werden kann.

Auf jeder dieser Teilmengen B(J) ist w affin mit Ableitung relativ zuB(J)

c?j (AJ)−1 = q .

Die duale Optimallosung q bestimmt also die Ableitung von w bezuglich desParameters b ∈ Rm zumindest auf der zugehorigen maximalen TeilmengeB(J).


Dies wird noch ubersichtlicher mittels der dualen Beschreibung der Mi-nimalwertfunktion von (P), denn es ist

w(b) = b?q

fur jede duale optimale Basislosung q mit

(AJ)?q = cJ ,

(qj)?q ≤ cj (j ∈ Jc) ,

wobei AJ eine primale optimale Basis ist fur (Pb). Die dualen Restriktio-nen sind unabhangig vom Storparameter b ∈ Rm, d.h. jede optimale dualeBasislosung q eines der Probleme (Db) ist auch zulassig fur (Db). Da es nurendlich viele duale Basislosungen gibt, folgt

2.6.10. Satz. Sei w(b) > −∞ fur alle b ∈ dom(w). Dann ist die Minimal-wertfunktion auf dom(w) das punktweise Supremum endlich vieler linea-rer Funktionen, w(b) = sup{b?q : q optimale duale Basislosung} fur alleb ∈ dom(w).

Hieraus folgt noch einmal die Konvexitat von w(·), und fur irgendeinenZuwachs ∆ ∈ Rm des Referenzparameters b ∈ Rm stellt sich

w(b+ λ∆) (λ ∈ R)

erneut als stuckweise affin heraus.Fur die Richtungsableitung

w′(b)(∆) = limλ→0+

w(b+ λ∆)− w(b)λ

von w im Punkte b in Richtung ∆ erhalt man hieraus

2.6.11. Satz. Sei w(b) > −∞ fur alle b ∈ dom(w). Dann gilt fur die Rich-tungsableitung

w′(b)(∆) = maxqq?∆ ,

wobei das Maximum uber die (endlich vielen) optimalen dualen Basislosun-gen q des Dualproblems (Db) zum Ausgangsproblem (Pb) zu erstrecken ist.

2.7. Das duale Simplex-Verfahren 51

2.6.12. Korollar. Besitzt (Db) genau eine optimale Basislosung q, so ist

w′(b)(∆) = q?∆ .

Anmerkung. Aus diesem Grunde heißen die Komponenten von q auchSchattenpreise.

2.7 Das duale Simplex-Verfahren

Vorgelegt sei wiederum die

2.7.1. Primale Normalform. c ∈ Rn, b ∈ Rm und die reelle m × n-Matrix A vom Range m seien fest vorgegeben.Minimiere

c?x


Ax = b, x ≥ 0Rn !

Die Idee des dualen Simplex-Verfahrens besteht gerade darin, den kon-zeptionellen Simplex-Algorithmus auf das zugehorige Dualproblem anzu-wenden, vergleiche [53].


b?y


A?y ≤ c !

y ∈ Rm ist genau dann eine zulassige Basislosung von 2.7.2, wenn ydualzulassig ist und m linear unabhangige Spalten

aj (j ∈ J)

von A existieren mit

Aj?y = cj (j ∈ J) .


2.7.3. Definition. y sei eine zulassige Basislosung von 2.7.2. Dann heißtjedes System

AJ = (aj)j∈J

von m linear unabhangigen Spalten von A mit

AJ?

y = cJ

Basis von y.

Um Verwechslungen mit dem primalen Simplex-Verfahren zu vermeiden,fuhren wir folgende Sprechweisen ein:

2.7.4. Sprechweisen.AJ = (aj)j∈J

bestehe aus m linear unabhangigen Spalten von A. Dann heiße AJ Basisvon x ∈ Rn, wobei

AJxJ = b, xj = 0 (j ∈ {1, . . . , n} \ J) ,

und von y ∈ Rm, wobeiAJ?

y = cJ .

x heißt primale Basislosung, y heißt duale Basislosung.Ist x zulassig fur 2.7.1, so heißt x primalzulassige Basislosung und AJ

primalzulassige Basis. Ist y zulassig fur 2.7.2, so heißt y dualzulassige Ba-sislosung und AJ dualzulassige Basis.

Beim primalen Simplex-Verfahren wird eine Folge

AJ(i), p(i), y(i) (i = 0, 1, 2, . . .)

von primalzulassigen Basen AJ(i), zugehorigen primalzulassigen Basislosun-

gen p(i) und dualen Basislosungen y(i) erzeugt. Der Optimalitatstest ver-langt gerade die Uberprufung, ob y(i) eine dualzulassige Basislosung unddamit AJ(i)

eine dualzulassige Basis ist. Beim dualen Simplex-Verfahrenwird eine Folge

AJ(i), p(i), y(i) (i = 0, 1, 2, . . .)

von dualzulassigen Basen AJ(i), zugehorigen dualzulassigen Basislosungen

y(i) und primalen Basislosungen p(i) erzeugt. Der Optimalitatstest verlangtjetzt die Uberprufung, ob p(i) eine primalzulassige Basislosung und damitAJ(i)

eine primalzulassige Basis ist.


2.7.5. Satz. y sei eine dualzulassige Basislosung mit der Basis AJ , dannist

AJ?y = cJ .

p ∈ Rn mit pj = 0 (j ∈ {1, . . . , n} \ J) lose das System

AJpJ = b .

Gilt dann fur alle Indizes j ∈ J

pj ≥ 0 ,

so ist y dualoptimal und p primaloptimal. Gib es einen Index l ∈ J mit

pl < 0 ,

so definiere yl ∈ Rm durchAJ?yl = el

J .

Setze

I = {λ ≥ 0 : aj?[y − λyl] ≤ cj ∀ j /∈ J} ,K = {y − λyl : λ ∈ I} .

Mit den Losungen xjJ der Systeme

AJxjJ = aj (j = 1, . . . , n)

giltaj?y = c?Jx

jJ , a

j?yl = xjl (j = 1, . . . , n) ,

und es liegt genau einer der folgenden Falle vor:

α) xjl ≥ 0 ∀ j /∈ J .

In diesem Falle ist I = [0,∞) und K eine unbeschrankte Kante von

N = {y ∈ Rm : A?y ≤ c} .

Die duale Zielfunktion ist auf K nicht nach oben beschrankt.

β1) ∃ j /∈ J : xjl < 0, min

j /∈J

xjl

<0

c?JxjJ − cjxj

l

> 0 .


In diesem Falle ist I = [0, λ′] mit

λ′ = minj /∈J

xjl

<0

c?JxjJ − cjxj

l

> 0

und K eine beschrankte Kante von N . Der Endpunkt

y′ = y − λ′yl

von K ist eine dualzulassige Basislosung, und es gilt

b?y′ = b?y − λ′b?yl

= b?y − λ′p?JA

J?

yl

= b?y − λ′pl > b?y .

Ist k /∈ J ein Nichtbasisindex mit xkl < 0 und

c?JxkJ − ckxk

l

= minj /∈J

xjl

<0

c?Jxkj − ckxj

l

,

so ist AJ′ mit J ′ = {k} ∪ J \ {l} eine Basis von y′.

β2) ∃ j /∈ J : xjl < 0, min

j /∈J

xjl

<0

c?JxjJ − cjxj

l

= 0 .

In diesem Falle ist I = {0} und K = {y}. Ist k /∈ J ein Nichtbasisindex mitxk

l < 0 undc?Jx

kJ − ck = 0 ,

so ist AJ′ mit J ′ = {k} ∪ J \ {l} eine Basis von y.

Der Beweis lauft ahnlich wie beim primalen Simplexverfahren.Genauso wie beim primalen Simplex-Verfahren erhalt man hier zwei Va-

rianten, das klassische duale Simplex-Verfahren, bei dem man die Daten mit-tels der Vektoren xj

J berechnet, und das revidierte duale Simplex-Verfahren,bei dem man die Daten mittels der inversen Basis berechnet.

2.7.6. Tableau-Wechsel furs klassische duale Simplex-Verfahren.Die alten Vektoren xj

J (j /∈ J), die alte Basislosung pJ , der Zielfunktionswertc?JpJ und die negativen reduzierten Kosten c?Jx

jJ − cj (j /∈ J) liefern das

Tableau:


k j /∈ J

↓

i∈J xji pi

l→

c?JxjJ − cj c?JpJ

Dabei ist b?y = p?JA

J?

y = p?JcJ = c?JpJ .

Der Pivot-Zeilenindex l und der Pivot-Spaltenindex k liefern uns die(m+ 1)× (m+ 1)-Matrix T J

Jmit

TJ\{l}J

= EJ\{l}J

, T li =

1xk

l

(i = l)

−xki

xkl

(i ∈ J \ {l})

−c?Jx

kJ − ckxk

l

(i = 0, J = J ∪ {0})

.

Multiplikation dieser Matrix mit den Nichtpivotspalten, Ersetzung der Pi-votspalte durch T l und Vertauschung von l und k liefert das neue Tableau:

l j /∈ J ′

↓

i∈J ′ x′ji p′i

k →

c?J′x′jJ′ − cj c?J′p

′J′

.

Offenbar ist dieser Tableau-Wechsel formal identisch mit demjenigen furdas klassische primale Simplex-Verfahren. Zur algorithmischen Durchfuh-


rung des revidierten dualen Simplex-Verfahrens vergleiche man [44], pp.389–397.

Lautet das Primalproblem ursprunglich:Minimiere c?z unter den Nebenbedingungen z ∈ Rn′ ,

Bz ≥ b ,

(komponentenweise)z ≥ 0 !

mit c ∈ Rn′ , b ∈ Rm und m × n′-Matrix B, so entsteht durch Einfuhrungvon m nichtnegativen Schlupfvariablen s1, . . . , sm das Problem:Minimiere c?z unter den Nebenbedingungen z ∈ Rn′ , s ∈ Rm,

Bz − s = b ,

z ≥ 0, s ≥ 0 (komponentenweise)!

A ist in diesem Falle also eine m× (n′ +m)-Matrix der speziellen Gestalt

A = (B| − Em) ,

und die Variablen x ∈ Rn′+m besitzen die naturliche Partitionierung

x =(zs

).

Die zugehorige duale Normalform lautet:Maximiere b?y unter den Nebenbedingungen y ∈ Rm und

B?y ≤ c ,

(komponentenweise)−y ≤ 0 !

Ist nun c ≥ 0 (komponentenweise), so ist

y = 0Rm

eine dualzulassige Basislosung mit der Basis

A{n′+1,...,n′+m} = −Em .

Andere Moglichkeiten zur Bestimmung dualzulassiger Ausgangsbasislosun-gen findet man in [44], pp. 398–405.


Ein großer Vorteil der dualen Simplex-Methode besteht darin, dass mandie bereits gewonnenen Informationen bei Hinzunahme einer weiteren Re-striktion fur das Primalproblem mitverwenden kann, vergl. [44], pp. 406–408.

Abschließend fassen wir die wesentlichen Inhalte der Tableaus fur dasrevidierte primale und duale Simplex-Verfahren noch einmal zusammen.

Das primale Simplex-Verfahren arbeitet mit Tableaus des folgendenTyps

j ∈ Jc

i∈J xji pi

c?JxjJ − cj c?JpJ

pJ ist primalzulassige Basislosung. In einer Nebenrechnung wird zunachstuberpruft, ob

c?JxjJ − cj ≤ 0 (j ∈ Jc) .

Ist dies der Fall, so ist p primal optimal. Gibt es k ∈ Jc mit

c?JxkJ − ck > 0,

so wird in einer Nebenrechnung l ∈ J bestimmt mit

xkl > 0 und

pl

xkl

= minj∈J

xkj

>0

pj

xkj

. (2.7.1)

Die neue Basisindexmenge ist dann

(J \ {l}) ∪ {k} .

Der Tableauinhalt ist also offenbar formal der gleiche wie beim dualenSimplex-Verfahren, nur die Interpretation ist eine andere.

Beim dualen Simplex-Verfahren ist

y = (AJ)?−1cJ


eine dualzulassige Basislosung, d. h.

(aj)?y − cj= (aj)?(AJ)?−1cJ − cj= c?Jx

jJ − cj ≤ 0 (j ∈ Jc)

ist von selbst erfullt.Ist

pJ = (AJ)−1b ≥ 0 ,

so ist y bereits dual optimal.Gibt es l ∈ J mit

pl < 0 ,

so wird in einer Nebenrechnung k ∈ Jc bestimmt mit

xkl < 0 und

cTJ xkJ − cjxk

l

= minj∈Jc

xjl

<0

cTJ xjJ − cjxj

l

. (2.7.2)

Die neue Basisindexmenge ist dann

(J \ {l}) ∪ {k} .

Beim revidierten primalen Simplex-Verfahren arbeitet man mit Re-kursionsfomeln fur die inverse Basis (AJ)−1 bzw. mit Faktorisierungstech-niken fur die Basis AJ , und die Tableaus lassen sich kompakter schreiben.

Beim revidierten primalen Simplex-Verfahren kann man alle relevantenDaten in der Form speichern

j ∈ {1, . . . ,m}

i∈J (AJ)−1 pi

yj ← c?JpJ = b?y

pJ = (AJ)−1b, pj = 0 (j ∈ Jc)

ist primalzulassige Basislosung. Fur

y = (AJ?)−1cJ


wird uberpruft, ob(aj)? ≤ cj (j ∈ Jc) .

Ist dies der Fall, so ist p primal optimal. Gibt es k ∈ Jc mit

(ak)?y > ck ,

so wird zunachstxk

J = (AJ)−1ak

berechnet und dann l ∈ J mit (2.7.1).Beachte, dass nach Konstruktion stets gilt

c?JpJ = b?y .

Hat sich beim Optimalitatstest fur p also y als dualzulassig herausgestellt,so ist y nach dem schwachen Dualitatssatz 2.6.3 dual optimal.

Beim revidierten dualen Simplexverfahren ist das Tableau formal gleich.Es ist

y = (AJ)?−1cJ

dualzulassige Basislosung,

(aj)?y

= cj (j ∈ J)

≤ cj (j ∈ Jc).

Ist

pJ = (AJ)−1b ≥ 0 ,pj = 0 (j ∈ Jc) ,

so ist y dual optimal (und p primal optimal).Gibt es l ∈ J mit

pl < 0

so wird zunachstxJc

l = (AJ)−1l AJc

berechnet und dann k ∈ Jc mit (2.7.2).

Kapitel 3

Netzwerkflussprobleme

3.1 Graphentheoretische Grundbegriffe

Wir stellen im folgenden einige Grundbegriffe fur gerichtete Graphen zu-sammen. Anschaulich ist ein Graph eine Menge von Punkten und von Be-ziehungen zwischen Punktepaaren.

Abbildung 3.1: Gerichteter Graph

Ein (gerichteter) Graph oder Digraph (V,E) besteht aus einer nichtlee-ren Menge V von Knoten, einer Menge E von gerichteten Kanten (Bogen,Pfeilen) und einer Inzidenzabbildung

h : E −→ V × V ,

61

62 Kapitel 3. Netzwerkflussprobleme

die jeder gerichteten Kante e ∈ E ein geordnetes Paar (v, w) ∈ V × Vzuordnet. Meist werden

e = (v, w)

miteinander identifiziert.v heißt Anfangsknoten (initial endnode resp. tail) w heißt Endknoten

(terminal endnode resp. head) von e. v heißt auch Vorganger von w und wNachfolger von v.

Im folgenden nehmen wir stets an, dass v 6= w, dass also keine Schleifenvorkommen.

Zwei Kanten eines Graphen heißen parallel, wenn sie den gleichen Anfangs-und den gleichen Endknoten besitzen.

Ein Graph ohne parallele Kanten heißt einfach.Ein Graph heißt vollstandig, wenn je zwei verschiedene Knoten v und w

durch Bogen (v, w) und (w, v) verbunden sind.Ein Graph (V,E) heißt symmetrisch, wenn mit (v, w) ∈ E stets auch

(w, v) ∈ E ist, und antisymmetrisch, wenn aus (v, w) ∈ E stets (w, v) /∈ Efolgt.

Graphen lassen sich eindeutig durch Matrizen beschreiben. Sei dazu

V = {1, . . . , n}

die Knotenmenge und E die Kantenmenge eines Graphen. Dann heißt diedurch

uij =

1, falls {i, j} ∈ E ,

0 sonst .

definierte Matrix Adjazenzmatrix von (V,E).Numeriert man die Kanten des Graphen G = (V,E) durch

E = {e1, . . . , em} ,

und definiert die n×m-Matrix

H = (hiµ)µ=1,...,mi=1,...,n

durch

hµi =

1, falls i Anfangsknoten von eµ ,

−1, falls i Endknoten von eµ ,

0 sonst ,

3.1. Graphentheoretische Grundbegriffe 63

so erhalt man die Inzidenzmatrix von G.Betrachte jetzt den gerichteten Graphen aus Abbildung 3.1 mit Knoten-

mengeV = {1, 2, 3, 4, 5, 6}

und Kantenmenge

E = {(1, 2), (1, 3), (1, 5), (2, 3), (4, 2), (4, 3), (5, 3), (5, 4), (5, 6), (6, 2), (6, 4)} .

Die Adjazenzmatrix ist gleich

0 1 1 0 1 0

0 0 1 0 0 0

0 0 0 0 0 0

0 1 1 0 0 0

0 0 1 1 0 1

0 1 0 1 0 0

,

die Knoten-Kanten-Inzidenzmatrix ist gleich

1 1 1 0 0 0 0 0 0 0 0

−1 0 0 1 −1 0 0 0 0 −1 0

0 −1 0 −1 0 −1 −1 0 0 0 0

0 0 0 0 1 1 0 −1 0 0 −1

0 0 −1 0 0 0 1 1 1 0 0

0 0 0 0 0 0 0 0 −1 1 1

.

Gibt es in dem Graphen (V,E) einen Pfeil (i, j), dann heißt i Vorgangervon j und j Nachfolger von i, P (i) sei die Menge aller Vorganger von i, S(i)sei die Menge aller Nachfolger von i.

Ein Knoten i ohne Vorganger heißt Quelle, ein Knoten j ohne Nachfolgerheißt Senke.

Die Anzahl der Nachfolger eines Knoten i in einem Graphen heißt Aus-gangsgrad δ+(i) von i, die Anzahl der Vorganger von i heißt Eingangsgradδ−(i) von i,

δ+(i) = |S(i)|, δ−(i) = |P (i)| .


Eine Folge

i0, (i0, i1), i1, (i1, i2), . . . , ir−1, (ir−1, ir), ir

von Knoten und gerichteten Kanten in einem Graphen heißt Kantenfolgeoder Pfeilfolge mit dem Anfangsknoten i0 und dem Endknoten ir oder auchPfeilfolge von i0 nach ir und wird auch kurz mit

(i0, i1, . . . , ir)

bezeichnet.Ist i0 6= ir, so heißt die Pfeilfolge offen, andernfalls geschlossen.Eine offene Pfeilfolge (i0, . . . , ir) mit lauter verschiedenen Knoten heißt

gerichteter Weg (path), eine geschlossene Pfeilfolge mit lauter verschiedenenZwischenknoten heißt Zyklus (cycle).

Ein Graph ohne Zyklen heißt zyklenfrei. Haben in einer Folge von Knotenund Pfeilen nicht alle Pfeile die gleiche Orientierung, so spricht man vonSemipfeilfolge, Semiweg, Semizyklus. Semizyklen heißen auch Kreis (circle).

In Abbildung 3.1 ist (1, 5, 3) ein Weg, 1(1, 2), 2, (4, 2), 4, (6, 4), 6 ein Se-miweg, 5, (5, 6), 6, (6, 4), 4, (4, 3), 3, (5, 3), 5 ein Semizyklus.

Zwei Knoten i, j eines Graphen G heißen miteinander verbunden, wennes ein Semipfeilfolge in G mit den Endknoten i, j gibt.

Ein Knoten j von G heißt erreichbar von dem Knoten i von G, wenn eseine Pfeilfolge und damit einen Weg von i nach j gibt.

Ein Graph heißt (schwach) zusammenhangend, wenn je zwei Knoten mit-einander verbunden sind, er heißt stark zusammenhangend, wenn fur je zweiKnoten i und j i von j aus und j von i aus erreichbar sind.

Eine Zusammenhangskomponente G′ von G ist ein maximaler schwachzusammenhangender Teilgraph von G.

Ein zusammenhangender, kreisfreier Graph heißt Baum, ein kreisfreierGraph mit k Zusammenhangskomponenten heißt Wald mit k Baumen.

Ein kreisfreier Graph mit n Knoten ist genau dann ein Wald mit k ≤ nBaumen, wenn er n− k Kanten besitzt:

Ein zusammenhangender Teilgraph eines Graphen G, der alle Knotenvon G enthalt und minimale Kantenzahl besitzt, heißt Gerust von G. JedesGerust ist ein Baum, ein sogenannter spannender Baum von G. Ein Graphhat genau dann (mindestens) ein Gerust, wenn er zusammenhangend ist.

Ein Graph (V,E) zusammen mit einer Abbildung

w : E −→M ,

3.2. Netzwerksimplexverfahren 65

die jedem Pfeil e ∈ E ein Element w(e) ∈ M zuordnet, heißt bewerteterGraph und wird auch mit

(V,E,w)

bezeichnet. w heißt Bewertungs- oder Gewichtsfunktion. Ein bewerteterGraph ohne isolierte Knoten heißt auch Netzwerk.

3.2 Netzwerksimplexverfahren

Betrachte einen gerichteten Graphen G ohne isolierte Knoten mit der Kno-tenmenge

V = {v1, . . . , vn} ,

der KantenmengeE = {e1, . . . , em}

und der Knoten-Kanten-Inzidenzmatrix

A =(aeν

µ

)ν=1,...,m

µ=1,...,n

mit

aeνµ =

1, falls µ Anfangsknoten von eν ,

−1, falls µ Endknoten von eν ,

0 sonst .

Der Einfachheit halber werden wir die Knoten mit ihren Indizes identifizie-ren und die Abkurzungen

ij = (i, j)

fur alle wirklich vorkommenden Kanten verwenden.In diesem Graphen soll der Fluss einer bestimmten Ware optimiert wer-

den. Jedem Knoten vµ wird ein Angebot (supply)

bµ ∈ R

(falls bµ ≥ 0, Bedarf (demand), falls bµ < 0) zugeordnet.Die (pro Planungsintervall) transportierte Menge langs der Kante (i, j)

sei xij ((i, j) ∈ E).Dabei sind folgende Nebenbedingungen einzuhalten:


(1) Die aus dem Knoten vi heraus fließende Menge, vermindert um die invi hinein fließende Menge, ist gleich dem Angebot bi∑

ν(i,ν)∈E

xiν −∑

ν(ν,i)∈E

xνi = bi (i = 1, . . . , n) .

(2) Die langs der Kante (i, j) transportierte Menge ist nach unten und obenbeschrankt,

lij ≤ xij ≤ uij ((i, j) ∈ E) .

Die lij bzw. uij durfen dabei die Werte

−∞ bzw. +∞

annehmen.(3) Der Gesamtbedarf ist gleich dem Gesamtangebot

n∑i=1

bi = 0 .

Die Kosten pro transportierter Einheit langs der Kante (i, j) seien gleichwij ∈ R ((i, j) ∈ E).

Damit erhalten wir das

3.2.1. Netzwerkflussproblem. Minimiere∑ij∈E

wijxij

(P) unter den Nebenbedingungen

Ax = b ,

lij ≤ xij ≤ uij (ij ∈ E) !

Dies ist offenbar ein lineares Optimierungsproblem, allerdings nicht inprimaler Normalform.

3.2.2. Beispiel. Wir wahlen den Graphen aus Abbildung 3.1 als Grundla-ge eines konkreten Netzwerkflussproblems:


Abbildung 3.2: Netzwerk

Die Bewertungen und Kapazitatsschranken sind gegeben durch

ij wij lij uij

12 3 0 2

13 5 0 10

15 1 0 10

23 1 0 6

42 4 0 8

43 1 0 9

53 6 0 9

54 1 0 10

56 1 0 6

62 1 0 7

64 1 0 8

Angebote bzw. Nachfragen in den einzelnen Knoten sind

b1 = 9 , b2 = −4 , b3 = −17 , b4 = −1 , b5 = 5 , b6 = 8 .

Die Knoten-Kanten-Inzidenzmatrix A besitzt die Eintrage


12 13 15 23 42 43 53 54 56 62 64

1 1 1 1

2 -1 1 -1 -1

3 -1 -1 -1 -1

4 1 1 -1 -1

5 -1 1 1 1

6 -1 1 1

Die Spalten der Knoten-Kanten-Inzidenzmatrix A haben immer die Ge-stalt

aij = ei − ej (ij ∈ E)

mit den kanonischen Einheitsvektoren

eν (ν = 1, . . . , n)

des Rn.

Offenbar ist also ganz allgemein die Summe aller Zeilen der Matrix A dieNullzeile, also besitzt A hochstens den Rang n− 1.

Sei T ein spannender Baum des gerichteten Graphen (V,E). Die zu-gehorige Knoten-Kanten- Inzidenzmatrix AT ist eine n× (n− 1)-Unterma-trix von A. Wegen n ≥ 2 gibt es wenigstens einen Endknoten vk in T , dermit genau einer Kante von T inzidiert.

Also befindet sich in der k-ten Zeile von AT genau ein Eintrag ±1.

Durch Zeilen- und Spaltenvertauschung konnen wir erreichen, dass dieserEintrag in die erste Zeile und Spalte von AT bzw. A kommt.

Entfernen wir den Knoten vk und die zugehorige Kante, so erhalten wireinen Teilbaum T ′ von T , auf den wir die gleiche Uberlegung anwendenkonnen.


Nach n− 1 Schritten hat A die Gestalt

±1 0 . . . 0 a′n1 . . . a′m1

?. . . . . .

......

.... . . . . . 0

...

? . . . ? ±1 a′nn−1 . . . a′mn−1

a′1n . . . . . . a′n−1n a′nn . . . a′mn

,

wobei die letzte Zeile linear abhangig von den ubrigen Zeilen ist. Damit istgezeigt

3.2.3. Lemma. Der Graph (V,E) besitze einen spannenden Baum. Dannbesitzt die zugehorige Knoten-Kanten-Inzidenzmatrix den Rang n− 1.

Wahle nun n− 1 linear unabhangige Spalten

aµν (µν ∈ J ⊂ E)

von A aus.Annahme: Der zugehorige Teilgraph T mit n− 1 Kanten besitzt einen

Kreis.Wir orientieren den Kreis durch einen seiner Pfeile (i, j) und geben jeder

Spalte aµν das Gewicht εµν = 1, wenn (µ, ν) gleich gerichtet ist mit (i, j),das Gewicht εµν = −1, wenn (µ, ν) entgegen gerichtet ist zu (i, j). Dann ist∑

µν∈T

εµνaµν = 0Rn .

Dieser Widerspruch zeigt, dass T kreisfrei ist. Da T n − 1 Kanten enthaltund hochstens n Knoten, ist T spannender Baum von (V,E).

Insgesamt erhalten wir damit den

3.2.4. Satz. Eine Menge

(aµν)µν∈J⊂E

von n− 1 Spaltenvektoren der Knoten-Kanten-Inzidenzmatrix A des Netz-werkflussproblems 3.2.1 ist genau dann linear unabhangig, wenn der zu-gehorige Teilgraph T ein spannender Baum des Graphen (V,E) ist.


Das Netzwerkflussproblem ist ein lineares Optimierungsproblem mit (imwesentlichen) n−1 Gleichungen und 2m Ungleichungen als Nebenbedingun-gen. Man sollte es also nicht auf primale Normalform bringen, sondern direktbehandeln, insbesondere da die Ungleichungen “box constraints” sind. Wirmussen daher den Begriff der Basislosung sinngemaß abandern.

3.2.5. Definition. p ∈ Rm heißt zulassige Basislosung fur das Netzwerk-flussproblem 3.2.1, falls gilt:p ist zulassig, d.h.

Ap = b ,

lij ≤ pij ≤ uij (ij ∈ E) ,

und die Spaltenaµν (µν ∈ J+)

von A mitlµν < pµν < uµν

sind linear unabhangig.Insbesondere besteht J+ aus hochstens n− 1 Indizes. Falls der Rang von

A gleich n− 1 ist, lassen sich die Spalten (aµν)µν∈J+ stets zu einem Systemvon n− 1 linear unabhangigen Spalten von A

(aµν)µν∈J

mit J+ ⊂ J ⊂ E erweitern.Die Submatrix

AJ = (aµν)µν∈J

heißt Basis von p. Die Indizes aus J heißen Basisindizes, die Indizes ausJc = E \ J heißen Nichtbasisindizes.

Die Komponentenpµν (µν ∈ J)

heißen Basiskomponenten, die ubrigen Komponenten

pµν = lµν (falls lµν ∈ R)

oderpµν = uµν (falls uµν ∈ R)

heißen Nichtbasiskomponenten.


Geometrischer Hintergrund: Es liegt ein lineares Optimierungspro-blem mit m Entscheidungsvariablen xij (ij ∈ E) vor. p ist zulassige Ba-sislosung genau dann, wenn p zulassig ist und wenn m linear unabhangigeNebenbedingungen als Gleichungen erfullt sind. Satz 3.2.4 besagt weiter,dass p genau dann zulassige Basislosung ist, wenn die Basiskomponenten

pµν (µν ∈ J)

einen spannenden Baum des Graphen (V,E) bestimmen und die box cons-traints erfullen und wenn fur die Nichtbasiskomponenten gilt

pµν = lµν (falls lµν ∈ R) oder pµν = uµν (falls uµν ∈ R) .

Hieraus und aus der Herleitung des Lemma 3.2.3 folgt unmittelbar der fun-damentale

3.2.6. Satz. Sind im Netzwerkflussproblem 3.2.1 alle vorkommenden un-teren und oberen Schranken ganzzahlig und sind auch alle Angebote biganzzahlig, so besitzt jede zulassige Basislosung lauter ganzzahlige Kompo-nenten.

3.2.7. Beispiel. Wir greifen unser Beispiel wieder auf und wahlen als Basis

(a15a42a43a53a62

)=

1 0 0 0 0

0 −1 0 0 −1

0 0 −1 −1 0

0 1 1 0 0

−1 0 0 1 0

0 0 0 0 1

= AJ ,

kompakter dargestellt als spannender Baum, die gestrichelten Kanten sinddie Nichtbasiskanten.


Abbildung 3.3: Basislosung

Fur die Basislosung erhalten wir durch Losung des Systems

Ap = b ,

pµν = 0 oder pµν = uµν (µν /∈ J)

die Basiskomponenten

p15 = 9 , p42 = 4 , p43 = 3 , p53 = 8 , p62 = 6

und die Nichtbasiskomponenten

p12 = 0 , p13 = 0 , p23 = 6 , p54 = 0 , p56 = 6 , p64 = 8 .

In Abbildung 3.3 sind diese Komponenten an die (durchgezogenen) Basis-kanten und die (gestrichelten) Nichtbasiskanten geschrieben worden.

Fur den Basiswechsel orientieren wir uns am revidierten Simplex-Verfahren,verwenden dabei allerdings die graphentheoretische Interpretation. Fur dieOptimalitatsprufung benotigen wir das Dualproblem zum Netzwerkflusspro-blem (P) aus 3.2.1. Wir fassen dazu (P) auf als Problem mit freien Varia-blen und lauter expliziten Gleichungs- und Ungleichungsnebenbedingungen.Durch formale Dualisierung erhalten wir:

3.2.8. Duales Netzwerkflussproblem. Maximiere

(b?, l?, u?)

y

z

z


(D) unter den Nebenbedingungen

(A?|E|E)

y

z

z

= w ,

y ∈ Rn , z ≥ 0Rm , z ≤ 0Rm !

Komponentenweise geschrieben erhalten wir:Maximiere

b?y + l?z + u?z


yi − yj + zij + zij = wij

y ∈ Rn , zij ≥ 0 , zij ≤ 0 (ij ∈ E) !

Dieses Dualproblem werden wir benutzen fur den Optimalitatstest imfolgenden

3.2.9. Netzwerksimplexalgorithmus. Sei p eine zulassige Basislosungmit der Basis AJ . Dann konnen wir einen Vektor

y

z

z

berechnen aus den Bedingungen

yi − yj = wij (ij ∈ J) ,zij := zij := 0 (ij ∈ J) ,

yi − yj + zij + zij = wij (ij /∈ J) ,zij ≥ 0, zij ≤ 0 (ij /∈ J) .

Da AJ ein spannender Baum des Graphen ist, ist das Gleichungssystem fury stets losbar.


Der Vektor y ist dabei bis auf eine additive Konstante eindeutig be-stimmt. Die Komponenten yi heißen Knotenzahlen.Fall 1: Ist lij < pij < uij , so ist ij ∈ J und daher zij = zij = 0.

Ist fur alle ij /∈ J entweder

lij = pij < uij und yi − yj ≤ wij mit zij := 0

oderlij < pij = uij und yi − yj ≥ wij mit zij := 0 ,

so ist die complementary slackness condition erfullt, also p optimal fur (P)und (y, z, z) optimal fur (D).

Fall 2: Es existiert ein Index ij /∈ J mit

lij = pij und yi − yj > wij .

Fall 2’: Es existiert ein Index ij /∈ J mit

pij = uij und yi − yj < wij .

Wir studieren exemplarisch die erste Situation. Dann ist ij ein Kandidatzur Aufnahme in die Basisindexmenge, und zwar durch Erhohung der Fluss-komponente pij durch die Kante ij, alle ubrigen Flusskomponenten pµν mitµν /∈ J bleiben ungeandert.

Wir addieren also zu p eine Losung des homogenen Systems,

p(λ) = p− λxij ,

mit

λ ≥ 0 ,xij

µν = 0 (µν /∈ J, µν 6= ij) ,

xijij = −1 ,

Axij = 0Rn .

Dies fuhrt auf das reduzierte System

AJxijJ − a

ij = 0Rn

zur Bestimmung von xijJ .


Wir wissen bereits, dass sich AJ durch Zeilen- und Spaltentausch aufuntere Dreiecksgestalt bringen lasst.

Man kann p(λ) aber auch graphentheoretisch bestimmen. Der durch AJ

beschriebene spannende Baum erhalt durch die zusatzliche Kante ij genaueinen Kreis.

Dieser Kreis wird durch die Kante ij orientiert. In jeder gleich orientier-ten Kante des Kreises wird der Fluss zum λ erhoht, in jeder entgegengesetztorientierten Kante wird der Fluss zum λ erniedrigt, alle anderen Flusse blei-ben ungeandert.λ wird so lange erhoht, bis eine Flusskomponente von

p(λ) = p− λxij

an eine untere oder obere Schranke stoßt, es ist also zu uberprufen, wielange gilt

lµν ≤ pµν − λxijµν ≤ uµν (µν ∈ J ∪ {ij}) .

Fall 2α): Ist λ ≥ 0 beliebig wahlbar, so ist die Zielfunktion des Netzwerk-flussproblems auf der zulassigen Menge nicht nach unten beschrankt.

Fall 2β): Ansonsten gibt es einen Index ij ∈ J mit

λ =pij − lijxij

ij

= minµν∈J

xijµν >0

pµν − lµν

xijµν

und xij

ij> 0 (Beachte: alle Nenner = 1), bzw., falls zuerst an obere Schranke

angestoßen wird,

λ =uij − pij

−xij

ij

= minµν∈J∪{ij}

xijµν <0

uµν − pµν

−xijµν

und xij

ij< 0 (Beachte: alle Nenner = 1).

Beachte, dass gemaß der graphentheoretischen Interpolation mittels Krei-sen gerade gilt

−xijµν = +1, falls µν im Kreis gleich gerichtet ist wie ij,

−xijµν = −1, falls µν im Kreis entgegen gerichtet ist wie ij,

−xijµν = 0 sonst.


Fall 2’: Es existiere ij /∈ J mit

pij = uij und yi − yj < wij .

Wir addieren zu p eine Losung des homogenen Systems

p(λ) = p− λxij ,

mit

λ ≥ 0 ,xij

µν = 0 (µν /∈ J, µν 6= ij) ,

xijij = +1 ,

Axij = 0Rn

und gehen ganz analog vor.

Fall 2’α): Ist fur alle λ ≥ 0

lµν ≤ pµν − λxijµν ≤ uµν (µν ∈ J ∪ {ij}) ,

so ist die Zielfunktion auf der zulassigen Menge nicht nach unten beschrankt.

Fall 2’β): Ansonsten existiert ein Index ij ∈ J mit

λ =pij − lijxij

ij

= minµν∈J∪{ij}

xijµν >0

pµν − lµν

xijµν

und xij

ij> 0 bzw., falls zuerst an obere Schranke angestoßen wird, mit

λ =uij − pij

−xij

ij

= minµν∈J

xijµν <0

uµν − pµν

−xijµν

und xij

ij< 0.

Ersetze die alte Basisindexmenge J durch

J = (J \ {i, j}) ∪ {i, j} .

AJ beschreibt dann wieder einen spannenden Baum des Gesamtgraphen, daaus dem einzigen in J ∪ {ij} vorhandenen Kreis eine Kante entfernt werde.


Also ist AJ zulassige Basis und

p = p− λxij bzw. p = p− λxij

eine zulassige Basislosung.

Auf die Diskussion der Entartung verzichten wir.

3.2.10. Beispiel. Wir rechnen einen Basiswechsel fur das Testbeispiel ex-plizit durch. Eine zulassige Startbasis ist in Abbildung 3.3 dargestellt.

Zunachst berechnen wir die Knotenzahlen durch Losen des Systems

yi − yj = wij (ij ∈ J)

mit

J = {15, 42, 43, 53, 62} ,wJ = {1, 4, 1, 6, 1} .

Dazu zeichnet man in dem durch J gegebenen spannenden Baum einenKnoten aus, z.B. den Knoten 1 und gibt y1 einen beliebigen Wert, z.B.y1 = 0.

Dann ergibt sich sukzessive

y5 = −1, y3 = −7, y4 = −6, y2 = −10, y6 = −9 .

Unter allen nicht zu J gehorigen Kanten wird dann eine gesucht mit

lij = pij und yi − yi > wij

oderpij = uij und yi − yj < wij ,

z.B. ist0 = p13 und y1 − y3 = 7 > w13 = 5 .

Wir wahlen daherij = 13

als in J aufzunehmende Kante. Das System

AJx13J = a13


lautet dann

1 0 0 0 0

0 −1 0 0 −1

0 0 −1 −1 0

0 1 1 0 0

−1 0 0 1 0

0 0 0 0 1

x13

J =

1

0

−1

0

0

0

.

Durch Zeilen- und Spaltenvertauschungen lasst sich die Koeffizientenmatriximmer auf obere Dreiecksgestalt bringen mit lauter ±1 auf der Hauptdia-gonalen.

Wir lesen eine Losung direkt ab

x1315 = 1 ,x13

53 = 1 ,x13

43 = 0 ,x13

42 = 0 ,x13

62 = 0 .

Graphentheoretisch erhalten wir das gleiche Resultat: Durch Hinzufugungder Kante 13 ist der Kreis

13, 53, 15entstanden. Alle zu 13 gleich gerichteten Kanten erhalten die Flussver-großerung λ, alle zu 13 entgegen gerichteten Kanten erhalten die Flussver-minderung λ, alle ubrigen Kantenflusse bleiben unverandert. Damit wird

p(λ) = p− λx13 .

Abschließend ist diesen Kreis entlang zu prufen, wie groß λ gewahlt werdenkann, ohne die oberen und unteren Schranken zu verletzen:

minµν∈J

x13µν >0

pµν − lµν

x13µν

= min{p53, p15}

= min{8, 9}= 8 = p53 ,

minµν∈J∪{13}

x13µν<0

uµν − pµν

−x13µν

= u13 − p13 = 10 .


Damit wirdλ = 8 und ij = 53 ,

und wir erhalten die neue Basisindexmenge

J = (J \ {53}) ∪ {13} ,

die neue zulassige Basislosung p = p − λx13 und den neuen spannendenBaum


Abbildung 3.4: Basislosung

Fuhrt man diese Basiswechsel weiter durch, so gelangt man schließlichzu folgender zulassigen Basislosung

Abbildung 3.5: Optimalbasis


mit der Basisindexmenge

J = {13, 15, 23, 54, 64}

und der Basis

AJ =(a13a15a23a54a64

)=

1 1 0 0 0

0 0 1 0 0

−1 0 −1 0 0

0 0 0 −1 −1

0 −1 0 1 0

0 0 0 0 1

.

Die Knotenzahlen ergeben sich durch Losung von

yi − yj = wij (ij ∈ J)

mit

J = {13, 15, 23, 54, 64}wJ = {5, 1, 1, 1, 1} .

Wir setzen y2 = 0, dann wird

y3 = −1 ,y1 = 4 ,y5 = 3 ,y4 = 2 ,y6 = 3 .

Wegen

p12 = u12 und y1 − y2 = 4 > 2 = w12 ,

l53 = p53 und y5 − y3 = 4 < 6 = w53 ,

p43 = u43 und y4 − y3 = 3 > 1 = w43 ,

l42 = p42 und y4 − y2 = 2 < 4 = w42 ,

l56 = p56 und y5 − y6 = 0 < 1 = w56 ,

p62 = u62 und y6 − y2 = 3 > 1 = w62

ist p optimale Basislosung, der Optimalwert ist 56.


Abschließend behandeln wir noch Phase I des Netzwerksimplexalgorith-mus, bei der eine zulassige Startbasis berechnet wird, sofern eine existiert.

3.2.11. Phase I des Netzwerksimplexalgorithmus. Wir belegen jedeKante des Graphen (V,E) mit minimalem oder maximalem Kantenfluss,etwa

pµν = lµν , sofern lµν ∈ R2 (µν ∈ E) .

Dieser Netzwerkfluss ist im allgemeinen nicht zulassig, da∑iν∈E

piν −∑

µi∈E

pµi = bi (i = 1, . . . , n)

im allgemeinen ungleich bi ausfallen wird.Fur jeden Knoten vi fuhren wir eine kunstliche Kante zwischen vi und

einem kunstlichen Knoten v0 := 0 ein und transportieren langs dieser Kantedas Defizit zu vi hin oder den Uberschuss von vi weg:

Wir wahlen also als kunstliche Kanten

i0 mit pi0 = bi − bi, falls bi ≥ bi ,

0i mit p0i = bi − bi, falls bi < bi

fur i = 1, . . . , n.Das Angebot des Knotens v0 ist gleich

−∑

bi≥bi

(bi − bi) +∑

bi<bi

(bi − bi)

=n∑

i=1

bi −n∑

i=1

∑iν∈E

piv −∑

µi∈E

pµi

= 0 ,

da alles, was aus einem Knoten vk ∈ V heraus transportiert wird, in einenanderen Knoten aus V hinein transportiert wird.

Fur die kunstlichen Kanten definieren wir als untere Schranken 0 undals obere Schranken ∞. Dann ist p ein zulassiger Fluss fur den erweiterten


Graphen (V , E) mit der erweiterten Knoten-Kanten-Inzidenzmatrix

E 1001 . . . n0

0n

1 ±1 b1... A

. . ....

n ±1 bn

0 0 . . . 0 ∓1 . . . ∓1 0

.

Offenbar ist p eine zulassige Basislosung fur das erweiterte Problem mit denkunstlichen Kanten als Basisindexmenge.

Wir definieren als Hilfskostenvektor

wij = 0 (ij ∈ E) ,

wij = 1 (ij ∈ E, i = 0 oder j = 0)

und wenden Phase II des Netzwerksimplexalgorithmus an.Da die Zielfunktion nach unten beschrankt ist und wenn wir durch ge-

eignete Vorkehrung Schleifen vermeiden, erhalten wir nach endlich vielenSchritten eine optimale Basislosung

p

des Hilfsproblems mit einer der folgenden drei Eigenschaftena) pij > 0 fur wenigstens eine kunstliche Kante ij ∈ E, i = 0 oder j = 0.

Dann ist das Ausgangsproblem unzulassig, da jede zulassige Losung fur dasAusgangsproblem die Kosten 0 fur das Hilfsproblem liefern wurde, wahrenddoch die Minimalkosten fur das Hilfsproblem positiv sind.

b) pij = 0 fur alle kunstlichen Kanten ij ∈ E, i = 0 oder j = 0.Dann ist pij (ij ∈ E) zulassig fur das Ausgangsproblem.

Gehort nur eine kunstliche Kante zur Basis von p, so streichen wir dieseund erhalten damit auch eine Startbasis fur das Ausgangsproblem.

c) pij = 0 fur alle kunstlichen Kanten ij ∈ E, i = 0 oder j = 0, wenig-stens zwei kunstliche Kanten gehoren zur Basis von p.

Dann ist zwar p zulassig fur das Ausgangsproblem, aber die zu p gehorigeBasis bzw. der zugehorige spannende Baum fur den erweiterten Graphennicht als Startbasis fur Phase II verwendbar.

Dieser Fall kann wirklich eintreten. War z. B. (V,E) nicht zusammen-hangend, so kann es gar keinen spannenden Baum fur (V,E) geben. Alsomuss der Fall c) gesondert behandelt werden.


J sei die Basisindexmenge fur die Optimallosung p des Hilfsproblems.Dafur ist die Optimalitatsbedingung erfullt, d. h. es gilt mit den zugehorigenKnotenzahlen y0, . . . , yn:

Fur alle ij ∈ J ist

yi − yj = wij =

0 (i 6= 0 und j 6= 0)

1 (i = 0 oder j = 0),

dies bedeutet, dass die Knotenzahlen langs kunstlicher Basiskanten um 1fallen, langs Basiskanten des ursprunglichen Graphen ungeandert bleiben.Fur alle ij /∈ J ist

yi − yj ≤ wij =

0 (i 6= 0 und j 6= 0) fur lij = pij < uij ,

1 (i = 0 oder j = 0) fur 0 = pij < +∞ ,

yi − yj ≥ wij = 0 (i 6= 0 und j 6= 0) fur lij < pij = uij ,

hierbei wurde ausgenutzt, dass fur ij ∈ E mit i = 0 oder j = 0

lij = 0 und uij = +∞

gesetzt wurde.Wahle eine kunstliche Basiskante vw mit v = 0 oder w = 0, dann ist

yv = yw + 1 .

Zerlege die Knotenmenge V folgendermaßen: Setze

vk ∈ S, falls yk ≥ yv ,

vk ∈ R, falls yk < yv .

Dann ist yw ∈ R, yv ∈ S, R ∩ S = ∅, R ∪ S = V .Fur jeden Pfeil des Graphen von R nach S wachst also die Knotenzahl

strikt, fur jeden Pfeil von S nach R fallt also die Knotenzahl strikt.Aus der Optimalitatsbedingung folgt somit:Es gibt keine Basiskante im ursprunglichen Graphen, die von R nach S

weist.Es gibt keine Basiskante im ursprunglichen Graphen, die von S nach R

weist.


Es gibt keine Nichtbasiskante im ursprunglichen Graphen mit lij = pij ,die von S nach R weist.

Es gibt keine Nichtbasiskante im ursprunglichen Graphen mit pij = uij ,die von R nach S weist.

Es liegt also folgende Situation fur den ursprunglichen Graphen vor:Ist ij ∈ E eine Kante des ursprunglichen Graphen mit i ∈ R und j ∈ S, soist ij eine Nichtbasiskante mit

pij = lij .

Ist ij ∈ E eine Kante des ursprunglichen Graphen mit i ∈ S und j ∈ R, soist ij eine Nichtbasiskante mit

pij = uij .

Da p zulassig ist, ist das Gesamtangebot in S∑k∈S

bk =∑ij∈Ei∈Sj∈R

pij −∑

µν∈Eµ∈Rν∈S

pµν .

Da alle kunstlichen Komponenten gleich 0 sind, zeigt obige Uberlegung∑k∈S


uij −∑


lµν .

Fur jeden zulassigen Fluss p fur das Ausgangsproblem gilt dann∑ij∈Ei∈Sj∈R

pij −∑


pµν

=∑k∈S

bk

=∑ij∈Ei∈Sj∈R

uij −∑


lµν

≥∑ij∈Ei∈Sj∈R

pij −∑

µν∈Eµ∈Rv∈S

pµν ,


also muss einzeln gelten:

pij = uij fur alle ij ∈ E mit i ∈ S , j ∈ R ,

pµν = lµν fur alle µν ∈ E mit µ ∈ R , ν ∈ S .

Damit liegen fur diese Kanten die Kosten fest, sie konnen also aus demGraphen entfernt werden. Nach entsprechender Anpassung aller Angeboteb1, . . . , bn verbleiben zwei voneinander unabhangige Netzwerkflussproblemezu losen.

Die Diskussion des obigen Falles c) liefert nebenbei noch den folgenden

3.2.12. Satz. Das ursprungliche Netzwerkflussproblem besitzt genau dannkeine zulassige Losung, wenn eine Knotenmenge S ⊂ V existiert mit∑

k∈S

bk >∑ij∈E

i∈S

j /∈S

uij −∑

µν∈E

µ/∈S

ν∈S

lµν .

Beweis. i) Sei p ein Netzwerkfluss, der die Schranken langs aller Kanteneinhalt, dann ist∑

ij∈E

i∈S

j /∈S

uij −∑

µν∈E

µ/∈S

ν∈S

lij ≥∑ij∈E

i∈S

j /∈S

pij −∑

µν∈E

µ∈S

ν∈S

pij =∑k∈S

bk .

ii) Es gebe keinen zulassigen Netzwerkfluss. Dann endet Phase I desNetzwerksimplexalgorithmus mit dem Fall a), außerdem ist die Optima-litatsbedingung aus Fall c) erfullt, und die dortigen Uberlegungen blei-ben anwendbar, nur dass jetzt kunstliche Basiskanten ij existieren mitij ∈ E, i = 0 oder j = 0, pij > 0. Wir wahlen vw in Fall c) so, dassdiese Kante zu den kunstlichen Basiskanten mit pvw > 0 gehort. Dann istv ∈ S,w ∈ R.

Sei ij eine weitere kunstliche Basiskante. Die Kante ij hat mit der Kantevw den Knoten 0 gemeinsam, es liegt also eine der Situationen vor:

α) v = 0 = j , β) v = 0 = i , γ) w = 0 = j , δ) w = 0 = i .

3.3. Maximale Flusse in Netzwerken 87

Die Optimalitatsbedingung liefert jeweils:

α) yv = y0 = yw + 1 mit v = 0 ∈ S, w ∈ R ,

yi = yj + 1 = y0 + 1 , es ist also i ∈ S, j = 0 ∈ S ,

β) yi = y0 = yj + 1 , es ist also i = 0 ∈ S, j ∈ R ,

γ) yv = yw + 1 = y0 + 1 mit v ∈ S, w = 0 ∈ R ,

yi = yj + 1 = y0 + 1 , es ist also i ∈ S, j = 0 ∈ R ,

δ) yi = y0 = yj + 1 , es ist also i = 0 ∈ R, j ∈ R .

Es gibt also keine kunstliche Basiskante, die von R nach S lauft.Damit folgt wie in Fall c)∑

k∈S


pij −∑

µν∈Eµ∈Rv∈S

pµν

=∑ij∈Ei∈Sj∈R

uij −∑

µν∈Eµ∈Rv∈S

lµν

+∑ij∈Ei∈Sj∈R

i=0 oder j=0

pij ,

wobei in der letzten Summe nur uber kunstliche Basiskanten ij mit pij > 0summiert zu werden braucht. Wegen b0 = 0 folgt mit S := S \ {0}∑

k∈S

bk >∑ij∈E

i∈S

j /∈S

uij −∑

µν∈E

µ/∈S

ν∈S

lµν .

Dieser Satz wurde erstmals von D. Gale bewiesen, vergl. [26].

3.3 Maximale Flusse in Netzwerken

Als Beispiel wahlen wir das

3.3.1. Flugpassagierproblem. Die folgende Tabelle gibt Auskunft, wieviele Sitze in einem kleinen Flugliniennetz noch zur Verfugung sind:


von nach freie Platze

SF D 5

SF H 6

D A 4

D C 2

H A 5

A NYC 7

C NYC 4

Wie viele Fluggaste konnen maximal von SF nach NYC fliegen? DieZwischenstoppzeiten sollen dabei jeweils ausreichend sein.

Die Tabelle wird durch folgenden GraphenG = (V,E) beschrieben, wobeidie unteren Schranken 0 fur die Kapazitaten nicht eingezeichnet sind.

Abbildung 3.6: Flugpassagierproblem

Fuhren wir eine zusatzliche Kante von NYC nach SF ein, langs derer allenach NYC transportierten Passagiere nach SF zuruck geflogen werden, mitKapazitat +∞, so erhalten wir das aquivalente Netzwerkflussproblem:


Minimiere −xNY C,SF unter den Nebenbedingungen

Ax = Θ ,

0 ≤ xij ≤ uij (ij ∈ E) ,−∞ ≤ xNY C,SF ≤ +∞ .

Dabei ist E = E ∪ (NY C, SF ) die Kantenmenge des oben skizzierten er-weiterten Graphen und A die zugehorige Knoten-Kanten-Inzidenzmatrix.

Dies ist ein Spezialfall des folgenden allgemeinen Maximalflussproblems.

3.3.2. Maximalflussproblem. Ein Maximalflussproblem wird beschrie-ben durch einen bewerteten Graphen G = (V,E) mit Kapazitaten mit zweiausgezeichneten Knoten

vs (Quelle, source, Start) ,vt (Senke, sink, target, Ziel) .

Keine Kante fuhrt in vs hinein, keine Kante fuhrt aus vt hinaus.Alle anderen Knoten (Zwischenknoten, intermediate nodes) haben das

Angebot bzw. den Bedarf 0, d.h. die hinein transportierte Menge ist genaugleich der heraus transportierten Menge,∑

iν∈E

xiν −∑νi∈E

xνi = 0 (i ∈ V, i 6= s, i 6= t) .

Durch Summation folgt ∑sν∈E

xsν −∑

νt∈E

xνt = 0 .

Als Flussgroße bezeichnet man den Wert

Φ(x) =∑

sν∈E

xsν =∑

νt∈E

xνt .

Damit lautet das Maximalflussproblem:

Maximiere Φ(x) unter den Nebenbedingungen∑iν∈E

xiν −∑νi∈E

xνi = 0 (i ∈ V, i 6= s, i 6= t) ,

lij ≤ xij ≤ uij (ij ∈ E) !


Jedes Maximalflussproblem lasst sich genauso wie in Beispiel 3.3.1 aqui-valent als Netzwerkflussproblem schreiben. Damit erhalten wir

3.3.3. Satz. Alle endlichen oberen und unteren Schranken lij , uij seienganzzahlig. Besitzt dann das Maximalflussproblem uberhaupt einen ma-ximalen Fluss, so auch einen ganzzahligen maximalen Fluss.

3.3.4. Definition. Ein Schnitt (cut) in einem Maximalflussproblem ist eineKnotenmenge C, die die Quelle vs enthalt, aber nicht die Senke vt.

Fur einen Schnitt C ist

Φ(x) =∑

sν∈E

xsν

=∑i∈C

(∑iν∈E

xiν −∑νi∈E

xνi

)=

∑i∈Cν /∈C

xiν +∑i∈Cν∈C

xiν −∑ν /∈Ci∈C

xνi −∑ν∈Ci∈C

xνi

=∑i∈Cν /∈C

xiν −∑ν /∈Ci∈C

xνi ,

d.h. die Flussgroße ist der Nettoexport aus C. Die Kapazitat des SchnittesC ist definiert als

K(C) =∑i∈Cν /∈C

uiν −∑ν /∈Ci∈C

lνi

Unmittelbar ersichtlich ist, dass fur jeden Schnitt C und jeden zulassigenFluss x

Φ(x) ≤ K(C)

ausfallt. Wir wollen zeigen, dass fur einen maximalen Fluss sogar Gleichheitgilt.

Wir formulieren dazu das Maximalflussproblem durch Hinzufugung derKante ts mit Kapazitatsschranken lts = −∞, uts = +∞ und Kosten

wij =

0 (ij ∈ E)

−1 (ij = ts)


in ein Netzwerkflussproblem um. Der Netzwerksimplexalgorithmus liefertdann die Information, ob ein maximaler Fluss existiert oder nicht. Fallsein maximaler Fluss existiert, liefert der Netzwerksimplexalgorithmus eineoptimale Basislosung p mit Basisindexmenge J und Knotenzahlen y mit

lij = pij und yi − yj ≤ wij (3.3.1)

bzw.pij = uij und yi − yj ≥ wij (3.3.2)

fur alle ij /∈ Jund

yi − yj = wij (3.3.3)

fur alle ij ∈ J .Wegen wts = −1 und lts = −∞, uts = +∞ ist

yt = ys − 1 .

DefiniereC = {vj : yj ≥ ys} ,

dann ist vs ∈ C und vt /∈ C, C also ein Schnitt.Beachte, dass

C = {vj : yj = 1} 3 vs , Cc = {vj : yj = 0} 3 vt ,

sofern man ys = 1 festsetzt, da in dem durch J bestimmten spannendenBaum die Knotenzahlen nur langs der Kante ts wachsen konnen, und zwarum den Wert 1.

Sei jetzt iν 6= ts eine Kante des ursprunglichen Graphen mit i ∈ C, ν /∈C. Dann ist also

yi ≥ ys > yν .

Wegen wiν = 0 ist nach (3.3.3) iν /∈ J und nach (3.3.2) piν = uiν .Ist νi 6= ts eine Kante des ursprunglichen Graphen mit ν /∈ C, i ∈ C, so

istyν < ys ≤ yi .

Wegen wνi = 0 ist nach (3.3.3) νi /∈ J und nach (3.3.1) pνi = lνi.Es ist also ein Schnitt C gefunden mit

K(C) =∑i∈Cν /∈C

uiν −∑ν /∈Ci∈C

lνi

= Φ(p) .


Damit ist insgesamt bewiesen

3.3.5. Max-Flow Min-Cut Theorem. Besitzt das Maximalflussproblemeine Maximallosung, so ist der maximale Fluss gleich der minimalen Kapa-zitat aller Schnitte.

Man vergleiche hierzu auch die Originalarbeiten [24], [20] und [50].Wir haben oben das Optimalitatskriterium fur eine optimale Basislosung

des zugeordneten Netzwerkflussproblems ausgenutzt. Wir wollen jetzt nochden Zusammenhang klaren zwischen beliebigen Schnitten des Graphen undzulassigen Basislosungen des Dualproblems des Netzwerkflussproblems:

3.3.6. Duales Netzwerkflussproblem. Maximiere

l?z + u?z


yi − yj + zij + zij = 0 (ij ∈ E) ,

yt − ys = −1,

zij ≥ 0, zij ≤ 0 (ij ∈ E) .

Beachte, dass E die Menge der Kanten des ursprunglichen Graphen ist,(t, s) ist die vom Zielknoten zum Startknoten zuruckfuhrende kunstlicheKante. n sei die Anzahl der Knoten von E, m sei die Anzahl der Kantenvon E.

Eine Ecke des zulassigen Bereichs fur (D) bzw. eine dualzulassige Ba-sislosung ist dadurch charakterisiert, dass (n− 1) + 2m linear unabhangigeNebenbedingungen als Gleichungen erfullt sind. Wir nutzen dabei aus, dassdie Knotenzahlen nur in Form von Differenzen auftreten und setzen willkurlichfest

yt = 0 .

Sei jetzt(y, z, z)

eine beliebige dualzulassige Basislosung. Ware fur ein ij ∈ E gleichzeitig

zij > 0 und zij < 0 ,


so konnten wir mit hinreichend kleinem ε > 0 definieren

αij = zij − ε, αij = zij + ε ,

βij = zij + ε, βij = zij − ε ,αµv = βµv = zµv, αµv = βµv = zµv (µv ∈ E \ (ij)) .

Damit ware dann

12(y, α, α) +

12(y, β, β) = (y, z, z)

als strikte Konvexkombination zweier dualzulassiger Punkte dargestellt. Die-ser Widerspruch zeigt

zij = 0 oder zij = 0 (ij ∈ E) .

Dies zeigt, dass bereits mindestens 2m linear unabhangige Nebenbedingun-gen als Gleichungen erfullt sind. Weitere konnen nur erfullt sein, in demgewisse Vorzeichenbedingungen ij ∈ J ⊂ E simultan mit Gleichheit erfulltsind,

zij = 0 und zij = 0 (ij ∈ J) .

Elementare Zeilenumformungen mit den resultierenden Gleichungen zeigen,dass dann das System (

(ei − ej)?ij∈J

(et − es)?

)vollen Rang gehabt haben muss. Maximal ist hier aber der Spaltenrang n−1erreichbar.

Damit haben wir gezeigt

3.3.7. Satz. (y, z, z) ist genau dann eine dualzulassige Basislosung des dua-len Netzwerkflussproblems 3.3.6, wenn es einen spannenden Baum mit denKanten

ij ∈ J , (t, s)

gibt mit

zij = 0 und zij = 0 (ij ∈ J) ,

zij = 0 oder zij = 0 (ij ∈ E) .


Die Knotenzahlen losen dann das System

yi − yj = 0 (ij ∈ J) ,yt = ys = −1 ,

und es ist

zij =

yj − yi, falls yj > yi ,

0 falls yj ≤ yi ,

zij =

yj − yi, falls yj < yi ,

0, falls yj ≥ yi

fur alle ij ∈ E \ J .

Wegen yt := 0 ist ys = 1. Da die Knotenzahlen nur langs der kunstlichenKante wachsen konnen, definieren sie einen Schnitt

C = {j : yj = 1}

des ursprunglichen Graphen mit

zij = zij = 0 (ij ∈ J) ,

zij =

1, falls i ∈ V \ C, j ∈ C ,

0, sonst ,

zij =

−1, falls i ∈ C, j ∈ V \ C ,

0, sonst .

Die negativ genommene duale Zielfunktion

−u?z − l?z =∑

i,j∈Ei∈Cj /∈C

uij −∑

i,j∈Ei/∈Cj∈C

lij

ist gerade die Kapazitat des Schnitts.

3.3.8. Beispiel. Gegeben sei das Netzwerkflussproblem mit positiven Ka-pazitatsschranken uij und unteren Schranken lij=0:


Abbildung 3.7: Netzwerkflussproblem

Maximierex12 + x13

(P) unter den Nebenbedingungen

−x12 + x23 + x24 = 0 ,−x13 − x23 + x34 = 0 ,

0 ≤ xij ≤ uij (ij ∈ E = {12, 13, 23, 24, 34}) !

Als kunstliche Kante wird 41 eingefuhrt mit freiem Fluss x43, die Ziel-funktion wird ersetzt durch x43. Das Dualproblem lautet dann:

Minimiere−u?z


y ∈ R4, z41 ∈ R ,

yi − yj + zij + zij = 0 (ij ∈ E) ,y4 − y1 = −1 ,

zij ≥ 0, zij ≤ 0 (ij ∈ E) !

Jeder spannende Baum des erweiterten Graphen, der die kunstliche Kan-te 41 enthalt, bestimmt eine duale Basislosung:


a)

Abbildung 3.8: Spannender Baum 1

b)



c)


Die Falle a), b), c) bestimmen den gleichen Schnitt mit der Kapazitatu24 + u34.

d)


Im Fall d) erhalt man einen Schnitt mit der Kapazitat u13 + u23 + u24.


e)


Im Fall e) erhalt man einen Schnitt mit der Kapazitat u12 − 0 + u34.

f)



g)


h)


Die Falle f), g), h) bestimmen den gleichen Schnitt mit der Kapazitatu12 + u13.


Die Knotenzahlen bestimmen also vollstandig die Schnitte und damit diezugehorigen dualzulassigen Basislosungen.

Der Schnitt minimaler Kapazitat bestimmt die optimale duale Basislosung.Mittels des zugehorigen spannenden Baumes erhalt man die zugehorige op-timale primale Basislosung.

Wir beschreiben abschließend den Algorithmus von Ford und Fulkersonzur Berechnung maximaler Flusse.

3.3.9. Algorithmus von Ford und Fulkerson.x sei ein zulassiger Fluss.

Schritt 0:Markiere die Quelle vs.

Schritt 1:α) Falls alle markierten Knoten uberpruft sind, breche man die Rechnung

ab.β) Andernfalls wahle einen markierten, nicht uberpruften Knoten i.

Schritt 2:α) Uberprufe den Knoten i folgendermaßen:

Fur jede Kante ij mit nicht markiertem j und

xij < uij

setze p(j) = ij, und markiere j.Fur jede Kante ji mit nicht markiertem j und

lji < xji

setze p(j) = ji, und markiere j.β) Falls die Senke vt markiert wurde, breche man die Rechnung ab,

andernfalls gehe man zu Schritt 1.

Wir fuhren den Algorithmus fur unser Beispiel 3.3.1 durch und unter-suchen (unabhangig vom Beispiel) die Eigenschaften des Algorithmus, derauch “augmenting path algorithm” heißt.

Ein zulassiger Fluss ist x ≡ 0, der Knoten SF = 1 wird markiert.



Uberprufe den Knoten 1:Wegen

x12 = 0 < 6

wirdp(2) = 12

und H = 2 markiert. Wegen

x13 = 0 < 5

wirdp(3) = 13

und D = 3 markiert.


x24 = 0 < 5

wirdp(4) = 24

und A = 4 markiert.



x35 = 0 < 2

wirdp(5) = 35

und C = 5 markiert.


x46 = 0 < 7

wirdp(6) = 46

und NY C = 6 markiert.

Jetzt wurde die Senke vt markiert, und der Algorithmus bricht ab.Die Kanten

p(6) = 46p(4) = 24p(2) = 12

liefern einen Weg (v1, v2, v4, v6) zur Senke, der in Vorwartsrichtung die obereKapazitatsschranke uij nicht voll ausschopft,

x12 = 0 < u12 = 6 ,x24 = 0 < u24 = 5 ,x46 = 0 < u46 = 7 .

Berechne

∆ = min {u12 − x12, u24 − x24, u46 − x46}= min {6, 5, 7}= 5 .

Dann lasst sich der Fluss x langs dieses Weges vergroßern, ohne die Zulassigkeitzu verletzen, setze

xij =

xij + ∆ (ij = 12, 24, 46)

xij (sonst) .



Dies liefert den neuen zulassigen Fluss x, vergl. die Abbildung 3.17.Im allgemeinen Fall wird ein “augmenting path”, ein ungerichteter “flussver-

großernder” Weg,

(vµ1 , vµ2 , . . . , vµr−1 , vµr), vµ1 = vs, vµr

= vt ,

geliefert, der in Vorwartsrichtung, d. h.

p(µν+1) = (µν , µν+1) ,

die obere Kapazitatsgrenze uµνµν+1 und in Ruckwartsrichtung, d. h.

p(µν+1) = (µν+1, µν) ,

die untere Kapazitatsgrenze lµν+1,µν nicht voll ausschopft. Damit definiertman dann

∆ = min

uij − xij (ij Vorwartskante) ,

xij − lij (ij Ruckwartskante)


und setzt

xij =

xij + ∆ (ij Vorwartskante) ,

xij −∆ (ij Ruckwartskante) ,

xij (sonst) .

Damit ist dann ebenfalls eine Flussvergroßerung um ∆ > 0 erreicht.Nach erfolgreicher Flussvergroßerung wird der Algorithmus mit x := x

wiederholt. Fur das Beispiel erhalten wir als neuen “augmenting path”

p(6) = 46p(4) = 34p(3) = 13

und damit∆ = min{5, 4, 2} = 2 ,

und als neuen Fluss


Der nachste Durchgang liefert

p(6) = 56p(5) = 35p(3) = 13


und damit

∆ = min{3, 2, 4} = 2

und als neuen Fluss


Der nachste Durchgang bricht mit der Information ab, dass alle markier-ten Knoten uberpruft sind, die Senke vt aber nicht durch einen “augmentingpath” erreicht wurde.

Unabhangig vom speziellen Beispiel hat die Menge

C

aller markierten und uberpruften Knoten dann die folgenden Eigenschaften:

a) vs ∈ C, vt /∈ C, d. h. C ist ein Schnitt des zugrunde liegenden Gra-phen.

b) Fur alle Kanten ij des Graphen mit i ∈ C, j /∈ C ist xij = uij , furalle Kanten ij des Graphen mit i /∈ C, j ∈ C ist xij = lij .


Also ist die Kapazitat des Schnitts C

K(C) =∑i∈Cj /∈C

uij −∑i/∈Cj∈C

lij

=∑i∈Cj /∈C

xij −∑i/∈Cj∈C

xij

= Φ(x) ,

vergleiche hierzu 3.3.9.Notwendigerweise ist daher x ein maximaler Fluss und C ein minimaler

Schnitt.Fur unser Beispiel ist also der zuletzt berechnete Fluss optimal, maximal

9 Passagiere konnen von San Francisco nach New York City transportiertwerden.

Insgesamt haben wir damit bewiesen

3.3.10. Satz. Der Algorithmus von Ford und Fulkerson 3.3.9 bricht ent-weder nach endlich vielen Schritten mit einem maximalen Fluss ab oder erliefert einen “augmenting path”, mit dem der Fluss um eine positive Zahlvergroßert werden kann.

Sind alle endlichen unteren und oberen Schranken ganzzahlig und gibtes wenigstens einen Schnitt mit endlicher Kapazitat, so liefert der Algorith-mus, ausgehend von einem zulassigen Fluss, nach endlich vielen Durchlaufeneinen maximalen Fluss.

Mit effizienteren Varianten des Algorithmus lassen sich auch fur beliebigeProblemdaten maximale Flusse berechnen in hochstens

0(n3)

Schritten, wobei n die Knotenzahl des Graphen ist, vergleiche hierzu [13],pp. 380–389 und die Originalarbeiten [19] und [18].

Kapitel 4

Konvexe Optimierung

Alle benotigten Hilfsmittel aus der konvexen Analysis befinden sich in [67],fur unendlichdimensionale Raume in [52]. Die geometrische Sicht wird starkbetont in [41].

4.1 Problemstellung

Durch Spezialisierung erhalten wir aus dem allgemeinen Optimierungspro-blem 1.2.1 folgendes Problem.

4.1.1. Konvexes Optimierungsproblem. K sei konvexer Teil eines li-nearen Raumes X uber R,

f : K −→ R sei konvex,

gi : K −→ R sei konvex (i = 1, . . . ,m′) ,

gi : K −→ R sei affin (i = m′ + 1, . . . ,m) .

Minimieref(x)

unter den Nebenbedingungen x ∈ K und

gi(x) ≤ 0 (i = 1, . . . ,m′) ,gi(x) = 0 (i = m′ + 1, . . . ,m) .

107

108 Kapitel 4. Konvexe Optimierung

Dabei heißt f : K −→ R bekanntlich konvex, falls gilt:

f(λx+ (1− λ)y) ≤ λf(x) + (1− λ)f(y) ∀ x, y ∈ K, λ ∈ [0, 1] .

f : K −→ R heißt affin, falls gilt:

f(λx+ (1− λ)y) = λf(x) + (1− λ)f(y) ∀ x, y ∈ K, λ ∈ [0, 1] .

Mit

Z = Rm ,

K2 = {z ∈ Rm : zi ≤ 0 (i=1, . . . ,m′), zi = 0 (i=m′ + 1, . . . ,m)} ,

g(x) =

g1(x)

...

gm(x)

∀ x ∈ K

liegt genau ein Problem der Gestalt 1.2.1 vor. Da Z endlichdimensional, Xnicht notwendig endlichdimensional ist, heißt das Problem 4.1.1 auch semi-finites konvexes Optimierungsproblem. Sind X und Z endlichdimensional,so ist das Problem 4.1.1 finit. Es hat dann oft die folgende Form.

4.1.2. Finites konvexes Optimierungsproblem.

f : Rn −→ R sei konvex,

gi : Rn −→ R sei konvex (i = 1, . . .m′) ,

gi : Rn −→ R sei affin (i = m′ + 1, . . . ,m) .

Minimiere

f(x)


xj ≥ 0 (j = 1, . . . , n′) ,gi(x) ≤ 0 (i = 1, . . . ,m′) ,gi(x) = 0 (i = m′ + 1, . . . ,m) .


4.1.3. Beispiel. (Ausgleichsproblem mit Fehlerschranken). Gegeben seieneine reelle m × n-Matrix A, ein reeller m-Vektor b und ein Parameter γ.Damit erhalten wir das Problem:

Minimiere(Ax− b)?(Ax− b)


‖Ax− b‖∞ ≤ γ .

Dieses Problem lasst sich aquivalent schreiben alsMinimiere

(Ax− b)?(Ax− b)unter den Nebenbedingungen x ∈ Rn und

Ax− b ≤ γ

1...

1

,

−Ax+ b ≤ γ

1...

1

.

Der Parameter γ ist dabei als Toleranzgrenze anzusehen, die Ungleichun-gen sind komponentenweise zu verstehen.

In unendlichdimensionalen Raumen sind so genannte Minimumnormpro-bleme die einfachsten konvexen Optimierungsprobleme.

4.1.4. Beispiel. (Kontrollproblem im Hilbertraum). Minimiere∫ 1

0

u(t)2 dt

unter den Nebenbedingungen u ∈ L2[0, 1] und

y(t) + y(t) = u(t) fur fast alle t ∈ [0, 1] ,y(0) = y(0) = 0 ,

y(1) = 1, y(1) = 0 .


Die Losung der Differentialgleichung erster Ordnung fur y(t) = w(t)

w(t) + w(t) = u(t)

ist

w(t) = αe−t +∫ t

0

e−(t−τ)u(τ) dτ .

Wegen w(0) = 0 ist α = 0, die Bedingung w(1) = 0 ist daher aquivalent zu∫ 1

0

e(τ−1)u(τ)dτ = 0 .

Aus der Differentialgleichungen folgt durch einmalige Integration

y(t) = y(0) +∫ t

0

[u(τ)− y(τ)] dt

= y(0) + y(0)− y(t) +∫ t

0

u(τ)dτ .

Die Bedingung y(1) = 1 ist daher aquivalent zu∫ 1

0

u(τ)dτ = 1 .

Also ist das Kontrollproblem aquivalent zu:Minimiere ∫ 1

0

u(t)2dt

unter den Nebenbedingungen u ∈ L2[0, 1] und∫ 1

0

e(τ−1)u(τ)dτ = 0∫ 1

0

1 · u(τ)dτ = 1 .

4.1.5. Beispiel. (Kontrollproblem in L∞[0, 1]).Gegenuber dem Beispiel 4.1.4 andern wir nur die Zielfunktion ab:

Minimiere‖u(·)‖∞

4.2. Optimalitatsbedingungen 111

unter den Nebenbedingungen u ∈ L∞[0, 1] und∫ 1

0

e(τ−1)u(τ)dτ = 0∫ 1

0

u(τ)dτ = 1 .

4.2 Optimalitatsbedingungen

Sehr einflussreiche Arbeiten auf diesem Gebiet waren [48, 73, 51, 43].Wir betrachten im folgenden nur endlichdimensionale konvexe Optimie-

rungsprobleme, außerdem unterscheiden wir zwischen konvexen und affinenUngleichungen. Fur die mathematische Analyse affiner Nebenbedingungenhaben wir [9] herangezogen. Dieses Buch enthalt auch eine ausfuhrliche Bi-bliographie zur Optimierung bis zum Jahre 1975.

4.2.1. Finites konvexes Optimierungsproblem.K sei eine konvexe Teilmenge des Rn,


gi : K −→ R sei konvex (i ∈ I1) ,

gi : K −→ R sei affin (i ∈ I2) ,

gi : K −→ R sei affin (i ∈ I3) ,

dabei sei

I1 = {1, . . . ,m′′}, I2 = {m′′ + 1, . . . ,m′}, I3 = {m′ + 1, . . . ,m} .

Minimieref(x)

(P) unter den Nebenbedingungen x ∈ K und

gi(x)

≤ 0 (i ∈ I1 ∪ I2)

= 0 (i ∈ I3) .


x sei optimal fur (P), betrachte die beiden konvexen Mengen

A = {(r, z) ∈ R1+m : r ≤ f(x), zi ≤ 0 (i ∈ I1 ∪ I2),

zi = 0 (i ∈ I3)} ,

B = {(r, z) ∈ R1+m : r ≥ f(x), zi ≥ gi(x) (i ∈ I1 ∪ I2),

zi = gi(x) (i ∈ I3),

x ∈ K} .

Abbildung 4.1: Trennung konvexer Mengen

Annahme: Es existiere ein (r, z) ∈ A ∩B mit

r < f(x) .

Dann existiert also ein x ∈ K mit

gi(x) ≤ 0 (i ∈ I1 ∪ I2) ,gi(x) = 0 (i ∈ I3) ,f(x) ≤ r < f(x)

im Widerspruch zur Minimalitat von x.


Folglich ist{(r, z) ∈ A : r < f(x)} ∩B = ∅ ,

insbesondere ist dann auch

rel int(A) ∩ rel int(B) = ∅ .

Nach dem Trennungssatz fur konvexe Mengen im R1+m sind A und B durcheine Hyperebene trennbar, d.h. es existiert (λ0, λ) ∈ R1+m\{Θ}, γ ∈ R mit

λ0r + λ?z ≤ γ ≤ λ0r + λ?z

fur alle (r, z) ∈ A, (r, z) ∈ B.Hieraus folgt

λ0 ≥ 0, λi ≥ 0 (i ∈ I1 ∪ I2), λ?g(x) ≤ 0 .

Wegen(f(x), g(x)) ∈ A ∩B

istγ = λ0f(x) + λ?g(x) ,

alsoλ0f(x) + λ?g(x) ≤ λ0f(x) + λ?g(x) (x ∈ K) .

Wegen(f(x), 0) ∈ A

istλ0f(x) ≤ λ0f(x) + λ?g(x), also λ?g(x) ≥ 0 ,

insgesamt somit λ?g(x) = 0.Damit ist bewiesen

4.2.2. Satz von Fritz John. x sei optimal fur das konvexe Optimierungs-problem 4.2.1. Dann existieren Multiplikatoren (λ0, λ) ∈ R1+m\{Θ} mit

λ0 ≥ 0, λi ≥ 0 (i ∈ I1 ∪ I2), λ?g(x) = 0

undλ0f(x) + λ?g(x) ≤ λ0f(x) + λ?g(x)

fur alle x ∈ K.


Anmerkung. Die Bedingung λ?g(x) = 0 ist gleich bedeutend mit

gi(x) < 0 −→ λi = 0 (i ∈ I1 ∪ I2)

und heißt daher auch “complementary stackness condition”.Falls λ0 = 0 ist, so kommt die Zielfunktion f in der notwendigen Opti-

malitatsbedingung 4.2.2 gar nicht vor; falls λ0 > 0 und damit o. B. d. A.λ0 = 1 ist, so ist diese Bedingung sogar hinreichend fur Optimalitat.

4.2.3. Hinreichende Optimalitatsbedingung. x sei zulassig fur das kon-vexe Optimierungsproblem 4.2.1, d.h.

x ∈ K und gi(x)

≤ 0 (i ∈ I1 ∪ I2)

= 0 (i ∈ I3) .

Existieren dann Multiplikatoren λ ∈ Rm mit

λi ≥ 0 (i ∈ I1 ∪ I2), λ?g(x) = 0

und

f(x) + λ?g(x) ≤ f(x) + λ?g(x) (x ∈ K) ,

so ist x optimal.

Beweis. Es ist also

f(x) ≤ f(x) + λ?g(x) (x ∈ K) .

Ist x zulassig, so istλ?g(x) ≤ 0 ,

alsof(x) ≤ f(x) .

Anmerkung. Die in 4.2.3 angegebenen Bedingungen heißen auch Karush-Kuhn-Tucker-Bedingungen. Durch 4.2.3 wird die folgende Suche nach Kri-terien fur λ0 > 0 in den Fritz John-Bedingungen motiviert.

Sei jetzt x optimal fur 4.2.1, und die Fritz John-Bedingung 4.2.2 sei mitλ0 = 0 erfullt.


Dann existiert λ ∈ Rm\{Θ} mit

λi ≥ 0 (i ∈ I1 ∪ I2), λ?g(x) = 0, λ?g(x) ≤ λ?g(x) (x ∈ K) .

Geometrisch bedeutet dies, dass die Projektionen prRm(A) vonA und prRm(B)von B auf den Rm durch die Hyperebene

{z ∈ Rm : λ?z = 0}

getrennt werden.Wir betrachten zunachst den Fall I3 = ∅, d.h. es treten keine Gleichungs-

nebenbedingungen auf.Weiter sei

I(x) = I1(x) ∪ I2(x)= {i ∈ I1 ∪ I2 : gi(x) = 0}

die Indexmenge der so genannten aktiven Nebenbedingungen. Wir wissen,dass dann

λi = 0 (i ∈ I(xc) .

4.2.4. Slater-Bedingung. Es sei I3 = ∅, und es existiere x ∈ K mit

gi(x) < 0 (i ∈ I(x)) .

Fur dieses x ist dannλ?g(x) < 0

im Widerspruch zu

0 = λ?g(x) ≤ λ?g(x) (x ∈ K) .

Damit haben wir bewiesen

4.2.5. Satz von Karush-Kuhn-Tucker. Es sei I3 = ∅ und x Optimallo-sung von 4.2.1. Es existiere x ∈ K mit

gi(x) < 0 (i ∈ I(x)) .

Dann existieren Multiplikatoren λ ∈ Rm mit

λi ≥ 0 (i = 1, . . . ,m) ,λi = 0, falls gi(x) < 0 ,

f(x) + λ?g(x) ≤ f(x) + λ?g(x) (x ∈ K) .


Anmerkung. Ist also die Slater-Bedingung 4.2.4 erfullt, so kann dieFritz John-Bedingung 4.2.2 nur mit λ0 > 0 gelten.

Gibt es also Multiplikatoren (λ0, λ) mit λ0 = 0, die die Fritz John-Bedingungen erfullen, so kann es keinen Slater-Punkt x geben.

Fur Aussagen des Typs, dass es wenigstens einen Multiplikator gibt,der die Karush-Kuhn-Tucker-Bedingungen erfullt, benotigt man daher Ab-schwachungen der Slater-Bedingung.

Wir betrachten jetzt den Fall I1 = ∅, I3 = ∅, d.h. es treten nur affineUngleichungen auf.

Wir untersuchen also zunachst das Problem mit lauter affinen Unglei-chungsrestriktionen:

Minimieref(x)


gi(x) ≤ 0 (i ∈ I = I2) .

4.2.6. Definition. x sei Optimallosung von (P ). I ⊂ I heißt wesentlich furx, falls x auch das Problem lost:

Minimieref(x)

(PI) unter den Nebenbedingungen x ∈ K und

gi(x) ≤ 0 (i ∈ I) !

und falls zu jedem i ∈ I ein xi ∈ K existiert mit:

gj(xi) ≤ 0 (j ∈ I\{i}) ,f(xi) < f(x) .

Es ist dann notwendiggi(xi) > 0 .

Wir beweisen jetzt drei Hilfsresultate fur wesentliche Restriktionen.

4.2.7. Lemma. Ist I wesentlich fur x, so ist

gi(x) = 0 (i ∈ I) ,

d.h. wesentliche Restriktionen sind aktiv.


Beweis. Sei fur ein i0 ∈ Igi0(x) < 0 .

Dann existiert hierzu xi0 mit

gj(xi0) ≤ 0 (j ∈ I\{i0}) ,f(xi0) < f(x) .

Fur die Verbindungsstrecke

x+ α(xi0 − x) (0 ≤ α ≤ 1)

istgj(x+ α(xi0 − x)) = (1− α)gj(x) + αgj(xi0) ≤ 0

fur alle j ∈ J\{i0},

gi0(x+ α(xi0 − x)) = (1− α)gi0(x) + αgi0(xi0) < 0

fur α > 0 hinreichend klein,

f(x+ α(xi0 − x)) ≤ (1− α)f(x) + αf(xi0)= f(x) + α(f(xi0)− f(x) < f(x) ,

x+ α(xi0 − x) ∈ K

im Widerspruch zur Minimalitat von x.

4.2.8. Lemma. Sei I wesentlich fur x. Dann gibt es fur alle i ∈ I einξi ∈ K mit

gj(ξi) = 0 (j ∈ I\{i}) ,f(ξi) < f(x) ,gi(ξi) > 0 .

Beweis. Da I wesentlich ist fur x, existiert zu jedem i ∈ I ein xi ∈ K mit

gj(xi) ≤ 0 (j ∈ I\{i}) ,f(xi) < f(x) ,gi(xi) > 0 .

Wahle i0 ∈ I fest und betrachte das Hilfsproblem

min{gi0(x) : gj(x) ≤ 0 (j ∈ I\{i0}), (x ∈ Q}


auf der konvexen Hulle

Q =

∑i∈I

αixi : αi ≥ 0 (i ∈ I),

∑i∈I

αi = 1

der Punkte xi (i ∈ I).Q ist kompakt und

xi0 ∈ Q, gj(xi0) ≤ 0 (j ∈ I\{i0}) ,

d.h. xi0 ist zulassig fur das Hilfsproblem. Also besitzt dieses Hilfsproblemeine Minimallosung ξi0 .

Da f konvex ist, gilt

f

∑i∈I

αixi

≤∑i∈I

f(xi) < f(x)

fur alle αi ≤ 0 (i ∈ I),∑i∈I

αi = 1.

Insbesondere ist dann auch

f(ξi0) < f(x) .

Hieraus folgt nochgi0(ξ

i0) > 0 ,

da andernfalls ξi0 zulassig fur das Ausgangsproblem (PI) ware im Wider-spruch zur Minimalitat von x. Fur jede Restriktion i ∈ I\{i0} des Hilfspro-blems gilt

gj(xi) ≤ 0 (j ∈ I\{i0}, j 6= i) ,gi(xi) > 0 ,gi0(x

i) ≤ 0 < gi0(ξi) .

Alle Restriktionen des Hilfsproblems sind also wesentlich, daher ist nachLemma 4.2.7

gj(ξi0) = 0 (j ∈ I\{i0}) .


4.2.9. Lemma. x sei Losung des Problems (P )

min{f(x) : gi(x) ≤ 0 (i ∈ I), x ∈ K}

mit lauter affinen Ungleichungsnebenbedingungen, und I sei wesentlich furx. Dann existiert ein ξ ∈ K mit

gi(ξ) > 0 (i ∈ I) .

Beweis. Nach Lemma 4.2.8 existiert zu jedem i ∈ I ein ξi ∈ K mit

gj(ξi) = 0 (j ∈ I\{i}) ,f(ξi) < f(x) ,gi(ξi) > 0 .

Bilde strikte Konvexkombination

ξ =∑i∈I

αiξi mit αi > 0 (i ∈ I),

∑i∈I

αi = 1 .

Da alle Abbildungen gi (i ∈ I) affin sind, folgt

gj(ξ) = gj

∑i∈I

αiξi

=

∑i∈I

αigj(ξi)

= αjgj(ξj) > 0

fur jedes j ∈ I.

Wir wissen, dass fur das Problem (PI) die Fritz John-Bedingungen erfulltsind, und nehmen an, dass der Multiplikator λ0 = 0 ausfallt. Dann existiertalso λ ∈ R(I)\{Θ} mit

λi ≥ 0 (i ∈ I) ,∑i∈I

λigi(x) = 0 ≤∑i∈I

λigi(x) (x ∈ K) .

Fur jeden zulassigen Punkt

x ∈ K mit gi(x) ≤ 0 (i ∈ x)


ist also ∑i∈I

λigi(x) = 0 .

Wir fordern zusatzlich die Gultigkeit der so genannten AbgeschwachtenSlater-Bedingung fur (PI):

Es gebe einen Punkt x ∈ rel int(K) mit

gi(x) ≤ 0 (i ∈ I) .

x sei solch ein Slaterpunkt. Dann ist mit obigen Multiplikatoren∑i∈I

λigi(x) = 0

und fur beliebiges x ∈ K ∑i∈I

λigi(x) ≥ 0 .

Fur hinreichend kleines α > 0 ist auch

x− α(x− x) ∈ K ,

also ∑i∈I

λigi(x− α(x− x))

= (1 + α)∑i∈I

λigi(x)− α∑i∈I

λigi(x) ≥ 0

und damit ∑i∈I

λigi(x) ≤ 0 ,

also ∑i∈I

λigi(x) = 0 .

Da aber I wesentlich fur x ist, existiert nach Lemma 4.2.9 ein ξ ∈ K mit

gi(ξ) > 0 (i ∈ I) ,

dafur ist dann ∑i∈I

λigi(ξ) < 0 .

Dieser Widerspruch beweist:


4.2.10. Lemma. x sei Optimallosung von (P ) und I wesentlich fur x.

Es existiere x ∈ rel int(K) mit

gi(x) ≤ 0 (i ∈ I) .

Dann gibt es Multiplikatoren λi (i ∈ I) mit

λi ≥ 0 (i ∈ I),∑i∈I

λigi(x) = 0 ,

f(x) +∑i∈I

λigi(x) ≤ f(x) +∑i∈I


Entscheidend ist, dass in der abgeschwachten Slater-Bedingung affineUngleichungen nicht mehr strikt erfullt werden mussen, dann konnen auchaffine Gleichungen

gi(x) = 0 (i ∈ I3)

aquivalent als zwei Ungleichungen geschrieben werden,

gi(x) ≤ 0 ,−gi(x) ≤ 0 (i ∈ I3) .

Vermeidet man auch noch den expliziten Bezug auf wesentliche Nebenbe-dingungen, so erhalt die abgeschwachte Slater-Bedingung die Form

4.2.11. Abgeschwachte Slater-Bedingung fur (P).Es existiere x ∈ rel int(K) mit

gi(x)

< 0 (i ∈ I1(x))

≤ 0 (i ∈ I2)

= 0 (i ∈ I3) .

Zusammenfassung von Satz 4.2.5 und Lemma 4.2.10 liefert dann


4.2.12. Notwendige Optimalitatsbedingung fur (P). x sei Optimal-losung des finiten konvexen Optimierungsproblems 4.2.1. Die abgeschwachteSlater-Bedingung sei erfullt, d.h. es existiere x ∈ rel int(K) mit

gi(x)

< 0 (i ∈ I1(x))

≤ 0 (i ∈ I2)

= 0 (i ∈ I3) .


λi ≥ 0 (i ∈ I1 ∪ I2) ,λi = 0, falls gi(x) < 0 ,

f(x) + λ?g(x) ≤ f(x) + λ?g(x) (x ∈ K) .

Beweis. a) x lost das Programm

min{f(x) : gi(x) ≤ 0 (i ∈ I1), x ∈ K}

mitK = {x ∈ K : gi(x) ≤ 0 (i ∈ I2), gi(x) = 0 (i ∈ I3)} .

x erfullt hierfur die Slater-Bedingung 4.2.4, also existiert nach dem Satz 4.2.5λ ∈ R|I1| mit

λi

≥ 0 (i ∈ I1) ,

= 0, falls gi(x) < 0,

f(x) +∑i∈I1

λigi(x) ≤ f(x) +∑i∈I1


b) x ist also auch Minimallosung des Problems:Minimiere

f(x) +∑i∈I1

λigi(x)


gi(x) ≤ 0 (i ∈ I2) ,gi(x) ≤ 0 (i ∈ I3) ,−gi(x) ≤ 0 (i ∈ I3) !


Wir reduzieren diese affinen Ungleichungsnebenbedingungen zu einem Satzwesentlicher Nebenbedingungen mit Indexmenge I, die weggefallenen Ne-benbedingungen erhalten alle den Muliplikator 0.x erfullt fur dieses Problem die abgeschwachte Slater-Bedingung. Aus

Lemma 4.2.10 folgt dann die Existenz nichtnegativer Multiplikatoren

λi (i ∈ I2), µi (i ∈ I3), νi (i ∈ I3)

mit ∑i∈I2

λigi(x) +∑i∈I3

(µi − νi)gi(x) = 0

und

f(x) +∑i∈I1

λigi(x) +∑i∈I2

λigi(x) +∑i∈I3

(µi − νi)gi(x)

≤ f(x) +∑i∈I1

λigi(x) +∑i∈I2

λigi(x) +∑i∈I3

(µi − νi)gi(x)

fur alle x ∈ K.Mit λi = µi−νi (i ∈ I3) ist dies gerade die behauptete Aussage. Beachte,

dass die Multiplikatoren λi(i ∈ I3) nicht mehr vorzeichenbeschrankt sind.

Wir wollen die hinreichende Optimalitatsbedingung 4.2.3 und die not-wendige Optimalitatsbedingung 4.2.12 lokal mittels Ableitungen formulie-ren und benotigen dazu einige Hilfsresultate, die auch selbst von Interessesind.

4.2.13. Definition. K sei eine nichtleere Teilmenge des Rn und

f : K → Rn

eine reelle Funktion auf K. Seien x ∈ K, x+ h ∈ K und

x+ λh ∈ K

fur alle λ ∈ [0, λ0] mit einem gewissen λ0 > 0.f heißt dann richtungsdifferenzierbar an der Stelle x in der Richtung h,

falls der

limλ→0+

1λ

[f(x+ λh)− f(x)

]= f ′(x)(h)

existiert.f ′(x) heißt Richtungsableitung von f an der Stelle x in der Richtung h.


Anmerkung. Ist f uberdies stetig partiell differenzierbar in x, so folgt

f ′(x)(h) = limλ→0+

1λ

[f(x+ λh)− f(x)

]= lim

λ→0+

[f(x+ λh)− f(x)

λh· λhλ

]=

∂f

∂x(x)h ,

dann ist f ′(x)(h) also linear in h.

4.2.14. Notwendiges Optimalitatskriterium. xminimiere f aufK. Istf richtungsdifferenzierbar in x in Richtung h, so gilt

f ′(x)(h) ≥ 0 .

Beweis. Nach Voraussetzung existiert ein λ0 > 0 mit

x+ λh ∈ K (0 ≤ λ ≤ λ0) .

Da x optimal ist, folgt

f(x+ λh) ≥ f(x) (0 ≤ λ ≤ λ0) .

Also ist notwendig

f ′(x)(h) = limλ→0+

1λ

[f(x+ λh)− f(x)

]≥ 0 .

4.2.15. Korollar. K = [a, b] sei ein Intervall in R mit a < b. x minimieref auf K, und f sei differenzierbar in x.

Ist x innerer Punkt von K, so istdf

dx(x) = 0.

Ist x linker Randpunkt von K, so istdf

dx(x) ≥ 0.

Ist x rechter Randpunkt von K, so istdf

dx(x) ≤ 0.

Beweis. Ist x innerer Punkt von K, so ist f richtungsdifferenzierbar in xin Richtung 1 und -1, und nach der Anmerkung zu 4.2.13 und nach 4.2.14ist

df

dx(x) · 1 = f ′(x)(1) ≥ 0 .


unddf

dx(x) · (−1) = f ′(x)(−1) ≥ 0 .

Also ist notwendigdf

dx(x) = 0 .

Entsprechend folgtdf

dx(x) · 1 = f ′(x)(1) ≥ 0

bzw.df

dx(x) · (−1) = f ′(x)(−1) ≥ 0 ,

falls x linker bzw. rechter Randpunkt von K ist.

4.2.16. Definition. K sei eine konvexe Teilmenge des Rn. f : K → Rheißt konvex, falls aus x, y ∈ K und λ ∈ [0, 1] stets folgt

f(λx+ (1− λ)y) ≤ λf(x) + (1− λ)f(y) .

f heißt strikt konvex, falls aus x, y ∈ K, x 6= y und λ ∈ (0, 1) stets folgt

f(λx+ (1− λ)y) < λf(x) + (1− λ)f(y) .

4.2.17. Lemma. f sei konvex, x ∈ K und x+ h ∈ K. Dann ist

ϕ(λ) =1λ

[f(x+ λh)− f(x)

]schwach monoton wachsend auf (0, 1].

Gibt es uberdies ein λ0 < 0 mit x+λ0h ∈ K oder ist f(x+λh)−f(x) ≥ 0fur alle λ ∈ [0, 1], so existiert die Richtungsableitung

f ′(x)(h) = limλ→0+

ϕ(λ) ∈ R

von f in x in Richtung h.

Anmerkung. Vergleiche zur Geometrie die Abbildung 4.2. Wie das fol-gende Beispiel

f(x) =

1 (x = 0)

x2 (x > 0)

zeigt, kann auf die Zusatzbedingungen nicht verzichtet werden.


Abbildung 4.2: Richtungsableitung

Beweis. Seien λ1, λ2 ∈ (0, 1] und λ1 ≤ λ2. Dann ist

ϕ(λ1) =1λ1

[f(x+ λ1h)− f(x)]

≤ 1λ1

[(1− λ1

λ2

)f(x) +

λ1

λ2f(x+ λ2h)− f(x)

]=

1λ2

[f(x+ λ2h)− f(x)] = ϕ(λ2) .

Also ist ϕ schwach monoton wachsend auf (0, 1]. In jedem Falle existiertalso der

limλ→0+

ϕ(λ) ,

er konnte aber auch gleich −∞ sein.

Es existiere ein λ0 < 0 mit x+ λ0h ∈ K, und λ ∈ (0, 1] sei beliebig, aber


fest gewahlt. Dann ist

ϕ(λ0)− ϕ(λ) =1λ0

[f(x, λ0h)− f(x)]− 1λ

[f(x+ λh)− f(x)]

=[

1λ2− 1λ0

]{f(x)−

[λ

λ− λ0f(x+ λ0h)

+−λ0

λ− λ0f(x+ λh)

]}≤ 0 ,

ϕ also auf (0, 1] durch ϕ(λ0) nach unten beschrankt. Ist f(x+λh)−f(x) ≥ 0fur alle λ ∈ [0, 1], so ist ϕ auf (0, 1] durch 0 nach unten beschrankt.

Zusammen mit der schon bewiesenen Monotonie folgt also unter einerder beiden Zusatzbedingungen die Existenz des lim

λ→0+ϕ(λ) ∈ R.

4.2.18. Hinreichendes Optimalitatskriterium. Sei f konvex aufK undx ∈ K. Gilt dann

f ′(x)(h) ≥ 0 ∀ h mit x+ h ∈ K ,

so minimiert x die Funktion f auf K.

Beweis. Sei x ∈ K beliebig gewahlt. Dann gilt nach 4.2.17

f(x)− f(x) ≥ limλ→0+

1λ

[f(x+ λ(x− x))− f(x)

]= f ′(x)(h) ≥ 0 .

Ist umgekehrt f konvex auf K und minimiert x die Funktion f auf K,so ist f nach 4.2.17 richtungsdifferenzierbar in x in jeder Richtung h mitx+ h ∈ K. Aus 4.2.14 folgt daher zusammen mit 4.2.18 der

4.2.19. Charakterisierungssatz. Sei f konvex auf K und x ∈ K. x mi-nimiert f genau dann auf K, wenn gilt

f ′(x)(h) ≥ 0 fur alle h mit x+ h ∈ K .

Aus dem Charakterisierungssatz 4.2.19, aus der hinreichenden Optima-litatsbedingung 4.2.3 und aus 4.2.12 folgt unmittelbar


4.2.20. Lagrangesche Multiplikatorenregel.a) x sei zulassig fur das konvexe Optimierungsproblem 4.2.1, d.h.

x ∈ K und gi(x)

≤ 0 (i ∈ I1 ∪ I2)

= 0 (i ∈ I3) .

Existieren dann Multiplikatoren λ ∈ Rm mit


und [f ′(x) +

m∑i=1

λig′i(x)

](x− x) ≥ 0 (x ∈ K) ,

so ist x optimal.b) x sei Optimallosung des konvexen Optimierungsproblems 4.2.1, und

die abgeschwachte Slater-Bedingung sei erfullt, d.h. es existiere x ∈ rel int(K)mit

gi(x)

< 0 (i ∈ I1(x))

≤ 0 (i ∈ I2)

= 0 (i ∈ I3) .



und [f ′(x) +

m∑i=1

λig′i(x)

](x− x) ≥ 0 (x ∈ K) .

Anmerkung. Die Multiplikatoren λ1, . . . , λm heißen Lagrangesche Mul-tiplikatoren, die reelle Funktion

L(x, λ) = f(x) +m∑

i=1

λigi(x)

4.3. Sensitivitat und Dualitat 129

heißt Lagrange-Funktion.Lagrange hat ursprunglich nur gleichungsrestringierte differenzierbare,

nicht notwendig konvexe Probleme unter einer geeigneten Rangvorausset-zung betrachtet.Dann kann im allgemeinen nur die notwendige Bedingungb) bewiesen werden, vergleiche hierzu das folgende Kapitel uber Optima-litatsbedingungen fur differenzierbare Probleme.

4.3 Sensitivitat und Dualitat

Wir betrachten die

4.3.1. Storung finiter konvexer Optimierungsprobleme.K sei konvexer Teil des Rn,


gi : K −→ R sei konvex (i ∈ I1) ,

gi : K −→ R sei affin (i ∈ I2 ∪ I3)

mit

I1 = {1, . . . ,m′′}, I2 = {m′′ + 1, . . . ,m′}, I3 = {m′ + 1, . . . ,m} .

Minimieref(x)


gi(x)

≤ 0 (i ∈ U1 ∪ I2)

= 0 (i ∈ I2) .

Dieses Problem storen wir durch so genannte Standardstorung der rechtenSeite mit Storparameter b ∈ Rm und erhalten damit die folgende Schargestorter Optimierungsprobleme:

Minimieref(x)


(Pb) unter den Nebenbedingungen x ∈ K und

gi(x)

≤ bi (i ∈ I1 ∪ I2)

= bi (i ∈ I3) .

Fur b = Θ = 0Rm erhalten wir das Ausgangsproblem oder ungestorteProblem (PΘ) = (P).

4.3.2. Definition. Die Funktion

Φ : Rm −→ R = R ∪ {+∞} ∪ {−∞} ,Φ(b) = inf{f(x) : gi(x) ≤ bi (i ∈ I1 ∪ I2) , gi(x) = bi (i ∈ I3), x ∈ K}

fur alle b ∈ Rm, heißt Minimalwertfunktion fur die Problemschar (Pb).

dom(Φ) = {b ∈ Rm : Φ(b) <∞}

heißt Domane oder effektiver Definitionsbereich von Φ,

epi(Φ) = {(r, b) ∈ R1+m : r ≥ Φ(b)}

heißt Epigraph von Φ.Es ist epi(Φ) eine konvexe Teilmenge des R1+m. In diesem Sinne ist

Φ : Rm −→ R ein konvexes Funktional.

Beweis der Konvexitat. Seien (r, b), (r, b) ∈ epi(Φ), d.h.

r ≥ Φ(b) und r ≥ Φ(b), r, r ∈ R .

Insbesondere ist dann

Φ(b) <∞, Φ(b) <∞ .

Zu beliebigem ε > 0 bzw. ε > 0 existieren dann

xε ∈ K mit gi(xε)

≤ bi (i ∈ I1 ∪ I2)

= bi (i ∈ I3)

mit

f(xε) ≤

Φ(b) + ε, falls Φ(b) ∈ R ,

−ε, falls Φ(b) = −∞ ,


xε ∈ K mit

gi(xε)

≤ bi (i ∈ I1 ∪ I2)

= bi (i ∈ I3)

mit

f(xε) ≤

Φ(b) + ε, falls Φ(b) ∈ R ,

−ε, falls Φ(b) = −∞ .

Fur beliebiges α ≥ 0, α ≥ 0 mit α+ α = 1 folgt dann

αxε + αxε ≤ K ,

gi(αxε + αxε) ≤ αgi(xε) + αgi(xε)≤ αbi + αbi (i ∈ I1) ,

gi(αxε + αxε) = αgi(xε) + αgi(xε)≤ αbi + αbi (i ∈ I2) ,

gi(αxε + αxε) = αgi(xε) + αgi(xε)= αbi + αbi (i ∈ I3) ,

f(αxε + αxε) ≤ αf(xε) + αf(xε) .

Also istΦ(αb+ ab) ≤ f(αxε + αxε) ,

insbesondere ist also Φ(αb + αb) < ∞, also dom(Φ) ⊂ Rm konvex. Weiterfolgt

Φ(αb+ αb) ≤ αf(xε) + αf(xε)

≤

αΦ(b) + dε (falls Φ(b) ∈ R)

−αε (falls Φ(b) = −∞)

+

αΦ(b) + αε (falls Φ(b) ∈ R)

−αε (falls Φ(b) = −∞) .

Ist nun Φ(b) ∈ R und Φ(b) ∈ R, so folgt

Φ(αb+ αb) ≤ αr + αε+ αr + αε ,

da ε > 0, ε > 0 beliebig gewahlt werden konnten, ist

Φ(αb+ αb) ≤ αr + αr ,

d.h.(αr + αr, αb+ αb) ∈ epi(Φ) .


Ist Φ(b) = −∞ oder Φ(b) = −∞, so folgt

Φ(αb+ αb) = −∞ ≤ αr + αr ,

d.h. auch in diesem Falle ist (αr + αr, αb+ αb) ∈ epi(Φ).Anmerkung. Ein konvexes Funktional heißt eigentlich konvex, falls es

nirgends −∞ und nicht ≡ +∞ ist. Die Minimalwertfunktion Φ sei eigentlichkonvex. Dann ist

dom(Φ) 6= ∅

eine nichtleere konvexe Teilmenge des Rm und Φ auf dom(Φ) reellwertig.Dies bedeutet, dass nicht alle gestorten Probleme unzulassig sein sollen

und die Zielfunktion auf jeder zulassigen Menge nach unten beschrankt ist.Dann ist Φ auf rel int(dom(Φ)) stetig, und die Richtungsableitung

Φ′(b)(b− b) ∈ R ∪ {−∞}

existiert fur jede Richtung b− b mit b, b ∈ dom(Φ). Gehort fur hinreichendkleines α > 0 auch

b− α(b− b) ∈ dom(Φ) ,

so ist diese Richtungsableitung sogar reell. Zum Beweis vergleiche Lemma4.2.17. Dies sind typische Sensitivitatsaussagen fur die Schar gestorter Op-timierungsprobleme (Pb)b∈Rm .

Mittels der Minimalwertfunktion Φ motivieren wir jetzt ein dem Problem(P) zugeordnetes konkaves Optimierungsproblem.

Definiere die konvexen Mengen

Aγ = {(r, z) ∈ R1+m : r ≤ γ , zi ≤ 0 (i ∈ I1 ∪ I2),

zi = 0 (i ∈ I3)} ,

B = {(r, z) ∈ R1+m : r ≥ f(x) , zi ≥ gi(x) (i ∈ I1 ∪ I2),

zi = gi(x) (i ∈ I3),

x ∈ K} .


Abbildung 4.3: Dualproblem

Wahle z := b fest. Dann ist

inf{r ∈ R : r ≥ f(x), gi(x)

≤ bi (i ∈ I1 ∪ I2)

= bi (i ∈ I3), x ∈ K

}

= inf{f(x) : gi(x)

≤ bi (i ∈ I1 ∪ I2)

= bi (i ∈ I3), x ∈ K

}= Φ(b).

Φ(·) beschreibt also gerade den “unteren Rand” der Menge B. Beachte aber,dass dieser Rand nicht notwendig durch ein x(b) erreicht werden muss, dennes ist

Φ(b) = inf{f(x) : gi(x)

≤ bi (i ∈ I1 ∪ I2)

= bi (i ∈ I3)

= f(x(b))

fur x(b) ∈ K mit

gi(x(b))

≤ bi (i ∈ I1 ∪ I2)

= bi (i ∈ I3)


genau dann, wenn (Pb) die Optimallosung x(b) besitzt.Ist nun λ ∈ Rm ein Karush-Kuhn-Tucker-Vektor, so stutzt

{(r, z) ∈ R× Rm : r + λ?z = f(x)[+λ?g(x)]}

die Minimalwertfunktion Φ(·) im Punkte Θ von unten:

f(x)− λ?z ≤ Φ(z) (z ∈ Rm) ,f(x) = Φ(Θ) .

Diese Eigenschaft wird abgeschwacht, indem wir nicht mehr fordern, dassdie Mengen A und B aus Abbildung 4.1, sondern dass die Mengen Aγ und Bdurch eine nichtvertikale Hyperebene getrennt werden, vergl. Abbildung 4.3.

Dies fuhrt auf die Forderungen:Maximiere γ unter den Nebenbedingungen λ ∈ Rm, γ ∈ R und

r + λ?z ≤ r + λ?z

fur alle

r ≤ γ , zi

≤ 0 (i ∈ I1 ∪ I2)

= 0 (i ∈ I3)

und alle r, z, fur die ein x ∈ K existiert mit

r ≥ f(x), gi(x)

≤ zi (i ∈ I1 ∪ I2)

= zi (i ∈ I3).

Dies ist offenbar aquivalent zur Maximierung von γ unter den Nebenbedin-gungen λ ∈ Rm, γ ∈ R und

λi ≥ 0 (i ∈ I1 ∪ I2) ,γ ≤ f(x) + λ?g(x) (x ∈ K) .

Damit erhalten wir das

4.3.3. Dualproblem. Maximiere

infx∈K

[f(x) + λ?g(x)]

(D) unter den Nebenbedingungen λ ∈ Rm und

λi ≥ 0 (i ∈ I1 ∪ I2) .


4.3.4. Einschließungssatz. x sei zulassig fur (P), λ sei zulassig fur (D).Dann gilt fur den Minimalwert w(P ) und den Maximalwert w(D) die Ein-schließung

infx∈K

[f(x) + λ?g(x)] ≤ w(D) ≤ w(P ) ≤ f(x) .

Beweis. Dies ist aus der geometrischen Motivation von (D) unmittelbarersichtlich, aber auch leicht direkt beweisbar, denn es ist

infx∈K

[f(x) + λ?g(x)] ≤ f(x) + λ?g(x) ≤ f(x)

fur beliebige primalzulassige x, dualzulassige λ.

4.3.5. Hinreichendes Optimalitatskriterium. x sei zulassig fur (P), λsei zulassig fur (D) und

infx∈K

[f(x) + λ?g(x)] = f(x) .

Dann ist x optimal fur (P) und λ optimal fur (D). Außerdem gilt die Com-plementary Slackness Condition

λi = 0, falls gi(x) < 0, (i ∈ I1 ∪ I2) ,

und das Infimum wird in x angenommen.

Beweis. Die Optimalitat folgt aus 4.3.4. Wegen

λi ≥ 0 (i ∈ I1 ∪ I2), gi(x)

≤ 0 (i ∈ I1 ∪ I2)

= 0 (i ∈ I3)

istf(x) + λ?g(x) ≤ f(x) = inf

x∈K[f(x) + λ?g(x)] .

Also ist notwendig λ?g(x) = 0.

Anmerkung. Vergleiche hiermit auch die hinreichende Optimalitats-bedingung 4.2.3.


4.3.6. Starker Dualitatssatz. x sei Optimallosung von (P),und die ab-geschwachte Slater-Bedingung sei erfullt, d. h. es existiere x ∈ rel int(K)mit

gi(x)

< 0 (i ∈ I1(x))

≤ 0 (i ∈ I2)

= 0 (i ∈ I3) .

Dann existiert eine Optimallosung λ von (D), und die Werte sind gleich,

infx∈K

[f(x) + λ?g(x)] = f(x) .

Außerdem gilt die Complementary Slackness Condition

λi = 0, falls gi(x) < 0, (i ∈ I1 ∪ I2) ,

und das Infimum wird in x angenommen.

Beweis. Dies wurde bereits in Theorem 4.2.12 bewiesen.

Anmerkung. Der starke Dualitatssatz 4.3.6 ist also gerade die dua-litatstheoretische bzw. storungstheoretische Interpretation der notwendigenOptimalitatsbedingung 4.2.12 Auch die dualen Optimallosungen lassen sichgeometrisch sehr schon interpretieren: Mit

∂Φ(Θ)

bezeichnen wir die Menge aller Subgradienten von Φ in Θ, d. h. aller l ∈ Rm

mitΦ(Θ) + l?z ≤ Φ(z) (z ∈ Rm) .

Fur jedes −λ ∈ ∂Φ(Θ) gilt also

Φ(Θ)− λ?z ≤ Φ(z) (z ∈ Rm)

bzw.

Φ(Θ)− λ?z ≤ r(r ≥ f(x), gi(x)

≤ zi (i ∈ I1 ∪ I2)

= zi (i ∈ I3), x ∈ K

)

fur alle z ∈ Rm, also ist λi ≥ 0 (i ∈ I1 ∪ I2) und

Φ(Θ) ≤ f(x) + λ?g(x) (x ∈ K)


bzw.Φ(Θ) ≤ inf

x∈K[f(x) + λ?g(x)] .

Nach dem Einschließungssatz ist λ optimal fur (D), und die Optimalwertesind gleich.

Sind umgekehrt die Optimalwerte gleich und ist λ dualoptimal, so folgt

Φ(Θ) = infx∈K

[f(x) + λ?g(x)]

≤ infx∈K

gi(x)

≤ zi(i ∈ I1 ∪ I2)

= zi(i ∈ I3)

f(x) + λ?z

= λ?z + Φ(z) (z ∈ Rm) .

Damit gilt:λ ist dualoptimal und die Optimalwerte von (P) und (D) sind gleich

genau dann, wenn −λ ein Subgradient von Φ in Θ ist.Leider gibt es Probleme mit Dualitatslucke (duality gap) w(D) < w(P ).

Daher benotigt man in der konvexen Optimierung die oben eingefuhrtenConstraint Qualifications.

Wir betrachten abschließend noch das finite lineare Optimierungspro-blem in seiner Standardform

4.3.7. Lineares Optimierungsproblem in primaler Normalform.Gegeben seien c ∈ Rn, eine m× n-Matrix A uber R und b ∈ Rm.

(LP) Minimiere c?x unter den Nebenbedingungen

Ax = b ,

x ≥ Θ (komponentenweise) .

Im Hinblick auf die abgeschwachte Slater-Bedingung wahlen wirK = Rn.Dann lautet das Dualproblem

(LD) Maximiere

infx∈Rn

[c?x+ λ?(Ax− b) + µ?(−x)]

unter den Nebenbedingungen λ ∈ Rm, µ ∈ Rn,

µj ≥ 0 (j = 1, . . . , n) .


Das Infimum uber x ∈ Rn ist sicher gleich −∞, falls fur ein x ∈ Rn

c?x+ λ?Ax+ µ?(−x) < 0 oder > 0

ausfallt, im zweiten Falle ersetze x durch −x. Also ist das Dualproblemaquivalent zu:

(LD) Maximiere −λ?bunter den Nebenbedingungen λ ∈ Rm, µ ∈ Rn,

c?x+ λ?Ax− µ?x = 0 (x ∈ Rn), µj ≥ 0 (j = 1, . . . , n) .

(λ, µ) ist also genau dann zulassig fur (LD), wenn

−λ?A = c? − µ? und µj ≥ 0 (j = 1, . . . , n) .

Mit y = −λ erhalten wir damit

4.3.8. Lineares Optimierungsproblem in dualer Normalform.(LD) Maximiere b?y unter den Nebenbedingungen y ∈ Rm,

A?y ≤ c .

Aus 4.3.4 folgt dann der

4.3.9. Einschließungssatz fur lineare Optimierungsprobleme. x seizulassig fur (LP), y sei zulassig fur (LD). Dann gilt

b?y ≤ c?x .

4.3.10. Hinreichendes Optimalitatskriterium. x sei zulassig fur (LP),y sei zulassig fur (LD) und

b?y = c?x .

Dann sind x und y optimal, und es gilt die Complementary Slackness Con-dition

m∑i=1

aijyi = cj , falls xj > 0 .

4.4. Sattelpunkte und Komplementaritat 139

Anmerkung. Ist x zulassig fur (LP), y zulassig fur (LD) und gilt dieComplementary Slackness Condition, so ist auch

b?y = c?x ,

und x und y sind optimal.Beweis der Anmerkung. Gilt die Complementary Slackness Conditi-

on, so folgt

b?y = x?A?y

=n∑

j=1

xj

m∑i=1

aij yi

=n∑

j=1

xjcj = c?x .

Dieses Kriterium wird als Abbruchkriterium fur das Simplex-Verfahrenverwendet.

Das lineare Programm (LP) mitK = Rn erfullt immer die abgeschwachteSlater-Bedingung, wenn es uberhaupt zulassig ist. Damit haben wir erneutbewiesen den

4.3.11. Hauptsatz der linearen Optimierung.Ist x Optimallosung von (LP), so existiert eine Optimallosung y von (LD),und die Optimalwerte sind gleich,

b?y = c?x .

Anmerkung. Fur die Existenz einer Optimallosung von (LP) ist hin-reichend, dass der Minimalwert w(LP) endlich ist. Dies haben wir bereitskonstruktiv mit dem Simplex-Verfahren gezeigt.

Der Minimalwert von (LP) ist endlich nach dem Einschließungssatz 4.3.9,falls beide Probleme (LP) und (LD) zulassig sind. Daher wird der Hauptsatzoft so formuliert:

Sind Primalproblem (LP) und Dualproblem (LD) beide zulassig, so be-sitzen beide Probleme Optimallosungen, und die Werte sind gleich.

4.4 Sattelpunkte und Komplementaritat

In diesem Abschnitt werden die Zusammenhange zwischen den Karush-Kuhn-Tucker-Bedingungen, Sattelpunktsatzen, Minimax-Theoremen, Varia-


tionsungleichungen und Komplementaritatsproblemen dargestellt und amBeispiel linearer Matrixspiele und von Nash-Gleichgewichten erlautert.

Fur den Zusammenhang zwischen Dualitat und Minimax-Theoremen ha-ben wir [76] und [9] herangezogen.

Komplementaritatsprobleme und Variationsungleichungen werden in [15]und [28] behandelt.

Wir schildern den Zusammenhang zwischen Optimalitatsbedingungenbzw. Dualitatssatzen, Sattelpunkten, Minimaxtheoremen, Variationsunglei-chungen und Komplementaritatsproblemen an Hand des konvexen Optimie-rungsproblems in seiner Standardform. Analoge Resultate gelten aber auchfur allgemeinere Problemklassen.

4.4.1. Finites konvexes Optimierungsproblem. K sei eine konvexe Teil-menge des Rn,

f : K → R undgi : K → R (i = 1, . . . ,m′) seien konvex ,gi : K → R (i = m′ + 1, . . . ,m) seien affin .

Minimieref(x)


gi(x)

≤ 0 (i = 1, . . . ,m′) ,

= 0 (i = m′ + 1, . . . ,m) .

Fur x seien die Karush-Kuhn-Tucker-Bedingungen erfullt, d. h.

x ∈ K, gi(x)

≤ 0 (i = 1, . . . ,m′) ,

= 0 (i = m′ + 1, . . . ,m) ,

λ ∈ Rm, λi

≥ 0 (i = 1, . . . ,m′) ,

= 0, falls gi(x) < 0,(4.4.1)

f(x) +m∑

i=1

λigi(x) ≤ f(x) +m∑

i=1



Die beiden Bedingungen

gi(x)

≤ 0 (i = 1, . . . ,m′) ,

= 0 (i = m′ + 1, . . . ,m)

und

λi

≥ 0, (i = 1, . . . ,m′) ,

= 0, falls gi(x) < 0 ,

(4.4.2)

kann man auch aquivalent schreiben als λ ∈ Λ undm∑

i=1

λigi(x) ≤m∑

i=1

λigi(x) (4.4.3)

fur alle λ ∈ Λ, wobei

Λ = {λ ∈ Rm : λi ≥ 0 (i = 1, . . . ,m′)} .

Denn in der Tat folgt aus (4.4.2) unmittelbar (4.4.3). Sei (4.4.3) erfullt furx ∈ K. Dann ist notwendig

gi(x)

≤ 0 (i = 1, . . . ,m′) ,

= 0 (i = m′ + 1, . . . ,m) ,

damit auchm∑

i=1

λigi(x) ≤ 0 .

Mit λ = 0Rm folgt aber auch aus (4.4.3)m∑

i=1

λig(x) ≥ 0 ,

also ist (4.4.2) erfullt.Damit ist gezeigt

4.4.2. Sattelpunkttheorem. (x, λ) erfullt die Karush-Kuhn-Tucker-Be-

dingungen genau dann, wenn (x, λ) Sattelpunkt der Lagrange-Funktion

L(x, λ) = f(x) +m∑

i=1

λigi(x)


auf K × Λ ist, d.h. wenn gilt x ∈ K, λ ∈ Λ und

L(x, λ) ≤ L(x, λ) ≤ L(x, λ)

fur alle λ ∈ Λ und alle x ∈ K.

Abbildung 4.4: Sattelpunkt

Fur eine beliebige Funktion L(x, λ) auf K × Λ gilt

supλ∈Λ

infx∈K

L(x, λ) ≤ supλ∈Λ

L(x, λ) (x ∈ K)

darum auchsupλ∈Λ

infx∈K

L(x, λ) ≤ infx∈K

supλ∈Λ

L(x, λ) .

Sei nun (x, λ) ∈ K × Λ Sattelpunkt von L(x, λ),

L(x, λ) ≤ L(x, λ) ≤ L(x, λ) (x ∈ K,λ ∈ Λ) . (4.4.4)

Dann istL(x, λ) = max

λ∈ΛL(x, λ) ≥ inf

x∈Ksupλ∈Λ

L(x, λ)


undL(x, λ) = min

x∈KL(x, λ) ≤ sup

λ∈Λinf

x∈KL(x, λ) .

Uberall muss also Gleichheit gelten, und wir erhalten

supλ∈Λ

infx∈K

L(x, λ) = minx∈K

L(x, λ)

= L(x, λ)= max

λ∈ΛL(x, λ)

= infx∈K

supλ∈Λ

L(x, λ) ,

insbesondere gilt also

maxλ∈Λ

infx∈K

L(x, λ) = minx∈K

supλ∈Λ

L(x, λ) . (4.4.5)

Gelte umgekehrt (4.4.5). Dann wird links das Maximum durch λ ∈ Λ undrechts das Minimum fur x ∈ K angenommen, und es ist

infx∈K

L(x, λ) = supλ∈Λ

L(x, λ) .

Nun ist aberinf

x∈KL(x, λ) ≤ L(x, λ) ≤ sup

λ∈ΛL(x, λ) ,

also istinf

x∈KL(x, λ) = L(x, λ) = sup

λ∈ΛL(x, λ)

bzw.L(x, λ) ≤ L(x, λ) ≤ L(x, λ)

fur alle x ∈ K, λ ∈ Λ.Damit ist gezeigt

4.4.3. Satz. Die Sattelpunkteigenschaft (4.4.4) und die Minimaxeigenschaft(4.4.5) sind aquivalent.

Aus dem Sattelpunkttheorem 4.4.2 folgt somit


4.4.4. Minimaxtheorem. (x, λ) erfullt die Karush-Kuhn-Tucker-Bedin-gungen genau dann, wenn gilt

maxλ∈Λ

infx∈K

L(x, λ) = L(x, λ) = minx∈K

supλ∈Λ

L(x, λ) .

Jetzt sei L(x, λ) auf K × Λ bezuglich x konvex und bezuglich λ konkav,K und Λ seien konvex. Dies ist fur das Optimierungsproblem 4.4.1 der Fall.(x, λ) sei Sattelpunkt von L(x, λ) auf K × Λ,

L(x, λ) ≤ L(x, λ) (x ∈ K) ,

−L(x, λ) ≤ −L(x, λ) (λ ∈ Λ) .

Insbesondere sind dann L(·, λ) und −L(x, ·) richtungsdifferenzierbar in x

bzw. λ in jeder zulassigen Richtung x − x bzw. λ − λ mit x ∈ K, λ ∈ Λ.Bezeichnen wir die Richtungsableitungen bezuglich x mit Lx und bezuglichλ mit −Lλ, so folgt

Lx(x, λ)(x− x,Θ) ≥ 0 (x ∈ K) ,

−Lλ(x, λ)(Θ, λ− λ) ≥ 0 (λ ∈ Λ) .(4.4.6)

Wir wissen bereits, dass hieraus wegen der Konvexitat von L bezuglich xund −L bezuglich λ auch wieder folgt, dass (x, λ) Sattelpunkt von L aufK × Λ ist.

Damit ist gezeigt

4.4.5. Satz. K und Λ seien konvex, L(x, λ) sei auf K × Λ bezuglich xkonvex, bezuglich λ konkav. Dann sind die Sattelpunkteigenschaft (4.4.4)

und die Variationsungleichungen (4.4.6) fur (x, λ) ∈ K × Λ aquivalent.

Die Variationsungleichungen (4.4.6) lassen sich als Komplementaritatspro-blem interpretieren, falls die Richtungsableitungen Lx von L bezuglich xund Lλ von L bezuglich λ in (x, λ) linear sind und K und Λ Standardformbesitzen

K = {x ∈ Rn : xj ≥ 0 (j = 1, . . . , n′)}Λ = {λ ∈ Rm : λi ≥ 0 (i = 1, . . . ,m′)} .


Seien fur x ∈ K, λ ∈ Λ die Variationsungleichungen

Lx(x, λ)(x− x,Θ) ≥ 0 (x ∈ K) ,

−Lλ(x, λ)(Θ, λ− λ) ≥ 0 (λ ∈ Λ)

erfullt, komponentenweise ausgeschrieben

n∑j=1

∂L

∂xj(x, λ) · (xj − xj) ≥ 0 (x ∈ K) ,

−m∑

i=1

∂L

∂λi(x, λ) · (λi − λi) ≥ 0 (λ ∈ Λ) .

Genauso wie unter (4.4.2) und (4.4.3) zeigt man, dass dies aquivalent ist zu

∂L

∂xj(x, λ)

≥ 0 (j = 1, . . . , n′) ,

= 0, falls xj > 0 ,

= 0 (j = n′ + 1, . . . , n) ,

− ∂L∂λi

(x, λ)

≥ 0 (i = 1, . . . ,m′) ,

= 0, falls λi > 0 ,

= 0 (i = m′ + 1, . . . ,m) .

Damit ist gezeigt

4.4.6. Satz. Sei

K = {x ∈ Rn : xj ≥ 0 (j = 1, . . . , n′)} ,Λ = {λ ∈ Rm : λi ≥ 0 (j = 1, . . . ,m′)} .

L(x, λ) sei richtungsdifferenzierbar bezuglich x und bezuglich λ in (x, λ) ∈K × Λ, beide Richtungsableitungen seien linear.

Dann lost (x, λ) die Variationsungleichung

Lx(x, λ)(x− x,Θ) ≥ 0 (x ∈ K) ,

−Ly(x, λ)(Θ, λ− λ) ≥ 0 (λ ∈ Λ)


genau dann, wenn (x, λ) das folgende nichtlineare Komplementaritatsproblemlost:

xj ≥ 0 (j = 1, . . . , n′) , λi ≥ 0 (i = 1, . . . ,m′) ,

∂L

∂xj(x, λ)

≥ 0 (j = 1, . . . , n′) ,

= 0 (j = n′ + 1, . . . , n) ,(4.4.7)

∂L

∂λi(x, λ)

≥ 0 (i = 1, . . . ,m′) ,

= 0 (i = m′ + 1, . . . ,m) ,n∑

j=1

∂L

∂xj(x, λ)xj −

m∑i=1

∂L

∂λi(x, λ)λi = 0 .

Wir schließen diesen Abschnitt mit zwei wichtigen Anwendungen, die furdie Entwicklung der mathematischen Wirtschaftstheorie von großer Bedeu-tung waren.

4.4.7. Matrixspiele. Gegeben sei die m × n-Matrix A, Spieler X wahlteinen Spaltenindex j, Spieler Y wahlt einen Zeilenindex i und erhalt denGewinn aij von X.

Mit Strategievektoren

{x ∈ Rn : xj ≥ 0 (j = 1, . . . , n),n∑

j=1

xj = 1} ,

die relativen Haufigkeiten bei wiederholtem Spiel entsprechen, konnte Xwegen Unkenntnis der Strategien von Y folgendes Optimierungsproblemlosen:

(PX) Minimiere α unter den Nebenbedingungen

n∑j=1

aijxj ≤ α (i = 1, . . . ,m) ,

n∑j=1

xj = 1 ,

xj ≥ 0 (j = 1, . . . , n) ,α ∈ R .


Spieler X versucht also seinen “maximalen Verlust” zu minimieren. Ent-sprechend versucht Spieler Y seinen “minimalen Gewinn” zu maximieren:

(PY ) Maximiere β unter den Nebenbedingungen

n∑i=1

aijyi ≥ β (j = 1, . . . , n) ,

m∑i=1

yi = 1 ,

yi ≥ 0 (i = 1, . . . ,m) ,β ∈ R .

Wahle in (PX) im Hinblick auf die abgeschwachte Slater-Bedingung

K = Rn+1 = {(x, α) : x ∈ Rn, α ∈ R} .

Dann erhalten wir als Lagrange-Funktion

L(x, α, λ, µ) = α +m∑

i=1

λi

( n∑j=1

aijxj − α)

+ λm+1

( n∑j=1

xj − 1)

+n∑

j=1

µj(−xj)

und als Dualproblem:Maximiere

inf(x,α)∈Rn+1

L(x, α, λ, µ)

unter den Nebenbedingungen λ ∈ Rm+1, µ ∈ Rn,

λi ≥ 0 (i = 1, . . . ,m) ,µj ≥ 0 (j = 1, . . . , n) .

Genauso wie nach 4.3.7 zeigt man, dass dieses Problem aquivalent ist zu:


Maximiere −λm+1 unter den Nebenbedingungen

m∑i=1

aijλi + λm+1 − µj = 0 (j = 1, . . . , n) ,

1 +m∑

i=1

λi(−1) = 0 ,

λi ≥ 0 (i = 1, . . . ,m) ,µj ≥ 0 (j = 1, . . . , n) .

Mit β = −λm+1, λi = yi (i = 1, . . . ,m) ist dies gerade das Problem (PY ).Der Spieler Y lost also das duale Problem des Spielers X.

Da die Strategiemenge {x ∈ Rn : xj ≥ 0 (j = 1, . . . , n),∑n

j=1 xj = 1}des Spielers X kompakt ist, kann auch die Hilfsvariable α auf ein kom-paktes Intervall eingeschrankt werden. Also besitzt das Problem (PX) eineMinimallosung (x, α). Entsprechend besitzt das Problem (PY ) eine Maxi-mallosung (y, β), dabei ist α der Minimalwert von (PX), β der Maximalwertvon (PY ).

Da die abgeschwachte Slater-Bedingung erfullt ist, sind die Werte gleich,

β = α .

Ist β = α > 0, so gewinnt der Spieler Y bei dieser Strategie, ist β = α < 0,so gewinnt der Spieler X bei dieser Strategie. Das Spiel heißt fair, fallsβ = α = 0.

Wir wissen, dass (x, α), (y, β) einen Sattelpunkt der Lagrange-Funktionliefern und ein Minimax-Problem fur diese Lagrange-Funktion losen: DieGleichheit der Optimalwerte kann wegen

maxy≥Θ∑m

i=1 yi=1∑mi=1 yiaij≥β(j=1,...,n)

β∈R

β = maxy≥Θ∑m

i=1 yi=1

minj=1,...,n

m∑i=1

yiaij

und der analogen Gleichung fur (PX) auch geschrieben werden als

maxy≥Θ∑m

i=1 yi=1

minj=1,...,n

m∑i=1

yiaij = minx≥Θ∑n

j=1 xj=1

maxi=1,...,m

n∑j=1

aijxj .


Wegen

minj=1,...,n

m∑i=1

yiaij ≤n∑

j=1

xj

m∑i=1

yiaij

fur jede Konvexkombination xj ≥ 0 (j = 1, . . . , n),∑n

j=1 xj = 1, undda dieses Minimum durch eine spezielle Konvexkombination angenommenwird, ist

minj=1,...,n

m∑i=1

yiaij = minx≥Θ∑m

j=1 xj=1

m∑i=1

n∑j=1

yiaijxj .

Analog ist

maxi=1,...,m

n∑j=1

aijxj = maxy≥Θ∑m

i=1 yi=1

m∑i=1

n∑j=1

yiaijxj .

Also bedeutet Gleichheit der Optimalwerte

maxy≥Θ∑m

i=1 yi=1

minx≥Θ∑n

j=1 xj=1

m∑i=1

n∑j=1

yiaijxj

= minx≥Θ∑n

j=1 xj=1

maxy≥Θ∑m

i=1 yi=1

m∑i=1

n∑j=1

yiaijxj .

Dies ist das Minimaxtheorem fur Matrixspiele.

4.4.8. Nash-Gleichgewichte. Die Unternehmen j = 1, . . . , n stellen xj

Einheiten desselben Produktes her,

p

(∑nj=1 xj

)sei der Preis pro Einheit, zu dem

∑nj=1 xj Einheiten nach-

gefragt werden, cj(xj) seien die Gesamtkosten der Produktion des Unter-nehmens j. Das Unternehmen j mochte seine Kosten minimieren:

Minimiere

cj(xj)− xj p

(xj +

n∑µ=1y 6=j

xµ

)unter den Nebenbedingungen xj ≥ 0.

Allerdings sind ihm die Produktionsmengen

xµ (µ 6= j)

seiner Konkurrenten unbekannt.Ein Produktionsvektor x ∈ Rn heißt


Nash-Gleichgewicht,

falls xj obiges Problem lost fur j = 1, . . . , n.

Wir setzen voraus, dass cj(·) konvex und xj p

(xj +

n∑µ=1µ6=j

xµ

)konkav

bezuglich xj sind und dass cj(·) , p(·) differenzierbar sind fur j = 1, . . . , n.Dann ist x genau dann ein Nash-Gleichgewicht, wenn x die Variations-

ungleichungen lost:

xj ≥ 0 (j = 1, . . . , n) ,[c′j(xj)− p

( n∑µ=1

xµ

)− xj p

′( n∑

µ=1

xµ

)](xj − xj) ≥ 0

fur alle xj ≥ 0 und alle j = 1, . . . , n.Dies ist aquivalent dazu, dass x das nichtlineare Komplementaritatsproblem

lost:

xj ≥ 0 (j = 1, . . . , n) ,

c′j(xj)− p( n∑

µ=1

xµ

)− xjp

′( n∑

µ=1

xµ

)≥ 0 (j = 1, . . . , n) ,

n∑j=1

[c′j(xj)− p

( n∑µ=1

xµ

)− xjp

′( n∑

µ=1

xµ

)]· xj = 0 .

Wahrend man die Kostenminimierung nicht direkt durchfuhren kann, daman die Produktionsmengen der Konkurrenten nicht kennt, kann man dasKomplementaritatsproblem zu losen versuchen und erhalt auf diese Weiseein Nash-Gleichgewicht.

4.5 Schnittebenenverfahren

Das Schnittebenenverfahren fur konvexe Optimierungsprobleme wurde zu-erst von Cheney und Goldstein [12] und von Kelley [49] beschrieben. Wirstellen es hier zunachst in einer Form vor, die keine Konvexitatseigenschaftenbenotigt, und folgen dabei Blum und Oettli [9], pp. 239–242. Wir betrachtendas

4.5. Schnittebenenverfahren 151

4.5.1. Optimierungsproblem. Berechne

min{f(x) : gj(x) ≤ 0 (j ∈ J), x ∈ C} !

Dabei sei C ⊂ Rn abgeschlossen, f, gj (j ∈ J) seien reell und stetig auf C,

supj∈J

gj(x) < ∞ (x ∈ C) ,

|gj(x)− gj(y)| ≤ M‖x− y‖ (x, y ∈ C, j ∈ J) .

Die zulassige Menge

S = {x ∈ Rn : gj(x) ≤ 0 (j ∈ J), x ∈ C}

besitze eine “Relaxation” C0 mit

S ⊂ C0 ⊂ C

undinf

x∈C0f(x) > −∞ .

Anmerkung. Dies ist ein Optimierungsproblem mit Lipschitz-Restrik-tionen. C0 ist eine “einfache” innere Approximation von C.

4.5.2. Schnittverfahren. Die Menge Cν mit

S ⊂ Cν ⊂ C

sei bereits erzeugt und

wν = infx∈Cν

f(x) > −∞ .

Berechne eine εν-optimale Losung xν ∈ Cν mit

wν ≤ f(xν) ≤ wν + εν ,

wobei εν ≥ 0 und limv→∞

εν = 0. Bestimme einen Index jν ∈ J mit

gjν(xν) ≥ gj(xν)− δν (j ∈ J) ,

wobei δν ≥ 0 und limν→∞

δν = 0. Setze

Cν+1 = Cν ∩ {x ∈ C : gjν(x) ≤ 0} .


4.5.3. Satz. Besitzt die Folge (xν)ν=0,1,2,... einen Haufungspunkt, so ist

limν→∞

f(xν) = w = infx∈S

f(x) .

Jeder Haufungspunkt x dieser Folge ist Minmallosung des Optimierungs-problems 4.5.1.

Beweis. Es gilt

S ⊂ . . . Cν+1 ⊂ Cν ⊂ . . . ⊂ C0 ⊂ C ,

also istw ≥ . . . ≥ wν+1 ≥ wν ≥ . . . ≥ w0 .

Also konvergiertlim

ν→∞wν = w ≤ w .

Weiter istwν ≤ f(xν) ≤ wν + εν ,

wegen limν→∞ εν = 0 ist also auch

limν→∞

f(xν) = w ≤ w .

Sei x ein Haufungspunkt der Folge (xν)ν=0,1,2,..., d. h. es existiert eine Teil-folge

(xνµ

)µ∈N mit

limµ→∞

xνµ= x .

Da f stetig ist, ist

limµ→∞

f(xνµ) = f(x) = w ≤ w .

Nach Konstruktion ist fur jedes j ∈ J

gjνµ(xνµ

) ≥ gj(xνµ)− δνµ

.

Aus der Lipschitzstetigkeit von gj folgt dann

gj(xνµ) ≤ gjνµ

(xνµ) + δνµ

= gjνµ(x) + gjνµ

(xνµ)− gjνµ

(x) + δνµ

≤ gjνµ(x) +M‖xνµ

− x‖+ δνµ.


Wegengjνµ

(xνµ) ≤ 0 (νµ > νµ)

istgjνµ

(x) = limµ→∞

gjνµ(xνµ

) ≤ 0 ,

zusammen mit limν→∞

xνµ= x, lim

µ→∞δµ = 0 folgt dann

limµ→∞

gj(xνµ) = gj(x) ≤ 0 .

Da C abgeschlossen ist, ist auch x ∈ C. Also ist x zulassig und daher

f(x) = w ≥ w .

Insgesamt ist alsof(x) = w = w

und daher x Minimallosung.

Anmerkung. Die Teilprobleme

min{f(x) : x ∈ Cν , gjν(x) ≤ 0}

enthalten jeweils eine zusatzliche explizite Restriktion, daher kommt dieBezeichnung Schnittverfahren.

Unbefriedigend bleibt, dass die Restriktion gjν(x) ≤ 0 exakt erfullt wer-

den muss. Wir zeigen, dass man fur konvexes gjνmit einer Linearisierung

auskommt.

4.5.4. Konvexes Optimierungsproblem. Berechne

min{f(x) : gj(x) ≤ 0 (j ∈ J) , x ∈ C} !

Dabei sei C ⊂ Rn konvex und abgeschlossen, f, gj (j ∈ J) seien konvex aufkonvexer, offener Obermenge von C, J sei endlich.

Die zulassige Menge

S = {x ∈ Rn : gj(x) ≤ 0 (j ∈ J) , x ∈ C}

sei nichtleer und besitze eine konvexe kompakte Relaxation C0 mit

S ⊂ C0 ⊂ C.


Hierfur definieren wir in Analogie zu 4.5.2 das

4.5.5. Schnittebenenverfahren. Die Menge Cν mit

S ⊂ Cν ⊂ C

sei bereits erzeugt undwν = inf

x∈Cν

f(x) .

Berechne xν ∈ Cν mit

wν ≤ f(xν) ≤ wν + εν ,

wobei εν ≥ 0 und limν→∞

εν = 0.Bestimme einen Index jν ∈ J mit

gjν(xν) ≥ gj(xν)− δν (j ∈ J) ,

wobei δν ≥ 0 und limν→∞

δν = 0.Wahle einen Subgradienten

lν ∈ ∂gjν(xν) .

SetzeCν+1 = Cν ∩ {x ∈ C : gjν (xν) + lν(x− xν) ≤ 0} .

4.5.6. Satz. Die Folge (xν)ν=0,1,2,... ist wohldefiniert und besitzt einenHaufungspunkt x.

Jeder Haufungspunkt dieser Folge ist Minimallosung des konvexen Op-timierungsproblems 4.5.4.

Beweis. Es ist S 6= ∅ und

gj(x) + lν(x− x) ≤ gj(x) ≤ 0

fur jedes x, x ∈ C, lν ∈ ∂gj(x), also ist

∅ 6= S ⊂ . . . Cν+1 ⊂ Cν ⊂ . . . ⊂ C0 ⊂ C ,

wobei C0 kompakt.


Abbildung 4.5: Schnittebenenverfahren

Da f auf offener Obermenge von C0 konvex ist, ist f stetig auf C0, damitexistieren sogar alle Minima auf den Mengen Cν ,

wν = infx∈Cν

f(x) = minx∈Cν

f(xν) ⊂ R ,

und der Minimalwert des Ausgangsproblems ist

w ≤ . . . ≤ wν+1 ≤ wν ≤ . . . ≤ w0 .

Also konvergiertlim

ν→∞wν = w ≤ w .

Weiter istwν ≤ f(xν) ≤ wν + εν ,

wegen limν→∞

εν = 0 ist also auch

limν→∞

f(xν) = w = w .

Die unendliche Folge (xν)ν=0,1,2,... in dem Kompaktum C0 besitzt einenHaufungspunkt, x sei ein beliebiger Haufungspunkt,

limµ→∞

xνµ= x .


Da f stetig ist, ist

limµ→∞

f(xνµ) = f(x) = w ≤ w .

Nach Konstruktion ist fur jedes j ∈ J

gjνµ(xνµ

) ≥ gj(xνµ)− δνµ

,

außerdem ist fur jedes µ > µ

gjνµ(xνµ

) + lνµ(xνµ

− xνµ) ≤ 0 ,

insgesamt ist also

gj(xνµ) ≤ gjνµ

(xνµ) + δνµ

≤ −lνµ(xνµ

− xνµ) + δνµ

(µ > µ) .

Fur µ→∞ erhalten wir

gj(xνµ) ≤ −lνµ

(x− xνµ

)+ δνµ

.

Da alle gj konvex auf offener konvexer Obermenge der kompakten konvexenMenge C0 sind, sind alle gj in C0 stetig, und alle Subgradienten sind auf C0

gleichmaßig beschrankt, vergleiche hierzu [67],

‖l‖ ≤M (l ∈ ∂gj(x), j ∈ J, x ∈ C0) .

Damit folgtgj(xνµ) ≤M‖x− xνµ‖+ δνµ (µ ∈ N)

und im Limes fur µ→∞gj(x) ≤ 0 .

Da C abgeschlossen ist, ist auch x ∈ C. Also ist x zulassig und daher

f(x) = w ≥ w .

Insgesamt ist alsof(x) = w = w

und daher x minimal.

Anmerkung. Eine konvexe Zielfunktion f kann man durch eine zusatzlicheVariable α ∈ R ersetzen auf Kosten einer weiteren Restriktion f(x) ≤ α.

Wird also C0 durch lineare Gleichungen und Ungleichungen beschrieben,so kann man alle Hilfsprobleme mit dem dualen Simplexverfahren losen.

Kapitel 5

DifferenzierbareOptimierung

5.1 Problemstellung

Einfachste Beispiele im R1 zeigen, dass fur nichtkonvexe Zielfunktion dienotwendigen Bedingungen 1. Ordnung nicht mehr hinreichend sind:

Außerdem zeigt sich, dass auch lokale Minima die notwendigen Bedin-gungen 1. Ordnung erfullen:

Andererseits bestehen alle indirekten Methoden der nichtlinearen Opti-

157

158 Kapitel 5. Differenzierbare Optimierung

mierung darin, die notwendigen Optimalitatsbedingungen algorithmisch ineinem zulassigen Punkt x zu erfullen.

Durch andere Methoden muss man dann sicherstellen, dass x wenigstensein lokales Minimum oder besser noch ein globales Minimum ist.

Endlichdimensionale nichtlineare Optimierungsprobleme (nonlinear pro-gramming problems, NLP) sind von folgendem Typ:

5.1.1. Nichtlineares Optimierungsproblem. K sei eine Teilmenge desRn, f, g1, . . . , gm : K −→ R seien wenigstens auf K definiert.(P) Minimiere

f(x)


gi(x) ≤ 0 (i = 1, . . . ,m′)gi(x) = 0 (i = m′ + 1, . . . ,m) !

Die impliziten Nebenbedingungen x ∈ K sind im folgenden meist Vorzei-chenbedingungen

xj ≥ 0 (j = 1, . . . , n′) .

Fur die Herleitung von Optimalitatsbedingungen und die Begrundungvon Optimierungsverfahren benotigen wir zusatzliche Differenzierbarkeits-eigenschaften von f, g1, . . . , gm und lokale Approximation fur Mengen K ⊂Rn.


Wir stellen im folgenden einige einschlagige Begriffe zusammen.

5.1.2. Definitionen. a) f : R −→ R heißt richtungsdifferenzierbar in x ∈Rn in Richtung h ∈ Rn, falls

f ′(x)(h) = limt→0+

f(x+ th)− f(x)t

existiert.b) f : Rn −→ R heißt Hadamard-differenzierbar in x ∈ Rn in Richtung

h ∈ Rn, falls

f ′(x)(h) = limt→0+

f(x+ th+ r(t))− f(x)t

existiert fur jede Abbildung

r : [0, tr] −→ Rn

mit

limt→0+

1tr(t) = 0Rn .

Beachte, dass hier genau die differenzierbaren Kurven

x(t) = x+ th+ r(t) (0 ≤ t ≤ tr)

berucksichtigt werden mit

x(0) = x,dx

dt(0) = h .

c) g : Rn −→ Rm heißt Frechet-differenzierbar (total differenzierbar) inx ∈ Rn, falls eine lineare Abbildung g′(x) : Rn −→ Rm existiert mit

lim‖h‖→0+

‖g(x+ h)− g(x)− g′(x)(h)‖‖h‖

= 0 .

d) g : Rn −→ Rm heißt stetig partiell differenzierbar in x ∈ Rn, falls dieFunktionalmatrix

g′(x) =

∂g1∂x1

(x) . . . ∂g1∂xn

(x)...

...

∂gm

∂x1(x) . . . ∂gm

∂xn(x)


existiert in einer Umgebung von x und stetig ist in x (als Funktion von x).e) K sei eine Teilmenge des Rn und x ∈ K. Die Menge aller Punkte

{h ∈ Rn : ∃ t0 > 0 mit x+ th ∈ K (0 ≤ t ≤ t0)}

ist ein Kegel mit Scheitel 0Rn .f) K sei eine Teilmenge des Rn und x ∈ K. Die Menge T (K, x) aller

h ∈ Rn, zu denen Folgen

xi ∈ K, ti > 0 (i = 1, 2, 3, . . .)

existieren mit

limi→∞

xi − xti

= h, limi→∞

ti = 0 ,

heißt Tangentialkegel an K in x.

Anmerkungen. i) Eigenschaft d) impliziert c), c) impliziert (komponen-tenweise) b), b) impliziert a). Beachte, dass in a) und b) die Abbildungenf ′(x) auf ihrem jeweiligen Definitionsbereich nicht notwendig linear seinmussen.

ii) Der Kegel in e) passt gut zu a).iii) Der Kegel in f) passt gut zu b). Ist namlich

x(t) = x+ th+ r(t) ∈ K (0 ≤ t ≤ tr)

mitlim

t→0+

1tr(t) = 0Rn ,

so folgt fur jede positive Nullfolge (ti)i∈N

limi→∞

x(ti)− xti

= h ∈ T (K, x) .

Sei umgekehrt h ∈ T (K, x) mit zugehorigen Folgen

xi ∈ K, ti > 0 (i = 1, 2, 3, . . .) ,

limi→∞

xi − xti

= h, limi→∞

ti = 0 .

Wahle o. B. d. A. monotone Nullfolge (ti)i∈N und definiere

x(t) = x+ th+ r(t)


mit

r(t) =[xi − x− th][t− ti+1] + [xi+1 − x− th][ti − t]

ti − ti+1

fur ti+1 ≤ t ≤ ti (i ∈ N).Beachte, dass jetzt ti+1 = ti+1(t), ti = ti(t), xi+1 = xi+1(t), xi = xi(t)

von der Wahl von t abhangig sind.Damit wird

limt→0+

1tr(t) =

= limt→0+

([xi(t)− x

t− h]

t− ti+1(t)ti(t)− ti+1(t)

+[xi+1(t)− x

t− h]

ti(t)− tti(t)− ti+1(t)

)= 0 ,

da die Faktoren

0 ≤ t− ti+1(t)ti(t)− ti+1(t)

≤ 1, 0 ≤ ti(t)− tti(t)− ti+1(t)

≤ 1

alle gleichmaßig beschrankt sind.iv) Sei h ∈ T (K, x) mit zugehorigen Folgen

xi ∈ K, ti > 0 (i = 1, 2, 3, . . .) ,

limi→∞

xi − xti

= h, limi→∞

ti = 0 .

Ist xi = x fur unendlich viele i ∈ N, so ist notwendig h = 0Rn .Ist xi = x fur hochstens endlich viele i ∈ N, so konnen wir diese Indizes

weglassen und erhalten

limi→∞

xi − x‖xi − x‖

= limi→∞

[xi − xti

ti‖xi − x‖

]=

h

‖h‖.

In diesem Sinne wird T (K, x) bestimmt durch die gegen x konvergentenFolgen in K, die außerdem richtungskonvergent sind.

v) T (K, x) ist ein abgeschlossener Kegel mit Scheitel 0Rn .Dass 0Rn ∈ T (K, x) und mit h ∈ T (K, x) und beliebigem λ ≥ 0 auch

λh ∈ T (K, x) ist, ist klar. Sei (hj)j∈N eine Folge in T (K, x) mit

limj→∞

hj = h


und zugehorigen Folgen

xij ∈ K, tji > 0 (i = 1, 2, 3, . . .)

mit

limi→∞

xij − xtji

= hj , limi→∞

tji = 0 . (5.1.1)

Zu jeder Kugel um h mit Radius1µ

gibt es dann ein hj(µ) mit

‖hj(µ) − h‖2 ≤12µ

und damit einx

i(µ)j(µ) ∈ K, tj(µ)i(µ) > 0

mit

‖x

i(µ)j(µ) − xtj(µ)i(µ)

− h‖2 ≤1µ,

dabei kann wegen der zweiten Bedingung in (5.1.1) noch tj(µ)i(µ) ≤ 1µ er-

reicht werden.Also folgt h ∈ T (K, x), d. h. T (K, x) ist abgeschlossen.

5.2 Notwendige Optimalitatsbedingungen

Wesentliches Hilfsmittel ist der Satz uber implizite Funktionen, der mitVarianten des Newtonverfahrens bewiesen werden kann. Eine elementareDarstellung des Newtonverfahrens unter schwachen Differenzierbarkeitsvor-aussetzungen befindet sich in [55]. Fur den Beweis des Satzes uber impliziteFunktionen mit dem vereinfachten Newtonverfahren in Banachraumen ver-gleiche man [56].x sei zulassig fur das Optimierungsproblem 5.1.1. Betrachte wiederum

die beiden Mengen

B = {(r, z) ∈ R1+m : r ≥ f(x), gi(x)

≤ zi (i = 1, . . . ,m′)

= zi (i = m′ + 1, . . . ,m), x ∈ K}

5.2. Notwendige Optimalitatsbedingungen 163

und

A = {(r, z) ∈ R1+m : r ≤ f(x), zi

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)} ,

die bereits in der konvexen Optimierung eine wichtige Rolle spielten. Wirwissen bereits fur optimales x

B ∩ {(r, z) ∈ A : r < f(x} = ∅ .

B ist jetzt nicht notwendig konvex. Daher approximieren wir B lokal fol-gendermaßen durch eine konvexe Menge

B = {(r, z) ∈ R1+m : r ≥ f(x) + f ′(x)(x− x) ,

gi(x) + g′i(x)(x− x)

≤ zi (i = 1, . . . ,m′)

= zi (i = m′ + 1, . . . ,m)

x ∈ x+ T (K, x)}

mit (bezuglich x− x) konvexen Ableitungen

f ′(x), g′i(x) (i = 1, . . . ,m′)

(bezuglich x− x) linearen Ableitungen

g′i(x) (i = m′ + 1, . . . ,m)

und einem konvexen Teilkegel

T (K, x) ⊂ T (K, x) .

Dies lauft darauf hinaus, dass wir das nichtlineare Optimierungsproblem(P) aus 5.1.1 ersetzen durch ein

5.2.1. Konvexifiziertes Optimierungsproblem.

(P ) Minimieref(x) + f ′(x)(x− x)

unter den Nebenbedingungen x ∈ x+ T (K, x) und


≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m).


Unser Ziel ist es, die Gultigkeit der Fritz John-Bedingungen fur (P ) zuzeigen. Dabei werden wir gleichzeitig die notigen Anforderungen an die Ab-leitungen und an T (K, x) motivieren.

I. Analyse der GleichungsnebenbedingungenTreten uberhaupt Gleichungsnebenbedingungen auf, so setzen wir voruber-gehend J = (m′ + 1, . . . ,m), und

g′J(x) =

g′m′+1(x)

...

g′m(x)

: Rn −→ R|J|

ist dann eine lineare Abbildung.Ist g′J(x) nicht surjektiv, so liegt g′J(x)(Rn) in einer Hyperebene des

R|J|, also auch A ∪ B in einer Hyperebene des R1+m, d. h. die Fritz John-Bedingungen gelten trivialerweise.

Sei also von nun an g′J(x) surjektiv. Dann existieren also zu den kanoni-schen Einheitsvektoren ei des R|J| Vektoren yi ∈ Rn mit

g′J(x)yi = ei (i ∈ J) .

Betrachte damit das Gleichungssystem

F (t, s) = gJ(x+ t(x− x) +∑i∈J

siyi) = 0R|J| .

fur die reellen Variablen s = (si)i∈J , t.Fur dieses System gilt

F (0,Θ) = gJ(x) = 0R|J| ,

∂F

∂s(0,Θ) = g′J(x)yJ = E|J| ,

sofern gJ stetig partiell differenzierbar ist in einer Umgebung von x. (5.2.1)

Nach dem Satz uber implizite Funktionen gibt es δ > 0 und eine Abbildung

s : [0, δ] −→ R|J|

mits(0) = 0R|J|


undF (t, s(t)) = 0R|J| (0 ≤ t ≤ δ) .

Nach dem Satz uber implizite Funktionen ist s komponentenweise differen-zierbar in 0 und daher

d

dtF (t, s(t))|t=0

= g′J(x)

((x− x) +

∑i∈J

dsi

dt(0)yi

)

= g′J(x)(x− x) +∑i∈J

dsi

dt(0)g′J(x)yi

= g′J(x)(x− x) +∑i∈J

dsi

dt(0)ei

= g′J(x)(x− x) +ds

dt(0) = 0R|J| .

Ist also g′J(x) surjektiv und gJ stetig partiell differenzierbar in einer Umge-bung von x, so folgt aus

g′J(x)(x− x) = 0R|J|

die Existenz einer Abbildung

r : [0, δ] −→ Rn

mit

limt→0+

1tr(t) = 0Rn

undgi(x+ t(x− x) + r(t)) = 0 (i ∈ J).

II. Analyse der Ungleichungsnebenbedingungen.Sei

gi(x) + g′i(x)(x− x) < 0 ,

dabeig′i(x) (5.2.2)


eine (bezuglich x − x) konvexe Richtungsableitung bzw. Hadamard-Ablei-tung in x in der Richtung x− x ∈ Rn. Mit

x(t) = x+ t(x− x)

bzw.

x(t) = x+ t(x− x) + r(t) ,

limt→0+

1tr(t) = 0Rn

folgt dann

limt→0+

1t[gi(x(t))− gi(x)] = g′i(x)(x− x) ∈ R ,

alsolim

t→0+[gi(x(t)− gi(x)] = 0 .

Ist also gi(x) < 0, so existiert δ > 0 mit

gi(x(t)) < 0 (0 ≤ t ≤ δ) .

Ist gi(x) = 0, so folgt

limt→0+

1t[gi(x(t))− gi(x)] = g′i(x)(x− x) < 0

und hieraus ebenfalls die Existenz von δ > 0 mit

gi(x(t)) < 0 (0 < t ≤ δ) .

III. Analyse der Zielfunktion.Sei

f(x) + f ′(x)(x− x) < f(x) ,

dabeif ′(x) (5.2.3)

eine (bezuglich x − x) konvexe Richtungsableitung bzw. Hadamard-Ablei-tung in x in der Richtung x− x ∈ Rn.

Dann folgt genauso wie unter II fur jede Kurve

x(t) = x+ t(x− x)


bzw.x(t) = x+ t(x− x) + r(t)

mitlim

t→0+

1tr(t) = 0Rn

die Existenz eines δ > 0 mit

f(x(t)) < f(x) (0 < t ≤ δ) .

In diesem Sinne ist x− x eine Abstiegsrichtung fur f im Punkte x.

IV. Analyse der Nebenbedingungen x ∈ x + T (K, x).Der konvexe Teilkegel T (K, x) des Tagentialkegels T (K, x) muss jetzt so

gewahlt werden, dass wir einen zulassigen Abstieg fur f langs der Kurve

x(t) = x+ t(x− x) + r(t) (0 < t ≤ δ), δ > 0

mitlim

t→0+

1tr(t) = 0Rn

erhalten.α) Zu x− x ∈ T (K, x) existiere t0 > 0 mit

x+ t(x− x) ∈ K (0 ≤ t ≤ t0) ,

alle Gleichungsrestriktionen seien affin, f, g1, . . . , gm′ seien richtungsdiffe-renzierbar in x in der Richtung x− x.

Dann benotigt man I. nicht, es ist

r(t) ≡ 0Rn

wahlbar, und wir haben in II. und III. gezeigt:Aus

gi(x) + g′i(x)(x− x) < 0 (i = 1, . . . ,m′) ,gi(x) + g′i(x)(x− x) = 0 (i = m′ + 1, . . . ,m) ,f(x) + f ′(x)(x− x) < f(x)

folgt die Existenz von δ > 0 mit

f(x+ t(x− x)) < f(x) (0 < t ≤ δ) .


β) Es sei x− x ∈ T (K, x) ⊂ T (K, x) beliebig gewahlt, es mogen keine Glei-chungsrestriktionen auftreten, f, g1, . . . , gm′ seien Hadamard-differenzierbarin x.

Dann existieren also Folgen xi ∈ K, ti > 0 mit

limi→∞

xi = x, limi→∞

ti = 0, limi→∞

1ti

(xi − x) = x− x ,

o. B. d. A. sei (ti)i∈N monoton fallend.Setze damit

r(ti) = xi − x− ti(x− x) ,

dann ist

limti→0+

1tir(ti) = lim

i→∞

[1ti

(xi − x)− (x− x)]

= 0Rn .

Dafur haben wir dann in II. und III. gezeigt:Aus

gi(x) + g′i(x)(x− x) < 0 (i = 1, . . . ,m′ = m) ,f(x) + f ′(x)(x− x) < f(x)

folgt die Existenz von δ > 0 mit

f(x+ ti(x− x) + r(ti)) < f(x)

fur alle i ∈ N mit 0 < ti ≤ δ.γ) x− x ∈ relint (T (K, x)) besitze die Zusatzeigenschaft:Zu jeder Abbildung r : [0, t0]→ Rn mit t0 > 0 und

limt→0+

1tr(t) = 0Rn

existiere ein t′0 > 0 mit

x+ t(x− x) + r(t) ∈ K (0 ≤ t ≤ t′0) .

f, g1, . . . , gm′ seien Hadamard-differenzierbar in x, gm′+1, . . . , gm seien ste-tig partiell differenzierbar in einer Umgebung von x, die Frechet-Ableitung(g′i(x

)i=m′+1,...,m

sei surjektiv.


Aus

gi(x) + g′i(x)(x− x) < 0 (i = 1, . . . ,m′)gi(x) + g′i(x)(x− x) = 0 (i = m′ + 1, . . . ,m) ,f(x) + f ′(x)(x− x) < 0

folgt dann wegen I., II. und III. die Existenz von δ > 0 und einer Abbildung

r : [0, δ] −→ Rn

mitlim

t→0+

1tr(t) = 0Rn

undf(x+ t(x− x) + r(t)) < f(x) (0 < t ≤ δ) .

Anmerkungen. i) Das Teilresultat α) ist die Grundlage der Methodeder zulassigen Richtungen. Die Teilresultate β) und γ) erfordern in einemAbstiegsverfahren noch die numerische Approximation eines zulassigen Pfa-des x+ ti(x− x) + r(ti).ii) Alle drei Aussagen sind die theoretische Grundlage fur den Beweis desSatzes von Fritz John fur differenzierbare Optimierungsprobleme.iii) Fur den Standardbereich

K = {x ∈ Rn : xj ≥ 0 (j = 1, . . . , n′)}

kann man

T (K, x) = T (K, x) = {x ∈ Rn : xj

≥ 0 (j = 1, . . . , n′)

∈ R, xj > 0,

∈ R (j = n′ + 1, . . . , n)

}

wahlen. Im Fall γ) kann man

x− x ∈ intT (K, x) = {x ∈ Rn : xj

> 0 (j = 1, . . . , n′)

∈ R, xj > 0,

∈ R (j = n′ + 1, . . . , n)

} .

wahlen.


Wir betrachten jetzt wieder die beiden konvexen Mengen

A = {(r, z) ∈ R1+m : r ≤ f(x), zi

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)} ,

B ={

(r, z) ∈ R1+m : r ≥ f(x) + f ′(x)(x− x) ,


≤ zi (i = 1, . . . ,m′)

= zi (i = m′ + 1, . . . ,m),

x− x ∈ T (K, x)}.

x sei lokal optimal fur das Problem (P).In der Situation IV. α) ist dann

B ∩ relint (A) = ∅ ,

also sind A und B im Rn+1 durch eine Hyperebene trennbar. Damit istbewiesen

5.2.2. Fritz John-Bedingungen.(Variante fur lineare Gleichungsnebenbedingungen)x sei (lokal) optimal fur (P). T (K, x) sei ein konvexer Teilkegel von T (K, x)derart, dass zu jedem x− x ∈ T (K, x) ein t0 > 0 existiere mit

x+ t(x− x) ∈ K (0 ≤ t ≤ t0) .

Alle Gleichungsrestriktionen seien affin. f, g1, . . . , gm′ seien (konvex) rich-tungsdifferenzierbar in x.

Dann existieren Multiplikatoren λi (i = 0, . . . ,m), die nicht alle 0 sind,mit

λi

≥ 0 (i = 0, . . . ,m′)

= 0, falls gi(x) < 0, (i = 1, . . . ,m′)

λ0f′(x)(x− x) +

m∑i=1

λig′i(x)(x− x) ≥ 0

fur alle x− x ∈ T (K, x).


In der Situation IV. β) ist

B ∩ int (A) = ∅ ,

also sind A und B im Rn+1 trennbar, und es gilt

5.2.3. Fritz John-Bedingungen.(Variante ohne Gleichungsnebenbedingungen)x sei lokal optimal fur (P). T (K, x) sei konvexer Teilkegel von T (K, x).f, g1, . . . , gm′ seien (konvex) Hadamard-differenzierbar in x. Es treten keineGleichungsnebenbedingungen auf (m = m′). Dann existieren Multiplikato-ren λi (i = 0, . . . ,m), die nicht alle 0 sind, mit

λi

≥ 0 (i = 0, . . . ,m′)

= 0, falls gi(x) < 0, (i = 1, . . . ,m′)

λ0f′(x)(x− x) +

m∑i=1

λig′i(x)(x− x) ≥ 0


Es mogen jetzt differenzierbare nichtlineare Gleichungsnebenbedingun-gen wirklich vorkommen. Ist dann(

g′i(x))i=m′+1,...,m

(aff T (K, x)) $ Rm−m′,

so liegt A∪ B in einer Hyperebene des R1+n, d. h. die (lokalen) Fritz John-Bedingungen gelten trivialerweise.

Sei also (g′i(x)

)i=m′+1,...,m

(aff T (K, x)) = Rm−m′,

dann ist also (g′i(x))i=m′+1,...,m surjektiv.Die Gleichungsnebenbedingungen (gi)i=m′+1,...,m seien stetig partiell dif-

ferenzierbar in einer Umgebung der (lokalen) Optimallosung x. f, g1, . . . , gm′

seien (konvex) Hadamard-differenzierbar in x.Jedes x− x ∈ relint (T (K, x)) besitze die Zusatzeigenschaft:

Zu jeder Abbildung r : [0, t0] −→ Rn mit t0 > 0 und

limt→0+

1tr(t) = 0Rn


existiere ein t′0 > 0 mit

x+ t(x− x) + r(t) ∈ K (0 ≤ t ≤ t′0) .

Dann befinden wir uns also in der Situation IV. γ, und es zeigt sich, dassmit

B ={

(r, z) ∈ R1+m : r ≥ f(x) + f ′(x)(x− x),


≤ zi (i = 1, . . . ,m′)

= zi (i = m′ + 1, . . . ,m)

x− x ∈ relint (T (K, x))}

giltB ∩ relint (A) = ∅ .

Also sind B und A im R1+n durch eine Hyperebene trennbar.Da f ′(x), g′i(x) (i = 1, . . . ,m′) als konvexe Funktionen auf dem Rn

(oder wenigstens auf einer offenen Nullumgebung) stetig sind und da g′i(x)(i = m′ + 1, . . . ,m) als lineare Abbildungen stetig sind, folgt

5.2.4. Fritz John-Bedingungen. x sei (lokal) optimal fur (P). T (K, x)sei ein konvexer Teilkegel von T (K, x) derart, dass zu jedem x − x ∈relint (T (K, x)) und jeder Abbildung r : [0, t0] −→ Rn mit t0 > 0 und

limt→0+

1tr(t) = 0Rn

ein t′0 > 0 existiere mit

x+ t(x− x) + r(t) ∈ K (0 ≤ t ≤ t′0) .

f, g1, . . . , gm′ seien (konvex) Hadamard-differenzierbar in x. gm′+1, . . . , gm

seien stetig partiell differenzierbar in einer Umgebung von x.Dann existieren Multiplikatoren λi (i = 0, . . . ,m), die nicht alle 0 sind,

mit

λi

≥ 0 (i = 0, . . . ,m′)

= 0, falls gi(x) < 0, (i = 1, . . . ,m′)

λ0f′(x)(x− x) +

m∑i=1

λig′i(x)(x− x) ≥ 0



5.2.5. Spezialfall. x sei (lokale) Optimallosung des Optimierungsproblems5.1.1. f, gi (i = 1, . . . ,m) seien stetig partiell differenzierbar in einer Umge-bung von x, und es sei

K = {x ∈ Rn : xj ≥ 0 (j = 1, . . . , n′) .

Dann existieren Multiplikatoren λi (i = 0, . . . ,m), die nicht alle 0 sind, mit

λi

≥ 0, (i = 0, . . . ,m′)

= 0, falls gi(x) < 0, (i = m′ + 1, . . . ,m) ,

λ0∂f

∂xj(x) +

m∑i=1

λi∂gi

∂xj(x)

≥ 0,

= 0, falls xj > 0, (j=1, . . . , n′)

= 0 (j=n′ + 1, . . . , n) .

Wir untersuchen jetzt die Frage, wann λ0 > 0 gewahlt werden kann,wann also die KKT-Bedingungen fur differenzierbare Optimierungsproble-me gelten.

Wir nehmen dazu an, dass die Fritz John-Bedingungen mit λ0 = 0 gelten,dann sind also die Projektionen

prRm(B) = {z ∈ Rm :gi(x) + g′i(x)(x− x)

≤ zi (i = 1, . . . ,m′)

= zi (i = m′+1, . . . ,m)

x ∈ x+ T (K, x)}

und

prRm(A) = {z ∈ Rm : zi

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)}

im Rm durch eine Hyperebene trennbar.Treten keine Gleichungsnebenbedingungen auf, so ist dies nicht moglich,

falls die folgende Bedingung erfullt ist.


5.2.6. Lokale Slater-Bedingungen. Es existiert ein

x ∈ x+ T (K, x)

mit

gi(x) + g′i(x)(x− x) < 0 (i = 1, . . . ,m) .

Da T (K, x) ein Kegel mit Scheitel 0Rn ist, kann man letzteres auch aus-drucken in der Form

g′i(x)(x− x) < 0

fur alle i ∈ {1, . . . ,m} mit gi(x) = 0.

Damit erhalten wir

5.2.7. KKT-Bedingungen fur Probleme ohne Gleichungen. x sei (lo-kale) Optimallosung des Optimierungsproblems 5.1.1 mit lauter Unglei-chungsnebenbedingungen. In x sei die lokale Slater-Bedingung 5.2.6 erfullt.Dann ist in 5.2.3 λ0 = 1 wahlbar.

Treten auch noch Gleichungsnebenbedingungen auf, so sind prRm(B) undprRm(A) in Rm jedenfalls dann nicht durch eine Hyperebene trennbar, fallsdie folgende Constraint Qualification erfullt ist.

5.2.8. Mangasarian-Fromovitz-Constraint Qualification. Es gibt einx ∈ Rn mit

x− x ∈ relint (T (K, x)) ,


< 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m),

die affine Hulle von gm′+1(x)

...

g′m(x)

T (K, x)

ist der ganze Rm.


Die letzte Bedingung ist z. B. erfullt, falls int(T (K, x)) 6= ∅ und dielineare Abbildung

gm′+1(x)...

g′m(x)

surjektiv ist.

Beachte, dass es eigentlich nur darauf ankommt, dass 0Rm nicht von derkonvexen Menge

prRm(B)− prRm(A)

= g(x) + g′(x)(T (K, x)) + {z ∈ Rm : zi

≥ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)}

durch eine Hyperebene getrennt werden kann. Dies ist die

5.2.9. Regularitatsbedingung von Robinson. Es sei 0Rm innerer Punktvon

g(x) + g′(x)(T (K, x)) + {z ∈ Rm : zi

≥ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)} .

Fur unser Problem sind beide Bedingungen aquivalent, und wir erhalten

5.2.10. KKT-Bedingungen fur differenzierbare Probleme. x sei (lo-kale) Optimallosung fur das Optimierungsproblem 5.1.1. In x sei die Man-gasarian-Fromovitz-Constraint Qulification bzw. die Regularitatsbedingungvon Robinson erfullt. Dann ist in 5.2.4 λ0 = 1 wahlbar.

Die KKT-Bedingungen fur das differenzierbare Optimierungsproblem 5.1.1sind nichts anderes als die KKT-Bedingungen fur das konvexifizierte Opti-mierungsproblem (P ). Wir wissen daher


5.2.11. Lemma. x sei (lokal) optimal fur (P). Erfullt x die (lokalen) KKT-Bedingungen, so ist x optimal fur das Problem (P ): Aus

x− x ∈ T (K, x) ,


≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)

folgt stetsf ′(x)(x− x) ≥ 0 .

Die folgende Constraint Qualification versucht diese Eigenschaft direktzu erzwingen.

5.2.12. Constraint Qualification von Abadie. x sei (lokale) Optimallo-sung des Optimierungsproblems 5.1.1 mit der zulassigen Menge

S = {x ∈ K : gi(x)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)} .

Definiere den so genannten “linearisierenden” Kegel

S = {x−x ∈ T (K, x) : g′i(x)(x−x)

≤ 0 , falls gi(x) = 0,

∈ R, falls gi(x) < 0, (i = 1, . . . ,m′),

= 0 (i = m′ + 1, . . . ,m)

}

und fordereS ⊂ T (S, x) .

5.2.13. Lemma. x sei (lokale) Optimallosung von 5.1.1 In x sei die Cons-traint Qualification 5.2.12 von Abadie erfullt, d. h. es ist

S ⊂ T (S, x) .

Ist S sogar enthalten in der Menge aller Punkte

{x− x ∈ Rn : ∃ δ > 0 mit x+ t(x− x) ∈ S (0 ≤ t ≤ δ)} ,


so sei f wenigstens richtungsdifferenzierbar, ansonsten sei f wenigstensHadamard-differenzierbar. Dann folgt aus

x− x ∈ T (K, x) ,

gi(x) + g′i(x)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)

stetsf ′(x)(x− x) ≥ 0 .

Anmerkung. Das Resultat besagt, dass x dann auch Optimallosungdes konvexifizierten Problems (P ) ist und damit alle notwendigen Optima-litatsbedingungen der konvexen Optimierung fur (P ) gelten.

Beweis. Wegen S ⊂ T (S, x) gibt es Punkte

xi ∈ S, ti > 0 (i = 1, 2, 3, . . .)

mit

limi→∞

xi − xti

= x− x, limi→∞

ti = 0 ,

im bloß richtungsdifferenzierbaren Fall konnen diese Punkte auf der Verbin-dungsgeraden von x und x gewahlt werden, wobei o. B. d. A. x− x 6= 0Rn .

Weiter wahlen wir o. B. d. A. die ti als monoton fallende Nullfolge. Damitwird

xi = x+ ti(x− x) + (xi − x)− ti(x− x)

mitlim

i→∞

1ti

[(xi − x)− ti(x− x)] = 0Rn .

Also ist

f ′(x)(x− x) = limi→∞

1ti

[f(xi)− f(x)]

≥ 0 ,

da xi zulassig fur (P ) und x optimal fur (P ).

Man kann zeigen, dass unter geeigneten Differenzierbarkeitsvorausset-zungen und bei dazu passender Wahl von T (K, x) die lokale Slater-Bedin-gung 5.2.6, die Mangasarian-Fromovitz-Constraint Qualification 5.2.8 bzw.


die Regularitatsbedingung 5.2.9 von Robinson hinreichend sind fur die Cons-traint Qualification 5.2.12 von Abadie. Der direkte Beweis der KKT-Bedin-gungen auf der Grundlage der Fritz John-Bedingungen ist allerdings infor-mativer.

Den wichtigen Spezialfall, dass alle Restriktionen linear sind, kann manallerdings am einfachsten direkt oder mit der Constraint Qualification vonAbadie behandeln.

Seien jetzt alle Restriktionen von (P) affin, und K sei polyhedral, alsoebenfalls durch affine Gleichungen und Ungleichungen beschrieben:

K = {x ∈ Rn : gj(x)

≤ 0 (j = 1, . . . , n′)

= 0 (j = n′ + 1, . . . , n′′)}.

x sei Optimallosung von (P), und wir wahlen T (K, x) moglichst groß, namlichgleich

{h ∈ Rn : gj(h)

≤ 0, falls gj(x) = 0,

∈ R, falls gj(x) < 0, (j = 1, . . . , n′)

= 0 (j = n′ + 1, . . . , n′′)

} .

Sei x− x ∈ T (K, x), x 6= x. Dann folgt fur beliebiges t > 0

gj(x+t(x−x)) = gj(x)+tgj(x−x)

≤ 0, falls gj(x) = 0, (j = 1, . . . , n′)

= 0 (j = n′ + 1, . . . , n′′),

und fur hinreichend kleine t > 0

gj(x+ t(x− x)) < 0, falls gj(x) < 0 .

Sei weiter

g′i(x)(x− x)

≤ 0, falls gi(x) = 0,

∈ R, falls gi(x) < 0, (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m) .

Dann ist fur beliebiges t > 0

gi(x+t(x− x))=gi(x)+tg′i(x)(x− x)

≤ 0, falls gi(x) = 0, (i=1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)


und fur hinreichend kleines t > 0

gi(x+ t(x− x)) < 0, falls gi(x) < 0 .

Fur hinreichend kleines t > 0 muss dann auch

f(x) + t(x− x)) ≥ f(x)

ausfallen.Ist f richtungsdifferenzierbar in x, so folgt

f ′(x)(x− x) = limt→+

1t[f(x+ t(x− x))− f(x)]

≥ 0 .

Wir haben also gezeigt, dass die Constraint Qualification von Abadie erfulltist, und auch direkt, dass x das Optimierungsproblem lost:

Minimieref(x) + f ′(x)(x− x)


gi(x)

≤ 0, falls gi(x) = 0,

∈ R, falls gi(x) < 0,

= 0 (i = m′ + 1, . . . ,m) ,

(i = 1, . . . ,m′)

gj(x)

≤ 0, falls gj(x) = 0,

∈ R, falls gj(x) < 0,

= 0 (j = n′ + 1, . . . , n′′) ,

(j = 1, . . . , n′) !

Dies ist ein Optimierungsproblem mit konvexer Zielfunktion (f braucht nurkonvex richtungsdifferenzierbar zu sein) und lauter affinen Restriktionen.Hierfur ist die abgeschwachte Slater-Bedingung z. B. durch x selbst erfullt.Daher gelten die KKT-Bedingungen in der Form:

Es existieren Multiplikatoren λ ∈ Rm, µ ∈ Rn′′ mit

λi ≥ 0 (i = 1, . . . ,m), µj ≥ 0 (j = 1, . . . , n′) ,λi = 0, falls gi(x) < 0, µj = 0, falls gj(x) < 0 ,

0 ≤ f ′(x)(x− x) +m∑

i=1

λig′i(x)(x− x) +

n′′∑j=1

µj g′j(x)(x− x)


fur alle x ∈ Rn.Um die KKT-Bedingungen fur das ursprungliche Problem zu bekommen,

mussen wir noch die Multiplikatoren µj (j = 1, . . . , n′′) wieder entfernen.Hierzu beachte man

n′′∑j=1

µj g′j(x)(x− x) ≤ 0 (x ∈ T (K, x)) .

Insgesamt sind damit bewiesen

5.2.14. KKT-Bedingungen fur Probleme mit affinen Restriktionen.x sei (lokale) Optimallosung fur das Optimierungsproblem 5.1.1 mit lauteraffinen Restriktionen und

K = {x ∈ Rn : gj(x)

≤ 0 (j = 1, . . . , n′)

= 0 (j = n′ + 1, . . . , n′′)}

sei eine konvexe polyedrische Menge. f sei (konvex) richtungsdifferenzierbarin x. Dann existieren Multiplikatoren λ ∈ Rm mit

λi ≥ 0 (i = 1, . . . ,m′) , λi = 0, falls gi(x) < 0,

f ′(x)(x− x) +m∑

i=1

λig′i(x)(x− x) ≥ 0

fur alle x ∈ Rn mit

gj(x)

≤ 0, falls gj(x) = 0 ,

∈ R, falls gj(x) < 0 ,

= 0 (j = n′ + 1, . . . , n′′)

(j = 1, . . . , n′) .

Ist f linear richtungsdifferenzierbar, so erhalten wir

f ′(x) +m∑

i=1

λig′i(x) +

n′′∑µ=1

µj g′j(x) = 0?

Rn .

Fur K in Standardform,

K = {x ∈ Rn : xj ≥ 0 (j = 1, . . . , n′)}

5.3. Hinreichende Optimalitatsbedingungen und Sensitivitat 181

folgt damit

f ′(x) +m∑

i=1

λig′i(x)−

n′∑µ=1

µjej?

= f ′(x) +m∑

i=1

λig′i(x)− [µ1, . . . , µn′ , 0, . . . , 0] = 0?

Rn .

Damit sind bewiesen

5.2.15. KKT-Bedingungen fur Probleme mit affinen Restriktionen.(Standardvorzeichenbedingungen)x sei (lokale) Optimallosung fur das Optimierungsproblem 5.1.1 mit affinenRestriktionen

gi(x)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)

und Vorzeichenbedingungen

xj ≥ 0 (j = 1, . . . , n′) .

f sei linear richtungsdifferenzierbar in x. Dann existieren Multiplikatorenλ ∈ Rm mit

λi ≥ 0 (i = 1, . . . ,m′)λi = 0, falls gi(x) < 0 ,

∂f

∂xj(x) +

m∑i=1

λi∂gi

∂xj(x)

≥ 0, (j = 1, . . . , n′)

= 0, falls xj > 0 ,

= 0 (j = n′ + 1, . . . , n)

5.3 Hinreichende Optimalitatsbedingungenund Sensitivitat

Fur die Frage, wann ein KKT-Punkt auch minimal ist, und fur die Kon-vergenzanalyse des SQP-Verfahrens benotigen wir hinreichende Optima-litatsbedingungen zweiter Ordnung und Sensitivitatsresultate fur parame-trische differenzierbare Optimierungsprobleme.


5.3.1. Hinreichende Optimalitatsbedingung 2. Ordnung. (x, λ) seiKKT-Punkt fur das folgende nichtlineare Optimierungsproblem mit zweimalstetig partiell differenzierbaren Abbildungen f, g1, . . . , gm:

(P) Minimiere f(x) unter den Nebenbedingungen

x ∈ Rn

und

gi(x)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m) !

Es existiere α > 0 mit

h?Lxx(x, λ)h ≥ α‖h‖22

fur alle h ∈ K(x), dem so genannten kritischen Kegel

K(x) = {h ∈ Rn : g′i(x)h

≤ 0, falls λi = 0 ,

= 0, fallsλi > 0 , (i ∈ {1, . . . ,m′} ∩ I(x))

= 0 (i = m′ + 1, . . . ,m)

} .

Dann gibt es eine Umgebung U 3 x und β > 0 mit

f(x) ≥ f(x) + β‖x− x‖22 (x ∈ U ∩ S) .

Dabei ist L(x, λ) = f(x) + λ?g(x) die Lagrange-Funktion und S diezulassige Menge von (P ). I(x) ist die Menge der aktiven Indizes fur x, alsodie Menge aller i ∈ {1, . . . ,m} mit gi(x) = 0.

Beweis. I. Wahle h ∈ T (S, x)\0Rn beliebig, dann existiert also eine Folgexk ∈ S und eine positive Nullfolge µk mit

limx→∞

xk − xµk

= h, limk→∞

xk = x .


Hieraus folgt

limk→∞

gi(xk)− gi(x)µk

= limk→∞

[gi(xk)− gi(x)− g′i(x)(xk − x)

‖xk − x‖+g′i(x)(x

k − x)‖xk − x‖

]· ‖x

k − x‖µk

= limk→∞

g′i(x)xk − xµk

= g′i(x)h

≤ 0 (i ∈ {1, . . . ,m′} ∩ I(x))

= 0 (i = m′ + 1, . . . ,m) .

Da (x, λ) ein KKT-Punkt ist mit λi = 0, falls gi(x) < 0, folgt hieraus

f ′(x)h = −m∑

i=1

λig′i(x)h ≥ 0 .

Dies bedeutet, dass x die notwendige Optimalitatsbedingung 1. Ordnungauf S erfullt.

II. Die behauptete Aussage sei falsch; dann gibt es zu jeder Kugel mit

Mittelpunkt x und Radius1k

und jedem βk =1k

ein xk ∈ S mit

f(xk)− f(x) <1k‖xk − x‖2 ,

‖xk − x‖ ≤ 1k

(k ∈ N) .(5.3.1)

Da die Einheitskugel bezuglich ‖·‖ im Rn kompakt ist, folgt nach Ubergangzu einer geeigneten Teilfolge

limk→∞

xk − x‖xk − x‖

= h 6= 0Rn , limk→∞

xk = x ,

es ist also h ∈ T (S, x)\0Rn und wegen (5.3.1)

f ′(x)h = limk→∞

f(xk)− f(x)‖xk − x‖

≤ 0 .

Zusammen mit I. ist damit also gezeigt

f ′(x)h = 0 .


III. Da x die KKT-Bedingungen erfullt, ist also

f ′(x)h = −∑

i∈I(x)

λig′i(x)h = 0 .

Wegen

g′i(x)h

≤ 0 (i ∈ {1, . . . ,m′} ∩ I(x)) ,

= 0 (i = m′ + 1, . . . ,m) ,

λi ≥ 0 (i = 1, . . . ,m′) ,

ist notwendigλig

′i(x)h = 0 (i ∈ I(x)) .

Ist λi > 0, so ist sogarg′i(x)h = 0 .

Fur diese Richtung ist gemaß (5.3.1) einerseits

limk→∞

f(xk)− f(x)‖xk − x‖2

≤ limk→∞

1k

= 0 .

Andererseits ist

L(xk, λ) = f(xk) +m∑

i=1

λigi(xk) ≤ f(xk) ,

L(x, λ) = f(x) +m∑

i=1

λigi(x) = f(x) ,

Lx(x, λ) = f ′(x) +m∑

i=1

λig′i(x) = 0?

Rn ,

also12h?Lxx(x, λ)h

=12

limk→∞

(xk − x)?

‖xk − x‖Lxx(x, λ)

xk − x‖xk − x‖

= limk→∞

L(xk, λ)− L(x, λ)− Lx(x, λ)(xk − x)− o(‖xk − x‖2)‖xk − x‖2

≤ limk→∞

f(xk)− f(x)‖xk − x‖2

≤ 0


im Widerspruch zur Voraussetzung

h?Lxx(x, λ)h ≥ α‖h‖2 .

Anmerkung. i) Die lineare Unabhangigkeit der Gradienten

g′i(x) (i ∈ I(x))

aller in x aktiven Restriktionen wurde hierfur nicht benotigt. Sie impli-ziert aber die Eindeutigkeit des Multiplikatorvektors λ und uberdies dieGultigkeit der lokalen Slater-Bedingung in x bzw. der Constraint Qualifica-tion von Abadie.ii) Ist die strikte Komplementaritatsbedingung erfullt, so braucht die posi-tive Definitheit von Lxx(x, λ) nur auf

K(x) = {h ∈ Rn : g′i(x)h = 0 (i ∈ I(x)}

uberpruft zu werden.Wir wollen jetzt das Optimierungsproblem (P) aus 5.3.1 einbetten in eine

Schar gestorter Optimierungsprobleme.

5.3.2. Parametrische Optimierungsprobleme. Die Abbildungen

f, g1, . . . , gm : Rn × Rν −→ R

seien hinreichend oft stetig partiell differenzierbar.(Pω) Minimiere f(x, ω) unter den Nebenbedingungen

x ∈ Rn

und

gi(x, ω)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m) .

Zunachst wollen wir herausfinden, ob die KKT-Bedingungen erhaltenbleiben fur kleine Storungen des Referenzproblems (Pω). x = x(ω) sei da-zu ein zulassiger Punkt fur (Pω) mit Multiplikatorvektor λ = λ(ω). Die


KKT-Bedingungen fur einen zulassigen Punkte x(ω) von (Pω) mit Multi-plikatorvektor λ(ω) lauten:

fx(x(ω), ω) +∑

i∈I(x(ω))

λi(ω)gix(x(ω), ω) = 0?Rn ,

gi(x(ω), ω) = 0 (i ∈ I(x(ω))) ,(5.3.2)

gi(x(ω), ω) < 0 (i ∈ {1, . . . ,m′} ∩ Ic(x(ω)) ,

λi(ω)

≥ 0 (i = 1, . . . ,m′)

= 0, falls gi(x(ω), ω) < 0 .

So lange wir die hier enthaltene Komplementaritatsbedingung nicht direktangehen und dabei auch Strukturanderungen in Kauf nehmen wollen, stehtuns nur der Satz uber implizite Funktionen zur Verfugung, wobei wir

I(x(ω)) ≡ I(x(ω))

fest halten mussen.

5.3.3. Storungssatz fur das reduzierte System. i) (x, λ) erfulle die KKT-Bedingungen.

ii) fx(x, ω) +∑

i∈I(x)

λigix(x, ω) sei stetig partiell differenzierbar bezuglich x

und ω in einer Umgebung von x, ω.iii) Die folgende Funktionalmatrix sei regular: fxx(x, ω) +

∑i∈I(x)

λigixx(x, ω) [gix(x, ω)]?i∈I(x)

[gix(x, ω)]i∈I(x) Θ

.

Dann gibt es eine offene Kugelumgebung U 3 ω, eine Umgebung V 3(x,(λi)i∈I(x)

)und genau eine Abbildung

(x(·),(λi(·)i∈I(x)

): U −→ V

mit

x(ω) = x, λi(ω) = λi (i ∈ I(x))


derart, dass das reduzierte System 5.3.2 mit

I(x(ω)) ≡ I(x)

durch

x(ω),(λi(ω)

)i∈I(x)

(ω ∈ U)

gelost wird.x(·), (λi(·))i∈I(x) sind auf U stetig partiell differenzierbar, und es ist

Lxx(x, λ, ω)(gix(x, ω

)?i∈I(x)(

gix(x, ω)i∈I(x)

Θ

∂x

∂ω(ω)(

∂λi

∂ω(ω))

i∈I(x)

= −

(

∂2L∂xi∂ωj

(x, λ, ω)j=1,...,ν

i∈1,...,n(∂gi

∂ωj(x, ω

)j=1,...,ν

i∈I(x)

.

5.3.4. Korollar. Gilt uber die Voraussetzungen in 5.3.3 hinaus die strikteKomplementaritatsbedingung fur x, λ, d.h.

λi > 0, falls gi(x, ω) = 0 ,

λi = 0, falls gi(x, ω) < 0(i = 1, . . . ,m′) ,

so erfullen die Punkte

x(ω), λ(ω) (ω ∈ U)

die KKT-Bedingungen fur (Pω) auf einer Umgebung U 3 ω, U ⊂ U mitλi(ω) = 0 fur alle i /∈ I(x) und λi(ω) > 0 fur alle i ∈ {1, . . . ,m′} ∩ I(x).

Wir wissen damit noch nicht, ob die KKT-Punkte

x(ω), λ(ω) (ω ∈ U)

Minimallosungen von (Pω) sind. Hier hilft uns die hinreichende Optima-litatsbedingung 5.3.1 weiter.


5.3.5. Sensitivitatssatz. i) x sei zulassig fur das ungestorte Problem (Pω).ii) f, g1, . . . , gn seien zweimal stetig partiell differenzierbar.iii) Die Gradienten

gix(x, ω)? (i ∈ I(x))aller in x aktiven Restriktionen seien linear unabhangig.iv) (x, λ) sei KKT-Punkt fur (Pω). Ist x bereits lokal optimal, so folgt die

Existenz von λ aus iii).

v) Fur (x, λ) sei die strikte Komplementaritatsbedingung erfullt.vi) Es existiere α > 0 mit

h?Lxx(x, λ, ω)h ≥ α‖h‖22fur alle h ∈ K(x, ω) mit

K(x, ω) = {h ∈ Rn : gix(x)h = 0 (i ∈ I(x))} .

Dann gibt es eine offene Kugelumgebung U 3 ω, eine Umgebung V 3 (x, λ)und genau eine Abbildung

(x(·), λ(·)) : U −→ V

mitx(ω) = x, λ(ω) = λ

derart, dass x(ω) strikte Minmallosung von (Pω) ist fur alle ω ∈ U .x(·) ist auf U stetig partiell differenzierbar, die partiellen Ableitungen

der MinimalwertfunktionΦ : U −→ R

sind∂Φ∂ω

(ω) =∂f

∂x(x(ω), ω)

∂x

∂ω(ω) +

∂f

∂ω(x(ω), ω) .

Beweis. a) Partitioniere die im Storungssatz 5.3.3 auftretende Funktional-matrix in der Form A B?

B Θ

mit einer n × n-Matrix A, einer |I(x)| × n-Matrix B, einer |I(x)| × |I(x)|-Nullmatrix Θ. Sei mit h ∈ Rn, z ∈ R|I(x)| A B?

B Θ

h

z

= Θ .


Dann ist Bh = Θ, alsoh?B?z = 0,

daherh?Ah = 0 .

Da A positiv definit ist auf dem Nullraum von B, ist h = Θ und damit auch

B?z = Θ .

Da die Zeilen von B linear unabhangig sind, folgt noch z = Θ.Die obige Matrix ist also injektiv, da sie quadratisch ist, ist sie regular.

Die Voraussetzungen des Storungssatzes 5.3.3 und des Korollars 5.3.4 sindalso alle erfullt.

Daher gibt es eine offene Kugelumgebung U 3 ω, V 3 (x, λ) und genaueine Abbildung

(x(·), λ(·)) : U −→ V

derart, dass die Punkte

x(ω), λ(ω) (ω ∈ U)

die (eindeutig bestimmten) KKT-Punkte fur (Pω) sind.x erfullt auch die hinreichende Optimalitatsbedingung 5.3.1, ist also

strikte lokale Minimallosung von (Pω).b) Wir zeigen, dass es dann eine offene Kugelumgebung U ⊂ U von ω

geben muss, auf der x(ω) die hinreichende Optimalitatsbedingung zweiterOrdnung erfullt.

Da die Punkte (x(ω), λ(ω)) die strikte Komplementaritatsbedingung furω ∈ U erfullen mit I(x(ω)) ≡ I(x), genugt es zu zeigen:

Es gibt offene Kugel U 3 ω mit U ⊂ U derart, dass fur alle ω ∈ U einα(ω) > 0 existiert mit

h?Lxx(x(ω), λ(ω), ω)h ≥ α(ω)‖h‖22

fur alle h ∈ K(x(ω), ω), wobei

K(x(ω), ω) = {h ∈ Rn : gix(x(ω), ω)h = 0 (i ∈ I(x))} .

Ware dies nicht der Fall, so gabe es fur jede Kugel

Uν ={ω ∈ Rn : ‖ω − ω‖2 <

1ν

}⊂ U


ein ων ∈ Uν derart, dass fur alle α(ων) = 1ν wenigstens ein hν ∈ Rn existiert

mit

gix(x(ων), ων)hν = 0 (i ∈ I(x)) ,

hν?Lxx(x(ων), λ(ων), ων)hν <1ν‖hν‖22 .

Offenbar ist

limν→∞

ων = ω, limν→∞

x(ων) = x, limν→∞

λ(ων) = λ .

Aus(

hν

‖hν‖2

)wahle man konvergente Teilfolge aus

limj→∞

hνj

‖hνj‖2= h, ‖h‖2 = 1 .

Aus Stetigkeitsgrunden ist dann

gix(x, ω)h = limj→∞

g′i(x(ωνj ), ωνj )

hνj

‖hνj‖2= 0 (i ∈ I(x)) ,

h?Lxx(x, λ, ω) = limj→∞

hν?j

‖hνj‖2Lxx(x(ωνj ), λ(ωνj ), ωνj )

hνj

‖hνj‖2

≤ limj→∞

1νj

= 0

im Widerspruch zur Voraussetzung vi). Auf U ist x(·) stetig partiell diffe-renzierbar, daher folgt die letzte Behauptung aus Φ(ω) = f(x(ω), ω).

5.4 Optimalitatsbedingungen zweiter Ordnung

Als Erganzung beweisen wir im folgenden notwendige und hinreichende Op-timalitatsbedingunge zweiter Ordnung mit einem Zugang, der die Rolle derLagrange-Funktion als Stutzfunktion starker betont. Dieser Zugang stammtaus [40].

Wir betrachten dazu zunachst das

5.4.1. Optimierungsproblem. f sei eine reelle Funktion auf dem Rn undS eine beliebige Teilmenge des Rn.

Minimiere f(x) unter der Nebenbedingung x ∈ S !

5.4. Optimalitatsbedingungen zweiter Ordnung 191

Anmerkung. S interpretiere man als Menge der zulassigen Punkte einesOptimierungsproblems der bereits behandelten Art, f braucht im allgemei-nen nur auf einer offenen Obermenge von S definiert zu sein.

Fur x ∈ Rn bezeichnen wir mit

f ′(x) = ∇f(x)? =∂f

∂x(x) =

(∂f

∂x1(x), . . . ,

∂f

∂xn(x))

den transponierten Gradienten von f in x, mit

f ′′(x) =(

∂2f

∂xi∂xj(x))j=1,...,n

i=1,...,n

die Hesse-Matrix von f in x.Wir werden im folgenden stets fordern, dass die erste bzw. zweite Frechet-

Ableitung von f in x existiert, die dann naturlich durch f ′(x) bzw. f ′′(x)dargestellt wird und die Eigenschaft

f(x) = f(x) + f ′(x)(x− x) + r1(x, x− x)

bzw.

f(x) = f(x) + f ′(x)(x− x) +12(x− x)?f ′′(x)(x− x) + r2(x, x− x)

besitzt mitlim

‖4‖→0+

1‖4‖

r1(x,4) = 0

bzw.lim

‖4‖→0+

1‖4‖2

r2(x,4) = 0 .

Fur jedes Paar von Folgen

xi ∈ R, ti > 0 (i = 1, 2, . . .)

mitlim

i→∞

xi − xti

= h, limi→∞

ti = 0

folgt dann

limi→∞

f(xi)− f(x)ti

= f ′(x)h


bzw.

limi→∞

f(xi)− f(x)− f ′(x)(xi − x)t2i

=12h?f ′′(x)h .

Hinreichend hierfur ist z. B. die stetige einmalige bzw. zweimalige partielleDifferenzierbarkeit von f in einer Umgebung von x.

Wir haben bereits bewiesen die folgende

5.4.2. Notwendige Bedingung 1. Ordnung. Sei x ein lokales Minimumvon f auf S, und sei f Frechet-differenzierbar in x. Dann gilt

f ′(x)h ≥ 0 fur alle h ∈ T (S, x) .

Beweis. Vergleiche den Beweis von Lemma 5.2.13.

5.4.3. Hinreichende Bedingung 1. Ordnung. Sei x ∈ S und f Frechet-differenzierbar in x. Gilt dann

f ′(x)h > 0 fur alle h ∈ T (S, x) \ 0Rn ,

so gibt es eine Umgebung U von x und ein α > 0 mit

f(x) ≥ f(x) + α‖x− x‖ fur alle x ∈ S ∩ U .

Beweis. Ist die Behauptung falsch, so gibt es zu jeder offenen Kugel mitMittelpunkt x und Radius 1

i und jedem αi = 1i einen Punkt xi ∈ S mit

f(xi)− f(x) <1i‖xi − x‖, ‖xi − x‖ <

1i

fur alle i ∈ N .

Da die Einheitskugel bezuglich ‖·‖ im Rn kompakt ist, folgt nach Ubergangzu einer geeigneten Teilfolge aus

limi→∞


= h, limi→∞

‖xi − x‖ = 0 ,

d. h. h ∈ T (S, x) \ 0Rn , der Widerspruch

f ′(x)h = limi→∞

f(xi)− f(x)‖xi − x‖

≤ 0 .


Gilt zwarf ′(x)h ≥ 0 fur alle h ∈ T (S, x) ,

existieren aber Vektoren

h ∈ T (S, x) \ 0Rn

mitf ′(x)h = 0 ,

so mussen wir zusatzliche Forderungen an h stellen, damit x optimal ist.Wir benotigen dazu so genannte Stutzfunktionen.

5.4.4. Definition. f sei eine reelle Funktion auf dem Rn, S ⊂ Rn undx ∈ S. Die reelle Funktion

F : Rn −→ R

heißt Stutzfunktion fur f auf S in x, falls die ersten beiden Frechet-Ablei-tungen von F in x existieren und uberdies gilt

F (x) ≤ f(x) fur alle x ∈ S ,

F (x) = f(x) ,F ′(x) = 0?

Rn .

Anmerkung. Genauso wie f braucht F naturlich nur auf einer offenenObermenge von S definiert zu sein.

5.4.5. Hinreichende Bedingung 2. Ordnung. Sei x ∈ S und f Frechet-differenzierbar in x. Es existiere wenigstens ein h ∈ T (S, x) \ 0Rn mit

f ′(x)h = 0 ,

und fur jedes h ∈ T (S, x) \ 0Rn mit

f ′(x)h = 0

gebe es eine Stutzfunktion F fur f auf S in x mit

h?F ′′(x)h > 0 .

Dann gibt es eine Umgebung U von x und ein α > 0 mit

f(x) ≥ f(x) + α‖x− x‖2 fur alle x ∈ S ∩ U .


Beweis. I. Zunachst zeigen wir, dass fur x die notwendige Bedingung1. Ordnung 5.4.2 erfullt ist. Wegen

f(x)− F (x) = 0 ≤ f(x)− F (x) fur alle x ∈ S

ist nach 5.4.2, angewendet auf f(·)− F (·) ,

[f ′(x)− F ′(x)]h ≥ 0 fur alle h ∈ T (S, x) .

Wegen F ′(x) = 0?Rn , folgt

f ′(x)h ≥ 0 fur alle h ∈ T (S, x) .

II. Wir nehmen an, dass die Behauptung falsch ist.Dann gibt es zu jeder offenen Kugel mit Mittelpunkt x und Radius 1

iund jedem αi = 1

i ein xi ∈ S mit

f(xi)− f(x) <‖xi − x‖2

i, ‖xi − x‖ <

1i

fur alle i ∈ N .

Da die Einheitskugel bezuglich ‖·‖ im Rn kompakt ist, folgt nach Ubergangzu einer geeigneten Teilfolge

limi→∞


= h, limi→∞

‖xi − x‖ = 0 ,

d. h. es ist h ∈ T (S, x) \ 0Rn , und

f ′(x)h = limi→∞

f(xi)− f(x)‖xi − x‖

≤ 0 .

Also gilt notwendigf ′(x)h = 0 .

III. Dann gibt es eine Stutzfunktion F fur f auf S in x mit

h?F ′′(x)h > 0 .

Im Widerspruch hierzu erhalten wir aus

F (xi)− F (x)− F ′(x)(xi − x)‖xi − x‖2

≤ f(xi)− f(x)‖xi − x‖2

<1i

fur alle i ∈ N

durch Grenzubergang12h?F ′′(x)h ≤ 0 .


5.4.6. Notwendige Bedingung 2. Ordnung. Sei x ein lokales Minimumvon f auf S. Es existiere eine Stutzfunktion F fur f auf S in x mit derzusatzlichen Eigenschaft

F (x) = f(x) fur alle x ∈ S .

Dann gilth?F ′′(x)h ≥ 0 fur alle h ∈ T (S, x) .

Beweis. Sei h ∈ T (S, x). Dann gibt es

xi ∈ S, ti > 0 fur alle i ∈ N

mitlim

i→∞

xi − xti

= h, limi→∞

ti = 0 .

Damit folgt

12h?F ′′(x)h

= limi→∞

F (xi)− F (x)− F ′(x)(xi − x)ti

= limi→∞

f(xi)− f(x)ti

≥ 0 .

Um die gewonnene Bedingung 2. Ordnung anwenden zu konnen, mussenim konkreten Fall geeignete Stutzfunktionen angegeben werden.

Ist S = Rn, f zweimal Frechet-differenzierbar in x und f ′(x) = 0?Rn , so

ist f selbst als Stutzfunktion verwendbar, und wir erhalten

5.4.7. Satz. Sei f zweimal Frechet-differenzierbar in x ∈ Rn und f ′(x) =0?

Rn . Ist dann f ′′(x) positiv definit, so gibt es eine Umgebung U von x undein α > 0 mit

f(x) ≥ f(x) + α‖x− x‖2 fur alle x ∈ U .

Ist umgekehrt x ein lokales Minimum von f auf dem Rn, so ist f ′(x) = 0?Rn

und f ′′(x) positiv semidefinit.

Wir betrachten abschließend das folgende restringierte Optimierungspro-blem ohne Vorzeichenbedingungen:


5.4.8. Optimierungsproblem. f, g1, . . . , gm seien reelle Funktionen aufdem Rn. Minimiere

f(x)


gi(x) ≤ 0 (i = 1, . . . ,m′)gi(x) = 0 (i = m′ + 1, . . . ,m) !

In dieser Situation wahlen wir fur S die Menge

M ={x ∈ Rn : gi(x)

≤ 0, (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)

}

der zulassigen Punkte von 5.4.8. Neben dem Tangentialkegel T (M, x) an Min x ∈M benotigen wir noch den linearisierenden Kegel

L(M, x) ={h ∈ Rn : g′i(x)h

≤ 0, falls gi(x) = 0, (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)

}.

5.4.9. Lemma. Seien die Funktionen g1, . . . , gm Frechet-differenzierbar inx ∈M . Dann gilt

T (M, x) ⊂ L(M, x) .

Beweis. Sei h ∈ T (M, x). Dann existieren

xj ∈M, tj > 0 fur alle j ∈ N

mitlim

j→∞

xj − xtj

= h, limi→∞

tj = 0 ,

also mit

limj→∞

gi(xj)− gi(x)tj

= g′i(x)h (i = 1, . . . ,m) .

Ist gi(x) = 0 und i ∈ (1, . . . ,m′), so folgt

g′i(x)h ≤ 0 .


Ist i ∈ {m′ + 1, . . . ,m}, so folgt

g′i(x)h = 0 .

Lemma 5.4.9 in Verbindung mit der Constraint Qualification von Aba-die 5.2.12 motiviert die folgende

5.4.10. Definition. Seien die Funktionen g1, . . . , gm Frechet-differenzierbarin x ∈M . x heißt regular bezuglich M , wenn gilt

T (M, x) = L(M, x) .

Mit Hilfe von Lemma 5.4.9 und des Begriffs der Regularitat versuchtman, in den Bedingungen 5.4.2, 5.4.3, 5.4.5, 5.4.6 die explizite Verwendungdes Tangentialkegels zu vermeiden, da der linearisierende Kegel besser be-rechnet werden kann.

5.4.11. Satz. Seien f und g1, . . . , gm Frechet-differenzierbar in x ∈ M .Dann ist

f ′(x)h ≥ 0 fur alle h ∈ L(M, x)

genau dann, wenn fur x die KKT-Bedingungen gelten, d.h. wenn ein Vektorλ ∈ Rm existiert mit

λi ≥ 0

λi = 0, falls gi(x) < 0,

(i = 1, . . . ,m′) ,

f ′(x) +m∑

i=1

λig′i(x) = 0?

Rn .

Beweis. Die Gultigkeit der Ungleichungen

f ′(x)h ≥ 0

nicht nur fur alle h ∈ T (M, x) wie in 5.4.2 sondern fur alle h ∈ L(M, x)bedeutet gerade, dass h = 0Rn das linearisierte Optimierungsproblem lost.Die Gultigkeit der KKT-Bedingungen folgt dann aus dem Dualitatssatz derlinearen Optimierung.

Umgekehrt folgt aus den KKT-Bedingungen, dass h = 0Rn das zu-gehorige linearisierte Problem lost.


5.4.12. Hinreichende Bedingung 1. Ordnung. Seien f, g1, . . . , gm Fre-chet-differenzierbar in x ∈M . Gilt dann

f ′(x)h > 0 fur alle h ∈ L(M, x) \ 0Rn ,

so gelten fur x die KKT-Bedingungen, und es gibt eine Umgebung U von xund α > 0 mit

f(x) ≥ f(x) + α‖x− x‖ fur alle x ∈ U ∩M .

Beweis. Die erste Behauptung folgt aus 5.4.11, die zweite aus 5.4.9 und5.4.3.

5.4.13. Hilfssatz. Seien f, g1, . . . , gm zweimal Frechet-differenzierbar in x ∈M , und gelten fur x die KKT-Bedingungen mit dem Multiplikatorvektorλ ∈ Rn. Dann ist F : Rn −→ R mit

F (x) = f(x) +m∑

i=1

λigi(x)

eine Stutzfunktion fur f auf M in x, und fur jedes h ∈ Rn gilt:

h ∈ L(M, x) und f ′(x)h = 0

←→

g′i(x)h

≤ 0, falls gi(x) = 0 und λi = 0,

= 0, falls gi(x) = 0 und λi > 0,

(i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)

.

Beweis. Ubungsaufgabe

5.4.14. Hinreichende Bedingung 2. Ordnung. Seien f, g1, . . . , gm zwei-mal Frechet-differenzierbar in x ∈ M , und gelte fur x die Multiplikatoren-regel mit einem Kuhn-Tucker-Vektor λ ∈ Rm.

Fur jedes h ∈ Rn \ 0Rn mit

g′i(x)h



(i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)


sei

h?

[f ′′(x) +

m∑i=1

λig′′i (x)

]h > 0 .

Dann gibt es eine Umgebung U von x und α > 0 mit

f(x) ≥ f(x) + α‖x− x‖2 fur alle x ∈ U ∩M .

Beweis. Fur jedes h ∈ T (M, x) \ 0Rn mit f ′(x)h = 0 ist nach 5.4.9 und5.4.13

g′i(x)h



(i = 1, . . . ,m′) .

= 0 (i = m′ + 1, . . . ,m)

Verwendet man f(·)+m∑

i=1

λigi(·) als Stutzfunktion fur f auf M in x, so folgt

die Behauptung aus 5.4.5.Existiert kein solches h, so folgt die Behauptung aus 5.4.12.In 5.3.1 haben wir diesen Beweis ohne Ruckgriff auf den Begriff der

Stutzfunktion gefuhrt.

5.4.15. Notwendige Bedingung 2. Ordnung. Seien f, g1, . . . , gm zwei-mal Frechet-differenzierbar in x ∈M . Sei x ein lokales Minimum von f aufM , und gelten fur x die KKT-Bedingungen mit einem Multiplikatorvektorλ ∈ Rm. Definiere die Teilmenge S von M durch

S ={x ∈ Rn : gi(x)

≤ 0, falls λi = 0,

= 0, falls λi > 0,

(i = 1, . . . ,m′) .

= 0 (i = m′ + 1, . . . ,m)

}

Ist dann x regular bezuglich S, so gilt fur jedes h ∈ Rn mit

g′i(x)h



(i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)


die Ungleichung

h?

[f ′′(x) +

m∑i=1

λig′′i (x)

]h ≥ 0 .

Beweis. Wir verwenden f(·) +m∑

i=1

λigi(·) als Stutzfunktion fur f auf S in

x. S ist dabei gerade die großte Teilmenge von M , auf der gilt

f(x) +m∑

i=1

λigi(x) = f(x) fur alle x ∈ S .

Aus der Regularitat von x bezuglich S, d. h. also aus T (S, x) = L(S, x),und 5.4.6 folgt dann die Behauptung.

Offenbar kann man in 5.4.15 statt S auch die Teilmenge S ⊂ S mit

S ={x ∈ Rn : gi(x)

≤ 0, falls gi(x) < 0,

= 0, falls gi(x) = 0,

(i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)

}

verwenden. Ist dann x regular bezuglich S, so folgt fur jedes h ∈ Rn mit

g′i(x)h

= 0, falls gi(x) = 0, (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)

die Ungleichung

h?

[f ′′(x) +

m∑i=1

λig′′i (x)

]≥ 0 .

Diese Bedingung wird z. B. in [21] mit einer anderen Methode bewiesen.Die einfachste Constraint Qualification fur Probleme ohne Vorzeichenbe-

dingungen ist offenbar die lineare Unabhangigkeit von

{∇gi(x) : 1 ≤ i ≤ m und gi(x) = 0} ,

aus der lediglich unter zusatzlichen Stetigkeits- und Differenzierbarkeitsvor-aussetzungen die Regularitat von x bezuglich M und S bzw. S folgt.

Kapitel 6

NonlinearProgramming-Konzepte

Unter anderen verwenden wir hier die Bucher [1] und [28].

6.1 Reduktionsmethoden

Wir schildern die Grundidee dieser Verfahren an Hand der speziellen Pro-blemklasse:

6.1.1. Optimierungsproblem. f : Rn −→ R sei stetig partiell differen-zierbar, A eine reelle m× n-Matrix vom Rang m, b ∈ Rm. Minimiere

f(x)


Ax = b .

Aus der linearen Algebra ist bekannt, dass sich die zulassige Menge S ={x ∈ Rn : Ax = b} schreiben lasst als

S =

x+n−m∑j=1

zjαj : αj ∈ R (j = 1, . . . , n−m)

,

201

202 Kapitel 6. Nonlinear Programming-Konzepte

wobeiAx = b

eine spezielle Losung undz1, . . . , zn−m

eine Basis des Kerns von A ist,

Azj = Θ (j = 1, . . . , n−m) .

Mittels Householder-Reduktion von A? erhalten wir die Faktorisierung

A? = Q

(R

Θ

)= (Y |Z)

(R

Θ

)= Y R

mit unitarer n × n-Matrix Q, oberer m × m-Matrix R, n × m-Matrix Y ,n× (n−m)-Matrix Z.

Damit wirdA[x|z1, . . . , zn−m] = [b|0Rm×(n−m) ]

gleichbedeutend mit

R?Y ?[x|z1, . . . , zn−m] = [b|0Rm×(n−m) ] ,

d. h. mitY ?[x|z1, . . . , zn−m] = [R?−1b|0Rm×(n−m) ] .

Da Q = [Y |Z] unitar ist, lasst sich die letzte Gleichung erfullen durch

[z1, . . . , zn−m] := Z, x = Y R?−1b .

Damit erhalten wir

6.1.2. Reduktionsmethode. Mit den durch obige Householder-Reduktiongewonnenen Matrizen wird das Optimierungsproblem 6.1.1 aquivalent zu:

MinimiereF (α) = f(Y R?−1b+ Zα)

unter den Nebenbedingungen α ∈ Rn−m.

Dieses Problem kann durch jeden Algorithmus fur unrestringierte Opti-mierungsprobleme gelost werden. Die gegebenenfalls benotigten Ableitun-gen

F ′(α) =∂f

∂x(Y R?−1b+ Zα) · Z

6.2. Methode der zulassigen Richtungen 203

bzw. zweite Ableitungen

F ′′(α) = Z? · ∂2f

∂x2(Y R?−1b+ Zα) · Z

heißen auch reduzierte Ableitungen. Bezeichnet man mit ∇F bzw. ∇f dieGradienten bezuglich α bzw. x und mit ∇2F bzw. ∇2f die Hesse-Matrixbezuglich α bzw. x, so ist

∇F (α) = Z?∇f(Y R?−1b+ Zα) ,∇2F (α) = Z?∇2f(Y R?−1b+ Zα)Z .

6.2 Methode der zulassigen Richtungen

Wir schildern die Idee dieser Verfahren am Beispiel der Minimierung einerdifferenzierbaren Funktion f auf einer konvexen Menge X.

Ausgehend von einem zulassigen xk ∈ X bestimmt man eine zulassigeRichtung hk in xk, d.h. ein hk ∈ Rn, zu dem ein τ > 0 existiert mit

xk + thk ∈ X ∀ t ∈ [0, τ ] .

hk wird dabei moglichst so gewahlt, dass

∇f(xk)?hk < 0

ausfallt, damit hk lokale Abstiegsrichtung in xk ist. xk+1 gewinnt man durcheindimensionale Minimierung von f(xk + thk) fur t ∈ [0, τ ].

Wir betrachten das folgende differenzierbare

6.2.1. Optimierungsproblem. X sei eine abgeschlossene konvexe Teil-menge des Rn, f, g1, . . . , gm seien reelle, stetig partiell differenzierbare Funk-tionen auf einer offenen Obermenge von X.Minimiere

f(x)

unter den Nebenbedingungen x ∈ X und

gi(x) ≤ 0 (i = 1, . . . ,m) !


Durch Analyse des Beweises der Fritz John-Bedingungen 5.2.3 erhaltman die folgenden Satze, die grundlegend fur die Verfahren der zulassigenRichtungen sind.

6.2.2. Satz. Sei x zulassig fur 6.2.1, und das System

∇f(x)?h < 0 ,gi(x) +∇gi(x)?h < 0 (i = 1, . . . ,m) ,

x+ h ∈ X

besitze eine Losung h.Dann existiert ein τ ∈ (0, 1] mit

x+ th ∈ X ,

gi(x+ th) < 0 (i = 1, . . . ,m) ,f(x+ th) < f(x)

fur alle t ∈ (0, τ ].

Beweis. Sei x+ h ∈ X mit

∇f(x)?h < 0 ,gi(x) +∇gi(x)?h < 0 (i = 1, . . . ,m) .

Dann folgt aus der totalen Differenzierbarkeit von f

limt→0+

1t‖h‖

[f(x+ th)− f(x)−∇f(x)?th

]= 0 ,

alsolim

t→0+

1t‖h‖

[f(x+ th)− f(x)

]= ∇f(x)? h

‖h‖< 0 .

Also existiert τ > 0 mit

f(x+ th) < f(x) (0 < t ≤ τ) .

Entsprechend ist

gi(x) + th) < gi(x) (i = 1, . . . ,m, 0 < t ≤ τ) ,

falls τ > 0 hinreichend klein gewahlt wird.


6.2.3. Satz. Sei x zulassig fur 6.2.1, und das System

∇f(x)?h < 0 ,gi(x) +∇gi(x)?h < 0 (i = 1, . . . ,m) ,

x+ h ∈ X

besitze keine Losung.Dann gibt es (λ0, λ) ∈ R1+m \ 0R1+m mit

λi ≥ 0 (i = 0, 1, . . . ,m) ,λi = 0, falls gi(x) < 0 , (i = 1, . . . ,m) ,

λ0∇f(x)?h+m∑

i=1

λi∇gi(x)?h ≥ 0 ∀ h ∈ R+(X − x) .

Beweis. Nach Voraussetzung trifft die konvexe Menge

K =

∇f(x)?h

gi(x) +∇gi(x)?h

: x+ h ∈ X

das innere des konvexen Kegels mit Scheitel 0Rm+1

A =

r0

r1...

rm

∈ Rm+1 : ri ≤ 0 (i = 0, . . . ,m)

nicht.

Daher sind K und A in Rm+1 durch Hyperebene trennbar, d.h. es exi-stieren Multiplikatoren (λ0, λ1, . . . , λm) ∈ R1+m \ 0Rm+1 mit

λ0r0 +m∑

i=1

λiri ≤ λ0∇f(x)?h+m∑

i=1

λi

[gi(x) +∇gi(x)?h

]fur alle x + h ∈ X, ri ≤ 0 (i = 0, . . . ,m). Hieraus folgt λi ≥ 0 (i =

0, . . . ,m) undm∑

i=1

λigi(x) = 0. Setzt man r0 = r1 = . . . = rm = 0 ein, so


bleibt ubrig

0 ≤ λ0∇f(x)?h+m∑

i=1

λi∇gi(x)?h (x+ h ∈ X) .

6.2.4. Korollar. Sind uber die Voraussetzungen in 6.2.3 hinaus f, g1, . . . , gm

konvex auf X und ist der Multiplikator λ0 > 0 wahlbar, so ist x Opti-mallosung von 6.2.1.

Beweis. Wahle o.B.d.A. λ0 = 1 und beachte, dass im konvexen Fall ∇f(x)und∇gi(x) (i = 1, . . . ,m) als lineare Richtungsableitungen interpretierbarsind. Damit folgt die Behauptung aus 4.2.20.

6.2.5. Korollar. f, g1, . . . , gm seien konvex auf X, und die Slater-Bedin-gung sei erfullt. x sei zulassig fur 6.2.1.

Dann ist x Optimallosung von 6.2.1 genau dann, wenn das System

∇f(x)?h < 0 ,gi(x) +∇gi(x)?h < 0 (i = 1, . . . ,m) ,

x+ h ∈ X

keine Losung besitzt.

Dieses Resultat ist die Grundlage des Verfahrens von [25], das von [79],[81] weiter entwickelt wurde, vergl. auch [80].

Wir betrachten den folgenden konzeptionellen Algorithmus zur Losungdes Problems 6.2.1.

6.2.6. Methode der zulassigen Richtungen. M sei die Menge der zu-lassigen Punkte von 6.2.1, ε > 0 und α > 0 seien fest gewahlt. Jedem x ∈Mwerde die Indexmenge

Iα(x) ={i ∈ I : −α ≤ gi(x)

}zugeordnet, wobei I = {1, . . . ,m}.

Berechne x0 ∈M ;k := 0;


S: berechne eine Losung hk des Problems:(Pk) Minimiere

max{∇f(xk)?h, gi(xk) +∇gi(xk)?h (i ∈ Iα(xk))

}unter den Nebenbedingungen

xk + h ∈ X ,

‖h‖ ≤ ε !

falls der Wert von (Pk) ≥ 0 , dann gehe nach EXIT;berechne eine Losung xk+1 des Problems:(Pk) Minimiere

f(x)


x ∈{xk + thk : 0 ≤ t ≤ 1

},

x ∈M !

k := k + 1;gehe nach S;

EXIT:

Anmerkungen. i) Die Probleme (Pk) konnen als lineare Programme ge-deutet werden, wenn ‖ · ‖ = ‖ · ‖∞ und X ein konvexes Polyeder ist.ii) Die zusatzliche Restriktion ‖h‖ ≤ ε in (Pk) erubrigt sich, wenn X kom-pakt ist.iii) Die Hilfsprobleme (Pk) und (Pk) besitzen stets Optimallosungen.

Fur den angegebenen Algorithmus gilt folgender Konvergenzsatz, dereine leichte Modifikation des Konvergenzsatzes aus [9] ist

6.2.7. Konvergenzsatz. Bricht die durch den Algorithmus 6.2.6 erzeugteFolge

(xk)k=0,1,2,...

mit der Iterierten x ab, so erfullt x die Fritz-John-Bedingung, d.h. es gibt

(λ0, λ) ∈ R1+m\0R1+m


mit

λi ≥ 0 (i = 0, 1, . . . ,m) ,

λi = 0, falls gi(x) < 0, (i = 1, . . . ,m) ,

λ0∇f(x)?h+∑m

i=1 λi∇ gi(x)?h ≥ 0 ∀ h ∈ R+(x− x) .

Bricht diese Folge nicht ab, so ist jeder Haufungspunkt x dieser Folgezulassig fur 6.2.1 und erfullt ebenfalls die Fritz-John-Bedingung.

Beweis. i) Die Folge breche mit x ab. Dann ist x ∈M , und das System

∇f(x)?h < 0 ,gi(x) +∇gi(x)?h < 0 (i ∈ Iα(x)) ,

x+ h ∈ X

‖h‖ ≤ ε

besitzt keine Losung. Aus Satz 6.2.3 folgt, dass x die (lokale) Fritz-John-Bedingung erfullt.ii) Der Algorithmus erzeuge eine unendliche Folge, und x sei Haufungspunktdieser Folge. Da M abgeschlossen ist, gilt x ∈M . Wegen

‖hk‖ ≤ ε (k = 0, 1, 2, . . .)

besitzt die Folge (hk)k=0,1,2,...

ebenfalls einen Haufungspunkt h.Da xk zulassig fur (Pk) und f stetig ist, folgt

f(xk+1) ≤ f(xk) (k = 0, 1, 2, . . .) ,lim

k→∞f(xk) = f(x) .

iii) O.B.d.A. seilim

k→∞xk = x, lim

k→∞hk = h .

Wegen der Abgeschlossenheit von X gilt

x+ h ∈ X, ‖h‖ ≤ ε .


Wir zeigen:

max{∇f(x)?h, gi(x) +∇gi(x)?h (i ∈ I0(x))

}≥ 0 .

Andernfalls gabe es nach Satz 6.2.2 eine Zahl t ∈ (0, 1] mit

gi(x+ th) < 0 (i ∈ I) ,f(x+ th) < f(x) .

Hieraus folgt die Existenz einer Zahl K ∈ N mit

gi(xk + thk) < 0 (i ∈ I)

f(xk + thk) < f(x)

∀ k ≥ K ,

da f, g1, . . . , gm in x+ th stetig sind. Also ist xk + thk zulassig fur (Pk) unddamit

f(xk+1) ≤ f(xk + thk) < f(x) ∀ k ≥ K (6.2.1)

im Widerspruch zu ii).iv) Wir zeigen:

minx+h∈X‖h‖≤ε

max{∇f(x)?h, gi(x) +∇gi(x)?h (i ∈ I)

}≥ max

{∇f(x)?h, gi(x) +∇gi(x)?h (i ∈ I0(x))

}.

Andernfalls gabe es ein h mit

x+ h ∈ X, ‖h‖ ≤ ε

und eine Folge hk mit

xk + hk ∈ X, ‖hk‖ ≤ ε, limk→∞

hk = h

(im Falle h 6= 0nR wahle z.B.

hk =x+ h− xk

‖x+ h− xk‖·min{ε, ‖x+ h− xk‖}),

so dass aus Stetigkeitsgrunden gilt

max{∇f(xk)?hk, gi(xk) +∇gi(xk)?hk (i ∈ I)

}< max

{∇f(xk)?hk, gi(xk) +∇gi(xk)?hk (i ∈ I0(x))

}


fur alle hinreichend großen k ∈ N.Wegen limk→∞ xk = x und xk ∈M ∀ k ∈ N gilt

−α ≤ gi(xk) ≤ 0 ∀ i ∈ I0(x) ,

mit anderen Worten, es gilt

I0(x) ⊂ Iα(xk)

fur alle hinreichend großen k ∈ N.Hieraus folgt schließlich fur hinreichend große k ∈ N

max{∇f(xk)?hk, gi(xk) +∇gi(xk)?hk (i ∈ Iα(xk))

}≤ max

{∇f(xk)?hk, gi(xk) +∇gi(xk)?hk (i ∈ I)

}< max

{∇f(xk)?hk, gi(xk) +∇gi(xk)?hk (i ∈ I0(x))

}≤ max

{∇f(xk)?hk, gi(xk) +∇gi(xk)?hk (i ∈ Iα(xk))

}im Widerspruch dazu, dass hk zulassig fur (Pk) und hk Optimallosung von(Pk) ist.

v) Nach iii) und iv) besitzt das System

∇f(x)?h < 0 ,gi(x) +∇gi(x)?h < 0 (i ∈ I)

x+ h ∈ X ,

‖h‖ ≤ ε

keine Losung. Aus Satz 6.2.3 folgt dann, dass x die (lokale) Fritz-John-Bedingung erfullt.

Ist die Menge{x ∈M : f(x) ≤ f(x0)}

kompakt, so besitzt die Folge (xk)k=0,1,2,... naturlich einen Haufungspunkt,wenn sie nicht abbricht. Mit Hilfe der Korollare 6.2.4 und 6.2.5 kann manentscheiden, ob x wirklich Optimallosung ist. Nach 6.2.5 ist dies der Fall,falls f, g1, . . . , gm konvex sind auf X und ein x ∈ X existiert mit

gi(x) < 0 (i ∈ I) .

Besitzt in dieser Situation das Problem 6.2.1 genau eine Optimallosung, sokonvergiert die Folge (xk)k=0,1,2,... selbst gegen dieses Optimallosung.

Varianten des Verfahrens und implementierbare Versionen findet manbei [79], [65], [9].

6.3. Projektionsverfahren 211

6.3 Projektionsverfahren

Wir schildern hier nur einen moglichen Zugang zur Klasse der Projekti-onsverfahren am Beispiel der Minimierung einer konvexen, partiell differen-zierbaren Funktion f : Rn −→ R auf einer nicht leeren, abgeschlossenen,konvexen Teilmenge X ⊂ Rn.

Ausgehend von einem zulassigen xk ∈ X berechnet man die Projektionxk von xk−∇f(xk) auf die abgeschlossene, konvexe Menge X bezuglich dereuklidischen Norm.xk−xk wahlt man als Suchrichtung in xk und bestimmt xk+1 durch ein-

dimensionale Minimierung von f(xk +t(xk−xk)) fur t ∈ [0, 1]. Die auf dieseWeise erzeugte zulassige Richtung xk − xk ist sogar lokale Abstiegsrichtungfur f in xk, sofern sie 6= 0Rn , d. h. xk 6= xk ausfallt. Ist xk = xk, so ist xk

sogar Optimallosung.Wir betrachten die etwas allgemeinere Situation, in der die Zielfunktion

nicht notwendig konvex sein muss.

6.3.1. Optimierungsproblem. X sei eine nichtleere, abgeschlossene undkonvexe Teilmenge des Rn, f : X −→ R sei stetig partiell differenzierbar.

Minimieref(x)

unter den Nebenbedingungen x ∈ X.

Da X nichtleer, abgeschlossen und konvex ist, existiert nach dem Pro-jektionssatz fur jedes z ∈ Rn genau ein z ∈ X mit

‖z − z‖2 ≤ ‖z − x‖2 (x ∈ X) .

Dieser Punkt z heißt Projektion von z auf X, die Abbildung

pr : Rn −→ X, pr(z) = z (z ∈ Rn) ,

heißt Projektion auf X.Da eine richtungsdifferenzierbare Abbildung auf X stetig ist langs jeder

Strecke in X, ist das folgende Verfahren wohldefiniert.

6.3.2. Projektionsverfahren.Berechne einen Startpunkt x0 ∈ X, setze k := 0.

S: Berechnexk = prX [xk −∇f(xk)] .


Ist xk = xk, so gehe zu EXIT.Berechne xk+1 = xk + tk(xk − xk) mit 0 ≤ tk ≤ 1 und

f(xk+1) ≤ f(xk + t(xk − xk)) (0 ≤ t ≤ 1) .

Setze k := k + 1 und gehe zu S.EXIT:

Fur dieses konzeptionelle Verfahren gilt folgender

6.3.3. Konvergenzsatz. Bricht der Algorithmus 6.3.2 nach endlich vielenSchritten mit dem Punkt xk ab, so gilt

∂f

∂x(xk)(x− xk) ≥ 0 (x ∈ X) .

Andernfalls liefert er eine unendliche Folge

(xk)k=0,1,2,...

mitf(x0) > f(x1) > . . . > f(xk) > f(xk+1) > . . . .

Jeder Haufungspunkt x? der Folge (xk)k=0,1,2,... erfullt

∂f

∂x(x?)(x− x?) ≥ 0 (x ∈ X) .

Beweis. a) Der Algorithmus breche mit xk ab, dann muss gelten

xk = prX [xk −∇f(xk)] = xk .

Nach dem Projektionssatz wissen wir

[xk −∇f(xk)− xk]?(x− xk) ≤ 0 (x ∈ X) .

Wegen xk = xk erhalten wir

−∇f(xk)?(x− xk) ≤ 0 (x ∈ X) .

b) Ist xk 6= xk, so folgt durch Einsetzen von x := xk

[xk −∇f(xk)− xk]?(xk − xk) ≤ 0 ,

6.3. Projektionsverfahren 213

d. h.∇f(xk)?(xk − xk) ≤ −‖xk − xk‖22 < 0 .

Also existiert ein τk ∈ (0, 1] mit

f(xk + t(xk − xk)) < f(xk) (0 < t ≤ τk) .

Dann ist auchf(xk+1) < f(xk) ,

es handelt sich also um ein Abstiegsverfahren. Bricht die Iteration also nieab, so folgt

f(xk) > f(xk+1) (k = 0, 1, 2, . . .) .

c) Die Iteration breche nicht ab, und x? sei Haufungspunkt von (xk)k=0,1,2,....Dann gibt es also eine Teilfolge (xkj )j∈N mit

limj→∞

xkj = x? .

Da f stetig in x? ist, ist auch

limj→∞

f(xkj ) = f(x?) .

Die Folge (f(xkj ))j∈N ist monoton fallend, daher ist

f(x?) = inf{f(xkj ) : j ∈ N} .

Da die gesamte Folge (f(xk))k=0,1,2,... monoton fullt und (xkj )j∈N Teilfolgevon (xk)k=0,1,2,... ist, folgt

f(x?) = inf{f(xkj ) : j ∈ N}= inf{f(xk) : k = 0, 1, 2, . . .}= lim

k→∞f(xk) ,

also konvergiert die ganze Wertefolge

limk→∞

f(xk) = f(x?) .

d) Fur die restlichen Aussagen vergl. [28], pp. 300–302], wobei die eindimen-sionale Minimierung appoximativ mittels der Armigo-Regel durchgefuhrtwird.

Fur Modifikationen der Gradientenprojektionsverfahren vergleiche man[68], [69], [46], [64], [65], [33], [31], [32], [57], [17]. Zusammenhange mit Fix-punktmethoden, insbesondere mit Kontraktionsverfahren finden sich in [9]und [28].


6.4 Lagrange-Newton-Verfahren

Wir wollen das folgende nichtlineare Optimierungsproblem durch das New-ton-Verfahren und durch sequentielle quadratische Approximation losen.

6.4.1. Optimierungsproblem. f, g1, . . . , gm : Rn −→ R seien gegeben.Minimiere

f(x)

(P) unter den Nebenbedingungen x ∈ Rn und

gi(x)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m) .

Die einzige Vereinfachung gegenuber dem allgemeinen nichtlinearen Op-timierungsproblem besteht darin, dass wir keine impliziten Nebenbedingun-gen der Form x ∈ K ⊂ Rn zulassen. Dies vereinfacht die Darstellung.

So genannte Box-Constraints,

K = {x ∈ Rn : aj ≤ xj ≤ bj (j = 1, . . . , n)} ,

oder Vorzeichenbedingungen,

K = {x ∈ Rn : xj ≥ 0 (j = 1, . . . , n)} ,

konnen wir leicht als explizite Nebenbedingungen schreiben. f und g seien,soweit erforderlich, einmal oder zweimal Frechet-differenzierbar.

Ein KKT-Punkt x ∈ Rn fur das Problem (P) erfullt die folgenden Be-dingungen

gi(x)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m) ,

λi

≥ 0 (i = 1, . . . ,m′)

= 0, falls gi(x) < 0 ,

f ′(x) +m∑

i=1

λig′i(x) = 0?

Rn .

6.4. Lagrange-Newton-Verfahren 215

MitI(x) = {i ∈ 1, . . . ,m : gi(x) = 0}

bezeichnen wir die Menge der aktiven Indizes, dann lost x ein so genanntes

6.4.2. Reduziertes System. Berechne

x ∈ Rn, λ ∈ R|I(x)|

mit λi ≥ 0 (i ∈ {1, . . . ,m′} ∩ I(x)) und

f ′(x) +∑

i∈I(x)

λig′i(x) = 0?

Rn ,

gi(x) = 0 (i ∈ I(x)) .

Dies ist ein nichtlineares Gleichungssystem mit

n+ |I(x)|

Unbekannten und Gleichungen.Die Vorzeichenbedingungen λi ≥ 0 (i ∈ {1, . . . ,m′}∩ I(x)) und Unglei-

chungen gi(x) ≤ 0 (i /∈ I(x)) mussen zusatzlich eingehalten werden.Dieses Gleichungssystem wollen wir mit dem Newton-Verfahren losen,

der folgende lokale Konvergenzsatz fur das Newton-Verfahren enthalt dieStandardvoraussetzungen fur lokale quadratische Konvergenz.

6.4.3. Lokaler Konvergenzsatz fur das Lagrange-Newton-Verfahren.i) (x, λ) sei Losung des reduzierten Systems 6.4.2.ii) f, g1, . . . , gm seien zweimal Frechet-differenzierbar, f ′′(·), g′′1 (·), . . . , g′′m(·)seien Lipschitz-stetig.iii) Die Funktionalmatrix f ′′(x) +

∑i∈I(x)

λig′′i (x) [g′i(x)]

?i∈I(x)

[g′i(x)]i∈I(x) Θ

(6.4.1)

sei regular.


Dann konvergiert das Newtonverfahren f ′′(xk) +∑

i∈I(x)

λki g′′i (xk)

(g′i(x

k))?i∈I(x)(

g′i(xk))i∈I(x)

Θ

xk+1 − xk(λk+1

i − λki

)i∈I(x)

= −

[f ′(xk) +∑

i∈I(x)

λki g′i(x

k)]?

[gi(xk)]i∈I(x)

(k = 0, 1, 2, . . .)

lokal quadratisch gegen x, (λi)i∈I(x).

Beachte, dass der linke obere Block

f ′′(x) +∑

i∈I(x)

λig′′i (x)

= Lxx(x, λ)

wegen λi = 0 (i /∈ I(x)) gerade die Hesse-Matrix der Lagrange-Funktionbezuglich der Variablen x ist.

6.4.4. Lemma. Sind die Gradienten

g′i(x) (i ∈ I(x))

der in x aktiven Restriktionen linear unabhangig und existiert α > 0 mit

h?Lxx(x, λ)h ≥ α‖h‖22

fur alle h ∈ Rn mit

g′i(x)h = 0 (i ∈ I(x)) ,

so ist die Matrix (6.4.1) in 6.4.3 regular.

Beweis. Partitioniere die Matrix (6.4.1) in der Form A B?

B Θ

6.4. Lagrange-Newton-Verfahren 217

mit einer n × n-Matrix A, einer |I(x)| × n-Matrix B, einer |I(x)| × |I(x)|-Nullmatrix Θ. Sei mit h ∈ Rn, z ∈ R|I(x)| A B?

B Θ

h

z

= Θ .

Dann ist Bh = Θ, alsoh?B?z = 0,

daherh?Ah = 0

und damit auchB?z = Θ .

Ist A positiv definit auf dem Nullraum von B, so ist h = Θ. Sind die Zeilenvon B linear unabhangig, so folgt noch z = Θ.

Die Matrix (6.4.1) ist also injektiv, da sie quadratisch ist, ist sie regular.

Dass wir zumindest lokal mit der gleichen Indexmenge I(x) arbeitenkonnen und auch die Vorzeichenbedingungen λi ≥ 0 (i ∈ {1, . . . ,m′}∩I(x))und die Ungleichungen gi(x) < 0 fur i /∈ I(x) einhalten konnen, garantiertdie

6.4.5. Strikte Komplementaritatsbedingung. x, λ erfullt die strikteKomplementaritatsbedingung, falls gilt

λi > 0 (i ∈ {1, . . . ,m′} ∩ I(x)) .

Dann ist also fur i ∈ {1, . . . ,m′}

λ = 0, falls gi(x) < 0 ,

λi > 0, falls gi(x) = 0 .

Interessanterweise sind die zweite Bedingung in 6.4.4 und die Bedingung6.4.5 zusammen hinreichend fur lokale Optimalitat eines KKT-Punktes, wiewir in der hinreichenden Optimalitatsbedingung 5.3.1 gesehen haben.


6.5 Sequential Quadratic Programming

Die Iterierte (xk+1, λk+1) des Lagrange-Newton-Verfahrens ist Nullstelle deslinearisierten Problems

Lx(xk, λk) + (xk+1 − xk)?Lxx(xk, λk) +∑

i∈I(x)

(λk+1i − λk

i )g′i(xk)

= f ′(xk) + (xk+1 − xk)?Lxx(xk, λk) +∑

i∈I(x)

λk+1i g′i(x

k) = Θ ,

gi(xk) + g′i(xk)(xk+1 − xk) = 0 (i ∈ I(x)) .

Daher ist, fur die Parameter xk ∈ Rn, λk ∈ Rm die Iterierte (xk+1, λk+1)KKT-Punkt fur die Schar quadratischer Optimierungsprobleme.

6.5.1. Parametrische quadratische Optimierungsprobleme.xk ∈ Rn, λk ∈ Rm seien gegeben.

Minimiere

f(xk) + f ′(xk)(x− xk) +12(x− xk)?Lxx(xk, λk)(x− xk)(

Pxk,λk

)unter den Nebenbedingungen x ∈ Rn und

gi(xk) + g′i(xk)(x− xk)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m) .

Anmerkung. i) I(x) braucht man nicht zu kennen.ii) Die Iterierten sind nicht mehr notwendig zulassig fur das Ausgangspro-blem 6.4.1.iii) Zur Losung der quadratischen Probleme gibt es gute Algorithmen.iv) Durch 6.5.1 wird ein Iterationsverfahren motiviert, die so genannte SQP-Methode (Sequential Quadratic Programming-Methode).

Der Zusammenhang zwischen der Lagrange-Newton-Methode und derSQP-Methode wird in folgendem dargestellt. Wir interpretieren (Px,λ) alsungestortes Problem:

Minimiere

f(x) + f ′(x)(x− x) +12(x− x)?Lxx(x, λ)(x− x)

6.5. Sequential Quadratic Programming 219

(Px,λ) unter den Nebenbedingungen x ∈ Rn und


≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)!

Die KKT-Bedingungen fur dieses Problem stimmen mit denen fur (P)uberein, die Bedingungen 6.4.4 und 6.4.5 ebenfalls. Also ist x lokale Optimal-losung von (Px,λ) mit eindeutig bestimmten Multiplikatorvektor λ unter dendortigen Voraussetzungen.

Dieses Problem betten wir ein in die Schar gestorter Optimierungspro-bleme (Py,µ).

KKT-Punkte x(y, µ), λ(y, µ) fur (Py,µ) erfullen die Bedingungen:

f ′(y)+(x(y, µ)− y)?Lxx(y, µ) +m∑

i=1

λi(y, µ)g′i(y) = 0Rn?

gi(y) + g′i(y)(x(y, µ)− y)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m),

λi(y, µ)

≥ 0 (i = 1, . . . ,m′)

= 0 falls gi(y) + g′i(y)(x(y, µ)− y) < 0.

Wir reduzieren dieses System sogar zu einem linearen Gleichungssystemvermoge der aktiven Indexmenge I(x) des ungestorten Problems:

f ′(y)+(x(y, µ)− y)?Lxx(y, µ) +∑

i∈I(x)

λi(y, µ)g′i(y) = 0Rn? ,

gi(y) + g′i(y)(x(y, µ)− y) = 0 (i ∈ I(x)) ,

in Matrixschreibweise Lxx(y, µ) [g′i(y)]?i∈I(x)

[g′i(y)]i∈I(x) Θ

x(y, µ)− y

[λi(y, µ)]i∈I(x)

= −

f ′(y)?

[gi(y)]i∈I(x)

.


Dies ist das gleiche lineare Gleichungssystem wie beim Lagrange-Newton-Verfahren fur den Ubergang von xk := y zu xk+1 := x(y, µ) und

(λki )i∈I(x) := µ zu (λk+1

i )i∈I(x) := λ(y, µ) .

Aus den Bedingungen in 6.4.4 folgt, dass die Koeffizientenmatrix im Punk-te (x, λ) regular ist, außerdem lost (x, λ) dieses System fur y = x, µ =(λi)i∈I(x). Nach dem Satz uber implizite Funktionen gibt es eine offene Um-

gebung U 3(x, (λi)i∈I(x)

), eine Umgebung V 3

(x, (λi)i∈I(x)

)und genau

eine Abbildung (x(·, ·), (λi(·, ·))i∈I(x)

): U −→ V

mitx(x, (λi)i∈I(x)) = x, λi(x, (λi)i∈I(x)) = λi (i ∈ I(x))

derart, dass das reduzierte System genau durch die Vektoren

x(y, (µi)i∈I(x)

),(λi(y, (µi)i∈I(x)

)i∈I(x)

mit(y, (µi)i∈I(x)

)∈ U gelost wird. x(·, ·), (λi(·, ·))i∈I(x) sind auf U stetig

partiell differenzierbar, insbesondere ist also auch

limy→x

(µi)i∈I(x)→(λi)i∈I(x)

x(y, (µi)i∈I(x)

)= x ,

limy→x

(µi)i∈I(x)→(λi)i∈I(x)

λ(y, (µi)i∈I(x)

)= (λi)i∈I(x) .

Gegebenenfalls nach weiterer Verkleinerung von U ist dann wegen der strik-ten Komplementaritat von x, λ auch

gi(y) + g′i(y)(x(y, µ)− y) < 0 (i /∈ I(x)) ,λi(y, µ) > 0 (i ∈ {1, . . . ,m′} ∩ I(x)) ,

d. h. auch fur die Probleme (Py,µ) mit µi = 0 (i /∈ I(x)) ist die strikteKomplementaritatsbedingung erfullt.

Wir wissen damit bereits, dass in einer hinreichend kleinen UmgebungU 3 (x, λ) die durch das Lagrange-Newton-Verfahren 6.4.3 gelieferte Folge(xk, λk)k=0,1,2,... mit der Folge von KKT-Punkten fur die Probleme (Pxk,λk)ubereinstimmt fur alle Startpunkte (x0, λ0) ∈ U .

Wir mussen noch zeigen, dass die Probleme (Pxk,λk) in der SQP-Methode6.5.1 auch wirklich Minimalpunkte besitzen. Die KKT-Punkte (xk+1, λk+1)existieren zwar und sind auch eindeutig bestimmt, aber dies allein ist nochnicht hinreichend fur Minimalitat.


6.5.2. Lemma. Die Gradienten

g′i(x) (i ∈ I(x))

der in x aktiven Restriktionen seien linear unabhangig, und es existiereα > 0 mit

h?Lxx(x, λ)h ≥ α‖h‖22fur alle h ∈ Rn mit

g′i(x)h = 0 (i ∈ I(x)) .

x, λ erfulle die strikte Komplementaritatsbedingung,

λi = 0, falls gi(x) < 0 ,

λi > 0, falls gi(x) = 0 ,(i = 1, . . . ,m′) .

Dann existiert eine Umgebung U 3 (x, λ) derart, dass fur alle KKT-Punktex(y, µ), λ(y, µ) der Probleme (Py,µ) mit (y, µ) ∈ U die hinreichende Opti-malitatsbedingung 2. Ordnung erfullt ist.

Beweis. In einer hinreichend kleinen Umgebung U 3 (x, λ) bleiben dieRestriktionen

gi(y) + g′i(y)(x(y, µ)− y) < 0

inaktiv fur alle i /∈ I(x), da wir bereits wissen

limy→x,λ→λ

x(y, µ) = x .

Wir konnen also mit fester Indexmenge I(x) argumentieren. Die Gradienten

g′i(y) (i ∈ I(x))

bleiben linear unabhangig fur (y, µ) ∈ U , U hinreichend klein. Die strikteKomplementaritatsbedingung

λi(y, µ) = 0, falls gi(x) < 0 ,

λi(y, µ) > 0, falls gi(x) = 0 ,(i = 1, . . . ,m′)

bleibt fur (y, µ) ∈ U erfullt, U hinreichend klein, da wir bereits wissen

limy→x,µ→λ

λ(y, µ) = λ .


Wir wenden die hinreichende Optimalitatsbedingung 5.3.1 auf (Py,µ) an undbetrachten dazu die Menge

K(x(y, µ)) = {h ∈ Rn : g′i(y)(h) = 0 (i ∈ I(x)} .

Wir haben zu zeigen, dass α(y, µ) > 0 existiert mit

h?Lxx(y, µ)h ≥ α(y, µ)‖h‖22

fur alle h ∈ K(x(y, µ)), (y, µ) ∈ U , U hinreichend klein. Ware dies nicht derFall, so existierten Folgen

yν , µν , hν 6= Θ, αν =1ν

mit

limν→∞

yν = x ,

limν→∞

µν = λ ,

g′i(yν)hν = 0 (i ∈ I(x)) ,

hν?Lxx(yν , µν)hν <1ν‖hν‖22 .

Aus der beschrankten Folge hν

‖hν‖2 lasst sich eine konvergente Teilfolge auswahlenmit

limj→∞

hνj

‖hνj‖2= h, ‖h‖2 = 1 .

Aus Stetigkeitsgrunden ist dann

g′i(x)h = limj→∞

(g′i(y

νj )hνj

‖hνj‖2

)= 0 (i ∈ I(x)) ,

h?Lxx(x, λ)h = limj→∞

(hνj

‖hνj‖2

)?

Lxx(yν , µν)(

hνj

‖hνj‖2

)≤ lim

j→∞

1νj

= 0

im Widerspruch zur Voraussetzung.

Damit haben wir insgesamt gezeigt


6.5.3. Lokaler Konvergenzsatz fur das SQP-Verfahren. i) x sei lo-kale Optimallosung des nichtlinearen Optimierungsproblems (P) aus 6.4.1.

ii) f, g1, . . . , gm seien zweimal Frechet-differenzierbar, f ′′(·), g′′1 (·), . . . , g′′m(·)seien Lipschitz-stetig.

iii) Die Gradienteng′i(x) (i ∈ I(x))

der in x aktiven Restriktionen seien linear unabhangig. Dann erfullt xdie KKT-Bedingungen mit einem eindeutig bestimmten Multiplikatorvek-tor λ ∈ Rm.

iv) x, λ seien strikt komplementar.

v) Es existiere ein α > 0 mit

h?Lxx(x, λ)h ≥ α‖h‖22fur alle h ∈ Rn mit g′i(x)h = 0 (i ∈ I(x)).

Dann besitzt die Schar parametrischer quadratischer Optimierungspro-bleme

Minimiere

f(xk) + f ′(xk)(x− xk) +12(x− xk)?Lxx(xk, λk)(x− xk)

(Pxk,λk) unter den Nebenbedingungen x ∈ Rn und

gi(xk) + g′i(xk)(x− xk)

≤ 0 (i = 1, . . . ,m′)

= 0 (i = m′ + 1, . . . ,m)!

fur jeden Startwert (x0, λ0) aus einer hinreichend kleine Umgebungen U von(x, λ) genau eine lokale Optimallosung xk+1 und einen zugehorigen eindeutigbestimmten Multiplikatorvektor λk+1. Die Folgen

(xk, λk)k=0,1,2,...

stimmen mit den durch das Lagrange-Newton-Verfahren 6.4.3 erzeugtenFolgen uberein und konvergieren daher lokal quadratisch gegen (x, λ).

Anmerkungen. Man kann den Konvergenzbereich noch vergroßern durchGlobalisierungstechniken, die aus der unrestringierten Optimierung bekanntsind. Man kann dabei auch den Aufwand verringern, in dem man statt mitdem Newton-Verfahren mit Quasi-Newtonverfahren arbeitet. Dies bedeu-tet, dass man oben Lxx(xk, λk) durch geeignete Update-Techniken approxi-miert.

Kapitel 7

Diskrete DynamischeOptimierung

Dieses Kapitel enthalt eine gekurzte Fassung einer Sommerschule uber dis-krete dynamische Programmierung, die von Prof. Dr. Matthias Gerdts (Ham-burg) und Prof. Dr. Frank Lempio (Bayreuth) in Borovets und Sofia, Bul-garia, im Jahr 2003 gehalten wurde.

Die Sommerschule wurde von der Bulgarischen Akademie der Wissen-schaften und dem DAAD im Rahmen des Projekts “Center of Excellence ofApplications of Mathematics” finanziert.

7.1 Einfuhrung

Das dynamische Verhalten des Zustands eines technischen, okonomischenoder biologischen Problems kann haufig durch (diskrete) dynamische Glei-chungen beschrieben werden. Zum Beispiel konnen wir uns fur die Entwick-lung der Populationsgroße einer Spezies in einem gewissen Zeitinitervall in-teressieren. Oder wir mochten das dynamische Verhalten eines chemischenProzesses oder eines mechanischen Systems oder der Entwicklung des Ge-winns einer Firma in den nachsten funf Jahren untersuchen.

In der Regel kann das dynamische Verhalten eines gegebenen Systemsdurch Steuervariablen beeinflußt werden. Zum Beispiel kann die Aus-breitung von Kaninchen durch gezielte Einfuhrung von Krankheiten odernaturlichen Feinden beeinflußt werden. Ein Auto kann durch Drehen des

225

226 Kapitel 7. Diskrete Dynamische Optimierung

Lenkrads und durch betatigen des Gaspedals und der Bremsen gesteuertwerden. Ein chemischer Prozess kann haufig durch die Erhohung oder Ver-ringerung der Temperatur beeinflußt werden. Der Gewinn einer Firma kannbeispielsweise durch die Anderung von Produktpreisen oder die Anzahl derMitarbeiter gesteuert werden.

Oft durfen die Zustande und/oder die Steuerungen eines Systems nichtjeden Wert annehmen, sondern unterliegen gewissen Beschrankungen.Diese Beschrankungen konnen aus Sicherheitsbestimmungen oder physi-kalischen Begrenzungen resultieren. Z. B. muß die Temperatur in einemKernreaktor unterhalb einer gewissen Schwelle liegen, um eine Uberhitzungzu vermeiden. Ebenso sollte sich die Flughohe eines Flugzeugs stets ober-halb der Erdoberflache befinden. Bei der Steuerung eines Fahrzeugs ist derLenkwinkel physikalisch beschrankt durch einen maximalen Lenkwinkel.

Wir sind nicht nur an Zustands- und Steuervariablen interessiert, diezulassig sind, also alle Beschrankungen erfullen, sondern daruber hinausnoch eine gegebene Zielfunktion minimieren oder maximieren. Beispiels-weise ist eine Firma daran interessiert, ihren Gewinn zu maximieren undihre Kosten zu minimieren.

Insgesamt erhalten wir folgende Bestandteile fur diskrete dynamischeOptimierungsprobleme, vgl. Abbildungen 7.1, 7.2:

• Die Zustandsvariablen y(tj) beschreiben den Zustand eines Systemszum Zeitpunkt t.

• Die Steuervariablen u(tj) erlauben es, das dynamische Verhalten desZustands zum Zeitpunkt tj zu beeinflussen.

• Die diskrete dynamische Gleichung y(tj+1) = ψ(tj , y(tj), u(tj)) legtden Ubergang des Zustands zum Zeitpunkt tj zum nachfolgenden Zeit-punkt tj+1 fest und hangt ab vom aktuellen Zeitpunkt, vom aktuellenZustand und von der aktuellen Steuerung.

• Die Zielfunktion wird minimiert (oder maximiert).

• Die Beschrankungen fur den Zustand und die Steuerung mussen ein-gehalten werden.

7.1. Einfuhrung 227

Zeit t0 t1 tN−1 tN

Zustand y0 y1 yN−1 yN

Steuerung u0 uN−1

Kosten/Gewinn ϕ(t0, y0, u0) ϕ(tN−1, yN−1, uN−1)

Abbildung 7.1: Schematische Darstellung eines diskreten dynamischen Op-timierungsproblems.

t0 t1 t2 · · · tN−1 tN

y0

y1

y2

yN−1

yNy1

y2

yN−1 yN

y1

y2yN−1

yN

Abbildung 7.2: Diskrete Trajektorien fur verschiedene Steuerungen.


Dies fuhrt auf die folgende mathematische Formulierung des diskretendynamischen Optimierungsproblems.

SeiG := {tj | j = 0, 1, . . . , N}

ein Gitter mit N + 1 festen Zeitpunkten

t0 < t1 < . . . < tN .

Die Aufgabe besteht darin, eine Zustandsgitterfunktion

y : G→ Rn, tj 7→ y(tj),

und eine Steuergitterfunktion

u : G→ Rm, tj 7→ u(tj),

zu finden, so daß die Zielfunktion

f(y, u) :=N∑

j=0

ϕ(tj , y(tj), u(tj))

mitϕ : G× Rn × Rm → R

minimiert wird unter Beachtung der dynamischen Gleichungen

y(tj+1) = ψ(tj , y(tj), u(tj)), j = 0, 1, . . . , N − 1,

mitψ : G× Rn × Rm → Rn.

Zusatzlich mussen die Zustandsbeschrankungen

y(tj) ∈ Y (tj), j = 0, 1, . . . , N,

mit nichtleeren Mengen Y (tj) ⊆ Rn und die Steuerbeschrankungen

u(tj) ∈ U(tj , y(tj)), j = 0, 1, . . . , N,

mit nichtleeren Mengen U(tj , y(tj)) ⊆ Rm fur y(tj) ∈ Y (tj) und j =0, 1, . . . , N erfullt sein.

Insgesamt erhalten wir das folgende diskrete dynamische Optimierungs-problem

7.2. Beispiele und Anwendungen 229

7.1.1. Diskretes Dynamisches Optimierungsproblem (DOP).

MinimiereN∑

j=0


bzgl. y ∈ {y | y : G→ Rn} , u ∈ {u | u : G→ Rm}

u. d. N. y(tj+1) = ψ(tj , y(tj), u(tj)), j = 0, 1, . . . , N − 1,

y(tj) ∈ Y (tj), j = 0, 1, . . . , N,

u(tj) ∈ U(tj , y(tj)), j = 0, 1, . . . , N.

Bemerkungen :

• Ohne Beschrankung der Allgemeinheit betrachten wir nur Minimie-rungsprobleme. Maximierungsprobleme konnen durch Negation derZielfuntion leicht in aquivalente Minimierungsprobleme transformiertwerden.

• Oft werden die Mengen Y (tj) durch Ungleichungen und Gleichungenbeschrieben:

Y (tj) = {y ∈ Rn | g(tj , y) ≤ Θ, h(tj , y) = Θ}.

Entsprechend sind die Mengen U(tj , y) haufig gegeben durch

U(tj , y) = {u ∈ Rm | g(tj , y, u) ≤ Θ, h(tj , y, u) = Θ}.

Als wichtiger Spezialfall seien Boxschranken erwahnt:

u(tj) ∈ {v = (v1, . . . , vm)> ∈ Rm | aj ≤ vj ≤ bj , j = 1, . . . ,m}.

7.2 Beispiele und Anwendungen

Wir diskutieren einige Anwendungen, die auf diskrete dynamische Optimie-rungsprobleme fuhren.


7.2.1 Diskretisierte Optimalsteuerungsprobleme

Wir zeigen, daß direkte Diskretisierungsverfahren fur kontinuerliche Opti-malsteuerungsprobleme auf endlichdimensionale diskrete dynamische Opti-mierungsprobleme fuhren.

Es seien die folgenden Abbildungen gegeben:

ϕa : Rn → R,ϕb : Rn → R,ϕ : R× Rn × Rm → R,ψ : R× Rn × Rm → Rn,

α : R× Rn → Rsa ,

β : R× Rn → Rsb ,

S : R× Rn → Rs

Es bezeichne

U ⊆ Rm

den Steuerbereich.

Ein Optimalsteuerungsproblem auf dem Zeitintervall [a, b], a < b ist ge-geben durch


Minimiere ϕa(y(a)) + ϕb(y(b)) +∫ b

a

ϕ(t, y(t), u(t))dt

bzgl. y(·) ∈ AC([a, b])n, u(·) ∈ L∞([a, b])m

u.d.N. y(t) = ψ(t, y(t), u(t)) fur f. a. t ∈ [a, b] ,

αi(a, y(a))

≤ 0, fur i = 1, . . . , s′a ,

= 0, fur i = s′a + 1, . . . , sa ,

βi(b, y(b))

≤ 0, fur i = 1, . . . , s′b ,

= 0, fur i = s′b + 1, . . . , sb ,

u(t) ∈ U fur f. a. t ∈ [a, b] ,

S(t, y(t)) ≤ Θ fur alle t ∈ [a, b].

Direkte Losungsverfahren fur dieses Optimalsteuerungsproblem basierenauf der Diskretisierung des Integrals, der Differentialgleichung und der Be-schrankungen auf dem Gitter

G := {ti | i = 0, 1, . . . , N}

mita = t0 < t1 < . . . < tN = b

und Schrittweiten hj := tj+1 − tj fur j = 0, . . . , N − 1. Die Differentialglei-chung wird auf G durch ein geeignetes Diskretisierungsverfahren, z. B. dasEulerverfahren oder ein Runge-Kutta-Verfahren hoherer Ordnung, approxi-miert. Fur das Eulerverfahren erhalten wir

yj+1 = yj + hjψ(tj , yj , uj), j = 0, 1, . . . , N − 1,

wobei yj ≈ y(tj), j = 0, 1, . . . , N , und uj ≈ u(tj), j = 0, 1, . . . , N−1, Appro-ximationen des Zustands y und der Steuerung u auf dem Gitter G sind. Das


Integral in der Zielfunktion wird approximiert durch die Riemannsumme∫ b

a

ϕ(t, y(t), u(t))dt ≈N−1∑j=0

hjϕ(tj , yj , uj).

Schließlich wird die kontinuerliche Zustandsbeschrankung S(t, y(t)) ≤ Θdurch endlich viele Beschrankungen

S(tj , yj) ≤ Θ, j = 0, 1, . . . , N,

ersetzt. Zusammenfassend erhalten wir das diskretisierte Optimalsteuerungs-problem

Minimiere ϕa(y0) + ϕb(yN ) +N−1∑j=0

hjϕ(tj , yj , uj)

bzgl. yj , j = 0, 1, . . . , N, uj , j = 0, 1, . . . , N − 1

u.d.N. yj+1 = yj + hjψ(tj , yj , uj), j = 0, 1, . . . , N − 1,

αi(t0, y0)

≤ 0, fur i = 1, . . . , s′a ,

= 0, fur i = s′a + 1, . . . , sa ,

βi(tN , yN )

≤ 0, fur i = 1, . . . , s′b ,

= 0, fur i = s′b + 1, . . . , sb ,

uj ∈ U, j = 0, 1, . . . , N − 1,

S(tj , yj) ≤ Θ, j = 0, 1, . . . , N .

7.2.2 Lagerhaltung

Eine Firma mochte fur eine feste Anzahl von Zeitpunkten t0 < t1 < . . . < tNeinen Lagerhaltungsplan mit minimalen Kosten erstellen. Ein Produkt wird


Lieferung Bedarf

Lager

Abbildung 7.3: Lagerhaltungsproblem

in diesen Zeitintervallen t0 < t1 < . . . < tN in einem Lager gelagert. Esbezeichnen uj ≥ 0 die Liefermenge zum Zeitpunkt tj , rj ≥ 0 den Bedarf imIntervall [tj , tj+1) und yj die Menge des gelagerten Guts zum Zeitpunkt tj(direkt vor der Lieferung). Dann gelten die Bilanzgleichungen

yj+1 = yj + uj − rj , j = 0, 1, . . . , N − 1.

Zusatzlich fordern wir, daß der Bedarf stets erfullt werden muß, d.h. es mußyj+1 ≥ 0 fur alle j = 0, 1, . . . , N − 1 gelten. Ohne Beschrankung der Allge-meinheit gelte y0 = yN = 0 fur den Bestand zu Beginn und am Ende desZeithorizonts. Die Lieferkosten zum Zeitpunkt tj werden modelliert durch

B(uj) =

K + cuj , if uj > 0,

0, if uj = 0,

wobei K die Fixkosten und c die Kosten pro Einheit bezeichnen. Die Lager-haltungskosten fallen am Ende eines jeden Zeitintervalls an und betragenhyj+1, j = 0, 1, . . . , N − 1. Die Gesamtkosten betragen daher

N−1∑j=0

(Kδ(uj) + cuj + hyj+1),


wobei

δ(uj) =

1, falls uj > 0 ,

0, falls uj = 0 .

Es giltN−1∑j=0

uj =N−1∑j=0

(yj+1 − yj + rj) = (yN − y0) +N−1∑j=0

rj =N−1∑j=0

rj ,

N−1∑j=0

yj+1 =N−1∑j=0

(yj + uj − rj) =N−1∑j=0

yj +N−1∑j=0

uj −N−1∑j=0

rj =N−1∑j=0

yj .

Mit diesen Beziehungen konnen wir das Lagerhaltungsproblem wie folgtformulieren:

MinimiereN∑

j=1

Kδ(uj) + hyj

u.d.N. yj+1 = yj + uj − rj , j = 0, . . . , N − 1,

y0 = yN = 0,

yj ≥ 0, j = 0, . . . , N,

uj ≥ 0, j = 0, . . . , N.

7.2.2.1. Beispiel. In einer Fertigungslinie stehen in jeder Zeitperiode dreiverschieden teure Fertigungsverfahren zur Auswahl. Die Kosten sind durchdie folgende Tabelle gegeben:

Methode I II III

Volumen 0 15 30

Kosten 0 500 800

Die Fixkosten fur ein positives Produktionsvolumen betragen 300 Euro furjede Zeitperiode. Die Lagerhaltungskosten betragen 15 Euro pro Bauteil undZeitperiode. Der Bedarf fur jede Zeitperiode betragt 25 Bauteile. Die Auf-gabe besteht in der Bestimmung eines optimalen Produktionsplans fur dienachsten drei Zeitperioden, wenn der anfangliche Lagerbestand 35 Bauteilebetragt und der Bestand am Ende 20 Bauteile betragen soll. Es wird ange-nommen, daß die Lagerhaltungskosten zu Beginn jeder Zeitperiode anfallen.


7.2.3 Rucksackpackproblem

Gegeben seien ein Rucksack und N Gegenstande. Gegenstand j wiegt aj

und hat den Wert cj fur j = 1, . . . , N . Die Aufgabe besteht darin, einenRucksack mit maximalem Wert zu packen, wobei das Gewicht kleiner odergleich einer oberen Schranke A bleiben muß. Dies fuhrt auf das folgendeOptimierungsproblem:

MaximiereN∑

j=1

cjuj

u.d.N.N∑

j=1

ajuj ≤ A, uj ∈ {0, 1}, j = 1, . . . , N,

wobei

uj =

1, Gegenstand j wird eingepackt,

0, Gegenstand j wird nicht eingepackt.

Hierbei handelt es sich um ein Optimierungsproblem mit binaren Optimie-rungsvariablen. Es kann in ein aquivalentes diskretes dynamisches Optimie-rungsproblem transformiert werden. Es bezeichne yj das noch verfugbareRestgewicht, nachdem die Gegenstande i = 1, . . . , j − 1 eingepackt bzw.


nicht eingepackt wurden. Dann lautet das diskrete dynamische Optimie-rungsproblem:

MaximiereN∑

j=1

cjuj

u.d.N. yj+1 = yj − ajuj , j = 1, . . . , N,

y1 = A,

0 ≤ yj , j = 1, . . . , N,

uj

∈ {0, 1}, falls yj ≥ aj ,

= 0, falls yj < aj ,j = 1, . . . , N.

yN+1 ist das noch verfugbare Restgewicht im Rucksack.

7.2.3.1. Beispiel. Ein Manager soll Mitarbeiter fur ein Projekt auswahlen.Es stehen vier geeignete Mitarbeiter zur Auswahl. Jedem wird eine Zahl zu-geordnet, die die Leistungsfahigkeit des Mitarbeiters beschreibt. Die Wertesind 3, 5, 2 und 4. Die Kosten zur Beschaftigung der jeweiligen Mitarbei-ter betragen 30, 50, 20 und 40 Geldeinheiten. Der Manager hat maximal 90Geldeinheiten an Personalkosten zur Verfugung. Welche Mitarbeiter soll erfur das Projekt auswahlen?

Das Problem ist ein Rucksackpackproblem. Die Mitarbeiter 1-4 entspre-chen den N = 4 Gegenstanden, die in den Rucksack gepackt werden konnen.Die Personalkosten aj , j = 1, . . . , N , entsprechen den Gewichten der Ge-genstande, und die Leistungsfahigkeit entspricht dem Wert cj des jeweiligenMitarbeiters. Der Hochstbetrag A legt das maximale Gewicht des Rucksacksfest. Die Aufgabe besteht in der Bestimmung eines Rucksacks mit maxima-lem Wert unter Beachtung der Beschrankung fur das Gewicht.

7.2.4 Zuordnungsprobleme

Eine Anzahl A von Ressourcen soll auf N Projekte verteilt werden. DieZuweisung von uj Ressourcen zu Projekt j resultiere in dem Gewinn ϕj(uj).Die Aufgabe ist, den Gesamtgewinn

∑Nj=1 ϕj(uj) zu maximieren. Dies fuhrt

auf das folgende Optimierungsproblem:


MaximiereN∑

j=1

ϕj(uj)

u.d.N.N∑

j=1

uj ≤ A, uj ≥ 0, j = 1, . . . , N.

Dieses Problem kann in ein diskretes dynamisches Optimierungsproblemtransformiert werden. Dazu fuhren wir Zustande yj ein, welche die verblei-benden Ressourcen bezeichnen, nachdem den Projekten i = 1, . . . , j − 1Ressourcen zugewiesen wurden. Dann ist das obige Optimierungsproblemaquivalent mit:

MaximiereN∑

j=1

ϕj(uj)

u.d.N. yj+1 = yj − uj , j = 1, . . . , N,

uj ∈ Uj(yj) = {0, 1, . . . , yj}, j = 1, . . . , N,

y1 = A.

7.2.4.1. Beispiel. Eine Firma mochte Verkaufer auf vier Verkaufsgebie-te A,B,C,D verteilen. Der erreichbare Umsatz hangt von der Anzahl derzugewiesenen Verkaufer gemaß der folgenden Tabelle ab.

Region/Anzahl 0 1 2 3 4

A 0 25 48 81 90

B 0 35 48 53 65

C 0 41 60 75 92

D 0 52 70 85 95

Die Firma beabsichtigt, den Gesamtumsatz zu maximieren. Wie sieht eineoptimale Zuordnung aus?


7.2.5 Zuverlassigkeitsprobleme

Gegeben sei ein Computer, der nur dann funktioniert, wenn dessen Kompo-nenten A,B und C funktionieren. Um die Zuverlassigkeit des Computers zuerhohen, kann jede Komponente durch Notfallsysteme erganzt werden. Eskostet 100 Euro, um die erste Komponente durch ein solches Notfallsystemzu ergaenzen, 300 Euro fur die zweite Komponente und 200 Euro fur die drit-te Komponente. Es konnen maximal zwei Notfallsysteme pro Komponenteerganzt werden. Die Wahrscheinlichkeit, daß eine Komponente funktioniert,hangt von der Anzahl der Notfallsysteme gemaß der folgenden Tabelle ab.

Anzahl/Komponente A B C

0 0.85 0.60 0.70

1 0.90 0.85 0.90

2 0.95 0.95 0.98

Wir suchen eine Konfiguration, die die Zuverlassigkeit des Computers ma-ximiert unter der Nebenbedingung, daß maximal 600 Euro fur zusatzlicheNotfallsysteme investiert werden durfen.

Formulierung als dynamisches Optimierungsproblem:Die Komponenten A,B,C werden mit 1,2,3 nummeriert. Sei yj die verfugbareRestsumme, nachdem die Komponenten 1, . . . , j − 1 um Notfallsysteme er-ganzt wurden.

Sei uj die Anzahl der Notfallsysteme fur Komponente j. uj genugt derBeschrankung uj ∈ U = {0, 1, 2}.

Sei pj(uj) die Wahrscheinlichkeit, daß Komponente j funktioniert, fallsuj Notfallsysteme erganzt wurden. cj bezeichne die Kosten, die entstehen,um Komponente j um ein Notfallsystem zu erganzen, d.h. c1 = 100, c2 =300, c3 = 200.

7.3. Das Optimalitatsprinzip von Bellman 239

Es ist das folgende Optimierungsproblem zu losen:

Maximiere3∏

j=1

pj(uj)

u.d.N.

yj+1 = yj − cj · uj , j = 1, 2, 3 ,

y1 = 600 ,

uj ∈ Uj(yj) =

{0}, falls yj < cj ,

{0, 1}, falls cj ≤ yj < 2cj ,

{0, 1, 2}, falls 2cj ≤ yj ,

yj+1 ∈ {0, 100, 200, 300, 400, 500, 600} .

Leider ist die Zielfunktion ein Produkt und keine Summe. Aber durch ein-fache Anwendung des Logarithmus (streng monoton wachsend!) wird dasProblem transformiert:

Maximiere3∑

j=1

log pj(uj)

u.d.N.

yj+1 = yj − cj · uj , j = 1, 2, 3 ,

y1 = 600 ,

uj ∈ Uj(yj) =

{0}, falls yj < cj ,

{0, 1}, falls cj ≤ yj < 2cj ,

{0, 1, 2}, falls 2cj ≤ yj ,

yj+1 ∈ {0, 100, 200, 300, 400, 500, 600} .

7.3 Das Optimalitatsprinzip von Bellman

Eines der ersten Verfahren zur Losung des diskreten dynamischen Optimie-rungsproblems 7.1.1 (DOP) ist die Methode der dynamischen Pro-grammierung, die auf dem Optimalitatsprinzip von Richard Bell-man beruht. Sie ist sehr universell anwendbar, leidet aber unter dem ”curse


of dimensions“ (Fluch der Dimensionen), da die resultierenden Gleichun-gen nur mit sehr viel Rechenleistung und enormem Speicheraufwand zubewaltigen sind. Aus praktischer Sicht bleibt die Methode daher auf niedrig-dimensionale Problemstellungen oder sehr spezielle Aufgaben beschrankt.Fur eine detaillierte Diskussion verweisen wir auf die Monografien [7], [8],[10], [62]. Viele Anwendungen und Beispiele finden sich in Winston [78].

Sei tk ∈ {t0, t1, . . . , tN} ein fester Zeitpunkt, Gk := {tj | j = k, k +1, . . . , N} und y ∈ Y (tk) ein zulassiger Zustand. Betrachte die folgendeSchar von diskreten dynamischen Optimierungsproblemen:

Diskretes Dynamisches Optimierungsproblem (P (tk, y)) :

MinimiereN∑

j=k


bzgl. y ∈ {y | y : Gk → Rn} , u ∈ {u | u : Gk → Rm}

u.d.N. y(tj+1) = ψ(tj , y(tj), u(tj)), j = k, 1, . . . , N − 1,

y(tk) = y,

y(tj) ∈ Y (tj), j = k, k + 1, . . . , N,

u(tj) ∈ U(tj , y(tj)), j = k, k + 1, . . . , N.

Definition 7.3.1 (Optimalwertfunktion). Sei tk ∈ G. Fur y ∈ Y (tk)bezeichne V (tk, y) den optimalen Zielfunktionswert des Problems P (tk, y).Fur y 6∈ Y (tk) setzen wir V (tk, y) =∞.

Die Funktion V : G × Rn → R, (tk, y) 7→ V (tk, y) heißt Optimalwert-funktion des diskreten dynamischen Optimierungsproblems.

Es gilt das beruhmte

Satz 7.3.2 (Optimalitatsprinzip von Bellman). Seien y(·) und u(·) ei-ne optimale Losung von (DOP). Dann sind y|Gk

und u|Gkoptimal fur

P (tk, y(tk)).

7.4. Dynamische Programmierung 241

Beweis. Angenommen, y|Gkund u|Gk

sind nicht optimal fur (P (tk, y(tk))).Dann existieren zulassige Trajektorien y : Gk → Rn und u : Gk → Rm fur(P (tk, y(tk))) mit

N∑j=k

ϕ(tj , y(tj), u(tj)) <N∑

j=k


und y(tk) = y(tk). Daher sind die Trajektorien y : G→ Rn und u : G→ Rm

mit

y(tj) :=

y(tj), fur j = 0, 1, . . . , k − 1,

y(tj), fur j = k, k + 1, . . . , N,

u(tj) :=

u(tj), fur j = 0, 1, . . . , k − 1,

u(tj), fur j = k, k + 1, . . . , N,

zulassig fur (DOP) und sie erfullenk−1∑j=0

ϕ(tj , y(tj), u(tj)) +N∑

j=k

ϕ(tj , y(tj), u(tj)) <N∑

j=0

ϕ(tj , y(tj), u(tj)).

Dies widerspricht der Optimalitat von x(·) und u(·).

Das Optimalitatsprinzip besagt: Die Entscheidungen in den Zeitperiodenk, k + 1, . . . , N von Problem (DOP) bei gegebenem Zustand yk sind un-abhangig von den Entscheidungen in den Zeitperioden t0, t1, . . . , tk−1, vgl.Abbildung 7.4.

Fur die Gultigkeit des Optimalitatsprinzips ist es wesentlich, daß das dis-krete dynamische Optimierungsproblem in Stufen unterteilt werden kann,d.h. der Zustand y in tj+1 hangt nur von den Werten von y und u amvorherigen Zeitpunkt tj ab und beispielsweise nicht von den Werten in t0und tN . Entsprechend ist die Zielfunktion separabel und die Nebenbedin-gungen schranken y und u nur in tj ein. Diese Eigenschaften erlauben es,ein stufenweises Optimierungsverfahren anzuwenden.

7.4 Dynamische Programmierung

Das Optimalitatsprinzip von Bellman erlaubt es, eine Rekursionsformel furdie optimale Wertefunktion herzuleiten. Im folgenden verwenden wir die


t0 tk tN

y(·)y(·)|[tk,tN ]

Abbildung 7.4: Bellman’s Optimalitatsprinzip: Resttrajektorien von opti-malen Trajektorien bleiben optimal.

Konvention f0(tj , y, u) =∞, falls y 6∈ Y (tj) gilt.Wir nutzen die Tatsache aus, daß die optimale Wertefunktion fur P (tN , y))

gegeben ist durch

V (tN , y) = minu∈U(tN ,y)

ϕ(tN , y, u). (7.4.1)

Angenommen, wir wußten die optimale Wertefunktion V (tj+1, y) fur irgend-ein y ∈ Rn. Aus dem Optimalitatsprinzip erhalten wir

V (tj , y) = minu∈U(tj ,y)

{ϕ(tj , y, u) + V (tj+1, ψ(tj , y, u)} , j = 0, 1, . . . , N − 1.

(7.4.2)Gleichungen (7.4.1) und (7.4.2) erlauben es uns, die optimale Wertefunktionruckwarts in der Zeit, beginnend mit dem Zeitpunkt tN , zu berechnen. Deroptimale Anfangswert y(t0) von (DOP) ist dann gegeben durch

y(t0) = arg miny∈Y (t0)

V (t0, y). (7.4.3)

Gleichungen (7.4.1)-(7.4.3) sind die Basis der folgenden Algorithmen, diesich nur durch einen unterschiedlichen Speicherbedarf unterscheiden:


tj tj+1 tN

u

u

uy

Abbildung 7.5: Bellman’s Methode der dynamischen Programmierung: Re-kursion der optimalen Wertefunktion.

Bellman’s Methode der Dynamischen Programmierung I :

(i) Ruckwartsrechnung

1. Sei V (tN , y) gegeben durch (7.4.1).

2. Fur j = N − 1, . . . , 0: Berechne V (tj , y) wie in (7.4.2).

(ii) Vorwartsrechnung

1. Sei y(t0) gegeben durch (7.4.3).

2. Fur j = 0, 1, . . . , N − 1: Bestimme

u(tj) = arg minu∈U(tj ,y(tj))

{f0(tj , y(tj), u) + V (tj+1, f(tj , y(tj), u))}

und setze y(tj+1) = f(tj , y(tj), u(tj)).

3. Bestimme u(tN ) = argminu∈U(tN ,y(tN )) f0(tN , y(tN ), u).


Bellman’s Methode der Dynamischen Programmierung II :

(i) Ruckwartsrechnung

1. Sei V (tN , y) gegeben durch (7.4.1) und u∗(tN , y) die entspre-chende optimale Steuerung.

2. Fur j = N − 1, . . . , 0: Berechne V (tj , y) wie in (7.4.2).Sei u∗(tj , y) die optimale Steuerung in tj im Zustand y(Feedback-Steuerung!).

(ii) Vorwartsrechnung

1. Sei y(t0) gegeben durch (7.4.3).

2. Fur j = 0, 1, . . . , N − 1: Bestimme u(tj) = u∗(tj , y(tj)) und

y(tj+1) = f(tj , y(tj), u(tj)).

3. Bestimme u(tN ) = u∗(tN , y(tN )).

Bemerkung. Beide Versionen liefern eine optimale Losung des diskretendynamischen Optimierungsproblems (DOP). Version II ist fur Rechnungenper Hand geeigneter, da sie eine optimale Feedback-Steuerung u∗ als Funk-tion von Zeit und Zustand liefert (→ geeignet fur Regelung!). Version Iist geeignet fur Implementierungen auf dem Computer, da die Feedback-Steuerung u∗ nicht fur jedes tj und y gespeichert werden muß und sie soweniger speicheraufwandig ist. Allerdings bekommt man auch nur die opti-malen Trajektorien fur y und u als Funktion der Zeit (open-loop Steuerung).


7.4.1. Beispiel. Lose das folgende Problem mit der Methode der dynami-schen Programmierung:

Minimiere −N−1∑j=0

c(1− uj)y(j)

u.d.N.y(j + 1) = y(j)(0.9 + 0.6u(j)), j = 0, 1, . . . , N − 1

y(0) = k > 0,

0 ≤ u(j) ≤ 1, j = 0, 1, . . . , N − 1

mit k > 0, c > 0, b = 0.6 und N = 5.Da k > 0 und u(j) ≥ 0 gelten, folgt y(j) > 0 fur alle j. Im folgenden

verwenden wir die Abkurzung yj := y(j).Die Rekursionen (7.4.1) und (7.4.2) fur N = 5 lauten V (5, y5) = 0 und

V (j, yj) = min0≤uj≤1

{−cyj(1−uj)+V (j+1, yj(0.9+0.6uj))}, 0 ≤ j ≤ N−1.


Auswertung der Rekursion unter Beachtung von c > 0, xj > 0 liefert

V (4, y4) = min0≤u4≤1

{−cy4(1− u4) + V (5, y4(0.9 + 0.6u4)︸︷︷︸=0

} = −cy4, u4 = 0,

V (3, y3) = min0≤u3≤1

{−cy3(1− u3) + V (4, (y3(0.9 + 0.6u3))}

= min0≤u3≤1

{−cy3(1− u3)− cy3(0.9 + 0.6u3)}

= cy3 min0≤u3≤1

{−1.9 + 0.4u3} = −1.9cy3, u3 = 0,

V (2, y2) = min0≤u2≤1

{−cy2(1− u2) + V (3, y2(0.9 + 0.6u2)}

= min0≤u2≤1

{−cy2(1− u2)− 1.9cy2(0.9 + 0.6u2)}

= cy2 min0≤u2≤1

{−2.71− 0.14u2} = −2.85cy2, u2 = 1,

V (1, y1) = min0≤u1≤1

{−cy1(1− u1) + V (2, y1(0.9 + 0.6u1)}

= min0≤u1≤1

{−cy1(1− u1)− 2.85cy1(0.9 + 0.6u1)}

= cy1 min0≤u1≤1

{−3.565− 0.71u1} = −4.275cy1, u1 = 1,

V (0, y0) = min0≤u0≤1

{−cy0(1− u0) + V (1, y0(0.9 + 0.6u0)}

= min0≤u0≤1

{−cy0(1− u0)− 4.275cy0(0.9 + 0.6u0)}

= cy0 min0≤u0≤1

{−4.8475− 1.565u0} = −6.4125cy0, u0 = 1,

Die optimale Steuerung lautet u0 = u1 = u2 = 1, u3 = u4 = 0.Vorwartsrechnung liefert y0 = k, y1 = 1.5 ·k, y2 = 2.25 ·k, y3 = 3.375 ·k, y4 =3.0375 · k, y5 = 2.73375 · k. Der optimale Funktionswert lautet −cy3− cy4 =−c(y3 + y4) = −6.4125 · c · k.

Bemerkung. Der Hauptnachteil der Dynamischen Programmierung ist dersogenannte ”Fluch der Dimension“. Es mussen die Werte V (tj , y) fur allej = N,N − 1, . . . , 0 und alle y ∈ Y berechnet und gespeichert werden.Abhangig von N kann dies einen enormen Aufwand bedeuten. Im schlimm-sten Fall muß jede diskrete Trajektorie ausgehend von ya untersucht wer-den. Allerdings funktioniert die Methode fur spezielle Probleme (z.B. Zuwei-sungsprobleme, Rucksackpackprobleme, Lagerhaltungsprobleme mit ganz-zahligen Daten) sehr gut.

7.5. Diskretes Maximumprinzip 247

7.5 Diskretes Maximumprinzip

Wir beweisen das Maximumprinzip fur diskrete dynamische Optimierungs-probleme mit einer speziellen Version der Fritz-John-Bedingungen. Fur all-gemeinere Resultate auf der Basis von sogenannten glatt-konvexen Opti-mierungsproblemen verweisen wir auf [42].

Beachte die Analogie zum Maximumprinzip fur kontinuierliche Optimal-steuerungsprobleme, vgl. hierzu die Standardlehrbucher [66, 39, 30, 42].

Als Motivation betrachten wir diskrete dynamische Optimierungsproble-me, die aus kontinuierlichen Optimalsteuerungsproblemen hervorgehen.

7.5.1. Optimalsteuerungsproblem. Seien

ϕa : Rn −→ R ,

ϕb : Rn −→ R ,

ϕ : R× Rn × Rm −→ R ,

ψ : R× Rn × Rm −→ Rn ,

α : R× Rn −→ Rsa ,

β : R× Rn −→ Rsb ,

S : R× Rn −→ Rs ,

Abbildungen und

U ⊂ Rm

ein Steuerbereich.

Minimiere

ϕa(y(a)) + ϕb(y(b)) +∫ b

a

ϕ(t, y(t), u(t))dt



y(·) ∈ AC([a, b])n, u(·) ∈ L∞([a, b])m ,

y(t) = ψ(t, y(t), u(t)) fur f. a. t ∈ [a, b] ,

αi(a, y(a))

≤ 0 (i = 1, . . . , s′a)

= 0 (i = s′a + 1, . . . , s′a),

βi(b, y(b))

≤ 0 (i = 1, . . . , s′b)

= 0 (i = s′b + 1, . . . , s′b),

u(t) ∈ U fur f. a. t ∈ [a, b] ,S(t, y(t)) ≤ Θ fur alle t ∈ [a, b] .

Diskretisierung mit dem Eulerverfahren liefert

7.5.2. Diskretisiertes Optimalsteuerungsproblem. Wahle ein Gitter

GN = {t0, t1, . . . , tN}

mit

a = t0 ≤ t1 ≤ . . . ≤ tN = b ,

tj − tj−1 = hj−1 (j = 1, . . . , N) .

Verwende die Bezeichnungen

yj = y(tj), uj = u(tj) (j = 0, . . . , N) .

Minimiere

ϕa(y0) + ϕb(yN ) +N−1∑j=0

hjϕ(tj , yj , uj)



yj = yj−1 + hj−1ψ(tj−1, yj−1, uj−1) (j = 1, . . . , N) ,

αi(t0, y0)

≤ 0 (i = 1, . . . , s′a)

= 0 (i = s′a + 1, . . . , sa),

βi(tN , yN )

≤ 0 (i = 1, . . . , s′b)

= 0 (i = s′b + 1, . . . , s′b),

uj ∈ Uj , S(tj , yj) ≤ Θ (j = 0, . . . , N)

bezuglich aller Gitterfunktionen

y : GN −→ Rn, u : GN −→ Rm .

Beim einfachsten Zugang zum sogenannten diskreten Maximumprinzipwird das diskretisierte Optimalsteuerungsproblem als glattes endlichdimen-sionales nichtlineares Optimierungsproblem betrachtet.

7.5.3. Diskretes Maximumprinzip. Wahle ein festes Gitter

GN = {t0, . . . , tN}

mit

a = t0 ≤ t1 ≤ . . . ≤ tN = b ,

tj − tj−1 = hj−1 (j = 1, . . . , N) .

Sei (y, u) ein (lokales) Optimum des diskretisierten Optimalsteuerungs-problems 7.5.2. ϕ(tj , ·, ·), ψ(tj , ·, ·) sei stetig partiell differenzierbar in einerUmgebung von (yj , uj) ∈ Rn ×Rm, α(t0, ·) bzw. β(tN , ·) bzw. S(tj , ·) (j =0, . . . , N) seien stetig partiell differenzierbar in einer Umgebung von y0 bzw.yN bzw. yj (j = 0, . . . , N).

Die Steuerbereiche Uj seien konvex und

int(Uj) 6= ∅ (j = 0, . . . , N) .

Dann existieren Multiplikatoren

λ0 ∈ R, λa ∈ Rsa , λb ∈ Rsb ,

µj ∈ Rs (j = 0, . . . , N) ,pj ∈ Rn (j = 0, . . . , N)


mit den folgenden Eigenschaften:(i)

(λ0, λa, λb, µ, p) 6= Θ ,

d.h. der Multiplikator ist nichttrivial.(ii)

λ0 ≥ 0 ,

(λa)i

≥ 0, (i = 1, . . . , s′a)

= 0, falls αi(t0, y0) < 0,

(λb)i

≥ 0, (i = 1, . . . , s′b)

= 0, falls βi(tN , yN ) < 0,

(µj)i

≥ 0, (i = 1, . . . , s, j = 0, . . . , N)

= 0, falls Si(tj , yj) < 0,

d.h. die Komplementaritatsbedingung gilt.(iii)

pj+1 = pj − hj [ψ?x(tj , yj , uj)pj+1 − λ0ϕ

?x(tj , yj , uj)] + S?

x(tj , yj)µj

fur j = 0, . . . , N − 1 ,p0 = λ0ϕ

?ax(y0) + α?

x(t0, y0)λa ,

pN = −λ0ϕ?bx(yN )− β?

x(tN , yN )λb − Sx(tN , yN )?µN ,

d.h. die adjungierten Gleichungen gelten zusammen mit speziellen Randbe-dingungen.

iv)[p?

j+1ψu(tj , yj , uj)− λ0ϕu(tj , yj , uj)](uj − uj) ≤ 0

fur alle uj ∈ Uj (j = 0, . . . , N − 1), d.h. das lokale Maximumprinzip gilt.

Beweis. Der Beweis ist in zwei Teile aufgeteilt. Zuerst uberprufen wir al-le Voraussetzungen der Fritz-John-Bedingungen 5.2.4 fur allgemeine nicht-lineare Optimierungsprobleme. Danach analysieren wir die resultierendenVariationsungleichungen, indem wir die spezielle Struktur unseres diskreti-sierten Optimalsteuerungsproblems ausnutzen.


I. Das diskretisierte Optimalsteuerungsproblem kann als spezielles nicht-lineares Optimierungsproblem angesehen werden:

(NLP) Minimiere F (y, u) unter den Nebenbedingungen

G(y, u) ≤ Θ ,

H(y, u) = Θ ,

y ∈ Y , u ∈ U .

Hier wahlen wir

Y = (Rn)N+1 ,

U = U0 × · · · × UN ⊂ (Rm)N+1 = UF : Y × U −→ R ,

G : Y × U −→ Rs′a × Rs′b × (Rs)N+1 ,

H : Y × U −→ (Rn)N+1 × Rsa−s′a × Rsb−s′b

mit

F (y, u) = ϕa(y0) + ϕb(yN ) +N−1∑j=0

hjϕ(tj , yj , uj) ,

G(y, u) =

α1(t0, y0)...

αs′a(t0, y0)

β1(tN , yN )...

β′sb(tN , yN )

(S(tj , yj))j=0,...,N

,


H(y, u) =

αs′a+1(t0, y0)

...

αsa(t0, y0)

βs′b+1(tN , yN )

...

βsb(tN , yN )[

yj − yj−1 − hj−1ψ(tj−1, yj−1, uj−1

]j=1,...,N

.

F,G,H sind Frechet-differenzierbar in einer Umgebung von (y, u), wobeidie Frechet-Ableitungen durch geeignet gewahlte Funktionalmatrizen gege-ben sind:

F(y,u)(y, u), G(y,u)(y, u), H(y,u)(y, u) .

U ist konvex und int(U) 6= ∅, da wir Uj als konvex und int(Uj) 6= ∅ (j =0, . . . , N) vorausgesetzt hatten. UN tritt nicht im Problem auf, daher konnteman UN = Rm wahlen oder UN komplett weglassen.

Es gilt u ∈ U . Wir nehmen an, daß

u ∈ int(U) .

Also gibt es eine Kugel B(Θ, δ) in Y um Θ mit Radius δ > 0 und

u+ t(u+ w − u) ∈ U

fur alle w ∈ B(Θ, δ) und alle 0 ≤ t ≤ 1,Fur jede Storung r(t) von u+ t(u− u) mit

limt→0‖1tr(t)‖ = Θ ,

existiert ε > 0 mit‖1tr(t)‖ ≤ δ (0 < t ≤ ε) .

Daher folgt

u+ t(u− u) + r(t)

= u+ t

[u+

1tr(t)− u

]∈ U


fur alle 0 < t ≤ ε.Also hat cl(R+(U − u)) samtliche Approximationseigenschaften, die in

den Fritz-John-Bedingungen 5.2.4 benotigt werden. Beachte, daß die Appro-ximationseigenschaften bezuglich der diskreten Trajektorien trivialerweiseerfullt sind, da die Trajektorien als freie Variablen angesehen werden.

Daher existieren Multiplikatoren mit entsprechenden Dimensionen

λ0 ∈ R, λG, λH ,

nicht alle verschwindend, mit

λ0 ≥ 0, λG ≥ Θ (komponentenweise) ,λ?

GG(y, u) = 0 (Komplementaritat) ,λ0Fy(y, u)(y − y) + λ?

GGy(y, u)(y − y) + λ?HHy(y, u)(y − y) = 0

fur alle y ∈ Y (adjungierte Gleichung) ,λ0Fu(y, u)(u− u) + λ?

GGu(y, u)(u− u) + λ?HHu(y, u)(u− u) ≥ 0

fur alle u ∈ U (lokales Minimumprinzip) .

Hierin bezeichnen wir mit

Fy(y, u), Gy(y, u), Hy(y, u)

bzw.Fu(y, u), Gu(y, u), Hu(y, u)

die partiellen Funktionalmatrizen bzgl. y und u.Beachte, daß keine Regularitatsbedingung benotigt wird. Anders als bei

den Karush-Kuhn-Tucker-Bedingungen erhalten wir einen zusatzlichen Mul-tiplikator λ0 ≥ 0, der mit der Zielfunktion assoziiert ist und gleich 0 seinkann. In diesem Fall waren die Optimalitatsbedingungen sehr schwach, dadie Zielfunktion darin gar nicht mehr vorkame. Um diesen Fall auszuschlie-ßen, mussen zusatzliche Regularitatsbedingungen wie die Slater-Bedingunggefordert werden. Im Kontext der Optimalsteuerungsprobleme entsprichtdie Slater-Bedingung Steuerbarkeitsbedingungen und liefert zusatzliche Sta-bilitatseigenschaften der Minimalwertfunktion.

II. Nun analysieren wir die Fritz-John-Bedingungen und nutzen die spe-zielle Struktur des diskretisierten Optimalsteuerungsproblems 7.5.2 aus.


Die Multiplikatoren bezeichnen wir suggestiv mit

λ0 ,

(λa)1,...,s′a , (λb)1,...,s′b, µj ∈ Rs (j = 0, . . . , N) ,

(λa)s′a+1,...,sa, (λb)s′b+1,...,sb

, pj ∈ Rn (j = 1, . . . , N) .

Nicht alle sind gleich 0, daher ist die Eigenschaft (i) des diskreten Maxi-mumprinzips 7.5.3 gezeigt.

Eigenschaft (ii) ist aquivalent zu λ0 ≥ 0, λG ≥ Θ (komponentenweise),λ?

GG(y, u) = 0, da G(y, u) ≤ Θ (komponentenweise).

Die adjungierten Gleichungen lauten

λ0[ϕax(y0)(y0 − y0) + ϕbx(yN )(yN − yN )

+N−1∑j=0

hjϕx(tj , yj , uj)(yj − yj)]

+ λ?aαx(t0, y0)(y0 − y0) + λ?

bβx(tN , yN )(yN − yN )

+N∑

j=0

µ?jSx(tj , yj)(yj − yj)

+N∑

j=1

p?j

[(yj − yj)− (yj−1 − yj−1)

− hj−1ψx(tj−1, yj−1, uj−1)(yj−1 − yj−1)]

= 0

fur alle y0, y1, . . . , yN ∈ Rn .

Dies ist eine Variationsgleichung, die, wie durch suksessives Einsetzen vonallen Einheitsvektoren fur das Inkrement y − y aus (Rn)N+1 leicht gezeigt


werden kann, aquivalent ist mit

λ0[ϕax(y0) + h0ϕx(t0, y0, u0)]+λ?

aαx(t0, y0) + µ?0Sx(t0, y0)

−p?1

[En + h0ψx(t0y0, u0)

]= 0?

Rn ,

λ0hjϕx(tj , yj , uj) + µ?jSx(tj , yj)

+p?j − p?

j+1

[En + hjψx(tj , yj , uj)

]= 0?

Rn ,

(j = 1, . . . , N − 1) ,

λ0ϕbx(tN , yN ) + λ?bβx(yN ) + µ?

NSx(tN , yN )+p?

N = 0?Rn .

Wir definieren zusatzlich

p?0 = λaϕax(y0) + λ?

aαx(t0, y0) .

Dann losen p0, p1, . . . , pN die adjungierte Gleichung

pj+1 = pj − hjψ?x(tj , yj , uj)pj+1 + λ0hjϕ

?x(tj , yj , uj)

+S?x(tj , yj)µj

(j = 0, . . . , N − 1)

zuammen mit den Randbedingungen

p0 = λ0ϕ?ax(y0) + α?

x(t0, y0)λa ,

pN = −λ0ϕ?bx(yN )− β?

x(tN , yN )λb − Sx(tN , yN )?µN .

Das lokale Minimumprinzip ergibt

λ0

N−1∑j=0

hjϕu(tj , yj , uj)(uj − uj)

−N∑

j=1

p?jhj−1ψu(tj−1, yj−1, uj−1)(uj−1 − uj−1) ≥ 0

fur alle uj ∈ Uj (j = 0, . . . , N). Dies ist aquivalent mit dem lokalen Maxi-mumprinzip [

p?j+1ψu(tj , yj , uj)− λ0ϕu(tj , yj , uj)

](uj − uj) ≤ 0

fur alle uj ∈ Uj (j = 0, . . . , N − 1).


Abschließende Bemerkung. Durch die Einfuhrung der Hamilton-funktion

H(t, x, u, p, λ0) = p?ψ(t, x, u)− λ0ϕ(t, x, u)

konnen die Systemgleichung und die adjungierte Gleichung als diskretesHamiltonsches System

yj+1 = yj + hj∂H∂p

(tj , yj , uj , pj+1, λ0)? ,

pj+1 = pj − hj∂H∂x

(tj , yj , uj , pj+1, λ0)? + S?x(tj , yj)µj ,

(j = 0, . . . , N − 1)

geschrieben werden, welches gerade das explizite Eulerverfahren fur die kon-tinuierliche Systemgleichung gekoppelt mit dem impliziten Eulerverfahrenfur die kontinuierliche adjungierte Integralgleichung ist. Wegen des Aus-drucks S?

x(tj , yj)µj ist die zweite Differenzengleichung keine Diskretisierungeiner Differentialgleichung. Die Kopplung entsteht durch die (unbekannte)lokale Optimallosung (y, u), durch die Komplementaritatsbedingungen, dieRandbedingungen und das lokale Maximumprinzip

∂H∂u

(tj , yj , uj , Pj+1, λ0)(uj − uj) ≤ 0

fur alle uj ∈ Uj (j = 0, . . . , N−1), wobei dies eine notwendige Bedingungfur die globale Maximierung von

H(tj , yj , uj , pj+1, λ0)

uber alle uj ∈ Uj ist.Da notwendige Bedingungen erster Ordnung fur konkave Funktionen

auch hinreichend fur ein globales Maximum auf Uj sind, schließen wir: Fallsdie Hamiltonfunktion zusatzlich fur jedes feste tj , yj , pj+1, λ0 konkav bzgl.u ist, dann gilt

H(tj , yj , uj , pj+1, λ0) ≤ H(tj , yj uj , pj+1, λ0)

fur alle uj ∈ Uj (j = 0, . . . , N − 1).Dies ist das globale diskrete Maximumprinzip.Dieses Resultat kann durch die Verwendung von notwendigen Optima-

litatsbedingungen fur sogenannte differenzierbar-approximativ-konvexe Op-timierungsprobleme noch etwas abgeschwacht werden.

7.6. Kontinuierliches Maximumprinzip 257

7.6 Kontinuierliches Maximumprinzip

In naturlicher Weise entsteht die Frage nach dem kontinuierlichen Analogondes diskreten Maximumprinzips.

Wir untersuchen das folgende kontinuierliche Optimalsteuerungsproblemnaher.

7.6.1. Optimalsteuerungsproblem. Seien

ϕa : Rn −→ R ,

ϕb : Rn −→ R ,

ϕ : R× Rn × Rm −→ R ,

ψ : R× Rn × Rm −→ Rn ,

α : Rn −→ Rsa ,

β : Rn −→ Rsb ,

S : R× Rn −→ Rs ,

Abbildungen undU ⊂ Rm

ein Steuerbereich.Minimiere

ϕa(y(a)) + ϕb(y(b)) +∫ b

a

ϕ(t, y(t), u(t))dt


y(·) ∈ AC([a, b])n, u(·) ∈ L∞([a, b])m ,

y(t) = ψ(t, y(t), u(t)) fur f. a. t ∈ [a, b] ,

αi(y(a))

≤ 0 (i = 1, . . . , s′a)

= 0 (i = s′a, . . . , sa),

βi(y(b))

≤ 0 (i = 1, . . . , s′b)

= 0 (i = s′b + 1, . . . , sb),

S(t, y(t)) ≤ Θ fur alle t ∈ [a, b] ,u(t) ∈ U fur f. a. t ∈ [a, b] .


Dieses Problem kann als glatt-approximativ-konvexes Optimierungspro-blem im Sinne von [42] angesehen werden, fur das die folgenden notwendigenOptimalitatsbedingungen gelten.

7.6.2. Maximumprinzip. Sei (y, u) eine (lokal) optimale Losung von 7.6.1.Die Abbildungen

ϕa, ϕb, ϕ, ψ, α, β, S

seien stetig und bezuglich aller Zustandskomponenten stetig partielldifferenzierbar.

Dann existieren Multiplikatoren

λ0 ∈ R, λa ∈ Rsa , λb ∈ Rsb ,

Funktionen beschrankter Variation

νi : [a, b] −→ R (i = 1, . . . , s) ,

und Vektorfunktionen

p : [a, b] −→ Rn

mit den folgenden Eigenschaften:(i) λ0, λa, λb, p(·) bzw. ν(·) verschwinden nicht identisch bzw. sind nicht

konstant zugleich.(ii)

λ0 ≥ 0 ,

(λa)i

≥ 0, (i = 1, . . . , s′a)

= 0, falls αi(y(a)) < 0,

(λb)i

≥ 0, (i = 1, . . . , s′b)

= 0, falls βi(y(b)) < 0,

Fur jedes i = 1, . . . , s gilt: νi(·) ist (schwach) monoton wachsend, linksseitigstetig, und νi(t) ist konstant auf jedem offenen Intervall (a′, b′) ⊂ [a, b] mitSi(t, y(t)) < 0 (a′ < t < b′).


(iii)

p(t) = −λ0ϕ?bx(y(b)− β?

x(y(b))λb

+∫ b

t

[ψ?x(τ, y(τ), u(τ))p(τ)− λ0ϕ

?x(τ, y(τ), u(τ))]dτ

−∫ b

t

S?x(τ, y(τ))dν(τ) (a ≤ t ≤ b) ,

p(a) = λ0ϕ?ax(y(a)) + α?

x(y(a))λa .

iv) Fur fast alle t ∈ [a, b] gilt:

p?(t)ψ(t, y(t), u)− λ0ϕ(t, y(t), u)≤ p?(t)ψ(t, y(t), u(t))− λ0ϕ(t, y(t), u(t)) (u ∈ U) .

Bemerkungen. Bedingung (i) ist wieder die Nichttrivialitatsbedingungfur die Multiplikatoren. Die Funktionen νi(·) definieren uber Lebesgue-Stieltjes-Integrale regulare Borel-Maße, die identisch gleich 0 sind sobaldν(·) konstant ist.

Bedingung (ii) ist die Komplementaritatsbedingung, monoton wachsen-de Funktionen νi(·) entsprechen nichtnegativen Borel-Maßen. Die adjun-gierte Gleichung (iii) ist nun eine Integralgleichung im Sinne der Lebesgue-Stieltjes-Integration.p(·) ist von beschrankter Variation und linksseitig stetig, da die Funktio-

nen νi(·) als linksseitig stetig angenommen werden konnen. Es gilt

limt→b+

p(t) = −λ0ϕ?bx(y(b))− β?

x(y(b))λb

+S?x(b, y(b)) lim

t→b+[ν(t)− ν(b)] ,

limt→a+

p(t) = λ0ϕ?ax(y(a)) + α?

x(y(a))λa

+S?x(a, y(a)) lim

t→a+[ν(t)− ν(a)] ,

falls einige der Funktionen νi in b bzw. a springen (rechtsseitig).Im Fall

Si(a, y(a)) < 0, Si(b, y(b)) < 0 (i = 1, . . . , s)

ist p(·) stetig in a und b und

p(a) = λ0ϕ?ax(y(a)) + α?

x(y(a))λa ,

p(b) = −λ0ϕ?bx(y(b))− β?

x(y(b))λb .


Im Fall ϕa ≡ 0, ϕb ≡ 0 liefern diese Bedingungen speziell die Transversa-litatsbedingungen.

Im Fall

Si(t, y(t)) < 0 (a ≤ t ≤ b, i = 1, . . . , s)

treten de facto keine Zustandsbeschrankungen auf, und die adjungierte In-tegralgleichung reduziert sich zu

p(t) = −λ0ϕ?bx(y(b))− β?

x(y(b))λb

+∫ b

t

[ψ?x(τ, y(τ), u(τ))p(τ)− λ0ϕ

?x(τ, y(τ), u(τ))]dt

fur a ≤ t ≤ b ,p(a) = λ0ϕ

?ax(y(a)) + α?

x(y(a))λa ,

was aquivalent ist mit dem Randwertproblem fur eine absolutstetige n-Vektorfunktion p(·):

d

dtp(t) = −[ψ?

x(t, y(t), u(t))p(t)− λ0ϕ?x(t, y(t), u(t))]

fur fast alle t ∈ [a, b],

p(a) = λ0ϕ?ax(y(a)) + α?

x(y(a))λa ,

p(b) = −λ0ϕ?bx(y(b))− β?

x(y(b))λb .

Unter Verwendung der Hamiltonfunktion

H(t, x, u, p, λ0) = p?ψ(t, x, u)− λ0ϕ(t, x, u)

lautet die adjungierte Integralgleichung

p(t) = −λ0ϕ?bx(y(b))− β?

x(y(b))λb

+∫ b

t

Hx(τ, y(τ), u(τ), p(τ), λ0)?dτ

−∫ b

t

S?x(τ, y(τ))dν(τ) (a ≤ t ≤ b) ,

p(a) = λ0ϕ?ax(y(a)) + α?

x(y(a))λ0 .


Sind keine Zustandsbeschrankungen vorhanden, so entsteht zusammen mitder Systemgleichung das Hamiltonsche System

d

dty(t) =

∂H∂p

(t, y(t), u(t), p(t), λ0)? ,

d

dtp(t) = −∂H

∂x(t, y(t), u(t), p(t), λ0)?

fur fast alle t ∈ [a, b].Das globale Maximumprinzip (iv) kann geschrieben werden als

supu∈UH(t, y(t), u, p(t), λ0) = H(t, y(t), u(t), p(t), λ0)

fur fast alle t ∈ [a, b].

Beweis des Maximumprinzips. Der Beweis des Maximumprinzips kannz.B. in [42] nachgelesen werden.

Angesichts dieser Resultate kann das diskrete Maximumprinzip als einediskrete Approximation des kontinuierlichen Maximumprinzips mittels desexpliziten Eulerverfahrens fur die Systemgleichung und des impliziten Euler-verfahrens fur die adjungierte Integral- bzw. Differentialgleichung angesehenwerden, wobei die notwendigen Optimalitatsbedingungen erster Ordnungfur die Maximierung der Hamiltonfunktion bzgl. u an allen Gitterpunktenzu erfullen sind.

Naturlich gibt es noch weitere Verfahren zur diskreten Approximationoptimaler Trajektorien und Steuerungen des kontinuierlichen Optimalsteue-rungsproblems:

• Wahle andere Diskretisierungen des Hamiltonschen Systems.

• Lose das diskretisierte Optimalsteuerungsproblem direkt mit Verfah-ren der nichtlinearen Optimierung.

• Vernachlassige (zumindest vorerst) die Zielfunktion und analysiere dieresultierende zustandsbeschrankte Differentialinklusion numerisch.

Kapitel 8

Ganzzahlige Optimierung

8.1 Beispiele fur ganzzahlige undkombinatorische Optimierungsprobleme

Gemischt-ganzzahlige Optimierungsprobleme unterscheiden sich von reellenOptimierungsproblemen dadurch, dass neben den ublichen Nebenbedingun-gen noch Nebenbedingungen des Typs

xj ∈ Z

auftreten. Schreiben wir alle Nebenbedingungen als implizite Nebenbedin-gungen, so erhalten wir

8.1.1. Gemischt-ganzzahliges Optimierungsproblem. Gegeben sei dieZielfunktion

f : Rn′ × Zn−n′ −→ R

und die zulassige Menge

S ⊂ Rn′ × Zn−n′ .

Minimiere f(x) unter den Nebenbedingungen

x ∈ S !

263

264 Kapitel 8. Ganzzahlige Optimierung

S wird im allgemeinen durch Gleichungen und Ungleichungen beschrie-ben, und verschiedene Beschreibungen von S konnen verschieden gut brauch-bar sein.

Ist n′ = 0, so erhalten wir ein ganzzahliges Optimierungsproblem, istn′ = n, so erhalten wir ein reelles Optimierungsproblem.

Sind fur

xj ∈ Z

nur Werte aus {0, 1} zugelassen, was durch die zusatzlichen expliziten Re-striktionen

0 ≤ xj ≤ 1

erzwungen werden kann, so heißt xj 0-1-Variable oder Boolesche Variable.Ein Optimierungsproblem mit lauter Booleschen Variablen heißt auch

kombinatorisches Optimierungsproblem. Eine sehr ausfuhrliche und aktuelleDarstellung der kombinatorischen Optimierung wird in [70, 71, 72] gegeben,vergl. auch [37].

Jedes kombinatorische Optimierungsproblem ist damit ganzzahlig, je-des ganzzahlige Optimierungsproblem kann mittels Dualzahldarstellung alskombinatorisches Optimierungsproblem aufgefasst werden.

Ganzzahlige bzw. kombinatorische Optimierungsprobleme heißen auchdiskrete Optimierungsprobleme, reelle Optimierungsprobleme heißen auchkontinuierliche Optimierungsprobleme.

Reelle Optimierungsprobleme, die fur ganzzahlige Daten auch ganzzah-lige Optimallosungen besitzen (Stichworte: Netzwerkflussprobleme, Trans-portprobleme, maximale Flusse, unimodulare Matrizen), nehmen eine Zwi-schenposition ein: Mit den Algorithmen fur das reelle Problem konnen auchOptimallosungen fur das ganzzahlige Problem berechnet werden.

Im allgemeinen ist dies nicht mehr moglich, auch die Rundung auf dennachsten ganzzahligen Vektor bzw. ganzzahligen zulassigen Vektor kann zugroßen Fehlern fuhren.

Wir geben eine Reihe von Beispielen fur ganzzahlige bzw. kombinatori-sche Optimierungsprobleme.

8.1.2. Rucksackproblem. Gegeben seien n Projekte mit Kosten aj undNutzen cj .

Jedes Projekt kann nur ganz oder gar nicht ausgefuhrt werden.Insgesamt stehen b Etatmittel zur Verfugung.

8.1. Beispiele fur ganzzahlige undkombinatorische Optimierungsprobleme265

Maximieren∑

j=1

cjxj


xj ∈ {0.1} (j = 1, . . . , n)

undn∑

j=1

ajxj ≤ b !

8.1.3. Zuordnungsproblem. Gegeben seien n Leute und m Jobs. ProJob wird genau eine Person benotigt, jede Person kann hochstens einen Jobausfuhren. Die Kosten fur die Ausfuhrung des Jobs i durch die Person jseien cij , zu minimieren sind die Gesamtkosten fur die Ausfuhrung allerJobs.

In mathematischer Form lautet das Problem:

Minimiere ∑i=1,...,mj=1,...,n

cijxij


xij ∈ {0, 1} (i = 1, . . . ,m; j = 1, . . . , n)

und

n∑j=1

xij = 1 (i = 1, . . . ,m) ,

m∑i=1

xij ≤ 1 (j = 1, . . . , n) !

8.1.4. Standortwahlproblem. Gegeben sei eine Menge

I


von Kunden und eine MengeJ

von moglichen Standorten fur Servicestationen. Der Bau einer Station amStandort j ∈ J verursacht cj Kosten.

Jeder Kunde i ∈ I hat eine Gesamtnachfrage bi, jede Servicestation j ∈J hat die Kapazitat uj . Die Kosten pro Einheit fur die Befriedigung derNachfrage yij des Kunden i durch den Standort j seien hij .

Beim Standortsuchproblem sind die Gesamtkosten fur die Einrichtungder Servicestandorte und die Befriedigung der Kundennachfrage zu mini-mieren. Damit erhalten wir das gemischt-ganzzahlige lineare Optimierungs-problem:

Minimiere ∑j∈J

cjxj +∑i∈Jj∈J

hijyij


xj ∈ {0, 1} (j ∈ J) ,yij ≥ 0 (i ∈ I, j ∈ J) ,∑

j∈J

yij = bi (i ∈ I) ,

∑i∈I

yij ≤ xjuj (j ∈ J) !

8.1.5. Travelling Salesman Problem. Gegeben sei eine Anzahl von Stadten

V = {1, . . . , n}

und eine Anzahl gerichteter Stadteverbindungen

E ⊂ V × V .

Der Zeitaufwand bzw. die Kosten bzw. die Lange der Verbindung ij ∈ Esei cij .

Eine Tour ist ein geschlossener gerichteter Weg, der jede Stadt genaueinmal trifft. Das Problem besteht darin, eine Tour zu bestimmen mit mi-nimalen Kosten.


Als Variablen des Problems wahlen wir

xij ∈ {0, 1}

mit

xij =

1, falls ij Teilstrecke einer Tour,

0 sonst

fur alle ij ∈ E.Dies sind zwar endlich viele Vektoren, aber doch im allgemeinen sehr

viele.Dass jede Stadt genau einmal getroffen wird, fuhrt auf die Nebenbedin-

gungen ∑{i:ij∈E}

xij = 1 (j ∈ V ) , (8.1.1)

∑{j:ij∈E}

xij = 1 (i ∈ V ) . (8.1.2)

Diese Bedingungen schließen noch keine Subtouren aus.Fur jede disjunkte Zerlegung von V in nichtleere Teilmengen

U ⊂ V

U c ⊂ V

fordern wir daher: Es gibt eine Teilstrecke

ij ∈ E mit i ∈ U, j ∈ U c

und eine Teilstrecke

µν ∈ E mit µ ∈ U c, ν ∈ U .

Die einpunktigen Teilmengen brauchen dabei wegen (8.1.1) bzw. (8.1.2)nicht betrachtet zu werden. Damit erhalten wir die zusatzlichen Restriktio-nen ∑

{ij∈E:i∈U,j∈V \U}

xij ≥ 1 (8.1.3)

fur alle U ⊂ V mit 2 ≤ |U | ≤ |V | − 2.Das Travelling Salesman Problem lautet damit:


Minimiere ∑ij∈E

cijxij


xij ∈ {0, 1} (ij ∈ E)

und (8.1.1), (8.1.2), (8.1.3).

Anmerkung. Die Anzahl der expliziten Nebenbedingungen wachst ex-ponentiell mit der Anzahl der Knoten.

Dabei ist keineswegs klar, ob mit diesen Nebenbedingungen eine “gute”Beschreibung der zulassigen Menge gefunden wurde.

8.1.6. Maschinenbelegungsplane. Gegeben sei eine Menge

I = {1, . . . ,m}

von Maschinen und eine MengeJ

von Jobs. Jeder Job muss von jeder Maschine bearbeitet werden, die Bear-beitungszeit ist

pij (i ∈ I, j ∈ J) .

Jede Maschine kann nur einen Job zur Zeit bearbeiten.Die Reihenfolge der Abarbeitung liegt fur jeden Job fest, d. h. Job j muss

bearbeitet werden von den Maschinen

i1 = j(1), i2 = j(2), . . . , im = j(m)

in dieser Reihenfolge.Als Variablen wahlen wir die Anfangszeiten

tij

des Jobs j auf der Maschine i.Da die (r+1)-te Bearbeitungsstufe des Jobs j nicht beginnen kann, bevor

die r-te abgeschlossen ist, erhalten wir die Nebenbedingungen

tj(r+1),j ≥ tj(r),j + pj(r),j (8.1.4)

fur r = 1, . . . ,m− 1, j ∈ J .


Betrachte jetzt die spezielle Maschine i:Falls Job j dem Job k vorangeht, so ist

tik ≥ tij + pij , (8.1.5)

falls Job k dem Job j vorangeht, so ist

tij ≥ tik + pik . (8.1.6)

Dies ist eine Nebenbedingung in Form einer Alternative, die in dieser Formbislang noch nicht aufgetreten ist.

Sie lasst sich durch einen Trick auf lineare Nebenbedingungen zuruckfuh-ren, allerdings auf Kosten der Einfuhrung von Booleschen Variablen.

Seiω ∈ R

eine obere Schranke fur

tij − tik + pij (i, j, k) .

Dann isttij − tik + pij ≤ ω

immer erfullt. Die Bedingung 8.1.5 ist aquivalent zu

tij − tik + pij ≤ ωxijk (8.1.7)

mit xijk = 0 oder 1, da sie fur xijk = 1 von selbst erfullt ist.Die Bedingung (8.1.6) ist aquivalent zu

tik − tij + pik ≤ ω(1− xijk) (8.1.8)

mit xijk = 0 oder 1, da sie fur xijk = 0 von selbst erfullt ist.Aus der Alternative ist damit eine Konjunktion geworden, und wir er-

halten das Problem:Minimiere

n∑j=n

tj(m),j


tij ≥ 0 (i = 1, . . . ,m; j ∈ J) ,

xijk ∈ {0, 1} (i = 1, . . . ,m; j, k ∈ J)

und (8.1.4), (8.1.7), (8.1.8) !Dies ist ein gemischt-ganzzahliges Optimierungsproblem mit sehr vielen

Nebenbedingungen und Entscheidungsvariablen.


8.2 Schnittebenenverfahren von Gomory

Dieser Abschnitt basiert wesentlich auf den beiden Buchern [58] und [11]und auf der Darstellung des lexikographischen primalen Simplexverfahrensin [54].

Wir erinnern an das duale Problempaar der (kontinuierlichen) linearenOptimierung, vergleiche hierzu insbesondere das duale Simplex-Verfahrenaus Kapitel 2.7:

8.2.1. Primale Normalform. c ∈ Rn, b ∈ Rm und die reelle m × n-Matrix vom Range m seien fest vorgegeben.

Minimierec?x

(P) unter den Nebenbedingungen x ∈ Rn und

Ax = b, x ≥ 0Rn !

Die zugehorige duale Normalform lautet


b?y

(D) unter den Nebenbedingungen y ∈ Rm und

A?y ≤ c !

Damit stehen uns auch alle Sprechweisen aus 2.7.4 zur Verfugung:

AJ = (aj)j∈J

bestehe aus m linear unabhangigen Spalten von A. Dann heißt AJ Basis.Jedes x ∈ Rn mit

AJxJ = b, xj = 0 (j ∈ Jc)

heißt primale Basislosung zur Basis AJ . x heißt primalzulassige Basislosungund AJ primalzulassige Basis, falls uberdies gilt

x ≥ 0Rn .

8.2. Schnittebenenverfahren von Gomory 271

Jedes y ∈ Rm mitAJ?y = cJ

heißt duale Basislosung zur Basis AJ . y heißt dualzulassige Basislosung undAJ dualzulassige Basis, falls uberdies gilt

(aj)?y ≤ cj (j ∈ Jc).

Beim primalen Simplex-Verfahren wird eine Folge

AJ(i), p(i), q(i) (i = 0, 1, 2, . . .)

von primalzulassigen BasenAJ(i), zugehorigen primalzulassigen Basislosungen

und dualen Basislosungen q(i) mit gleichem Zielfunktionswert

c?p(i) = b?q(i)

erzeugt. Der Optimalitatstest verlangt die Uberprufung, ob q(i) eine dual-zulassige Basislosung ist. Ist letzteres der Fall, so ist p(i) primal optimal undq(i) dual optimal.

Beim dualen Simplex-Verfahren wird eine Folge

AJ(i), p(i), q(i) (i = 0, 1, 2, . . .)

von dualzulassigen Basen AJ(i), zugehorigen dualzulassigen Basislosungen

und primalen Basislosungen p(i) mit gleichem Zielfunktionswert

c?p(i) = b?q(i)

erzeugt. Der Optimalitatstest verlangt jetzt die Uberprufung, ob p(i) eineprimalzulassige Basislosung ist. Ist letzteres der Fall, so ist q(i) dual optimalund p(i) primal optimal.

Schon fur die Realisierung der Kelleyschen Schnitthyperebenenmethodefur kontinuierliche Optimierungsprobleme bot sich das revidierte Simplex-Verfahren an. Es hat den Vorteil, dass der bereits berechnete Tableauinhaltweiter verwendet werden kann, wenn man dem Dualproblem eine weitereUngleichungsrestriktion hinzufugt.

Das zu losende ganzzahlige lineare Optimierungsproblem wird daher indualer Normalform formuliert. Das im folgenden beschriebene Schnitthy-perebenenverfahren basiert auf den Ideen von Gomory [34, 35, 36] undder Darstellung des Konvergenzbeweises von Nouri und Ventura [63] ausNemhauser und Wolsey [58]. Wir wollen hier das ganzzahlige Dualproblemnumerisch losen, vergl. Borgward [11].

Das zu losende ganzzahlige Problem lautet also


8.2.3. Ganzzahlige duale Normalform. Maximiere

b?y

(D) unter den Nebenbedingungen y ∈ Zm und

A?y ≤ c !

Das Problem (D) ist die kontinuierliche Relaxation des Problems (D).Zunachst losen wir (P) und (D) mit dem primalen Simplex-Verfahren.

Da wir auch die Endlichkeit des Verfahrens sicherstellen wollen, verwen-den wir die lexikographische Variante des Simplex-Verfahrens.

8.2.4. Generalvoraussetzung. Die zulassige Menge des Problems (D) seinicht leer und die Zielfunktion auf ihr nach oben beschrankt.

Anmerkung. Diese Voraussetzungen konnen mit dem Simplex-Verfahrenuberpruft werden.

Unter der Generalvoraussetzung 8.2.4 liefert das lexikographische Simplex-Verfahren in endlich vielen Schritten eine primaloptimale Basislosung p undeine dualoptimale Basislosung q zur gleichen Basis AJ .

Fur diese Basislosungen gilt:

AJpJ = b ,

pj ≥ 0 (j ∈ J) , pj = 0 (j ∈ Jc) ,(AJ)?q = cJ ,

(aj)?q ≤ cj (j ∈ Jc) .

Der Zielfunktionswert ist

c?p = c?JpJ = q?AJpJ = q?b .

Die Entwicklungskoeffizienten sind

AJxjJ = aj (j = 1, . . . , n) ,

insbesondere istxj

J = ejJ (j ∈ J) .


Die negativ genommenen reduzierten Kosten sind

c?JxjJ − cj = q?AJxj

J − cj

= q?aj − cj

≤ 0 (j ∈ Jc),

= 0 (j ∈ J) .

Aus Grunden, die spater deutlich werden, sperren wir die zulassige Mengevon (D) noch in eine Box ein:

li ≤ yi ≤ ui (i = 1, . . . ,m) .

Das bedeutet, dass (D) die Ungleichungen

yi ≤ ui (i = 1, . . . ,m)−yi ≤ −li (i = 1, . . . ,m)

besitzt und damit (P) o. B. d. A. die fuhrenden Spalten

aj =

+ej , falls bj ≥ 0 ,

−ej , falls bj < 0 ,(j = 1, . . . ,m) .

MitJ = 1, . . . ,m

ist dann AJ eine zulassige Basis fur (P) fur die primalzulassige Basislosung

pj =

+bj , falls bj ≥ 0 ,

−bj , falls bj < 0 ,(j = 1, . . . ,m) .

Diese Basis wahlen wir als Startbasis und ersparen uns so die Phase Ides Simplex-Verfahrens.

Fur diese Startbasis ist dann

xj

J= (AJ)−1aj = ej (j = 1, . . . ,m) .

Als fuhrende negativ genommene reduzierte Kosten fur eine beliebigeBasis AJ erhalt man dann fur j = 1, . . . ,m

c?JxjJ − uj = c?J(AJ)−1ej − uj = y∗ej − uj = yj − uj ,


falls bj ≥ 0, und sonst

c?JxjJ + lj = c?J(AJ)−1(−ej) + lj = y∗(−ej) + lj = lj − yj ,

wobei y die duale Basislosung zur Basis AJ ist.Diese fuhrenden Komponenten konnen daher auch als Monitor fur die

Ganzzahligkeit der dualen Basislosung y verwendet werden.

8.2.5. Zusatzvoraussetzung. Die zulassige Menge von (D) sei beschranktdurch li ∈ Z , ui ∈ Z ,

li ≤ yi ≤ ui (i = 1, . . . ,m) .

Die entsprechenden Modifikationen von (D) und (P) seien bei der ursprung-lichen Problemstellung (D) bzw. (P) bereits berucksichtigt worden.

Ausgehend von der Startbasis p von (P) liefert das lexikographische pri-male Simplex-Verfahren eine optimale primale Basislosung p und eine opti-male duale Basislosung q mit der gemeinsamen Basis AJ .

8.2.6. Abbruchkriterium. Ist die gewonnene dualoptimale Basislosung qfur (D) ganzzahlig, so ist q Optimallosung fur (D).

Beweis. (D) ist die reelle Relaxation von (D), die zulassige Menge von (D)ist also eine Obermenge der zulassigen Menge von (D).

Wir nehmen jetzt also an, dass

q /∈ Zm . (8.2.1)

Jetzt nutzen wir die gleiche Idee wie beim Kelleyschen Schnitthyperebe-nenverfahren fur konvexe Probleme. Wir versuchen, q durch eine zusatzlicheUngleichung abzuschneiden, die keinen ganzzahligen zulassigen Punkt ab-schneidet.

Dazu ordnen wir den “Kostenvektor”

( c?JpJ︸︷︷︸j=0

, c?JxjJ

−uj (bj ≥ 0)

+lj (bj < 0)︸︷︷︸j∈J

, c?JxjJ − cj︸︷︷︸

j∈Jc

) (8.2.2)

so an, dass erst der Zielfunktionswert, dann die negativ genommenen re-duzierten Kosten in naturlicher Reihenfolge kommen. Beachte auch, dassj = 1, . . . ,m die Indizes der Startbasis J sind.


8.2.7. Lemma. Ist die aktuelle duale Optimallosung q von (D) nicht ganz-zahlig, so ist mindestens eine Komponente des Kostenvektors (8.2.2) nichtganzzahlig.

Beweis. Die fuhrenden negativ genommenen reduzierten Kosten sind vomTyp

qj − uj (bj ≥ 0) , lj − qj (bj < 0) (j = 1, . . . ,m) ,

und die uj bzw. lj sind ganzzahlig.

Fur die Fortsetzung des Verfahrens wahlen wir den ersten Index

j0 ∈ {0, 1, . . . ,m} ,

fur den der Eintrag in (8.2.2) nicht ganzzahlig ist.Sei y ∈ Zm ein beliebiger zulassiger Punkt von (D). Dann gilt

y?aj ≤ cj (j = 1, . . . , n) .

Damit gilt auch fur die Abrundungsdifferenzen∑j∈J

y?aj (pj − b pjc) ≤∑j∈J

cj (pj − b pjc) (j0 = 0)

bzw.∑j∈J

y?aj(xj0

j − bxj0j c)≤∑j∈J

cj

(xj0

j − bxj0j c)

(j0 ∈ {1, . . . ,m}) .

Sind nun A, b und c ganzzahlig, so sind∑j∈J

ajpj = b

und ∑j∈J

ajxj0j = aj0

ganzzahlig. Wegen y ∈ Zm sind dann die linken Seiten ganzzahlig, und esfolgt

∑j∈J

y?aj(pj − b pjc) ≤

∑j∈J

cj(pj − b pjc)

(j0 = 0) (8.2.3)


bzw.

∑j∈J

y?aj(xj0j −bx

j0j c) ≤

∑j∈J

cj(xj0j − bx

j0j c)

(j0 ∈ {1, . . . ,m}) . (8.2.4)

Fur die Optimallosung q von (D) gilt

q?aj = cj (j ∈ J) ,

daher ist im Falle j0 = 0 ∑j∈J

q?aj(pj − b pjc)

=∑j∈J

cj(pj − b pjc)

=∑j∈J

cjpj −∑j∈J

cjb pjc

>

∑j∈J

cjpj

−∑j∈J

cjb pjc

=

∑j∈J

cj(pj − b pjc)

und entsprechend im Falle j0 ∈ {1, . . . ,m}

∑j∈J

q?aj(xj0j − bx

j0j c) >

∑j∈J

cj(xj0j − bx

j0j c)

.

Durch die zusatzliche Ungleichung (8.2.3) bzw. (8.2.4) wird also in der Tatq abgeschnitten, aber kein ganzzahliger zulassiger Punkt fur (D).

Diese zusatzliche Ungleichung im Dualproblem bewirkt eine zusatzlicheSpalte im Primalproblem mit den Entwicklungskoeffizienten bezuglich AJ

(AJ)−1∑j∈J

aj(pj − b pjc) = pJ − b pJc (j0 = 0) , (8.2.5)

(AJ)−1∑j∈J

aj(xj0j − bx

j0j c) = xj0

J − bxj0J c (j0 ∈ {1, . . . ,m},(8.2.6)


einer zusatzlichen Variablen xn+1, einer zusatzlichen Komponente in derprimalen Zielfunktion

cn+1 =

∑j∈J

cjpj

−∑j∈J

cjb pjc (j0 = 0) , (8.2.7)

cn+1 =

∑j∈J

cjxj0j

−∑j∈J

cjbxj0j c (j0 ∈ {1, . . . ,m}) (8.2.8)

und den negativ genommenen reduzierten Kosten

c?Jxn+1J − cn+1 = c?J(pJ − b pJc)− bc?JpJc+ c?Jb pJc (8.2.9)

= c?JpJ − bc?JpJc > 0 (j0 = 0) ,c?Jx

n+1J − cn+1 = c?Jx

j0J − bc

?Jx

j0J c > 0 (j0 ∈ {1, . . . ,m}).(8.2.10)

Man erkennt auch, dass zwar weiterhin p mit pn+1 = 0 eine zulassige Ba-sislosung fur (P) ist, was fur die Weiterrechnung ausgenutzt wird, dass aberdas Optimalitatskriterium nicht mehr erfullt ist.

Wir halten diese Resultate fest in dem

8.2.8. Satz. (Schnittebenenerzeugung nach Gomory). Die aktuelle dualeoptimale Basislosung q von (D) sei nicht ganzzahlig. A, b und c seien ganz-zahlig. Wahle die erste Komponente j0 ∈ {0, 1, . . . ,m} des Kostenvektors(8.2.2), die nicht ganzzahlig ist. Definiere die Schnitthyperebenen (8.2.3)bzw. (8.2.4). Dann wird q von der zulassigen Menge fur (D) abgeschnitten,aber kein ganzzahliger zulassiger Punkt fur (D).

Das primale Simplex-Tableau erhalt eine zusatzliche Spalte von Entwick-lungskoeffizienten (8.2.5) bzw. (8.2.6), eine zusatzliche Komponente (8.2.7)bzw. (8.2.8) in der Zielfunktion und zusatzliche negativ genommene redu-zierte Kosten (8.2.9) bzw. (8.2.10) in der Kostenzeile.

Die erweiterte primale Basislosung p mit pn+1 = 0 ist eine zulassigeBasislosung fur (P), das Optimalitatskriterium ist aber nicht mehr erfullt.

Die erweiterte primale Basislosung p mit pn+1 = 0 wird nun mit demlexikographischen primalen Simplex-Verfahren nachoptimiert. Wir untersu-chen dazu den ersten Austauschschritt etwas genauer.

Als Pivotspaltenindex kommt nur der Index k = n+ 1 in Frage, da alleanderen negativ genommenen reduzierten Kosten fur p kleiner oder gleich0 sind.


Der Pivotzeilenindex mit

l ∈ J und xkl > 0

ist festgelegt durch das lexikographische Minimum

1xk

l

(pl, x

1l , . . . , x

ml

)= lexmin

j∈J

xkj

>0

1xk

j

(pj , x

1j , . . . , x

mj

). (8.2.11)

p sei die primalzulassige Basislosung nach einem Schritt des lexikographi-schen Simplex-Verfahrens zur neuen Basisindexmenge

J = (J\{l}) ∪ {k} .

Die Rekursionsformeln des lexikographischen primalen Simplex-Verfahrenssind

p = p− pl

xkl

xk ,

hierbei benutzen wir die Konvention fur k ∈ Jc

AJxkJ = ak ,

xkk = −1 ,xk

j = 0 (j ∈ Jc, j 6= k) ,

c?JpJ = c?JpJ −

pl

xkl

(c?Jx

kJ − ck

),

xjk =

xjl

xkl

(j = 1, . . . , n+ 1) ,

xji = xj

i −xj

l

xkl

xki (i ∈ J\{k}, j = 1, . . . , n+ 1) ,

c?Jxj

J− cj = c?Jx

jJ − cj −

xjl

xkl

(c?Jx

kJ − ck

)fur j = 1, . . . , n+ 1.

Damit erhalten wir die folgende Darstellung fur die neue Kostenzeile:(c?J, pJ , c

?Jxj

J− cj (j = 1, . . . , n+ 1)

)=

(c?J , pJ , c

?Jx

jJ − cj (j = 1, . . . , n+ 1)

)− 1xk

l

(pl, x

1l , . . . , x

ml , x

m+1l , . . . , xn

l , xn+1l

)(c?Jx

kJ − ck) .


Beachte, dass hierin xkl > 0 , c?Jx

kJ − ck > 0 und

(pl, x1l , . . . , x

ml ) � 0Rm+1

lexikographisch strikt positiv ist. Dies bedeutet, dass der Kostenvektor(c?JpJ , c

?Jxj

J− cj (j = 1, . . . , n+ 1)

)≺

(c?JpJ , c

?Jx

jJ − cj (j = 1, . . . , n+ 1)

)lexikographisch strikt gefallen ist.

Wesentlich hierfur war, dass(pl, x

1l , . . . , x

ml

)� 0Rm+1

lexikographisch strikt positiv ist. Dies wurde bei der Ausgangsbasis p soeingerichtet, denn fur sie war

pj ≥ 0 (j = 1, . . . , n)

und (x1

J , . . . , xmJ

)= Em .

Wir zeigen noch, dass auch fur die nachste Basislosung p (ohne Umsortie-rung der Spalten!) (

pj , x1j , . . . , x

mj

)� 0Rm+1

ausfullt fur alle j ∈ J .Gemaß den Rekursionsformeln ist fur j = k(

pk, x1k, . . . , x

mk

)=

1xk

l

(pl, x

1l , . . . , x

ml

)� 0Rm+1 ,

da xkl > 0 und (pl, x

1l , . . . , x

ml ) � 0Rm+1 .

Fur j ∈ J\{k} = J\{l} ist

(pj , x

1j , . . . , x

mj

)=(pj , x

1j , . . . , x

mj

)−xk

j

xkl

(pl, x

1l , . . . , x

ml

).

Ist nun xkj ≤ 0, so ist(

pj , x1j , . . . , x

mj

)<(pj , x

1j , . . . , x

mj

)� 0Rm+1 .


Ist xkj > 0, so ist gemaß (8.2.11)

(pj , x

1j , . . . , x

mj

)�xk

j

xkl

(pl, x

1l , . . . , x

ml

)� 0Rm+1 .

Beachte dabei, dass der Index l durch (8.2.11) eindeutig bestimmt ist.Zusammenfassend erhalten wir das folgende grundlegende Resultat.

8.2.9. Satz. (Nachoptimierung). Unter den in 8.2.8 angegebenen Voraus-setzungen liefert die Nachoptimierung durch das lexikographische primaleSimplex-Verfahren in endlich vielen Schrittenentweder die Information, dass die Zielfunktionvon (P) auf der jetzt zu-lassigen Menge von (P) nicht nach unten beschrankt ist, d. h. dass diezulassige Menge von (D) durch den eingefuhrten Schnitt leer geworden ist,oder eine primaloptimale Basislosung p des erweiterten Primalproblemsund eine dualoptimale Basislosung q des erweiterten Dualproblems zur glei-chen Basis AJ . Fur den neuen Kostenvektor gilt(

c?JpJ , c

?Jxj

J− cj (j = 1, . . . , n)

)≺(c?JpJ , c

?jx

jJ − cj (j = 1, . . . , n)

).

Beachte, dass zwar die Endlichkeit jeder Nachoptimierung bewiesen ist,aber noch nicht die Endlichkeit des Gesamtverfahrens, da die Anzahl derSpalten von A bei jedem Schnitt wachst.

Wir nehmen an, dass unendlich oft Schnitthyperebenen eingefuhrt wer-den mussten. Da die zusatzlichen Spalten immer nach den ursprunglichenSpalten eingefugt werden, ist also der Teilvektor(

c?JpJ , c?Jx

jJ − cj (j = 1, . . . ,m)

)unendlich oft lexikographisch strikt gefallen.

Bei jedem Schnitt ist ein Eintrag

c?JpJ /∈ Z (j0 = 0)

bzw.c?Jx

j0J − cj0 /∈ Z (j0 ∈ {1, . . . ,m})

der erste nicht ganzzahlige.


Dies induziert eine zusatzliche Spalte mit den Entwicklungskoeffizienten

pJ − b pjc (j0 = 0)

bzw.xj0

J − bxj0J c (j0 ∈ {1, . . . ,m})

fur eine zusatzliche Variable xn+1 und negativ genommenen reduziertenKosten

c?Jxn+1J − cn+1 = c?JpJ − bc?JpJc > 0 (j0 = 0)

bzw.

c?Jxn+1J − cn+1 = c?Jx

j0J − bc

?Jx

j0J c > 0 (j0 ∈ {1, . . . ,m} .

Der Index n + 1 ist der erste Pivotspaltenindex bei der Nachoptimierung.Bereits im ersten Austauschschritt der Nachoptimierung wird er indie Basis aufgenommen und bewirkt im Falle j0 = 0:

c?J pJ = c?JpJ −pl

xn+1l

(c?Jx

n+1J − cn+1

)= c?JpJ −

pl

pl − b plc(c?JpJ − bc?JpJc)

mit l ∈ J, pl > 0, pl − b plc > 0. Also ist

c?J pJ ≤ c?JpJ − c?JpJ + bc?JpJc = bc?JpJc .

Entsprechend ist im Falle j0 ∈ {1, . . . ,m}:

c?J xj0J− cj0 = c?Jx

j0J − cj0 −

xj0l

xn+1l

(c?Jx

n+1J − cn+1

)= c?Jx

j0J − cj0 −

xj0l

xj0l − bx

j0l c

(c?Jx

j0J − bc

?Jx

j0J c)

mit l ∈ J, xj0l > 0, xj0

l − bxj0l c > 0. Also ist

c?J xj0J− cj0 ≤ bc?Jx

j0J c − cj0 = bc?Jx

j0J − cj0c .

Stellt sich im weiteren Verlauf der Nachoptimierung heraus, dass (D)durch den letzten Schnitt unzulassig geworden ist bzw. die Zielfunktion von


(P) auf der dann zulassigen Menge von (P) nach unten unbeschrankt ist, sobricht der Algorithmus ab, und auch die zulassige Menge von (D) ist leer.

Sei also der Prozess der Nachoptimierung stets erfolgreich, und der Al-gorithmus breche nicht ab. Dann sind also unendlich viele Schnitte mitnachfolgender Nachoptimierung durchgefuhrt worden, und die entstandeneProblemfolge

(Pt), (Dt)

wurde erfolgreich optimal gelost durch optimale Basislosungen

pt bzw. qt

zur gemeinsamen Basis AJt .Tritt nun der Fall j0 = 0 unendlich oft auf, so werden die Folgenglieder

c?Jtpt

Jt(t = 0, 1, 2, . . .)

unendlich oft mindestens auf die nachstkleinere ganze Zahl herabgesetzt imWiderspruch zu

c?Jtpt

Jt= b?qt ,

denn qt ist zulassig fur (Dt) und damit zulassig fur (D), und die zulassigeMenge von (D) war als beschrankt vorausgesetzt worden.

Der Fall j0 = 0 tritt also nur endlich oft auf. Nach hochstens endlichvielen Schnitten bleibt also

c?Jtpt

Jt

ganzzahlig, ist als erste Komponente des lexikographisch strikt fallendenKostenvektors wenigstens schwach monoton fallend und nach unten be-schrankt. Nach hochstens endlich vielen Schritten ist diese erste Kompo-nente des Kostenvektors damit sogar konstant.

Tritt danach der Fall j0 = 1 unendlich oft auf, so werden die Folgenglie-der

c?Jtxt,j0

Jt− cj0 (t = 0, 1, 2, . . .)

unendlich oft mindestens auf die nachstkleinere ganze Zahl herabgesetzt imWiderspruch zu

c?Jtxt,j0

Jt− cj0 = (qt)?AJtxt,j0

Jt− cj0 = (qt)?aj0 − cj0

und der Beschranktheit der Folge (qt)t=0,1,2,....


Der Fall j0 = 1 tritt also nur endlich oft auf, nach hochstens endlichvielen Schritten ist auch

c?Jtxt,j0

Jt− cj0

ganzzahlig. Wie im Falle j0 = 0 folgt hieraus, dass nach endlich vielenSchritten auch die zweite Komponente des Kostenvektors ganzzahlig undkonstant ist.

Fortsetzung dieser Schlussweise zeigt, dass nach hochstens endlich vielenSchritten der gesamte Kostenvektor ganzzahlig ist und der Algorithmus mitder optimalen Basislosung pt fur (Pt) und qt fur (Dt) zur gemeinsamen BasisJt abbricht.

Wir haben bereits in Lemma 8.2.7 gesehen, dass dann auch qt selbstganzzahlig und damit Maximallosung des ganzzahligen Problems (D) ist.

Insgesamt haben wir damit bewiesen

8.2.10. Hauptsatz. (Endlichkeit des Schnittebenenverfahrens). Die Pro-blemdaten A, b, c seien ganzzahlig. Die zulassige Menge von (D) sei be-schrankt durch li ∈ Z , ui ∈ Z ,

li ≤ yi ≤ ui (i = 1, . . . ,m) .

Dann besitzt das zugehorige Primalproblem (P) eine zulassige Startbasis.Das oben beschriebene Schnittebenenverfahren, bestehend aus Nachop-

timierung und (soweit erforderlich) Schnittbildung, liefert dann in endlichvielen Schritten die Information, dass das Problem (D) bzw. eines der Pro-bleme (Dt) und damit auch das ganzzahlige Problem (D) unzulassig ist,oder eine ganzzahlige Optimallosung des letzten Problems (Dt) und damiteine ganzzahlige Optimallosung des Problems (D).

8.2.11. Beispiel. Wir losen das folgende ganzzahlige Optimierungspro-blem mit dem Schnittebenenverfahren:

Maximiere y1 + 2y2(D) unter den Nebenbedingungen y ∈ Z2 und

y1 − 3y2 ≤ 0 ,200y1 + 100y2 ≤ 725 ,

10y1 + 30y2 ≤ 105 ,y1 ≥ 0, y2 ≥ 0 !

Aus den Restriktionen folgt fur jeden zulassigen Punkt

y1 ≤ 4, y2 ≤ 4 .


Wir wahlen daher als duale Restriktionen

y1 ≤ 4 ,y2 ≤ 4 ,−y1 ≤ 0 ,−y2 ≤ 0 ,

y1 − 3y2 ≤ 0 ,200y1 + 100y2 ≤ 725 ,

10y1 + 30y2 ≤ 105 .

Damit lautet das Primalproblem:Minimiere 4x1 + 4x2 + 0x3 + 0x4 + 0x5 + 725x6 + 105x7

(P) unter den Nebenbedingungen x ≥ 0R2 und

1 0 −1 0 1 200 10

0 1 0 −1 −3 100 30

x1

...

x7

=

1

2

!

Als Startbasislosung erhalten wir

J0 = (1, 2) , AJ0 =

1 0

0 1

, p0J0

=

1

2

und das Tableau

J pJ x1J x2

J x3J x4

J x5J x6

J x7J

1 1 1 0 -1 0 1 200 10

2 2 0 1 0 -1 -3 100 30

12 0 0 -4 -4 -8 1200 160

Damit ist

q0 =

4

4

, b?q0 = c?J0p0

J0= 12

und q0 unzulassig fur (D).


Wahle als Pivotspaltenindex k = 6, in einer Nebenrechnung ergibt sich

minj∈J0x6

j>0

pj

x6j

= min{

1200

,150

}=

1200

,

also ist der Pivotzeilenindex l = 1.Damit erhalten wir die neue Basis

J1 = (2, 6) , AJ1 =

0 200

1 100

,(AJ1

)−1= − 1

200

100 −200

−1 0

.

Im folgenden werden die Tableauwechsel mit dem revidierten Simplex-verfahren durchgefuhrt. Nur zum Zwecke der Veranschaulichung der Mo-notonieeigenschaft der Kostenzeile werden mehr Eintrage im vollstandigenSimplex-Tableau berechnet, als eigentlich erforderlich waren.

Als neues Tableau erhalten wir:

J pJ x1J x2

J x3J x4

J x5J x6

J x7J

2 3/2 25

6 1/200 1/20

9.625 < 0 0 < 0 < 0 < 0 > 0

Es ist

p1J1

=

3/2

1/200

,

q1 = − 1200

100 −1

−200 0

4

725

=

325200

4

,

c?J1p1

J1= 9.625 = b?q1 .

Ausrechung der negativ genommenen reduzierten Kosten bzw. der Defektevon q1 liefert als Pivotspaltenindex k = 7 und

(AJ1)−1a7 = − 1200

100 −200

−1 0

10

30

=

25120

= x7J1.


Nebenrechnung liefert

minj∈J1x7

j>0

p1j

x7j

= min{3/50, 1/10}

und den Pivotzeilenindex l = 2 .Damit erhalten wir die neue Basis

J2 = (6, 7) , AJ2 =

200 10

100 30

,(AJ2

)−1=

15 000

30 −10

−100 200

,

und es wird

p2J2

=1

500

3 −1

−10 20

1

2

=

1500

30500

,

q2 =1

500

3 −10

−1 20

725

105

=

2.25

2.75

,

c?J2p2

J2= 7.75 = q2?b .

Als neues Tableau erhalten wir:

J pJ x1J x2

J x3J x4

J x5J x6

J x7J

6 1/500 3/500

7 30/500 -10/500

7.75 -2.75 < 0 < 0 < 0 < 0 0 0

q2 ist also optimal fur (D), aber nicht ganzzahlig. Wir definieren einenSchnitt uber die Zielfunktion, d. h. also zum fuhrenden Index j0 = 0 desKostenvektors:

Die Rundungsreste von p2J2

sind p2J2

selbst und wir erhalten den Schnitt

y?(a6p2

6 + a7p27

)≤⌊c6p

26 + c7p

27

⌋bzw.

y?

200

100

1500

+

10

30

30500

≤ ⌊725 · 1500

+ 105 · 30500

⌋,


alsoy1 + 2y2 ≤ 7 .

Dadurch erhalten wir eine weitere primale Variable x8 und eine zusatzliche

Spalte

1

2

in A und eine zusatzliche Kostenkomponente c8 = 7.

Als Pivotspaltenindex erhalten wir k = 8 und als zusatzliche Pivotspalte

x8J2

=

1500

30500

.

Wegen

minj∈J2x8

j>0

p2j

x8j

= min{1, 1}

ist der Pivotzeilenindex nicht eindeutig bestimmt, und wir wechseln zumlexikographischen Simplexverfahren.

Es ist

x1J2

=(AJ2

)−1a1 =

3500

− 10500

,

die zugehorigen negativ genommenen reduzierten Kosten sind

c?J2x1

J2− c1 = −2.75 = a1?q2 − c1 .

Wegen

lex min{

(p6|x16)

x86

,(p7|x1

7)x8

7

}= lexmin{(1, 3), (1,−1/3)}

wahlen wir l = 7.Damit erhalten wir die neue Basis

J3 = (6, 8) , AJ3 =

200 1

100 2

,(AJ3

)−1=

1300

2 −1

−100 200

.

Die nachste primale Basislosung ist entartet,

p3J3

=

0

1

, q3 =

2.5

2.25

, c?J3p3

J3= 7 = b?q3 .

Damit erhalten wir das Tableau


J pJ x1J x2

J x3J x4

J x5J x6

J x7J x8

J

6 0 2/300

8 1 -1/3

7 -1.5 -1.75 -2.5 -2.25 -4.25 0 -12.5 0

q3 ist zwar optimal, aber nicht ganzzahlig, wir machen einen Schnitt zumIndex j0 = 1 des Kostenvektors.

Es ist

x1J3

=(AJ3

)−1a1 =

1300

2 −1

−100 200

1

0

=1

300

2

−100

.

Also sind die Rundungsreste

x1J3− bx1

J3c =

2300

200300

.

Damit erhalten wir den Schnitt

y?

200

100

2300

+

1

2

(200300

) ≤ ⌊725 · 2300

+ 7 ·(

200300

)⌋,

alsoy1 · 2 + y2 · 2 ≤ 9 .

Dies liefert eine neue Spalte in der Matrix A

a9 =

2

2

,

eine zusatzliche Tableauspalte

x9J3

=(AJ3

)−1a9 =

1300

2 −1

−100 200

2

2

=1

300

2

200

,


eine zusatzliche primale Variable x9 und einen neuen Kostenkoeffizientenc9 = 9. Der Pivotspaltenindex ist k = 9, als Pivotzeilenindex ergibt sichl = 6.

Damit ist die neue Basis

J4 = (8, 9) , AJ4 =

1 2

2 2

= (AJ4)−1 = −12

2 −2

−2 1

.

Wie zu erwarten, andert sich p3 nicht,

p4J4

= −12

2 −2

−2 1

1

2

=

1

0

,

aber die Darstellung durch die neue Basis.

q4 = −12

2 −2

−2 1

7

9

=

2

2.5

ist optimal, aber nicht ganzzahlig.

Damit ergibt sich das neue Tableau

J pJ x1J x2

J x3J x4

J x5J x6

J x7J x8

J x9J

8 1 -1 1

9 0 1 -1/2

7 -2 -1.5 -2 -2.5 -5.5 -75 -10 0 0

mit

x1J4

= −12

2 −2

−2 1

1

0

=

−1

1

,

x2J4

= −12

2 −2

−2 1

0

1

=

1

−1/2

.

Der Schnitt ist mit j0 = 2 durchzufuhren, er ist definiert durch

y?(a8(x2

8 − bx28c)

+ a9(x2

9 − bx29c))≤⌊c8(x2

8 − bx28c) + c9(x2

9 − bx29c)⌋


bzw.

y?

1

2

· 0 +

2

2

· 0.5 ≤ b7 · 0 + 9 · 0.5c

bzw.y1 + y2 ≤ 4.

Dies liefert

a10 =

1

1

, c10 = 4 , x10J4

=(AJ4

)−1a10 =

0

1/2

.

q4 ist nicht mehr zulassig, also muss die Basis erneut gewechselt werden,und zwar mit k = 10 , l = 9.

Damit erhalten wir die neue Basis

J5 = (8, 10) , AJ5 =

1 1

2 1

,(AJ5

)−1=

−1 1

2 −1

,

p5J5

=(AJ5

)−1

1

2

=

1

0

, c?J5p5

J5= 7 ,

wie zu erwarten, bleibt p4 ungeandert, und es wird

q5 =(AJ5

?)−1

c8

c10

=

−1 2

1 −1

7

4

=

1

3

, b?q5 = 7 .

Als Tableau erhalten wir

J pJ x1J x2

J x3J x4

J x5J x6

J x7J x8

J x9J x10

J

8 1

10 0

7 -3 -1 -1 -3 -8 -225 -5 0 -1 0

Es zeigt, dass q5 zulassig und ganzzahlig ist. Daher ist q5 Optimallosungvon (D).


In der folgenden Abbildung 8.1 sind noch einmal alle Iterierten q0, . . . , q5

dargestellt und auch die drei verwendeten Schnitthyperebenen.

Abbildung 8.1: Schnittebenenverfahren von Gomory


8.3 Branch and Bound-Methoden

Vorgelegt sei ein beliebiges gemischt-ganzzahliges Optimierungsproblem.Wir schreiben alle Nebenbedingungen als implizite Nebenbedingungen

und erhalten das

8.3.1. Optimierungsproblem. Gegeben sei

f : Rn′ × Zn−n′ −→ R

auf der zulassigen Menge

S ⊂ Rn′ × Zn−n′ .

P(S,f) Minimiere f(x) unter den Nebenbedingungen

x ∈ S !

S wird in konkreten Problemen meist durch explizite Gleichungen undUngleichungen beschrieben.

Man unterschatze nicht den Aufwand, ein zulassiges x ∈ S zu berechnenund fur x ∈ S Optimalitat zu testen.

Beachte auch, dass verschiedene Beschreibungen der gleichen Menge Sverschieden gut brauchbar sind.

8.3.2. Relaxation. Betrachte das Optimierungsproblem P(S, f) mit derZielfunktion f und der zulassigen Menge S sowie dem Minimalwert

w(S, f) = infx∈S

f(x) ,

gegebenenfalls einer zulassigen Losung

x(S) ∈ S

und einer Minimallosungx0(S, f) .

Eine Relaxation dieses Problems erhalt man, indem man die zulassige Mengevergroßert

S ⊃ S

8.3. Branch and Bound-Methoden 293

und die Zielfunktion verkleinert

f(x) ≤ f(x) (x ∈ S) :

P(S, f) Minimiere f(x) unter den Nebenbedingungen

x ∈ S !

Eine der gebrauchlichsten Relaxationen fur ganzzahlige oder gemischt-ganzzahlige Probleme besteht darin, die Ganzzahligkeitsbedingungen oderandere “komplizierte” Nebenbedingungen fallen zu lassen.

Offenbar gilt

8.3.3. Lemma. x(S) sei ein beliebiger zulassiger Punkt fur P (S, f), P (S, f)eine Relaxation von P (S, f). Dann gilt die Einschließung

w(S, f) ≤ w(S, f) ≤ f(x(S) .

Existiert eine Minimallosung x von P (S, f), so folgt

f(x) ≤ w(S, f) ≤ f(x(S)) .

Ist x ∈ S, so istf(x) ≤ w(S, f) ≤ f(x) ,

ist uberdies f(x) = f(x), so ist

f(x) = w(S, f)

und x Minimallosung von P (S, f).

Oft wahlt manf ≡ f ,

dann ist x Minimallosung von P (S, f), sobald

x ∈ S .

Dieser Fall wird nur in speziellen Situationen wirklich eintreten. Daherwird man versuchen, S noch besser durch S ⊃ S zu approximieren, vergl.hierzu das Konzept der Schnitthyperebenenverfahren.

Eine weitere Moglichkeit besteht darin, durch Dualisierung untere Schran-ken zu gewinnen.


8.3.4. Dualisierung. Betrachte das Optimierungsproblem:

P(S,f) Minimiere f(x) unter den Nebenbedingungen

x ∈ S !

Stelle ein Dualproblem (D) auf, so dass zumindest der Einschließungssatzgilt, z. B. folgendermaßen: Bette das Problem P (S, f) = P (S0Rm , f0Rm ) einin eine Schar gestorter Optimierungsprobleme:

P(Sb, fb) Minimiere fb(x) unter den Nebenbedingungen

x ∈ Sb !

Dafur erhalten wir die Minimalwertfunktion

w(b) = infx∈Sb

fb(x) .

Ahnlich wie in der konvexen Optimierung, aber ohne Konvexitat voraus-zusetzen, erhalten wir damit das Dualproblem:

Maximiere −α ∈ R unter den Nebenbedingungen y ∈ Rm

y?b− α ≤ w(b) (b ∈ Rm) !

Dies ist gleichbedeutend mit:

Maximiere

− supb∈Rm

[y?b− w(b)]

unter den Nebenbedingungen y ∈ Rm!

Unter Benutzung des konjugierten Funktionals w? von w erhalten wiralso das Dualproblem:

D(S,f) Maximiere −w?(y) unter den Nebenbedingungen y ∈ Rm !

Konvexitat wird fur diese Uberlegungen offenbar nicht benotigt.

8.3.5. Lemma. x(S) sei ein beliebiger zulassiger Punkt fur P (S, f). Dasoben konstruierte Dualproblem D(S, f) besitze den Maximalwert

wD = supy∈Rm

−w?(y) .


Dann gilt die Einschließung

wD ≤ w(S, f) ≤ f(x(S)) .

Ist y zulassig fur D(S, f), so folgt

−w?(y) ≤ w(S, f) ≤ f(x(S)) .

Ist y zulassig fur D(S, f) und

−w?(y) = f(x(S)) ,

so ist y optimal fur D(S, f) und x(S) optimal fur P (S, f).

Beweis. Nach Konstruktion des Dualproblems ist

wD = supy∈Rm

[− sup

b∈Rm

[y?b− w(b)

]]= sup

y∈Rm

[inf

b∈Rm

[w(b)− y?b

]]≤ sup

y∈Rm

[w(0Rm)− y?0Rm

]= w(S, f) .

Hieraus ergeben sich alle anderen Folgerungen.

Anmerkung. i) Zur Gewinnung unterer Schranken braucht im Gegen-satz zur Relaxation keine Optimallosung des Hilfsproblems berechnet zuwerden.

ii) Beachte aber, dass auch

wD < w(S, f)

ausfallen kann (duality gap), dann lasst sich w(S, f) nicht beliebig genauvon unten approximieren.

iii) Lagrange-Dualitat: Fur allgemeine (nicht notwendig konvexe) NLP-Probleme wird die gestorte Problemschar beschrieben durch:

P(Sb, f) Minimiere f(x) unter den Nebenbedingungen x ∈ K (⊂ Rn),

gi(x)

≤ bi (i = 1, . . . ,m′) ,

= bi (i = m′ + 1, . . . ,m) !


Dann erhalten wir das Dualproblem

D(S,f) Maximiereinf

x∈K[f(x) + λ?g(x)]

unter den Nebenbedingungen λ ∈ Rm und

λi ≥ 0 (i = 1, . . . ,m′) !

Dies ist genau das aus der konvexen Optimierung bekannte Dualproblem.iv) Dualitat der linearen Optimierung: Fur die primale Normalform

wird die gestorte Problemschar beschrieben durch:

P(Sb, c) Minimiere c?x unter den Nebenbedingungen x ∈ Rn und

Ax = β + b ,

x ≥ 0Rn !

Als Dualproblem erhalt man die duale Normalform

D(S,c) Maximiere β?y unter den Nebenbedingungen y ∈ Rm und

A?y ≤ c !

v) Dualitat im Sinne von Rockafellar: Eine sehr elegante Formu-lierung des Dualitatskonzepts erhalten wir mittels konjugierter Funktionalefolgendermaßen.

Die gestorte Problemschar lautet:

(Pb) Minimiere f(x, b) unter der Nebenbedingung x ∈ Rn !

Dabei istf : Rn × Rm → R ∪ {−∞} ∪ {+∞} .

Die duale Zielfunktion ist dann

− supb∈Rm

[y?b− w(b)]

= − supb∈Rm

[y?b− infx∈Rn

f(x, b)]

= − supb∈Rm

[y?b+ supx∈Rn

(−f(x, b))]

= − supb∈Rm,x∈Rn

[0?Rnx+ y?b− f(x, b]

= −f?(0Rn , y) .


Das Primalprolem

(P0Rm ) Minimiere f(x, 0Rm) bezuglich x ∈ Rn !

besitzt also das Dualproblem

(D) Maximiere −f?(0Rn , y) bezuglich y ∈ Rm !

Falls Relaxation oder Dualisierung nicht allein zum Ziele fuhren, so kannman versuchen, das Ausgangsproblem in “kleinere” oder “einfachere” Teil-probleme aufzuspalten. Dies entspricht dann einer Verzweigung (branching)des abzuarbeitenden Baumes von Optimierungsproblemen. Jeder Knotendes Baumes befindet sich dann in einem der Zustande:• noch nicht bearbeitet• bearbeitet, weitere Verzweigung moglich• bearbeitet, weitere Verzweigung unnotig.

Man sagt auch, dass der Baum in den Knoten der letzten Art “beschnit-ten” oder “gestutzt” wurde.

8.3.6. Verzweigung. Betrachte das Optimierungsproblem

P(S,f) Minimiere f(x) unter der Nebenbedingung

x ∈ S !

SeiS =

⋃j∈J

Sj

eine (nicht notwendig disjunkte) Zerlegung von S. Damit erhalten wir danndie Familie

P(Sj, f) Minimiere f(x) unter der Nebenbedingung

x ∈ Sj !

von Subproblemen, die wir wiederum relaxieren oder dualisieren konnen.

Die fur P (S, f) bereits gewonnenen unteren und oberen Schranken konnendurch genauere Analyse der “kleineren” Teilprobleme verbessert werden, un-interessante Teilprobleme konnen ausgeschieden werden. Gleichzeitig wirdsukzessive ein Problembaum aufgebaut.


8.3.7. Lemma. SeiS =

⋃j∈J

Sj

eine Zerlegung von S. Dann gilt

w(S, f) = minj∈J

w(Sj , f) .

Wichtig ist, zu entscheiden, wann solch ein Subproblem nicht weiter un-terteilt zu werden braucht.

8.3.8. Lemma. SeiS =

⋃j∈J

Sj

eine Zerlegung von S. Das Teilproblem P (Sj , f) braucht nicht mehr weiterunterteilt zu werden, falls eine der Bedingungen erfullt ist:

i) Sj = ∅ .

ii) Eine Optimallosung x0(Sj , f) wurde gefunden.

iii) w(Sj , f) ≥ f(x) fur ein x ∈ S.

Im Fall iii) ist namlich mit diesem x ∈ S

w(Sj , f) ≥ f(x) ≥ w(S, f) .

Istw(Sj , f) > f(x) oder f(x) > w(S, f) ,

so istw(Sj , f) > w(S, f) ,

das Teilproblem also unbrauchbar, andernfalls ist

w(Sj , f) = f(x) = w(S, f) ,

x also bereits optimal auf S.

Uberprufung dieser Bedingungen mittels Relaxation:


i) Sj = ∅.

ii) Eine Optimallosung x0(Sj , f) wurde gefunden mit

x0(Sj , f) ∈ Sj

undf(x0(Sj , f)) = f(x0(Sj , f)) .

iii)w(Sj , f) ≥ f(x) fur ein x ∈ S .

Dann ist namlich fur dieses x ∈ S

w(Sj , f) ≥ w(Sj , f) ≥ f(x) .

Uberprufung dieser Bedingungen mittels Dualisierung:

i) Die Zielfunktion des Dualproblems D(Sj , f) ist nicht nach oben be-schrankt.

ii) Eine zulassige Losung y fur das Dualproblem D(Sj , f) wurde gefundenund eine primalzulassige Losung x ∈ Sj mit

−w?(y) = f(x) .

iii) Eine zulassige Losung y fur das Dualproblem D(Sj , f) wurde gefundenund eine zulassige Losung x ∈ S mit

−w?(y) ≥ f(x) .

Dann ist namlich fur dieses x ∈ S

w(Sj , f) ≥ −w?(y) ≥ f(x) .

Branch and Bound-Verfahren, auch Verfahren der impliziten Enumera-tion oder Divide et Impera-Verfahren (Teile und Herrsche, Divide and Con-quer) genannt, nutzen die obigen Relaxations-, Dualisierungs- und Verzwei-gungsstrategien gezielt aus und sind konzeptionell von folgendem Typ.


8.3.9. Branch and Bound-Verfahren.Wir generieren sukzessive eine Menge V von Optimierungsproblemen unddamit einen Problembaum T = (V,E) und verwalten dabei eine Teilmenge

L ⊂ V

von noch zu bearbeitenden Knoten dieses Baumes.

Initialisierung:Wahle das Ausgangsproblem P (S, f) als Wurzelknoten eines Problem-

baumes T = (V,E) und setze

L = {P (S, f)} , u = +∞ .

Bearbeitung eines Problems P (S, f) ∈ L:Bounding. Berechne eine zulassige Losung

x(S) ∈ S

und damit eine obere Schranke

u(S) = f(x(S)) .

Ist S = ∅, so setzeu(S) = +∞ .

Berechne eine untere Schranke

l(S) ∈ R ∪ {−∞} ∪ {+∞}

fur die Zielfunktion f auf S. Ist u(S) < U , so setze

u = u(S) = f(x(s)) ,x+ = x(S) .

Verkleinerung von L. Ist

l(S) = u(S) ,

so liegt einer der beiden Falle vor:

i) S = ∅,

dann ist u(S) = l(S) = +∞.


ii) S 6= ∅,

dann ist u(S) = l(S) ∈ R und x(S) Optimallosung fur P (S, f).Das Problem P (S, f) ist damit gelost, eine weitere Verzweigung unnotig.

Daher entferne man das Problem P (S, f) aus L.Ist

l(S) ≥ u ,

so kann das Problem P (S, f) ebenfalls aus L entfernt werden.Denn entweder ist u = +∞ und daher S = ∅, oder es ist u ∈ R und

daherf(x+) = u ≤ l(S) ≤ inf

x∈Sf(x) ,

d. h. die Punkte aus S liefern keinen kleineren Zielfunktionswert als diebeste bislang berechnete zulassige Losung x+ fur das Ausgangsproblem.

Verzweigung. Betrachte den verbleibenden Fall

l(S) < u .

Beachte, dass u die bislang beste obere Schranke fur das Minimum desAusgangsproblems ist, daher ist

l(S) < u ≤ u(S) .

Insbesondere ist also S nicht leer. Erzeuge dann durch Zerlegung von S,

S =⋃j∈J

Sj ,

Optimierungsprobleme P (Sj , f) und fuge sie zusammen mit den Kanten(P (S, f), P (Sj , f)) fur alle j ∈ J dem Problembaum hinzu.

Entferne das Problem P (S, f) aus L und fuge alle Nachfolger P (Sj , f)fur j ∈ J zu L hinzu.

Abbruchkriterium:Solange L nicht leer ist, bearbeite man die Probleme aus L.Sobald L = ∅ erreicht ist, breche man die Rechnung ab.

Falls sich der Algorithmus aus Zeitgrunden gar nicht so lange durchfuhrenlasst, bis L = ∅ ist, hat der aktuelle bis dahin erzeugte Problembaum diefolgende Struktur.


Einige seiner “Blatter” sind endgultig abgearbeitet. Es ist x+ die bestebislang ermittelte zulassige Losung fur das Ausgangsproblem und

u = f(x+) .

Die ubrigen Blatter befinden sind noch in L.Die Blatter des aktuellen Problembaumes gehoren also zu einem der fol-

genden Typen:

a) Das Blatt P (S, f) ist optimal gelost, es ist

l(S) = u(S) ≥ u ,

es wird auch nicht weiter verzweigt und gehort auch nicht mehr zu L.

b) Fur das Blatt P (S, f) wurde

l(S) ≥ u

festgestellt, es wird nicht weiter verzweigt und gehort nicht mehr zu L.

c) Fur das Blatt P (S, f) istl(S) < u

und es ist noch (vor dem weiteren Verzweigen)

P (S, f) ∈ L .

Beachtet man noch, dass die Vereinigung aller Mengen S, fur die P (S, f)ein Blatt des aktuellen Problembaumes ist, gleich der zulassigen Menge desAusgangsproblems ist, so erhalt man den

8.3.10. Satz.

a) Solange L 6= ∅ ist, liefert der aktuelle Problembaum die Einschließung

minP (S,f) ∈ L

l(S)

= minP (S,f) Blatt

l(S)

≤ minP (S,f) Blatt

infx∈S

f(x)

≤ u .

8.4. Travelling Salesman Problem 303

b) Ist L = ∅, also der Problembaum komplett abgearbeitet, so ist

u ≤ minP (S,f) Blatt

l(s) ≤ minP (S,f) Blatt

infx∈S

f(x) ≤ u .

Entweder ist also u = +∞ und die zulassige Menge des Ausgangsproblemsleer, oder es ist x+ Optimallosung des Ausgangsproblems zum Minimalwert

u = f(x+) .

8.4 Travelling Salesman Problem

Wir testen das Branch and Bound-Prinzip fur ein (sehr) kleines Handlungs-reisendenproblem.

Ein Handlungsreisender soll Kunden in

1 Bayreuth2 Ochsenfurt3 Finsterwalde4 Leipzig5 Forchheim

besuchen. Die Entfernungstabelle ist

5 4 3 2

1 58 164 217 132

2 79 201 290

3 303 113

4 196

Alle Stadte sind mit allen anderen verbunden, die Verbindungen sind inbeiden Richtungen befahrbar.


Der zugehorige Graph ist:

Abbildung 8.2: Stadteverbindungen

Der Handlungsreisende sucht eine kurzeste Tour. Das Handlungsreisen-denproblem lautet dann in mathematischer Form: Setze

V = {1, . . . , 5} ,E = V × V \ {11, . . . , 55}

und entnehme aus der Entfernungstabelle cij = cji (ij ∈ E) .Minimiere ∑

ij∈E

cijxij


xij ∈ {0, 1} (ij ∈ E) ,∑{i:ij∈E}

xij = 1 (j ∈ V ) , (8.4.1)

∑{j:ij∈E}

xij = 1 (i ∈ V ) , (8.4.2)

∑{ij∈E:i∈U,j∈V \U}

xij ≥ 1 (8.4.3)

fur alle U ⊂ V mit 2 ≤ |U | ≤ |V | − 2.


Dies ist ein kombinatorisches Optimierungsproblem mit 20 BoolschenEntscheidungsvariablen und 30 Restriktionen.

Dieses Problem kann man durch Probieren losen, da der Boolsche Vektor

x ∈ {0, 1}20

nur1024× 1024

verschiedene Werte annehmen kann, oder durch die Erfahrung des Hand-lungsreisenden (bei nur 5 Stadten kennt er die kurzeste Tour).

Uns soll es zur Veranschaulichung des Branch and Bound-Prinzips die-nen.

Initialisierung: Setze

S = Menge aller Touren,u = +∞L = {S} .

Bearbeitung von S ∈ L:

Bounding. Berechne eine zulassige Losung

x(S) ∈ S .

Erspart man sich diesen Arbeitsaufwand, so kann man in diesem Schritt unicht verbessern und auch keinen Optimalitatstest durchfuhren. Offenbarist x(S) mit den nichttrivialen Komponenten

x12 = x23 = x34 = x45 = x51 = 1

eine Tour der Langeu(s) = 789 .


Abbildung 8.3: Tour x(S) ∈ S

Untere Schranken gewinnen wir durch Relaxation, indem wir die Neben-bedingungen 8.4.3 weglassen. Das resultierende Problem ist (fast) ein Zu-ordnungsproblem, das z. B. mit dem Transportalgorithmus gelost werdenkann. Als Losung erhalten wir

x15 = x21 = x34 = x43 = x52 = 1

Abbildung 8.4: Optimallosung fur die Relaxation S von S

Diese Losung des relaxierten Problems ist keine Tour, liefert aber dieuntere Schranke

l(S) = 495 .


Fur den Minimalwert w des Ausgangsproblems haben wir damit die Ein-schließung gewonnen

l(S) = 495 < w ≤ u(S) = 789 ,

als bislang beste obere Schranke

u = 789

und als bislang beste zulassige Losung

x+ = x(S) .

Branching. Wegen l(S) < u mussen wir die Menge S zerlegen. Wir setzen

S1 = S ∩ {x34 = 0} ,S2 = S ∩ {x43 = 0} .

Dies ist zwar nicht unbedingt eine disjunkte Zerlegung von S, aber eineZerlegung, da x34 = x43 = 1 einer Subtour entsprache, die in S nicht erlaubtist. Setze

L = {S1, S2} .

Bearbeitung von S1:Bounding. Eine zulassige Losung

x(S1) ∈ S1

istx15 = x54 = x43 = x32 = x21 = 1 .


Abbildung 8.5: x(S1) ∈ S1

Sie liefertu(S1) = 789 .

Relaxation durch Unterdruckung von 8.4.3 liefert

x14 = x25 = x31 = x43 = x52 = 1

Abbildung 8.6: Optimallosung fur die Relaxation S1 von S1

und damit die untere Schranke

l(S1) = 652 .


Wegen u(S1) = u bleiben u und x+ ungeandert.Branching. Wegen l(S1) < u mussen wir die Menge S1 weiter zerlegen.Wir setzen

S11 = S ∩ {x34 = 0} ∩ {x25 = 0} ,S12 = S ∩ {x34 = 0} ∩ {x52 = 0} ,L = {S11, S12, S2} .

Bearbeitung von S11:Bounding. Die zulassige Losung x(S1) ∈ S1 ist auch zulassig fur S11, setze

x(S11) = x(S1) ,

dann istu(S11) = 789 .

Relaxation liefert

x15 = x24 = x31 = x43 = x52 = 1


und damitl(S11) = 668 .

Wenn man bemerkt, dass x =: x(S11) zulassig ist fur das Ausgangsproblem,kann man die obere Schranke verbessern zu

u(S11) = 668 .


Damit wirdl(S11) = u(S11) ,

d. h. das Problem ist auf S11 optimal gelost. Setze

u = u(S11) = 668 ,x+ = x(S11) ,L = {S12, S2} .

Bearbeitung von S12:Bounding. Die zulassige Losung x(S1) ∈ S1 ist auch zulassig fur S12, liefertaber keine bessere obere Schranke als das aktuelle u. Relaxation von S12

liefertx14 = x43 = x32 = x25 = x51 = 1

Abbildung 8.8: Optimallosung der Relaxation S12 von S12

und damit die untere Schranke

l(S12) = 704 .

Wegenl(S12) > u

kann dieses Problem entfernt werden,

L = {S2} .


Da x auch zulassig fur das Ausgangsproblem ist, ist x optimal auf S12. DieseInformation nutzt uns aber nichts,

u = 668 ,x+ = x(S11)

bleiben ungeandert.Bearbeitung von S2:

Wegen der Symmetrie des hier betrachteten Handlungsreisendenproblemsbraucht

S2 = S ∩ {x43 = 0}

eigentlich nicht mehr betrachtet zu werden. Wir fassen uns daher sehr kurz.Bounding. Durch Richtungsumkehr in der bislang besten zulassigen Losungaus S11 erhalten wir die zulassige Losung x(S2) ∈ S2 mit

x13 = x34 = x42 = x25 = x51 = 1

und damit

l(S2) = 668 = u(S2) .


Das Problem ist damit auf S2 optimal gelost. Wegen l(s2) = u kann esentfernt werden,

L = ∅ .


Abbruch:Damit ist x+ = x(S11) eine optimale Tour der Lange u = 668. Naturlich

ist x(S22) ebenfalls eine optimale Tour.Insgesamt wurde folgender Problembaum erzeugt:

Abbildung 8.10: Problembaum

Literaturverzeichnis

[1] W. Alt. Nichtlineare Optimierung. Vieweg Verlag, Braunschweig–Wiesbaden, 2002. 201

[2] J.-P. Aubin. Mathematical Methods of Game and Economic Theory, vo-lume 7 of Studies in Mathematics and its Applications. North-Holland,Amsterdam–New York–Oxford, 1979. 2

[3] J.-P. Aubin. Optima and Equilibria, volume 140 of Graduate Texts inMathematics. Springer Verlag, Berlin, 1993. 2

[4] R. H. Bartels, J. Stoer, and C. Zenger. A realization of the simplexmethod based on triangular decompositions. In J. H. Wilkinson andC. Reinsch, editors, Handbook for Automatic Computation, Vol. II, Li-near Algebra, pages 152–190. Springer-Verlag, Berlin–Heidelberg–NewYork, 1971. 34, 40

[5] M. S. Bazaraa and J. J. Jarvis. Linear Programming and NetworkFlows. John Wiley & Sons, New York–Chichester–Brisbane–Toronto–Singapore, 1977. 5

[6] M. S. Bazaraa and C. M. Shetty. Nonlinear Programming — Theoryand Applications. John Wiley & Sons, New York–Chichester–Brisbane–Toronto, 1979. 2

[7] R. E. Bellman. Dynamic Programming. University Press, 1957. 240

[8] R. E. Bellman and S. E. Dreyfus. Applied Dynamic Programming.University Press, 1971. 240

[9] E. Blum and W. Oettli. Mathematische Optimierung. Springer-Verlag,Berlin–Heidelberg–New York, 1975. 111, 140, 150, 207, 210, 213

313

314 LITERATURVERZEICHNIS

[10] I. M. Bomze and W. Grossmann. Optimierung - Theorie und Algorith-men. BI-Wissenschaftsverlag, Mannheim, 1993. 240

[11] K.-H. Borgwardt. Optimierung, Operations Research, Spieltheorie.Birkha user Verlag, Basel, 2001. 270, 271

[12] E. W. Cheney and A. A. Goldstein. Newton’s method for convex pro-gramming and Tschebycheff approximation. Numer. Math., 1:253–268,1959. 150

[13] V. Chvatal. Linear Programming. W. H. Freeman and Company, NewYork–San Francisco, 1983. 5, 106

[14] L. Collatz and W. Wetterling. Optimierungsaufgaben, 2. Auflage.Springer-Verlag, Berlin–Heidelberg–New York, 1971. 5, 8, 9

[15] R. W. Cottle, J.-S. Pang, and R. E. Stone. The Linear ComplementarityProblem. Computer Science and Scientific Computing. Academic Press,Boston–San Diego–New York–London, 1992. 140

[16] G. B. Dantzig. Linear Programming and Extensions. University Press,Princeton, 1963. 5, 9

[17] D. Davies and W. H. Swann. Review of constrained optimization. InR. Fletcher, editor, Optimization, pages 187–202, London, 1969. Aca-demic Press. 213

[18] E. A. Dinic. Algorithm for solution of a problem of maximal flow withpower estimation. Soviet Math. Dokl., 11:1277–1280, 1970. 106

[19] J. R. Edmonds and R. M. Karp. Theoretical improvements in algo-rithmic efficiency for network flow problems. J. Assoc. of ComputingMachinery, 19:248–264, 1972. 106

[20] P. Elias, A. Feinstein, and C. E. Shannon. Note on maximum flowthrough a network. IRE Transactions on Information Theory, IT-2:117–119, 1956. 92

[21] A. V. Fiacco and G. P. McCormick. Nonlinear Programming: Sequentialunconstrained minimization techniques. John Wiley and Sons, Inc.,New York–London–Sydney, 1968. 200

LITERATURVERZEICHNIS 315

[22] R. Fletcher. Practical Methods of Optimization, Volume 1, Uncons-trained Optimization. John Wiley & Sons, Chichester–New York–Brisbane–Toronto, 1980. 2

[23] R. Fletcher. Practical Methods of Optimization, Volume 2, ConstrainedOptimization. John Wiley & Sons, Chichester–New York–Brisbane–Toronto, 1981. 2

[24] L. R. Ford Jr. and D. R. Fulkerson. Maximal flow through a network.Canadian J. of Math., 8:399–404, 1956. 92

[25] M. Frank and P. Wolfe. An algorithm for quadric programming. NavalRes. Logist. Quart., 3:95–110, 1956. 206

[26] D. Gale. A theorem on flows in networks. Pacific Journal of Mathe-matics, 7:1073–1082, 1957. 87

[27] S. J. Gass. Linear Programming: Methods and Applications, 4th edition.McGraw-Hill, New York, 1975. 34

[28] C. Geiger and C. Kanzow. Theorie und Numerik restringierter Optimie-rungsaufgaben. Springer-Verlag, Berlin–Heidelberg–New York, 2002.140, 201, 213

[29] P. E. Gill, Murray W., and M. H. Wright. Practical Optimization.Academic Press, London–New York–Toronto–Sydney–San Francisco,1981. 2

[30] I. V. Girsanov. Lectures on Mathematical Theory of Extremum Pro-blems. Springer-Verlag, Berlin–Heidelberg–New York, 1972. 247

[31] D. Goldfarb. Extension of DAVIDON’s variable metric method tomaximization under linear inequaltiy and equaltiy constraints. SIAMJ. Appl. Math., 17:739–764, 1969. 213

[32] D. Goldfarb. Matrix factorizations in optimization of nonlinear functionsubject to linear constraints. Math. Programming, 10:1–31, 1976. 213

[33] D. Goldfarb and L. Lapidus. Conjugate gradient method for nonlinearprogramming problems with linear constraints. Indust. Engrg. Chem.Fundamentals, 7:142–151, 1968. 213


[34] R. E. Gomory. Outline of an algorithm for integer solutions to linearprograms. Bulletin of the American Mathematical Society, 64:275–278,1958. 271

[35] R. E. Gomory. Solving linear programming problems in integers. InR. E. Bellman and M. Hall Jr., editors, Combinatorial Analysis, pa-ges 211–215, Providence, Rhode Island, 1960. American MathematicalSociety. 271

[36] R. E. Gomory. An algorithm for integer solutions to linear programs.In R. Graves and P. Wolfe, editors, Recent Advances in MathematicalProgramming, pages 269–302. McGraw-Hill, 1963. 271

[37] M. Grotschel, L. Lovasz, and A. Schrijver. Geometric Algorithms andCombinatorial Optimization. Algorithms and Combinatorics, Volume2. Springer-Verlag, Berlin–Heidelberg–New York, 1988. 264

[38] G. Hadley. Linear Programming, 2nd edition. Addison-Wesley, Publ.,Reading–London, 1967. 9

[39] M. R. Hestenes. Calculus of Variations and Optimal Control Theory.Applied Mathematics Series. John Wiley and Sons, Inc., New York–London–Sydney, 1966. 247

[40] M. R. Hestenes. Optimization Theory – The finite dimensional case.John Wiley and Sons, Inc., New York–London–Sydney, 1975. 190

[41] R. B. Holmes. Geometric Functional Analysis and its Applications.Springer-Verlag, New York–Heidelberg–Berlin, 1975. 107

[42] A. D. Ioffe and V. M. Tihomirov. Theory of Extremal Problems, vo-lume 6 of Studies in Mathematics and Applications. North-HollandPublishing Company, Amsterdam–New York–Oxford, 1979. 247, 258,261

[43] F. John. Extremum problems with inequalities as subsidiary conditi-ons. In K. Friedrichs, O. Neugebauer, and J. J. Stoker, editors, Studiesand Essays, Courant Anniversary Volume, pages 187–204, New York–Chichester–Brisbane–Toronto–Singapore, 1948. John Wiley and Sons,Inc. 111

[44] D. B. Judin and E. G. Golstein. Lineare Optimierung I. ElektronischesRechnen und Regeln, Band 6. Akademie-Verlag, Berlin, 1968. 5, 9, 34,56, 57


[45] D. B. Judin and E. G. Golstein. Lineare Optimierung II. ElektronischesRechnen und Regeln, Band 13. Akademie-Verlag, Berlin, 1970. 5

[46] P. Kalfon, G. Ribiere, and J. C. Sogno. A method of feasible directionsusing projection operators. In Information Processing 68, volume 1,pages 245–248, Amsterdam, 1969. North-Holland. 213

[47] S. Karlin. Mathematical Methods and Theory in Games, Programmingand Economics, I, II. Addison-Wesley Publ., Reading–London, 1959.2, 9

[48] W. E. Karush. Minima of functions of several variables with inequalitiesas side conditions. PhD thesis, University of Chicago, 1939. 111

[49] J. E. Kelley. The cutting plane method for solving convex programms.SIAM J. Appl. Math., 8:703–712, 1960. 150

[50] A. Kotzig. Suvislost’ a Pravidelina Suvislost’ Konecnych Grafov. Vy-soka Skola Ekonomicka, Bratislava, 1956. 92

[51] H. W. Kuhn and A. W. Tucker. Nonlinear programming. In J. Neyman,editor, Proceedings of the Second Berkeley Symposium on MathematicalStatistics and Prohability, pages 481–492, Berkeley, California, 1951.University California Press. 111

[52] P.-J. Laurent. Approximation et Optimisation. Hermann, Paris, 1972.107

[53] C. E. Lemke. The dual method of solving the linear programmingproblem. Naval Research Logistics Quarterly, 1:36–47, 1954. 51

[54] F. Lempio. Numerische Mathematik I: Methoden der Linearen Algebra.Bayreuther Mathematische Schriften, Band 51. Universitat Bayreuth,1997. 5, 270

[55] F. Lempio. Numerische Mathematik II: Methoden der Analysis. Bay-reuther Mathematische Schriften, Band 55. Universitat Bayreuth, 1998.162

[56] L. A. Ljusternik and W. L. Sobolew. Elemente der Funktionalanalysis.Verlag Harri Deutsch, Zurich–Frankfurt–Thun, 1979. 162


[57] B. A. Murtah and R. W. H. Sargent. A constrained minimization me-thod with quadratic convergence. In R. Fletcher, editor, Optimization,pages 215–246, London, 1969. Academic Press. 213

[58] G. L. Nemhauser and L. A. Wolsey. Integer and Combinatorial Opti-mization. J. Wiley & Sons, New York–Chichester, 1988. 270, 271

[59] K. Neumann. Operations Research Verfahren, Band I. Theorie undPraxis des Operations Research. Carl Hanser Verlag, Munchen–Wien,1975. 2

[60] K. Neumann. Operations Research Verfahren, Band III. Theorie undPraxis des Operations Research. Carl Hanser Verlag, Munchen–Wien,1975. 2

[61] K. Neumann. Operations Research Verfahren, Band II. Theorie undPraxis des Operations Research. Carl Hanser Verlag, Munchen–Wien,1977. 2

[62] K. Neumann and M. Morlock. Operations Research. Carl Hanser Ver-lag, Munchen–Wien, 2002. 2, 240

[63] F. J. Nourie and E. R. Venta. An upper bound on the number of cutsneeded in Gomory’s method of integer forms. Operations ResearchLetters, 1:129–133, 1982. 271

[64] E. Polak. On the convergence of optimization algorithms. Rev.Francaise Informat. Recherche Operationnelle, 3(16):17–34, 1969. 213

[65] E. Polak. Computational Methods in Optimization. A Unified Ap-proach, volume 77 of Mathematics in Scinece and Engineering. Acade-mic Press, New York–London, 1971. 210, 213

[66] L. S. Pontryagin, V. G. Boltyanskii, R. V. Gamkrelidze, and E. F. Mis-hchenko. The Mathematical Theory of Optimal Processes. IntersciencePubl., New York, 1962. 247

[67] R. T. Rockafellar. Convex Analysis, volume 28 of Princeton Math.Series. Princeton Univ. Press, Princeton, 1970. 107, 156

[68] J. B. Rosen. The gradient projection method for nonlinear program-ming i. SIAM J. Appl. Math, 8:180–217, 1960. 213


[69] J. B. Rosen. The gradient projection method for nonlinear program-ming ii. SIAM J. Appl. Math, 9:514–532, 1961. 213

[70] A. Schrijver. Combinatorial Optimization. Polyhedra and Efficien-cy, Volume A. Algorithms and Combinatorics, 24. Springer, Berlin–Heidelberg–New York, 2003. 264

[71] A. Schrijver. Combinatorial Optimization. Polyhedra and Efficien-cy, Volume B. Algorithms and Combinatorics, 24. Springer, Berlin–Heidelberg–New York, 2003. 264

[72] A. Schrijver. Combinatorial Optimization. Polyhedra and Efficien-cy, Volume C. Algorithms and Combinatorics, 24. Springer, Berlin–Heidelberg–New York, 2003. 264

[73] M. Slater. Lagrange multipliers revisited: a contribution to nonlinearprogramming. Cowles Commission Discussion Paper, Mathematics 403,November 1950. 111

[74] J. Stoer. Numerische Mathematik I, 7. Aufl. Springer-Verlag, Berlin–Heidelberg–New York, 1994. 34, 40

[75] J. Stoer and R. Bulirsch. Introduction to Numerical Analysis, 3rd editi-on. Texts in Applied Mathematics, Volume 12. Springer-Verlag, Berlin–Heidelberg–New York, 2002. 34, 39

[76] J. Stoer and C. Witzgall. Convexity and Optimization in Finite Di-mensions I. Springer-Verlag, Berlin–Heidelberg–New York, 1970. 140

[77] H. A. Taha. Operations Research — An Introduction. Prentice Hall,Upper Saddle River, New Jersey, 6th edition, 1997. 2

[78] W. L. Winston. Operations Research: Applications and Algorithms.Brooks/Cole–Thomson Learning, 4 edition, 2004. 2, 240

[79] G. Zoutendijk. Methods of Feasible Directions. Elsevier, Amsterdam,1960. 206, 210

[80] G. Zoutendijk. Mathematical Programming methods. North-HollandPubl. Co., Amsterdam, 1976. 206

[81] S. I. Zukhovitskij, R. A. Poljak, and M. E. Primak. An algorithm forthe solution of the convex programming problem. Dokl. Akad. NaukSSSR, 153:991–994, 1963. 206

Matthias Gerdts Frank Lempio MATHEMATISCHE METHODEN...

Documents

Transcript of Matthias Gerdts Frank Lempio MATHEMATISCHE METHODEN...