Einfuhrung in die Optimierung - math.uni-magdeburg.de · Einf uhrung in die Optimierung 26. Februar...

Einfuhrung in die Optimierung

Gennadiy Averkov

IMO | FMA | OvGU Magdeburg

26. Februar 2019

a1a2

a3

a4

b

1

Einfuhrung in die Optimierung 26. Februar 2019

Inhaltsverzeichnis

1 Einleitung 41.1 Optimierungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . 41.2 Allgemeine Grundlagen, Begriffe und Bezeichnungen . . . . . . . . . 5

2 Konvexe Mengen: kombinatorische Grundlagen 92.1 Konvexe Mengen und Kegel . . . . . . . . . . . . . . . . . . . . . . . 92.2 Konvexe und konische Hulle . . . . . . . . . . . . . . . . . . . . . . . 102.3 Satz von Caratheodory . . . . . . . . . . . . . . . . . . . . . . . . . . 102.4 Der Satz von Radon . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.5 Satz von Helly . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.6 Literaturhinweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3 Lineare Optimierung und das Simplex-Verfahren 123.1 Lineare Ungleichungen und lineare Optimierung . . . . . . . . . . . . 123.2 Lineare Probleme in der Standardform . . . . . . . . . . . . . . . . . 143.3 Zulassige Basislosungen . . . . . . . . . . . . . . . . . . . . . . . . . 153.4 Darstellung des Problems bzgl. einer Basis und das Simplex-Tableau 163.5 Optimalitat einer zBL: eine hinreichende Bedingung . . . . . . . . . 193.6 Unbeschrankter Fall: eine hinreichende Bedingung . . . . . . . . . . 213.7 Pivoting: Verbesserung einer zBL . . . . . . . . . . . . . . . . . . . . 223.8 Entartete Losungen und Anticycling-Regeln . . . . . . . . . . . . . . 283.9 Bestimmung einer Startlosung . . . . . . . . . . . . . . . . . . . . . . 313.10 Bemerkungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

4 Trennung konvexer Mengen 324.1 Metrische Projektion und ihre Eigenschaften . . . . . . . . . . . . . 324.2 Topologische Hilfsaussagen . . . . . . . . . . . . . . . . . . . . . . . 344.3 Stutzhyperebenen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344.4 Trennung einer konvexen Menge und eines Punkts . . . . . . . . . . 364.5 Trennung von zwei konvexen Mengen . . . . . . . . . . . . . . . . . . 374.6 Bemerkungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5 Farkas-Lemmas und Dualitat linearer Aufgaben 385.1 Das Farkas-Lemma fur Systeme in der Standardform . . . . . . . . . 385.2 Dualitat fur lineare Aufgaben in der Standardform . . . . . . . . . . 395.3 Basis-Darstellung von (std-LP-dual) . . . . . . . . . . . . . . . . . . 425.4 Primale und duale Simplex-Methoden . . . . . . . . . . . . . . . . . 455.5 Varianten des Farkas-Lemmas . . . . . . . . . . . . . . . . . . . . . . 525.6 Varianten der Dualitat von linearen Aufgaben . . . . . . . . . . . . . 535.7 Eine Anwendung: Maximale Flusse und minimale Schnitte . . . . . . 545.8 Literaturhinweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

6 Seiten konvexer Mengen 566.1 Seiten und verwandte Begriffe . . . . . . . . . . . . . . . . . . . . . . 566.2 Ecken als zulassige Basislosungen von linearen Problemen . . . . . . 576.3 Eigenschaften des Seitenverbands . . . . . . . . . . . . . . . . . . . . 586.4 Rezessionskegel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

2


6.5 Linealitatsraum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596.6 Extremaldarstellungen konvexer Mengen . . . . . . . . . . . . . . . . 606.7 Seiten von Polytopen . . . . . . . . . . . . . . . . . . . . . . . . . . . 616.8 Polytope als beschrankte Polyeder . . . . . . . . . . . . . . . . . . . 636.9 Minkowski-Weyl-Theorem . . . . . . . . . . . . . . . . . . . . . . . . 646.10 Literaturhinweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

7 Konvexe Funktionen und konvexe Optimierung 657.1 Begriffe, Beispiele und Grundeigenschaften . . . . . . . . . . . . . . . 657.2 Stetigkeit und Lipschitz-Stetigkeit . . . . . . . . . . . . . . . . . . . 667.3 Differenzierbarkeit konvexer Funktionen einer Variablen . . . . . . . 697.4 Einseitige Richtungsableitungen multivariater konvexer Funktionen . 727.5 Differenzierbarkeitskriterium fur konvexe Funktionen . . . . . . . . . 737.6 Kriterien fur die Konvexitat einer Funktion . . . . . . . . . . . . . . 757.7 Verallgemeinerungen des Gradientenbegriffs . . . . . . . . . . . . . . 767.8 Optimalitatskriterien in der konvexen Optimierung . . . . . . . . . . 787.9 Literaturhinweise und Abschlussbemerkungen . . . . . . . . . . . . . 80

3


1 Einleitung

Pflichtkurs fur den Studiengang Bachelor-Mathematik an der Universitat Magde-burg; wird im 3. Semester gehalten; Umfang: 4 V / 2 U (9 Leistungspunkte);Wintersemester 15/16. Im folgenden Diagramm wird die Abhangigkeit der Kapi-tel prasentiert.

Konvexe Mengen

Lineare Optimierung Trennsatze

Dualitat Konvexe OptimierungSeiten konvexer Mengen

1.1 Optimierungsaufgaben

Optimierung ist die Theorie von Optimierungsaufgaben. Wir fuhren die allgemeineTerminologie der Optimierung eine (basierend auf [Sch86, §2.1].) Fur eine nichtleereMenge V und eine Funktion f : V → R mit X ⊆ V heißen die Rechenaufgaben derForm

inf {f(x) : x ∈ X} (MIN)

undsup {f(x) : x ∈ X} . (MAX)

Optimierungsaufgaben (Minimierungsaufgabe bzw. Maximierungsaufgabe). Jede Mi-nimierungsaufgabe kann durch das Ersetzen von f durch −f zu einer Maximierungs-aufgabe konvertiert werden (und umgekehrt). Daher ist es immer moglich eine derbeiden Formen festzulegen, in diesem Abschnitt wird (MIN) gewahlt. Wenn manvon einer Rechenaufgabe spricht, bedeutet es dass die Daten zur Aufgabe (in un-serem Fall f und X) als endliche Daten gegeben sind, etwa als f als Formel undX als ein System von Ungleichungen oder Gleichungen. Solche Details werden vor-erst nicht diskutiert, sie spielen aber bei der Untersuchung der Schwierigkeit vonRechenaufgaben eine wichtige Rolle.

Die Elemente von V heißen Losungen. Die Funktion f in der Aufgabe (MIN)heißt die Zielfunktion, Elemente von X heißen zulassige Losungen. Die Elementevon V \ X heißen unzulassig. Die Menge X heißt die zulassige Menge. Wenn diezulassige Menge leer ist, dann heißt das zugrundeliegende Problem unzulassig (bzw.nicht zulassig). Man beachte den Unterschied zur Terminologie in Algebra, insbl.der linearen Algebra (was man in der Optimierung zulassige Losung nennt, nenntman in Algebra einfach Losung).

Fur g : V → R sagt man, dass die Ungleichung g(x) ≤ 0 gultig fur X ist, wenng(x) ≤ 0 fur alle x ∈ X gilt. Meistens ist X durch ein System von Bedingungen de-finiert. Solche definierende Bedingungen nennt man dann die Nebenbedingungen desOptimierungsproblems. Oft hat man Nebenbedingungen in der Form von Gleichun-gen und Ungleichungen. Die zulassige MengeX = {x ∈ V : g1(x) ≤ 0, . . . , gk(x) ≤ 0}ist z.B. durch k Ungleichungen definiert. Fur die Menge X benutzen wir dann auchdie Abkurzung {g1 ≤ 0, . . . , gk ≤ 0}.

4


Der Wert inf {f(x) : x ∈ X} ∈ [−∞,∞] heißt das Optimum (bzw. der Optimal-wert) von (MIN). Elemente x∗ ∈ X mit f(x∗) = inf {f(x) : x ∈ X} heißen optimaleLosungen. Die Optimierungsaufgabe (MIN) zu losen heißt das Optimum und, ge-gebenenfalls, mindestens eine optimale Losung zu bestimmen. Untere bzw. obereSchranken an das Optimum von (MIN) nennt man untere bzw. obere Schrankenfur das Optimierungsproblem (MIN). Wenn man weiß, dass im Fall eines endlichenOptimums auch mindestens eine optimale Losung existiert, so schreibt man oft minund max an der Stelle von inf bzw. sup.

Lineare und konvexe Optimierung bilden Grundlage fur viele weitere Optimie-rungsufgaben. Daher werden wir vor allem diese beiden Arten von Aufgaben disku-tieren.

Fur eine gegebene Art von Optimierungsaufgaben hat man unterschiedlicheAspekte wie etwa:

Struktur-Theorie: Mathematik ohne algorithmischen Schwerpunkt.

Algorithmen: Laufzeit von Optimierungsverfahren, Konvergenz und Fehlerschatzungnumerischer Optimierungsverfahren.

Komplexitat : Zuordnung der Entscheidungsversionen der Optimierungsaufga-ben zu Klassen P und NP . NP -Schwere und NP -Vollstandigkeit. WeitereKomplexitatsklassen, die in der Optimierung von Bedeutung sind.

Anwendungen: Wirtschaft, Technik, Medizin, Ingenieurwesen, Biologie weite-ren Anwendungsbereichen (je quantitativer der Anwendungsbereich ist, destozahlreicher sind die Moglichkeiten, Optimierung zu benutzen).

Software: Entwicklung und Benutzung.

Die letzten beiden Aspekte sind nicht mathematisch.In Bezug auf diese Aspekte, kann man Kurse unterschiedlich konzipieren: je nach

dem, bei welchem Aspekt der Schwerpunkt liegt und, ob die Aspekte mehr oder min-der parallel oder in getrennten Teilen des Kurses diskutiert werden. Der Schwerpunktliegt dieses Kurses liegt bei Strukturen. Wenn man die Strukturen nicht verstehtwird man auch nicht in der Lage sein, die Algorithmen anzuwenden. Nehmen wir alsBeispiel die Lineare Algebra. Auch wenn man das Gauß-Verfahren kennt, wird mannicht weiter kommen, wenn man nicht entscheiden kann, auf welche Weise man dasGauß-Verfahren in konkreter Situation verwenden kann. Man betrachte zum Bei-spiel die Aufgaben eine Basis von lin(A)∩ lin(B) fur zwei gegebene endliche MengenA,B ⊆ Rn auszurechnen. Klar kann man dafur das Gauß-Verfahren verwenden, aberes eher geht darum, wie man es benutzen kann (und dafur muss man auf jeden Falldie Theorie verstehen).

1.2 Allgemeine Grundlagen, Begriffe und Bezeichnungen

Wie im Modulhandbuch angegeben ist, benutzten wir Kenntnisse aus den KursenLineare Algebra I und II sowie Analysis I und II. Dementsprechend kann man auchbei der Losung von Aufgaben auf Kenntnisse aus diesen Kursen zugreifen.

Falls irgendwelche Bezeichnungen nicht klar sind, bitte melden! In diesem Kurswird die Menge der naturlichen Zahlen als

N := {1, 2, 3, . . .}

5


(ohne die Null) definiert und die Menge

N0 := {0, 1, 2, 3, . . .}.

Also ⊆ bezeichnen wir die Inklusion und als die strikte Inklusion.Im gesamten Kurs ist n ∈ N. Diese Zahl wir in den meisten Fallen die Dimension

des Raums Rn sein, in dem man sich befindet.Also 0 bezeichnen wir die Zahl 0 aber auch den Nullvektor, etwa im Raum Rn.

Wenn es betont werden muss, dass es sich um einen Vektor handelt, so schreibenwir 0n. Wir bezeichnen als e1, . . . , en die Vektoren der Standardbasis von Rn. DasStandardskalarprodukt in Rn von Vektoren x = (x1, . . . , xn), y = (y1, . . . , yn) ∈ Rn:

〈x, y〉 =n∑i=1

xiyi

Die Standardnorm des Euklidischen Raums:D.h., fur x = (x1, . . . , xn) ∈ Rn setzt man

|x| :=√〈x, x〉 =

√x21 + · · ·+ x2n

Die Bezeichnung ‖ · ‖ reservieren wir in diesem Kurs fur allgemeine Normen.Eine Bezeichnung, die in der Diskreten Mathematik und Informatik ziemlich

verbreitet ist: [k] := {1, . . . , k} fur k ∈ N und [0] := ∅. Ansonsten benutzen wirdie Bezeichnung x ≤ y fur k-Tupeln x = (x1, . . . , xk) und y = (y1, . . . , yk). Diesebedeutet, dass xi ≤ yi fur alle i ∈ [k] gilt. Die Bezeichnungen x ≥ y, x < y, x > yfur Tupeln werden analog eingefuhrt.

Nun fuhren wir einige Begriffe und Bezeichnungen ein. Fur x, y ∈ Rn fuhren wirStrecken, (relativ) offene Strecken und halboffene Strecken zwischen x und y ein:

[x, y] := {(1− λ)x+ λy : 0 ≤ λ ≤ 1}(x, y) := {(1− λ)x+ λy : 0 < λ < 1}[x, y) := {(1− λ)x+ λy : 0 ≤ λ < 1}(x, y] := {(1− λ)x+ λy : 0 < λ ≤ 1}

Fur u ∈ Rn \{0} und α ∈ R fuhren wir Hyperebenen, abgeschlossene Halbraumeund offene Halbraume ein.

Hu,α := {x ∈ Rn : 〈u, x〉 = α}H≤u,α := {x ∈ Rn : 〈u, x〉 ≤ α}H≥u,α := {x ∈ Rn : 〈u, x〉 ≥ α}H<u,α := {x ∈ Rn : 〈u, x〉 < α}

H>u,α := {x ∈ Rn : 〈u, x〉 > α}

Der Vektor u heißt eine Normale von Hu,α, außere Normale von H≤u,α und H<u,α.

Fur λ ∈ R und eine Teilmenge A von Rn fuhren wir λA := {αa : a ∈ A} und−A := (−1)A.

Fur Teilmengen A und B von Rn heißt die Menge

6


A+B := {a+ b : a ∈ A, b ∈ B}

die Minkowski-Summe bzw. Vektor-Summe von A und B. Die Menge A − B :=A+ (−B) heißt die Minkowski-Differenz bzw. Vektordifferenz von A und B.

Fur λ ∈ R und A ⊆ Rn benutzen wir die Bezeichnung λA = {λa : a ∈ A}.Fur u ∈ Rn und A heißt u+A := A+u = {a+ u : a ∈ A} die Verschiebung von

A um den Vektor u.Fur Punkte a1, . . . , ak(k ∈ N) und Werte λ1, . . . , λk ∈ Rmit λ1+· · ·+λk = 1 heißt

der Punkt λ1a1 + · · ·+λkak die affine Kombination von a1, . . . , ak mit Koeffizientenλ1, . . . , λk.

Die affine Hulle einer Teilmenge A von Rn ist als Menge aller affinen Kombina-tionen der Punkte aus A definiert; Bezeichnung: aff(A). Insbesondere aff(∅) = ∅.

Aufgabe 1.1. Zeigen Sie Folgendes. Ist A ⊆ Rn nicht leer, so gilt

aff(A) = a+ lin(A− a)

fur alle a ∈ A

Eine affiner Unterraum ist die leere Menge oder die Verschiebung eines linearenRaums um einen Vektor. aff(A) ein affiner Unterraum von Rn.

Punkte a1, . . . , ak(k ∈ N) aus Rn heißen affin unabhangig, falls fur alle λ1, . . . , λk ∈R mit λ1 + · · · + λk = 0 die Folgerung λ1a1 + · · · + λkak = 0 ⇒ λ1 = · · · = λk = 0gilt.

Aufgabe 1.2. Zeigen Sie Folgendes. Seien a1, . . . , ak ∈ Rn (k ∈ N). Dann sind diefolgenden Aussagen aquivalent:

(i) a1, . . . , ak sind affin unabhangig,

(ii) kein Punkt ai lasst sich als affine Kombination der Restlichen Punkte

a1, . . . , ai−1, ai+1, . . . , ak

darstellen.

(iii) die Punkte (a1, 1), . . . , (ak, 1) aus Rn+1 sind linear unabhangig.

Wir fuhren die Bezeichnung fur die Standardnorm von Rn ein: Fur x = (x1, . . . , xn)setze

|x| :=√〈x, x〉 =

√x21 + · · ·+ x2n

Wir fuhre daruber hinaus Bezeichnungen fur offene/abgeschlossene Kugeln unddie Spharen ein:

Bn := {x ∈ Rn : |x| ≤ 1} ,Bn0 := {x ∈ Rn : |x| < 1} ,

Sn−1 := {x ∈ Rn : |x| = 1} ,Bn(c, ρ) := {x ∈ Rn : |x− c| ≤ ρ} ,Bn0 (c, ρ) := {x ∈ Rn : |x− c| < ρ} ,

Sn−1(c, ρ) := {x ∈ Rn : |x− c| = ρ}

7


mit c ∈ Rn und ρ > 0.Fur eine Teilmenge A von Rn heißt

dist(A, x) := inf {|x− a| : x ∈ A}

der Abstand zwischen A und x.Der Wert

diam(A) := sup {|x− y| : x, y ∈ A}

heißt der Durchmesser von A.Wir fuhren Bezeichnungen cl(A), int(A) und bd(A) fur den (topologischen) Ab-

schluss, das Innere bzw. den Rand von A ein.relint(A) und relbd(A) bezeichnen das relative innere und den relativen Rand

von A (bzgl. des topologischen Raums aff(A)). Das heißt

relint(A) := {a ∈ A : Bn(a, ρ) ∩ aff(A) ⊆ A gilt fur ein ρ > 0}relbd(A) := cl(A) ∩ cl(aff(A) \A).

Eine Abbildung F : Rn → Rm(n,m ∈ N) heißt affin falls F (λ1a1 + · · ·λkak) =λ1F (a1) + · · · + λkF (ak) fur alle a1, . . . , ak(k ∈ N) und alle λ1, . . . , λk ∈ R mitλ1 + · · ·+ λk = 1 gilt.

Aufgabe 1.3. Zeigen Sie folgendes. Eine Abbildung F : Rn → Rm (n,m ∈ N) istgenau dann affin, wenn F als F (x) = Ax+ b mit A ∈ Rm×n und b ∈ Rm dargestelltwerden kann.

Wir konnen folgende Klassen von affinen Transformationen unterscheiden.

F (x) = x+ v Verscheibung

F (x) = λx+ v Homothetische Transformation

F (x) = Ux+ v Bewegung; U orthogonale Matrix

Fur die Menge A nennen wir λA+ v eine homothetische Kopie von A.Sei H affiner Raum in Rn. Die Abbildung, die jedem x ∈ Rn den eindeutigen

nachsten Punkt y von H zuordnet ist affin. Diese Abbildung heißt orthogonale Pro-jektion auf H. Bezeichnung y = projH(x) oder y = x|H. Die orthogonale Projektionauf H ist eine affine Abbildung (folgt aus der linearen Algebra).

Aufgabe 1.4. Berechnen Sie die orthogonalprojektion projH auf H = aff(a1, . . . , ak)fur Ihre Auswahl von n, k ∈ N und a1, . . . , ak ∈ Rn. Etwa n = 2, k = 2, a1 = (1, 1)und a2 = (4, 5).

Die Dimension dim(A) einer nichtleeren TeilmengeA von Rn wird mit Berucksichtigungder Relation aff(A) := a+lin(A−a) fur a ∈ A als dim(A) := dim(lin(A−a)) definiert,sodass dim(A) = dim(aff(A)) gilt. Wir setzen außerdem dim(∅) = −1.

8


2 Konvexe Mengen: kombinatorische Grundlagen

2.1 Konvexe Mengen und Kegel

Wir nennen die Ungleichungen bzw. Gleichung der Form 〈u, x〉 ≤ β bzw. 〈u, x〉 = βmit u ∈ Rn und β ∈ R fur Punkte x aus Rn lineare Ungleichungen bzw. lineareGleichungen.

Die Diskussion der Systeme von linearen Gleichungen beginnt im Mathematik-Studium mit der Diskussion der linearen Gleichungen in n Variablen im Kurs “Li-neare Algebra”. Dieser lineare Fall bildet bekannterweise die Grundlage zur Behand-lung allgemeinerer Falle (das Newton-Verfahren lost z.B. nichtlineare Gleichungennumerisch mit Hilfe der Approximation durch lineare Gleichungssysteme).

In der Optimierung werden zulassige Mengen in der Regel durch Systeme vonGleichungen und Ungleichungen definiert. Genau so wie bei Systemen von Glei-chungen, bilden die linearen Systeme von Ungleichungen theoretische Grundlage furkomplexere Falle. Wie wir sehen werden, passt die Diskussion der linearen Systemenvon Ungleichungen perfekt in den Kontext der Konvexitatstheorie.

Es soll noch auf den folgenden Unterschied zwischen Gleichungen und Unglei-chungen hingewiesen werden. Die Menge der Losungen eines Systems von linearenUngleichungen in n ∈ N Variablen ist immer ein affiner Unterraum, auch wenn dieAnzahl der Ungleichungen im System unendlich ist. Man hat bei Systemen von li-nearen Ungleichungen einen Unterschied: Losungsmengen eines endlichen Systemsvon linearen Ungleichungen in Rn sind sogenannte Polyeder; Losungsmengen einesbeliebigen (nicht unbedingt endlichen) Systems von linearen Ungleichungen sindallgemeine abgeschlossene konvexe Mengen, darunter findet man zahlreiche interes-sante Mengen die keine Polyeder sind (Kugel ist eines der vielen Beispiele, die mangeben kann). Dementsprechend hat man in der Konvexitatstheorie die endliche unddie allgemeine Variante, wobei man die endliche Variante oft Polyedertheorie nennt.Die allgemeine Konvexitats ist das Fundament der allgemeinen konvexen Optimie-rung. Polyedertheorie bildet das Fundament fur die lineare Optimierung (die man,als endlichen Fall der konvexen Optimierung auffassen kann).

Aufgabe 2.1. Zeigen Sie Folgendes: Es existiert eine nur von n abhangige Schrankek, so dass jedes (endliche oder unendliche) lineare System in Rn ein aquivalentesUntersystem aus hochstens k Ungleichungen besitzt.

Eine Menge A ⊆ Rn heißt konvex, falls fur alle x, y ∈ A die Strecke [x, y] Teil-menge von A ist.

Eine Menge A ⊆ Rn heißt konvexer Kegel, wenn A nicht leer und konvex ist undλa ∈ A fur alle λ ≥ 0 und a ∈ A gilt. Es ist klar, dass A genau dann ein konvexerkegel ist, wenn λx+ µy ∈ A fur alle λ, µ ≥ 0 und x, y ∈ A gilt.

Aufgabe 2.2. Zeigen Sie Folgendes. Ist A ⊆ Rn konvex, und F eine affine Trans-formation auf Rn (bzw. nach Rn), so ist auch F (A) (bzw. F−1(A)) konvex.

Aufgabe 2.3. Die Minkowski-Summe von zwei konvexen Mengen ist wieder einekonvexe Menge. Fur jede konvexe Menge A und λ, µ ≥ 0 gilt λA+ µA = (λ+ µ)A.

Aufgabe 2.4. Zeigen Sie folgendes. Der Wurfel [0, 1]n, sowie offene und abgeschlos-sene Kugeln sind konvex.

9


2.2 Konvexe und konische Hulle

Fur a1, . . . , ak ∈ Rn(k ∈ N) und λ1, . . . , λk ≥ 0, heißt p = λ1a1 + · · · + λkak nicht-negative (bzw. konische) Kombination von a1, . . . , ak mit Koeffizienten λ1, . . . , λk.Gilt zusatzlich λ1 + · · · + λk = 1 gilt, so heißt p die konvexe Kombination (bzw.Konvexkombination) von a1, . . . , ak mit Koeffizienten a1, . . . , ak.

Die konvexe Hulle conv(A) einer Menge A ⊆ Rn ist die Menge aller konvexenKombinationen der Punkte aus A. Insbesondere gilt conv(∅) = ∅.

Die konische Hulle cone(A) einer nichtleeren Menge A ⊆ Rn is die Menge allerkonischen Kombination der Punkte aus A. (Warnung: In der Literatur bezeichnetman manchmal cone(A) als ccone(A) und redet von konvexer konischen Hulle, undreserviert die Bezeichnung cone(A) dann fur die Menge {λa : a ∈ A, λ ≥ 0}.) Wirdefinieren die konischen Hulle der leeren Menge nicht.

Konvexe Hulle einer endlichen Menge heißt Polytop. Wir benutzen die Schreib-weise conv(a1, . . . , ak) an der Stelle von conv({a1, . . . , ak}).

Ein Simplex ist konvexe Hulle einer endlichen Mengen aus affin unabhangigenPunkten a1, . . . , ak in Rn. Die Punkte a1, . . . , ak heißen die Ecken des Simplex. ZumBeispiel ist conv(0, e1, . . . , ek) ⊆ Rn ein k-dimesionales Simplex in Rn fur jedesk ∈ {0, . . . , n}.

Aufgabe 2.5. Zeigen Sie Folgendes. Seien A,B ⊆ Rn. Dann gilt fur die konvexeHulle:

(a) A ist genau dann konvex wenn A = conv(A) gilt.

(b) conv(A) ist Durchschnitt aller konvexen Mengen, die A als Teilmengen enthal-ten.

(c) conv(A+B) = conv(A) + conv(B).

(d) conv(conv(A)) = conv(A).

Analog gilt fur im Fall von nichtleeren Mengen A und B fur die konische HulleFolgendes:

(a’) A ist genau dann konvexer Kegel wenn A = cone(A) gilt.

(b’) cone(A) ist Durchschnitt aller konvexen Kegel, die A als Teilmengen enthalten.

(c’) cone(A+B) = cone(A) + cone(B).

(d’) cone(cone(A)) = cone(A).

2.3 Satz von Caratheodory

Die Theorien der konvexen Menge und konvexen Kegel haben viele Parallelen. Wirdiskutieren den Satz von Caratheodry. Hier ist eine Version fur konvexe Mengen.

Theorem 2.6 (Satz von Caratheodory fur konvexe Mengen). Sei A ⊆ Rn und seix ∈ conv(A). Dann existieren affin unabhangige Punkte x1, . . . , xk (k ∈ N) aus Amit

x ∈ conv(x1, . . . , xk).

Fur jedes k wie oben gilt k ≤ n+ 1.

10


Beweis. Sei k ∈ N kleinstmogliche Zahl mit x ∈ conv(x1, . . . , xk) fur gewisse x1, . . . , xk ∈A. Wir zeigen, dass in diesem Fall x1, . . . , xk affin unabhangig sind.

Angenommen, x1, . . . , xk waren affin abhangig, d.h.,∑k

i=1 µixi = 0 fur gewisseµi’s, die nicht alle gleich Null sind.

Da x ∈ conv(x1, . . . , xk) gilt, hat man x =∑k

i=1 λixi mit λ1 ≥ 0, . . . , λk ≥ 0 undλ1 + · · ·+ λk = 1. Da k minimal ist, gilt λi > 0 fur jedes i ∈ [k].

Es folgt x =∑k

i=1(λi − tµi)xi.Da man mindestens ein positives µi hat, ist es klar, dass ein t > 0 existiert mit

λj − tµj = 0 fur mindestens ein j ∈ [k] und λi− tµi ≥ 0 fur alle i ∈ [k]. Somit habenwir x als konvexe Kombination einer echten Teilmenge von {x1, . . . , xk} geschrieben,was der Wahl von k widerspricht.

Wenn x1, . . . , xk affin unabhangig sind, so heißt das Polytop conv(x1, . . . , xk)Simplex (der Dimension k − 1). Theorem 2.6 besagt also, dass conv(A) als Vereini-gung von Simplizes mit Ecken in A darstellbar ist. Der Beweis von Theorem 2.6 istkonstruktiv.

Aufgabe 2.7 (Satz von Caratheodory fur konvexe Kegel). Sei A ⊆ Rn nichtleereMenge und sei x ∈ cone(A) \ {0}. Dann gilt x ∈ cone(x1, . . . , xk) fur gewisse linearunabhangige Punkte x1, . . . , xk aus A und k ∈ N.

Aufgabe 2.8. Wahlen Sie n, k ∈ N und Vektoren a1, . . . , ak ∈ Rn und versuchen Siefur Ihre konkrete Wahl, wie im Beweis von Theorem 2.6, das arithmetische Mittelx = a1+···+ak

k von Ihren Vektoren als Konvexkombination einer affin unabhangigenTeilmenge von {a1, . . . , ak} darzustellen. Sie konnten etwa k = 5 und n = 2 fixieren.

2.4 Der Satz von Radon

Der Satz von Radon ist auch an sich interessant wird aber in diesem Kurs eher alsein Hilfsresultat benutzt.

Lemma 2.9 (Der Satz von Radon). Sei A endliche Teilmengen von Rn mit minde-stens n+ 2 Punkten. Dann kann A als disjunkte Vereinigung von Mengen B und Cdargestellt werden, deren konvexen Hullen sich scheiden (d.h, conv(B)∩ conv(C) 6=∅).

Beweis. Sei m = |A| und A = {a1, . . . , am}. Da m ≥ n + 2 gilt, sind die Elementevon A affin abhangig. Daher existieren µ1, . . . , µm ∈ R, die nicht alle gleich null sind,fur die µ1 + · · ·+ µm = 0 und µ1a1 + · · ·+ µkak = 0 gilt. ObdA seien µ1, . . . , µk ≥ 0und µi+1, . . . , µm < 0. Die Summe µ1+· · ·+µk ist strikt positiv. Durch Skalieren vonµ1, . . . , µm mit einem positiven Faktor konnen wir voraussetzen, dass diese Summegleich 1 ist. Dann gilt µ1a1 + · · ·+µkak = −µk+1ak+1 + · · · −µmam, wobei die linkeSeite ein Element aus conv(B) fur B = {a1, . . . , ak} ist und die rechte Seite einElement von conv(C) mit C := {ak+1, . . . , am} ist.

TODO: Aufgaben aus Barvinok’s Buch zu Radon und/oder konkrete Rechen-aufgaben?

11


2.5 Satz von Helly

Theorem 2.10 (Satz von Helly). Sei k ∈ N und seien A1, . . . , Ak ⊆ Rn konvexeMengen mit Ai1∩. . . Ain+1 6= ∅ fur alle i1, . . . , in+1 ∈ [k]. Dann gilt A1∩. . .∩Ak 6= ∅.

Beweis. Wir zeigen die Behauptung durch Induktion uber k. Die Behauptung istim Fall k ≤ n + 1 trivial, da man {i1, . . . , in+1} = {1, . . . , k} wahlen kann. Nun seik ≥ n+ 2 und sei die Behauptung fur weniger als k konvexe Mengen erfullt. Aus derInduktionsvoraussetzung folgt, dass fur alle j ∈ [k] die Bedingung

⋂i∈[k]\{j}Ai 6= ∅

erfullt ist. Wir wahlen ein xj ∈⋂i∈[k]\{j}Ai. Wenn unter den Punkten x1, . . . , xk

zwei Punkte ubereinstimmen, etwa x1 = x2, so hat man x1 = x2 ∈ A1 ∩ . . . Ak.Ansonsten ist {x1, . . . , xk} eine Menge aus k ≥ n+ 2 Punkten. In diesem Fall kanndie Menge nach dem Satz von Radon in zwei disjunkte Teilmengen zerlegt werdenX und Y zerlegt werden mit conv(X) ∩ conv(Y ) 6= ∅. OBdA sei X = {x1, . . . , xt}und Y = {xt+1, . . . , xk}. Wir betrachten einen Punkt p ∈ conv(X) ∩ conv(Y ). Furdiesen Punkt gilt p ∈ Ai fur alle i > t wegen p ∈ conv(X) und p ∈ Ai fur i ≤ twegen p ∈ conv(Y ). D.h.. p ∈ A1 ∩ . . . ∩Ak.

Aufgabe 2.11 (Satz von Helly fur eine Folge von kompakten konvexen Mengen).Zeigen Sie Folgendes. Sei (Ai)

∞i=1 eine Folge von kompakten konvexen Teilmengen

von Rn mit Ai1 ∩ . . . ∩Ain+1 6= ∅ fur ale i1, . . . , in+1 ∈ N. Dann gilt⋂+∞i=1 Ai 6= ∅.

Bemerkung 2.12. Man formuliert die Satze von Helly oft auch anders (durch Kon-traposition): Wenn A1 ∩ . . . ∩Ak = ∅ gilt, dann existieren gilt Ai1 ∩ . . . ∩Ain+1 = ∅fur gewisse i1, . . . , in+1 ∈ [k]. In der Optimierung kann man i1, . . . , in+1 als ein Zer-tifikat der Unzulassigkeit interpretieren. Wenn man etwa die zulassige Menge einerOptimierungsaufgabe durch Nebenbedingungen g1(x) ≤ 0, . . . , gk(x) ≤ 0 beschriebenhat, bei denen jede Menge {x : gi(x) ≤ 0} konvex ist, so kann man die die Fra-ge, ob man mindestens eine zulassige Losung hat. Wenn man keine zL hat, lasstsich das durch Angabe eines ‘kleinen’ Untersystems bestatigen, welches bereits keineLosungen hat.

TODO: Irgendeine Aufgabe aus Barvinok zu Helly?

2.6 Literaturhinweise

Die ersten Kapitel von Rolf Schneider’s Buch [Sch14] (die alte Auflage: [Sch93]).

3 Lineare Optimierung und das Simplex-Verfahren

3.1 Lineare Ungleichungen und lineare Optimierung

Ein Polyeder ist als Durchschnitt endlich vieler abgeschlossener Halbraume definiert.Somit ist eine Teilmenge P von Rn ein Polyeder, wenn P die Losungsmenge einesendlichen System von linearen Ungleichungen vom Typ ≤ darstellbar ist, d.h., P ={x ∈ Rn : Ax ≤ b}.

Bei der Diskussion von linearen Gleichungen und Ungleichungen benutzen wir diefolgenden Bezeichnungen. Fur eine Matrix A ∈ (aij)i∈[m],j∈[n] und eine IndexmengenI ⊆ [m] und J ⊆ [n] fuhren wir die Bezeichnungen fur die folgenden Untermatrizen

12


von A ein:

AI,∗ := (aij)i∈I,j∈[n] ∈ RI×[n],

A∗,J := (aij)i∈[m],j∈J ∈ R[m]×J .

Fur einen Vektor x = (xi)i∈[n] ∈ Rn und I ⊆ [n] benutzen wir die Bezeichnung

xI := (xi)i∈I ∈ RI .

Die Lineare Optimierung (oder kurz LP wie linear programming) ist die Aufgabeder Optimierung einer linearen Zielfunktionen unter Nebenbedingungen in der Formvon endlich vielen nichtstrikten linearen Ungleichungen. Formal heißt es, dass manProblem der Form inf {〈c, x〉 : Ax ≤ b} behandeln mochte, mit c ∈ Rn, A ∈ Rm×nund b ∈ Rm. Allgemeiner konnen wir naturlich von der Optimierung einer affinenZielfunktion 〈c, x〉 − α reden, mit α ∈ R, die additive Konstante α ∈ R andert ander Aufgabe kaum etwas.

Lineare Gleichungen konnen als Nebenbedingungen von einem Linearen Problemauch zugelassen werden, da jede lineare Gleichung durch zwei Ungleichungen dar-stellbar ist. Geometrisch gesehen ist LP das Optimieren einer linearen Zielfunktionauf einem Polyeder.

Man hat die folgenden Moglichkeiten, ein gegebenes LP umzuformulieren:

• Jede Variable z mit Werten aus R kann als Differenz z = z+ − z− von zwei(neu eingefuhrten) nichtnegativen Variablen z+, z− ≥ 0 dargestellt werden.

• Eine Nebenbedingung in der Form 〈a, x〉 = β an den Vektor (der Variablen) x ∈Rn kann als zwei lineare Ungleichungen 〈a, x〉 ≤ β und 〈a, x〉 ≥ β dargestelltwerden.

• Eine Ungleichung vom Typ 〈a, x〉 ≤ β kann als die Ungleichung vom Typ〈−a, x〉 ≥ −β dargestellt werden (und umgekehrt)

• Eine lineare Ungleichung 〈a, x〉 ≤ β kann durch Einfuhren einer zusatzlichennichtnegativen Variablen s ≥ 0 (einer sogenannten Schlupfvariablen, engl. slackvariable) als eine lineare Gleichung 〈a, x〉+ s = β dargestellt werden.

• Das Minimieren von 〈c, x〉 kann durch das Maximieren von 〈−c, x〉 ersetztwerden (und umgehkert). Dabei bleibt ein lineares Problem linear.

Als Folgerung erhalt man, dass man die Nebenbedingungen eines LPs oBdA ineiner der folgenden Formen darstellen kann:

• Ax ≤ b

• Ax = b, x ≥ 0

• Ax ≤ b, x ≥ 0

mit einer passenden Wahl von A ∈ Rm×n, b ∈ Rm und m,n ∈ N.Daruber hinaus kann man im System Ax = b kann man oBdA voraussetzen,

dass der Rang von A gleich m ist (in diesem Fall sagt man, dass A den vollen Zei-lenrang hat). Hat A namlich keinen vollen Zeilenrang, so kann man das System

13


Ax = b durch elementare Transformation (etwa mit Hilfe des Gaußverfahrens) zueiner Form uberfuhren, bei der die linke Seite mancher Gleichungen identisch gleichnull ist. Wenn auch die rechte Seite einer solchen Gleichung gleich null ist, so kanndie Gleichung weggelassen werden. Ansonsten ist die Gleichung nicht erfullt, sodassdie Losungsmenge von Ax = b, x ≥ 0 leer ist und das zugrunde liegende Optimie-rungsproblem keine zulassigen Losungen besitzt.

Des Weiteren kann man frei entscheiden, ob man Minimierungsaufgaben oderMaximierungsaufgaben behandeln mochte.

3.2 Lineare Probleme in der Standardform

In diesem Abschnitt behandeln wir ein lineares Problem der Form

inf {f(x) : Ax = b, x ≥ 0} , (std-LP)

bei der f , A, b und x folgendermassen definiert sind:

A = (aij)i∈[m],j∈[n] ∈ Rm×n

ist die Matrix der rechten Seite des zugrundeliegenden linearen Gleichungssystems,deren Spalten wir als a1, . . . , an bezeichnen: d.h.,

A =(a1 · · · an

).

Die Matrix hat Große m × n mit m,n ∈ N. Wie oben erwahnt, setzen wir OBdAvoraus, dass A den vollen Zeilenrang hat, d.h.

rang(A) = m.

Der Vektorx = (xi)i∈[n] ∈ Rn

ist der Vektor von n Variablen des Optimierungsproblems und

b = (bi)i∈[m] ∈ Rm

ist der Vektor der rechten Seite des linearen Gleichungsystems. f ist eine linearenZielfunktion der Form

f(x) := 〈c, x〉 ,

die durch einen Vektorc = (ci)i∈[n] ∈ Rn

gegeben ist.Ein lineares Problem (std-LP) wie oben beschrieben nennen wir ein lineares

Problem in der Standardform. Im Folgenden werden im Bezug auf (std-LP) die obeneingefuhrten Bezeichnungen benutzen und die vorigen Eigenschaften (wie der volleZeilenrang von A) voraussetzen.

14


3.3 Zulassige Basislosungen

Wir betrachten weiterhin ein beliebiges (std-LP) und wollen dafur ein Verfahrenentwickeln, dass dieses Problem in endlich vielen Schritten lost.

Zunachst diskutieren wir die Losungen des Gleichungssystems Ax = b, ohne dieBerucksichtigung der Nichtnegativitatsbedingung x ≥ 0 an x.

Wir nennen eine Losung

x∗ = (x∗i )i∈[n] ∈ Rn

von Ax = b eine Basislosung (kurz: BL), falls fur die Menge

I := {i ∈ [n] : x∗i 6= 0}

die Spalten ai von A mit i ∈ I ein linear unabhangiges System bilden. Wenn dieVektoren (ai)i∈I eine Basis von Rm bilden, so heißt die Basislosung x∗ nicht entartet.

Eine Basislosung x∗ von Ax = b, welche fur das (std-LP) zulassig ist (d.h.,x∗ ≥ 0), nennen wir eine zulassige Basislosung von (std-LP), oder kurz zBL. Einezulassige Losung, die fur das System Ax = b eine nichtentartete Basislosung ist,heißt eine nichtentartete zBL.

Proposition 3.1. Besitzt (std-LP) eine zulassige Losung, dann besitzt es auch einezulassige Basislosung.

Beweis. Ist x∗ = (x∗i )i∈[n] eine zulassige Losung, so gilt a1x∗1 + · · · anx∗n = b und

x1, . . . , xn ≥ 0, das heißt, b ∈ cone(a1, . . . , an). Nach dem Satz von Caratheodoryfur Kegel (vgl. Aufgabe 2.7), ist b konische Kombination von linear UnabhangigenVektoren aus {a1, . . . , an}. Die Koeffizienten der konischen Kombination entsprecheneiner zBL.

Da der Beweis des Satzes von Caratheodory konstruktiv ist, sieht man dassman bei einer vorhandenen zulassigen Losung von (std-LP) eine zBL von (std-LP)ausrechnen kann.

Beispiel 3.2. Wir konstruieren fur das System Ax = b, x ≥ 0 mit

A =

(1 2 1−1 1 2

)b =

(42

)

anhand einer vorhandenen zulassigen Losung

111

etliche zBL’en. Wenn wir a1, a2, a3

und b zeichnen, sehen wir die Losungen sofort:

a1 = (1,−1)

a1 = (2, 1)

a3 = (1, 2) b = (4, 2)

15


Am Bild sieht namlich, dass b ∈ cone(a1) und b ∈ cone(a1, a3) gilt, fur linearUnabhangige Systeme a1 und (a1, a3). Das heißt, das System Ax = b, x ≥ 0 zweizBLen.

Wir finden nun diese Losungen durch das folgende Verfahren. Zuerst losen wirdie homogene Gleichung Ax = 0 (etwa mit Hilfe des Gauß-Verfahrens), indem wirAx = 0 zu der Form (

1 1 0

0 1 1

)x =

(00

)uberfuhren. Somit haben wir

ker(A) :=

−tt−t

: t ∈ R

sodass

1− t1 + t1− t

eine Losung von Ax = b ist. Wir wahlen t so, dass die konstruierte

Losung fur Ax = b, x ≥ 0 zulassig ist und mindestens einer der Eintrage gleich 0

ist. Mit t = −1 kriegen wir eine Losung

202

. Das ist eine nichtartete Basislosung,

da das System (a1, a3) eine Basis von R2 ist. Wenn wir t = 1 setzen, so kriegen

wir die Losung

020

. Das ist eine entartete Basis losung, da das System (a2) zwar

linear unabhangig ist aber keine Basis von R2.

3.4 Darstellung des Problems bzgl. einer Basis und das Simplex-Tableau

Sei x∗ = (x∗i )i∈[n] eine zBL von (std-LP) und sei I = {i ∈ [n] : x∗i 6= 0}. Das linearunabhangige System (ai)i∈I kann zu einer Basis B = (ai)i∈B mit I ⊆ B ⊆ [n] vomRaum Rm erweitert werden (da der Rang von A gleich m ist, ist die lineare Hulleder Spalten von A gleich Rm, sodass man eine Basis findet). Ist x∗ nicht entartet, sogilt naturlich I = B. Fuhren wir noch die Indexmenge N := [n] \ B. Die Variablenxi mit i ∈ B heißen Basisvariablen (bzgl. der Basis B), die Variablen xi mit i ∈ Nheißen Nichtbasisvariablen.

Bei einer gegebenen Basis B bestimmen wir nun eine Darstellung von (std-LP),bei der die Zielfunktion sowie die Nebenbedingung ausschließlich duch xN dargestelltwerden konnen.

Wir zerlegen x in xB und xN und schreiben dem entsprechend das System Ax = bals

A∗,B xB +A∗,N xN = b

um. Das Einsetzen von x = x∗ ergibt A∗,Bx∗B = b, sodass man die rechte Seite der

Gleichung mit Hilfe von x∗B darstellen kann. Man erhalt

A∗,BxB +A∗,NxN = A∗,Bx∗B.

16


Da (ai)i∈B eine Basis von Rm ist, ist die Matrix A∗,B invertierbar. Man kann alsodie vorige Gleichung mit A−1∗,B von links multiplizieren kann. Das ergibt

xB +A−1∗,BA∗,N︸︷︷︸=:A

xN = x∗B

was man mit Hilfe von A alsxB +AxN = x∗B

formulieren. Etwas spater werden wir die Komponenten von A gebrauchen:

A = (ai,j)i∈B,j∈N ∈ RB×N .

Wir haben nun eine Beschreibung der Basisvariablen in Nichtbasisvariablen:xB = x∗B − AxN . Das bedeutet insbesondere, dass wir eine Darstellung der Ziel-funktion finden konnen, die ausschließlich die Nichtbasisvariablen involviert. Unterder Bedingung Ax = b gilt namlich

f(x) = cx = cBxB + cNxN

= cB(x∗B −AxN ) + cNxN

= cBx∗B + (cN − cBA)xN .

Wenn wir nun den Vektor

c := (c)i∈N := cN − cBA ∈ RN

einfuhren, so erhalten wir

f(x) = f(x∗) + cxN

D.h. (std-LP) kann als das Problem

inf{f(x∗) + cxN : xB +AxN = x∗B, x ≥ 0

}(std-LP-B)

umformuliert werden. Im Folgenden beziehen wir uns auf bei der Diskussion vonBasen und zBL’s auf (std-LP-B) und benutzen dabei die Bezeichnungen N , xB,XN , c und A.

Bei der Berechnung von Darstellungen wie (std-LP-B) in konkreten Situationenbenutzt man ein tabellarisches Format. Unser Zielfunktion hat die Form f(x) = 〈c, x〉in (std-LP).

In der Darstellung (std-LP-B) hat man eine additive Konstante f(x∗). Daherist es sinvoll auch affine Zielfunktionen der Form 〈c, x〉 − α mit α ∈ R zu betrach-ten. Das Problem inf {〈c, x〉 − α : Ax = b, x ≥ 0} wird tabellarisch folgendermassendargestellt:

x1 . . . xna11 . . . a1n b1...

......

am1 . . . amn bnc1 . . . cn α

17


In dieser Tabelle haben wir eine (optionale) Zeile, welche die Namen der Varia-blen enthalt. Dann folgen m Zeilen, die uns die m linearen Gleichungen kodieren.Diese Zeilen/Gleichungen bezeichnen wir als (1), . . . , (m). Die letzte Zeile enthaltdie Koeffizienten der Zielfunktion. Die letzte Zeile bezeichnen wir als (z).

Die vorige Tabelle nennen wir ein Simplex-Tableau. Das Simplex-Tableau istlediglich die Kompakte Darstellung

x

A b

c α

der LP-Formulierung

inf {〈c, x〉 − α : Ax = b, x ≥ 0} .

Wenn man fur konkrete Daten A, b, c, α die Zielfunktion 〈c, x〉 − α sowie die Glei-chungen Ax = b schreiben wurde, so ware eine solche Darstellung langer als dieTabelle, weil man die Symbolen der Variablen x1, . . . , xn sowie die Symbolen derarithmetischen Operationen mehrmals hinschreiben musste.

Nun kann man bei der Berechnung der Basislosungen elementare Zeilentrans-formation zu den Gleichungen (1), . . . , (m) sowie zur Anderung der Darstellung derZielfunktion mit verwenden:

Bezeichnung Beschreibung

(i) := (i) + α · (j) Addition der mit α multiplizierten j-ten Gleichungzur i-ten Gleichung, mit i 6= j, α ∈ R

(i)↔ (j) Vertauschen der i-ten und j-ten Gleichungen(i) := α · (i) Skalieren der i-ten Gleichung mit α ∈ R \ {0}(z) := (z) +

∑mi=1 αi · (i) Anderung der Darstellung der Zielfunktion mit Hil-

fe von (1), . . . , (m)

Das Simplex-Tableau bzgl. der Darstellung (std-LP-B) heißt das Simplex-Tableauzur Basis B. Dieses Simplex-Tableau hat die Struktur:

xB xN

Im A x∗B

0m c −f(x∗)

Hier ist Im diem×m Einheitsmatrix und 0m der Nullvektor mitmKomponenten.

Bemerkung 3.3. Es existiert noch ein weiteres verkurztes Format fur das Simplex-Tableau. Das ist ein Format, in dem man Im und 0m weglasst. Beim verkurztenFormat indexiert man Spalten mit xN und die Zeilen mit xB.

Das verkurzte Format entspricht wahrscheinlich genauer der Weise, wie man dasSimplex-Tableau bei den Computerberechnungen speichert. Man musste tatsachlichIm und Om nicht speichert. Es reicht aus, B,N,A, x∗B, c und f(x∗) zu speichern.Hier ein Beispiel eines Simplex-Tableaus im verkurzten Format:

18


x4 x5 x6x1 = −1 0 1 2x2 = 1 3 0 1x3 = −2 0 3 6

−1 2 1 0

Im Beispiel sind x1, x2, x3 Basis-Variablen und x4, x5, x6 Nichtbasis-Variablen.

3.5 Optimalitat einer zBL: eine hinreichende Bedingung

Proposition 3.4. Sei x∗ eine zBL von (std-LP) zu einer Basis B = (ai)i∈B undman betrachte die Darstellung (std-LP-B). Dann gilt:

(a) Wenn c ≥ 0 erfullt ist, dann ist x∗ eine optimale Losung von (std-LP).

(b) Wenn c > 0 erfullt ist, dann ist x∗ eine eindeutige optimale Losung von (std-LP).

Beweis. Die Behauptungen folgen direkt aus den Darstellungen in Abschnitt 3.4.

Beispiel 3.5. In Abschnitt 3.3 haben wir ein Beispiel betrachtet (Beispiel 3.2), furdas wir zwei zBLen ausgerechnet haben. Wir fuhren fur dieses Beispiel die Zielfunk-tion f mit

c = (1 2 3)

ein und wollen nun die vorige Proposition zu den beiden zBL’en anwenden. UnserAusgangstableau hat die Form:

x1 x2 x31 2 1 4−1 1 2 2

1 2 3 0

Das entspricht noch keiner Basis. Da wir bereits, wissen dass die Basis (a1, a3)einer zBL entspicht, uberfuhren wir das vorige Tableau zu dieser Basis.

Zunachst modifizieren wir die Gleichungen so, dass in der ersten und der drittenSpalte die Standardeinheitsvektoren stehen.

x1 x2 x31 1 0 2

0 1 1 21 2 3 0

Hieraus kann man ablesen, was die zugrundeliegende BL ist: Die Basis-Variablensetzt man x1 = 2 und x3 = 2 (vgl. die rechten Seiten) und die Nichtbasis-Variablex2 setzt man x2 = 0. Damit man das Simplex-Tableau zur Basis a1, a3 hat, mussman noch die Zielfunktion anders beschreiben, sodass man keine Abhangigkeit vonden Basisvariablen hat. Dafur benutzen wir

(z) := (z)− (1)− 3 · (2).

Man erhalt:

19


x1 x2 x31 1 0 2

0 1 1 2

0 −2 0 −8

Um nochmal darauf einzugehen, wie das Tableu bedeutet, schreiben wir es alsexplizit als eine lineare Aufgabe um

min{ 0 · x1 + (−2) · x2 + 0 · x3 − (−8) :

x1 ≥ 0, x2 ≥ 0, x3 ≥ 0,

x1 = 2− x2x2 = 2− x2 }

oder mit Matrizen und Vektoren

min{ 8 + (−2) · x2 :

x ∈ R3+(

x1x3

)+

(11

)x2 =

(22

).

In dieser Darstellung ist

B = {1, 3}, N = {2}, c = −2, xN = x2 xB =

(x1x3

)und

A =

(11

)x∗B =

(22

).

Zu diesem Tableau zur Basis (a1, a2) kann die Proposition nicht verwendet wer-den, da c2 = −2 < 0 gilt. Wir werden sehen, dass diese zL nicht optimal ist. Mankann an dem Tableau den Wert der Zielfunktion an der aktuellen Basislosung in derZelle unten rechts ablesen, das ist das negative von −8, also 8.

Wie sieht es mit der anderen Basislosung aus, die wir vorhin ausgerechnet ha-ben? Wir konnten das linear unabhangige System (a2) nehmen, dieses System zueiner Basis von R2 erweitern, etwa (a1, a2) und dann mit der Ausgangstabelle be-ginnen das Simplex-Tabelle zur Basis (a1, a2) ausrechnen (vollig analog). Es ist aberweniger aufwandig, die Tabelle zur Basis (a1, a3) zu einer Tabelle zur Basis (a1, a2)zu konvertieren. Dafur fuhren wir in der Basis (a1, a3) den Vektor a3 aus der Basisraus und fuhren dafur den Vektor a2 in die Basis hinein. Durch die Operation

(1) := (1)− (2)

fur das letzte Tableau erhalt man:

x1 x2 x31 0 −1 0

0 1 1 20 −2 0 −8

20


Auch in diesem Fall konnen wir die zBL zur Basis (a1, a2) ablesen. Fur dieBasisvariablen hat man x1 = 0, x2 = 2 und fur die Nichtbasisvariable x3 = 0.Damit man aus dem vorigen Tableau ein Tableau zur Basis (a1, a2) erhalt, passenwir noch die Darstellung der Zielfunktion durch die Operation

(z) := (z) + 2 · (2)

an:

x1 x2 x31 0 −1 0

0 1 1 2

0 0 2 −4

In diesem Fall ist c > 0. In unserem kleinen Beispiel besteht c aus einer einzigenKomponente. Wir sehen also nach Proposition 3.4, dass die zBL zur Basis (a1, a2)eine eindeutige Optimallosung ist. Der Wert der Zielfunktion fur diese Losung ist−(−4) = 4. Das ist unser Optimum.

3.6 Unbeschrankter Fall: eine hinreichende Bedingung

Eine Minimierungsaufgabe heißt unbeschrankt, falls das Optimum gleich −∞ ist(analog: eine Maximierungsaufgabe ist unbeschrankt, falls das Optimum ∞ ist).Der Fall einer unbeschrankten Minimierungsaufgabe ist eine entartete Situation, diewir anhand (std-LP-B) erkennen wollen.

Falls c ≥ 0 erfullt ist, so ist die zBL x∗ optimal, sodass die Aufgabe nicht unbe-schrankt ist. Wir konnen also voraussetzen, dass ck < 0 fur ein Index k ∈ N gilt. Indiesem Fall geben wir eine hinreichende Bedingung der Unbeschranktheit.

Proposition 3.6. Sei x∗ eine zBL von (std-LP) zu einer Basis B = (ai)i∈B undman betrachte die Darstellung (std-LP-B). Sei k ∈ N ein Index mit ck < 0. Wennaik ≤ 0 fur alle i ∈ B erfullt ist, dann ist die Aufgabe (std-LP) unbeschrankt.

Beweis. Wir fuhren einen nichnegativen Parameter θ ≥ 0 ein und definieren inAbhangigkeit von θ den Vektor x′ = (x′i) ∈ Rn. Dafur reicht es x′N anzugeben. Wirfixieren x′N durch

x′i =

{θ fur i = k,

0 fur i ∈ N \ {k}.

Mit dieser Wahl gilt fur die Komponenten von x′B die Gleichung x′i = x∗i − ai,kθfur alle i ∈ B. Aus den Voraussetzungen folgt, dass der Vektor x′ nichtnegativ undsomit fur (std-LP) zulassig ist. Fur die Zielfunktion gilt f(x′) = f(x∗) + ckθ. Dack < 0 vorausgesetzt ist, gilt f(x′)→ −∞, fur θ → +∞. Das heißt, die Aufgabe istunbeschrankt.

Beispiel 3.7. Betrachten wir das folgende kleine Problem in R2:

inf {−x1 − x2 − x3 : x1, x2, x3 ≥ 0, 2x1 + 3x2 − x3 = 6}

mit verschiedenen Wahlen von c. In der Standardform lasst sich das Problem mit

A =(2 3 −1

), b = (6)

21


formulieren. Die Spalten a1 = (2) ∈ R1, a2 = (3) ∈ R1 und a3 = (−1) ∈ R1 sindBasen von R1. Die Basen a1 und a2 entsprechen den zBLen, a3 nicht. Wir betrachtenzwei konkrete c bzgl. der zBL zur Basis (a1). Fur

c = (1 1 1)

hat man

x1 x2 x31 3/2 −1/2 3−1 −1 −1 0

Die Darstellung der Zielfunktion wird durch

(z) := (z) + (1)

angepasst:

x1 x2 x3

1 3/2 −1/2 3

0 1/2 −3/2 3

Mit Hilfe von Proposition 3.6 sieht man von der dritten Spalte, dass das Problemunbeschrankt ist. Um den Beweis der Proposition 3.6 fur diese konkrete Situation zuillustrieren, zeigen wir die entsprechende Uberlegung an diesem konkreten Beispiel.Die Zielfunktion ist als f(x) = 1

2x2 −32x2 − 3 dargestellt. Wir haben außerdem

x1 = 3− 32x2 + 1

2x3. Wenn wir als x2 = 0 und x3 = θ ≥ 0 setzen, so haben wir

f(x) = −3

2θ − 3

und x1 = 3 + 12θ. Diese Wahl von x ist also fur jedes θ ≥ 0 zulassig, und der Wert

der Zielfunktion geht gegen −∞ fur θ → +∞.

3.7 Pivoting: Verbesserung einer zBL

Wenn wir nun eine zBL haben, an der weder die Optimalitat noch die Unbe-schranktheit feststellen konnen, so kann man versuchen, die zBL durch eine bessereLosung zu ersetzen:

Proposition 3.8. Sei x∗ eine zBL von (std-LP) zu einer Basis B = (ai)i∈B undman betrachte die Darstellung (std-LP-B). Sei k ∈ N ein Index mit ck < 0 und sei

I := {i ∈ B : aik > 0} 6= ∅.

(Bemerkung: diese Voraussetzung ist sinnvoll, da wir im Fall I = die Unbeschranktheithaben, die wir bereits im vorigen Abschnitt behandelt haben.) Man betrachte fur θ ≥ 0die Losung x′ = (x′i)i∈[n] des Systems Ax = b, mit der folgenden Wahl von x′N

x′i =

{θ, i = k,

0, i ∈ N \ {k},

sodass dementsprechend fur x′B die Gleichungen

x′i = x∗i − aikθ ∀i ∈ B

gelten. Dann gilt:

22


(a) Die Losung x′ ist fur (std-LP) genau dann zulassig wenn θ ≤ x∗i /aik fur allei ∈ I gilt.

(b) Fur die Zielfunktion f gilt f(x′) < f(x∗) (d.h., x′ ist eine bessere Losung alsx∗), wenn θ > 0 erfullt ist.

(c) Ist θ = min {x∗i /aik : i ∈ I} und ` ∈ I ein Index mit x∗`/aik = θ, so ist x′ einezBL zur Basis (ai)i∈B\{`}∪{k}.

Beweis. (a): wir mussen x′ ≥ 0 charakterisieren. Man hat x′N ≥ 0 nach der Kon-struktion und man sieht sofort, dass x′B\I ≥ 0. D.h. es geht nur darum zu verifizieren,

ob x′I ≥ 0 erfullt ist. Diese Bedingung (in einer etwas umformulierten Form) hat manin der Aquivalenz stehen.

(b): f(x′) = f(x∗) + ckθ und wegen ck < 0 hat man die Behauptung.(c): Aus (a) folgt, dass x′ zulassig ist. Man soll nun verifizieren, ob die Losung

eine BL ist. Bei der Konstruktion von x′ aus x∗ haben wir die Variablen i ∈ N \ {k}nicht verandert, und nach der Wahl von θ gilt x′` = 0. Das ergibt

N \ {k} ∪ {`} ⊆{i ∈ [n] : x′i = 0

}.

Das ist aquivalent zu {i ∈ [n] : x′i 6= 0

}⊆ B \ {`} ∪ {k}.

Es reicht also zu verifizieren, dass die Spalten ai mit i ∈ B \ {`}∪ {k} eine Basisvon Rm bilden. Die Matrix A war als

A = A−1∗,BA∗,N

definiert. Es gilt alsoA∗,N = A∗,BA.

Wenn wir diese Gleichung spaltenweise bzgl. A∗,B und A∗,N ausschreiben, so erhaltenwir

aj =∑i∈B

aiaij ∀j ∈ N.

Insbesondere ist die Spalte ak Linearkombination der Spalten ai mit i ∈ B:

ak =∑i∈B

aiaik.

Hierbei ist der Koeffizient a`k ungleich Null. Nun folgt aus der linearen Algebra,dass das System, das aus (ai)i∈B durch das Weglassen von a` und Hinzufugen vonak entsteht, wieder eine Basis von Rm ist.

Die Konvertierung von einer Basis (ai)i∈B zu einer neuen Basis (ai)i∈B\{`}∪{k}mit der Wahl von k und ` wie Proposition 3.8(c) nennt man Pivoting. Dies ist einGrundschritt der sogenannten Simplex-Methoden.

23


Beispiel 3.9. Wir betrachten das lineare Problem

inf{−x1 − 2x2 :

x1, x2 ≥ 0,

x2 ≥ −2 + 2x1,

x2 ≤ 3 + x1,

2x1 + x2 ≤ 6}

Hier die Skizze der zulassigen Menge.

x1

x2

An der Skizze sehen wir gleich, welche Losung optimal ist. Wir wollen diese Losungmit der Simplex-Methode bestimmen. Wir fuhren drei Schlupfvariablen x3, x4, x5 ≥ 0ein und erhalten dadurch ein Problem in der Standardform mit

A =

2 −1 1 0 0−1 1 0 1 02 1 0 0 1

, b =

236

, c =(−1 −2 0 0 0

)Die Basis (a3, a4, a5) entspricht einer zBL, die wir nun benutzen konnen um die

Simplex-Methode zu starten. Wir schreiben das Simplex-Tableau zur Basis B hin:

x1 x2 x3 x4 x52 −1 1 0 0 2

−1 1 0 1 0 3

2 1 0 0 1 6

−1 −2 0 0 0 0 x1

x2

x1 ≥ 0

x2 ≥ 0

x3 ≥ 0x3 ≥ 0

x4 ≥ 0x5 ≥ 0

Wir sehen, dass wir nun die Spalte a2 oder a1 in die Basis einfuhren konnen.Nun muss man sich entscheiden, welche Spalte in die Basis aufgenommen werdenkann. Wir entscheiden uns fur a2 (Sie konnen auch gerne nachschauen, was pas-siert, wenn Sie sich fur a1 entscheiden und wieviele Pivoting-Schritte man in diesem

24


Fall machen wird). Es gibt hier zwei Optionen: In der Matrix des Gleichungsystemstehen zwei positive Eintrage, die den Basisvariablen x4 und x5 entsprechen. DieEntscheidung, welche in die Basis aufgenommen wird erfolgt durch den Vergleichvon 3/1 und 6/1. Wir illustrieren kurz was dahinter steckt. Wir setzen x1 = 0 undwollen x2 so weit es geht vergroßern. Dann ist x4 = 3−x2 ≥ 0 und x5 = 6−x2 ≥ 0.Wir wollen also, dass x2 ≤ 3 und x2 ≤ 6 gelten. Das großtmogliche x2, bei dem dasgeht ist x2 = 3. Somit wird bei der nachsten zBL x2 positiv und x4 = 3 − x2 = 0(d.h., a2 kommt in die Basis, und a4 verlasst die Basis).

Da 3/1 kleiner als 6/1 ist mussen wir die Spalte a4 aus der Basis ausfuhren: DieDurchfuhrung der Operationen

(1) := (1) + (2)

(3) := (3)− (2)

ergibt:

x1 x2 x3 x4 x51 0 1 1 0 5

−1 1 0 1 0 3

3 0 0 −1 1 3

−1 −2 0 0 0 0

x1 ≥ 0

x2 ≥ 0

x3 ≥ 0x3 ≥ 0

x4 ≥ 0x5 ≥ 0

Nun schreiben wir die Zielfunktion so um, dass diese ausschließlich von denneuen Nichtbasis-Variablen x1, x4 abhangig ist. Dafur verwenden wir die Operation

(z) := (z) + 2(2).

x1 x2 x3 x4 x51 0 1 1 0 5

−1 1 0 1 0 3

3 0 0 −1 1 3

−3 0 0 2 0 6

Wir sehen, dass die neue zBL zur basis (a2, a3, a5) besser ist, auf dieser hatunser Zielfunktion den Wert −6. Wir sehen aber, dass wir den Wert noch weiterverkleinern konnen: und zwar wollen wir nun a1 in die Basis einfuhren. Wiederumberechnen wir die Verhaltnisse (in diesem Fall 3/3 und 5/1) und stellen fest, dasswir a5 aus der Basis ausfuhren sollen. Wir fuhren die Operation

(3) :=1

3(3)

durch und anschließend die Operationen

(2) := (2) + (3)

(1) := (1)− (3).

So erhalten wir das Tableau

25


x1 x2 x3 x4 x50 0 1 4/3 −1/3 4

0 1 0 2/3 1/3 4

1 0 0 −1/3 1/3 1

−3 0 0 2 0 6 x1 ≥ 0

x2 ≥ 0

x3 ≥ 0x3 ≥ 0

x4 ≥ 0x5 ≥ 0

Wir wollen nun die Zielfunktion ausschließlich in x4 und x5 schreiben. Das gehtdurch die Transformation

(z) := (z) + 3(3)

Man erhalt:

x1 x2 x3 x4 x50 0 1 4/3 −1/3 4

0 1 0 2/3 1/3 4

1 0 0 −1/3 1/3 1

0 0 0 1 1 9

Da die Koeffizienten vor x4 und x5 in der Darstellung der Zielfunktion striktpositiv sind, folgt nun, dass die aktuelle zBL mit x4 = 0, x5 = 0 und x1 = 1, x2 = 4und x3 = 4 eine eindeutige Optimallosung ist.

Bemerkung 3.10 (Ubersicht der LP-software). Die folgende bekannte Softwareverfugt uber LP-solver:

SCIP (ZIB) frei Linuxoctave frei Linux/WindowsCPLEX kommerziell Linux (Windows?)Gurobi kommerziell Linux (Windows?)Matlab kommerziell Linux/Windows

Etablierte kommerzielle Software. CPLEX und Gurobi (nicht nur LP), Matlab hatebenfalls LP.

Da man recht unterschiedliche Formate fur Instanzen verschiedener Optimie-rungsaufgabe erstellte, benutzt man heutzutage oft die algebraische Modellierungs-sprachen ( Algebraische Modelierungssprachen, oder kurz AML) zum Erstellen vonOptimierungsaufgaben. Hier zwei Beispiele solcher Sprachen.

ZIMPL (ZIB) frei LinuxAMPL kommerziell Linux (Windows?)JuMP (Teil von Julia) ?? ??

Hier ein Beispiel (aus https: // www. tu-chemnitz. de/ mathematik/ part_ dgl/teaching/ WS2009_ Grundlagen_ der_ Optimierung/ amplguide. pdf ) eines AMPL-Modells, anhand dessen man fur eine gewisse Nebenbedingungen drei Zielfunktionenmit Hilfe von cplex maximieren soll:

26


Consider the following example. Berkeley Paint Company makes two colors ofpaint, blue and gold. The blue paint sells for $ 10 per gallon, while the gold paintsells for $ 15 per gallon. The company has one factory, and can make only one colorof paint at a time. However, blue paint is easier to make so the factory can make 40gallons per hour of blue paint, but only 30 gallons per hour of gold paint. In addition,the marketing department tells manufacturing that they can sell at most 860 gallonsof gold paint and 1000 gallons of blue paint. If a week is 40 hours and paint can’tbe stored until next week, we need to determine how many gallons of blue and goldpaint to make; so that the total revenue is maximized.

## Example One

var PaintB; # amount of blue

var PaintG; # amount of gold

maximize profit: 10*PaintB + 15*PaintG;

subject to time: (1/40)*PaintB + (1/30)*PaintG <= 40;

subject to blue_limit: 0 <= PaintB <= 1000;

subject to gold_limit: 0 <= PaintG <= 860;

Pakete fur Modellierung und Losung in Programmiersprachen:

PuLP Pythonompr R

Bemerkung 3.11 (Losung der LP-Probleme mit Octave). Wir losen das Problemaus Beispiel 3.9 mit Octave (Version 4.2). Wir benutzen also die Variablen x ∈ R5

mit x ≥ 0 und formulieren das Problem als

min {〈c, x〉 : x ≥ 0, Ax = b}

Die folgenden Befehler fuhren c, A und b ein:

c = [-1 -2 0 0]

A = [2 -1 1 0 0;-1 1 0 1 0 ;2 1 0 0 1]

b = [2;3;6]

Hier ist c eine Zeile, A eine 3 × 5 Matrix und b eine Spalte. Nun konnen wir dieFunktion glpk benutzen, vgl.

https://www.gnu.org/software/octave/doc/v4.2.0/Linear-Programming.html

um das Problem zu losen. Wir fuhren den Befehl

[xopt,optval] = glpk(c,A,b)

aus und erhalten eine optimale Losung xopt und den optimalen Wert −9 als optval.LPs in einer allgemeinen Form konnen mit Hilfe weiterer optionalen Parameter

von glpk eingegeben und gelost werden.In Matlab hat man die Funktion linprog, die das gleiche machen kann, aller-

dings das Interface von linprog etwas anders.Als Mathe-Studierende werden Sie sich hochstwahrscheinlich mit Octave/Matlab

im 4. Semester in Numerik beschaftigen. Ansonsten werden Octave und Matlab oftin der nichtlinearen Optimierung benutzt (unter anderem auch im Wahlpflichtkurs‘Nichtlineare Optimierung’).

27


Bemerkung 3.12 (Beispiel in python mit pulp und in Sagemath mit ppl-Solver).Hhier ein Beispiel in Python 2 mit Packet pulp

from pulp import *

prob=LpProblem("Beispiel 3.9 aus EMO",LpMinimize)

x1=LpVariable("x1",0,None) # nichnegative Variable

x2=LpVariable("x2",0,None) # nichtnegative Variable

# Kommentare unten zur Zielfunktion und den nebenbedingungen sind optional

prob += -x1-2*x2, "Ziel"

prob += x2 >= -2 + 2*x1, "Bedingung 1"

prob += x2 <= 3 + x1, "Bedingung 2"

prob += 2*x1 + x2 <= 6 , "Bedingung 3"

prob.solve()

for v in prob.variables():

print v.name,"=", v.varValue

Hier ein Beispiel in sagemath mit ppl-solver (Losung des Diat-Problems)

prob = MixedIntegerLinearProgram(maximization=False,solver=’ppl’)

v=prob.new_variable(real=True,nonnegative=True)

h,m,b=v[’h’],v[’m’],v[’b’]

prob.set_objective(1.8*h+2.3*m+0.05*b)

prob.add_constraint(107*h+500*m>=5000)

prob.add_constraint(65*h+120*m+65*b>=2000)

print prob.solve()

hopt,mopt,bopt=prob.get_values(h,m,b)

print hopt,mopt,bopt

Fur kurze Berechnungen konnen sagemath, octave, python und weitere Sprachenauch online unter sagecell. sagemath. org benutzt werden.

3.8 Entartete Losungen und Anticycling-Regeln

Wenn die zBL x∗ nicht entartet ist, so ist das θ wie in der Behauptung (c) dervorigen Proposition strikt positiv. In diesem Fall gilt f(x′) < f(x∗). Wenn keinezBL von (std-LP) entartet ist, so sehen wir also, dass man durch die Verwendungvon endlich vielen Pivoting-Schritte (std-LP) lost (von einer Startlosung zu einergegebenen Basis ausgehend).

Aufgabe 3.13. Zeigen Sie, dass jedes (std-LP) durch eine beliebig kleine Anderungvon b zu einem Problem uberfuhren kann, bei alle zBL’en nicht entartet sind.

Beispiel 3.14. Betrachteten wir das Polyeder

P ={

(x1, x2) ∈ R2 : x1 + x2 ≤ 1, x1 + 2x2 ≤ 2, x1, x2 ≥ 0}

in R2. Das Polyeder P ist ein Dreieck mit Ecken (0, 0), (1, 0) und (0, 1). Das konnteman auch mit drei Ungleichungen x1 ≥ 0, x2 ≥ 0, x1+x2 ≤ 1 beschreiben beschreiben.Die Ungleichung x1 + 2x2 ≤ 2 ist redundant. Diese Ungleichung wird an der Ecke

28


(0, 1) des Dreiecks mit Gleichheit erfullt. Wir konnen P die redundante Beschreibungvon P durch die Einfuhrung von drei Schlupfvariablen x3, x4 in das System

(1 1 1 01 2 0 1

)︸︷︷︸

A

x1...x4

=

(12

)︸︷︷︸b

x1, . . . , x4 ∈ R+

Die Ecke (0, 1) wird dabei in die zBL x∗ mit x∗1 = 0, x∗2 = 1, x∗3 = 0, x∗4 = 0uberfuhrt. Da die Ecke (0, 1) die redundante Ungleichung mit Gleichheit erfullt hat, ist die zBL x∗ entartet. Dass, die x∗ eine entartete zBL Losung ist, kann mannaturlich auch direkt aus der Definition sehen.

x2

x1

Beispiel 3.15. Betrachten wir noch ein weiteres Polyeder, diesmal in der Dimension3. Sei P Polyeder, das folgendermaßen durch eine Ungleichungbeschreibung gegebenist.

P ={

(x1, x2, x3) ∈ R3 : x1 ≥ 0, x2 ≥ 0, x3 ≥ 0, x1 + x2 ≤ 1, x3 − x1 − x2 ≤ 0}.

Das ist eine Pyramide mit der Spitze (0, 0, 0) und einem Quadrat als Grundflache.Bei einer generischen Beschreibung eines n-dimensionalen Polyeders wurde ein Punktvon P hochstens n Ungleichungen mit Gleichheit erfullen. Hier erfullt die Spitze der3-dimensionalen Pyramide P 4 Ungleichungen mit Gleichheit (im Gegenteil zum vo-rigen Beispiel ist keiner der Ungleichungen aus der Beschreibung von P redundant).Die Beschreibung von P kann durch Einfuhrung von zwei Schlupfvariablen x5, x6 indas System

(1 1 0 1 0−1 −1 1 0 1

)︸︷︷︸

A

x1...x5

=

(10

)︸︷︷︸b

x1, . . . , x5 ∈ R+

in der Standardform uberfuhrt werden. Die Spitze (0, 0, 0) der Pyramide P entsprichtdabei der entarteten zBL x∗ mit x∗1 = 0, x∗2 = 0, x∗3 = 0, x∗41, x

∗5 = 0 des Systems in

der Standardform.

Im Fall von entarteten BL’en kann die Situation auftreten, bei der man zwardie Basis verandert hat, die zugrundeliegende Basislosung aber gleich geblieben ist,d.h., x∗ = x′. Insbesondere ist bei einer willkurlichen Wahl der Indizes k und ` nichtausgeschlossen, dass man durch Wiederholung der Pivoting-Schritte zu einer Basiszuruckkehrt, die bereits betrachtet wurde. Um solche Situationen auszuschließen undauch fur allgemeine (std-LP) endliche Losungsverfahren zu haben, hat man etlicheRegeln zur Wahl von k und ` erfunden, bei denen die Ruckkehr zu einer bereits

29


betrachteten Basis nicht moglich ist und (std-LP) auch in entarteten Fallen nachendlich vielen Pivoting-Schritten gelost wird. Wir diskutieren eine solche Regel, diesogenannte Bland-Regel.

Theorem 3.16. Man betrachte das Simplex-Verfahren mit der folgenden Umsetzungdes Pivoting-Schritts (wobei bei der Beschreibung der Umsetzung Bezeichnungen ausder Proposition 3.7 verwendet werden): Beim Austausch von a` gegen ak in deraktuellen Basis, werden k und ` wie folgt gewahlt:

1. Unter allen Indizes k ∈ N mit ck < 0 wird der kleinste Index gewahlt.

2. Unter allen Indizes ` ∈ I mit x∗`/a`k = min {x∗i /aik : i ∈ I} wird der kleinsteIndex gewahlt.

Das Simplex-Verfahren mit dem oben Beschriebenen Pivoting-Schritt lost jede lineareOptimierungsaufgabe in der Standardform (std-LP) von einer Startbasis zu einerzBL ausgehend in endlich vielen Pivoting-Schritten.

Beweisskizze. Angenommen, das Verfahren terminiert nicht. Man bezeichne durchB(t) ⊆ [n] die Indexmenge B, die im Pivoting-Schritt Nummer t ∈ N berech-net wurde. Da man nur endlich viele solche Indexmengen hat, enthalt die FolgeB(1), B(2), B(3), . . . manche der Teilmenge von [n] unendlich oft. OBdA setzen wirvoraus, dass die Menge B(1) in der Folge B(1), B(2), B(3), . . . unendlich oft auftritt.Daraus folgt, dass man beim Pivoting in keiner der Pivotingschritte den Wert derZielfunktion verbessert hat. Somit definieren alle Indexmengen B(1), B(2), B(3), . . .die selbe zBL, die wir als x∗ bezeichnen. Wir betrachten nun fur jedes t ∈ N dieDarstellung (std-LP-B) fur B = B(t):

inf{f(x∗) + c(t)xN(t) : xB(t) +A(t)xN(t) = x∗B(t), x ≥ 0

},

mit N(t) = [n] \B(t), c(t) ∈ RN(t) und A(t). Die Losung x∗ und somit die additiveKonstante f(x∗) sind von t unabhangig. Daher konnen wir oBdA voraussetzen, dassf(x∗) = 0 gilt. Wenn fur t ∈ N die Gleichung B(t + 1) = B(t) \ {`} ∪ {k} gilt, sosagen wir, dass im Schritt t der Index ` die Menge B betritt und der Index ` dieMenge B verlasst. Jede Menge B(t) tritt in der Folge B(1), B(2), B(3), . . . unendlichoft auf. Das bedeutet, dass jeder Index der in eine Iteration die Menge B betritt,muss auch in einer anderen Iteration die Menge B verlassen (und umgekehrt). KeinIndex i mit x∗i > 0 verlasst die Menge B, da sich sonst der Wert der Zielfunktionan der aktuellen zBL verbessern wurde. Das bedeutet, jedes i ∈ [n] mit x∗i > 0gehort zu B(t) fur alle t ∈ N. Wir entfernen in unserer Folge von aquivalentenOptimierungsproblemen alle Gleichungen, deren, rechte Seite x∗i strikt positiv ist. Soerhalten wir eine neue Folge von aquivalenten Optimierungsproblemen. Anschließendsetzen wir die Variablen j ∈ N(1) ∩N(2) ∩ . . . gleich 0. So ensteht eine neue Folgevon aquivalenten Optimierungsaufgaben der Form

inf{c(t)xN(t) : xB(t) +A(t)xN(t) = 0, x ≥ 0

},

wobei nun jeder Index i in einer Iteration die Menge B verlasst.Wir betrachten den Schritt, in dem der Index n die Menge B betritt und bezeich-

nen die Menge B in diesem Schritt als B′. Wir betrachten außerdem den Schritt,

30


in dem der Index n die Menge B verlasst und ein anderer Index p die Menge Bbetritt und bezeichnen die Menge B in diesem Schritt als B′′. Wir betrachten diezugehorigen Optimierungsaufgaben:

inf{c′xN ′ : xB′ +A

′xN ′ = 0, x ≥ 0

},

inf{c′′xN ′′ : xB′′ +A

′′xN ′′ = 0, x ≥ 0

}.

Wir betrachten nun die Losung y = (yi)∈[n] von xB′′ +A′′xN ′′ = 0 mit

yi =

1 i = p,

0 i ∈ N ′′ \ {p},−a′′ip i ∈ B′′.

(Man beachte, dass die Losung y nicht zulassig sein muss).Es gilt c′′yN ′′ = c′′p · 1 < 0. Hier nutzen wir die Ungleichung c′′p < 0 fur die p-te

Komponente von c′′, die erfullt ist, da der Index p die aktuelle Menge B betritt. We-gen der Aquivalenz der Umformungen der Zielfunktionen und der Gleichungsystemegilt c′′y = c′y. Fur c′y hat man

c′y =∑j∈N ′

c′jyj . (1)

Da der Index n die Menge B = B′ betritt, gilt nach dem Teil 1 der Pivoting-Regel:

c′1, . . . , c′n−1 ≥ 0, c′n < 0.

Da der Index n die Menge B = B′′ verlasst, gilt nach dem Teil 2 der Pivoting-Regel −a′′ip ≥ 0 fur alle i ∈ B′′\{n} und −a′′np < 0. Es folgt, als dass die Summandenin (1) nicht negativ sind, das heißtoc′y ≥ 0. Wir erhalten als den Widerspruch 0 ≤ c′y = c′′y < 0.

Die Pivoting-Regel aus dem vorigen Theorem heißt die Bland-Regel. Man hatauch viele andere Pivoting-Regel (lexikographische Regel), die man verwenden kann.

Bemerkung 3.17. Theorem 3.16 ergibt, dass man in (std-LP) min an der Stellevon inf schreiben kann, da man im Fall eines endlichen Optimums auch immer eineoptimale Losung findet.

3.9 Bestimmung einer Startlosung

Um eine Simplex-Methode starten zu konnen brauchen wir eine Startbasis, die einerzBL entspricht. Wir prasentieren hier eine Moglichkeit eine solche Startbasis zugenerieren.

Wir konnen wir in (std-LP) oBdA b ≥ 0 annehmen (wenn bi < 0 gilt, so kann diei-te Gleichung mit −1 multipliziert werden). Wenn wir fur Ax = b keine zL kennen,konnen wir einen Vektor z = (zi)i∈[m] ∈ Rm+ mit Hilfsvariablen einfuhren und dasSystem Ax + z = b, x ≥ 0, y ≥ 0 betrachten. Fur dieses System mit Matrix (AIm)ist x = 0, z = b eine zBL (da die Spalten von Im eine Basis von Rm bilden).

31


Es ist nicht schwer zu sehen, dass fur Ax = b, x ≥ 0 genau zLen exstieren, wenn

min {z1 + · · ·+ zm : Ax+ z = b, x ≥ 0, z ≥ 0} = 0

gilt. Wenn wir also die vorige Hilfsaufgabe mit der Simplex-Methode Losen, so ve-rifizieren wir, bo das Ursprungliche System Ax = b, x ≥ 0 eine zLen hat. Ist dasder Fall, so erhalten wir als optimale Losung der Hilfsaufgabe eine zBL (x∗, z∗) mitz∗ = 0. Somit ist x∗ eine zBL von Ax = b, x ≥ 0. Wir konnen also x∗ als Startlosungfur LPs mit den Nebenbedingungen Ax = b, x ≥ 0 verwenden.

Rechentechnisch geht man folgendermaßen vor:

• Ein Simplextableau fur das Hilfsproblem aufstellen und das Simplex-Verfahrenausfuhren.

• Ist das Optimum des Hilfsproblems strikt positiv, so weiß man dass das ur-sprungliche Problem keine zLen besitzt (das heißt, das Optimum des ursprunglichenProblems ist +∞).

• Ansonsten kann man das Simplex-Tableau zur Optimalenlosung des Hilfspro-blems wiederverwenden: Man ersetzt die (Zeile der) Zielfunktion durch die(Zeile der) Zielfunktion fur das ursprungliche Problem und entfernt die Spal-ten der z-Variablen. Auf dem so entstandenen Tableau kann nun das Simplex-Verfahren ausgefuhrt werden.

Aufgabe 3.18. Man betrachte das System Ax = b, x ≥ 0 mit

A =

(1 2 1 32 3 1 2

)

Verifizeren Sie mit Hilfe des Simplexverfahrens in den Fallen b =

(86

)und b =

(63

),

ob das System eine zulassige Losung besitzt. Losen Sie in den beiden Fallen dieOptimierungsaufgabe inf {〈c, x〉 : Ax = b, x ≥ 0} mit c = (1 2 3 4).

3.10 Bemerkungen

Die Die Herleitung des Simplex-Verfahren, die hier prasentiert wurde, ist recht klas-sisch, die findet man unter anderem in [PS98, Gro04]. Der Beweis der Terminierungdes Simplex-Algorithmus mit der Bland-Regel basiert auf [PS98].

4 Trennung konvexer Mengen

4.1 Metrische Projektion und ihre Eigenschaften

Aufgabe 4.1. Sei A ⊆ Rn eine nichtleere abgeschlossene konvexe Menge. Zu jedemx ∈ Rn existiert ein eindeutiger Punkt p ∈ A mit |p− x| = dist(A, x).

Der Punkt p aus der vorigen Aufgabe wird als p(A, x) bezeichnet.

Theorem 4.2. Sei A ⊆ Rn eine nichtleere abgeschlossene konvexe Menge. Fur dieoben eingefuhrte Abbildung p(A, · ) : Rn → A gilt:

32


(a) Ist fur x, y ∈ Rn\A die Bedingung y = p(A, x)+λ(x−p(A, x)) mit λ > 0 erfullt,so gilt p(A, x) = p(A, y).

(b) Fur alle x, y ∈ Rn gilt |p(A, x)− p(A, y)| ≤ |x− y|. Insbesondere ist p(A, · ) einestetige Abbildung.

(c) Ist A beschrankt, so gilt {p(A, x) : x ∈ Rn \A} = bd(A).

Beweis. (a): Wir konnen λ 6= 1 voraussetzen, da ansonsten x = y gilt und dieBehauptung trivial ist. Angenommen, man hatte p(A, x) 6= p(A, y). Im Fall λ < 1,ist y strikt naher zu p(A, x) als x. Aus der Dreiecksungleichung folgt |x− p(A, y)| ≤|x − y| + |y − p(A, y)|. Da der Punkt p(A, y) der eindeutige nachste Punkt zu y inder Menge A ist, gilt |y − p(A, y)| < |y − p(A, x)|. Wir erhalten also |x− p(A, y)| ≤|y − x| + |y − p(A, y)| < |y − x| + |y − p(A, x)|. Der Punkt y ist auf der Streckezwischen x und p(A, x). Das ergibt |y−x|+ |y− p(A, x)| = |x− p(A, x)|. Wir habenalso |x− p(A, y)| < |x− p(A, x| hergeleitet, was der Wahl von p(A, x) widerspricht.

Im Fall λ > 1 bemerken wir zunachst, dass p(A, y) nicht auf der Verbindungsge-raden von x und p(A, x) liegt. Es existiert also ein eindeutiger Punkt q im relativenInneren von [p(A, x), p(A, y)] mit der Eigenschaft, dass das Segment [x, q] paral-lel zu [y, p(A, y)] ist. Aus der Konvexitat von A folgt, q ∈ A. Wir betrachten diehomothetischen Dreicke conv(p(A, x), q, x) und conv(p(A, x), p(A, y), y). Es gilt

|x− q||x− p(A, x)|

=|y − p(A, y)||y − p(A, x)|

.

Das linke Verhaltnis ist strikt großer als 1 nach der Definition von p(A, x). Somitist auch das rechte Verhaltnis strikt großer als 1, was aber der Wahl von p(A, y)widerspricht.

(b): Man betrachtev := p(A, x)− p(A, y).

Sei v 6= 0 (ansonsten ist die Behauptung trivial). Nun zeigen wir

〈x− p(A, x), v〉 ≥ 0.

Angenommen, man hatte 〈x− p(A, x), v〉 < 0. Dann treffen sich der Strahl ausp(A, x) in Richtung x − p(A, x) und die Hyperebene durch p(A, y) orthogonal zu vin einem Punkt. Mit anderen Worten: Man betrachte einen Punkt der Form z =p(A, x) + λ(x− p(A, x)) mit λ ≥ 0. Wir fixieren λ ≥ 0 mit 〈z, v〉 = 〈p(A, y), v〉 (dasgeht, da wir 〈x− p(A, x), v〉 < 0 haben und 〈p(A, y), v〉 ≤ 〈p(A, x), v〉 aus der Def.von v folgt).

Wegen (a) gilt p(A, z) = p(A, x). Es folgt |z − p(A, z)| = |z − p(A, x)| = |(z −p(A, y))− v|, wobei nach der Wahl von z die Vektoren z− p(A, y) und v orthogonalsind. Es folgt |z − p(A, z)| =

√|z − p(A, y)|2 + |v|2 > |z − p(A, y)|. Die Ungleichung

|z − p(A, z)| > |z − p(A, y)| widerspricht der Definition von p(A, z).Also gilt 〈x− p(A, x), v〉 ≥ 0 und analog (durch den Vertausch der Rollen von x

und y) gilt auch 〈y − p(A, y), v〉 ≤ 0. Was man nun geometrisch hat ist das Folgende.Das Segment [x, y] trifft die Hyperebenen durch p(A, x) und p(A, y) die orthogonalzu v := p(A, x)− p(A, y) sind in Punkten, die weiter voneinander liegen, als p(A, x)von p(A, y). Das kann man naturlich auch analytisch zeigen. Im Wesentlich geht

33


es hier um die Projektion auf die Verbindungsgerade von p(A, x) und p(A, y). MitCauch-Schwarz und der vorigen Ungleichungen erhalten wir:

|x− y| · |v| ≥ 〈x− y, v〉= 〈x− p(A, x), v〉︸︷︷︸

≥0

+ 〈p(A, x)− p(A, y), v〉︸︷︷︸=|v|2

+ 〈p(A, y)− y, v〉︸︷︷︸≥0

≥ |v|2,

woraus dann die gewunschte Ungleichung |x− y| ≥ |v| folgt.(c): Man betrachte eine offene Kugel B, die A enthalt und sei S der Rand dieser

Kugel (S ist eine Sphare). Es ist klar, dass p(A,S) = {p(A, x) : x ∈ S} ⊆ bd(A)gilt. Denn jeder Punkt p(A, x) ist in A und muss im Rand von A sein, da die innerenPunkte von A keine nachsten Punkte zu den Punkten außerhalb von A sein konnen.Wir zeigen nun bd(A) ⊆ p(A,S). Sei x ∈ bd(A) beliebig. Wir wahlen fur jedes i ∈ Nein xi ∈ B \A mit |x− xi| < 1

i . Wegen (b) gilt

|x− p(A, xi)| = |p(A, x)− p(A, xi)| ≤ |x− xi| <1

i.

Fur jedes i existiert ein λi ≥ 0, sodass der Punkt yi := p(A, xi) + λi(x − p(A, xi))in S liegt. Nach (a) gilt p(A, yi) = p(A, xi). Das heißt |x − p(A, yi)| < 1

i . Da dieMenge S kompakt ist, besitzt die Folge (yi)i∈N eine konvergente Teilfolge. Sei y ∈ Sder Grenzwert einer solchen konvergente Teilfolge. Wegen (b) folgt nun aus |x −p(A, yi)| < 1

i die Ungleichung |x− p(A, y)| ≤ 0. Das heißt p(A, y) = x.

Die Abbildung p(A, · ) aus dem vorigen Theorem heißt die metrische Projektionauf A. Die Abbildung verallgemeinert die orthogonale Projektion. Die Behauptung(a) zeigt, dass die Urbilder der metrischen Projektion aus einem einzigen Punkt oderaus einem Strahl bestehen.

Ich denke, (c) gilt auch fur unbeschrankte A (wir zeigen das erstmal aber nur imbeschrankten Fall).

4.2 Topologische Hilfsaussagen

Aufgabe 4.3. Sei A konvexe Teilmenge von Rn. Sei x ∈ int(A) und y ∈ cl(A).Dann gilt [x, y) ⊆ int(A).

Aufgabe 4.4. Sei A konvexe Teilmenge von Rn. Dann sind die Mengen relint(A)und cl(A) konvex und es gilt

(a) relint(A) = relint(cl(A)).

(b) cl(A) = cl(relint(A)).

(c) relbd(A) = relbd(cl(A)) = relbd(relint(A)).

4.3 Stutzhyperebenen

Sei A Teilmenge von Rn und x ∈ A. Eine Stutzhyperebene H von A an x ist eineHyperebene mit x ∈ H, die als H = Hu,β mit u ∈ Rn \ {0} und β ∈ R dargestellt

werden kann, sodass die Bedingung A ⊆ H≤u,β erfullt ist. In diesem Fall sagen wir,

34


dass H eine Stutzhyperebene fur A im Punkt x ist und dass der Vektor u einaußerer Normalenvektor im Punkt x der Menge A ist. Der Halbraum H≤u,β heißtStutzhalbraum der Menge A im Punkt x.

Lemma 4.5. Sei A eine nichtleere abgeschlossene konvexe Menge, x ∈ Rn \A und

v := x− p(A, x).

Dann ist{y ∈ Rn : 〈y, v〉 = 〈p(A, x), v〉}

eine Stutzhyperebene von A im Punkt p(A, x)

Beweis. Es reicht zu zeigen, dass fur alle y ∈ A die Ungleichung 〈y, v〉 ≤ 〈p(A, x), v〉gilt. Wir betrachten ein beliebiges y ∈ A. Fur ein ε ∈ (0, 1) betrachten wir denPunkt p(A, x) + ε(y − p(A, x)) ∈ A. Wegen der Definition von p(A, x) gilt

|v|2 = |x− p(A, x)|2 ≤ |x− ((1− ε)p(A, x) + εy)|2

= |x− p(A, x) + ε(p(A, x)− y)|2

= |v + ε(p(A, x)− y)|2

= |v|2 + 2ε 〈v, p(A, x)− y〉+ ε2|p(A, x)− y|2.

Nun subtrahieren wir |v|2 von der linken und der rechten Seite der Ungleichung unddividieren anschließend durch 2ε. Man erhalt

0 ≤ 〈v, p(A, x)− y〉+1

2ε |p(A, x)− y|2.

Da ε ∈ (0, 1) beliebig ist, folgt durch ε ↓ 0 die Ungleichung 0 ≤ 〈v, p(A, x)− y〉, d.h.,man erhalt 〈v, y〉 ≤ 〈v, p(A, x)〉.

Theorem 4.6. Sei A ⊆ Rn eine nichtleere, abgeschlossene konvexe Menge. Danngilt:

(a) Jeder Randpunkt von A ist in einer Stutzhyperebene von A enthalten.

(b) Ist A kompakt, so existiert fur jeden Vektor u ∈ Rn \ {0} ein Randpunkt von Amit dem außeren Normalenvektor u.

Beweis. (a): Ist A beschrankt, so kann nach Theorem 4.1(c) jeder Randpunkt vonA als p(A, x) mit x ∈ Rn \ A dargestellt werden. Die Behauptung folgt dann ausLemma 4.5. Angenommen, A ist unbeschrankt. Sei a ∈ bd(A). Wir betrachten diebeschrankte abgeschlossene konvexe Menge A∩Bd(a, 1). Der Randpunkt a von A∩Bd(a, 1) besitzt eine Stutzhyperebene Hu,β mit 〈u, x〉 ≤ 〈u, a〉 = β fur alle x ∈ A ∩Bd(a, 1). Wir zeigen nun, dassHu,β auch eien Stutzhyperebene fur die gesamte MengeA ist. Sei x ∈ A beliebig. Dann existiert ein ε ∈ (0, 1) mit (1 − ε)a + εx ∈ Bd(a, 1).Der Punkt (1 − ε)a + εx gehort zu A. Somit gilt 〈u, (1− ε)a+ εx〉 ≤ 〈u, a〉. Wirziehen von der linken und der rechten Seite der Ungleichung den Wert 〈u, a〉 ab undklammer anschließend ε aus. Wir erhalten somit ε(−〈u, a〉 + 〈u, x〉) ≤ 0. Divisiondurch ε ergibt 〈u, x〉 ≤ 〈u, a〉.

(b): Sei A beschrankt. Dann existiert ein a ∈ A mit 〈u, a〉 = sup {〈x, u〉 : x ∈ A}.Nach der Konstruktion ist u ein außerer Normalenvektor von A am Punkt a.

35


4.4 Trennung einer konvexen Menge und eines Punkts

Seien A,B ⊆ Rn und sei Hu,β ⊆ Rn eine Hyperebene. Wir sagen, dass A und B

durch Hu,β getrennt werden, wenn A ⊆ H≤u,β und B ⊆ H≥u,β gilt (oder umgekehrt:

A ⊆ H≥u,β und B ⊆ H≤u,β). Man spricht von einer echten Trennung, wenn A oder B

nicht in Hu,β liegt. Man spricht von einer strikten Trennung, wenn A ⊆ H<u,β und

B ⊆ H>u,β gilt (oder umgekehrt). Man spricht von einer starken Trennung, wenn

A ⊆ H≤u,β−ε und B ⊆ H≥u,β+ε gilt (oder umgekehrt) mit ε > 0. Man hat

stark =⇒ strikt =⇒ echt

Die Trennung eines Punktes x und einer Menge A ist als Trennung von {x} undA definiert.

Aufgabe 4.7. Zeigen Sie, dass konvexe Mengen A und B existiert die

(a) eine strikte Trennungshyperebene besitzen aber keine starke.

(b) eine echte Trennungshyperebene besitzen aber keine strikte.

Theorem 4.8. Sei A ⊆ Rn konvex und x ∈ Rn \A. Dann gilt:

(a) Jeder Punkt x ∈ Rn \ A kann von A durch eine Hyperebene getrennt werden;im Fall einer abgeschlossenen Menge A, kann der Punkt x sogar stark getrenntwerden.

(b) Ist A abgeschlossen, so kann A als Durchschnitt aller Stutzhalbraume von A dar-gestellt werden. Insbesondere ist A Durchschnitt aller abgeschlossenen HalbraumeH mit A ⊆ H.

Beweis. (a): Ist A abgeschlossen, so folgt aus Lemma 4.5 die Ungleichung

〈y, v〉 ≤ 〈p(A, x), v〉

fur alle y ∈ A. Des Weiteren hat man die Gleichung

〈x, v〉 = 〈p(A, x) + v, v〉 = 〈p(A, x), v〉+ |v|2.

Also hat man die starke Trennung durch Hv,β mit β = 〈p(A, x), v〉+ 12 |v|

2. Wenn Aallgemein ist und der Punkt x nicht in cl(A) liegt, so folgt die Behauptung durchdas Trennen von x von cl(A). Gilt x ∈ cl(A), so hat man x ∈ bd(cl(A)), da sonstnach den topologischen Hilfsaussagen, der Punkt in relint(A) und somit in A ware. Indiesem Fall trennt die Stutzhyperebe von cl(A) im Punkt x die gesuchte Hyperebene.

(b): Es reicht die Aussage uber die Stutzhalbraume zu beweisen. Ist x ∈ A, soliegt x in jedem Stutzhalbraum von x. Ist x 6∈ A, so gilt wegen Lemma 4.5, x 6∈ Hfur den Halbraum H = {y ∈ Rn : 〈y, v〉 ≤ 〈p(A, x), v〉} mit v = x− p(A, x).

Teil (b) des vorigen Theorems zeigt, dass jede abgeschlossen konvexe Menge einesLosungsmenge eines (moglicherweise unendlichen) Systems von linearen Ungleichun-gen ist.

Fur den Fall eines abgeschlossenen konvexen Kegels haben wir eine etwas starkereAussage:

Aufgabe 4.9. Sei C abgeschlossener konvexer Kegel in Rn und x ∈ Rn \ C. Dannexistiert ein Vektor u mit 〈u, c〉 ≥ 0 fur alle c ∈ C und 〈x, u〉 < 0.

36


4.5 Trennung von zwei konvexen Mengen

Lemma 4.10. Seien A,B ⊆ Rn. Die sind die folgenden Bedingungen aquivalent:

(i) Die Mengen A und B konnen getrennt (bzw. stark getrennt) werden

(ii) Die Menge A − B und der Punkt 0 konnen getrennt (bzw. stark getrennt)werden.

Beweis. Wir verifizieren die Behauptung uber die starke Trennung (die andere Be-hauptung ist analog). Angenommen, A und B werden durch die Hyperebene Hu,α

stark getrennt, sodass A ⊆ H≤u,α−ε und B ⊆ H≥u,α+ε fur ein ε > 0 gilt. Fur x ∈ A−Bgilt x = a− b fur ein a ∈ A und ein b ∈ B. Daraus folgt

〈x, u〉 = 〈a, u〉 − 〈b, u〉 ≤ (α− ε)− (α+ ε) = −2ε.

Das zeigt, dass A − B und 0 mit der Hyperebene Hu,−ε stark getrennt sind. Um-gekehrt, nehmen wir nun an dass A − B und 0 mit einer Hyperebene voneinan-der getrennt sind. Das heißt 〈a− b, u〉 ≤ γ − ε fur alle a ∈ A und b ∈ B und0 = 〈0, u〉 ≥ γ + ε fur gewisse γ ∈ R, ε > 0 und u ∈ Rn \ {0}. Nun gilt

sup {〈a, u〉 : a ∈ A}︸︷︷︸=:α

− inf {〈b, u〉 : b ∈ B}︸︷︷︸=:β

= sup {〈a− b, u〉 : a ∈ A, b ∈ B}

≤ γ − ε≤ γ + ε︸︷︷︸

≤0

−2ε

≤ −2ε

Das zeigt also α + 2ε ≤ β. Somit werden A und B stark durch die HyperebeneHu,(α+β)/2 getrennt.

Aufgabe 4.11. Seien A,B ⊆ Rn abgeschlossen und konvex. Zeigen Sie Folgendes:

(a) Ist A oder B beschrankt, dann ist A−B abgeschlossen.

(b) Es existieren Beispiele von unbeschrankten Mengen A und B, fur welche A−Bnicht abgeschlossen ist.

Aufgabe 4.12. Seien A und B nichtleere konvexe Teilmengen von Rn mit

A ∩B = ∅.

Dann gilt:

(a) Die Mengen A und B konnen getrennt werden.

(b) Ist einer dieser Mengen kompakt und die andere abgeschlossen, so konnen Aund B stark getrennt werden.

4.6 Bemerkungen

Dieses Kapitel basiert auf [Sch93].

37


5 Farkas-Lemmas und Dualitat linearer Aufgaben

5.1 Das Farkas-Lemma fur Systeme in der Standardform

Theorem 5.1. Seien A ∈ Rm×n und b ∈ Rm mit m,n ∈ N. Dann besitzt entwederdas System

Ax = b und x ≥ 0 (∗)

eine Losung x ∈ Rn oder das System

yA ≥ 0 und yb < 0 (∗∗)

eine Losung y ∈ Rm. Mit anderen Worten sind die folgenden beiden Bedingungenaquivalent:

(i) ∃x (Ax = b, x ≥ 0).

(ii) ∀y (yA ≥ 0⇒ yb ≥ 0).

Beweis. Besitzt (∗) eine Losung so kann (∗∗) keine Losung besitzen, da man sonstfur eine Losung x des einen Systems und eine Losung y des anderen Systems einWiderspruch hatte:

0 ≤ (yA)︸︷︷︸≥0

x︸︷︷︸≥0

= y(Ax) = yb < 0.

Besitzt (∗) keine Losung, so gilt b 6∈ C := cone(a1, . . . , an) fur die Spalten a1, . . . , anvon A. Nach dem Trennsatz fur einen konvexen Kegel und einen Punkt existiert einy ∈ Rm mit 〈y, c〉 ≥ 0 fur alle c ∈ C und 〈y, b〉 < 0. Dieses y ist eine Losung von(∗∗).

Bemerkung 5.2. Das Farkas-Lemma besagt, dass die Unlosbarkeit von (∗) durchdie Angabe einer Losung y von (∗∗) bestatigt werden kann.

Beispiel 5.3. Wir betrachten (∗) im Fall

A =

(−1 11 2

), b =

(21

).

Dies ist das System:

−x1 + x2 = 2,

x1 + 2x2 = 1,

x1, x2 ≥ 0.

Wir bestatigen die Unlosbarkeit:

(−1)︸︷︷︸=:y1

·(−x1 + x2) + 1︸︷︷︸=:y2

·(x1 + 2x2) = (−1)︸︷︷︸=y1

·2 + 1︸︷︷︸=y2

·1

Das ergibt:2 · x1︸︷︷︸

≥0

+1 · x2︸︷︷︸≥0︸︷︷︸

≥0

= −1︸︷︷︸<0

.

Die linke Seite ist nichnegativ, die rechte Seite ist negativ. Wir haben die Losungy = (y1 y2) ∈ R2 des Systems (∗∗) mit y1 = −1 und y2 = 1 benutzt.

38


5.2 Dualitat fur lineare Aufgaben in der Standardform

Theorem 5.4. Man betrachte fur eine Matrix A ∈ Rm×n und Vektoren b ∈ Rm undc ∈ Rn die lineare Aufgabe in der Standardform

α = min {f(x) : x ∈ Rn, Ax = b, x ≥ 0} (std-LP)

mit der Zielfunktion f(x) = 〈c, x〉 und die lineare Aufgabe

β = max {g(y) : y ∈ Rm, yA ≤ c} (std-LP-dual)

mit der Zielfunktion g(y) = 〈y, b〉. Dann gilt:

(a) Wenn (std-LP) und (std-LP-dual) zulassige Losungen besitzt, dann gilt α = β ∈R.

(b) Ist (std-LP) unbeschrankt, d.h., α = −∞, so besitzt (std-LP-dual) keine zLen,d.h., β = −∞.

(c) Ist (std-LP-dual) unbeschrankt, d.h., β = +∞, so besitzt (std-LP) keine zulassigeLosungen, d.h., α = +∞.

(d) Fur eine zL x∗ von (std-LP) und eine zL y∗ von (std-LP-dual) sind die folgendenBedingungen aquivalent:

(i) x∗ ist optimal fur (std-LP) und y∗ ist optimal fur (std-LP-dual)

(ii) f(x∗) = g(y∗)

(iii) Fur jedes i ∈ [n] ist die i-te Komponente von x∗ oder die i-te Komponentevon c− y∗A gleich 0.

Beweis. (a): Angenommen, die beiden Aufgaben besitzen zulassige Losungen. Danngilt fur jede zulassige Losung x von (std-LP) und jede zulassige Losung y von (std-LP):

yb = y(Ax) = (yA)︸︷︷︸≤c

x︸︷︷︸≥0

≤ cx. (2)

Es folgtyb ≤ β ≤ α ≤ cx, (3)

Also gilt β, α ∈ R und β ≤ α.Um β ≥ α zu zeigen, leiten wir fur jedes ε > 0 die Ungleichung β ≥ α − ε her.

Nach der Wahl von α hat das System

Ax = b, 〈c, x〉 = α− ε, x ≥ 0

in den Unbekannten x ∈ Rn keine Losung. Wir formulieren dieses System als(A−c

)x =

(b

ε− α

), x ≥ 0

und verwenden zu dieser Formulierung das Farkas-Lemma (Theorem 5.1). Es folgt,dass das System (

y z)( A−c

)≤ 0,

(y z

)( bε− α

)> 0

39


eine Losung (y, z) ∈ Rm × R hat. Mit anderen Worten gelten y und z die Unglei-chungen

yA− zc ≤ 0, yb+ z(ε− α) > 0. (4)

Wir zeigen nun, dass z > 0 gilt. Fur eine optimale Losung x∗ von (std-LP) gilt:

zα = zc︸︷︷︸≥yA

x∗︸︷︷︸≥0

≥ y Ax∗︸︷︷︸=b

= yb > z(α− ε).

Also gilt zε > 0, woraus z > 0 folgt.Wir ersetzen y durch y/z und z durch 1 und erhalten dadurch eine Losung von

(4) mit z = 1, d.h., es gilt

yA− c ≤ 0, yb+ ε− α > 0.

Wir haben eine Losung y von (std-LP-dual) konstruiert, fur die g(y) = yb > α − εgilt. Daher gilt β ≥ α− ε. Weil ε > 0 beliebig war, folgt β ≥ α.

(b) und (c) folgen direkt aus dem Beweis von (a), vgl. (2).(d): Die Aquivalenz von (i) und (ii) folgt aus (a). Wir zeigen die Aquivalenz von

(ii) und (iii). Es gilt

g(y∗) = y∗b = y∗A︸︷︷︸≤c

x∗︸︷︷︸≥0

≤ cx∗ = f(x∗),

D.h. f(x∗) = g(y∗) gilt genau dann wenn die Gleichung

0 = cx∗ − y∗Ax∗ = (c− y∗A)x∗

erfullt ist. Hierbei sind c − y∗A und x∗ nichtnegative Vektoren. Es folgt, dass derWert (c− y∗A)x∗ = 0 genau dann gilt, wenn die Bedingung (iii) erfullt ist.

Die Probleme (std-LP) und (std-LP-dual) heißen zueinander dual. Die Bedin-gung (iii) in (d) heißt die komplementare Schlupfbedingung (engl. complementaryslackness).

Korollar 5.5. Wenn im vorigen Theorem (std-LP) oder (std-LP-dual) zLen besitzt,so gilt α = β.

Beweis. Theorem 5.4(a) gilt die Gleichheit α = β, wenn die beiden Aufgaben be-schrankt sind und wenn einer der Aufgaben unbeschrankt ist. Es bleibt also zuzeigen, dass es nicht moglich ist, dass eine der beiden Aufgaben beschrankt und dieandere unzulassig ist.

Im Fall, dass (std-LP) beschrankt und zulassig ist, haben wir im Beweis von (a)eine zulassige Losung fur (std-LP-dual) konstruiert.

Im Fall, dass (std-LP-dual) beschrankt und zulassig ist, konnen wir das folgendeWiderspruchsargument verwenden. Angenommen, (std-LP) ware unzulassig. Danngabe es nach dem Farkas lemma ein y∗ mit y∗A ≤ 0 und y∗b > 0. Sei y0 beliebigezulassige Losung von (std-LP-dual). Dann ist die Losung y0 + λy∗ fur jedes λ ≥ 0fur das Problem (std-LP-dual) zulassige, und der Wert der Zielfunktion g an dieserLosung geht gegen +∞, fur λ → +∞, was der Voraussetzung, dass (std-LP-dual)beschrankt ist, widerspricht.

40


Beispiel 5.6. Wir illustrieren durch ein Beispiel die geometrische Bedeutung derDualitat. Man betrachte

β = max {y2 : y1 + y2 ≤ 1,−y1 + y2 ≤ 1, y1 ≤ 1,−y1 − y2 ≤ 2} .

Das ist das Problem der Bestimmung des hochsten Punkts in einem Polygon

Q = {y : yai ≤ ci fur i = 1, 2, 3, 4} ,

mit

a1 =

(11

)a2 =

(−11

)a3 =

(10

)a4 =

(−1−1

)und

c =(1 1 2

)Aus Ungleichungen des Systems yA ≤ c in einem unbekannten Vektor y kann

mit Hilfe eines x ≥ 0 die Ungleichung y(Ax) ≤ cx mit der linken Seite (Ax) undder rechten Seite cx hergeleitet werden. Geometrisch gesehen liegt Q im HalbraumH := H≤Ax,cx fur jede Wahl von x ≥ 0. Ist x ≥ 0 so gewahlt, dass wir Ax = b

haben, so hat man H≤Ax,cx = H≤b,cx, sodass durch den Halbraum H die Werte derZielfunktion by von (std-LP-dual) kontrolliert werden, und zwar ist der Wert cxeine obere Schranke an die Werte der Zielfunktion.

y1

y2

a1a2

a3a4

b

In unserem konkreten Fall hat man fur x1, x2, x3, x4 ≥ 0 die Beschreibung

H = {(y1, y2) ∈ R2 :

x1(y1 + y2) + x2(−y1 + y2) + x3y1 + x4(−y1 − y2) ≤ x1 · 1 + x2 · 1 + x3 · 1 + x4 · 2}= {(y1, y2) : (x1 − x2 + x3 − x4)y1 + (x1 + x2 +−x4)y2 ≤ x1 + x2 + x3 + 2x4}

Wenn die Bedingungen

x1 − x2 + x3 − x4 = 0,

x1 + x2 − x4 = 1

41


erfullt sind, so lasst sich der Halbraum als

H = {(y1, y2) : y2 ≤ x1 + x2 + x3 + 2x4} .

darstellen. Das ist ein Halbraum mit einem außeren Normalenvektor (0, 1). Mitdieser Wahl von x1, . . . , x4 ist fur jeden Punkt (y1, y2) ∈ Q der Wert y2 hochstensx1 + x2 + x4. Das Dualitatstheorem besagt, dass man eine Wahl von x1, x2, x3, x4hat, bei der der hochsten Punkt im Rand eines solchen Halbraums H liegt. (Diegeometrische Bedeutung der Dualitat ist im Sinne dieses Beispiels in [Sch86, §7.5]beschrieben.) Da (y1, y2) = (0, 1) die optimale Losung des Problems auf Q ist, sagtuns die komplementare Schlupfbedingung, dass beim kleinstmoglichen x1 +x2 +x3 +2x4 man x3 = x4 = 0 haben muss (denn fur (y1, y2) = (0, 1) ist die dritte und dievierte Nebenbedingung in yA ≤ c strikt.)

Bemerkung 5.7. Die Situation, dass weder (std-LP) noch (std-LP-dual) keine zLenbesitzt, ist moglich, bereits fur m = n = 1. Man findet aber auch Beispiele in hoherenDimensionen. (Finden Sie Beispiele dazu.) Man betrachte y = (y1, y2) und das Sy-stem y2 ≥ 0, 1 ≤ y1 ≤ −1 und die Zielfunktion g(y1, y2) = y1 + y2. Man hat keinezulassige Losungen. In der Matrixform:

max

{(y1 y2

)(11

):(y1 y2

)( 0 1 −1−1 0 0

)≤(0 −1 −1

)}Die Aufgabe ist unzulassig, weil die letzten zwei Ungleichungen inkompatibel sind.Diese Aufgabe ist dual zur Aufgabe

max

(0 −1 −1)x1x2

x3

: x1, x2, x3 ≥ 0,

(0 1 −1−1 0 0

)x1x2x3

=

(11

)Das System ist durch zwei Gleichungen definiert: x2 − x3 = 1 und −x1 = 1. DieGleichung −x1 = 1 kann nicht erfullt sein, da x1 nichtnegativ ist. Die Unzulassigkeitkann man auch an dem folgenden Bild erkennen:

y1

y2

a1

a2

a3

b

5.3 Basis-Darstellung von (std-LP-dual)

Wir werden eine Variante der Simplex-Methode zur Losung von (std-LP-dual) und(std-LP) herleiten, die aus der Dualitatsrelation der Aufgaben (std-LP-dual) und(std-LP) hervorgeht. Dafur werden wir eine Basisdarstellung fur (std-LP-dual) her-leiten, die der Basisdarstellung fur (std-LP) aus dem Abschnitt 3.4 entspricht.

42


Wir benutzen in diesem Abschnitt die Bezeichnungen aus dem Abschnitt 3.4,in dem wir das Problem (std-LP) bzgl. einer Basis dargestellt haben. Insbesonde-re setzen wir in diesem Abschnitt voraus, dass die Matrix A aus (std-LP) vollenZeilenrang hat. Wir bemerken, dass die Herleitung der Basisdarstellung (std-LP-B)des Problems (std-LP) im Abschnitt 3.4 auf den Fall einer beliebigen Basis B direktverallgemeinert werden kann, d.h., die Basisdarstellung gilt auch, wenn die Losungx∗ zur Basis B fur das Problem (std-LP) unzulassig ist.

Fur eine Basis B = (ai)∈B aus Spalten von A nennen wir den Vektor

y∗ = cBA−1∗,B (5)

eine Basislosung fur (std-LP-dual) zur Basis B. Mit Spalten von a1, . . . , an lasst sichdie vorige Definition als

〈y∗, ai〉 = ci ∀i ∈ B

darstellen (d.h., fur m linear unabhangige linke Seiten erfullt y∗ die entsprechendenUngleichungen mit Gleichheit). Wenn y∗ fur (std-LP-dual) zulassig ist, so nennenwir sie eine zBL von (std-LP-dual). Geometrisch entspricht die eine zBL einer Eckedes Polyeders {y ∈ Rm : yA ≤ c}. Die Ecken werden formal etwas spater eingefuhrt.

Beispiel 5.8. Die Aufgabe (std-LP) aus Beispiel 5.6 hat 4 zulassige und eine un-zulassige Basislosung. Die zulassigen Losungen sind Losungen zu den vier Basen

(a1, a2), (a2, a4), (a4, a3), (a3, a1)

und die einzige unzulassige Losung ist die Losung zur Basis (a2, a3).

y1

y2

a1a2

a3a4

b

Wir leiten nun eine Darstellung von (std-LP-dual) bzgl. einer beliebigen Basis Bher (d.h., die Losung y∗ zur Basis B muss nicht zulassig sein). Man hat

yA ≤ c ⇔ yA∗,B ≤ cB, yA∗,N ≤ cN

Wegen (5) hat man fur yA∗,B ≤ cB die Aquivalenz

yA∗,B ≤ cB ⇔ (y∗ − y)A∗,B ≥ 0

und fur yA∗,N ≤ cN die Aquivalenzen

43


yA∗,N ≤ cN ⇔ (y − y∗)A∗,N ≤ cN − y∗︸︷︷︸=A−1∗,Bb

A∗,N

⇔ (y − y∗)A∗,N ≤ cN − cB A−1∗,BA∗,N︸︷︷︸=A

⇔ (y − y∗)A∗,N ≤ cN − cBA︸︷︷︸=c

⇔ (y − y∗)A∗,N ≤ c⇔ (y∗ − y)A∗,N + c ≥ 0

Die Zielfunktion g(y) = yb von (std-LP-dual) wird ebenfalls entsprechend um-formuliert:

g(y) = yb = y∗b+ (y − y∗)b = g(y∗) + (y − y∗)b = g(y∗)− (y∗ − y)b.

Das Problem (std-LP-dual) kann also als das Problem

max {g(y∗)− (y∗ − y)b : (y∗ − y)A∗,B ≥ 0, (y∗ − y)A∗,N + c ≥ 0} (std-LP-dual-B)

umformuliert werden. Die vorige Beschreibung nennen wir die Darstellung von (std-LP-dual) bzgl. der Basis B. Diese Darstellung konnen wir kompakt in den Variablen

z = (y∗ − y)A∗,B ∈ RB.

formulieren. Die Zielfunktion kann nun mit Hilfe der Variablen z dargestellt werden:

g(y∗)− (y∗ − y)b = g(y∗)− z A−1∗,Bb︸︷︷︸=x∗B

= g(y∗)− zx∗B.

Wir erhalten also die Darstellung

max{g(y∗)− zx∗B : z ∈ RB, z ≥ 0, zA+ c ≥ 0

}(std-LP-dual-B’)

von (std-LP-dual-B) in den Variablen z. In dieser Formulierung sehen wir also dieselben Daten x∗B, A, c, die wir auch in der Formulierung (std-LP-B) von (std-LP)in Kapitel 3 benutzt haben. Diese Daten bekommen also eine weitere Interpretationfur (std-LP-dual).

Proposition 5.9. Man betrachte das Problem (std-LP) und das zugehorige dualeProblem (std-LP-dual) wie in Theorem 5.4 fur eine Matrix A mit vollem Zeilenrang.Sei B = (ai)i∈B eine Basis aus Spalten von A. Sei x∗ die Basislosung von (std-LP)zur Basis B und y∗ die Basislosung von (std-LP-dual) zur Basis B. Dann gilt:

(a) ω := f(x∗) = g(y∗).

(b) Wenn c ≥ 0 erfullt ist, dann ist

(b1) die Basislosung y∗ von (std-LP-dual) ist zulassig,

(b2) der Wert ω eine untere Schranke an (std-LP-dual),

44


(b3) der Wert ω eine untere Schranke an (std-LP).

(c) Wenn x∗B ≥ 0 erfullst ist, dann ist

(c1) die Basislosung x∗ von (std-LP) ist zulassig,

(c2) der Wert ω eine obere Schranke an (std-LP),

(c3) der Wert ω eine obere Schranke an (std-LP-dual).

(d) Wenn c ≥ 0 und x∗B ≥ 0 erfullt ist, so ist x∗ eine optimale Losung von (std-LP)und y∗ eine optimale Losung von (std-LP-dual).

Beweis. (a): Man hat

f(x∗) = cBx∗B = cBA

−1∗,Bb = y∗b = g(y∗).

(b): Sei c ≥ 0. Dass y∗ fur (std-LP-dual) zulassig ist, folgt offensichtlich aus(std-LP-dual-B). Dann ist auch der Wert ω = g(y∗) eine untere Schranke fur (std-LP-dual). Der Wert ω = f(x∗) ist eine untere Schranke an (std-LP): dies folgt direktaus der Darstellung

f(x) = f(x∗) + cxN

der Zielfunktion von (std-LP) in der Formulierung (std-LP-B).(c): Aus x∗B ≥ 0 folgt, dass die Losung x∗ von (std-LP) zulassig ist. Somit ist

ω = f(x∗) eine obere Schranke an (std-LP). Der Wert ω ist eine obere Schrankean (std-LP-dual). Um das zu zeigen, benutzen wir die Formulierung (std-LP-dual-B’) von (std-LP-dual) zur Basis B mit Hilfe von Variablen z. Fur jede zL z von(std-LP-dual-B’) gilt:

g(y∗)− zA−1∗,Bb = g(y∗)− z︸︷︷︸≥0

x∗B︸︷︷︸≥0

≤ g(y∗) = ω.

Die Behauptung (d) folgt nun direkt aus (a), (b) und (c), da im Fall c ≥ 0, x∗B ≥0, die beiden Losungen x∗ und y∗ fur ihre Probleme zulassig sind, und der Wertω = f(x∗) = g(y∗) eine obere sowie eine untere Schranke fur die beiden Problemeist.

5.4 Primale und duale Simplex-Methoden

Die in (std-LP-dual-B’) verwendete Matrix A, die Vektoren c und x∗B sowie der Wertg(y∗) = f(x∗) sind im Simplex-Tableau fur (std-LP) zur Basis B vorhanden.

Wegen der Dualitat sieht man, dass die im Kapitel 3 eingefuhrte Simplex-Methodezur Losung von (std-LP) auch das Problem (std-LP-dual) losen kann. Dabei kon-struiert die Simplex-Methode iterativ eine Folge von oberen Schranken an (std-LP),die man auch als obere Schranken an (std-LP-dual) interpretieren kann.

Eine Simplex-Methode, die fur ein Minimierungsproblem eine Folge von unterenSchranken konstruiert, nennen wir dual. Eine Simplex-Methode, die fur ein Mini-mierungsproblem eine Folge von oberen Schranken konstruiert (durch die Angabeder zugehorigen zBLen) nennen wir primal. Analog wird eine Simplex-Methode, diefur ein Maximierungsproblem ein Folge von oberen Schranken konstruiert dual ge-nannt und eine Simplex-Methode, die fur ein Maximierungsproblem eine Folge vonunteren Schranken konstruiert, primal genannt. Laut den vorigen Definitionen ist

45


die Simplex-Methode aus dem Kapitel 3 fur (std-LP) primal und fur (std-LP-dual)dual. Man redet auch oft von primalen (‘was geht’) und dualen (‘was geht nicht’)Schranken.

Nun beschreiben wir eine Simplex-Methode, welche fur (std-LP) dual und fur(std-LP-dual) primal ist. Sei B eine Basis, fur die c ≥ 0 gilt, sodass die BL y∗ von(std-LP-dual) zur Basis B zulassig ist. In (std-LP-dual-B’) ist die Zielfunktion durchg(y∗) − zx∗B beschrieben. Gilt x∗B ≥ 0, so ist y∗ fur (std-LP-dual) optimal und x∗

fur (std-LP) optimal. Ansonsten, existiert ein ` ∈ B mit x∗` < 0. Pivoting-Schrittein dieser Situation werden durch die folgende Proposition festgelegt.

Proposition 5.10. Man betrachte das Problem (std-LP-dual) fur eine Matrix Amit vollem Zeilenrang, deren Spalten wir als a1, . . . , an bezeichnen. Fur eine BasisB = (ai)i∈B aus Spalten von A betrachte die zugehorigen Darstellungen (std-LP-dual-B) und (std-LP-dual-B’) von (std-LP-dual). Sei c ≥ 0 erfullt, sodass die BL y∗

von (std-LP-dual) zur Basis B zulassig ist. Sei ` ∈ B ein Index mit x∗` < 0. Fur einθ ≥ 0 betrachte den Vektor y′, der durch die Gleichung z = (y∗ − y′)A∗,B gegebenist, wobei der Vektor z = (zi)i∈B komponentenweise durch die Gleichungen

zi =

{θ, i = `,

0, i ∈ B \ {`}.

beschrieben ist. Dann gilt:

(a) g(y′) ≥ g(y∗), wobei diese Ungleichung bei θ > 0 strikt ist.

(b) y′ ist fur (std-LP-dual) genau dann zulassig, wenn θ ≤ θ0 gilt, mit

θ0 := min {−c`/a`j : j ∈ J} ,J := {j ∈ N : a`j < 0}

und N := [n] \B.

(c) Ist die Menge J aus (b) leer, so ist (std-LP-dual) unbeschrankt.

(d) Wenn θ = θ0 gilt und k ∈ J ein Index mit −c`/a`k = θ0 ist, so ist y′ eine zBLvon (std-LP-dual) zur Basis (ai)i∈B\{`}∪{k}.

Beweis. (a) folgt sofort aus (std-LP-dual-B’), denn nach der Wahl von y′ und wegenx∗` < 0 gilt g(y′) = g(y∗)− θx∗` ≥ g(y∗), wobei die letzte Ungleichung im Fall θ > 0strikt ist.

(b) Wegen (std-LP-dual-B’) ist y′ genau dann fur (std-LP-dual) zulassig, wennzA+ c ≥ 0 erfullt ist. Komponentenweise lasst sich die vorige Bedingung als∑

i∈Bziaij + cj ≥ 0 ∀j ∈ N

darstellen. Wegen der Wahl von z ist das vorige System aquivalent zu

θa`j + cj ≥ 0 ∀j ∈ N.

Wenn a`j ≥ 0 so gilt wegen c` ≥ 0 die vorige Bedingung fur jedes θ ≥ 0. Das zeigt,dass die vorige Bedingung genau dann erfullt ist, wenn die Bedingung θ ≤ θ0 aus(b) gilt.

46


(c): Wenn J = ∅ ist, dann ist y′ fur jedes θ ≥ 0 zulassig. Des Weiteren hat mang(y′) = g(y∗)− θx∗` → +∞ fur θ → +∞.

(d): In Abschnitt 5.3 haben wir die Aquivalenz

y′A∗,N ≤ cN ⇔ (y∗ − y′)A∗,N + c ≥ 0 ⇔ zA+ c ≥ 0

von Ungleichungssystemen benutzt. Es ist klar, dass die folgende analoge Aquivalenz⟨y′, aj

⟩≤ cj ⇔

⟨y∗ − y′, aj

⟩+ cj ≥ 0 ⇔

∑i∈B

ziaij + cj ≥ 0

auch fur einzelne Ungleichungen mit j ∈ N gilt. Daruber hinaus gelten analogeAquivalenzen gelten fur den Gleichheitsfall in diesen Ungleichungen. Nach unsererWahl von z ist die letzte Ungleichung aquivalent zu

θa`j + cj ≥ 0.

Wenn wir also ein k wie in (d) fixieren, haben wir den Gleichheitsfall fur j = k. Dasimpliziert die Gleichheit 〈y′, ak〉 = ck. Anderseits impliziert die Gleichung z = (y∗−y′)A∗,B, die man als zi = 〈y∗ − y′, ai〉 ∀i ∈ B schreiben kann, fur jedes i ∈ B \ {`},die Gleichheit 〈y∗ − y′, ai〉 = 0. D.h., 〈y′, ai〉 = 〈y∗, ai〉 = ci fur alle i ∈ B \ {`}.Zusammenfassend gilt: ⟨

y′, ai⟩

= ci ∀i ∈ B \ {`} ∪ {k}.

Es bleibt zu verifizieren, dass (ai)i∈B\{`}∪{k} eine Basis ist. Wir benutzen das selbeArgument wie in Proposition 3.8 uber das Pivoting fur (std-LP):

A = A−1∗,BA∗,N ⇔ A∗,N = A∗,BA ⇔ aj =∑i∈B

aiaij ∀j ∈ N.

Insbesondere ist ak =∑

i∈B aiaik mit a`k 6= 0. Nach dem Basisaustauschlemma ausder linearen Algebra ist das System (ai)i∈B\{`}∪{k} eine Basis.

Beispiel 5.11. Wir betrachten (std-LP-dual) aus Beispielen 5.6 und 5.8.

y1

y2

a1a2

a3a4

b

Fur diese Aufgaben werden wir zwei Pivoting-Schritte machen, die geometrischendem folgenden Pfad entsprechen.

47


Die Berechnung einer Startlosung und Test auf Zulassigkeit fur (std-LP-dual)werden etwas spater diskutiert. Fur diese Beispiel setzen wir als bekannt voraus,dass die BL zur Basis (a3, a4) fur (std-LP-dual) zulassig ist.

Als Erstes konvertieren wir das Simplex-Tableau der Originalformulierung zumTableau zur Basis (a3, a4):

x1 x2 x3 x41 −1 1 −1 01 1 0 −1 1

1 1 1 2 0

max y2 : y1, y2 ∈ Ry1 + y2 ≤ 1 1

−y1 + y2 ≤ 1 2

y1 ≤ 1 3

−y1 − y2 ≤ 2 4

Transformationen:(2) := −(2)(1) := (1) + (2)(z) := (z)− (1)− 2 · (2)

Tableau zur Basis (a3, a4) :x1 x2 x3 x40 −2 1 0 −1

−1 −1 0 1 −1

3 5 0 0 3

(std-LP-dual-B’) fur dieses Tableau:max −3 + z3 + z4 :

−z4 + 3 ≥ 0−2z3 − z4 + 5 ≥ 0

z3 ≥ 0z4 ≥ 0

Da man x∗3 < 0 und x∗4 < 0 hat, konnen wir a3 oder a4 aus der Basis ausfuhren.Wir fuhren a4 raus. Es muss entschieden werden, ob nun a1 oder a2 die Basis be-tritt. Der Vergleich der Quotienten 3/1 und 5/1 zeigt, dass a1 die Basis betritt. DerBasiswechsel erfolgt durch die Operationen:

(2) := −(2)(z) := (z)− 3(2):

Tableau zur Basis (a1, a3):x1 x2 x3 x40 −2 1 0 −1

1 1 0 −1 1

0 2 0 3 0

(std-LP-dual-B’) fur dieses Tableaumax 0− z1 + z3 :

z1 ≥ 0−2z3 + z1 + 2 ≥ 0

z3 ≥ 0−z1 + 3 ≥ 0

48


Da hier nur x∗3 negative ist, muss a3 die Basis verlassen. Der Vektor a2 mussdie Basis betreten, da unter die Komponente a3j von A nur fur j = 2 negativ ist.Durch Transformationen

(1) := −12(1)

(2) := (2)− (1)(z) := (z)− 2(1)

erreichen wir

Tableau zur Basis (a1, a2):x1 x2 x3 x40 1 −1/2 0 1/2

1 0 1/2 −1 1/2

0 0 1 3 −1

(std-LP-dual-B’) fur dieses Tableaumax 1− 1

2z1 −12z2 :z2 ≥ 0z1 ≥ 0

−12z2 + 1

2z3 + 1 ≥ 0−z1 + 3 ≥ 0

Wir sehen also, dass diese Losung zur Basis (a1, a2) optimal ist, da fur dieseBasis x∗B ≥ 0 gilt.

Im letzten Tableau kann man die optimale Losung von (std-LP-dual) zur Basis(a1, a2) noch nicht direkt ablesen. Diese Losung kann etwa mit Hilfe des Gauß-Verfahrens ausgerechnet werden. Wir losen das lineare Gleichungssystem yA∗,B =cB fur B = {1, 2}. Das System ist

(y1 y2

)(1 −11 1

)=(1 1

).

Als optimale Losung von (std-LP-dual) erhalten wir das y mit y1 = 0 und y2 = 1.

Bemerkung 5.12. Hier mehrere Beschreibungen der Arbeitsweise der Simplex-Methoden.

• Die primale Simplex-Methode entspricht einer Wanderung von Ecke zu Eckeentlang der Kanten eines Polyeders. Das illustrieren Beispiele 5.11 und 3.9bzgl. (std-LP-dual) und (std-LP).

• Die primale Simplex-Methode iteriert uber zBLen, bis eine optimale zBL er-reicht wird bzw. Unbeschranktheit nachgewiesen wird.

• Die duale Simplex-Methode iteriert uber unzulassige BLen, bis eine optimalezBL erreicht wird.

Es sei nochmals daran hingewiesen: die Simplex-Methode dieses Kapitels ist primalfur (std-LP-dual) und dual fur (std-LP). Die Simplex-Methode aus Kapitel 3 istprimal fur (std-LP) und dual fur (std-LP-dual).

Bemerkung 5.13 (Wahl der Simplex-Methode). Wir vergleichen kurz die primaleund duale Simplex-Methode:

• Die primale Simplex-Methode fur (std-LP) entspricht der Wanderung auf ei-nem Polyeder mit der Dimension hochstens n−m mit hochstens n Facetten.

49


Die duale Simplex-Methode fur (std-LP) entspricht einer Wanderung auf ei-nem Polyeder der Dimension hochstens m mit hochstens n Facetten. In derRegel ist die Dimension der kritische Parameter (es sei denn, die Anzahl derUngleichungen ist extrem groß). Man hat m ≤ n−m bei n ≥ 2m. Also musstedie duale Simplex-Methode fur (std-LP) fur n ≥ 2m eigentlich schneller sein.

• Bei sehr großen LPs hat man in jeder Iteration der primalen Simplex-Methodeeine zL. Wenn man die Methode nach einem vorgegebenen Zeitlimit abbricht,kann diese (nicht-optimale) zL benutzt werden. Bei der dualen Simplex-Methodekriegt man erst nach der Terminierung eine zL.

• Andert man nach dem Losen eines LPs die Zielfunktion, so bleibt die primale(aber nicht notwendigerweise die duale) Zulassigkeit einer Losung erhalten undman kann das abgeanderte Problem unter Beibehaltung der aktuellen Basis mitder primalen Simplex-Methode losen.

• Andert man nach dem Losen eines LPs die rechte Seite der Nebenbedingungs-matrix oder fugt Nebenbedingungen hinzu, so bleibt die duale (aber nicht not-wendigerweise die primale) Zulassigkeit einer Losung erhalten und fur die dua-le Simplex-Methode ist somit ein ‘Warmstart’ moglich.

Bemerkung 5.14. Die duale Simplex-Methode im Rahmen der sogenannten Schnitt-ebenen-Methoden zur Losung verschiedener Aufgaben aus der kontinuierlichen, dis-kreten und gemischt-ganzzahligen Optimierung benutzt.

Wir nennen eine BL y∗ = cB(A∗,B)−1 zur Basis (ai)i∈B entartet falls 〈y∗, aj〉 = cjfur ein j ∈ N := [n] \B gilt.

Bemerkung 5.15. Komplett analog zur Simplex-Methode aus Kapitel 3 hat manauch fur die oben prasentierte Simplex-Methode Anticycling-Regeln, wie etwa dieBland-Regel, bei der der kleinste Index ` ∈ B mit x∗` < 0 und anschließend derkleinste Index k ∈ J mit −ck/a`k = θ0 gewahlt werden. Diese Regel garantiert dieTerminierung unabhangig davon, ob ein generischer oder ein entarteter Fall vorliegt.

Bemerkung 5.16. Fur einen Zulassigkeitstest von (std-LP-dual) und Bestimmungeiner Startlosung kann (std-LP-dual) in Standardform gebracht und wie in Ab-schnitt 3.9 beschrieben eine Startlosung gefunden werden.

Alternativ kann aber auch ein Hilfsproblem ahnlich zu dem in Kapitel 3 formu-liert werden, das direkt auf die duale Simplex-Methode zugeschnitten ist:

Sei eine beliebige Basis B gegeben, die wir als dual unzulassig annehmen (sonstist nichts zu tun). Wir fugen die Nebenbedingung∑

i∈Nxi ≤M

zu (std-LP) hinzu, wobei die symbolische Große M eine reelle Zahl reprasentiert,die großer als alle wahrend der folgenden Rechnung auftretenden Werte ist. Diezugehorigen Slackvariable bezeichnen wir mit xn+1 und fugen sie zu B hin. Die we-sentlich Idee der Konstruktion besteht darin, dass der Zielfunktionswert von (std-LP) nun fur alle Werte von M offensichtlich beschrankt ist und mithilfe der obigenNebenbedingung direkt eine zulassige Losung fur (std-LP) konstruiert werden kann.

50


Dazu fuhren wir einen Pivot-Schritt durch, bei dem xn+1 die Basis verlasst und dieVariable mit den kleinsten reduzierten Kosten die Basis betritt. Danach ist die neueBasis dual zulassig und es kann mit der dualen Simplex-Methode fortgesetzt werden,wobei M symbolisch beibehalten wird (siehe nachfolgend Beispiel 5.17).

Ist (std-LP-dual) zulassig, so finden wir nach endlich vielen dualen Simplex-Schritten eine dual zulassige Basis B′ mit xn+1 ∈ B′. In diesem Fall ist B′\{xn+1}eine dual zulassige Basis fur das ursprunglichen Problem (std-LP). Auch der Wertder zugehorigen Losung hangt dann im finalen Tableaus nicht mehr von M ab.

Gelangen wir hingegen zu einem optimalen Tableau zur Basis cB′′ mit xn+1 /∈ B′′,so lasst sich nach Konstruktion keine Schranke von (std-LP) konstruieren ohne dieNebenbedingung

∑i∈N xi ≤ M zu verwenden; somit existiert keine dual zulassige

Basislosung fur (std-LP).

Beispiel 5.17. Wir betrachten die lineare Aufgabe

min{ − x2 − 5x3 + x4 :

x1 + 2x2 − x3 + x4 = 4,

3x2 + 4x3 − x4 + x5 = 3,

x1, . . . , x5 ≥ 0},

zu der wir eine dual zulassige Basislosung bestimmen mochten. Wir betrachten dasfolgende Tableau zur willkurlich gewahlten Basis B = {1, 5}.

x1 x2 x3 x4 x51 2 −1 1 0 4

0 3 4 −1 1 3

0 −1 −5 1 0 0

Wie wir sehen, ist B dual unzulassig. Gemaß der vorigen Bemerkung fugen wirdie Nebenbedingung

x2 + x3 + x4 ≤M

hinzu, bezeichnen die zugehorige Slackvariable als x6 und fugen sie zur Basis hinzu.Wir erhalten das folgende Tableau:

x1 x2 x3 x4 x5 x60 1 1 1 0 1 M

1 2 −1 1 0 0 4

0 3 4 −1 1 0 3

0 −1 −5 1 0 0 0

Nun fuhren wir einen speziellen Pivot-Schritt durch, in dem x6 die Basis verlasstund die Variable mit den kleinsten reduzierten Kosten, in unserem Beispiel also x3,die Basis betritt.

x1 x2 x3 x4 x5 x60 1 1 1 0 1 M

1 3 0 2 0 1 4 +M

0 −1 0 −5 1 −4 3− 4M

0 4 0 6 0 5 5M

51


Wir erhalten ein dual zulassiges Tableau. Es ist allerdings primal unzulassig, da3 − 4M < 0 fur große M . Nun konnen wir mit der dualen Simplex-Methode weiterrechnen: x5 verlasst die Basis und x4 tritt in die Basis ein.

x1 x2 x3 x4 x5 x60 4

5 1 0 15

15

35 + 1

5M

1 135 0 0 2

5 −35

265 −

35M

0 15 0 1 −1

545 −3

5 + 45M

0 145 0 0 6

515

185 + 1

5M

Nun verlasst x1 die Basis und x6 tritt in die Basis ein.

x1 x2 x3 x4 x5 x613

53 1 0 1

3 0 73

−53 −13

3 0 0 −23 1 −26

3 +M43

113 0 1 1

3 0 193

13

113 0 0 4

3 0 163

Da x6 die Basis wieder betreten hat, wissen wir, dass das ursprungliche Problemdual zulassig ist und konnen mit B′ = {x3, x4} eine dual zulassige Basis angeben.Die zugehorige Basislosung x = (0, 0, 73 ,

193 , 0) ist außerdem primal zulassig und somit

optimal.

5.5 Varianten des Farkas-Lemmas

Aufgabe 5.18 (Varianten des Farkas-Lemmas). Seien A ∈ Rm×n und b ∈ Rm(m,n ∈ N). Dann gelten die Aquivalenzen (i) ⇔ (ii) fur die folgenden Paare vonBedingungen.

(a) (i) ∃x(x ≥ 0, Ax = b)

(ii) ∀y((yA ≥ 0)⇒ (yb ≥ 0)).

(b) (i) ∃x(x ≥ 0, Ax ≤ b)(ii) ∀y((y ≥ 0, yA ≥ 0)⇒ (yb ≥ 0).

(c) (i) ∃x(Ax ≤ b)(ii) ∀y((y ≥ 0, yA = 0)⇒ (yb ≥ 0)).

Noch etwas allgemeiner kann man das folgende zusammenfassende Farkas-Lemmaformulieren.

Aufgabe 5.19 (Farkas-Lemma in einer zusammenfassenden Form). Seien A,B, F,GMatrizen und b, g Vektoren mit Komponenten aus R deren Großen so gewahlt sind,dass das System x ≥ 0, Ax+ By = b, Fx+Gy ≤ g in unbekannten Vektoren x undy wohldefiniert ist. Dann sind die folgenden Bedingungen aquivalent:

(i) ∃x∃y(x ≥ 0, Ax+By = b, Fx+Gy ≤ g).

(ii) ∀u∀v((v ≥ 0, uA+ vF ≥ 0, uB + vG = 0)⇒ (ub+ vg ≥ 0))

52


5.6 Varianten der Dualitat von linearen Aufgaben

Analog lassen sich den linearen Aufgaben in unterschiedlichen Formen duale Aufga-ben zuordnen, fur welche die Aussagen wie die fur (std-LP) und (std-LP-dual) ausAbschnitt 5.2 gezeigt werden konnen.

Aufgabe 5.20 (Varianten der Dualitat von linearen Aufgaben). Seien A ∈ Rm×n, b ∈Rm, c ∈ Rn mit m,n ∈ N. Dann gelten fur die folgenden Paaren von linearen Auf-gaben die Aussagen (a) – (c), welche im Theorem 5.4 fur das Paar (std-LP) und(std-LP-dual) formuliert wurden:

(a) 1. min {cx : x ≥ 0, Ax = b}2. max {yb : yA ≤ c}

(b) 1. max {cx : x ≥ 0, Ax ≤ b}.2. min {yb : y ≥ 0, yA ≥ c}.

(c) 1. max {cx : x ≥ 0, Ax = b}2. min {yb : yA ≥ c}.

Aufgabe 5.21 (Dualitat von Linearen Aufgaben in einer zusammengefassten Form).Seien A,B, F,G Matrizen und b, g und c, d Vektoren mit Komponenten aus R derenGroßen so gewahlt sind, dass die lineare Aufgabe

min {cx+ dy : x ≥ 0, Ax+By = b, Fx+Gy ≥ g}

mit Variablen (x, y) wohldefiniert ist. Man betrachte die Aufgaben

max {ub+ vg : v ≥ 0, uA+ vF ≤ c, uB + vG = d}

mit Variablen (u, v). Dann gelten fur das vorige Paar von linearen Aufgaben dieAussagen (a) – (c), welche im Theorem 5.2 fur das Paar (std-LP) und (std-LP-dual) formuliert wurden.

Bemerkung 5.22. Aus der vorigen Aufgabe lasst sich das folgende Prinzip bei derErstellung von dualen Problemen erkennen:

Maximieren ! Minimierenrechte Seiten der Nebenbedingungen ! Koeffizienten der ZielfunktionVariablen aus R ! GleichungsbedingungenVariablen aus R+ ! Ungleichungsbedingungen

Trotzdem muss man aufpassen, wenn man diese Merkhilfe benutzt. Wir weisen z.B.kurz darauf hin, dass wir in Aufgabe 5.21 im Minimierungsproblem die Ungleichungs-bedingungen als Ungleichungen vom Typ ‘≥’ formuliert haben, wahrend im Maxi-miximierungsproblem die Ungleichungsbedingungen als Ungleichungen vom Typ ‘≤’formuliert sind.

Bemerkung 5.23. Vollig analog kann man auch fur allgemeine Optimierungsauf-gaben die komplementaren Schlupfbedingungen formulieren.

Aufgabe 5.24. Formulieren Sie komplementare Schlupfbedingungen fur die Paarevon Problemen aus Teilen (b) und (c) von Aufgabe 5.20.

53


5.7 Eine Anwendung: Maximale Flusse und minimale Schnitte

Ist A endliche Menge und x = (xi)i∈A ∈ RA, so benutzen wir die Bezeichnung

x(I) :=∑i∈I

xi

fur Teilmengen I von A.Ein Digraph G = (V,A) ist als ein Paar aus einer endlichen Menge V (Knoten-

menge) und einer Menge A ⊆ V 2 (Menge gerichteter Kanten) definiert. Fur u ∈ Vund S ⊆ V fuhren wir die folgenden Bezeichnungen ein:

δ+(u) := {(u, v) : v ∈ V \ {u}, (u, v) ∈ A} ,δ−(u) := {(v, u) : v ∈ V \ {v}, (v, u) ∈ A}

und

δ+(S) := {(u, v) : u ∈ S, v 6∈ S, (u, v) ∈ A} ,δ−(S) := {(u, v) : u 6∈ S, v ∈ S, (u, v) ∈ A} .

Fur s, t ∈ V mit s 6= t und c ∈ RA+ heißt N = (G, c, s, t) Flussnetzwerk auf demDigraphen G mit Quelle s, Senke t und dem Vektor c der Kantenkapazitaten. EinVektor x ∈ RA+ heißt ein s-t-Fluss in N , wenn fur alle u ∈ V \ {s, t} die Gleichungx(δ−(u)) = x(δ+(u)) (kein Uberschuss in Knoten von V \ {s, t}) sowie die Unglei-chung x ≤ c (vorgegebene Kantenkapazitaten nicht uberschritten) erfullt sind. DerWert x(δ−(t)) − x(δ+(t)) (Uberschuss in t) heißt der Flusswert des Flusses x. EinPaar (S, T ) mit S, T ⊆ V heißt s-t-Schnitt von N (bzw. G), wenn s ∈ S, t ∈ T giltund V disjunkte Vereinigung von S und T ist. Der Wert c(δ+(S)) heißt die Kapazitatdes Schnittes (S, T ). Die Aufgabe der Bestimmung eines s-t-Flusses in N mit demmaximalen Wert heißt das Problem der maximalen Flusse.

Wir verwenden die Dualitat der linearen Optimierung um die folgende Aussa-ge zu beweisen: in einem Netzwerk kann von der Quelle zur Senke genau so vieltransportiert werden, wie es die engste Stelle des Netzwerks zulasst (Etwa beimBerufsverkehr vom Wohnviertel zum Buroviertel.) Hier die formale Formulierung.

Theorem 5.25 (Max-Flow-Min-Cut-Theorem). Sei G = (V,A) Digraph, seiens, t ∈ V , s 6= t. Man betrachte ein Flussnetzwerk N = (G, c, s, t) auf G mit Quelles, Senke t und einem Vektor c ∈ RA+ der Kantenkapazitaten. Dann gilt: In N ist dermaximale Wert eines s-t-Flusses gleich der minimalen Kapazitat eines s-t-Schnittes.

Beweis. Wir formulieren das Problem der maximalen Flusse in N auf die folgendeWeise als ein lineares Problem. Zu jeder Nebenbedingung wird gleich in einem Kreisein Name der entsprechenden dualen Variablen eingefuhrt.

max α : α, β ∈ R, x ∈ RA+, (6)

α+ x(δ+(t))− x(δ−(t)) = 0, zt (7)

β + x(δ+(s))− x(δ−(s)) = 0, zs (8)

x(δ+(u))− x(δ−(u)) = 0 ∀u ∈ V \ {s, t}, zu (9)

xa ≤ ca ∀a ∈ A. ya (10)

54


Die eigentlich redundante Nebenbedingung (8) und die darin vorkommende redun-dante Variable β haben wir eingefuhrt, um die Herleitung des dualen Problems zuvereinfachen. Wir stellen nun die duale Aufgabe auf.

Wir formulieren nun das duale Problem. In einem Kreis notieren wir dabei furjede Nebenbedingung den Namen der primalen Variablen, zu der diese Nebenbedin-gung entspricht.

min∑a∈A

caya : y ∈ RA+, z ∈ RV , (11)

zt = 1, α (12)

zs = 0, β (13)

ya + zv − zw ≥ 0 ∀a = (v, w) ∈ A. xa (14)

Die Kapazitat eines jeden (S, T )-Schnitts ist mindestens so groß wie der maxi-male Flusswert. Das folgt aus der schwachen Dualitat. Denn jeder s-t-Schnitt (S, T )entspricht einer zulassigen Losung y ∈ RA+, z ∈ RV von (11)–(14) mit

y(v,w) =

{1 falls v ∈ S,w ∈ T0 sonst

und zu =

{1 falls u ∈ T0 falls u ∈ S

.

Fur diese Losung y, z ist der Wert der Zielfunktion (11) gleich der Kapazitat desSchnitts (S, T ).

Es bleibt zu zeigen, dass ein Schnitt existiert, dessen Kapazitat mit dem ma-ximalen Wert eines s-t-Flusses ubereinstimmt. Wir fixieren eine optimale Losungα∗, β∗, x∗ der primalen Aufgabe und eine optimale Losung y∗, z∗ der dualen Aufga-be. Hierbei sei bemerkt, dass die primale sowie duale Aufgabe eine optimale Losungbesitzt (es gibt mehrere Weisen das zu sehen; man kann etwa zeigen, dass die primaleAufgabe zulassig und beschrankt ist).

Mit Hilfe von z∗ fuhren wir den s-t-Schnitt (S, T ) mit T = {u ∈ V : z∗u ≥ 1}und S = V \ T ein. Nun zeigen wir, dass die Kapazitat c(δ+(S)) dieses Schnitts mitdem dem optimalen Wert α∗ der primalen Aufgabe ubereinstimmt.

Ist a = (v, w) ∈ A ein Bogen mit v ∈ S und w ∈ T so gilt z∗w ≥ 1 undz∗v < 1. Somit ist y∗a ≥ z∗w − z∗v > 0. Da y∗a > 0 folgt aus der komplementarenSchlupfbedingung die Gleichheit x∗a = ca. Gilt v ∈ T und w ∈ S, so gilt z∗v − z∗w +y∗a ≥ z∗v − z∗w > 0. Somit folgt aus den komplementaren Schlupfbedingungen dieGleichheit x∗a = 0. Wir sehen also, dass x∗(δ+(S))− x∗(δ−(S)) = c(δ+(S)) gilt. Mitanderen Worten transportiert der Fluss x∗ von S nach T netto so viele Einheitenwie die Kapazitat des Schnitts (S, T ). Es ist bekannt und nicht schwer zu zeigen,dass x∗(δ+(S))−x∗(δ−(S)) mit dem Wert des Flusses x∗ ubereinstimmt. Somit folgtdie Behauptung.

Aufgabe 5.26. Sei x ein s-t-Fluss auf N = (G, s, t, c). Zeigen Sie dass fur je-den Schnitt (S, T ) der Wert x(δ+(S)) − x(δ−(S)) mit dem Wert des s-t-Flusses xubereinstimmt.

Beispiel 5.27. Die folgende Abbildung prasentiert einen Fluss x ∈ RA+ in einemFlussnetzwerk N = (G, c, s, t) auf einem Digraphen G = (V,A). Die Kanten a ∈ A

55


sind durch die Werte xa sowie ca (in Klammern markiert). Der Wert des angegebe-nen Flusses ist 23. Man betrachte dafur den Schnitt (S, T ) mit

S = {s, v1, v2, v4} und T = {v3, t}

Die Kapazitat von (s, t) ist die Summe der Kapazitaten der Kante (v1, v3), (v4, v3)und (v4, t) und somit gleich 12 + 7 + 4 = 23 (d.h., gleich dem Wert des angegebenenFlusses). Aus dem Max-Flow-Min-Cut-Theorem folgt nun, dass der angegebene s-t-Fluss den maximalen Wert erreicht.

s

v1

v2

v3

v4

t

11 (16)

12 (12)

19 (20)

0 (10) 1 (4)0 (9)

7 (7)

12 (13)

11 (14)

4 (4)


Die primale Simplex-Methode fur (std-LP-dual) findet man mehr oder minder indieser Form in [Sch86]. Auch die Dualitat mit der geometrischen Interpretation istin [Sch86] beschrieben. Die Methode zum Finden einer dual zulassigen Startlosung,einschließlich Beispiel 5.17, ist [BJS90] entnommen.

Zum Max-Flow-Min-Cut-Theorem in § 5.7 stammen Orinalbeitrage von Ford &Fulkerson 1956, Dantzig & Fulkerson 1956, Elias & Feinstein & Shanon 1956. Dieprasentierte Darstellung ist eine etwas modifizierte Darstellung aus [Sch86, §7.10](im Gegensatz zu [Sch86, § 7.10] wird die primale Aufgabe gleich in eine Form ge-bracht, welche der gewunschten Formulierung der dualen Aufgabe entspricht). MehrInformation zu Flussen findet man z.B. in [KV12, Kapitel 8] und [CLR04, Kapi-tel 26]. Das Beispiel in § 5.7 ist aus [CLR04, Kapitel 26, Abbildung 26.5].

6 Seiten konvexer Mengen

6.1 Seiten und verwandte Begriffe

Fur eine abgeschlossene konvexe Menge A ⊆ Rn fuhren wir die folgenden Begriffeund Bezeichnungen ein. Eine konvexe Menge F ⊆ A heißt Seite von A, falls fur allex, y ∈ A die Implikation

F ∩ relint([x, y]) 6= ∅ ⇒ [x, y] ⊆ F

gilt. Die leere Menge und das gesamte A sind trivialerweise Seiten von A. Die Seitenvon A, die weder mit ∅ noch mit A ubereinstimmen, heißen eigentliche Seiten. Seiten

56


der Dimension dim(A)− 1 heißen Facetten von A. Ein Punkt a ∈ A heißt Extremal-punkt von A, falls {a} eine Seite von A ist, d.h., a 6∈ relint([x, y]) fur alle x, y ∈ Amit x 6= y. Durch ext(A) wird die Menge aller Extremalpunkte von A bezeichnet.Ist A ein Polyeder, so heißen Extremalpunkte von A Ecken und man verwendet dieBezeichnung vert(A) := ext(A).

Aufgabe 6.1. Zeigen Sie, dass alle Seiten einer abgeschlossenen konvexer Teilmen-ge von Rn abgeschlossene konvexe Mengen sind.

Beispiel 6.2. Als Beispiel zu Seiten betrachte ein Quadrat und die Minkowski-Summe einer Kreisscheibe und einer Strecke: Diese Mengen kann man analytischals [0, 1]2 und B2(0, 1) + [−e1, e1] beschreiben.

Ist H eine Stutzhyperebene von A, so heißt H ∩ A eine exponierte Seite bzw.eine Stutzmenge von A. Jede exponierte Seite kann als

F (A, u) = {a ∈ A : 〈u, x〉 ≤ 〈u, a〉 ∀x ∈ A}

mit u ∈ Rn \ {0} dargestellt werden. Wir nennen F (A, u) die Stutzmenge von A inRichtung u. Ein Punkt a ∈ A heißt exponierter Punkt, falls {a} eine Stutzmengevon A ist, d.h., F (A, u) = {a} fur ein u ∈ Rn \ {0}. Wir bezeichnen als exp(A) dieMenge aller exponierten Punkte von A.

Aufgabe 6.3. Zeigen Sie, dass jede Stutzmenge einer abgeschlossenen konvexenTeilmenge A von Rn eine Seite von A ist.

Jeder Exponierter Punkt ist ein Extremalpunkt; die Umkehrung gilt im allge-meinen Fall nicht:

Beispiel 6.4. Man betrachte die Menge B2(0, 1) + [−e1, e1]. Die 0-dimensionalenSeiten (±1,±1) dieser Menge sind keine Stutzmengen.

Ein Strahl S ⊆ A heißt Extremalstrahl von A, falls S eine Seite von A ist. Durchextr(A) bezeichnen wir die Vereinigung aller Extremalstrahlen von A.

6.2 Ecken als zulassige Basislosungen von linearen Problemen

Die folgende Proposition erstellen den Bezug zur linearen Optimierung:

Aufgabe 6.5. Sei A ∈ Rm×n eine Matrix mit vollem Zeilenrang, seien c ∈ Rn undb ∈ Rm (m,n ∈ N). Man betrachte die Polyeder

P = {x ∈ Rn : Ax = b, x ≥ 0} und Q = {y ∈ Rm : yA ≤ c} ,

welche die Mengen der zulassigen Losungen von (std-LP) bzw. (std-LP-dual) bilden.Zeigen Sie Folgendes:

(a) vert(P ) ist die Menge aller zulassigen Basislosungen von (std-LP).

(b) vert(Q) ist die Menge aller zulassigen Basislosungen von (std-LP-dual).

57


6.3 Eigenschaften des Seitenverbands

Die Menge aller Seiten einer gegeben abgeschlossenen konvexen Menge K nenntman Seitenverband von K. Der Seitenverband besitzt die folgenden besonderen Ei-genschaften:

Theorem 6.6. Sei K nichtleere abgeschlossene konvexe Teilmenge von Rn. Danngilt:

(a) Ist F eine Seite von K und G eine Seite von F , so ist G eine Seite von K. Mitanderen Worten ist “Seite von” eine transitive Relation.

(b) Ist (Fi)i∈I eine Schar aus Seiten von K, so ist⋂i∈I Fi eine Seite von K.

(c) K ist disjunkte Vereinigung von {relint(F ) : F Seite von K}.

Beweis. (a): Seien x, y ∈ K und S := [x, y]. Wenn relint(S) ∩ G 6= ∅ gilt, so giltauch relint(S) ∩ F 6= ∅, da G Teilmenge von F ist. Da F eine Seite von K ist, folgtS ⊆ F . Nun, folgt aus relint(S) ∩G 6= ∅ und S ⊆ F und der Voraussetzung, dass Geine Seite von F ist die Relation S ⊆ G. Wir haben verifiziert, dass G Seite von Kist.

(b): Sei S wie in (a). Angenommen, relint(S)∩⋂i∈I Fi 6= ∅. Dann gilt relint(S)∩

Fi 6= ∅ fur alle i ∈ I. Da jedes Fi eine Seiten von K ist, folgt S ⊆ Fi. Es folgtS ⊆

⋂i∈I Fi.

(c): Wir zeigen, dass die relativen Inneren der Seiten von K paarweise disjunktsind. Seien F1 und F2 zwei verschiedene Seiten von K. Angenommen, relint(F1) ∩relint(F2) ware nicht leer. Dann existiert ein Punkt z ∈ relint(F1) ∩ relint(F2). DaF1 6= F2, findet man einen Punkt in F1 \ F2 oder F2 \ F1. Wir nehmen OBdA, dassman einen Punkt x in F1 \F2 findet. Da x ∈ F1 und z ∈ relint(F1) gilt, existiert einPunkt y ∈ F1 mit z ∈ relint([x, y]). Aus z ∈ relint(F2) ⊆ F2 und x, y ∈ K folgt nun,da F2 eine Seite von K ist, dass [x, y] ⊆ F2 gilt. Somit ist x ein Punkt aus F2, wasder Wahl von x widerspricht.

Es bleibt zu zeigen, dass K als Vereinigung der relativen Inneren der Seiten vonK darstellbar ist. OBdA nehmen wir an, dass K n-dimensional ist. Wir zeigen dieAussage nach Induktion uber n, wobei die Aussage fur n = 0 trivial ist. Sei x ∈ Kbeliebig. Ist x ∈ int(K), so liegt x ∈ int(K) = relint(K), wobei K eine Seite vonK ist. Ansonsten ist x ein Randpunkt von K und x liegt in einer StutzhyperebeneH von K. Es gilt x ∈ H ∩K, wobei H ∩K eine Seite von K ist, deren Dimensionhochstens n − 1 ist. Nach der Induktionsvoraussetzung, gilt x ∈ relint(F ), wobeirelint(F ) eine Seite von H ∩K ist. Wegen (a) ist F Seite von K.

6.4 Rezessionskegel

Fur eine abgeschlossene konvexe Teilmenge A von Rn heißt die Menge

rec(A) = {u ∈ Rn : A+ u ⊆ A}

der Rezessionskegel von A.

Proposition 6.7. Sei A eine nichtleere abgeschlossene konvexe Teilmenge von Rn.Dann gilt:

58


(a) rec(A) ist ein abgeschlossener konvexer Kegel.

(b) Fur jedes u ∈ Rn sind die folgenden Bedingungen aquivalent:

(i) u ∈ rec(A) (d.h., A+ u ⊆ A)

(ii) x+ λu ∈ A gilt fur alle x ∈ A und alle λ ≥ 0.

(iii) x+ λu ∈ A gilt fur ein x ∈ A und alle λ ≥ 0.

(c) Die Menge A ist genau dann beschrankt, wenn rec(A) = {0} gilt.

Beweis. Wir beginnen mit dem Beweis von (b).(i)⇒ (ii): Aus A+u ⊆ A folgt A+ku ⊆ A fur alle k ∈ N0 durch Induktion uber

k. Wenn wir nun λ ∈ [0, 1] betrachten hat man fur jedes k ∈ N0 und jedes solche λ

A+ kλu = (1− λ)A+ λA+ kλu = (1− λ)A+ λ(A+ ku) ⊆ (1− λ)A+ λA = A.

Das zeigt, dass man auch A+ λu ⊆ A fur alle λ ≥ 0 hat.(ii) ⇒ (iii) ist trivial.(iii) ⇒ (i). Sei x ∈ A wie (iii). Wir betrachten ein beliebiges a ∈ A und zeigen

a + u ∈ A. Fur jedes λ ≥ 0 hat man x + λu ∈ A. Ist λ > 1 so gilt wegen derKonvexitat von A

(1− 1

λ)a+

1

λ(x+ λu) ∈ A

d.h.,

(1− 1

λ)a+

1

λx+ u ∈ A

Fur λ→∞ erhalt man mit der Berucksichtigung der Abgeschlossenheit von A, dassa+ u ∈ A gilt.

(a): Die Abgeschlossenheit von rec(A) lasst sich direkt aus der Definition herlei-ten. Wir zeigen, dass rec(A) ein Kegel ist. Seien u, v ∈ rec(A) und α, β ≥ 0 beliebig.Aus (b) folgt, dass αu, βv ∈ rec(A), das heißt A+αu ⊆ A und A+βv ⊆ A. Es folgtA+ αu+ βv ⊆ A+ βv ⊆ A. Also gilt αu+ βv ∈ rec(A).

(c): Ist die Menge A beschrankt, so ist rec(A) offensichtlich gleich {0}. Ist Aunbeschrankt, so existiert eine Folge (xn)n∈N0 aus Punkten von A mit |xn| → ∞ furn → ∞. OBdA sei x0 6= xn fur alle n ∈ N und wir betrachten die Einheitsvektorenun = (xn − x0)/|xn − x0|. Die Folge (un)n∈N besitzt eine konvergente Teilfolge.Einfachheit halber nehmen wir an, dass un gegen u konvergiert. Nun zeigen wir,dass fur jedes λ ≥ 0 man x0 + λu ∈ A hat. Daraus folgt u ∈ rec(A). Ist n großgenug, so hat man |xn − x0| ≥ λ. Da x0, xn ∈ A gilt, folgt x0 + λun ∈ A. DerGrenzwertubergang fur n→∞ ergibt x0 + λu ∈ A.

6.5 Linealitatsraum

Die Menge lineal(A) := rec(A) ∩ (− rec(A)) heißt der Linealitatsraum von A. An-gesichts der vorigen Proposition lasst sich der Linealitatsraum auf folgende Weisecharakterisieren.

Fur Teilmengen A,B,C von Rn schreiben wir A = B ⊕ C und sagen, dass Adirekte Summe von B und C ist, wenn A = B + C gilt und jedes a ∈ A eindeutigals die Summe a = b+ c mit b ∈ B und c ∈ C darstellbar ist.

Wir nennen eine konvexe Menge geradenfrei, falls diese Menge keine Geradenenthalt.

59


Proposition 6.8. Sei A nichtleere abgeschlossene, konvexe Teilmenge von Rn. Danngilt:

(a) lineal(A) ist ein Untervektorraum von Rn.

(b) Fur jedes u ∈ Rn sind die folgenden Bedingungen aquivalent.

(i) u ∈ lineal(A)

(ii) x+ λu gilt fur alle x ∈ A und alle λ ∈ R.

(iii) x+ λu gilt fur ein x ∈ A und alle λ ∈ R.

(c) Man hat A = B⊕ lineal(A) fur eine abgeschlossene geradenfreie konvexe MengeB.

Beweis. Wir beginnen mit dem Beweis von (b).(i) ⇒ (ii): Angenommen, (i) ist erfullt. Sei u ∈ lineal(A). Dann gilt u,−u ∈

rec(A). Dann gilt u,−u ∈ rec(A). Nun folgt (ii) aus der vorigen Proposition.(ii) ⇒ (iii) ist trivial.(iii) ⇒ (i): folgt direkt aus der vorigen Proposition (Implikation von (iii) nach

(i)).Nun konnen wir (a) verifizieren. Seien u, v ∈ lineal(A) und α, β ∈ R beliebig.

Dann folgt aus (b), dass αu, βv ∈ lineal(A) gilt. Das heißt ±αu,±βv ∈ rec(A). Darec(A) ein konvexer Kegel ist, folgt αu+βv ∈ rec(A) und −(αu+βv) ∈ rec(A). Dasergibt αu+ βv ∈ lineal(A).

(c): Wenn A keine Geraden enthalt, so hat man lineal(A) = {0} und B = A.Also nehmen wir an, A enthalt Geraden, sodass lineal(A) 6= {0} gilt. Wir wahleneinen Untervektorraum U von Rn mit Rn = U ⊕ lineal(A) und setzen B := U ∩ A.Die Inklusion B ⊕ lineal(A) ⊆ A ist klar. Sei a ∈ A. Dann besitzt a eine eindeutigeDarstellung a = b + c mit b ∈ U und c ∈ lineal(A). Man hat b = a − c mita ∈ A und −c ∈ lineal(A). Das heißt b ∈ A und somit b ∈ U ∩ A = B. Das zeigt,A = B ⊕ lineal(A). Es bleibt zu verifizieren, dass B keine Gerade enthalt. Wenn Beine Gerade G enthalten wurde, so hatte man G ⊕ lineal(A) ⊆ A. Da die SummeG ⊕ lineal(A) direkt ist, ist die Richtung u ∈ Rn \ {0} der Geraden G nicht inlineal(A). Anderseits gilt G ⊆ A und somit liegt die Richtung u der Geraden G inlineal(A). Das ist ein Widerspruch.

Bemerkung 6.9. Ist P ein nichtleeres Polyeder in Rn, das als P = {x ∈ Rn : Ax ≤ b}durch eine Matrix A ∈ Rm×n und einen Vektor b ∈ Rm gegeben ist, so gilt

rec(P ) = {x ∈ Rn : Ax ≤ 0} ,lineal(P ) = {x ∈ Rn : Ax = 0} .

6.6 Extremaldarstellungen konvexer Mengen

Lemma 6.10. Sei n ≥ 2 und sei A eine nichtleere abgeschlossene geradenfreiekonvexe Teilmenge von Rn. Dann gilt A = conv(relbd(A)).

Beweis. OBdA sei dim(A) = n. Wir zeigen A = conv(bd(A)). Es reicht die InklusionA ⊆ conv(bd(A)) zu verifizieren, weil die Inklusion conv(bd(A)) ⊆ A offensichtlicherfullt ist. Man hat A = int(A) ∪ bd(A). Es reicht also die Inklusion int(A) ⊆conv(bd(A)) zu verifizieren.

60


Angenommen, die vorige Inklusion ware nicht erfullt. Dann existiert ein x ∈int(A) mit x 6∈ conv(bd(A)). Nach dem Trennsatz fur eine konvexe Menge undeinen Punkt existieren Halbraume H− := H≤u,α und H+ := H≥u,α mit x ∈ H−

und conv(bd(A)) ⊆ H+. Somit gilt fur jeden Punkt y ∈ int(H−) die Bedingung[x, y] ∩ bd(A) = ∅, da man bd(A) ⊆ H+ hat. Daraus folgt, dass ein solches yin A liegen muss, da man sonst auf der Strecke von [x, y] einen Punkt y′ findenwurde, der in bd(A) liegt. Also ist int(H−) Teilmenge von A. Das widerspricht derVoraussetzung, dass A geradenfrei ist.

Theorem 6.11. Sei A eine nichtleere abgeschlossene konvexe Teilmenge von Rn,die keine Geraden enthalt. Dann gilt:

(a) A = conv(ext(A) ∪ extr(A))

(b) A = conv(ext(A)) + rec(A).

(c) Ist A beschrankt, so gilt A = conv(ext(A)).

Beweis. (a): OBdA sei dim(A) = n. Wir zeigen (a) durch Induktion uber n. Der Falln = 1 ist trivial. Sei n ≥ 2 und wir nehmen an, dass die Formel in den Dimensionen1 bis n − 1 gilt. Nach Lemma 6.10 ist A = conv(bd(A)). Sei x ∈ bd(A) beliebig.Dann existiert eine Stutzhyperebene H von A mit x ∈ A. Wir betrachten die SeiteF := H ∩A. Man hat dim(F ) ≤ n− 1. Nach der Indukstionsvoraussetzung gilt x ∈F = conv(ext(F ) ∪ extr(F )), wobei ext(F ) ⊆ ext(A) und extr(F ) ⊆ extr(A) erfulltist. Es folgt bd(A) ⊆ conv(ext(A)∪extr(A)). Also gilt conv(bd(A)) ⊆ conv(ext(A)∪extr(A)). Die Inklusion conv(ext(A) ∪ extr(A)) ⊆ A ist trivial.

(b): Man hat conv(ext(A)) + rec(A) ⊆ conv(A) + rec(A) ⊆ A + rec(A) ⊆ A.Wir verizieren die Inklusion A ⊆ conv(ext(A)) + rec(A) mit Hilfe von (a). WegenA reicht es ext(A) ⊆ conv(ext(A)) + rec(A) und extr(A) ⊆ conv(ext(A)) + rec(A)zu verifizeren. Das Erste ist rivial. Um das zweite zu zeigen, betrachten wir einenBeliebigen Extremalstrahl S von A mit S = {p+ λu : λ ≥ 0} mit p ∈ Rn undu ∈ Rn \ {0}. Der Endpunkt p dieses Strahls ist Extremalpunkt von S. Da S Seitevon A ist, ist p auch ein Extremalpunkt von A. Es gilt also p ∈ ext(A). Da STeilmenge von A ist, folgt u ∈ rec(A) und somit auch λu ∈ rec(A) fur alle λ ≥ 0.Das zeigt S ⊆ ext(A) + rec(A).

Man hat extr(A) ⊆ ext(A) + rec(A) und somit folgt die Behauptung aus (a).(c) folgt direkt aus (b) zusammen mit Teil c) aus Proposition 6.7

6.7 Seiten von Polytopen

Proposition 6.12. Sei P ein Polytop, welches als P = conv(X) durch eine endlicheTeilmenge X von Rn gegeben ist. Dann gilt:

(a) vert(P ) ⊆ X.

(b) Ist H eine Stutzhyperebene von P , so ist die exponierte Seite F = P ∩ H einPolytop, das man als F = conv(H ∩X) darstellen kann.

(c) Ist F exponierte Seite von P und G exponierte Seite von F , so ist G exponierteSeite von P .

61


Beweis. (a): Man betrachte eine beliebige Ecke v ∈ vert(P ). Nach dem Satz von Ca-ratheodory existieren affin unabhangige Punkte x1, . . . , xk mit v ∈ conv(x1, . . . , xk).Sei k kleinstmogliche Zahl mit der vorigen Eigenschaft. Dann gilt v = λ1x1 + · · ·+λkxk mit λ1, . . . , λk > 0 und λ1 + · · · + λk = 1. Es gilt k = 1. Denn sonst warek ≥ 2. Dann ist v = λp+ (1− λ)q mit 0 < λ < 1, p = x1 und q =

∑ki=2

λi1−λ1xi. Da

x1, . . . , xk affin unabhangig sind, gilt p 6= q und wir erhalten einen Widerspruch zurVoraussetzung, dass v eine Ecke ist.

(b): Die Inklusion conv(H ∩ X) ⊆ H ∩ conv(X) ist trivial. Wir zeigen H ∩conv(X) ⊆ conv(H ∩ X). Wir konnen H als H = H(u, α) mit P ⊆ H≤(u, α)formulieren. Das heißt 〈u, p〉 ≤ α und fur alle p ∈ P . Sei nun p ∈ H ∩ conv(X).Dann gilt 〈p, u〉 = α und p =

∑ki=1 λixi mit x1, . . . , xk ∈ X, k ∈ N, λ1, . . . , λk > 0

und λ1 + · · ·+ λk = 1. Man hat 〈u, xi〉 = α fur alle i ∈ [k]. Man hat

0 = α− 〈p, u〉 = α−k∑i=1

λi 〈xi, u〉 =k∑i=1

λi(α− 〈xi, u〉).

Wegen der Ungleichung α− 〈xi, u〉 ≥ 0 und λi > 0 fur alle i ∈ [k], folgt nun aus dervorigen Gleichung, dass 〈xi, u〉 = αi fur alle i ∈ [k] gilt. Somit haben wir xi ∈ H furalle i ∈ [k], und folglich p ∈ conv(H ∩X).

(c): Wir betrachten Stutzhalbraume H≤(u, α) und H≤(v, β) von P , fur welchedie entsprechenden Stutzhyperebenen H(u, α) und H(v, β) die exponierte Seiten Fvon P und die exponierte Seite G von F durch die Gleichungen

F = H(u, α) ∩ P,G = H(v, β) ∩ F

bestimmen. Die Behauptung (b) fur die Seite F von P ergibt F = conv(X∩H(u, α)).Nun ergibt die Behauptung (b) fur die Seite G des Polytops F die Gleichheit G =conv(X ∩H(u, α) ∩H(v, β)).

Um zu zeigen, dass G eine exponierte Seite von P ist, bestimmen wir nun einenStutzhalbraum der Form H≤(u + εv, α + εβ) von P mit ε > 0, fur welchen dieentsprechende Stutzhyperebene H(u + εv, α + εβ) von P , die Seite G durch dieGleichung

G = H(u+ εv, α+ εβ) ∩ P

bestimmt.Wir zeigen, dass fur eine geeignete Wahl von ε > 0, der Halbraum H≤(u+εv, α+

εβ) das Polytop P stutzt. Sei x ∈ X beliebig.Im Fall x 6∈ H(u, α) gilt

〈x, u〉 < α,

da H≤(u, α) ein Stutzhalbraum von P ist. Da X endlich ist, kann man nun eingenugend kleines und von x unabhangiges ε > 0 wahlen, fur welches die Ungleichung

〈x, u+ εv〉 < α+ εβ

erfullt ist.Im Fall x ∈ H(u, α) \H(v, β) gilt 〈x, u〉 = α wegen x ∈ H(u, α) und

〈x, u+ εv〉 = α+ ε 〈x, v〉 < α+ εβ,

62


da G eine Seite von F ist, welche durch den Stutzhalbraum H≤(v, β) gegeben wurde.Im Fall x ∈ H(u, α) ∩H(v, β) gilt offensichtlich die Gleichheit

〈x, u+ εv〉 = α+ εβ.

(Wir bemerken, dass dieser Fall auftritt, da nach der Voraussetzung G 6= ∅ undsomit X ∩H(u, α) ∩H(v, β) 6= ∅ erfullt ist).

Die vorigen Ungleichungen fur x ∈ X zeigen, dass H≤(u + εv, α + εβ) einStutzhalbraum von P ist und dass G = P ∩H(u+ εv, α+ εβ) gilt.

Theorem 6.13. Sei P ein Polytop in Rn. Dann ist jede eigentliche Seite von Pstets eine exponierte Seite von P .

Beweis. OBdA sei dim(P ) = n. Wir beweisen die Behauptung durch Induktionuber n. Fur n = 1 ist die Behauptung trivial. Sei n ≥ 2 und sei die Behauptung furPolytope der Dimensionen 1, . . . , n− 1 bereits verifiziert. Sei F eigentliche Seite vonP . Dann ist relint(F ) ∩ int(P ) = ∅. Somit ist relint(F ) ⊆ bd(P ). Wir betrachteneinen beliebigen Punkt p ∈ relint(F ). Der Punkt p liegt in einer StutzhyperebeneH(u, α) von P fur einen Stutzhalbraum H≤(u, α) von P . Wir zeigen, F ⊆ H(u, α).Sei x ∈ F \{p} beliebig. Wegen p ∈ relint(F ) existiert ein y ∈ F mit p = (1−λ)x+λyund 0 < λ < 1. Wegen P ⊆ H≤(u, α) gilt 〈x, u〉 ≤ α und 〈y, u〉 ≤ α. Wegenp ∈ H(u, α) gilt

α = 〈p, u〉 = (1− λ) 〈x, u〉+ λ 〈y, u〉 .

Es folgt nun, dass 〈x, u〉 = 〈y, u〉 = α gilt. Also ist x ∈ H(u, α). Dies zeigt, dass Feine Seite der exponierten Seite G := H(u, α) ∩ P von P ist, mit dim(G) ≤ n − 1.Nach der Induktionsvoraussetzung ist F eine exponierte Seite des Polytopes G. Nachder vorigen Proposition ist nun F eine exponierte Seite von P .

Bemerkung 6.14. Unter anderem zeigen die Resultate dieses Abschnitts, dass einPolytop nur endlich viele Seiten besitzt.

6.8 Polytope als beschrankte Polyeder

Theorem 6.15. Fur eine Teilmenge P von Rn sind die folgenden Bedingungenaquivalent:

(i) P ist Polytop.

(ii) P ist beschranktes Polyeder.

Beweis. (i) ⇒ (ii): Sei P Polytop. Da man aff(P ) durch ein endliches System vonlinearen Gleichungen und somit durch ein endliches System von linearen Ungleichungbeschreiben kann, nehmen wir OBdA an, dass aff(P ) mit Rn ubereinstimmt, d.h.dim(P ) = n. Wir bestimmen nun ein System von linearen Ungleichungen, das aufjedem Punkt von P erfullt und auf Punkten außerhalb von P nicht erfullt ist. Seix ∈ Rn \ P .

Wir zeigen, dass man eine Facette F von P findet mit der Eigenschaft, dass Pund x auf unterschiedlichen Seiten der Hyperebene H(u, α) = aff(F ) liegen. Sei Vdie Vereinigung aller affinen Raume aff({x}∪Y ) mit Y ⊆ vert(P ) und dim(aff({x}∪Y )) < n. Wegen dim(P ) = n findet man einen Punkt y ∈ int(P ) \ V . Die Strecke[x, y] schneidet den Rand von P in einem Punkt z. Der Punkt z liegt im relativen

63


Inneren einer eigentlichen Seite F von P . Wir behaupten dim(F ) = n − 1. Sonstware dim(F ) < n− 1. Daraus folgt

y ∈ aff(x, z) ∈ aff({x} ∪ F ) = aff({x} ∪ conv(vert(F )) = aff({x} ∪ vert(F )),

da dim(F ) < n − 1 folgt daraus dim(aff({x} ∪ vert(F ))) ≤ n − 1. Also gilt y ∈ V ,was der Wahl von y widerspricht.

Nach der Konstruktion gilt 〈y, u〉 < α und 〈z, u〉 = α. Da z ∈ relint([x, y]) gilt,folgt daraus 〈x, u〉 > α.

Seien nun F1, . . . , Fk alle Facetten von P und wir betrachten die entsprechendenStutzhalbraumeH≤(ui, αi) mit i ∈ [k]. Wir haben oben die Inklusion

⋂ki=1H

≤(ui, αi) ⊆P verifiziert. Die umgekehrte Inklusion ist trivial.

(ii) ⇒ (i): Wieder kann man OBdA voraussetzen, dass dim(P ) = n erfullt ist.Wir beweisen die Aussage durch Induktion uber n. Fur n = 1 ist die Behauptungtrivial. Angenommen, n ≥ 2 und die Behauptung ist in den Dimensionen 1, . . . , n−1bereits bewiesen. Wir betrachten die Darstellung P =

⋂ki=1H

≤(ui, αi) von P alsDurchschnitt endlich vieler Halbraume. Fur jedes i ∈ [k] fuhren wir das PolytopPi = P ∩H(ui, αi) ein.

Nach der Induktionsvoraussetzung gilt Pi = conv(Xi) fur eine endliche Menge Xi

(im Fall Pi = ∅ wahlt man Xi = ∅). Sei x ∈ P beliebig. Wir betrachten eine beliebigeGerade G durch x. Da P beschrankt ist, ist P ∩ G eine Strecke mit Endpunkten aund b. Man hat

a, b ∈ bd(P ) ⊆k⋃i=1

Pi =k⋃i=1

conv(Xi) ⊆ conv(k⋃i=1

Xi)

Es folgt x ∈ conv(⋃ki=1Xi). Also gilt P ⊆ conv(

⋃ki=1Xi). Die umgekehrte Inklusion

ist trivial, da jedes Xi Teilmenge von P ist.

6.9 Minkowski-Weyl-Theorem

Theorem 6.16 (Minkowski-Weyl). Fur eine Teilmenge C von Rn sind die folgendenBedingungen aquivalent:

(i) C ist ein polyedrischer Kegel, d.h., C = {x ∈ Rn : 〈a1, x〉 ≥ 0, . . . , 〈am, x〉 ≥ 0}fur gewisse a1, . . . , am ∈ Rn mit m ∈ N0.

(ii) C ist ein endlich erzeugter Kegel, d.h., C = cone(u1, . . . , uk) fur gewisse Vek-toren u1, . . . , uk ∈ Rn mit k ∈ N0.

Beweis. (i) ⇒ (ii): Sei C ein Kegel wie in (i). OBdA wird angenommen, dasslineal(C) = {0}. Ansonsten reicht es, einen Untervektorraum U von Rn mit Rn =lineal(C)⊕ U zu betrachten und die Behauptung fur den Kegel C ∩ U im Raum Uzu beweisen. Wir nehmen also an, dass lineal(C) = {0} gilt. Man hat

lineal(C) = {x ∈ Rn : 〈ai, x〉 = 0 ∀i ∈ [m]} = {0}.

Es folgt, dass die Menge

P = {x ∈ Rn : 〈a1 + · · ·+ am, x〉 = 1, 〈ai, x〉 ≥ 0 ∀i ∈ [m]}

64


ein beschranktes Polyeder ist (da der Rezessionskegel dieser Menge gleich {0} ist).Nach Theorem 6.8 hat man P = conv(u1, . . . , uk) fur gewisse u1, . . . , uk ∈ Rn mitk ∈ N0. Nun sieht man direkt, dass C = cone(u1, . . . , uk) gilt.

(ii) ⇒ (i): Aus der oben verifizierten Implikation (i) ⇒ (ii) folgt, dass

{y ∈ Rm : 〈ui, y〉 ≥ 0 ∀i ∈ [k]} = cone(a1, . . . , am) (∗)

fur gewisse a1, . . . , am ∈ Rn und m ∈ N0 gilt. Nun zeigen wir

C = {x ∈ Rn : 〈ai, x〉 ≥ 0 ∀i ∈ [m]} .

Ist x ∈ C, so gilt x =∑k

i=1 λiui mit λ1, . . . , λk ≥ 0. Daraus folgt mit der Berucksichtigungvon (*) die Ungleichung

〈aj , x〉 =

k∑i=1

λi 〈ui, aj〉 ≥ 0.

Ist x 6∈ C, so existiert nach dem Trennsatz fur abgeschlossene konvexe Kegel einy ∈ Rn mit 〈y, ui〉 ≥ 0 fur alle i ∈ [k] und 〈x, y〉 < 0. Aus (*) folgt nun, dassy =

∑mi=1 λiai mit λ1, . . . , λm ≥ 0 gilt. Somit kann der negative Wert 〈x, y〉 < 0 als

〈y, x〉 =

m∑i=1

λi 〈ai, x〉

dargestellt werden. Da λ1, . . . , λm nicht negativ sind, gilt 〈ai, x〉 < 0 fur mindestensein i ∈ [m].


Alle Abschnitte bis auf Abschnitt 6.2 basieren auf [Sch93]. Fast alle Beweise diesesKapitels stammen ebenfalls aus [Sch93].

7 Konvexe Funktionen und konvexe Optimierung

7.1 Begriffe, Beispiele und Grundeigenschaften

Sei A Teilmenge von Rn und sei f : A→ R. Die Menge

epi(f) := {(x, t) ∈ A× R : t ≥ f(x)}

heißt der Epigraph der Funktion f . Die Funktion f heißt konvex, wenn der Defi-nitionsbereich A konvex ist und f((1 − λ)x + λy) ≤ (1 − λ)f(x) + λf(y) fur allex, y ∈ A und alle λ ∈ [0, 1] gilt. Die Funktion f ist genau dann konvex, wennder Epigraph von f eine konvexe Menge ist. Die Funktion f heißt konkav, wenndie Funktion −f konvex ist, d.h., der Definitionsbereich A ist konvex und es giltf((1− λ)x+ λy) ≥ (1− λ)f(x) + λf(y) fur alle x, y ∈ A und λ ∈ [0, 1].

Affine Funktionen sind gleichzeitig konvex und konkav. Die Normen sind konve-xe Funktionen. Die Exponentialfunktion ist eine konvexe Funktion in einer Varia-blen. Positiv definite quadratische Formen sind konvexe Funktionen. Die konischeKombination endlich vieler konvexer Funktionen sowie das Maximum endlich vielerkonvexer Funktionen sind konvexe Funktionen.

Fur konvexe Funktionen gilt die sogenannte Jensen’sche Ungleichung:

65


Aufgabe 7.1 (Jensensch’sche Ungleichung). Sei A ⊆ Rn und sei f : A→ R konvex.Dann gilt

f(λ1x1 + · · ·+ λkxk) ≤ λ1f(x1) + . . .+ λkf(xk)

fur alle λ1, . . . , λk ≥ 0 (k ∈ N) mit λ1 + · · ·+ λk = 1.

Ist f : A→ R konvex, so heißt die Aufgabe der Form

inf {f(x) : x ∈ A}

Aufgabe der konvexen Optimierung. Fur die algorithmische Analyse der Aufgabeist naturlich wichtig wie f und die zugrundeliegende Menge A gegeben sind. Sehroft ist A durch eine System g1 ≤ 0, . . . , gk ≤ 0 fur gewisse konvexe Funktioneng1, . . . , gk : Rn → R definiert. Ist A = Rn so spricht man von einer unrestringiertenAufgabe der konvexen Optimierung.

Die Aufgabe der linearen Optimierung ist naturlich eine spezielle Aufgabe derkonvexen Optimierung. Neben der linearen Optimierung bildet die (restringierte undunrestringierte) konvexe Optimierung den Kern der klassischen Optimierung. Dasheißt, Methoden zur (globalen) Losung weiterer Klassen von Optimierungsaufgabenbestehen in der Regel aus der Reduktion zu Problemen der linearen bzw. konvexenOptimierung. Des weiteren sind viele Aufgaben aus den Anwendungen direkt konvex,wie z.B. die Minimierung von f(x) =

∑ki=1wi|ai−x| uber alle x ∈ Rn fur gegebenen

‘Standorte’ a1, . . . , ak ∈ Rd und Gewichte w1, . . . , wk ∈ R+ (k ∈ N) oder die Aufgabeder Minimierung von ρ uber alle (x, ρ) ∈ Rn unter den Nebenbedingungen |x−ai| ≤ ρfur i ∈ [k]. Die Aufgabe Ax = b der linearen Algebra kann als unrestringierte konvexeOptimierungsaufgabe der Minimierung von |Ax − b|2 uber x ∈ Rn interpretiertwerden. Einige wichtige Ansatze zur numerischen Losung von Ax = b basieren aufdieser Interpretation. In unterschiedlichen Anwendungsbereichen fuhren Ansatze zurLosung von randomisierten linearen Aufgaben zu konvexen Problemen.

Das besondere an der konvexen Optimierung ist die Tatsache, dass die lokaleOptimierung aquivalent zur globalen Optimierung ist:

Aufgabe 7.2. Sei A ⊆ Rn und sei f : A → R konvex. Fur jedes a ∈ A sind diefolgenden Bedingungen aquivalent:

(i) Die Funktion f erreicht ihr lokales Minimum an der Stelle a, d.h., fur einε > 0 gilt f(a) ≤ f(x) fur alle x ∈ A ∩ Bn(a, ε).

(ii) Die Funktion f erreicht ihr globales Minimum an der Stelle a, d.h., f(a) ≤ f(x)fur alle x ∈ A.

7.2 Stetigkeit und Lipschitz-Stetigkeit

Die meisten Ansatze zur Losung von konvexen Aufgaben basieren auf den notwendi-gen Bedingungen der Optimalitat mit Hilfe von Ableitungen. Zwar ist eine beliebigekonvexe Funktion im allgemeinen Fall nicht uberall differenzierbar, sie ist aus derSicht der Analysis aber durchaus ‘freundlich’. Im folgenden Theorem wird gezeigt,dass eine beliebige Funktion ‘sehr nah dran ist’, differenzierbar zu sein.

Theorem 7.3. Sei f : A → R konvexe Funktion auf einer nichtleeren offenenkonvexen Teilmenge A von Rn. Dann gilt:

66


(a) Die Funktion f ist stetig.

(b) Die Einschrankung von f auf jede kompakte Teilmenge ist Lipschitz-stetig, d.h.,fur jede kompakte Teilmenge K von f existiert eine Konstante c > 0 mit

|f(x)− f(y)| ≤ c|x− y|

fur alle x, y ∈ K.

Beweis. (a): Sei a ∈ A. Wir fixieren ein Polytop P = conv(p1, . . . , pk) mit p1, . . . , pk ∈Rn und k ∈ N derart, dass a im Inneren von P liegt. Z.B. konnen wir als P einenn-dimensionalen Wurfel oder etwa ein n-dimensionales Simplex wahlen.

Jedes x ∈ P kann als Konvexkombination

x =

k∑i=1

λipi mit λ1, . . . , λk ≥ 0 und

k∑i=1

λi = 1

dargestellt werden. Also folgt aus der Jensen’schen Ungleichung die Abschatzung

f(x) ≤k∑i=1

λif(pi) ≤M := max{f(p1), . . . , f(pk)}.

Mit anderen Worten erreicht die Funktion f auf dem Polytop P ihr Maximum ineinem der Punkte p1, . . . , pk. Sei nun ρ > 0 ein Wert mit Bn(a, ρ) ⊆ P . Jeder Punkty aus Bn(a, ρ) kann als y = a + αu mit |u| = ρ und α ∈ [0, 1] dargestellt werden.Der Punkt y liegt auf der Strecke [a, a+ u] und kann somit als Konvexkombinationder Endpunkte dieser Strecke dargestellt werden:

y = a+ αu ⇔ y = (1− α)a+ α(a+ u).

Aus der Konvexitat von f folgt die Abschatzung

f(y) = f((1− α)a+ α(a+ u))

≤ (1− α)f(a) + αf(a+ u)

≤ (1− α)f(a) + αM

Das ergibt f(y)−f(a) ≤ α(M−f(a)). Wir haben gezeigt, dass f(y) nicht viel hoherals f(a) sein kann. Anderseits liegt der Punkt a auf der Strecke [a − u, y], sodassman a als Konvexkombination der Endpunkte dieser Strecke darstellen kann:

y = a+ αu ⇔ a = y + α(−u)

⇔ (1 + α)a = y + α(a− u)

⇔ a =1

1 + αy +

α

1 + α(a− u).

Die Konvexitat von f ergibt

f(a) ≤ 1

1 + αf(y) +

α

1 + αf(a− u)

≤ 1

1 + αf(y) +

α

1 + αM.

⇒ f(a)− f(y) ≤ α(M − f(a)).

67


Die Schranken an f(y)− f(a) und f(a)− f(y) konnen nun als

|f(y)− f(a)| ≤ α(M − f(a))

zusammengefasst werden. Nach der Wahl von α und u gilt α = |y−a|ρ . Das zeigt

|f(y)− f(a)| ≤ M − f(a)

ρ|y − a|.

fur alle y ∈ Bn(a, ρ). Es folgt, dass f(y)→ f(a) fur y → a gilt.(b): Sei K kompakte Teilmenge von A. Dann existiert ein ε > 0 mit

Kε := K + Bn(0, ε) ⊆ A.

Wenn das nicht der Fall ware, so konnte man Folgen (xn)n∈N und (yn)n∈N kon-struieren mit xn ∈ K, yn ∈ Rn \ A und |xn − yn| < 1

n fur alle n ∈ N. Wegen derKompaktheit von K besitzt die Folge (xn)n∈N eine konvergente Teilfolge (xn)n∈N ,deren Grenzwert x in K liegt. Es folgt, dass der Punkt x ∈ K ⊆ A ein Randpunktvon A ist, da einerseits x ∈ K und somit in A liegt und andererseits die Ungleichung|x− yn| ≤ |x−xn|+ |xn− yn| < |x−xn|+ 1

n fur alle n ∈ N gilt, wobei der Punkt ynfur alle n außerhalb von A liegt und die rechte Seite fur n ∈ N und n→∞ gegen 0konvergiert.

Seien x, y ∈ K mit x 6= y beliebig. Man betrachte den Punkt

z := y +ε

|y − x|(y − x) ∈ Kε.

Wir konnen den Punkt y als Konvexkombination von x und z darstellen:

y = (1− λ)x+ λz,

wobei man λ ∈ [0, 1] folgendermaßen berechnen kann:

y − x = λ(z − x)

⇒ |y − x| = λ|z − x|

⇒ |y − x| = λ(1 +ε

|y − x|)|y − x|

⇒ λ =|y − x|

ε+ |y − x|.

Die Konvexitat von f ergibt f(y) ≤ (1− λ)f(x) + λf(z), woraus man

f(y)− f(x) ≤ λ(f(z)− f(x))

folgert. Da f wegen (a) stetig ist und die Menge Kε kompakt ist, folgt, dass dieFunktion f auf Kε das Maximum und das Minimum erreicht. Es folgt

f(z)− f(x) ≤ maxKε

f −minKε

f =: c.

Also gilt

f(y)− f(x) ≤ λc =|y − x|

ε+ |y − x|c ≤ c

ε|y − x|.

68


Da die Ungleichung f(y)−f(x) ≤ cε |y−x| fur alle x, y ∈ K mit x 6= y gezeigt wurde,

folgt durch Vertauschen von x und y auch f(x)− f(y) ≤ cε |y − x| und somit

|f(y)− f(x)| ≤ c

ε|y − x| ∀x, y ∈ K.

Wir haben nachgewiesen, dass f auf K Lipschitz-stetig ist.

Aufgabe 7.4. eine konvexe Funktion f : K → R auf einer kompakten konvexen

Menge ist nicht unbedingt Lipschitz-stetig. Betrachte etwa f(x) = −√

1− x2 auf[−1, 1] und zeige, dass f nicht Lipschitz-stetig ist.

7.3 Differenzierbarkeit konvexer Funktionen einer Variablen

Theorem 7.5. Sei I ⊆ R ein nichtleeres, offenes Intervall und sei f : I → Rkonvex. Dann gilt:

(a) Die Funktion f besitzt in jedem Punkt x ∈ I die linke sowie rechte Ableitung,d.h., die Grenzwerte

f ′r(x) := limh↓0

f(x+ h)− f(x)

h

f ′`(x) := limh↑0

f(x+ h)− f(x)

h

existieren und sind endlich.

(b) Fur alle x, y ∈ I gilt

x < y ⇒ f ′`(x) ≤ f ′r(x) ≤ f ′`(y) ≤ f ′r(y).

Insbesondere sind die Funktionen f ′` und f ′r auf I monoton steigend (im nicht-strikten Sinne).

(c) Die Menge S := {x ∈ I : f ′`(x) < f ′r(x)} ist hochstens abzahlbar und f ist injedem Punkt von I \ S differenzierbar.

(d) Die Funktion f ′r : I → R bzw. f ′` : I → R ist linksseitig bzw. rechtsseitig stetig,d.h., man hat

f ′r(x) := limh↓0

f ′r(x+ h),

f ′`(x) := limh↑0

f ′`(x+ h)

fur alle x ∈ I.

(e) Ist f : I → R differenzierbar, so ist f sogar stetig differenzierbar.

Beweis. (a): Seien 0 < λ < µ und sei x ∈ I. Der Punkt x + λ liegt auf der Strecke[x, x + µ], sodass wir diesen Punkt als Konvexkombination der Endpunkte dieserStrecke darstellen konnen:

x+ λ = x+λ

µλ = x+

λ

µ(x+ µ− x) =

µ− λµ

x+λ

µ(x+ µ).

69


Die Konvexitat von f ergibt

f(x+ λ) ≤ µ− λµ

f(x) +λ

µf(x+ µ)

⇔ f(x+ λ)− f(x) ≤ λ

µ(f(x+ µ)− f(x))

⇔ f(x+ λ)− f(x)

λ≤ f(x+ µ)− f(x)

µ. (15)

Dies zeigt, dass der Quotient aus der Definition der ersten Ableitung in der ‘Schritt-weite’ λ steigt.

Analog lasst sich auch der Punkt x−λ auf der Strecke [x−µ, x] als Konvexkom-bination der Endpunkte der Strecke darstellen:

x− λ = x+λ

µ(−µ) = x+

λ

µ(x− µ− x) =

µ− λµ

x+λ

µ(x− µ).

Aus der Konvexitat von f folgt

f(x− λ) ≤ µ− λµ

f(x) +λ

µf(x− µ)

⇔ f(x− λ)− f(x) ≤ λ

µ(f(x− µ)− f(x))

⇔ f(x− λ)− f(x)

λ≤ f(x− µ)− f(x)

µ

⇔ f(x)− f(x− µ)

µ≤ f(x)− f(x− λ)

λ. (16)

Fur beliebige λ, µ > 0 lasst sich der Punkt x als Konvexkombination von x− µund x+ λ darstellen:

x = x− µ+ µ = x− µ+µ

λ+ µ(λ+ µ) = x− µ+

µ

λ+ µ(λ+ x− x+ µ)

=λ

λ+ µ(x− µ) +

µ

λ+ µ(x+ λ).

Aus der Konvexitat von f folgt:

f(x) ≤ λ

λ+ µf(x− µ) +

µ

λ+ µf(x+ λ)

⇔ 0 ≤ λ

λ+ µ(f(x− µ)− f(x)) +

µ

λ+ µ(f(x+ λ)− f(x))

⇔ 0 ≤ λ(f(x− µ)− f(x)) + µ(f(x+ λ)− f(x))

⇔ f(x)− f(x− µ)

µ≤ f(x+ λ)− f(x)

λ. (17)

Es folgt aus (15) und (17), dass fur jedes x ∈ I der Quotient in der Definitionvon f ′r(x) monoton fallend und nach unten beschrankt in h ist, sodass der Grenzwertexistiert und endlich ist. Des Weiteren folgt aus (15) und (17), dass der Quotientin der Definition von f ′`(x) monoton steigend und nach oben beschrankt in h ist,sodass der Grenzwert existiert und endlich ist. Das ergibt die Behauptung (a).

70


(b): Durch die Verwendung von (17) hat man fur x, y ∈ I mit x < y die Unglei-chungen

f(x)− f(x− h)

h≤ f(x+ h)− f(x)

h≤ f(y − h)− f(x+ h)

(y − h)− (x+ h)

≤ f(y)− f(y − h)

h≤ f(y + h)− f(y)

h

fur alle genugend kleinen h > 0. Durch den Grenzwertubergang fur h ↓ 0 erhalt man

f ′`(x) ≤ f ′r(x) ≤ f(y)− f(x)

y − x≤ f ′`(y) ≤ f ′r(y).

(c): Da I als Vereinigung von abzahlbar vielen Segmenten [a, b] mit a < b darge-stellt werden kann, reicht es zu zeigen, dass auf einem solchen Segment [a, b] ⊆ I dieMenge S∩[a, b] hochstens abzahlbar ist. Seien x, y ∈ S∩[a, b] mit x < y. Aus (b) folgtf ′`(a) ≤ f ′`(x) < f ′r(x) ≤ f ′`(y) < f ′r(y) ≤ f ′r(b). Das heißt, W (x) := [f ′`(x), f ′r(x)]und W (y) := [f ′`(y), f ′r(y)] sind Teilstrecken von W := [f ′`(a), f ′r(b)], die sich nichtuberlappen. Sei α die Lange von F . Es gibt nur endlich viele x ∈ [a, b]∩S derart, dassdie Lange von W (x) mindestens α/2 ≥ 0 ist, es gibt auch endlich viele x ∈ [a, b]∩Sderart, dass die Lange von W (x) mindestens α/4 und kleiner als α/2 ist usw. Dievorige Prozedur zeigt, dass man die Mengen W (x) mit x ∈ [a, b]∩S als Vereinigungvon abzahlbar vielen endlichen Mengen darstellen kann. Somit ist [a, b]∩S hochstensabzahlbar.

(d): Wir verifizieren die Behauptung fur f ′r(x), die Aussage fur f ′`(x) ist analog.Wegen (b) gilt f ′r(x) ≤ f ′r(x + h). Grenzwertubergang in (15) fur λ ↓ 0 ergibtf ′r(x) ≤ (f(x+ µ)− f(x)))/µ fur alle µ > 0. Somit gilt

f ′r(x+ h) ≤ f(x+ h+ t)− f(x+ h)

t

fur alle t > 0. Wir setzen in der rechten Seite t = h ein und erhalten

f ′r(x) ≤ f ′r(x+ h) ≤ f(x+ 2h)− f(x+ h)

h= 2

f(x+ 2h)− f(x)

2h− f(x+ h)− f(x)

h.

Der Grenzwertubergang fur h ↓ 0 ergibt

f ′r(x) ≤ limh↓0

f ′r(x+ h) ≤ 2f ′r(x)− f ′r(x) = f ′r(x).

Das verifiziert die Behauptung fur f ′r(x).(e) folgt direkt aus (d).

Korollar 7.6. Sei f : A → R konvexe Funktion auf einer Teilmenge von Rn, seix ∈ int(A) und u ∈ Rn. Dann gilt: der Grenzwert

f ′(x;u) := limλ↓0

f(x+ λu)− f(x)

λ

existiert und ist endlich.

Der vorige Wert heißt die Ableitung von f in Richtung u. Laut dieser Definitionmussen die Ableitungen f ′(x;u) und f ′(x;−u) nicht gleich sein.

Nun konnen wir auch Kriterien der Konvexitat mit Hilfe der Ableitungen for-mulieren.

71


Proposition 7.7. Sei f : I → R eine Funktion auf einem offenen Intervall I ⊆ R.Dann gilt:

(a) Ist f differenzierbar, so hat man die Aquivalenz:

f ist konvex ⇔ f ′ ist monoton steigend

(b) Ist f zweimal differenzierbar, so hat man die Aquivalenz:

f ist konvex ⇔ f ′′ ≥ 0 auf I

Beweis. (a): Ist f konvex, so ist f ′ monoton steigend nach Theorem 7.3. Angenom-men, f ′ ist monoton steigend. Wir betrachten x, y ∈ I mit x < y und λ ∈ (0, 1).Sei a = (1 − λ)x + λy. Das Segment [x, y] kann in zwei Segmente [x, a] und [a, y]zerlegt werden. Wir verwenden den Zwischenwertsatz der Differentialrechnung aufden beiden Segmenten und erhalten

f ′(α) =f(a)− f(x)

a− x

f ′(β) =f(y)− f(a)

y − a

fur gewisse α ∈ (x, a) und β ∈ (a, y). Aus der Monotonie von f ′ folgt nun f ′(α) ≤f ′(β) und somit

f(a)− f(x)

a− x≤ f(y)− f(a)

y − a

⇔ f(a)− f(x)

λ(y − x)≤ f(y)− f(a)

(1− λ)(y − x)

⇔ f(a)− f(x)

λ≤ f(y)− f(a)

1− λ⇔ (1− λ)(f(a)− f(x)) ≤ λ(f(y)− f(a))

⇔ f(a) ≤ (1− λ)f(x) + λf(y),

was die Konvexitat von f verifiziert.(b) folgt nun aus (a) und den Resultaten aus der Analysis uber monotone Funk-

tionen.

7.4 Einseitige Richtungsableitungen multivariater konvexer Funk-tionen

Eine Funktion g : Rn → R heißt sublinear, falls g positiv homogen und subadditivist, d.h.,

g(λx) = λg(x) ∀λ ≥ 0 ∀x ∈ Rn

undg(x+ y) ≤ g(x) + g(y) ∀x, y ∈ Rn.

Jede sublineare Funktion ist konvex. Jede lineare Funktion ist sublinear. Das Ma-ximum sowie jede konische Kombination einer endlichen Anzahl sublinearer Funk-tionen sind sublinear. Die Euklidische Norm ist sublinear.

72


Theorem 7.8. Sei f : A → R eine konvexe Funktion auf einer Teilmenge von Rnund sei a ∈ int(A). Dann gilt:

(a) Die Funktion u 7→ f ′(a;u) ist sublinear.

(b) Die Menge L := {u : f ′(a;u) = −f ′(a,−u)} ist eine Untervektorraum von Rn.

Beweis. Sei g(u) := f ′(a, u).(a): Die Gleichheit g(λu) = λg(u) fur λ > 0 ist laut der Definition der Rich-

tungsableitung aquivalent zu der Gleichheit

limt↓0

f(a+ tλu)− f(a)

t= λ lim

t↓0

f(a+ tu)

t.

Dass die beiden Grenzwerte gleich sind, sieht man, indem man etwa das t auf derrechten Seite durch tλ ersetzt.

Die Subadditivitat wird mit der Verwendung der Konvexitat von f hergeleitet.Fur alle u, v ∈ Rn und jedes t ≥ 0 gilt:

f(a+ t(u+ v))− f(a)

t=f(12(a+ 2tu) + 1

2(a+ 2tv))− f(a)

t

≤12f(a+ 2tu) + 1

2f(a+ 2tv)− f(a)

t

=12(f(a+ 2tu)− f(a)) + 1

2(f(a+ 2tv)− f(a))

t

=f(a+ 2tu)− f(a)

2t+f(a+ 2tv)− f(a)

2t

Der Grenzwertubergang fur t ↓ 0 ergibt g(u+ v) ≤ g(u) + g(v).(b): Angenommen g(u) = −g(−u) und g(v) = −g(v). Dann gilt

g(u+ v) ≤ g(u) + g(v) = −(g(−u) + g(−v))

= g(u+ v)− (g(−u) + g(−v) + g(u+ v))

≤ g(u+ v)− g(−u− v + u+ v)

= g(u+ v)− g(0) = g(u+ v).

7.5 Differenzierbarkeitskriterium fur konvexe Funktionen

Theorem 7.9. Sei f : A → R konvexe Funktion auf einer Teilmenge von Rn undsei a ∈ int(A). Dann sind die folgenden Bedingungen aquivalent:

(i) Die Funktion f ist im Punkt a differenzierbar.

(ii) Die Funktion f besitzt im Punkt a die partiellen Ableitungen nach allen Va-riablen x1, . . . , xn.

Beweis. Es reicht die Implikation (ii) ⇒ (i) zu verifizieren. Angenommen, (ii) isterfullt, sodass ∇f(a) existiert. Wir zeigen,

limh→0

g(h)

|h|= 0

73


furg(h) := f(a+ h)− f(a)− 〈∇f(a), h〉 .

Die Funktion g : A→ R ist konvex. Sei h = (h1, . . . , hn) mit h 6= 0. Fur h hat mandie Abschatzung:

g(h) = g(1

nnh) = g(

n∑i=1

1

nnhiei)

≤ 1

n

n∑i=1

g(nhiei) (Jensen’sche Ungleichung)

=1

n

∑i∈[n]:hi 6=0

nhig(nhiei)

nhi

≤ 1

n|nh|

√√√√ ∑i∈[n]:hi 6=0

(g(nhiei)

nhi

)2

(Cauchy-Schwarz)

≤ |h|∑

i∈[n]:hi 6=0

|g(nhiei)||nhi|

Das ergibt:g(h)

|h|≤

∑i∈[n]:hi 6=0

|g(nhiei)||nhi|

Das Einsetzen von −h an der Stelle von h ergibt

g(−h)

|h|≤

∑i∈[n]:hi 6=0

|g(−nhiei)||nhi|

.

Außerdem gilt wegen der Konvexitat von g die Ungleichung 12(g(h) + g(−h)) ≥

g(12(h+(−h))) = g(0) = 0, d.h. −g(−h) ≤ g(h), sodass man unter Berucksichtigungder vorigen Ungleichung die fur g(−h)/|h| und g(h)/|h| die folgende Kette von Un-gleichungen erhalt:

−∑

i∈[n]:hi 6=0

|g(−nhiei)||nhi|

≤ −g(−h)

|h|≤ g(h)

|h|≤

∑i∈[n]:hi 6=0

|g(nhiei)||nhi|

Da g an der Stelle a stetig ist, gilt

g(±nhiei) = f(a± nhiei)− f(a) + nhi∂f

∂xi(a)→ 0 fur h→ 0.

Fur den rechten Term dieser Kette von Ungleichungen lasst sich das Folgendeverwenden:

g(nhiei)

nhi=f(a± nhiei)− f(a)− ∂f

∂xi(a)nhi

nhi→ 0 fur hi → 0.

Das heißt, der rechte Term geht gegen 0, fur h → 0. Analog geht auch der linkeTerm gegen 0 fur h→ 0. Somit geht g(h)

|h| gegen 0 fur h→ 0.

74


7.6 Kriterien fur die Konvexitat einer Funktion

Theorem 7.10. Sei A eine nichtleere offene konvexe Teilmenge von Rn und seif : A→ R. Dann gilt:

(a) Ist f differenzierbar so gelten die Aquivalenzen:

f ist konvex

⇔ f(y)− f(x) ≥ 〈∇f(x), y − x〉 ∀x, y ∈ A⇔ 〈∇f(y)−∇f(x), y − x〉 ≥ 0 ∀x, y ∈ A.

(b) Ist f zweimal differenzierbar, so gelten die Aquivalenzen:

f ist konvex

⇔ H(x) :=

(∂2f

∂xi∂xj(x)

)i,j∈[n]

ist positiv semidefinit ∀x ∈ A.

Beweis. (a): Ist f konvex, so gilt fur alle 0 < λ < 1 und alle x, y ∈ A:

f(x+ λ(y − x)) = f((1− λ0x+ λy) ≤ (1− λ)f(x) + λf(y)

⇒ f(x+ λ(y − x))− f(x) ≤ λ(f(y)− f(x))

⇒ f(x+ λ(y − x))− f(x)

λ≤ f(y)− f(x).

Der Grenzwertubergang fur λ ↓ 0 ergibt

〈∇f(x), y − x〉 ≤ f(y)− f(x).

Nun nehmen wir an, die vorige Ungleichung gilt fur alle x, y ∈ A. So erhalten wirdurch Vertauschen von x und y auch

〈∇f(y), x− y〉 ≤ f(x)− f(y).

Die Summe der vorigen beiden Ungleichungen ist

〈∇f(y)−∇f(x), x− y〉 ≤ 0.

Nun nehmen wir an, dass die vorige Ungleichung fur alle x, y ∈ A gilt, und zeigen,dass in diesem Fall f konvex sein muss. Seien x, y ∈ A beliebig. Es reicht zu zeigen,dass die Funktion

g(λ) := f(x+ λ(y − x))

auf [0, 1] konvex ist. Dafur reicht es laut Proposition 7.3 zu verifizieren, dass g′

steigend ist. Nach der Kettenregel hat man

g′(λ) = 〈∇f(x+ λ(y − x)), y − x〉

Fur 0 ≤ λ1 < λ2 ≤ 1 hat man nach der Voraussetzung

〈∇f(x+ λ2(y − x)) +∇f(x+ λ1(y − x)), (λ2 − λ1)(y − x)〉 ≥ 0,

75


was sich als die Ungleichung g′(λ2) ≥ g′(λ1) hinschreiben lasst. Also ist g konvexund somit auch die Funktion f konvex.

(b): Die Funktion f ist genau dann konvex, wenn fur alle x, y ∈ A mit x 6= 0die Funktion g(λ) := f(x + λ(x − y)) auf (0, 1) konvex ist. Letzteres ist laut derProposition 7.3 aquivalent zu g′′(λ) ≥ 0 fur alle 0 ≤ λ ≤ 1. Man hat nach derKettenregel

g′(λ) =n∑i=1

∂f

∂xi(x+ λ(x− y))(xi − yi)

mit x = (x1, . . . , xn) und y = (y1, . . . , yn), und nochmals nach der Kettenregel

g′′(λ) =∑i,j∈[n]

∂2f

∂xi∂xj(x+ λ(x− y))(xi − yi)(xj − yj).

Das heißtg′′(λ) = 〈H(x+ λ(x− y))(x− y), x− y〉 .

Wenn also die Hessematrix auf allen Punkten von A positiv semidefinit ist, so istg′′ ≥ 0. Also ist g konvex und somit f auch konvex. Ist f konvex so fixieren wireinen beliebigen Punkt a ∈ A und eine beliebige Richtung v. Wir konnen Punktex, y ∈ A mit x 6= y fixieren derart, dass a = 1

2(x + y) gilt und y − x parallelzu v ist. Da f konvex ist, ist g wie oben auch konvex und somit g′′(12) ≥ 0. Dasergibt 〈H(a)v, v〉 ≥ 0. Wir haben also fur jedes a ∈ A verifiziert, dass H(a) positivsemidefinit ist.

Bemerkung 7.11. Das vorige Theorem ergibt unter anderem, dass die quadratischeFunktion α+ 〈Ax, x〉+ 〈b, x〉 (A symmetrische Matrix) genau dann konvex ist, wennA positiv semidefinit ist.

7.7 Verallgemeinerungen des Gradientenbegriffs

Sei f : A → R konvexe Funktion, seien a ∈ int(A) und u ∈ Rn. Der Vektor u heißtein Subgradient von f im Punkt a, falls f(x) ≥ f(a) + 〈u, x− a〉 fur alle x ∈ A gilt.Die Menge aller Subgradienten von f im Punkt a heißt das Subdifferential von f imPunkt a und wird als ∂f(a) bezeichnet.

Theorem 7.12. Sei f : A→ R konvexe Funktion und sei a ∈ int(A). Dann gilt:

(a) ∂f(a) ist die Menge aller Vektoren u ∈ Rn derart, dass (u,−1) ∈ Rn+1 einaußerer Normalenvektor von epi(f) im Punkt (a, f(a)) ist.

(b) ∂f(a) ist eine nichtleere, konvexe und abgeschlossene Teilmenge.

(c) Ist f im Punkt a differenzierbar, so ist ∂f(a) eine einelementige Menge, dereneindeutiges Element der Gradient von f im Punkt a ist.

76


Beweis. (a): Man hat die folgenden Aquivalenzen:

(u,−1) ist ein außerer Normalenvektor von epi(f) in (a, f(a))

⇔ 〈(u,−1), (x, y)〉 ≤ 〈(u,−1), (a, f(a))〉 ∀ x ∈ A ∀ y ∈ R mit y ≥ f(x)

⇔ 〈u, x〉 − y ≤ 〈u, a〉 − f(a) ∀ x ∈ A ∀ y ∈ R mit y ≥ f(x)

⇔ y ≥ f(a) + 〈u, x− a〉 ∀ x ∈ A ∀ y ∈ R mit y ≥ f(x)

⇔ f(x) ≥ f(a) + 〈u, x− a〉 ∀ x ∈ A⇔ u ∈ ∂f(a).

(b): Wir zeigen, dass ∂f(a) mindestens einen Vektor enthalt. Da jeder Rand-punkt einer konvexen Menge eine Stutzhyperebene besitzt (vgl. den Paragraphen4.3), hat die konvexe Menge epi(f) in ihrem Randpunkt (a, f(a)) einen außerenNormalenvektor, den wir als (v, α) ∈ Rn+1 bezeichnen. D.h.

〈(v, α), (x, y)〉 ≤ 〈(v, α), (a, f(a))〉

gilt fur alle x ∈ A und y ∈ R mit y ≥ f(x). Die vorige Ungleichung kann als

〈v, x〉+ αy ≤ 〈v, a〉+ αf(a)

umformuliert werden. Das Einsetzen von x = a und y = f(a) + 1 ergibt α ≤ 0. DesWeiteren gilt α 6= 0, da sonst die Ungleichung 〈v, x〉 ≤ 〈v, a〉 gelten wurde, die derVoraussetzung a ∈ int(A) widerspricht. Also ist α < 0. Fur u = v/|α| gilt somit

〈u, x〉 − y ≤ 〈u, a〉 − f(a)

fur alle x ∈ A und y ≥ f(x). Wir setzen y = f(x) ein und erhalten

f(x) ≥ f(a) + 〈u, x− a〉 .

D.h., u ist ein Subgradient. Dass die Menge ∂f(a) aller Subgradienten konvex undabgeschlossen ist, folgt direkt aus der Definition des Subgradienten.

(c): Angenommen, f ist in a differenzierbar. Dann gilt fur jeden Vektor v ∈ Rn dieGleichung f ′(a; v) = 〈∇f(a), v〉. Daraus folgt f ′(a; v) = −f ′(a;−v). Man betrachteeinen beliebigen Subgradienten u von f in a. Aus der Definition des Subgradientenfolgt, dass die Ungleichung

f(a+ λv) ≥ f(a) + λ 〈v, u〉

fur alle λ > 0 mit a + λv ∈ A gilt. Da a ∈ int(A) gilt diese Ungleichung fur allegenugend kleinen λ > 0. Wir formulieren die vorige Ungleichung als

f(a+ λv)− f(a)

λ≥ 〈v, u〉

um. Der Grenzwertubergang fur λ ↓ 0 ergibt

f(a; v) ≥ 〈v, u〉 .

fur alle v ∈ Rn. Das Einsetzen von −v an der Stelle von v ergibt f(a;−v) ≥−〈v, u〉. Wir multiplizieren die vorige Ungleichung mit −1 und erhalten f(a; v) =−f(a;−v) ≤ 〈v, u〉. Also gilt f(a; v) = 〈v, u〉 fur alle v ∈ Rn. Durch Anwendungdieser Ungleichung fur v ∈ {e1, . . . , en} erhalten wir

u = (f(a; e1), . . . , f(a; en)) = ∇f(a).

77


7.8 Optimalitatskriterien in der konvexen Optimierung

Das folgende ist ein Kriterium fur das globale Optimum in einem inneren Punkt desDefinitionsbereichs.

Proposition 7.13. Sei f : A→ R konvexe Funktion mit A ⊆ Rn. Sei x∗ ∈ int(A).Dann sind die folgenden Bedingungen aquivalent:

(i) x∗ ist eine optimale Losung der Aufgabe infx∈A f(x).

(ii) 0 ∈ ∂f(x∗).

Beweis. Man hat die Aquivalenzen: x∗ ist eine optimale Losung von infx∈A f(x)

⇔ f(x∗) ≤ f(x) ∀x ∈ A⇔ f(x) ≥ f(x∗) + 〈0, x− x∗〉 ∀x ∈ A⇔ 0 ∈ ∂f(x∗).

Theorem 7.14. Sei f : A → R konvexe Funktion, sei B ⊆ int(A) abgeschlossenekonvexe Menge und x∗ ∈ B. Dann sind die folgenden Bedingungen aquivalent.

(i) x∗ ist eine optimale Losung von infx∈B f(x)

(ii) x∗ ist eine optimale Losung des Problems infx∈B 〈u, x〉 fur ein u ∈ ∂f(x∗).

(iii) Es gilt 0 ∈ ∂f(x∗) oder x∗ ∈ bd(B) und, fur ein u ∈ ∂f(x∗) \ {0}, ist −uaußerer Normalenvektor von B im Punkt x∗ (d.h., x∗ ∈ F (B,−u)).

Beweis. (i)⇒ (ii): Angenommen, (i) ist erfullt. Wir betrachten die konvexen Mengen

K := {(x, y) : x ∈ A, y > f(x)} ,L := {(x, y) : x ∈ B, y ≤ f(x∗)} .

Ist (x, y) ∈ K ∩L, so gilt x ∈ B und f(x∗) ≥ y > f(x) und somit f(x∗) > f(x), wasder vorausgesetzten Optimalitat von x∗ widerspricht. Somit ist K∩L = ∅. Nach denTrennsatzen (vgl. Abschnitt 4.5) existiert ein Vektor (v, α) ∈ Rn+1 \ {0} mit

〈(v, α), (x, y)〉 ≥⟨(v, α), (x′, y′)

⟩fur alle (x, y) ∈ K und (x′, y′) ∈ L. Das heißt,

〈v, x〉+ αy ≥⟨v, x′

⟩+ αy′

fur alle x ∈ A, y > f(x), x′ ∈ B und y′ ≤ f(x∗).Wir setzen x = x′ = x∗, y = f(x∗) + 1 und y′ = f(x∗) ein und erhalten α ≥ 0.

Des Weiteren kann α = 0 nicht gelten, da man sonst im Fall x′ = x∗ die Ungleichung〈v, x〉 ≥ 〈v, x∗〉 fur alle x ∈ A hatte. Das in Kombination mit x∗ ∈ B ⊆ int(A) ergibtv = 0. D.h., (v, α) = (0, 0), ein Widerspruch. Wir haben also α > 0 gezeigt. Wirzeigen, dass fur −u = v/α die Bedingung (ii) erfullt ist. Man hat

−〈u, x〉+ y ≥ −⟨u, x′

⟩+ y′ (18)

78


fur alle x ∈ A, y > f(x), x′ ∈ B und y′ ≤ f(x∗). Wir setzen x′ = x∗ und y′ = f(x∗)ein und erhalten

y ≥ f(x∗) + 〈u, x− x∗〉 ∀x ∈ A.

Fur y ↓ f(x) erhalt man

f(x) ≤ f(x∗) + 〈u, x− x∗〉 ∀x ∈ A.

Somit ist u ∈ ∂f(x∗).Nun setzen wir in (18), x = x∗ und y′ = f(x∗) ein und erhalten

〈u, x∗〉 ≤⟨u, x′

⟩+ y − f(x∗)

fur alle y > f(x∗) und x′ ∈ B und y′ ≤ f(x∗). Fur y ↓ f(x∗) erhalt man

〈u, x∗〉 ≤⟨u, x′

⟩∀x′ ∈ B.

Das heißt, u erfullt die Bedingung aus (ii).(ii) ⇒ (iii): Angenommen, (ii) ist erfullt. Im Fall 0 ∈ ∂f(x∗) ist nach der Pro-

position 7.8 der Punkt x∗ eine optimale Losung von infx∈A f(x). Ansonsten gilt0 6∈ ∂f(x∗) und somit auch u 6= 0. Aus u 6= 0 und (ii) folgt nun, dass x∗ einRandpunkt von B und u ein außerer Normalenvektor von B in x∗ ist.

(iii) ⇒ (i): Angenommen, (iii) ist erfullt. Wenn 0 ∈ ∂f(x∗) gilt, so ist nachProposition 7.13 der Punkt x∗ eine optimale Losung von infx∈A f(x) und somitauch von infx∈B f(x). Sonst gilt die Ungleichung

f(x) ≥ f(x∗) + 〈u, x− x∗〉 ∀x ∈ A,

wegen u ∈ ∂f(x∗), sowie die Ungleichung

〈u, x∗〉 ≤ 〈u, x〉 ∀x ∈ B,

da −u ein außerer Normalenvektor von B in x∗ ist. Durch Kombination der vorigenbeiden Ungleichungen erhalt man f(x) ≥ f(x∗) fur alle x ∈ B, d.h., f(x∗) ist dasMinimum von f auf B.

Das folgende Korollar ist eine Verallgemeinerung der in Abschnitt 5.2 prasentiertenDualitat der linearen Aufgaben (std-LP) und (std-LP-dual).

Korollar 7.15 (Karush-Kuhn-Tucker-Bedingungen auf einem Polyeder). Sei f :K → R eine konvexe Funktion auf einer konvexen Teilmenge K von Rm mit m ∈ N.Man betrachte ein Polyeder P = {y ∈ Rm : yA ≤ c} mit A = (a1 . . . an) ∈ Rm×n,c = (c1, . . . , cn) ∈ Rn, n ∈ N und P ⊆ int(K). Sei y∗ ∈ P . Dann sind die folgendenBedingungen aquivalent.

(i) y∗ ist eine optimale Losung von infy∈P f(y).

(ii) Fur ein u ∈ ∂f(x∗) gilt

−u ∈ cone({ai : i ∈ [n], ci = 〈y∗, ai〉})

Hierbei setzen wir die konische Hulle der leeren Menge gleich {0}.

79


Beweis. (i) ⇒ (ii): Angenommen, (i) ist erfullt. Dann existiert laut Theorem 7.14u ∈ ∂f(y∗) derart, dass y∗ eine optimale Losung der linearen Aufgabe infy∈P 〈y, u〉ist. Die vorige Ausgabe ist aquivalent zu Aufgabe (std-LP-dual) aus Kapitel 5 mitb = −u. Sei nun x∗ = (x∗1, . . . , x

∗n) eine optimale Losung der Aufgabe (std-LP). Es

sei daran erinnert, dass die Dualitatstheorie fur lineare Aufgaben die Existenz eineroptimalen Losung von (std-LP) garantiert. Nach den komplementaren Schlupfbedin-gungen (vgl. Theorem 5.2) hat man fur jedes i ∈ [n], dass die i-te Komponente vonx∗i oder der Wert ci−〈ai, y∗〉 gleich 0 ist. Das heißt, fur alle i ∈ [n] mit ci−〈ai, y∗〉 6= 0gilt x∗i = 0. Es folgt:

b = Ax∗ =∑i∈[n]

aix∗i =

∑i∈[n] : ci−〈ai,y∗〉=0

aix∗i

∈ cone({ai : i ∈ [n], ci = y∗ai}).

Das ergibt (ii).(ii) ⇒ (i): Angenommen, (ii) ist erfullt. Dann lasst sich b = −u als b = Ax∗

darstellen, mit x∗ = (x∗1, . . . , x∗n) ≥ 0 und x∗i = 0, wenn ci − 〈y∗, ai〉 6= 0 gilt. Das

heißt, fur alle i ∈ [n], ist die i-te Komponente von x∗ oder die i-te Komponentevon c−Ay∗ gleich Null. Nach den komplementaren Schlupfbedingungen ist x∗ eineoptimale Losung von min {〈c, x〉 : x ≥ 0, Ax = b} und y∗ eine optimale Losung vonvon max {〈y, b〉 : yA ≤ c} = max {〈y, b〉 : y ∈ P}. Da wir b = −u mit u ∈ ∂f(x∗)gesetzt haben, folgt aus Theorem 7.14, dass y∗ eine optimale Losung von infy∈P f(y)ist.

7.9 Literaturhinweise und Abschlussbemerkungen

Das Kapitel basiert im Wesentlichen auf [Sch93]. Das Subdifferential besitzt eineReihe von weiteren Eigenschaften, wie Additivitat, die bei der Behandlung von Pro-blemen aus der konvexen Optimierung (unter anderem, der Standortoptimierung)relevant sind, vgl. [Roc97].

Literatur

[BJS90] Mokhtar S. Bazaraa, John J. Jarvis, and Hanif D. Sherali, Linear program-ming and network flows (2nd ed.), John Wiley & Sons, Inc., New York,NY, USA, 1990.

[CLR04] Thomas H. Cormen, Charles Leiserson, and Clifford Rivest, RonaldL. Stein, Algorithmen: Eine Einfuhrung, 2004.

[Gro04] Martin Groetschel, Lineare optimierung (algorithmische diskrete mathe-matik ii), Skriptum zur Vorlesung im WS 2003/2004, 2004.

[KV12] Bernhard Korte and Jens Vygen, Kombinatorische optimierung: Theorieund algorithmen, Springer-Verlag, 2012.

[PS98] Christos H. Papadimitriou and Kenneth Steiglitz, Combinatorial optimi-zation: algorithms and complexity, Dover Publications, Inc., Mineola, NY,1998, Corrected reprint of the 1982 original. MR 1637890

80


[Roc97] R. Tyrrell Rockafellar, Convex analysis, Princeton Landmarks in Mathe-matics, Princeton University Press, Princeton, NJ, 1997, Reprint of the1970 original, Princeton Paperbacks. MR 1451876 (97m:49001)

[Sch86] Alexander Schrijver, Theory of linear and integer programming, Wiley-Interscience Series in Discrete Mathematics, John Wiley & Sons, Ltd., Chi-chester, 1986, A Wiley-Interscience Publication. MR 874114 (88m:90090)

[Sch93] Rolf Schneider, Convex bodies: the Brunn-Minkowski theory, Encyclopediaof Mathematics and its Applications, vol. 44, Cambridge University Press,Cambridge, 1993. MR 1216521 (94d:52007)

[Sch14] , Convex bodies: the Brunn-Minkowski theory, expanded ed., Ency-clopedia of Mathematics and its Applications, vol. 151, Cambridge Uni-versity Press, Cambridge, 2014. MR 3155183

81

Einfuhrung in die Optimierung - math.uni-magdeburg.de · Einf uhrung in die Optimierung 26. Februar...

Documents

Transcript of Einfuhrung in die Optimierung - math.uni-magdeburg.de · Einf uhrung in die Optimierung 26. Februar...