Kapitel 5. L¨osung nichtlinearer Gleichungen 5.1 ... · PDF fileNullstellen reeller...

Kapitel 5. Losung nichtlinearer Gleichungen

5.1 Nullstellen reeller Funktionen, Newton-Verfahren

5.2 Das Konvergenzverhalten iterativer Verfahren

5.3 Methode der sukzessiven Approximation

5.4 Das Newton-Verfahren im Rn

Numerische Mathematik I 197

Nullstellen reeller Funktionen, Newton-Verfahren

5.1 Nullstellen reeller Funktionen, Newton-Verfahren

Aufgabe:Bestimmung einer Nullstelle der stetigen Funktion f [a, b]→ R

Numerische Verfahren:

Typ 1: Einschließungsverfahren (z.B. Bisektion, Regula falsi):berechne eine Folge von Intervallen [xk , yk ] ⊆ [a, b], k ≥ 0, mit

f (xk)f (yk ) ≤ 0, limk→∞

xk = z Nullstelle von f .

Nach dem Zwischenwertsatz enthalt jedes Intervall [xk , yk ] eine Nullstelle vonf .

Typ 2: Iterationsverfahren (z.B. Sekantenverfahren, Newton-Verfahren):berechne eine Iterationsfolge (xk )k∈N0 mit lim

k→∞xk = z Nullstelle von f


Nullstellen reeller Funktionen, Newton-Verfahren Einschließungsverfahren: Bisektion und Regula falsi

5.1.1 Einschließungsverfahren: Bisektion und Regula falsi

Es sei f ∈ C [a, b].

1. Wahle zwei Startwerte x0, y0 ∈ [a, b] mit f (x0)f (y0) < 0.Dann besitzt f eine Nullstelle im Intervall I0 = [x0, y0] bzw. I0 = [y0, x0].

2. Berechne fur k = 1, 2, . . .

xk+1 =xk + yk

2beim Bisektionsverfahren, oder

xk+1 = xk −xk − yk

f (xk)− f (yk )f (xk ) bei der Regula Falsi,

und setze yk+1 =

xk , falls f (xk+1)f (xk ) ≤ 0,

yk , falls f (xk+1)f (yk ) < 0.

Dann besitzt f eine Nullstelle im Intervall Ik+1 = [xk+1, yk+1] bzw.Ik+1 = [yk+1, xk+1].

3. Beende das Verfahren, wenn f (xk+1) ≈ 0 oder |yk+1 − xk+1| die geforderteGenauigkeit ǫ unterschreitet.


Nullstellen reeller Funktionen, Newton-Verfahren Konvergenzbetrachtung

5.1.2 Konvergenzbetrachtung

a) Bisektionsverfahren: es gilt

|xk − yk | = 2−k |x0 − y0|, k ≥ 0.

Also gilt fur eine Nullstelle z von f die a priori Abschatzung

|xk − z | ≤ 2−k |x0 − y0|, k ≥ 0.

b) Regula falsi: die Folge (xk)k≥0 (der neu berechneten Werte) konvergiertgegen eine Nullstelle z von f .

Beachte: In den meisten Fallen gilt fur das Intervallende yk bei der Regula falsiyk = y1 fur alle k ≥ 1; deshalb konvergiert die Intervall-Lange |yk − xk | oft nichtgegen Null.


Nullstellen reeller Funktionen, Newton-Verfahren Iterationsverfahren: Sekanten- und Newton-Verfahren

5.1.3 Iterationsverfahren: Sekanten- und Newton-Verfahren

Es sei f ∈ C 1[a, b] und es gelte f ′(x) 6= 0 fur alle x ∈ (a, b); f besitze eineNullstelle z ∈ [a, b].

Sekantenverfahren: Wahle zwei Startwerte x0 6= x1 in [a, b] und berechne furk = 1, 2, . . .

xk+1 = xk −xk − xk−1

f (xk)− f (xk−1)f (xk ).

Newton-Verfahren: Wahle einen Startwert x0 in [a, b] und berechne furk = 1, 2, . . .

xk+1 = xk −f (xk )

f ′(xk).

Beende das Verfahren, wenn f (xk+1) ≈ 0 oder durch eine Fehlerabschatzung|xk+1 − z | ≤ ǫ garantiert ist (siehe weitere Aussagen).



Satz: Lokale Konvergenz des Newton-Verfahrens im skalaren Fall

Die Funktion f : [a, b]→ R sei zweimal stetig differenzierbar und besitze eineNullstelle z ∈ (a, b) mit f ′(z) 6= 0.Weiter gelte

m := minx∈[a,b]

|f ′(x)| > 0. M := maxx∈[a,b]

|f ′′(x)| <∞.

Wir wahlen 0 < r < r0 =2mM

so, dass Kr (z) = [z − r , z + r ] ⊂ [a, b] gilt.

Dann konvergiert die Folge (xk) des Newton-Verfahrens fur jeden Startwertx0 ∈ Kr (z) gegen z .



Es gelten die a-priori Fehlerabschatzung

|xk − z | ≤M

2m|xk−1 − z |2 ≤

2m

ML(2

k )

und die a-posteriori Fehlerabschatzungen

|xk − z | ≤1

m|f (xk )| ≤

M

2m|xk − xk−1|

2.

Die Folge (xk) konvergiert also lokal quadratisch. Hierbei ist L = Mr2m < 1.



Wesentliche Beweisschritte:

1. Wegen m > 0 gibt es keine weitere Nullstelle in [a,b] (Satz von Rolle).

2. Fur beliebige x , y ∈ [a,b], x 6= y , folgt aus dem Mittelwertsatz

|x − y | ≤1

m|f (x)− f (y)|.

Damit ist die erste a-posteriori Fehlerabschatzung gezeigt.

3. Die Taylorentwicklung um die Stelle x ∈ [a, b] ergibt

0 = f (z) = f (x) + (z − x)f ′(x) +

∫ z

x

f ′′(ξ)(z − ξ) dξ.

Daraus erhalten wir

|f (x)− (x − z)f ′(x)| ≤M

2(x − z)2

und weiter mit der “Iterationsfunktion” φ(x) = x − f (x)f ′(x)

|φ(x)− z | =

∣∣∣∣(x − z)−f (x)

f ′(x)

∣∣∣∣ ≤M

2m(x − z)2.

4. Wegen r < 2mM

folgt fur alle x ∈ Kr (z)

|φ(x)− z | ≤M

2m(x − z)2 ≤

Mr

2m︸︷︷︸<1

|x − z | < r ,

also bildet φ das Intervall Kr (z) in sich ab: Alle Folgenglieder xk (bei beliebigemx0 ∈ Kr (z)) liegen in Kr (z).



5. Wir fuhren die Bezeichnung ǫk = M2m

|xk − z | ein. Aus 3. folgt auch

ǫk ≤ ǫ2k−1 ≤ · · · ≤ ǫ(2k )0 .

Wegen

ǫ0 =M

2m|x0 − z | ≤

Mr

2m= L < 1

folgen die Konvergenz ǫk → 0, also xk → z und die a-priori Fehlerabschatzung.

6. Zum Beweis der zweiten a-posteriori Abschatzung erhalten wir wie in 3. (Taylorentwicklungum die Stelle xk−1)

|f (xk)− f (xk−1)− (xk − xk−1)f′(xk−1)| ≤

M

2(xk − xk−1)

2.

Als Nullstelle der Tangente erfullt xk die Beziehung f (xk−1) + (xk − xk−1)f′(xk−1) = 0,

also haben wir

|f (xk)| ≤M

2(xk − xk−1)

2.

Damit ergibt sich die zweite a-posteriori Abschatzung.


Nullstellen reeller Funktionen, Newton-Verfahren Bemerkung:

5.1.4 Bemerkung:

Die gewahlte Umgebung Kr (z) der einfachen Nullstelle z der Funktion f ist einEinzugsbereich dieser Nullstelle: fur einen Startwert x0 in dieser Umgebung erfolgt sehrrasche Konvergenz. Z.B. fur L = 1/2 erzielt man mit 5 bzw. 10 Iterationsschritten bereits

|x5 − z | ≤2m

M· 2−32 ≈

4.6m

M· 10−10,

|x10 − z | ≤2m

M· 2−1000 ≈

2m

M· 10−301.

Die wirkliche Schwierigkeit besteht haufig darin, mit dem Startwert uberhaupt eine solcheUmgebung zu treffen, da der Radius r sehr klein sein kann.

Oft kann man zunachst eine langsame (lineare) Annaherung der Zahlen x0, x1, . . . , xn andie Nullstelle beobachten, bevor die schnelle quadratische Konvergenz einsetzt. Dies liegtdaran, dass erst das Folgenglied xn im Einzugsbereich Kr (z) liegt.

Oft wird man gar keine Konvergenz erzielen, wenn der Startwert x0 nicht nahe genug bei zgewahlt wird. In bestimmten Situationen (siehe Ubung) ist das Verfahren aber robust, d.h.Konvergenz wird auch bei weit entferntem Startwert erzielt.


Nullstellen reeller Funktionen, Newton-Verfahren Bemerkung: Newton-Verfahren fur Polynome

5.1.5 Bemerkung: Newton-Verfahren fur Polynome Fur Polynome erfolgt dieAuswertung von f und f ′ mit Hilfe des Hornerschemas: zum Beispiel furf (x) = x3 − x2 − x − 1 (Achtung: f ′(1) = 0 vermeiden!)

1 −1 −1 −1 ← Koeffizienten von f

x0 = 2 2 2 2 ← x · Zahl links unterhalbSumme 1 1 1 1 = f (2)x0 = 2 2 6 − ← x · Zahl links unterhalbSumme 1 3 7 = f ′(2)

Also: zu x0 = 2 liefert das Newton-Verfahren x1 =137 ≈ 1.857.


Nullstellen reeller Funktionen, Newton-VerfahrenSatz: hinreichende Voraussetzungen fur Konvergenz des

Newton-Verfahrens

5.1.6 Satz: hinreichende Voraussetzungen fur Konvergenz des Newton-Verfahrens

f : [a, b]→ R sei zweimal stetig differenzierbar und es gelte

f (a)f (b) < 0,

f ′(x) 6= 0 und f ′′(x) 6= 0 fur alle x ∈ [a, b].

Weiterhin gelte fur der Startwert x0 ∈ [a, b] des Newton-Verfahrensf (x0)f

′′(x0) > 0.

Dann hat f genau eine Nullstelle z ∈ (a, b), die Iterierten xk desNewton-Verfahrens zum Startwert x0 liegen in [a, b], und die Folge (xk )k≥0

konvergiert monoton gegen die Nullstelle z .

Beweis: Spezialfall f ′ > 0 und f ′′ > 0 als Ubungsaufgabe.


Nullstellen reeller Funktionen, Newton-Verfahren Erganzung: modifiziertes Newton-Verfahren bei mehrfacher Nullstelle

5.1.7 Erganzung: modifiziertes Newton-Verfahren bei mehrfacher NullstelleEs sei p ∈ N, p ≥ 2. Die Funktion f ∈ C p+1[a, b] besitze eine p-fache Nullstellez ∈ (a, b), d.h.

f (z) = f ′(z) = · · · = f (p−1)(z) = 0, f (p)(z) 6= 0.

Dann liefert modifizierte Newtonverfahren

xk+1 = xk − pf (xk)

f ′(xk ), k = 0, 1, 2, . . .

lokal quadratische Konvergenz bei geeigneter Wahl des Startwerts x0, d.h.

|xk+1 − z | ≤ C (|xk − z |2), k ≥ 0.


Nullstellen reeller Funktionen, Newton-Verfahren Erganzung: modifiziertes Newton-Verfahren bei mehrfacher Nullstelle

Begrundung fur p = 2:Es sei f ∈ C3[a,b] mit doppelter Nullstelle z . Fur x ∈ [a,b] mit f ′(x) 6= 0 benutzen wir dieTaylor-Entwicklung von f und von f ′ um z und erhalten

f (x)

f ′(x)=

f ′′(z)(x−z)2

2+

∫ x

z

f ′′′(ξ)(x−ξ)2

2dξ

f ′′(z)(x − z) +

∫ x

z

f ′′′(ξ)(x − ξ) dξ

In einer Umgebung von z gilt∫ x

z

f ′′′(ξ)(x − ξ)2

2dξ = O(|x − z |3),

∫ x

z

f ′′′(ξ)(x − ξ) dξ = O(|x − z |2).

Also erhalten wirf (x)

f ′(x)=

x−z2

+O(|x − z |2)

1 +O(|x − z |)=

x − z

2+O(|x − z |2).


Nullstellen reeller Funktionen, Newton-Verfahren Satz: Lokale Konvergenz des Sekanten-Verfahrens

5.1.8 Satz: Lokale Konvergenz des Sekanten-Verfahrens

Die Funktion f : [a, b]→ R sei zweimal stetig differenzierbar und besitze eineNullstelle z ∈ (a, b) mit f ′(z) 6= 0.Weiter gelte

m := minx∈[a,b]

|f ′(x)| > 0. M := maxx∈[a,b]

|f ′′(x)| <∞.

Wir wahlen 0 < r < r0 =2mM

so, dass Kr (z) = [z − r , z + r ] ⊂ [a, b] gilt.

Dann konvergiert die Folge (xk) des Sekanten-Verfahrens fur jede Wahl derStartwerte x0, x1 ∈ Kr (z) (mit x0 6= x1) gegen z .


Nullstellen reeller Funktionen, Newton-Verfahren Satz: Lokale Konvergenz des Sekanten-Verfahrens

Es gelten die a-priori Fehlerabschatzung

|xk − z | ≤2m

MLFk mit L =

Mr

2m< 1,

wobei F0 = F1 = 1, Fk + 1 = Fk + Fk−1 die Folge der Fibonacci-Zahlenbezeichnet, und die a-posteriori Fehlerabschatzungen

|xk − z | ≤1

m|f (xk )| ≤

M

2m|xk − xk−1||xk − xk−2|.


Nullstellen reeller Funktionen, Newton-Verfahren Beispiel:

5.1.9 Beispiel: Die Funktion f : R → R mit f (x) = ex − x2 − 3x hat eine Nullstellez = 0.45677721650410. Wir wahlen x0 = 0 fur das Newton-Verfahren, x0 = 0 und x1 = 1 fur dasSekantenverfahren und Regula falsi.

Newton:k xk f (xk ) f ′(xk )0 0 1.0 -2.01 0.5 -0.10127872929987 -2.351278729299872 0.45692610661688 -0.00034760015192 -2.334640026626993 0.45677721850224 -0.00000000466481 -2.334577358819934 0.45677721650410 0.00000000000000 -2.33457735797867

Sekantenverfahren:k xk f (xk )

f (xk )−f (xk−1)

xk−xk−10 0 1.01 2.0 -2.61094390106935 -1.805471950534672 0.55387180050283 -0.22841253688563 -1.647524310093773 0.41523194220986 0.09660863546484 -2.344355918653884 0.45644097309810 0.00078496243207 -2.325307607758265 0.45677854668597 -0.00000310541286 -2.334506825271186 0.45677721646375 0.00000000009420 -2.334577637982447 0.45677721650410 -0.00000000000000 -2.33458163537657

Regula falsi: mit ak = minxk , yk und bk = maxxk , yk fur das Intervall Ik :

k ak xk+1 bk f (xk+1)f (bk )−f (ak )

bk−ak

0 0 0.55387180050283 2 -0.22841253688563 -1.805471950534671 0 0.45088419718269 0.55387180050283 0.01375034512662 -2.217864379032152 0.45088419718269 0.45673197648581 0.55387180050283 0.00010561589150 -2.351378944701513 0.45673197648581 0.45677687230257 0.55387180050283 0.00000080356507 -2.352466201061774 0.45677687230257 0.45677721388548 0.55387180050283 0.00000000611337 -2.352474477138405 0.45677721388548 0.45677721648418 0.55387180050283 0.00000000004651 -2.352474540101496 0.45677721648418 0.45677721650395 0.55387180050283 0.00000000000035 -2.352474540580507 0.45677721650395 0.55387180050283


Das Konvergenzverhalten iterativer Verfahren

5.2 Das Konvergenzverhalten iterativer Verfahren

Fragestellung: Lasst sich die “Qualitat” bzw. “Geschwindigkeit” der Konvergenzeiner Folge

limk→∞

xk = x∗

beschreiben?


Das Konvergenzverhalten iterativer Verfahren Definition: Konvergenzordnung

5.2.1 Definition: Konvergenzordnung

Es sei V ein normierter Raum. Eine konvergente Folge (xk )k≥0 mit Gliedernxk ∈ V und Grenzwert limk→∞ xk = x∗ ∈ V in einem normierten Raum R

n) mitGrenzwert hat die Konvergenzordnung p ∈ R, p ≥ 1, falls es k0 ∈ N und c > 0(mit c < 1 im Fall p = 1) gibt, so dass

‖xk+1 − x∗‖ ≤ c‖xk − x∗‖p fur alle k ≥ k0.

p = 1: Man spricht von linearer Konvergenz. Fur k ≥ k0 gelten die a-prioriund a-posteriori Fehlerabschatzungen des Banachschen Fixpunktsatzes inAbschnitt 5.3:

‖xk − x∗‖ ≤ck−k0

1− c‖xk0+1 − xk0‖,

‖xk − x∗‖ ≤c

1− c‖xk − xk−1‖.


Das Konvergenzverhalten iterativer Verfahren Definition: Konvergenzordnung

p = 2: Man spricht von quadratischer Konvergenz, wie z.B. beimNewton-Verfahren. Dann gilt fur die reelle Nullfolge ǫk = c‖xk − x∗‖

ǫk ≤ ǫ2k−k0

k0fur alle k ≥ k0,

also sehr schnelle Konvergenz gegen Null, falls einmal ǫk0 < 1 erreicht ist.

Gilt im Fall p = 1 die Beziehung

limk→∞

‖xk+1 − x∗‖

‖xk − x∗‖= 0,

so spricht man von “superlinearer” Konvergenz. Einige“Quasi-Newton”-Verfahren sind superlinear, haben aber keineKonvergenzordnung p > 1.

Das Sekantenverfahren hat die Konvergenzordnung p = 1+√5

2 ≈ 1.6. Einkonvergentes Verfahren mit

‖xk+1 − x∗‖ ≤ c‖xk − x∗‖ ‖xk−1 − x∗‖ ‖xk−2 − x∗‖

hat die Konvergenzordnung p ≈ 1.84, siehe Ubungsblatt 10.


Das Konvergenzverhalten iterativer Verfahren Definition: Fixpunktverfahren

5.2.2 Definition: Fixpunktverfahren

Es sei V ein normierter Vektorraum, M ⊆ V und φ : M → M eine Abbildung. EinIterationsverfahren der Form

xk+1 = φ(xk ), k = 0, 1, 2, . . .

mit Startwert x0 ∈ M heißt Fixpunktverfahren oder Verfahren der sukzessiven

Approximation, φ heißt Iterationsfunktion des Verfahrens.

Beachte: φ ist eine Selbstabbildung der Teilmenge M in sich, damit das Verfahrendurchfuhrbar ist.


Das Konvergenzverhalten iterativer Verfahren Satz: Konvergenzordnung der Fixpunkt-Iteration in R

5.2.3 Satz: Konvergenzordnung der Fixpunkt-Iteration in R

Es sei p ∈ N, p ≥ 2. Die Funktion φ : [a, b]→ [a, b] sei p-mal stetigdifferenzierbar, die Folge (xk)k≥0 des Fixpunktverfahrens xk+1 = φ(xk ) besitzeeinen Grenzwert x∗, und es gelte

φ′(x∗) = · · · = φ(p−1)(x∗) = 0.

Dann ist x∗ Fixpunkt von φ, und die Folge (xk ) hat mindestens dieKonvergenzordnung p.

Beweisidee: Man zeigt mit der Taylorformel

|φ(x)− x∗| =

∣

∣

∣

∣

∫ x

x∗φ(p)(ξ)

(x − ξ)p−1

(p − 1)!dξ

∣

∣

∣

∣

≤Mp

p!|x − x∗|p

mit Mp = supx∈[a,b] |φ(p)(x)|.


Methode der sukzessiven Approximation Beispiel:

5.3 Methode der sukzessiven Approximation

In vielen Anwendungen sind Gleichungssysteme zu losen, in denen dieUnbekannten nichtlinear auftreten.

5.3.1 Beispiel: Der Betrag der Gravitationskraft zwischen zwei Punktmassen m1 und m2 (in kg)mit dem Abstand r = ‖

(x1−x2y1−y2

)‖ (in Meter) ist nach dem Newtonschen Gesetz

‖F‖ = Gm1m2

r2mit G = 6.67 · 10−11Nm2/kg ,

der Kraftvektor F hat die Koordinatenform

F = ±Gm1m2

r

(x1 − x2y1 − y2

).

Wir betrachten ein ebenes Gravitationsfeld mit drei festen Punktmassen mk in den Punkten

P1 = (x1, 0), P2 = (x2, 0), P3 = (0, y3).

Auf eine weitere Punktmasse m im Punkt P = (x , y) ∈ R2 wirken die drei Krafte

Fk (x , y) = Gmmk

rk

(xk − x

yk − y

), k = 1, 2, 3.

Das Gleichgewicht wird durch die Gleichung

F1(x , y) + F2(x , y) + F3(x , y) = ~0 (5.3.1)

beschrieben. Dies ist ein nichtlineares Gleichungssystem mit zwei Unbekannten x und y (dieMasse m wird herausgekurzt).


Methode der sukzessiven Approximation Definition: Fixpunkt, Fixpunktverfahren im Rn

5.3.2 Definition: Fixpunkt, Fixpunktverfahren im Rn

Es sei D ⊆ Rn nichtleer und φ : D → R

n eine stetige Funktion.

a) Ein Element x∗ ∈ D mit x∗ = φ(x∗) heißt Fixpunkt von φ.

b) Falls φ(x) ∈ D fur alle x ∈ D gilt, so nennt man φ eine Selbstabbildung derMenge D.

c) Fur eine Selbstabbildung φ : D → D kann zu einem Startwert x (0) ∈ D dieFolge

x (k+1) = φ(x (k)), k = 0, 1, 2, . . .

gebildet werden. Diese Iterationsvorschrift nennt man Fixpunktverfahren oderMethode der sukzessiven Approximation.


Methode der sukzessiven Approximation Satz

5.3.3 Satz

Es sei φ : D → D eine stetige Selbstabbildung und (x (k))k≥0 die zum Startwertx (0) ∈ D gebildete Folge des Fixpunktverfahrens.

Falls diese Folge einen Grenzwert x∗ ∈ D besitzt, so ist x∗ Fixpunkt von φ.

Beweis: Stetigkeit ausnutzen in

x∗ = limk→∞

x (k+1) = limk→∞

φ(x (k)) = φ(

limk→∞

x (k))= φ(x∗).


Methode der sukzessiven Approximation Definition: kontrahierende Abbildung

Auf Rn legen wir eine Norm ‖ · ‖ fest, z.B. die euklidische Norm.

5.3.4 Definition: kontrahierende Abbildung

Es sei D ⊂ Rn und φ : D → R

n eine Funktion.

a) φ heißt Lipschitz-stetig mit der Lipschitzkonstanten L ≥ 0, falls

‖φ(x)− φ(y)‖ ≤ L‖x − y‖ fur alle x , y ∈ D.

b) φ heißt kontrahierend (bzgl. der gegebenen Norm), falls φ Lipschitz-stetig miteiner Lipschitzkonstanten L < 1 ist. In diesem Fall nennt man L auchKontraktionszahl von φ.

Bemerkung: Die Lipschitz-Stetigkeit von φ ist unabhangig von der gegebenen Norm; sieimpliziert die Stetigkeit von φ.

Jedoch hangt die Konstante L von der gegebenen Norm ab: die Kontraktionseigenschaft kannbzgl. einer Norm erfullt sein und bezuglich einer anderen Norm verletzt sein.


Methode der sukzessiven Approximation Satz: Lipschitz-Konstanten differenzierbarer Funktionen

5.3.5 Satz: Lipschitz-Konstanten differenzierbarer Funktionen

Die Menge D ⊂ Rn sei konvex und φ : D → R

n sei stetig differenzierbar. Wirbezeichnen mit φj die Komponenten von φ, mit

Dφ(x) =

∂φ1(x)∂x1

· · · ∂φ1(x)∂xn

......

∂φn(x)∂x1

· · · ∂φn(x)∂xn

die Jacobimatrix von φ und verwenden die naturliche Matrixnorm ‖Dφ(x)‖ zurgegebenen Norm auf Rn. Falls

L := supx∈D

‖Dφ(x)‖ <∞

gilt, ist L eine Lipschitzkonstante von φ.


Methode der sukzessiven Approximation Banachscher Fixpunktsatz

In der Analysis wurde bereits der folgende Satz bewiesen.

5.3.6 Banachscher Fixpunktsatz

Sei D ⊆ Rn eine nichtleere abgeschlossene Menge und φ : D → D eine

kontrahierende Selbstabbildung mit der Kontraktionskonstante 0 ≤ L < 1.

Dann hat φ genau einen Fixpunkt x∗ ∈ D.

Fur jeden Startwert x (0) ∈ D konvergiert die Folge (x (k))k≥0 der Methode dersukzessiven Approximation gegen den Fixpunkt x∗ von φ.

Fur k ≥ 1 gilt:

‖x (k) − x∗‖ ≤ L ‖x (k−1) − x∗‖ (mindestens lineare Konvergenz)

‖x (k) − x∗‖ ≤Lk

1− L‖x (1) − x (0)‖ (a priori Fehlerabschatzung)

‖x (k) − x∗‖ ≤L

1− L‖x (k) − x (k−1)‖ (a posteriori Fehlerabschatzung)


Methode der sukzessiven Approximation Bemerkung: Prufung des Wertebereichs

5.3.7 Bemerkung: Prufung des WertebereichsAuf die Voraussetzung an den Wertebereich von φ, also

φ(D) ⊂ D,

darf nicht verzichtet werden! Diese Voraussetzung ermoglicht, dass dieIterationsfolge gebildet werden kann.

a) Fur eine Funktion φ : [a,b] → R pruft man mit den ublichen Methoden derKurvendiskussion (Monotoniebereiche), ob φ eine Selbstabbildung des Intervalls [a,b] ist.

Falls ja, erkennt man auch ohne die Kontraktionseigenschaft, dass φ einen Fixpunkt hat:denn die stetige Funktion g : [a, b] → R mit g(x) = x − φ(x) hat mindestens eineNullstelle, weil

g(a) = a− φ(a) ≤ 0 ≤ b − φ(b) = g(b).

b) Jede stetige Funktion φ : D → D mit konvexer kompakter Menge D ⊂ Rn besitztmindestens einen Fixpunkt! (Brouwersche Fixpunktsatz, 1910-11)

c) Fur φ : D → Rn erhalt man die Kontraktions- und die Selbstabbildungs-Eigenschaft oft erst

durch geschickte Einschrankung des Definitionsbereichs auf eine Teilmenge D ⊂ D. Eineallgemeine Methode wird im folgenden Punkt beschrieben.


Methode der sukzessiven Approximation Methode: Kugelbedingung

5.3.8 Methode: Kugelbedingung

Es sei φ : D → Rn stetig. Weiter seien ξ0 ∈ D, r > 0 sowie 0 ≤ L < 1 mit den

folgenden Eigenschaften gegeben:

(1) Kr (ξ0) = x ∈ Rn | ‖x − ξ0‖ ≤ r ⊆ D.

(2) Es gilt die Kontraktionsbedingung

‖φ(x)− φ(y)‖ ≤ L‖x − y‖ fur alle x , y ∈ Kr (ξ0).

(3) Es gilt die Kugelbedingung ‖φ(ξ0)− ξ0‖ ≤ r(1 − L).

Dann bildet φ die Menge Kr (ξ0) in sich ab, d.h. die Einschrankung φ |Kr (ξ0) isteine kontrahierende Selbstabbildung.

Beweis: Mit der Dreiecksungleichung, Kontraktions- und Kugelbedingung folgt

‖φ(x) − ξ0‖ ≤ ‖φ(x) − φ(ξ0)‖ + ‖φ(ξ0)− ξ0‖ ≤ L‖x − ξ0‖+ (1− L)r ≤ r .


Methode der sukzessiven Approximation Bemerkung: Fixpunktverfahren in R

5.3.9 Bemerkung: Fixpunktverfahren in R

x∗ sei Fixpunkt der stetig differenzierbaren Funktion φ : [a, b]→ [a, b]. MoglicheSzenarien fur die Iterationsfolge (x (k)) werden durch das matlab-filefixpointplot.m dargestellt. Dabei werden die Bedingungen

(i) |φ′(x∗)| > 1: abstoßender Fixpunkt von g(x) = cosh(x)/2 bei x ≈ 2.1

(ii) 0 < φ′(x∗) < 1: anziehender Fixpunkt von g(x) = cosh(x)/2 bei x ≈ 0.6 mitMonotonie der Folge

(iii) −1 < φ′(x∗) < 0: anziehender Fixpunkt von g(x) = cos x bei x ≈ 0.7 mitAlternierung der Folge

unterschieden.


Methode der sukzessiven Approximation Bemerkung: Fixpunktverfahren in R

2 3 4 5 6 7

2

3

4

5

6

7

(i) abstossender Fixpunkt mit g’(x*)>1

0 0.5 1 1.5 2

0

0.5

1

1.5

2(ii) anziehender Fixpunkt mit 0<g’(x*)<1

0 0.5 1 1.5 2

0

0.5

1

1.5

2(iii) anziehender Fixpunkt mit −1<g’(x*)<0


Methode der sukzessiven Approximation Bemerkung: Nullstelle vs. Fixpunkt

5.3.10 Bemerkung: Nullstelle vs. FixpunktEin Gleichungssystem

f (x) = 0

zu gegebener Funktion f : Rn → Rn lasst sich in vielfaltiger Weise umwandeln in

die Fixpunkt-Form

φ(x) = x ,

wobei φ : Rn → Rn mit f zusammenhangt uber

f (x) = 0 ⇔ x = φ(x).

Beispeilsweise wahlt manφ(x) = x + Cf (x)

mit einer invertierbaren Matrix C ∈ Rn×n.


Methode der sukzessiven Approximation Beispiel in R:

5.3.11 Beispiel in R: Die Gleichung f (x) = x6 − x − 1 = 0 besitzt eine positive Losung imIntervall [0, 2], und zwar x∗ ≈ 1.13472413840152.

1. Die Fixpunktiteration φ1(x) = (1 + x)1/6 mit Startwert x0 = 2 konvergiert linear,

2. die Fixpunktiteration φ2(x) = x − x6−x−16x5−1

(Newton-Verfahren) mit Startwert x0 = 2

beginnt mit linearer Konvergenz (bis x4), ist dann im Einzugsbereich und “schaltet um”auf quadratische Konvergenz (Verdopplung genauer Stellen pro Schritt).

Die unterschiedliche Konvergenzordnung erkennt man anhand von φ′

1(x∗) = 1

6(x∗)56= 0 und

φ′

2(x∗) = 0.

φ1 φ2

2.00000000000000 2.000000000000001.20093695517600 1.680628272251311.14051569756263 1.430738988239061.13523664844046 1.254970956109441.13476953843976 1.161538432773311.13472816047178 1.136353274170511.13472449472677 1.134730528343631.13472416996929 1.134724138500221.13472414119819 1.13472413840152


Das Newton-Verfahren im Rn Newton-Verfahren im R

n

5.4 Das Newton-Verfahren im Rn (und zwei Varianten)

Ziel: Lose das (nichtlineare) Gleichungssystem

f (x) = 0,

wobei f : D → Rn mindestens einmal stetig differenzierbar ist in D ⊆ R

n.

5.4.1 Newton-Verfahren im Rn

Es sei D ⊆ Rn, f : D → R

n sei stetig differenzierbar.Zur Losung des Gleichungssystems f (x) = 0 wahlt man einen Startwert x0 ∈ D

und berechnet

x (k+1) = x (k) − [Df (x (k))]−1 f (x (k)), k ≥ 0.

Falls die Jacobi-Matrix Df (x (k)) nicht invertierbar ist, bricht das Verfahren miteiner Fehlermeldung ab.


Das Newton-Verfahren im Rn Algorithmus: Newton-Verfahren im R

n

5.4.2 Algorithmus: Newton-Verfahren im Rn

Das Newton-Verfahren im Rn wird meist so programmiert:

Gegeben: Startwert x (0) ∈ D.

Fur k = 0, 1, 2, . . .:

1. Berechne f (x (k)), A(k) := Df (x (k)),(z.B. durch Aufruf von Funktionen f und Df)

2. lose das lineare Gleichungssystem A(k)s(k) = −f (x (k)),

(z.B. mittels LR-Zerlegung von A(k))

3. Setze x (k+1) := x (k) + s(k),

bis k ≥ kmax oder ‖(A(k))−1f (x (k+1))‖ ≤ tol.

In jedem Schritt ist also ein lineares Gleichungssystem zu losen, in dem dieNewton-Korrektur s(k) berechnet wird. Die Abbruchbedingung ist in Anlehnung andie erste a-posteriori Fehlerabschatzung im skalaren Fall gewahlt.


Das Newton-Verfahren im Rn Satz: Lokale Konvergenz des Newton-Verfahrens (mehrdimensionaler Fall)

Voraussetzungen:

f : Ω→ Rn ist stetig differenzierbar, Ω ⊆ R

n ist konvex und offen.

f besitzt eine Nullstelle z ∈ Ω und die Jacobimatrix Df (z) ist invertierbar.

Df ist auf Ω Lipschitz-stetig mit einer Konstanten M > 0, d.h.

‖Df (x)− Df (y)‖ ≤ M‖x − y‖, x , y ∈ Ω.

Fur jedes x ∈ Ω ist Df (x) invertierbar und

1

m:= sup

x∈Ω‖[Df (x)]−1‖ <∞.

5.4.3 Satz: Lokale Konvergenz des Newton-Verfahrens (mehrdimensionaler Fall)

Unter den obigen Voraussetzungen wahlen wir 0 < r < r0 =2mM

so, dassKr (z) ⊂ Ω gilt.Dann ist die Iterationsfunktion φ(x) = x − [Df (x)]−1 f (x) des Newtonverfahrenseine kontrahierende Selbstabbildung von Kr (z) mit der Kontraktionskonstante

L =Mr

2m< 1.


Das Newton-Verfahren im Rn Satz: Lokale Konvergenz des Newton-Verfahrens (mehrdimensionaler Fall)

Also konvergiert die Folge (x (k))k≥0 des Newton-Verfahrens fur jeden Startwertx (0) ∈ Kr (z) gegen z . Es gilt die a-priori Fehlerabschatzung

‖x (k) − z‖∞ ≤2m

ML(2

k ).

Die Folge (x (k))k≥0 konvergiert also lokal quadratisch.


Das Newton-Verfahren im Rn Beispiele:

5.4.4 Beispiele:a) Einzugsgebiet: Flugbahn der US-Raumsonde Voyager 2 (1977-...), siehewww-aix.gsi.de/~giese/swr

b) Einfuhrungsbeispiel: (s. auch Dahmen, Reusken, S. 197-198)


Das Newton-Verfahren im Rn Variante: Vereinfachtes Newton-Verfahren

5.4.5 Variante: Vereinfachtes Newton-Verfahren

Beim Newton-Verfahren im Rn kostet in jedem Schritt sowohl das Aufstellen

der Jacobi-Matrix A(k) = Df (x (k)) als auch das Losen des linearenGleichungssystems A(k)s(k) = −f (x (k)) die meiste Zeit.

Beim vereinfachten Newton-Verfahren halt man die Matrix diesesGleichungssystems fur ℓ Schritte fest. D.h., man rechnet

A(0)s(k) = −f (x (k)), x (k+1) = x (k) + s(k)

mit A(0) = Df (x (0)) fur k = 0, 1, 2, . . . , ℓ− 1, und stellt dazu nur dieLR-Zerlegung A(0) her.

Erst dann wird A(0) durch A(ℓ) = Df (x (ℓ)) ersetzt und fur die nachsten ℓSchritte verwendet,

A(ℓ)s(k) = −f (x (k)), x (k+1) = x (k) + s(k)

mit A(ℓ) = Df (x (ℓ)) fur k = ℓ, ℓ+ 1, . . . , 2ℓ− 1, usw.

Gegenuber dem herkommlichen Verfahren wird also nur A(0), A(ℓ), A(2ℓ) etc.benotigt.


Das Newton-Verfahren im Rn Variante: Gedampftes Newton-Verfahren

5.4.6 Variante: Gedampftes Newton-VerfahrenZur “Globalisierung” der Konvergenz (d.h. auch bei grob gewahltem Startwert x (0)) verwendetman die Newton-Korrektur

s(k) = −[Df (x (k))]−1f (x (k))

nur als Suchrichtung, variiert aber ihre Lange so, dass ‖f (x (k))‖ tatsachlich verkleinert wird. Derfolgende Algorithmus erzielt mindestens lineare Konvergenz mit Konstante L = 1− λmin/4 < 1oder bricht ab.

Gegeben: Startwert x (0).Fur k = 0, 1, 2, . . . :

1. Berechne f (x (k)), A(k) := Df (x (k)).

2. Lose das lineare Gleichungssystem A(k)s(k) = −f (x (k)),2.a Setze λ = 1.2.b Dampfung:

Setze x := x (k) + λs(k); Cλ := 1− λ/4;

Falls ‖(A(k))−1f (x)‖ ≤ Cλ‖(A(k))−1f (x (k))‖, gehe zu 3.

Sonst:

Setze λ := λ/2.Falls λ ≥ λmin, gehe zu 2.b.

Sonst ABBRUCH: keine Konvergenz.

3. Setze x (k+1) := x ,

bis k ≥ kmax oder ‖(A(k))−1f (x (k+1))‖ ≤ tol.


Das Newton-Verfahren im Rn Variante: Gedampftes Newton-Verfahren

Der Algorithmus hat zwei ineinander geschachtelte Schleifen, die durch die Parameter λmin

und kmax begrenzt werden.

Die Voraussetzungen an den Startwert x (0) fur die Konvergenz gegen die Nullstelle x∗ sindwesentlich schwacher als beim Newton-Verfahren. Daher liegt oft Konvergenz vor, auchwenn x (0) eine grobe Naherung an x∗ ist. Die anfangliche lineare Konvergenz fuhrt in denEinzugsbereich der Nullstelle, ab dann wird in 2.b die Bedingung fur λ = 1 erfullt sein unddie quadratische Konvergenz setzt ein.


Kapitel 5. L¨osung nichtlinearer Gleichungen 5.1 ... · PDF fileNullstellen reeller...

Documents

Transcript of Kapitel 5. L¨osung nichtlinearer Gleichungen 5.1 ... · PDF fileNullstellen reeller...