Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1 Grundlagen
Themen:
◮ Gleitpunktzahlen und Maschinengenauigkeit
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1 Grundlagen
Themen:
◮ Gleitpunktzahlen und Maschinengenauigkeit
◮ Vektor- und Matrizennormen
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1 Grundlagen
Themen:
◮ Gleitpunktzahlen und Maschinengenauigkeit
◮ Vektor- und Matrizennormen
◮ Stabilität linearer Gleichungssysteme
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.1 Gleitpunktarithmetik und Rundungsfehler
Eine Gleitpunktzahl, auch Gleitkommazahl genannt, imDezimalsystem ist von der Form
x = 0.d1d2 . . . dt×10k , di ∈ {0, 1, . . . , 9}, (= t gültige Stellen)
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.1 Gleitpunktarithmetik und Rundungsfehler
Eine Gleitpunktzahl, auch Gleitkommazahl genannt, imDezimalsystem ist von der Form
x = 0.d1d2 . . . dt×10k , di ∈ {0, 1, . . . , 9}, (= t gültige Stellen)
mitd1 6= 0 für x 6= 0 und − m ≤ k ≤ m.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.1 Gleitpunktarithmetik und Rundungsfehler
Eine Gleitpunktzahl, auch Gleitkommazahl genannt, imDezimalsystem ist von der Form
x = 0.d1d2 . . . dt×10k , di ∈ {0, 1, . . . , 9}, (= t gültige Stellen)
mitd1 6= 0 für x 6= 0 und − m ≤ k ≤ m.
Es gibt also nur endlich viele Gleitpunktzahlen!
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.1 Gleitpunktarithmetik und Rundungsfehler
Eine Gleitpunktzahl, auch Gleitkommazahl genannt, imDezimalsystem ist von der Form
x = 0.d1d2 . . . dt×10k , di ∈ {0, 1, . . . , 9}, (= t gültige Stellen)
mitd1 6= 0 für x 6= 0 und − m ≤ k ≤ m.
Es gibt also nur endlich viele Gleitpunktzahlen!
Setze m = ∞ voraus.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Maschinengenauigkeit
Es seiM = Menge der Gleitpunktzahlen.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Maschinengenauigkeit
Es seiM = Menge der Gleitpunktzahlen.
Die Maschinengenauigkeit eps ist die kleinste positive Zahl inM mit
1.+ eps > 1. == true.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Maschinengenauigkeit
Es seiM = Menge der Gleitpunktzahlen.
Die Maschinengenauigkeit eps ist die kleinste positive Zahl inM mit
1.+ eps > 1. == true.
In die Maschinengenauigkeit geht ein:
◮ Zahl t der gültigen Stellen
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Maschinengenauigkeit
Es seiM = Menge der Gleitpunktzahlen.
Die Maschinengenauigkeit eps ist die kleinste positive Zahl inM mit
1.+ eps > 1. == true.
In die Maschinengenauigkeit geht ein:
◮ Zahl t der gültigen Stellen
◮ Art der Rundung (normales Auf- und Abrunden bzw.Abschneiden)
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Maschinengenauigkeit
Es seiM = Menge der Gleitpunktzahlen.
Die Maschinengenauigkeit eps ist die kleinste positive Zahl inM mit
1.+ eps > 1. == true.
In die Maschinengenauigkeit geht ein:
◮ Zahl t der gültigen Stellen
◮ Art der Rundung (normales Auf- und Abrunden bzw.Abschneiden)
Beides hängt von der Programmiersprache und/oder demRechner ab.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Maschinengenauigkeit
Es seiM = Menge der Gleitpunktzahlen.
Die Maschinengenauigkeit eps ist die kleinste positive Zahl inM mit
1.+ eps > 1. == true.
In die Maschinengenauigkeit geht ein:
◮ Zahl t der gültigen Stellen
◮ Art der Rundung (normales Auf- und Abrunden bzw.Abschneiden)
Beides hängt von der Programmiersprache und/oder demRechner ab.
Vorsicht: Das Rechenwerk arbeitet i.a. genauer.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Feststellung von eps
program
eps=1
1 eps=0.99*eps
if(masch(1.+eps)==1) goto 1
write eps
end
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Feststellung von eps
program
eps=1
1 eps=0.99*eps
if(masch(1.+eps)==1) goto 1
write eps
end
Das aufgerufene Funktionsunterprogramm ist
function masch(q)
masch=0
if(q>1.) masch=1
end
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Feststellung von eps
program
eps=1
1 eps=0.99*eps
if(masch(1.+eps)==1) goto 1
write eps
end
Das aufgerufene Funktionsunterprogramm ist
function masch(q)
masch=0
if(q>1.) masch=1
end
Durch den Aufruf von masch muss 1.+q das Rechenwerkverlassen.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Resultate für den fortran90 ifort-Compiler
Bytelänge eps
4 0.6 · 10−7
8 1.0 · 10−16
16 1.0 · 10−34
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Resultate für den fortran90 ifort-Compiler
Bytelänge eps
4 0.6 · 10−7
8 1.0 · 10−16
16 1.0 · 10−34
Diese Werte stimmen genau mit der üblichen Belegung derSpeicherplätze überein, wonach ein Byte für den Exponentenund die übrigen Bytes für die Mantisse verwendet wird.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Resultate für den fortran90 ifort-Compiler
Bytelänge eps
4 0.6 · 10−7
8 1.0 · 10−16
16 1.0 · 10−34
Diese Werte stimmen genau mit der üblichen Belegung derSpeicherplätze überein, wonach ein Byte für den Exponentenund die übrigen Bytes für die Mantisse verwendet wird.
Für die Numerik sollte man 8 Bytes verwenden, wasmanchmal als double precision bezeichnet wird.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Rundungsfehler
Es gibt eine Abbildung rd : R→ M mit
rd (x) = x(1 + ε) mit |ε| ≤ eps.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Rundungsfehler
Es gibt eine Abbildung rd : R→ M mit
rd (x) = x(1 + ε) mit |ε| ≤ eps.
Nach dem oben Gesagten sind Rundungsfehler relativeFehler, was in diesem Modell berücksichtigt wird.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Gleitpunktoperationen
Die Gleitpunktoperationen ◦∗ : M × M → M sind danndefiniert durch
x ±∗ y = rd (x ± y), x ·∗ y = rd (x · y), x/∗y = rd (x
y).
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Gleitpunktoperationen
Die Gleitpunktoperationen ◦∗ : M × M → M sind danndefiniert durch
x ±∗ y = rd (x ± y), x ·∗ y = rd (x · y), x/∗y = rd (x
y).
Im Einklang mit dem oben Angeführten wird alsoangenommen, dass in M exakt gerechnet und anschließendgerundet wird.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Eigenschaften der Gleitpunktoperationen
Die Gleitpunktoperationen sind weder assoziativ nochdistributiv.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Eigenschaften der Gleitpunktoperationen
Die Gleitpunktoperationen sind weder assoziativ nochdistributiv.
Beispiel Wir betrachten die Addition +∗ bei t = 1 undnormaler Auf- und Abrundung:
(0.8 +∗ 0.6) +∗ 0.3 = 0.1 × 101
0.8 +∗ (0.6 +∗ 0.3) = 0.2 × 101
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Eigenschaften der Gleitpunktoperationen
Die Gleitpunktoperationen sind weder assoziativ nochdistributiv.
Beispiel Wir betrachten die Addition +∗ bei t = 1 undnormaler Auf- und Abrundung:
(0.8 +∗ 0.6) +∗ 0.3 = 0.1 × 101
0.8 +∗ (0.6 +∗ 0.3) = 0.2 × 101
Rechenzeiten: Was ist schneller für eine Gleitpunktzahl a
0.5 ∗ a, a ∗ 0.5, a/2, a/2. ?
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Numerische Stabilität
Die Funktion f : Rn → R sei stetig differenzierbar. DieAuswertung von f heißt numerisch stabil, wenn es eineKonstante K gibt mit
∣
∣
∣
f (x)− f (x +∆x)
f (x)
∣
∣
∣≤ K
|∆x ||x |
für alle ∆x ∈ Rn mit ∆x genügend klein.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Numerische Stabilität
Die Funktion f : Rn → R sei stetig differenzierbar. DieAuswertung von f heißt numerisch stabil, wenn es eineKonstante K gibt mit
∣
∣
∣
f (x)− f (x +∆x)
f (x)
∣
∣
∣≤ K
|∆x ||x |
für alle ∆x ∈ Rn mit ∆x genügend klein.
|x | =√
x21+ . . .+ x2
n ist hier die euklidische Norm des
Vektors x (siehe später).
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Numerische Stabilität
Die Funktion f : Rn → R sei stetig differenzierbar. DieAuswertung von f heißt numerisch stabil, wenn es eineKonstante K gibt mit
∣
∣
∣
f (x)− f (x +∆x)
f (x)
∣
∣
∣≤ K
|∆x ||x |
für alle ∆x ∈ Rn mit ∆x genügend klein.
|x | =√
x21+ . . .+ x2
n ist hier die euklidische Norm des
Vektors x (siehe später).
In der Regel hängt die Konstante K auch von x selber ab.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Numerische Stabilität
Anschaulich bedeutet die numerische Stabilität, dass dieRundungsfehler bei der Auswertung von f nur kontrolliertverstärkt werden: Die Konditionszahl K sollte möglichst kleinsein.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Numerische Stabilität
Anschaulich bedeutet die numerische Stabilität, dass dieRundungsfehler bei der Auswertung von f nur kontrolliertverstärkt werden: Die Konditionszahl K sollte möglichst kleinsein.
Da Rundungsfehler relative Fehler sind, müssen auch in derDefiniton der numerischen Stabilität relative Fehler stehen.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel
Für die Addition f (x1, x2) = x1 + x2 erhalten wir
∣
∣
∣
f (x)− f (x +∆x)
f (x)
∣
∣
∣=
∣
∣
∣
∆x1 +∆x2
x1 + x2
∣
∣
∣≤ ?
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel
Für die Addition f (x1, x2) = x1 + x2 erhalten wir
∣
∣
∣
f (x)− f (x +∆x)
f (x)
∣
∣
∣=
∣
∣
∣
∆x1 +∆x2
x1 + x2
∣
∣
∣≤ ?
Es gilt
|∆x1 +∆x2| ≤√
2(∆x2
1 +∆x2
2 )1/2 =
√2|∆x |
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel
Für die Addition f (x1, x2) = x1 + x2 erhalten wir
∣
∣
∣
f (x)− f (x +∆x)
f (x)
∣
∣
∣=
∣
∣
∣
∆x1 +∆x2
x1 + x2
∣
∣
∣≤ ?
Es gilt
|∆x1 +∆x2| ≤√
2(∆x2
1 +∆x2
2 )1/2 =
√2|∆x |
und(x2
1 + x2
2 )1/2 ≤ |x1|+ |x2|,
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel
Falls x1, x2 > 0
∣
∣
∣
f (x)− f (x +∆x)
f (x)
∣
∣
∣=
∣
∣
∣
∆x1 +∆x2
x1 + x2
∣
∣
∣≤
√2|∆x ||x | .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel
Falls x1, x2 > 0
∣
∣
∣
f (x)− f (x +∆x)
f (x)
∣
∣
∣=
∣
∣
∣
∆x1 +∆x2
x1 + x2
∣
∣
∣≤
√2|∆x ||x | .
Die Addition zweier positiver Zahlen ist also numerisch stabilund die Subtraktion zweier ungefähr gleich großer Zahlen istinstabil.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel
Falls x1, x2 > 0
∣
∣
∣
f (x)− f (x +∆x)
f (x)
∣
∣
∣=
∣
∣
∣
∆x1 +∆x2
x1 + x2
∣
∣
∣≤
√2|∆x ||x | .
Die Addition zweier positiver Zahlen ist also numerisch stabilund die Subtraktion zweier ungefähr gleich großer Zahlen istinstabil.
Auf die gleiche Weise leitet man her, dass Multiplikation undDivision numerisch stabile Operationen sind.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die Differenz als Bösewicht
Die Subtraktion zweier ungefähr gleich großer Zahlen istinstabil.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die Differenz als Bösewicht
Die Subtraktion zweier ungefähr gleich großer Zahlen istinstabil.
Vorkommen:
◮ Auswertung eines Polynoms in der Nähe einer Nullstelle
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die Differenz als Bösewicht
Die Subtraktion zweier ungefähr gleich großer Zahlen istinstabil.
Vorkommen:
◮ Auswertung eines Polynoms in der Nähe einer Nullstelle
◮ Bestimmung des Skalarprodukts zweier fast orthogonalerVektoren
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Fazit
◮ Akkumulation von Rundungsfehlern bei der Additionnichtnegativer Zahlen verläuft linear in der Anzahl derSummanden
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Fazit
◮ Akkumulation von Rundungsfehlern bei der Additionnichtnegativer Zahlen verläuft linear in der Anzahl derSummanden
◮ Sie kann durch die Verwendung einer höherenGenauigkeit ausgeglichen werden
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Fazit
◮ Akkumulation von Rundungsfehlern bei der Additionnichtnegativer Zahlen verläuft linear in der Anzahl derSummanden
◮ Sie kann durch die Verwendung einer höherenGenauigkeit ausgeglichen werden
Dagegen: Numerische Instabilität aufgrund Auslöschung kannnur durch modifizierte Algorithmen behoben werden.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.2 Ein Beispiel
Für die reellen Zahlen p, q > 0 mit p >> q > 0 soll derAusdruck
y = −p +√
p2 + q
in Gleitkommaarithmetik näherungsweise bestimmt werden.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.2 Ein Beispiel
Für die reellen Zahlen p, q > 0 mit p >> q > 0 soll derAusdruck
y = −p +√
p2 + q
in Gleitkommaarithmetik näherungsweise bestimmt werden.
y ist die kleinere der beiden Nullstellen von
y2 + 2py − q = 0.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Algorithmus 1
Das Standardverfahren zur Bestimmung von y ist sicherlichdie direkte Auswertung der obigen Formel
t = p2 + q
u =√
t
y = −p + u
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Algorithmus 1
Das Standardverfahren zur Bestimmung von y ist sicherlichdie direkte Auswertung der obigen Formel
t = p2 + q
u =√
t
y = −p + u
Unter der Voraussetzung p >> q > 0 ist p ∼ u, derAlgorithmus daher instabil.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Algorithmus 2
t = p2 + q
u =√
t
v = p + u
y = q/v
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Algorithmus 2
t = p2 + q
u =√
t
v = p + u
y = q/v
Liefert das gleiche wegen
y =q
p +√
p2 + q
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Algorithmus 2
t = p2 + q
u =√
t
v = p + u
y = q/v
Liefert das gleiche wegen
y =q
p +√
p2 + q=
q
p +√
p2 + q· p −
√
p2 + q
p −√
p2 + q
=q(p −
√
p2 + q)
p2 − (p2 + q)= −p +
√
p2 + q
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Algorithmus 2 ist numerisch stabil
In v = p + u haben wir nun zwei positive Zahlen addiert.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Algorithmus 2 ist numerisch stabil
In v = p + u haben wir nun zwei positive Zahlen addiert.
Die Auswertung der Wurzel ist ebenfalls numerisch stabil.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Algorithmus 2 ist numerisch stabil
In v = p + u haben wir nun zwei positive Zahlen addiert.
Die Auswertung der Wurzel ist ebenfalls numerisch stabil.
In der Tat erhalten wir bei zwölfstelliger Rechnung für
p = 1000, q = 0.018 000 000 081
die Ergebnisse
Alg. 1 : 0.900 030 . . .× 10−5
Alg. 2 : 0.899 999 999 999 999 × 10−5,
der exakte Wert ist 0.9 × 10−5.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.3 Vektor- und Matrizennormen
Sei X ein nicht notwendig endlich dimensionaler linearerVektorraum über K = R oder K = C.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.3 Vektor- und Matrizennormen
Sei X ein nicht notwendig endlich dimensionaler linearerVektorraum über K = R oder K = C.
Eine Abbildung ‖ · ‖ : X → R heißt Norm, wenn sie denfolgenden Bedingungen genügt:
(i) ‖x‖ ≥ 0 und ‖x‖ = 0 ⇔ x = 0
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.3 Vektor- und Matrizennormen
Sei X ein nicht notwendig endlich dimensionaler linearerVektorraum über K = R oder K = C.
Eine Abbildung ‖ · ‖ : X → R heißt Norm, wenn sie denfolgenden Bedingungen genügt:
(i) ‖x‖ ≥ 0 und ‖x‖ = 0 ⇔ x = 0
(ii) ‖αx‖ = |α| ‖x‖ für alle α ∈ K und x ∈ X .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.3 Vektor- und Matrizennormen
Sei X ein nicht notwendig endlich dimensionaler linearerVektorraum über K = R oder K = C.
Eine Abbildung ‖ · ‖ : X → R heißt Norm, wenn sie denfolgenden Bedingungen genügt:
(i) ‖x‖ ≥ 0 und ‖x‖ = 0 ⇔ x = 0
(ii) ‖αx‖ = |α| ‖x‖ für alle α ∈ K und x ∈ X .
(iii) ‖x + y‖ ≤ ‖x‖+ ‖y‖.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Diskussion der Norm
Anschaulich können wir uns vorstellen, dass die Norm von xdie Länge des Vektors x angibt oder, falls wir x als Punktansehen, die Entfernung dieses Punktes zum Nullpunkt. Indieser Interpretation sind alle Axiome sinnvoll:
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Diskussion der Norm
Anschaulich können wir uns vorstellen, dass die Norm von xdie Länge des Vektors x angibt oder, falls wir x als Punktansehen, die Entfernung dieses Punktes zum Nullpunkt. Indieser Interpretation sind alle Axiome sinnvoll:
‖x‖ ≥ 0 und ‖x‖ = 0 ⇔ x = 0
Abstände sind positiv, sofern es sich nicht um den Nullvektorhandelt.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Diskussion der Norm
Anschaulich können wir uns vorstellen, dass die Norm von xdie Länge des Vektors x angibt oder, falls wir x als Punktansehen, die Entfernung dieses Punktes zum Nullpunkt. Indieser Interpretation sind alle Axiome sinnvoll:
‖x‖ ≥ 0 und ‖x‖ = 0 ⇔ x = 0
Abstände sind positiv, sofern es sich nicht um den Nullvektorhandelt.
‖αx‖ = |α| ‖x‖ für alle α ∈ K und x ∈ X .
Die Länge eines Vielfachen ist das Vielfache der Länge.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Diskussion der Norm
Anschaulich können wir uns vorstellen, dass die Norm von xdie Länge des Vektors x angibt oder, falls wir x als Punktansehen, die Entfernung dieses Punktes zum Nullpunkt. Indieser Interpretation sind alle Axiome sinnvoll:
‖x‖ ≥ 0 und ‖x‖ = 0 ⇔ x = 0
Abstände sind positiv, sofern es sich nicht um den Nullvektorhandelt.
‖αx‖ = |α| ‖x‖ für alle α ∈ K und x ∈ X .
Die Länge eines Vielfachen ist das Vielfache der Länge.
‖x + y‖ ≤ ‖x‖+ ‖y‖.Die Strecke ist die kürzeste Verbindung zweier Punkte.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Skalarprodukt und euklidische Norm
Für x , y ∈ Cn ist das Skalarprodukt definiert durch
(x , y) =n
∑
j=1
xjy j .
Die euklidische Norm ist für Vektoren x ∈ Cn (oder x ∈ Rn)definiert durch
|x | =(
n∑
j=1
|xj |2)1/2
= (x , x)1/2.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Euklidische Norm
|x | =(
n∑
j=1
|xj |2)1/2
= (x , x)1/2.
Aufgrund des Satzes von Pythagoras handelt es sich hierbeiin der Tat um die Entfernung des Punktes x zum Nullpunkt.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Euklidische Norm
|x | =(
n∑
j=1
|xj |2)1/2
= (x , x)1/2.
Aufgrund des Satzes von Pythagoras handelt es sich hierbeiin der Tat um die Entfernung des Punktes x zum Nullpunkt.
Die Normaxiome (i) und (ii) sind klar, für dieDreiecksungleichung benötigen wir ein Hilfsmittel:
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die Cauchy-Ungleichung
Lemma Für x , y ∈ Cn gilt
|(x , y)| ≤ |x | |y |.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die Cauchy-Ungleichung
Lemma Für x , y ∈ Cn gilt
|(x , y)| ≤ |x | |y |.
Beweis Für a, b ≥ 0 gilt die Youngsche Ungleichung
ab ≤ 1
2a2 +
1
2b2,
die man aus der binomischen Formel beweist.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis der Cauchy-Ungleichung
Mit der Youngschen Ungleichung erhalten wir
|(x , y)| =∣
∣
∣
n∑
j=1
xjy j
∣
∣
∣≤
n∑
j=1
(1
2|xj |2 +
1
2|yj |2
)
≤ 1
2|x |2 + 1
2|y |2.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis der Cauchy-Ungleichung
Mit der Youngschen Ungleichung erhalten wir
|(x , y)| =∣
∣
∣
n∑
j=1
xjy j
∣
∣
∣≤
n∑
j=1
(1
2|xj |2 +
1
2|yj |2
)
≤ 1
2|x |2 + 1
2|y |2.
Für |x | = |y | = 1 ist die Ungleichung damit bewiesen.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis der Cauchy-Ungleichung
Mit der Youngschen Ungleichung erhalten wir
|(x , y)| =∣
∣
∣
n∑
j=1
xjy j
∣
∣
∣≤
n∑
j=1
(1
2|xj |2 +
1
2|yj |2
)
≤ 1
2|x |2 + 1
2|y |2.
Für |x | = |y | = 1 ist die Ungleichung damit bewiesen.
Für x , y 6= 0 schreibe wieder
x = αx , y = βy mit |x | = |y | = 1
und erhalte die Cauchy-Ungleichung.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis der Cauchy-Ungleichung
Mit der Youngschen Ungleichung erhalten wir
|(x , y)| =∣
∣
∣
n∑
j=1
xjy j
∣
∣
∣≤
n∑
j=1
(1
2|xj |2 +
1
2|yj |2
)
≤ 1
2|x |2 + 1
2|y |2.
Für |x | = |y | = 1 ist die Ungleichung damit bewiesen.
Für x , y 6= 0 schreibe wieder
x = αx , y = βy mit |x | = |y | = 1
und erhalte die Cauchy-Ungleichung.
Beachte das Homogenitätsargument!
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Nun zum Beweis der Dreicksungleichung für die EuklidischeNorm:
|x + y |2 = (x + y , x + y) = |x |2 + 2(x , y) + |y |2
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Nun zum Beweis der Dreicksungleichung für die EuklidischeNorm:
|x + y |2 = (x + y , x + y) = |x |2 + 2(x , y) + |y |2
≤ |x |2 + 2|x | |y |+ |y |2 = (|x |+ |y |)2.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Frobenius-Norm
Für die euklidische Matrixnorm, auch Frobenius-Normgenannt, schreiben wir entsprechend
|A| =(
m∑
j=1
n∑
k=1
|ajk |2)1/2
, A ∈ Cm×n oder A ∈ Rm×n.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Transponierte und adjungierte Matrix
Für Matrizen A ∈ Cm×n, A = (ajk)j=1,...,m, k=1,...,n setze
AT = (akj)k=1,...,n, j=1,...,m = transponierte Matrix
AH = (akj)k=1,...,n, j=1,...,m = adjungierte Matrix
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Transponierte und adjungierte Matrix
Für Matrizen A ∈ Cm×n, A = (ajk)j=1,...,m, k=1,...,n setze
AT = (akj)k=1,...,n, j=1,...,m = transponierte Matrix
AH = (akj)k=1,...,n, j=1,...,m = adjungierte Matrix
Beispiel
A =
(
1 1 + 2i1 + 3i 2
)
,
AT =
(
1 1 + 3i1 + 2i 2
)
, AH =
(
1 1 − 3i1 − 2i 2
)
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Notation
Ist A ∈ Cn×n regulär, so gilt
(AH)−1 = (A−1)H .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Notation
Ist A ∈ Cn×n regulär, so gilt
(AH)−1 = (A−1)H .
Aus AA−1 = I folgt, dass
(A−1)HAH = IH = I .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Notation
Ist A ∈ Cn×n regulär, so gilt
(AH)−1 = (A−1)H .
Aus AA−1 = I folgt, dass
(A−1)HAH = IH = I .
Damit ist die Inverse von AH gerade die Matrix (A−1)H .Diese Beziehung rechtfertigt die Schreibweise
A−H = (A−1)H sowie A−T = (A−1)T .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Alternative Definition
Mit dem euklidischen Skalarprodukt (·, ·) gilt
(Ax , y) = (x ,AT y) ∀x , y ∈ Cn, A reell
(Ax , y) = (x ,AHy) ∀x , y ∈ Cn.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Alternative Definition
Mit dem euklidischen Skalarprodukt (·, ·) gilt
(Ax , y) = (x ,AT y) ∀x , y ∈ Cn, A reell
(Ax , y) = (x ,AHy) ∀x , y ∈ Cn.
Rechenregeln:
(AB)H = BHAH , insbesondere (AHA)H = AHA.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Skalarprodukt
Vektoren werden auch als Spaltenmatrizen aufgefasst, daher:
yHxZeile mal Spalte
=n
∑
j=1
y jxj = (x , y).
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Symmetrische und hermitesche Matrizen
A ∈ Rn×n heißt symmetrisch, wenn A = AT .
A ∈ Cn×n heißt hermitesch, wenn A = AH .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Symmetrische und hermitesche Matrizen
A ∈ Rn×n heißt symmetrisch, wenn A = AT .
A ∈ Cn×n heißt hermitesch, wenn A = AH .
Bei hermiteschen Matrizen ist die zugehörige quadratischeForm reellwertig
q(x) := (Ax , x) = (x ,AHx) = (x ,Ax) = (Ax , x) ⇒ q(x) ∈ R.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Äquivalenz der Normen im Endlichdimensionalen
Satz Auf endlich dimensionalen Räumen sind alle Normenäquivalent, d.h. zu zwei Normen ‖ · ‖1 und ‖ · ‖2 auf einemendlich dimensionalen Raum V gibt es Konstanten m,M > 0mit
m‖x‖2 ≤ ‖x‖1 ≤ M‖x‖2 für alle x ∈ V .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Äquivalenz der Normen im Endlichdimensionalen
Satz Auf endlich dimensionalen Räumen sind alle Normenäquivalent, d.h. zu zwei Normen ‖ · ‖1 und ‖ · ‖2 auf einemendlich dimensionalen Raum V gibt es Konstanten m,M > 0mit
m‖x‖2 ≤ ‖x‖1 ≤ M‖x‖2 für alle x ∈ V .
Anwendung In der numerischen Mathematik werden eineVielzahl von Matrixnormen verwendet, die demnach alleäquivalent sind.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Äquivalenz der Normen im Endlichdimensionalen
Satz Auf endlich dimensionalen Räumen sind alle Normenäquivalent, d.h. zu zwei Normen ‖ · ‖1 und ‖ · ‖2 auf einemendlich dimensionalen Raum V gibt es Konstanten m,M > 0mit
m‖x‖2 ≤ ‖x‖1 ≤ M‖x‖2 für alle x ∈ V .
Anwendung In der numerischen Mathematik werden eineVielzahl von Matrixnormen verwendet, die demnach alleäquivalent sind.
Aber die Konstanten c1, c2 hängen in der Regel von derRaumdimension ab.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Inverse Dreiecksungleichung
Lemma Für jede Norm gilt die inverse Dreiecksungleichung
‖x − y‖ ≥∣
∣ ‖x‖ − ‖y‖∣
∣ für alle x , y ∈ V .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Inverse Dreiecksungleichung
Lemma Für jede Norm gilt die inverse Dreiecksungleichung
‖x − y‖ ≥∣
∣ ‖x‖ − ‖y‖∣
∣ für alle x , y ∈ V .
Beweis Mit der normalen Dreiecksungleichung folgt
‖x‖ = ‖(x − y) + y‖ ≤ ‖x − y‖+ ‖y‖,
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Inverse Dreiecksungleichung
Lemma Für jede Norm gilt die inverse Dreiecksungleichung
‖x − y‖ ≥∣
∣ ‖x‖ − ‖y‖∣
∣ für alle x , y ∈ V .
Beweis Mit der normalen Dreiecksungleichung folgt
‖x‖ = ‖(x − y) + y‖ ≤ ‖x − y‖+ ‖y‖,
also‖x − y‖ ≥ ‖x‖ − ‖y‖.
Vertauschen wir hier die Rollen von x und y , so ist dasLemma bewiesen.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis des letzten Satzes
Es genügt, den Fall V = Cn (oder V = Rn) zu betrachten.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis des letzten Satzes
Es genügt, den Fall V = Cn (oder V = Rn) zu betrachten.
Jede Norm ‖ · ‖ : Cn → R, x 7→ ‖x‖ ist stetig, denn wennxk → x , so folgt aus dem letzten Lemma
∣
∣ ‖xk‖ − ‖x‖∣
∣ ≤ ‖xk − x‖ → 0.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis des letzten Satzes
Es genügt, den Fall V = Cn (oder V = Rn) zu betrachten.
Jede Norm ‖ · ‖ : Cn → R, x 7→ ‖x‖ ist stetig, denn wennxk → x , so folgt aus dem letzten Lemma
∣
∣ ‖xk‖ − ‖x‖∣
∣ ≤ ‖xk − x‖ → 0.
Die Einheitssphäre
S = {x ∈ Cn : |x | = 1}
ist kompakt.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis des letzten Satzes
Da die Normen ‖ · ‖j stetig sind, nehmen sie ihr Minimumund Maximum auf S an, also
mj ≤ ‖x‖j ≤ Mj für alle x mit |x | = 1.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis des letzten Satzes
Da die Normen ‖ · ‖j stetig sind, nehmen sie ihr Minimumund Maximum auf S an, also
mj ≤ ‖x‖j ≤ Mj für alle x mit |x | = 1.
Wegen 0 /∈ S , sind die mj > 0. Mit x = αx , |x | = 1, folgthieraus
mj |x | ≤ ‖x‖j ≤ Mj |x | ∀x ∈ Cn.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Nutzen der Homogenität
Die Ungleichungen
mj |x | ≤ ‖x‖j ≤ Mj |x | ∀x ∈ Cn.
sind homogen in x , d.h. sind sie für ein x erfüllt, so auch füralle αx mit α ∈ C.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Nutzen der Homogenität
Die Ungleichungen
mj |x | ≤ ‖x‖j ≤ Mj |x | ∀x ∈ Cn.
sind homogen in x , d.h. sind sie für ein x erfüllt, so auch füralle αx mit α ∈ C.
Es genügt also, die Ungleichung für alle x mit |x | = 1 zubeweisen (=Homogenitätsargument).
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die p-Normen
Die p-Normen auf Cn (oder Rn) sind definiert durch
‖x‖p =(
n∑
j=1
|xj |p)1/p
, 1 ≤ p < ∞,
‖x‖∞ = max1≤j≤n
|xj |.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die p-Normen
Die p-Normen auf Cn (oder Rn) sind definiert durch
‖x‖p =(
n∑
j=1
|xj |p)1/p
, 1 ≤ p < ∞,
‖x‖∞ = max1≤j≤n
|xj |.
Für die Numerik wichtig sind die Normen
‖x‖1 =∑
j
|xj |, ‖x‖2 = |x |, ‖x‖∞ = max(|x1|, . . . , |xn|).
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die induzierte Matrixnorm
Sei ‖ · ‖1 eine Norm auf dem Cn und ‖ · ‖2 eine Norm aufdem Cm.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die induzierte Matrixnorm
Sei ‖ · ‖1 eine Norm auf dem Cn und ‖ · ‖2 eine Norm aufdem Cm.
Der Ausdruck
‖A‖1→2 = supx∈Cn\{0}
‖Ax‖2
‖x‖1
, A ∈ Cm×n,
ist eine Norm auf dem Matrizenraum Cm×n.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die induzierte Matrixnorm
Sei ‖ · ‖1 eine Norm auf dem Cn und ‖ · ‖2 eine Norm aufdem Cm.
Der Ausdruck
‖A‖1→2 = supx∈Cn\{0}
‖Ax‖2
‖x‖1
, A ∈ Cm×n,
ist eine Norm auf dem Matrizenraum Cm×n.
‖A‖1→2 heißt (von ‖ · ‖1‖ und ‖ · ‖2) induzierte Matrixnorm.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Die induzierte Matrixnorm
Sei ‖ · ‖1 eine Norm auf dem Cn und ‖ · ‖2 eine Norm aufdem Cm.
Der Ausdruck
‖A‖1→2 = supx∈Cn\{0}
‖Ax‖2
‖x‖1
, A ∈ Cm×n,
ist eine Norm auf dem Matrizenraum Cm×n.
‖A‖1→2 heißt (von ‖ · ‖1‖ und ‖ · ‖2) induzierte Matrixnorm.
Die induzierte Matrixnorm auf dem Rm×n ist analog definiert.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Zwei wichtige Tatsachen
Offenbar gilt
‖A‖1→2 = supx∈Cn\{0}
‖Ax‖2
‖x‖1
= sup‖x‖1=1
‖Ax‖2.
Homogenitätsargument!
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Zwei wichtige Tatsachen
Offenbar gilt
‖A‖1→2 = supx∈Cn\{0}
‖Ax‖2
‖x‖1
= sup‖x‖1=1
‖Ax‖2.
Homogenitätsargument!
Die Menge {x : ‖x‖1 = 1} ist kompakt, so dass die stetigeFunktion x 7→ ‖Ax‖2 das Maximum annimmt.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Zwei wichtige Tatsachen
Offenbar gilt
‖A‖1→2 = supx∈Cn\{0}
‖Ax‖2
‖x‖1
= sup‖x‖1=1
‖Ax‖2.
Homogenitätsargument!
Die Menge {x : ‖x‖1 = 1} ist kompakt, so dass die stetigeFunktion x 7→ ‖Ax‖2 das Maximum annimmt.
Wir können daher auch gleich
‖A‖1→2 = maxx∈Cn\{0}
‖Ax‖2
‖x‖1
schreiben.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis der Normeigenschaft
Aufgrund der letzten Darstellung existiert ‖A‖1→2.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis der Normeigenschaft
Aufgrund der letzten Darstellung existiert ‖A‖1→2.
‖A‖1→2 = 0 gilt genau dann, wenn Ax = 0 für alle x , alsoA = 0.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis der Normeigenschaft
Aufgrund der letzten Darstellung existiert ‖A‖1→2.
‖A‖1→2 = 0 gilt genau dann, wenn Ax = 0 für alle x , alsoA = 0.
Die positive Homogenität folgt aus der positivenHomogenität von ‖ · ‖2
‖αA‖1→2 = sup‖x‖1=1
‖αAx‖2 = |α| sup‖x‖1=1
‖Ax‖2 = |α| ‖A‖1→2,
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis der Dreiecksungleichung
Die Dreiecksungleichung folgt analog aus derDreiecksungleichung für ‖‖2
‖A + B‖1→2 = sup‖x‖1=1
‖Ax + Bx‖2
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis der Dreiecksungleichung
Die Dreiecksungleichung folgt analog aus derDreiecksungleichung für ‖‖2
‖A + B‖1→2 = sup‖x‖1=1
‖Ax + Bx‖2
≤ sup‖x‖1=1
‖Ax‖2 + sup‖x‖1=1
‖Bx‖2
= ‖A‖1→2 + ‖B‖1→2.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Verträglichkeit
Sei ‖ · ‖M eine Matrixnorm auf Cn×n und ‖ · ‖V eineVektornorm auf Cn.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Verträglichkeit
Sei ‖ · ‖M eine Matrixnorm auf Cn×n und ‖ · ‖V eineVektornorm auf Cn.
‖ · ‖M heißt verträglich mit ‖ · ‖V , wenn
‖Ax‖V ≤ ‖A‖M‖x‖V ∀A ∈ Cn×n ∀x ∈ Cn.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 1
Euklidische Normen sind verträglich,
|Ax | ≤ |A| |x |
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 1
Euklidische Normen sind verträglich,
|Ax | ≤ |A| |x |
was man mit Hilfe der Cauchy-Ungleichung beweist,
|Ax |2 =∑
j
∣
∣
∣
∑
k
ajkxk
∣
∣
∣
2
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 1
Euklidische Normen sind verträglich,
|Ax | ≤ |A| |x |
was man mit Hilfe der Cauchy-Ungleichung beweist,
|Ax |2 =∑
j
∣
∣
∣
∑
k
ajkxk
∣
∣
∣
2
≤∑
j
(
∑
k
|ajk |2 ×∑
k
|xk |2)
=∑
j ,k
|ajk |2∑
k
|xk |2 = |Ax |2|x |2.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 2
Die von einer Vektornorm ‖ · ‖V induzierte Matrixnorm‖ · ‖V→V ist mit dieser Vektornorm verträglich
‖Ax‖V ≤ ‖A‖V→V ‖x‖V .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 2
Die von einer Vektornorm ‖ · ‖V induzierte Matrixnorm‖ · ‖V→V ist mit dieser Vektornorm verträglich
‖Ax‖V ≤ ‖A‖V→V ‖x‖V .
Dies folgt aus der Definition der induzierten Norm: ‖A‖V→V
ist nämlich die kleinste Konstante c, so dass
‖Ax‖V ≤ c‖x‖V
für alle x richtig ist.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Submultiplikativität
Sei ‖ · ‖M eine Matrixnorm auf Cn×n.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Submultiplikativität
Sei ‖ · ‖M eine Matrixnorm auf Cn×n.
‖ · ‖M heißt submultiplikativ, wenn
‖AB‖M ≤ ‖A‖M‖B‖M ∀A,B ∈ Cn×n.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 1
Euklidische Normen sind submultiplikativ
|AB| ≤ |A| |B |
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 1
Euklidische Normen sind submultiplikativ
|AB| ≤ |A| |B |
wegen
|AB|2 =∑
j ,l
∣
∣
∣
∑
k
ajkbkl
∣
∣
∣
2
≤∑
j ,l
(
∑
k
|ajk |2 ×∑
k
|bkl |2))
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 1
Euklidische Normen sind submultiplikativ
|AB| ≤ |A| |B |
wegen
|AB|2 =∑
j ,l
∣
∣
∣
∑
k
ajkbkl
∣
∣
∣
2
≤∑
j ,l
(
∑
k
|ajk |2 ×∑
k
|bkl |2))
= |A|2|B |2.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 2
Die von einer Vektornorm ‖ · ‖V induzierte Matrixnorm‖ · ‖V→V ist auch submultiplikativ wegen der Verträglichkeit
‖AB‖V→V = sup‖x‖V=1
‖ABx‖V ≤ sup‖x‖V=1
‖A‖V→V ‖Bx‖V
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beispiel 2
Die von einer Vektornorm ‖ · ‖V induzierte Matrixnorm‖ · ‖V→V ist auch submultiplikativ wegen der Verträglichkeit
‖AB‖V→V = sup‖x‖V=1
‖ABx‖V ≤ sup‖x‖V=1
‖A‖V→V ‖Bx‖V
≤ sup‖x‖V=1
‖A‖V→V ‖B‖V→V ‖x‖V
= ‖A‖V→V ‖B‖V→V
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Notation
Sei A ∈ Cm×n. Wenn nichts anderes gesagt wird, ist
‖A‖ = supx 6=0
|Ax ||x | .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Notation
Sei A ∈ Cm×n. Wenn nichts anderes gesagt wird, ist
‖A‖ = supx 6=0
|Ax ||x | .
d.h. ‖ · ‖ ohne irgendwelche Indizes ist immer die von deneuklidischen Normen induzierte Matrixnorm.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Charakterisierung von ‖ · ‖
Lemma Für A ∈ Cn×n gilt
‖A‖ = ρ(AAH)1/2 = ρ(AHA)1/2,
wobei ρ(B) den betragsmäßig größten Eigenwert von Bbezeichnet.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Charakterisierung von ‖ · ‖
Lemma Für A ∈ Cn×n gilt
‖A‖ = ρ(AAH)1/2 = ρ(AHA)1/2,
wobei ρ(B) den betragsmäßig größten Eigenwert von Bbezeichnet.
Ist A ∈ Cn×n hermitesch, so gilt
‖A‖ = ρ(A).
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis
Es gilt
‖A‖2 = supx 6=0
(Ax ,Ax)
(x , x)= sup
x 6=0
(AHAx , x)
(x , x).
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis
Es gilt
‖A‖2 = supx 6=0
(Ax ,Ax)
(x , x)= sup
x 6=0
(AHAx , x)
(x , x).
Wegen (AHA)H = AHA ist AHA hermitesch und wegen
(AHAx , x) = (Ax ,Ax) = |Ax |2 ≥ 0
ist AHA positiv semidefinit.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis
Es gilt
‖A‖2 = supx 6=0
(Ax ,Ax)
(x , x)= sup
x 6=0
(AHAx , x)
(x , x).
Wegen (AHA)H = AHA ist AHA hermitesch und wegen
(AHAx , x) = (Ax ,Ax) = |Ax |2 ≥ 0
ist AHA positiv semidefinit.
Sie besitzt daher einen vollständigen Satz von Eigenvektorenv1, . . . , vn mit
AHAvj = λjvj und λj nichtnegativ.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis
In
‖A‖2 = supx 6=0
(AHAx , x)
(x , x).
setzen wir x =∑
j cjvj ein und erhalten wegen derOrthogonalität der vj
‖A‖2 = supc 6=0
(AHA∑
j cjvj ,∑
j cjvj)
(∑
j cjvj ,∑
j cjvj)= sup
c 6=0
∑
j λj |cj |2∑
j |cj |2.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis
In
‖A‖2 = supx 6=0
(AHAx , x)
(x , x).
setzen wir x =∑
j cjvj ein und erhalten wegen derOrthogonalität der vj
‖A‖2 = supc 6=0
(AHA∑
j cjvj ,∑
j cjvj)
(∑
j cjvj ,∑
j cjvj)= sup
c 6=0
∑
j λj |cj |2∑
j |cj |2.
Dieses Optimierungsproblem wird natürlich durch cn = 1,cj = 0 für 1 ≤ j ≤ n − 1 gelöst, wenn λn der größteEigenwert von AHA ist.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis
Ist A hermitesch, so erhalten wir die Eigenwerte undEigenvektoren von AHA = A2 aus den Eigenwerten undEigenvektoren von A:
Av = λv ⇒ AHAv = A2v = λ2v .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Weitere Beispiele von Matrizennormen
Auf dem Cm×n sind
(i) ‖A‖Z = maxj
∑nk=1
|ajk | (=Zeilensummennorm),
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Weitere Beispiele von Matrizennormen
Auf dem Cm×n sind
(i) ‖A‖Z = maxj
∑nk=1
|ajk | (=Zeilensummennorm),
(ii) ‖A‖S = maxk
∑mj=1
|ajk | (=Spaltensummennorm),
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Weitere Beispiele von Matrizennormen
Auf dem Cm×n sind
(i) ‖A‖Z = maxj
∑nk=1
|ajk | (=Zeilensummennorm),
(ii) ‖A‖S = maxk
∑mj=1
|ajk | (=Spaltensummennorm),
(iii) ‖A‖∞ = maxj ,k |ajk |.ebenfalls Matrizennormen.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Weitere Beispiele von Matrizennormen
Auf dem Cm×n sind
(i) ‖A‖Z = maxj
∑nk=1
|ajk | (=Zeilensummennorm),
(ii) ‖A‖S = maxk
∑mj=1
|ajk | (=Spaltensummennorm),
(iii) ‖A‖∞ = maxj ,k |ajk |.ebenfalls Matrizennormen.
(i) und (ii) sind submultiplikativ.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
‖A‖∞
ist nicht submultiplikativ wegen
(
1 11 1
)(
1 11 1
)
=
(
2 22 2
)
.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.4 Stabilität linearer Gleichungssysteme
Sei A ∈ Cn×n (oder A ∈ Rn×n). Wir wollen das lineareGleichungssystem
Ax = b für b ∈ Cn
lösen.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.4 Stabilität linearer Gleichungssysteme
Sei A ∈ Cn×n (oder A ∈ Rn×n). Wir wollen das lineareGleichungssystem
Ax = b für b ∈ Cn
lösen.
Satz Sei A regulär. Dann gilt für die Lösung x +∆x desgestörten Problems
A(x +∆x) = b +∆b
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
1.4 Stabilität linearer Gleichungssysteme
Sei A ∈ Cn×n (oder A ∈ Rn×n). Wir wollen das lineareGleichungssystem
Ax = b für b ∈ Cn
lösen.
Satz Sei A regulär. Dann gilt für die Lösung x +∆x desgestörten Problems
A(x +∆x) = b +∆b
die Abschätzung
|∆x ||x | ≤ ‖A‖ ‖A−1‖|∆b|
|b| .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Konditionszahl
Die Zahlcond (A) = ‖A‖ ‖A−1‖
gibt die Verstärkung des relativen Fehlers bei ungenauerAuswertung der rechten Seite an und heißt deshalbKonditionszahl der Matrix A.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis
Aus A∆x = ∆b folgt
∆x = A−1∆b ⇒ |∆x | ≤ ‖A−1‖ |∆b|.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Beweis
Aus A∆x = ∆b folgt
∆x = A−1∆b ⇒ |∆x | ≤ ‖A−1‖ |∆b|.
Aus Ax = b erhalten wir entsprechend die Abschätzung|b| ≤ ‖A‖ |x | und damit die Behauptung.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Anwendung
Bei iterativen Verfahren zur Lösung von Ax = b erhalten wirNäherungen x , aber kennen den Fehler |x − x | nicht. Wannsollen wir abbrechen?
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Anwendung
Bei iterativen Verfahren zur Lösung von Ax = b erhalten wirNäherungen x , aber kennen den Fehler |x − x | nicht. Wannsollen wir abbrechen?
Bestimme das Residuums r = b − Ax = A(x − x).
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Anwendung
Bei iterativen Verfahren zur Lösung von Ax = b erhalten wirNäherungen x , aber kennen den Fehler |x − x | nicht. Wannsollen wir abbrechen?
Bestimme das Residuums r = b − Ax = A(x − x).
x ist dann die exakte Lösung von Ax = b − r und für denrelativen Fehler gilt dann
|x − x ||x | ≤ cond (A)
|r ||b| .
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Anwendung
Bei iterativen Verfahren zur Lösung von Ax = b erhalten wirNäherungen x , aber kennen den Fehler |x − x | nicht. Wannsollen wir abbrechen?
Bestimme das Residuums r = b − Ax = A(x − x).
x ist dann die exakte Lösung von Ax = b − r und für denrelativen Fehler gilt dann
|x − x ||x | ≤ cond (A)
|r ||b| .
Mit x sind r und b bekannt, die Kondition von A mussallerdings geschätzt werden.
Grundlagen
GleitpunktarithmetikundRundungsfehlerEin Beispiel
Vektor- undMatrizennormenStabilität linearerGleichungssysteme
Direkte Lösung
linearer Glei-
chungssysteme
Gauß Elimination
Die Cholesky-Zerlegung
Das Householder-Verfahren
WelchesVerfahren istvorzuziehen?
Top Related