Skalarprodukt

Das gewöhnliche Skalarprodukt ist für reelle n-Tupelfolgendermaßen erklärt: Sind

u :=

u1

u2...

un

und v :=

v1

v2...

vn

reelle n-Tupel, dann ist

u · v := u1 · v1 + u2 · v2 + · · · + un · vn.

Man spricht auch vom inneren Produkt und schreibt auch< u,v >.

Orthogonalitat – p. 1

Beispiel

2

−5

−1

·

3

2

−3

= 2 · 3 + (−5) · 2 + (−1) · (−3) = −1.

Hinweis: Betrachtet man u und v als n × 1-Matrizen, soentspricht das Skalarprodukt dem Matrixprodukt u

Tv.

(

2, −5, −1)

3

2

−3

= 2 · 3 + (−5) · 2 + (−1) · (−3) = −1.

Orthogonalitat – p. 2

Eigenschaften

Sind u, v und w Vektoren des Rn und ist λ ∈ R eine reelle

Zahl, dann gilt

1. u · v = v · u,

2. (u + v) · w = u · w + v · w,

3. (λu) · v = λ(u · v) = u · (λv),

4. u · u ≥ 0 und u · u = 0 gdw. u = 0.

Allgemeiner nennt man jede Abbildung, die je zweiVektoren aus einem R-Vektorraum V eine reelle Zahlzuordnet und dabei die Bedingungen 1) – 4) erfüllt, einreelles Skalarprodukt auf V .

Orthogonalitat – p. 3

Länge

Die Länge (oder Norm ) eines reellen Vektors v istdiejenige nichtnegative reelle Zahl ‖v‖, die durch

‖v‖ :=√

v · v =√

v1 · v1 + v2 · v2 + · · · + vn · vn

bestimmt ist.

Is λ eine beliebige reelle Zahl, so gilt

‖λv‖ = |λ| · ‖v‖.

Ein Vektor der Norm 1 ist ein Einheitsvektor .

Orthogonalitat – p. 4

Beispiel-Aufgabe

Sei v := (1,−2, 2, 0). Finde einen Einheitsvektor u, der diegleich Richtung hat wie v.

Lösung: Berechne zunächst die Länge von v:

‖v‖2 = v · v = (1)2 + (−2)2 + (2)2 + (0)2 = 9

‖v‖ =√

9 = 3

Multiplikation von v mit 1‖v‖ ergibt den gesuchten

Einheitsvektor:

u =1

‖v‖v =1

3v =

(

1

3,−2

3,2

3, 0

)

.

Orthogonalitat – p. 5

Komplexes Skalarprodukt

Vorsicht: will man Skalarprodukte auch für Vektoren aus Cn

verwenden, muss man die Definition modifizieren. Nach derobigen Definition hätte nämlich der Vektor (1, i) die LängeNull und der Vektor (0, i) die Länge

√−1.

Für Vektoren u,v ∈ Cn definiert man deshalb

< u,v >:= u1v1 + u2v2 + · · · + unvn,

wobei für eine komplexe Zahl z := a + ib mit z die zu z

konjugiert komplexe Zahl bezeichnet wird, also z := a − ib.

In den folgenden Beispielen bleiben wir beim reellenSkalarprodukt!

Orthogonalitat – p. 6

Abstand

Als Abstand dist(v,w) definiert man

dist(v,w) := ‖v − w‖.

Am Beispiel

u := (u1, u2, u3) ,v := (v1, v2, v3)

erkennt man, dass diese Definition des Abstandes mit derüblichen Definition übereinstimmt:

dist(u,v) = ‖u − v‖ =√

(u − v) · (u − v)

=√

(u1 − v1)2 + (u2 − v2)2 + (u3 − v3)2.

Orthogonalitat – p. 7

Skalarprodukt für Polynome

Sei P der R-Vektorraum der reellen Polynome in derVariablen x. Für Polynome p(x), q(x) ∈ P definiere

< p(x), q(x) >:=

∫ 1

−1p(x)q(x)dx.

Diese Definition erfüllt die Bedingungen 1)–4), es wird alsoein Skalarprodukt auf dem Vektorraum P erklärt.

Orthogonalitat – p. 8

Länge eines Polynoms

Beispiel: Das Polynom q(x) := x2 hat bezüglich diesesSkalarprodukts die Norm

‖q(x)‖ = ‖x2‖ =√

< q(x), q(x) > =

√

∫ 1

−1q(x)q(x)dx

=

√

∫ 1

−1x4dx =

√

1

5x5

∣

∣

∣

∣

1

−1

=

√

2

5.

Orthogonalitat – p. 9

Abstand zweier Polynome

Beispiel: Die Polynome p(x) := x und q(x) := x2 habenbezüglich dieses Skalarprodukts den Abstand

dist(x, x2) = ‖x − x2‖ =√

< x − x2, x − x2 >

=

√

∫ 1

−1(x − x2)2dx =

√

∫ 1

−1x2 − 2x3 + x4dx

=

√

1

3x3 − 2

4x4 +

1

5x5

∣

∣

∣

∣

1

−1

=

√

2

3+ 0 +

2

5=

√

16

15.

Orthogonalitat – p. 10

Wozu braucht man sowas?

Die allgemeine Definition eines Abstandes erlaubt es, diegeometrische Idee von „nah” und „fern” zu verallgemeinern.

Man kann auf diese Weise auch z.B. von Funktionen,Tönen oder Bildern angeben, wie „ähnlich” oder „unähnlich”sie zueinander sind; dabei wird die Unähnlichkeitausgedrückt durch den Abstand bezüglich eines gewähltenSkalarproduktes.

Ob dieser Ähnlichkeitsbgriff etwas taugt, hängt von derjeweiligen Modellbildung ab.

Orthogonalitat – p. 11

Ein Standardtrick

Ein einfaches Problem in der Datenverarbeitung istfolgendes: Ein neu eingetroffenes Dokument soll daraufüberprüft werden, ob in einer vorhandenen Sammlung vonDokumenten schon in ähnlicher Form vorhanden ist.

Man geht dann oft so vor: Jedem Dokument wird nachfesten Regeln ein Vektor zugeordnet, z.B. ein reellwertigerMerkmalvektor, eine Funktion, eine geometrische Form,und zwar so, dass ähnliche Dokumente auch ähnlicheVektoren erhalten, d.h. Vektoren, deren Abstand klein ist.

Das neu eingetroffene Dokument wird dann mit denjenigenDokumenten verglichen, deren Vektor einen kleinenAbstand zum Vektor des neuen Dokuments hat.

Orthogonalitat – p. 12

Es geht noch raffinierter!

Wenn man Bilder, Musik, oder andere komplexe Informationspeichern oder versenden muss, lohnt es sich oft, dieKomplexität zu verringern.

Das kann dadurch geschehen, dass man das jeweilige Bild,Musikstück, etc. durch ein einfacheres, hinreichendähnliches, approximiert .

Eine Technik, die dies leistet, ist die der orthogonalenProjektion . Diese wird nun als nächstes behandelt.

Orthogonalitat – p. 13

Winkel

Der Winkel δ zwischen Vektoren u und v (beide 6= 0) wirddefiniert durch

cos δ :=u · v

‖u‖ ‖v‖ .

Man kann zeigen, dass

dies eine Definition ist, weil der Bruch rechts desGleichheitszeichens stets eine reelle Zahl zwischen −1und 1 ist, und

diese Definition in den Anschauungsräumen R2 und R

3

auf den üblichen Winkelbegriff führt.

Orthogonalitat – p. 14

Orthogonalität

Vektoren u und v heißen zueinander orthogonal , wenn ihrSkalarprodukt gleich Null ist (beachte cos π

2 = 0 = cos −π2 ).

In Kurznotation:

u ⊥ v : ⇐⇒ u · v = 0.

Satz des Pythagoras: Genau dann sind u und v

zueinander orthogonal, wenn

‖u + v‖2 = ‖u‖2 + ‖v‖2.

Orthogonalitat – p. 15

Zueinander orthogonale Polynome

Beispiel: Die Polynome p(x) := x und q(x) := x2 sindbezüglich des oben angegebenen Skalarproduktszueinander orthogonal, denn es gilt:

< x, x2 >=

∫ 1

−1x · x2dx =

∫ 1

−1x3dx =

1

4x4

∣

∣

∣

∣

1

−1

= 0.

Orthogonalitat – p. 16

Orthogonales Komplement

Für einen Untervektorraum W eines Vektorraumes V mitSkalarprodukt bezeichnet

W⊥ := {v ∈ V | v ⊥ w für alle w ∈ W}

den Orthogonalraum von W .

Es ist nicht schwer zu beweisen, dass der Orthogonalraumein Untervektorraum von V ist.

Die Summe der Dimensionen von W und W⊥ ist dieDimension von V .

Orthogonalitat – p. 17

Orthogonal machen

-

3v

u-

3v

w

αu

Zu gegebenen Vektoren u 6= 0 und v gibt es eine eindeutigbestimmte Zahl α derart, dass die Vektoren u undw := v − αu orthogonal sind.

Man nennt αu das Bild der orthogonalen Projektion vonv auf u.

Orthogonalitat – p. 18

Orthogonale Projektion

Man findetα =

v · uu · u ,

und zwar folgendermaßen:

(v − αu) · u = 0 ⇐⇒ v · u − αu · u = 0

⇐⇒ v · u = αu · u

⇐⇒ α =v · uu · u .

Orthogonalitat – p. 19

Orthogonalbasis

Sei u1, . . . , up eine Basis eines Untervekorraumes W desR

n, die aus paarweise orthogonalen Vektoren besteht.Dann hat jeder Vektor w ∈ W eine eindeutige Darstellungals Linearkombination der ui, und wenn

w = c1u1 + · · · + cpup,

dann ist für alle j ∈ {1, 2, . . . , p}

cj =w · uj

uj · uj.

Eine Orthonormalbasis ist eine Orthogonalbasis, in deralle Basisvektoren die Norm 1 haben.

Orthogonalitat – p. 20

Projektion in einen Unterraum

Ist (u1, . . . ,up) eine Orthogonalbasis einesUntervektorraumes W von R

n und v ein beliebiger Vektor,dann definiert man durch

projW (v) :=v · u1

u1 · u1u1 +

v · u2

u2 · u2u2 + · · · + v · up

up · upup

die orthogonale Projektion von v nach W .

Der Ergebnisvektor projW (v) hat folgende charakteristischeEigenschaften:

projW (v) ∈ W ,

v − projW (v) ∈ W⊥.

Orthogonalitat – p. 21

Beweis (1)

Die orthogonale Projektion projW (v) ist laut Definition eineLinearkombination der Basisvektoren von W , also selbstein Element von W .

Um zu zeigen, dass v − projW (v) zu W⊥ gehört, berechnenwir das Skalarprodukt von v − projW (v) mit demBasisvektor u1:

(v − projW (v)) · u1 =

v · u1 −(

v · u1

u1 · u1u1 +

v · u2

u2 · u2u2 + · · · + v · up

up · upup

)

· u1 =

v · u1 −(

v · u1

u1 · u1u1 · u1 + 0 + · · · 0

)

= v · u1 − v · u1 = 0.

Orthogonalitat – p. 22

Beweis (2)

Weil v − projW (v) orthogonal zu allen Basisvektoren ist, giltv − projW (v) ∈ W⊥.

Zu beweisen ist noch, dass diese Eigenschaftencharakteristisch sind, d.h. dass es nur einen Vektor mitdiesen beiden Eigenschaften geben kann. Wir nehmen alsoan, w und w

′ seien Elemente aus W und z sowie z′ seien

Elemente von W⊥ mit w + z = v = w′ + z

′. Dann gilt

w − w′ = z

′ − z.

Orthogonalitat – p. 23

Beweis(3)

Es giltw − w

′ = z′ − z.

Der Vektor links des Gleichheitszeichens gehört zu W , derauf der rechten Seite zu W⊥. Sie stehen senkrechtaufeinander und sind außerdem gleich: Das kann nur derNullvektor sein. Wir können also schließen:

w − w′ = 0 = z

′ − z,

alsow = w

′ und z = z′.

Orthogonalitat – p. 24

Orthonormalisierung

Wie findet man eine Orthogonalbasis eines gegebenenUntervektorraumes W?

Idee: Induktiv! Hat man bereits eine Orthogonalbasis einesUnterraumes U ⊂ W und einen Vektor w ∈ W \ U , dannberechnet man

die orthogonale Projektion w ∈ U von w nach U , unddaraus

den Differenzvektor w − w, der dann zu allen Vektorenvon U orthogonal ist.

Diesen Differenzvektor fügt man der Basis hinzu und erhälteine Orthogonalbasis eines größeren Untervektorraumes.Es geht leichter, wenn man zwischendurch normalisiert.

Orthogonalitat – p. 25

Verfahren nach Gram und Schmidt

Gegeben: ein Vektorraum W und eine Basis (w1, . . . ,wp)

von W . Gesucht: Eine Orthogonalbasis (u1, . . . ,up) von W .

Setze

u1 := w1

u2 := w2 −w2 · u1

u1 · u1u1

u3 := w3 −(

w3 · u1

u1 · u1u1 +

w3 · u2

u2 · u2u2

)

...

alsoui+1 := wi+1 − proj<u1,...,ui>(wi+1)

Orthogonalitat – p. 26

Ergebnis

Die so gewonnenen Vektoren u1, . . . ,up sind paarweiseorthogonal, linear unabhängig und erzeugen den gleichenVektorraum wie die wi. Genauer gilt:

< u1 . . . ,ui >=< w1 . . . ,wi >, 1 ≤ i ≤ p.

Man kann die ui noch normalisieren und erhält eineOrthonormalbasis. Sind die ui normiert, so berechnet sichdie Projektion einfacher:

projW (v) = (v · u1)u1 + (v · u2)u2 + · · · + (v · up)up.

Orthogonalitat – p. 27

Eleganter

In Matrixschreibweise kann das Verfahren eleganterformuliert werden.

Dazu sei (u1, . . . ,up) eine Orthogonalbasis von W undU die Matrix mit den Spalten u1, . . . ,up.

Dann ist UT · U eine Diagonalmatrix und

proj(v) = U · UTv.

Orthogonalitat – p. 28

Bestapproximation

Ist W ein Untervektorraum des Rn und v ∈ R

n ein Vektor,dann gilt für v := projW (v)

‖v − v‖ < ‖v − w‖ für alle w ∈ W \ {v}.

In Worten: v ist derjenige Vektor in W , der v am nächstenist.

Orthogonalitat – p. 29

Least Squares

Gegeben: ein lineares Gleichungssystem Ax = b.Gesucht: ein Vektor x, für den ‖Ax − b‖ minimal wird.

Lösungsweg: Man projiziert b in den Spaltenraum Col(A)von A, berechnet also

b := projCol(A).

Die Lösungen des linearen Gleichungssystems Ax = b sinddann genau die Lösungen des Ausgangsproblems. Sie sindzugleich genau die Lösungen der Normalgleichung

ATAx = ATb.

Orthogonalitat – p. 30

Beispiel (1)

Das lineare Gleichungssystem

4x = 2, 2y = 0, x + y = 11

hat keine Lösung.Gesucht ist eine bestmögliche Approximation, eineNäherungslösung für

4 0

0 2

1 1

(

x

y

)

=

2

0

11

.

Orthogonalitat – p. 31

Beispiel (2)

ATA =

(

4 0 1

0 2 1

)

4 0

0 2

1 1

=

(

17 1

1 5

)

ATb =

(

19

11

)

.

Gesucht sind also genau die Lösungen des LGS(

17 1

1 5

)(

x

y

)

=

(

19

11

)

.

Orthogonalitat – p. 32

Beispiel (3)

Wegen

(ATA)−1 =1

84

(

5 −1

−1 17

)

ergibt sich

x =1

84

(

5 −1

−1 17

)(

19

11

)

=1

84

(

84

168

)

=

(

1

2

)

.

Orthogonalitat – p. 33

Ausgleichsgerade

Wie findet man eine Gerade y = β1x + β0, die einevorgegebene Punktmenge {(x1, y1), . . . , (xp, yp)} möglichstgut annähert?

Wenn die Punkte auf einer Geraden liegen, dann gilt

1 x1...

...1 xp

(

β0

β1

)

=

y1...

yp

.

Die approximierende Gerade erhält man, indem man dieBestapproximation dieses LGS bestimmt.

Orthogonalitat – p. 34

Periodische Funktionen

Die Funktionf(x) := sin x

ist periodisch mit Periode 2π, d.h.

sin(x + 2π) = sin x

gilt für alle x ∈ R.

Es genügt deshalb, die Funktion auf einem Intervall derLänge 2π zu kennen, beispielsweise auf dem Intervall[−π, π].

Wir betrachten nun Funktionen auf [−π, π], die integrierbarsind.

Orthogonalitat – p. 35

Skalarprodukt im Funktionenraum

Der Vektorraum der auf [−π, π] integrierbaren Funktionenhat ein Skalarprodukt:

< f, g >:=

∫ π

−π

f(t)g(t)dt.

Für dieses Skalarprodukt gilt:

< sin(n · t), cos(m · t) >= 0 für alle m,n ∈ N0,

< sin(n · t), sin(m · t) >= 0 für alle m 6= n ∈ N0,

< cos(n · t), cos(m · t) >= 0 für alle m 6= n ∈ N0.

Orthogonalitat – p. 36

Ein Orthogonalsystem

Die Funktionen

1, cos t, cos 2t, . . . , sin t, sin 2t, . . .

bilden also ein Orthogonalsystem (aber keine Basis)!

Den von ihnen erzeugten Untervektorraum nennt man denRaum der trigonometrischen Polynome .

Ein trigonometrisches Polynom hat also die Form

a0

2+ a1 cos t + · · · + an cos nt + b1 sin t + · · · + bn sin nt

=a0

2+

n∑

ν=1

(aν cos νt + bν sin νt).

Orthogonalitat – p. 37

Fourierapproximation

Die Idee der Fourierapproximation besteht darin, einebeliebige integrierbare Funktion auf [−π, π] durchtrigonometrische Polynome zu approximieren.

Aber Vorsicht! Unsere Definition der orthogonalenProjektion war für endlichdimensionale Untervektorräumeformuliert. Der Raum der trigonometrischen Polynome istaber unendlichdimensional!

Problemlos berechnen können wir aber die orthogonaleProjektion in den Raum der trigonometrischen Polynomevon Grad ≤ n, und das für jede Zahl n.

Orthogonalitat – p. 38

Fourierkoeffizienten

Die Funktion f(t) sei 2π-periodisch und im Intervall [−π, π]integrierbar.

Die Zahlen

aν :=1

π

∫ π

−π

f(t) cos νtdt, , ν = 0, 1, 2, . . .

bν :=1

π

∫ π

−π

f(t) sin νtdt, , ν = 1, 2, 3 . . .

heißen Fourierkoeffizienten der Funktion f .

Orthogonalitat – p. 39

Fourierreihe

Die mit den Fourierkoeffizienten gebildete Reihe

a0

2+

∞∑

ν=1

(aν cos νt + bν sin νt)

heißt Fourierreihe von f .

Man kann zeigen, dass die Fourierreihe von f gegen f

konvergiert, wenn die Funktion f stetig ist.

Orthogonalitat – p. 40