Ausgleichungsrechnung IIGerhard Navratil

Robuste Schätzung

• Einführung

• Schätztheorie

• Ansätze für robuste Schätzer– Herleitung einer Schätzfunktion– Klassen von Schätzfunktionen

Ausgleichungsrechnung IIGerhard Navratil

Methode der kleinsten Quadrate

Eigenschaften– Größte Wahrscheinlichkeit für ausgeglichene

Werte– Erwartungstreue

Beliebt weil Schätzer linear einfach zu handhaben

Nachteil: Anfällig für grobe Fehler

Ausgleichungsrechnung IIGerhard Navratil

Annahme bei der Methode der kleinsten Quadrate

Fehler der Beobachtungen normalverteilt

Annahme getroffen aufgrund des zentralen Grenzwertsatzes

Gilt nur wenn (idealerweise)– Frei von groben Fehlern– Keine systematischen Einflüsse

Meist nicht in vollem Umfang gegeben!

Ausgleichungsrechnung IIGerhard Navratil

Beispiel (1)

5 Festpunkte, jeweils Strecke zu Neupunkt gemessen

1 2 3 4 5

X

100m

200

m

von nach s

1 X 282,844

2 X 223,603

3 X 199,998

4 X 223,608

5 X 282,842Pkt y X

X -0,0006 199,9989

Ausgleichungsrechnung IIGerhard Navratil

Beispiel (2)

Einführen eines groben Fehlers

Strecke 1 – X statt 282,844m neu 292,844m (10m-Fehler)

Pkt y X

X 5,0502 201,9631

von nach v [mm]

1 X -5042

2 X 4018

3 X 1965

4 X -503

5 X 2182

Pkt y X

X -0,0006 199,9989

Vorher:

Ausgleichungsrechnung IIGerhard Navratil

Beispiel: Was fällt auf?

Grober Fehler (10m) verursacht Fehler in ausgeglichenen Koordinaten von 5m (y) und 2m (x)

Generell große Verbesserungen (nicht nur bei Seite 1-X)

Dieses Beispiel: Nur ein grober Fehler – Elimination der Beobachtung aufgrund Verbesserungen möglich

Ausgleichungsrechnung IIGerhard Navratil

Ursache für Versagen?

Voraussetzung für Funktionieren von Methode der kleinsten Quadrate war Normalverteilung der Beobachtungen

Grobe Fehler nicht normalverteilt

Ausgleichungsrechnung IIGerhard Navratil

Wünschenswert wäre

Klare Abtrennung grober Fehler

Notwendig: Verbesserung bei groben Fehlern korrigiert diesen Fehler ganz/fast

Also: Ergebnis nur von ‚korrekten‘ Beobachtungen beeinflusst!

Methoden, bei denen das passiert: Robuste Schätzer

z.B. Median

Ausgleichungsrechnung IIGerhard Navratil

Eigenschaften für robuste Schätzer

• Verteilungsrobust: Fehler im stochastischen Modell sollen wenig stören

• Datenrobust: Gute Ergebnisse bei groben Fehlern in Datenmaterial

• Modellrobust: Ergebnis hauptsächlich von ‚guten‘ Daten beeinflusst

• Hohe Trennfähigkeit: Grobe Fehler sollen an Verbesserungen erkennbar sein

• Optimale Ergebnisse: Ergebnisse sollen der Methode der kleinsten Quadrate entsprechen

Ausgleichungsrechnung IIGerhard Navratil

Fortsetzung Beispiel (1)

Lösung des Beispiels mit Least Median Square (LMS): Alle eindeutigen Lösungen bestimmt, Median der Verbesserungs-quadrate, Minimum gibt Lösung

10 Lösungen, Lösung mit minimalem Median ist Pkt y X

X -0,0056 199,9985

Pkt y X

X -0,0006 199,9989

Vorher:

Ausgleichungsrechnung IIGerhard Navratil

Fortsetzung Beispiel (2)

Ergebnis unterscheidet sich kaum von Lösung ohne groben Fehler

Falsche Beobachtung (1 von 5 = 20%) hat keinen Einfluss

Verbesserungen:

Fehler leicht zufinden!

von nach v [mm]

1 X -10006,3

2 X 0,0

3 X 0,5

4 X 0,0

5 X 3,6

Ausgleichungsrechnung IIGerhard Navratil

Fortsetzung Beispiel (3)

Weitere Methode (siehe Kraus Photo-grammetrie Bd. 2): Iterative Ausgleichung mit Kehrwerten der Verbesserungen als Gewichtenvon nach p v [mm]

1 X 1 -5042

2 X 1 4018

3 X 1 1965

4 X 1 -503

5 X 1 -2182

von nach p v [mm]

1 X 0,198 -6307

2 X 0,249 3081

3 X 0,509 1658

4 X 1,985 -117

5 X 0,458 -1352

1. 2.

Ausgleichungsrechnung IIGerhard Navratil

Fortsetzung Beispiel (4)

Einfluss der grob falschen Beobachtung wird immer geringer Verbesserung wird größer

Nach der 17. Iteration: Lösung ändert sich nicht mehr

Pkt y X

X 0,0043 200,0035

von nach v [mm]

1 X -9995,8

2 X 8,8

3 X 5,5

4 X 0,0

5 X 0,2

Ausgleichungsrechnung IIGerhard Navratil

Schätztheorie

Schätzfunktion + Eigenschaften

Einflussfunktion: Misst Einfluss einer Änderung im Parametervektor auf die Schätzfunktion

Verlustfunktion: Abweichung der Schätz-funktion vom optimalen Ergebnis

Ausgleichungsrechnung IIGerhard Navratil

Schätzfunktion

Funktion, die den gesuchten Parameter aus den Beobachtungen ableitet Beobachtungsgleichungen

Schätzwert für unbekannten Parameter Tn

Anhand dieses Schätzwertes Untersuchung der Eigenschaften der Schätzfunktion

nn XXXtT ,,, 21

Ausgleichungsrechnung IIGerhard Navratil

Einflussfunktion (1)

Überlegung: Gegeben (n-1) Zufalls-variablen Xi mit empirischer Verteilung Fn-1 und Schätzfunktion

Hinzufügen einer weiteren Zufallsvariable:

121111 ,,, nnnn XXXtFTT

nnnn XXXtFTT ,,, 21

xnn nF

n

nF 11

1

Ausgleichungsrechnung IIGerhard Navratil

Einflussfunktion (2)

Differenz der Schätzfunktionen Tn-1 und Tn multipliziert mit Anzahl der Zufallsvariablen Sensibilitätskurve SC

Beschreibt den Effekt des Hinzufügens einer Beobachtung auf die Schätzfunktion

n ∞, also 1/n=: Einflussfunktion IF

n

FTn

Fn

nT

TTnSCnxn

nnn 1

1111

11

FTFT

FTxIF x

1;;

Ausgleichungsrechnung IIGerhard Navratil

Einflussfunktion (3)

Misst Effekt einer infinitesimalen Änderung in den Daten auf den Schätzer

Theoretisch strenges aber abstraktes MaßGrobe Fehler: Nur Schätzfunktion mit

beschränktem Einfluss kann robust seinTypen von Schätzfunktionen:

– Monoton, unbeschränkt: arithmetisches Mittel– Monoton, beschränkt: Median– Beschränkt mit Sprung auf 0: Arithmetisches Mittel

mit Verwerfungsregel– Beschränkt mit stetigem Übergang auf 0: Hampel-

Schätzer

Ausgleichungsrechnung IIGerhard Navratil

Einflussfunktion (4)

Aus: Wicki (1999) Robuste Schätzverfahren für die Parameterschätzung in geodätischen Netzen, S. 36

Ausgleichungsrechnung IIGerhard Navratil

Verlustfunktion

Verbesserungen: erfüllen funktionales Modell

Schätzfunktion für Verbesserungen notwendig

Verlustfunktion (v): Abweichung der Schätzfunktion vom optimalen Ergebnis

Gauß‘sche VerlustfunktionMethode der kleinsten Quadrate

Ls-Norm-Schätzer:

vll ˆ

2ii vv

s

ii vv

Ausgleichungsrechnung IIGerhard Navratil

Konsistenz

Schätzfunktion Tn für Parameter ist konsistent, wenn Tn bei wachsendem n gegen konvergiert

Also: Je größer die Stichprobe desto sicherer die Schätzung

Ausgleichungsrechnung IIGerhard Navratil

Erwartungstreue

Erwartungstreu: Erwartungswert ist gleich dem zu schätzenden Parameter, also

Muss unabhängig von der Anzahl der Realisierungen gelten

Bias:

Bias bei erwartungstreuen Schätzern gleich Null

nn XXXtETE ,,, 21

nTEB

Ausgleichungsrechnung IIGerhard Navratil

Bruchpunkt

Grenzwert für den Prozentsatz grob falscher Beobachtungen vor Verlust der Erwartungstreue

Bruchpunkt 10%: bis zu 10% der Beobachtungen dürfen falsch sein und das Ergebnis ist noch korrekt

Arithmetisches Mittel, Methode der kleinsten Quadrate: Bruchpunkt 0%

Maximal möglicher Wert: 50% (Median, LMS)Voraussetzung: Keine HebelbeobachtungenAngabe in Geodäsie nicht möglich (außer 0%)

Ausgleichungsrechnung IIGerhard Navratil

Effizienz (1)

Schätzvarianz

Maß für die Streuung der Schätzfunktion um den Erwartungswert möglichst klein!

Effizienz: Verhältnis zwischen kleinst-möglicher Schätzvarianz und Schätz-varianz der verwendeten Schätzfunktion

2 nn TETV

n

nn TV

TVTe min

Ausgleichungsrechnung IIGerhard Navratil

Effizienz (2)

Praktische Anwendungen: Möglichst hohe asymptotische Effizienz, also

Oft nur relative Effizienz erreichbar – relativ effizient, wenn Schätzvarianz kleiner als die anderer Schätzfunktionen

1lim n

nTe

Ausgleichungsrechnung IIGerhard Navratil

Suffizienz

Suffizient, wenn alle relevanten Informatio-nen der Stichprobe verwendet werden

Nicht gegeben, wenn bestimmte Informa-tionen nicht einfließen

z.B. Punkt durch 3 Strecken bestimmt, Lösung nur aus 2 Strecken berechnet

Ausgleichungsrechnung IIGerhard Navratil

Hebelbeobachtung (1)

Daten, die geometrisch weit entfernt von der Masse der übrigen Daten liegen

Bsp: Ausgleichende Gerade

Ausgleichungsrechnung IIGerhard Navratil

Hebelbeobachtung (2)

Beobachtungsgleichungen bei Qll=I: v=Ax-l

L2-Norm liefert

Projektionsmatrix (Hatmatrix) H

Kofaktoren der Verbesserungen: Qvv=I-H

Ausgleichungsrechnung IIGerhard Navratil

Hebelbeobachtung (3)

Für die Spur von Qvv gilt:

Spur gleich Rang idempotente Matrix

Für die Redundanzanteile gilt

Also Bezug Redundanzanteil – Geometrie

Ausgleichungsrechnung IIGerhard Navratil

Hebelbeobachtung (4)

Wert von hii groß (nahe bei 1) Hebelbeobachtung

Beobachtung mit kleiner Redundanz (nur schwach kontrolliert) Hebelbeobachtung

„Gute“ Hebelbeobachtungen haben einen starken positiven Einfluss auf das Ergebnis der Schätzung

Aber: Fehler nur schwer lokalisierbar

Ausgleichungsrechnung IIGerhard Navratil

Behandlung von Hebelbeobachtungen

• Optimierung der Beobachtungspläne

• „Entgeometrisierung“ des Modells

• Hampel-Krasker-Schätzer

(nach Caspary (1996), Anmerkungen zum robusten Schätzen)

Ausgleichungsrechnung IIGerhard Navratil

Problem bei Hebelbeobachtungen

Maskierung bei Gruppe von Beobachtungen

Beispiel: nicht unabhängige Wieder-holung einer Messung

Ausgleichungsrechnung IIGerhard Navratil

Maskierte Hebelbeobachtung

Distanz c istunvollständigkontrolliert!

rc = 0%, grober Fehler fällt nicht auf

Strecke c 2x gemessen rc1 = 50%, rc2 = 50% grober Fehler in einer Messung fällt auf

Grober Fehler in beiden Beobachtungen (nicht unabhängig) fällt nicht auf!

Ausgleichungsrechnung IIGerhard Navratil

Ansätze für robuste Schätzer (1)

Messfehler x: Wahrscheinlichkeit P, dass x Werte aus einem Bereich X beschrieben über Verteilungsfunktion

Geodäsie: Annahme Normalverteilung, also

Systematische Einflüsse meist vorhanden Störung!

xXPxF

,0NxF

Ausgleichungsrechnung IIGerhard Navratil

Ansätze für robuste Schätzer (2)

Robuste Schätzer: Messfehler gehören Stammverteilung oder Störverteilung an

Wahrscheinlichkeit , dass Messfehler auftreten

Für Stammverteilung G meist Normalverteilung

Schätzer robust, wenn gute Schätzwerte auch bei nicht streng normalverteilten Daten

xSxGxF 1

Ausgleichungsrechnung IIGerhard Navratil

Herleitung der Schätzfunktion (1)

Beispiel: Methode der kleinsten Quadrate

Eindimensionale Schätzfunktion

Gauß‘sche Verlustfunktion

Extremwertaufgabe ist

nXXXtX ,,, 21

22

iiii vXXXXv

min1

2

1

2

n

ii

n

iii vXXv

Ausgleichungsrechnung IIGerhard Navratil

Herleitung der Schätzfunktion (2)

Lösung: 1. Ableitung gleich Null setzen

Eindimensionaler Fall: Arithmetisches Mittel

Mehrdimensionaler Fall: Annahme unkorrelierte, gleichgenaue Messungen, also Qll=P=I:

02211

n

ii

n

ii vXX

n

iiX

nX

1

1

lAxv

Ausgleichungsrechnung IIGerhard Navratil

Herleitung der Schätzfunktion (3)

Verlustfunktion soll minimal werden

Erste Ableitung der Verlustfunktion

Da variable Größen in x und nicht in v: Kettenregel

i

iii v

vvv

'

ujx

vv

x

v

v

v

x

v

j

in

i

n

ii

j

i

i

in

i j

i ,,2,1mit1 11

Ausgleichungsrechnung IIGerhard Navratil

Herleitung der Schätzfunktion (4)

Wegen v=Ax-l muss gelten

Einführung von(Zeilenvektor der A-Matrix) führt zu

Matrizenschreibweise

Liefert das Normalgleichungssystem

ujavn

iiji ,,2,1mit0

1

iuiii aaa 21a

01

n

iiiv a

nvvv 21

0TA

Ausgleichungsrechnung IIGerhard Navratil

Herleitung der Schätzfunktion (5)

Modifizierte Gauß‘sche Verlustfunktion,

Erste Ableitung:

Und somit

Einsetzen von v=Ax-l gibt

2

2i

i

vv

ii vv

0vAT

lAAxA

lAxATT

T

0Ergibt keine robusteSchätzfunktion !

Ausgleichungsrechnung IIGerhard Navratil

M-Schätzer (1)

Verallgemeinerung der Maximum Likelihood-Schätzer: M- oder Huber-Schätzer

Eng verwandt mit Methode der kleinsten Quadrate

Verlustfunktion so gewählt, dass Schätzer robust, dann bekannte Bedingung

min iii vLL

Ausgleichungsrechnung IIGerhard Navratil

M-Schätzer (2)

Eindimensionaler Fall:Verlustfunktionliefert arithmetisches Mittel

Nicht robust!

Beurteilung der Eigenschaften: Einfluss-funktion bestimmen, nach Hampel und Borutta:

2iiii LLLL

n

ii

n

ii

Ln

L

LL

1

1

1

0

n

Ti

Tii

vEvEvE

vGIF

'''diag

mit,ˆ,ˆ,

21

11

1

Y

YAASaSxlA

Ausgleichungsrechnung IIGerhard Navratil

M-Schätzer (3)

Zeile ai: Einfluss der i-ten Beobachtung auf den Unbekanntenvektor

Funktion (vi) ist bei M-Schätzern proportional zur Einflussfunktion

Wenn Einflussfunktion beschränkt: robust Für Diskussion der Eigenschaften der

Verlustfunktion reicht Diskussion von Oft Einflussfunktion nicht explizit

bestimmt

Ausgleichungsrechnung IIGerhard Navratil

M-Schätzer (4)

Annahme: Stammverteilung G, Störver-teilung S, geringe Anzahl von Ausreißern

Stetige, konvexe Verlustfunktion mit robusten Eigenschaften:

cv

cv

cvc

vv

i

i

i

i

ic für

für

2

12

1

2

2

cv

cv

cv

vv

i

i

i

iic für

für

sign

Ausgleichungsrechnung IIGerhard Navratil

M-Schätzer (5)

Ausgleichungsrechnung IIGerhard Navratil

L-Schätzer (1)

Linearkombination von Ordnungsstatistiken

Einfachster Fall: Direkt beobachtete Größen, n Beobachtungen, nach Größe sortiert

L(i) …i-te Ordnungsstatistik der Stichprobe

Schätzfunktion

)()2()1( nLLL

1mit,,2,11

1

n

ii

n

iiin aLaLLLgL

Ausgleichungsrechnung IIGerhard Navratil

L-Schätzer (2)

• Gleiche Gewichte (1/n): arithmetisches Mittel

• a1=an=1/2, sonst 0: Schätzung nach Tschebyscheff

Beide Lösungen nicht robust!

21 nLL

L

Ausgleichungsrechnung IIGerhard Navratil

L-Schätzer (3)

• Abschneiden des größten und kleinsten Wertes

• Alle Werte außer mittlerem Wert abschneiden: Median

Beide Lösungen robust!

Ausgleichungsrechnung IIGerhard Navratil

Ls-Norm-Schätzer (1)

Verlustfunktion als Potenz der Verbes-serungsabsolutbeträge

Erste Ableitung wird

Normalgleichungen:

svvs

ii 1mit

svvsv

s

iii 1mit2

ujavvn

iij

s

ii ,,1mit01

2

Ausgleichungsrechnung IIGerhard Navratil

Ls-Norm-Schätzer (2)

Es zeigt sich, dass -Funktion beschränkt für

in diesem Bereich robust

21 s

Ausgleichungsrechnung IIGerhard Navratil

L2-Norm-Schätzer

Bei s=2: L2-Norm mit

Normalgleichungen

bzw.

Parameterschätzung nach L2-Norm ent-spricht der Methode der kleinsten Quadrate

iiii vvvv 2,2

01

n

iijiav

lAAxA0xA TTT ,

Ausgleichungsrechnung IIGerhard Navratil

L1-Norm-Schätzung

s=1:

Beschränkte -Funktion robust

Leider keine optimale Lösung bei fehlerfreien Daten

Gut geeignet für Aufdecken grober Fehler

Berechnung z.B. Simplex-Algorithmus

Bestimmung auch mit L2-Norm möglich (siehe Übung)

iiii vvvv sign, min1

n

iiv

Ausgleichungsrechnung IIGerhard Navratil

Weitere Schätztypen

L-, M-, Ls-Norm-Schätzer sind die Haupttypen

Dazu viele Untertypen (z.B. R-, modifizierte M-, BIBER-Schätzer)

Wichtig: LMS

RANSAC

Ausgleichungsrechnung IIGerhard Navratil

Least Median Square (LMS)

– Bruchpunkt nahezu 50%– Minimiert Median der Verbesserungsquadrate– Alle eindeutigen Lösungen bestimmt, Median

ermitteln, Minimum ist gesuchte Lösung– Maximal Gleichungssysteme

u

n

Ausgleichungsrechnung IIGerhard Navratil

Random Sample Consensus (RANSAC)

Dient dem Erkennen grober FehlerErgebnis: Beobachtungen ohne grobe Fehler

(‚consensus set‘)Vorgangsweise

– Zufällige Auswahl von Beobachtung– Berechnung der Lösung– Berechnung der Wahrscheinlichkeit

• Verbesserungen ALLER Beobachtungen• Wahrsch. = [Anz. (Verb. < Schwelle)]/[Anz. Beob.]

Mehrmals wiederholt, Lösung mit max. Wahrscheinlichkeit = Ergebnis

Ausgleichungsrechnung IIGerhard Navratil

Problem bei RANSAC

Lösung nicht bei jeder Auswahl möglich

Nicht alle Lösungen berechnet

Schwellenwert kritischGeodäsie z.B. 3

Faustformel für Durchläufe mit s … Anzahl für die Bestimmung notwendiger

Beobachtungenp … Wahrscheinlichkeit für Stichprobe ohne grobe Fehler … relativer Anteil grober Fehler

s

p

11log

1log