Datenanalyse zur Unterstützung der Entscheidungsfindung im Arbeitsalltag
V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen...
Transcript of V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen...
33
Statistik: Zufallsgrößen
Mehrdimensionale Zufallszahlen
Randverteilungen =Projektionen auf Achsen
2-dim. PDF: f(x,y) (Scatter-Plot)
34
Statistik: Zufallsgrößen
Mehrdimensionale Zufallszahlen (2)
Bedingte Wahrscheinlichkeitsdichten
35
Statistik: Verteilungen
Binomialverteilung (1)
36
Statistik: Verteilungen
Binomialverteilung (2)
37
Statistik: Verteilungen
Poissonverteilung
38
Statistik: Verteilungen
Anwendung: Bininhalt in einem Histogramm
Poissonverteilung
39
Statistik: Verteilungen
Normalverteilung
40
Statistik: Verteilungen
Normalverteilung
41
Statistik: Verteilungen
Standardverteilungen
42
Statistik: Zentraler Grenzwertsatz
Zentraler Grenzwertsatz
43
Statistik: weitere Verteilungen
Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer n-dimensionalen Normalverteilung.
(=Quadrat der Radien von n-dimensionalen Vektoren. In hochdimensionalen Räumen steckt das Volumen einer Kugel fast vollständig nahe der ,,Oberfläche´´.)
Chi-Quadrat-Verteilung
44
Statistik: weitere Verteilungen
Cauchy- (=Breit-Wigner-) Verteilung
Tritt bei allen Resonanzphänomenen auf, ist Fouriertransformierte (im Frequenz-=Energieraum) der Exponentialverteilung (in Zeit t). Unschärferelation: Resonanzbreite = h/Lebensdauer
1
Kovarianzmatrix Erwartungswert von (Abweichung vom Erwartungswert in Variable x) * (Abweichung vom Erwartungswert in Variable y):
Diagonalwerte: Varianzen: Erwartungswert von (Abweichung vom Erwartungswert in Variable x)**2
2
Korrelationsmatrix Normiere Kovarianzmatrix, so dass die Diagonalelemente alle 1 sind:
3
Korrelation
Wenn x, y unabhängig, d.h. dann gilt
x und y ,,unkorreliert“
Achtung: Die umgekehrte Aussage gilt nicht immer
4
Variablentransformation I
Eine Funktion a(x) einer Zufalls- Variablen x mit pdf f(x) ist wieder eine Zufallsvariable, mit pdf g(a)
Wahrscheinlichkeitsdichte für a
Intervall im x-Raum, für das a in [a,a+da]
5
Variablentransformation II
Wenn Inverse nicht eindeutig, müssen alle Zweige berücksichtigt werden.
Beispiel:
6
Fehlerfortpflanzung I
7
Fehlerfortpflanzung II
8
Fehlerfortpflanzung III
9
Fehlerfortpflanzung IV
10
Fehlerfortpflanzung V
11
Monte Carlo
12
Paarbildung
Bremsstrahlung
rege
lmäß
iges
G
itter
Pseu
do-
Zufa
llsza
hlen
Q
uasi
- Zu
falls
zahl
en
13
Parameterschätzung -- Fitting
Maximum Likelihood
Kleinste Quadrate
Messung
Parameterschätzung
14
Parameterschätzung mit kleinsten Quadraten
15
Lineare kleinste Quadrate
Lineares Gleichungssystem eindeutig lösbar
Überbestimmtes Gleichungssystem Ausgleichsrechnung, n-p Freiheitsgrade
16
Parameterschätzung mit kleinsten Quadraten
17
Lösung des linearen Optimierungsproblems
18
Abhängigkeit von der Messfehler-Verteilung
Geradenfit an 20 Datenpunkte (ndf=20-2=18)
Drei verschiedene Verteilungsfunktionen der Einzelmessungen, alle Mittelwert 0, Standardabweichung=0.5
19
Parameterschätzung mit kleinsten Quadraten 25000 Monte-Carlo-Tests: Alle Parameter-Verteilungen sind Gaussisch, die Breite kompatibel zur Erwartung aus Fehlerfortpflanzung (für beide Parameter)
20
Parameterschätzung mit kleinsten Quadraten
21
Robuste kleinste Quadrate
Ausreisser in den Daten (z.B. Eingabefehler, falsche Messpunkte auf Spur) können Fit wegen quadratischer Abhängigkeit sehr stark beeinflussen und zu völlig sinnlosen Lösungen führen.
Rezept zur Robustifizierung:
1. Normaler Kleinste Quadrate-Fit, liefert Residuen. 2. Modifiziere Daten durch Limitieren der Residuen auf c!. Eine gute Wahl ist c=1.5. 3. Wiederhole Fit mit Pseudo-Messungen statt Originalmessungen.
Es existieren auch andere Loss-Funktionen (z.B. Huber-Funktion), aber nicht mehr analytisch lösbar.
22
Häufige Fehler bei " - Minimierung 2
23
Häufige Fehler bei " – Minimierung (Forts.) 2
24
Vorsicht bei kleinen Zahlen! 2
Demo
Soll-Resultat
25
Vorsicht bei kleinen Zahlen! 2
26
Nichtlineare kleinste Quadrate
27
Kleinste Quadrate mit Nebenbedingungen
28
Kleinste Quadrate mit Nebenbedingungen (2)