V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen...

20
33 Statistik: Zufallsgrößen Mehrdimensionale Zufallszahlen Randverteilungen =Projektionen auf Achsen 2-dim. PDF: f(x,y) (Scatter-Plot) 34 Statistik: Zufallsgrößen Mehrdimensionale Zufallszahlen (2) Bedingte Wahrscheinlichkeitsdichten

Transcript of V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen...

Page 1: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

33

Statistik: Zufallsgrößen

Mehrdimensionale Zufallszahlen

Randverteilungen =Projektionen auf Achsen

2-dim. PDF: f(x,y) (Scatter-Plot)

34

Statistik: Zufallsgrößen

Mehrdimensionale Zufallszahlen (2)

Bedingte Wahrscheinlichkeitsdichten

Page 2: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

35

Statistik: Verteilungen

Binomialverteilung (1)

36

Statistik: Verteilungen

Binomialverteilung (2)

Page 3: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

37

Statistik: Verteilungen

Poissonverteilung

38

Statistik: Verteilungen

Anwendung: Bininhalt in einem Histogramm

Poissonverteilung

Page 4: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

39

Statistik: Verteilungen

Normalverteilung

40

Statistik: Verteilungen

Normalverteilung

Page 5: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

41

Statistik: Verteilungen

Standardverteilungen

42

Statistik: Zentraler Grenzwertsatz

Zentraler Grenzwertsatz

Page 6: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

43

Statistik: weitere Verteilungen

Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer n-dimensionalen Normalverteilung.

(=Quadrat der Radien von n-dimensionalen Vektoren. In hochdimensionalen Räumen steckt das Volumen einer Kugel fast vollständig nahe der ,,Oberfläche´´.)

Chi-Quadrat-Verteilung

44

Statistik: weitere Verteilungen

Cauchy- (=Breit-Wigner-) Verteilung

Tritt bei allen Resonanzphänomenen auf, ist Fouriertransformierte (im Frequenz-=Energieraum) der Exponentialverteilung (in Zeit t). Unschärferelation: Resonanzbreite = h/Lebensdauer

Page 7: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

1

Kovarianzmatrix Erwartungswert von (Abweichung vom Erwartungswert in Variable x) * (Abweichung vom Erwartungswert in Variable y):

Diagonalwerte: Varianzen: Erwartungswert von (Abweichung vom Erwartungswert in Variable x)**2

2

Korrelationsmatrix Normiere Kovarianzmatrix, so dass die Diagonalelemente alle 1 sind:

Page 8: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

3

Korrelation

Wenn x, y unabhängig, d.h. dann gilt

x und y ,,unkorreliert“

Achtung: Die umgekehrte Aussage gilt nicht immer

4

Variablentransformation I

Eine Funktion a(x) einer Zufalls- Variablen x mit pdf f(x) ist wieder eine Zufallsvariable, mit pdf g(a)

Wahrscheinlichkeitsdichte für a

Intervall im x-Raum, für das a in [a,a+da]

Page 9: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

5

Variablentransformation II

Wenn Inverse nicht eindeutig, müssen alle Zweige berücksichtigt werden.

Beispiel:

6

Fehlerfortpflanzung I

Page 10: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

7

Fehlerfortpflanzung II

8

Fehlerfortpflanzung III

Page 11: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

9

Fehlerfortpflanzung IV

10

Fehlerfortpflanzung V

Page 12: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

11

Monte Carlo

12

Paarbildung

Bremsstrahlung

rege

lmäß

iges

G

itter

Pseu

do-

Zufa

llsza

hlen

Q

uasi

- Zu

falls

zahl

en

Page 13: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

13

Parameterschätzung -- Fitting

Maximum Likelihood

Kleinste Quadrate

Messung

Parameterschätzung

14

Parameterschätzung mit kleinsten Quadraten

Page 14: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

15

Lineare kleinste Quadrate

Lineares Gleichungssystem eindeutig lösbar

Überbestimmtes Gleichungssystem Ausgleichsrechnung, n-p Freiheitsgrade

16

Parameterschätzung mit kleinsten Quadraten

Page 15: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

17

Lösung des linearen Optimierungsproblems

18

Abhängigkeit von der Messfehler-Verteilung

Geradenfit an 20 Datenpunkte (ndf=20-2=18)

Drei verschiedene Verteilungsfunktionen der Einzelmessungen, alle Mittelwert 0, Standardabweichung=0.5

Page 16: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

19

Parameterschätzung mit kleinsten Quadraten 25000 Monte-Carlo-Tests: Alle Parameter-Verteilungen sind Gaussisch, die Breite kompatibel zur Erwartung aus Fehlerfortpflanzung (für beide Parameter)

20

Parameterschätzung mit kleinsten Quadraten

Page 17: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

21

Robuste kleinste Quadrate

Ausreisser in den Daten (z.B. Eingabefehler, falsche Messpunkte auf Spur) können Fit wegen quadratischer Abhängigkeit sehr stark beeinflussen und zu völlig sinnlosen Lösungen führen.

Rezept zur Robustifizierung:

1.  Normaler Kleinste Quadrate-Fit, liefert Residuen. 2.  Modifiziere Daten durch Limitieren der Residuen auf c!. Eine gute Wahl ist c=1.5. 3. Wiederhole Fit mit Pseudo-Messungen statt Originalmessungen.

Es existieren auch andere Loss-Funktionen (z.B. Huber-Funktion), aber nicht mehr analytisch lösbar.

22

Häufige Fehler bei " - Minimierung 2

Page 18: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

23

Häufige Fehler bei " – Minimierung (Forts.) 2

24

Vorsicht bei kleinen Zahlen! 2

Demo

Soll-Resultat

Page 19: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

25

Vorsicht bei kleinen Zahlen! 2

26

Nichtlineare kleinste Quadrate

Page 20: V10 Datenanalyse 1 - zupanc/WS1011/docs/Datenanalyse... · Statistik: weitere Verteilungen Beschreibt die Summe der quadratischen Abweichungen vom Erwartungswert einer ... V10_Datenanalyse_1.ppt

27

Kleinste Quadrate mit Nebenbedingungen

28

Kleinste Quadrate mit Nebenbedingungen (2)