Signifikanztests - Startseite - Physik und Astronomie€¦ · Nullhypothese - Alternativhypothese H...

T. Kießling: Fortgeschrittene Fehlerrechnung- - Hypothesentest 08.05.2019 Vorlesung 2- 1

Signifikanztests


Sind Bauteile korrekt hergestellt?

Sind Nanos besser als Physiker?

Ist die Übereinstimmung der experimentellen mit der theoretischen Verteilung akzeptabel?

Was heißt signifikant?Was ist ein Signifikanzniveau?

Was ist eine Hypothese? Was sind Fehlerarten?

Was sind einseitige (zweiseitige) Tests? Was ist ein 2 – Test?

Typische Fragestellungen

Was ist ein Signifikanztest?


Wasserproben: Es wird der Zinkgehalt im Trinkwasser im Norden und im Süden eines Landes gemessen.

Ist das Wasser im Süden stärker belastet?

Numerisch sind die Mittelwerte verschieden. Im Fall 1 ist der Unterschied deutlich (lat. significans). Im zweiten Fall ist er nicht so deutlich.

Was heißt signifikant?


Rückgriff auf die Normalverteilung:Bei der Beobachtung von Zufallsprozessen gibt es immer die Wahrscheinlichkeit, dass das Ergebnis einen bestimmten Grenzwert zx überschreitet.

Der eingefärbte Bereich gibt die Wahrscheinlichkeit an, mit der das Ergebnis z einen bestimmten Grenzwert zx überschreitet (links).

In manchen Fällen werden auch zwei Grenzwerte betrachtet werden müssen (rechtes Beispiel).

z.B. 5%

Signifikanzniveau


Übersteigt die Zinkkonzentration einer Wasserprobe einen bestimmten Grenzwert?

Ist die bestellte Pizza gut durchgebacken?

roh - gut durchbacken - verbrannt

Einseitige Test haben nur einen Ablehnungsbereich (links).

Zweiseitige Tests werden angewendet, wenn ein Parameter auf Gleichwertigkeit mit einem bestimmten Wert überprüft werden soll.Abweichungen in beide Richtungen werden verworfen (rechts).

Einseitige und zweiseitige Tests


Konfidenzintervalle

Die Mittelwerte xi sind normalverteilt um den wahren Mittelwert

der Grundgesamtheit mit einer Standardabweichung von ,

wenn n groß ist. n

Das heißt, alle Mittelwerte einer Stichprobe einer Normalverteilung liegen mit einer 68.27 % Wahrscheinlichkeit im Intervall

;n n

Aufgabe ist es jetzt, die Länge eines Intervalls so festzulegen, dass es den wahren Mittelwert

mit einer runden Vertrauenswahrscheinlichkeit überdeckt,also 90% oder 95%


In der Praxis hat die Werte = 0,90, = 0,95, = 0,99 und gelegentlich = 0,999

Es ist klar, dass es einen Parameter geben muss, so dass das Intervall

;n ni ix x

ein Konfidenzintervall für zur Vertrauenswahrscheinlichkeit ist.

i ix xn n

Konfidenzintervalle


Konfidenzintervalle

Diese Ungleichung lässt sich umformen zu

iβ β

μ xλ n λσ

Häufig benutzte Werte für :

90% = 1,645

95% = 1,960

99% = 2,576

i ix xn n

Diese sind zweiseitige Schranken der Normalverteilung.

68,27% = 1,000

95,44% = 2,000

99,73% = 3,000

Der Ausdruck iμ x n zσ

wird im Laufe der Vorlesung wiederholt gebraucht.


93,0g bei einem 4,0gi xx x

Schokoladentafeln: Das wahre Gewicht (Mittelwert der Grundgesamtheit) sei 100g.

Wir machen eine Zufallsstichprobe (n>30).

Mit 95,5% Sicherheit (Konfidenz) liegt der wahre Mittelwert im Intervall.

2 xx

Mit 95,0% Sicherheit (Konfidenz) liegt der wahre Mittelwert im Intervall.

1,96 xx

Das heißt, alle zwischen 100,8 g und 85,2 g können diese Stichprobe mit 95,0% Konfidenz erzeugt haben.

Konfidenzintervalle: Beispiel


Wenn alle zwischen 100,8 g und 85,2 g diese Stichprobe mit einer 95,0% Konfidenz erzeugt haben, kann man sich fragen, wie sehen andere

Konfidenzintervalle aus?

Zum Beispiel können alle zwischen 103,3 g und 82,7 g diese Stichprobe mit 99,0% Konfidenz erzeugt haben.

Das Intervall der möglichen Erzeuger für diesen Stichprobenmittelwert wird umso größer, je kleiner ich die Restwahrscheinlichkeit

(Irrtumswahrscheinlichkeit) mache.

Ein Konfidenzintervall kennzeichnet denjenigen Bereich eines Merkmals,in dem sich 95% (99%) aller möglichen Populationsparameter befinden,

die den empirisch ermittelten Stichprobenkennwert erzeugt haben können.

VORSICHT!!!! Dies gilt nur bei großen Stichproben n>30.

Zum Beispiel können alle zwischen 99,6 g und 86,4 g diese Stichprobe mit 90,0% Konfidenz erzeugt haben.



x μn z

σ

Alternative Betrachtung: 93,0g bei einem 4gxx

93 100 7 1,754x

100

93So kleine Werte, wie den Stichprobenmittelwert 93,0 g,

können in 4,01 % der Fälle von Werten größer als 100 g erzeugt werden.

Ist das nun eine signifikante Abweichung?

Oder kann ich behaupten, der wahre Erzeuger für diese Stichprobe hat nicht den

Mittelwert 100g?



Es gibt zwei verschiedene Fehlerarten:

Fehler erster (-Fehler) und Fehler zweiter Art (-Fehler).

Wir kaufen Schokolade.Die Schokolade soll ein Verpackungsgewicht von 100g aufweisen.

Aufstellen einer Hypothese:Wir misstrauen dem Lieferanten. Wir nehmen an, dass der Lieferant unsere Bedingung nicht erfüllt, d.h. die Tafeln wiegen tatsächlich weniger als 100g

Dies ist unsere Nullhypothese, also die Annahme, die wir widerlegen möchten.

H0* oder Nullhypothese: 100Schokolade Limitm m g

Testen von Hypothesen


Nullhypothese - AlternativhypotheseH0

* oder Nullhypothese:

Zu jeder Nullhypothese gibt es eine Alternativhypothese H1*.

H1* oder Alternativhypothese:

Es gibt vier mögliche Ergebnisse für unseren Test.

In diesem Beispiel ist der Fehler vom Typ II weniger schädlich.

Wir kaufen nicht.

Wir kaufen.

Schokolade Limitm m

Schokolade Limitm m

Schokolade Limitm m Schokolade Limitm m


‐ Fehler – ‐ Fehler

Fehler erster Art oder -Fehler: Eine richtige Nullhypothese wird zu Gunsten der Alternativhypothese abgelehnt.

Fehler zweiter Art oder -Fehler: Eine richtige Alternativhypothese wird zu Gunsten der Nullhypothese abgelehnt.

Irrtumswahrscheinlichkeit: Auftreten für die Wahrscheinlichkeit eines -Fehlers.

Es gibt immer die Wahrscheinlichkeit, dass eine Stichprobe zu einem Wert führt, der größer ist als der Grenzwert zk.

Siehe quantitatives Beispiel mit den Schokoladentafeln aus dem Automaten.


Gewicht der Schokoladentafeln

93g bei einem 5gxx Diskussion mit einer 5% Irrtumswahrscheinlichkeit.

Bei einer Normalverteilung liegen 5% der Ergebnisse oberhalb von 1,645 s.

zk = 101,2 g

Diskussion mit einer 10% Irrtumswahrscheinlichkeit.

Oberhalb von 1,282 s liegen 10% der Ergebnisse.

zk = 99,4 g

Suche des Grenzwertes zk

101,2g sind größer als mein Limit von 100,0g.

Daraus folgt, die Nullhypothese muss verworfen werden.

Daraus folgt, die Nullhypothese ist gültig.

Testen von Hypothesen


Gewicht der Schokoladentafeln

93g bei einem 5gxx

Bei einer Normalverteilung liegt der Grenzwert von 100,0g etwa 1,40 oberhalb

vom Stichprobenmittelwert von 93,0g.

Der Grenzwert unserer Nullhypothese zk = 100,0 g

Oberhalb von 1,40 liegen 8,08% aller Ereignisse. Wenn wir H0

* annehmen, haben wir eine Irrtumswahrscheinlichkeit von 8,08 %.

Dies alles gilt nur, wenn die Stichprobe mehr als 30 Messungen enthält !

Berechnung der Irrtumswahrscheinlichkeit


TeststärkeDie Teststärke gibt an, mit welcher Wahrscheinlichkeit ein Signifikanztest zu Gunsten

einer richtigen Alternativhypothese H1* entscheidet.

Die Teststärke hat den Wert (1-).

Die Teststärke (1-) wird größer:

• mit wachsender Differenz zwischen Teilpopulationen

• mit kleiner werdender Merkmalsstreuung

• mit größer werdendem Stichprobenumfang

• (mit größer werdendem Signifikanzniveau wenn nicht festgelegt ist)

0 1


Wie kann ich überprüfen,welche Verteilung meinen Daten

zu Grunde liegt?

Chi-Quadrat-Test


Es gibt verschiedene Arten von Signifikanztests

Neben Signifikanztests, die sich mit dem Mittelwert beschäftigen,

gibt es auch Testverfahren für Verteilungen.

Bei Verteilungen hat man in der Regel die Beantwortung der Frage, ob eine gemessene Verteilung

Gauß- oder Poisson-verteilt ist oder nicht ?

Chi-Quadrat-Test

Der Chi-Quadrat (2) Test stellt eine solche Gruppe von Hypothesentests dar. Damit können überprüft werden:

Sind vorliegende Daten auf eine bestimmte Art verteilt?Sind verschiedene Merkmale voneinander unabhängig?

Folgen verschiedene Stichproben der selben Verteilung?


n

k k

kk

TTE

1

22

Die Ek und Tk sind Häufigkeiten und nicht Wahrscheinlichkeiten

Nehmen wir zufällige Schwankungen in den experimentellen Verteilungen an, so erhalten wir für 2 wieder eine Verteilung:

2exp

12

2

1 21

22

2

2

!

f

Es wird die Wahrscheinlichkeit berechnet mit der 2 Werte auftreten

Chi-Quadrat-Test


Chi-Quadrat-Test

Der Begriff der Freiheitsgrade

im allgemeinen ist die Anzahl der Freiheitsgrade in einer statistischen Rechnung definiert als

die Anzahl der beobachteten Klassen n minus der Anzahl der aus den Daten berechneten und/oder in der Rechnung verwendeten Parameter c.

Die Anzahl der Freiheitsgrade ist: = n - c,

wobei c die Anzahl der Parameter ist, die aus den Daten berechnet werden

mussten um die erwarteten Anzahlen Tk zu berechnen.


Chi-Quadrat-Test

0,00

0,05

0,10

0,15

0,20

0,25

0 5 10 15 20Chi-quadrat

f(Chi

-qua

drat

)

2exp

12

2

1 21

22

2

2

!

f

0,00

0,05

0,10

0,15


f(Chi

-qua

drat

)

0,00

0,05

0,10

0 10 20 30 40 50 60Chi-quadrat

f(Chi

-qua

drat

)

0,00

0,05

0 20 40 60 80 100 120Chi-quadrat

f(Chi

-qua

drat

)

= 5

= 20

= 10

= 50


Chi-Quadrat-Test

0,00

0,05

0,10

0,15

0,20

0,25


f(Chi

-qua

drat

)

Wie groß ist die Wahrscheinlichkeit 2 – Werte zu finden, die größer sind als ein bestimmter Wert?


Chi-Quadrat-TestSicherheitsschwellen:


Chi-Quadrat-TestSicherheitsschwellen: Konkretes Beispiel

Auf einer vierspurigen Autobahn werden die Fahrzeuge pro Spur gezählt:Bevorzugen die Fahrer eine Fahrbahn ?

Insgesamt 1000 Fahrzeuge

Annahme: Die Fahrer bevorzugen keine Fahrbahn, das heißt pk = 1/4 ; somit ist Tk =250 für alle k

Spur 1 2 3 4

Fahrzeuge 294 276 238 192

2 2 2 22 294 250 276 250 238 250 192 250

24,48250 250 250 250


Chi-Quadrat-Test

Sobald N festliegt, können wir die Gleichung N =

als Zwangsbedingung auffassen. k

k

nT

1

Wir haben freie Wahl für die Häufigkeiten T1,... Tn-1.

Die letzte Zahl Tn ist jedoch nicht mehr frei wählbar.

Sie muss so gewählt werden, dass die Summe der Ti die Anzahl N ergibt.

Wir werden sehen, dass die Zahl der Zwangsbedingungen größer als eins werden kann (Gaußverteilung etc.).

Sicherheitsschwellen: Konkretes Beispiel

Wie viele Freiheitsgrade?


Chi-Quadrat-Test

0,00

0,05

0,10

0,15

0,20

0,25


f(Chi

-qua

drat

)

Beispiel Autobahn:

Vier Fahrspuren: = 3

2 = 24,48

Fazit:

So große Abweichungen kommen in weniger als 0,1%

der Fälle vor.

Sicherheitsschwellen: Konkretes Beispiel


Chi-Quadrat-Test

Wir würfeln 240 Mal mit einem Würfel A

Augenzahl 1 2 3 4 5 6

Häufigkeit 35 42 49 37 45 32

2 = 5.20

Wir würfeln 360 Mal mit einem Würfel B

Augenzahl 1 2 3 4 5 6

Häufigkeit 50 66 80 50 53 60

2 = 12.15

Hypothese: Würfel B ist gezinkt!

Testen der Hypothese mit einer Irrtumswahrscheinlichkeit von 5%, 1% und 0.1%

Weiteres Beispiel: Bedeutung der Sicherheitsschwellen

Rechteckverteilungen (Gleichverteilungen) kommen beim Würfeln vor,

hier ist die Wahrscheinlichkeit für das Würfeln einer Zahl pk=1/6


Chi-Quadrat-TestWeiteres Beispiel: Bedeutung der Sicherheitsschwellen

0,00

0,05

0,10

0,15

0,20

0,25

0 5 10Chi-quadra

f(Chi

-qua

drat

)

= 5

Beispiel Würfel A:

Sechs Seiten: = 5

2 = 5,20

Fazit:

So große Abweichungen kommen in fast 40% der Fälle

vor.


Chi-Quadrat-TestWeiteres Beispiel: Bedeutung der Sicherheitsschwellen

0,00

0,05

0,10

0,15

0,20

0,25

0 5 10 15Chi-quadrat

f(Chi

-qua

drat

)

= 5

Beispiel Würfel gezinkt (?):

Sechs Seiten: = 5

2 = 12,15

Fazit:

So große Abweichungen kommen in weniger als 5% der

Fälle vor.


Chi-Quadrat-Test

Würfel B 2 = 12.15Würfel 2 = 5.20

Würfel A Würfel B

Irrtums-wahrscheinlichkeit Schwellwert Hypothese Hypothese

5 % 11.07 Verwerfen Bestätigt

1% 15.09 Verwerfen Verwerfen

0.1% 20.52 Verwerfen Verwerfen

Hypothese: Meine Kumpels sind Ganoven !

Wenn dem so ist, dann erhalte ich bei der Messung einen Wert, der größer ist als der Schwellwert



Chi-Quadrat-Test

Sicherheitsschwelle Schwellwert

Beispiel 2 Freiheits‐grad

P = 90 % P = 1% P = 0.1% P(2 )

Autobahn 24.48 3 0.58 11.34 16.27 < 0.1%

Würfel 5.20 5 1.61 15.09 20.52 0.391

0,00

0,05

0,10

0,15

0,20

0,25

0 2 4 6 8 10Chi-quadrat

f(Chi

-qua

drat

) Autobahn =3


0,00

0,05

0,10

0,15

0,20

0,25


f(Chi

-qua

drat

) = 5


Chi-Quadrat-TestBerechnen von Zwischenwerten der Wahrscheinlichkeit

Um aus der Tabelle Zwischenwerte für P zu errechnen, interpoliert man logarithmisch

Beispiel Würfel: 2 EX = 5,20

2 P1 = 5,13 2 P2 = 6,062 EX = 5,20


Chi-Quadrat-Test

Berechnen von Zwischenwerten der Wahrscheinlichkeit

Um aus der Tabelle Zwischenwerte für P zu errechnen, interpoliert man logarithmisch

21

22

21

2

12

1

lnlnlnln

PPPP

P1 P P2

2 2 2

5,13 5,20 6,06

0,400 0,300

2 21 2 1

12 22 1

ln lnln ln

5,20 5,13 1,20397 0,916290,91629

6,06 5,130,93971

P PP P

0,391


Chi-Quadrat-Test: Allgemeines VorgehenAlle Fahrbahnen werden gleichmäßig benutzt1. ) Aufstellen einer Hypothese

2.) Festlegen einer Irrtumswahrscheinlichkeit 5 %

3.) Bestimmung der Schwellwertes (Tabelle) 2 SW = 7.81

4.) Vergleich des Schwellwertes mit dem experimentellen Wert 2 EX = 24.48

Die Hypothese muss verworfen werden.

Das heißt, in 5% aller Fälle gibt es Werte, die größer sind als 7.81.Der experimentelle Wert ist deutlich größer als die Schwelle,

solche Werte sind also extrem selten

Das 2 des Schwellwertes ist kleiner als der experimentelle Wert


Chi-Quadrat-Test: Test auf Poisson VerteilungSind vorliegende Daten auf eine bestimmte Art verteilt?

k Ek

0 54

1 97

2 903 554 175 196 37 1

8 .... 0

Insgesamt N = 336 Messungen

Mittelwert = 1.875

Beide Daten werden benötigt, um die theoretische Häufigkeit zu berechnen.

Festlegen der Irrtumswahrscheinlichkeit: Testen auf 5 %


k Ek Tk

0 54 51.53

1 97 96.61

2 90 90.583 55 56.614 17 26.545 19 9.956 3 3.117 1 0.83

8 .... 0 0.24


Mittelwert = 1.875



9 Klassen – 2 Zwangsbedingungen

22

1 1

n nk k

kk kk

E TQ

T



k Ek Tk Qk

0 54 51.53 0.12

1 97 96.61 0.00

2 90 90.58 0.003 55 56.61 0.054 17 26.54 3.435 19 9.95 8.236 3 3.11 0.007 1 0.83 0.03

8 .... 0 0.24 0.24

Chi-Quadrat 12.10

Freiheitsgrade 7


Mittelwert = 1.875




Chi-Quadrat-TestSicherheitsschwellen:



k Ek Tk Qk

0 54 51.53 0.12

1 97 96.61 0.00

2 90 90.58 0.003 55 56.61 0.054 17 26.54 3.435 19 9.95 8.236 3 3.11 0.007 1 0.83 0.03

8 .... 0 0.24 0.24

Chi-Quadrat 12.10

Freiheitsgrade 7Sicherheitsschwelle 0.097


Mittelwert = 1.875



Bei Annahme einer

Irrtumswahrscheinlichkeit von 5 %

entsprechen die Daten einer Poisson-

Verteilung


Poisson-VerteilungVergleich zweier fast identischer Messungen (Mittelwert ist identisch)

k Ek Tk Qk k Ek Tk Qk Qk0 54 51.53 0.12 0 55 51.53 0.23 -0.11

1 97 96.61 0.00 1 96 96.61 0.00 -0.00

2 90 90.58 0.00 2 90 90.58 0.003 55 56.61 0.05 3 55 56.61 0.054 17 26.54 3.43 4 17 26.54 3.435 19 9.95 8.23 5 19 9.95 8.236 3 3.11 0.00 6 3 3.11 0.007 1 0.83 0.03 7 0 0.83 0.83 -0.80

8 .... 0 0.24 0.24 8 .... 1 0.24 2.41 -2.17

Chi-Quadrat 15.18

Freiheitsgrade 7Sicherheitsschwelle 0.034

Bei Annahme einer Irrtumswahrscheinlichkeit von 5 %

entsprechen die rechten Daten keinerPoisson-Verteilung

????????

Chi-Quadrat-Test: Test auf Poisson Verteilung


Der 2 Test darf nur angewandt werden, wenn die theoretische Häufigkeit einer Klasse 5 ist

Zusammenfassung von Klassen, so lange bis die Bedingung erfüllt ist

k Ek Tk Qk0 54 51.53 0.121 97 96.61 0.002 90 90.58 0.003 55 56.61 0.054 17 26.54 3.435 19 9.95 8.236 3 3.11 0.007 1 0.83 0.03

8 .... 0 0.24 0.24

3.11 + 0.83 + 0.24 = 4.18 < 5



Der 2 Test darf nur angewandt werden, wenn die theoretische Häufigkeit einer Klasse 5 ist

Zusammenfassung von Klassen, so lange bis die Bedingung erfüllt ist

k Ek Tk Qk0 54 51.53 0.121 97 96.61 0.002 90 90.58 0.003 55 56.61 0.054 17 26.54 3.435 19 9.95 8.236 3 3.11 0.007 1 0.83 0.03

8 .... 0 0.24 0.24

9.95 + 3.11 + 0.83 + 0.24 = 14.13 > 5

Dies führt zu einer neuen Tabelle



Poisson-VerteilungVergleich zweier fast identischer Messungen

k Ek Tk Qk k Ek Tk Qk Qk

0 54 51.53 0.12 0 55 51.53 0.23 -0.11

1 97 96.61 0.00 1 96 96.61 0.00 -0.00

2 90 90.58 0.00 2 90 90.58 0.003 55 56.61 0.05 3 55 56.61 0.054 17 26.54 3.43 4 17 26.54 3.43

5.... 23 14.13 5.57 5... 23 14.13 5.57

Chi-Quadrat 9.17 Chi-Quadrat 9.28Freiheitsgrade 4 Freiheitsgrade 4

Sicherheitsschwelle >0.05 Sicherheitsschwelle > 0.05

Beide Verteilungen sind mit einer Irrtumswahrscheinlichkeit von 5% Poisson-verteilt


Signifikanztests - Startseite - Physik und Astronomie€¦ · Nullhypothese - Alternativhypothese H...

Documents

Transcript of Signifikanztests - Startseite - Physik und Astronomie€¦ · Nullhypothese - Alternativhypothese H...