Experiment vs. Beobachtungsstudie

Randomisiertes, kontrolliertes Experiment

Ursache und Wirkung

2Markus Kalisch, ETH Zurich

Opfer durch Ertrinken

Ursache und Wirkung

3Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Ursache und Wirkung

4Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Ursache und Wirkung

5Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Ursache und Wirkung

6Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

?

Ursache und Wirkung

7Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Ursache und Wirkung

8Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Ursache und Wirkung

9Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

10Markus Kalisch, ETH Zurich

Kausaler Zusammenhang≠

Assoziation

Wie findet man Kausalzusammenhaenge?

11Markus Kalisch, ETH Zurich

Wie findet man Kausalzusammenhaenge?

12Markus Kalisch, ETH Zurich

Randomisiertes, kontrolliertes Experiment

Kausaleffekt finden

13Markus Kalisch, ETH Zurich

Experiment

?

Kausaleffekt finden

14Markus Kalisch, ETH Zurich

Experiment

Kausaleffekt finden

15Markus Kalisch, ETH Zurich

Experiment

Kausaleffekt finden

16Markus Kalisch, ETH Zurich

Experiment

Kausaleffekt finden

17Markus Kalisch, ETH Zurich

Duenger besser als kein Duenger?

Keine Ahnung!

Wie viele rote Blumen haette es ohne Duenger gegeben?

Brauchen eine Kontrollgruppe

Experiment

Kausaleffekt finden

18Markus Kalisch, ETH Zurich

Experiment

Behandlungsgruppe Kontrollgruppe

Kausaleffekt finden

19Markus Kalisch, ETH Zurich

Zwei Gruppen von Feldern in allem gleich(Bodenqualitaet, Wasser, Sonnenlicht, …)

Experiment

Kausaleffekt finden

20Markus Kalisch, ETH Zurich

Experiment

Zwei Gruppen von Feldern in allem gleich: (Bodenqualitaet, Wasser, Sonnenlicht, …)Praxis: Zufaellige Zuordnung der Felder

Kausaleffekt finden

21Markus Kalisch, ETH Zurich

Experiment

Kausaleffekt finden

22Markus Kalisch, ETH Zurich

Ergebnis ist wegen Duenger,weil alles andere gleich war

Experiment

Manchmal sind randomisierte, kontrollierteExperimente nicht machbar zu teuer, zu zeitaufwaendig (Genexpressionsdaten) unethisch, nicht machbar (HIV Behandlung, Rauchen)

23Markus Kalisch, ETH Zurich

Falls Experiment nicht machbar…

24Markus Kalisch, ETH Zurich

Beobachtungsstudie

… mache Beobachtungen.

25Markus Kalisch, ETH Zurich

Beobachtungsstudie

… mache Beobachtungen.

26Markus Kalisch, ETH Zurich

Es ist nicht garantiert, dass beide Gruppenin allen Aspekten gleich sind

Beobachtungsstudie

… mache Beobachtungen.

27Markus Kalisch, ETH Zurich

Beobachtungsstudie

… mache Beobachtungen.

28Markus Kalisch, ETH Zurich

Ist das Ergebnis wegen Duenger?Keine Ahnung!

Beobachtungsstudie

… mache Beobachtungen.

29Markus Kalisch, ETH Zurich

Beobachtungsstudie

… mache Beobachtungen.

30Markus Kalisch, ETH Zurich

Beobachtungsstudie

Besser: Vergleiche Bauern, die in moeglichst vielenPunkten uebereinstimmen.

31Markus Kalisch, ETH Zurich

Beobachtungsstudie

Aber: Wir koennen nie sicher sein, dass es nicht dochnoch irgendwelche relevanten Unterschiede zwischenden Gruppen gibt.

32Markus Kalisch, ETH Zurich

Beobachtungsstudie

Zusammenfassung

Randomisierte, kontrollierte Experiment: BesteMoeglichkeit, Daten zu sammeln (“Goldstandard”)

Beobachtungsstudie: Man muss skeptisch sein – kamder Effekt (viele schoene Blumen) durch die Behandlung(Duenger), oder durch einen Umstand, der in beidenGruppen unterschiedlich war (Luftqualitaet)?

33Markus Kalisch, ETH Zurich

1954: Potenzieller Impfstoff gegen Polio Randomisiertes, kontrolliertes Experiment bei Kindern in 1.

bis 3. Schulklasse[http://www.stat.luc.edu/StatisticsfortheSciences/MeierPolio.htm]

Beispiel: Das groesste medizinische Experiment aller Zeiten

34Markus Kalisch, ETH Zurich

Anzahl Kinder Polio bekommenBehandlung 200.000 56Kontrolle 200.000 142Verweigert 350.000 92

Beispiel: Polio Impfstoff

1954: Potenzieller Impfstoff gegen Polio Randomisiertes, kontrolliertes Experiment bei Kindern in 1.

bis 3. Schulklasse

35Markus Kalisch, ETH Zurich

Anzahl Kinder Polio bekommenBehandlung 200.000 56Kontrolle 200.000 142Verweigert 350.000 92

Kontrollgruppe hatte mehr Polio-Faelle: Koennte das Zufall sein?

Beispiel: Polio Impfstoff

1954: Potenzieller Impfstoff gegen Polio Randomisiertes, kontrolliertes Experiment bei Kindern in 1.

bis 3. Schulklasse

36Markus Kalisch, ETH Zurich

Anzahl Kinder Polio bekommenBehandlung 200.000 56Kontrolle 200.000 142Verweigert 350.000 92

Kontrollgruppe hatte mehr Polio-Faelle: Koennte das Zufall sein?

KAUM: p-Wert = 0.000000001 (diesen Test haben wir nicht besprochen)

Beispiel: Leberzirrhose – Shunt (Blutumleitung)

Bringt die riskante Operation einen Vorteil? 51 klinische Studien untersucht: “Bringt die Operation

einen Vorteil?”

37Markus Kalisch, ETH Zurich

Ja, sehr Etwas NeinKeine Kontrollgruppe 24 7 1Kontrollgruppe, nicht randomisiert

10 3 3

Kontrollgruppe,randomisiert

0 1 3

Problem: Gesuendere Patienten werden eher operiert

38Markus Kalisch, ETH Zurich

Problem: Gesuendere Patienten werden eher operiert

39Markus Kalisch, ETH Zurich

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Problem: Gesuendere Patienten werden eher operiert

40Markus Kalisch, ETH Zurich

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Alle Patienten

Geeignet Ungeeignet

OP-Gruppe Kontroll-Gruppe

Problem: Gesuendere Patienten werden eher operiert

41Markus Kalisch, ETH Zurich

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Alle Patienten Alle Patienten

Geeignet UngeeignetGesuender Kraenker

OP-Gruppe Kontroll-Gruppe OP-Gruppe Kontroll-Gruppe

Problem: Gesuendere Patienten werden eher operiert

42Markus Kalisch, ETH Zurich

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Alle Patienten Alle Patienten

Geeignet UngeeignetGesuender Kraenker

OP-Gruppe Kontroll-Gruppe OP-Gruppe Kontroll-Gruppe

Gesuendere Patienten in der OP-Gruppe !

Goldstandard in der Medizin:

Randomisiertes, kontrolliertes, doppelblindes Experiment mitPlacebo

43Markus Kalisch, ETH Zurich

• Placebo: Medikamentenattrappe ohne WirkstoffPlacebo hat einen starken Effekt!

(J.A. Turner et.al., “The importance of placebo effects in pain treatment and research”,Journal of the American Medical Association, Vol. 271 (1994), pp. 1609 – 14)

• Doppelblind: Weder Patient noch Arzt weiss, ob er das Placebo oder das

wirkliche Medikament erhaelt / verabreicht.(Nur Leiter der Studie weiss das.)