Usability vs. User Experience vs. CRO - warum eigentlich nicht miteinander?
Dipl.-Psych. Christiane Fiege (christiane.fi[email protected] ... · Quasi-Experimente vs....
Transcript of Dipl.-Psych. Christiane Fiege (christiane.fi[email protected] ... · Quasi-Experimente vs....
”Does design trump analysis?“Forschungsdesigns und Versuchsplane
Dipl.-Psych. Christiane Fiege([email protected])
07.02.2008
Forschungsdesigns & Versuchsplane (Christiane Fiege) 1
Agenda1 Motivation: Warum dieses Thema?
Die wissenschaftliche Methode (Forschungsprozess)Bewertungskriterien fur Designs: Validitatsarten
2 Beispiel: Evaluation in der Bildungsforschung
3 ForschungsdesignsUbersichtVerschiedene ForschungsdesginsKontrolltechniken (allgemeine Prinzipien)
4 Zusammenfassung
5 Literatur
Forschungsdesigns & Versuchsplane (Christiane Fiege) 2
MotivationDie wichtigste Aufgabe der Wissenschaft ist es...
originelle und fruchtbare Gedanken zu entwerfen und Theorien zuentwickeln, die sich nachzuprufen lohnen.
Versuchsplanung ist das Zweitwichtigste in einer empirischenWissenschaft!
Versuchsplanung befaßt sich im Wesentlichen mit der Frage:Wie mussen Versuche geplant sein, damit das Ergebnis desVersuchs aussagekraftig und interpretierbar ist?
Forschungsdesigns & Versuchsplane (Christiane Fiege) 3
MotivationKausale Analysen sind ...
... besonders wichtig
... besonders schwierig
Kausale Aussagen durfen nur gemacht werden, wennAlternativerklarungen ausgeschlossen werden konnen!
á Kontrolle von Storvariablen im Rahmenvon Untersuchungsplanung
Forschungsdesigns & Versuchsplane (Christiane Fiege) 4
Der ForschungsprozessVersuchsplanung ist Teil des empirischen Forschungsprozesses ...
1 Theorie
2 Forschungshypothese
3 Prazisierung der Hypothese
4 Design der Studie
5 Datenanalyse
6 Interpretation der Daten
7 Implikationen fur die Theorie
Forschungsdesigns & Versuchsplane (Christiane Fiege) 5
MotivationVersuchsplanung als Bindeglied zw. Theorie und statistischerAuswertung.
Liegt dem Forschungsvorgehen keine vernunftige Idee zugrunde,dann kann der beste Versuch nichts bewirken.
Forschungsdesigns & Versuchsplane (Christiane Fiege) 6
Beispiel: Der Barfußphilosoph
Symmer (1758) nach Schneider:
”Ich hatte wahrend einiger Zeit beobachtet, dass meine Strumpfe beimAusziehen am Abend haufig ein knisterndes Gerausch von sich gaben.[...] Durch die Einfachheit des Untersuchungsgegenstandes und die großeLeichtigkeit Experimente zu machen stand es in meiner Macht, meineUntersuchung zu jeder beliebigen Zeit zu machen. [...] Nachdem ich es alsunangenehm empfunden hatte, die Strumpfe zu elektrisieren, indem ichsie so oft an- und auszog, wie es fur die Experimente erforderlich war,habe ich diese Methode vollig aufgegeben; ich gebe mich jetzt zufriedenmit der Elektrizitat, die entsteht, wenn ich die Strumpfe uber die Handziehe [...] denn wie jeder andere elektrische Apparat mussen auch siesauber gehalten werden.“
Forschungsdesigns & Versuchsplane (Christiane Fiege) 7
Beispiel: Der BarfußphilosophErgebnisse ,
1 Der Effekt (die Socken blahen sich auf, ziehen sich gegenseitig an)und seine Starke sind unabhangig von der Tageszeit desSockenausziehens.
2 Woll- und Seidensocken bringen die besten Effekte, Baumwolle gehtnicht so gut.
3 Der Effekt ist von der Sockenfarbe unabhangig.4 Der Effekt ist unabhangig davon, welcher Socken außen ist.
Forschungsdesigns & Versuchsplane (Christiane Fiege) 8
MotivationVersuchsplanung als Bindeglied zw. Theorie und statistischerAuswertung.
Liegt dem Forschungsvorgehen keine vernunftige Idee zugrunde,dann kann der beste Versuch nichts bewirken.
Ist ein Versuch schlecht geplant worden, dann hilft die beste Statistiknichts mehr.
Forschungsdesigns & Versuchsplane (Christiane Fiege) 9
Motivation
You can’t fix by analysiswhat you bungled by design.— Light, Singer and Willett (1990)
Forschungsdesigns & Versuchsplane (Christiane Fiege) 10
Validitatsarten in der VersuchsplanungCampbell & Stanley (1963); Cook & Campbell (1979); Shadish, Cook & Campbell (2002)
Interne Validitat
Statistische Validitat (Conclusion Validity)
Externe Validitat (Generalisierbarkeit)
Konstruktvaliditat
Forschungsdesigns & Versuchsplane (Christiane Fiege) 11
Validitatsarten in der VersuchsplanungCampbell & Stanley (1963); Cook & Campbell (1979); Shadish, Cook & Campbell (2002)
Interne Validitat:Laßt sich in der vorliegenden Studie die Variation in der AV auf die Variation der UVzuruckfuhren? Ist nur die UV und nicht sonstige Storfaktoren fur die Variation der AVverantwortlich?
Statistische Validitat (Conclusion Validity):Ist die Untersuchung so aufgebaut, dass in der vorliegenden Studie entsprechendder Hypothese ein statistisch nachweisbarer Zusammenhang zwischen UV & AVermittelt werden kann? (z.B.: Besteht eine relativ gute Chance, einen tatsachlichenUnterschied als sign. Unterschied zwischen EG & KG nachweisen zu konnen?)
Externe Validitat (Generalisierbarkeit):Wie weit laßt sich das Ergebnis der durchgefuhrten Studie generalisieren aufPersonen, Situationen & Zeiten?
Konstruktvaliditat:Reprasentieren die konkreten Realisationen von UV & AV tatsachlich die theoretischzugrundeliegenden Variablen? Sind UV & AV in der Untersuchung zuverlassig &valide operationalisiert worden?
Forschungsdesigns & Versuchsplane (Christiane Fiege) 12
Validitatsarten in der VersuchsplanungWas stort die interne Validitat?
externe zeitliche Einflusse (history)
Reifungsprozesse (maturation)
Testubung (testing)
mangelnde instrumentelle Reliabilitat (instrumentation)
statistische Regressionseffekte (statistical regression)
Selektionseffekte (selection)
experimentelle Mortalitat (experimental mortality)
Interaktionen zw. diesen Faktoren (bspw. Selektion & Reifung etc.)
weitere Faktoren im Between-Group-Design (nach Cook & Campbell,1979): emporte Demoralisierung, kompensatorischer Wettstreit,kompensatorischer Ausgleich
Forschungsdesigns & Versuchsplane (Christiane Fiege) 13
Validitatsarten in der VersuchsplanungWas stort die statistische Validitat?
Statistische Validitat als spezieller Aspekt der internen Validitat.
zu kleine Stichproben
unreliable Messinstrumente
Fehler bei der Anwendung statistischer Verfahren
Die statistische Validitat gehort zur Inferenzstatistik!
Forschungsdesigns & Versuchsplane (Christiane Fiege) 14
Validitatsarten in der VersuchsplanungWas stort die externe Validitat?
mangelnde instrumentelle Validitat
Stichprobenfehler
experimentelle Reaktivitat
Pretest-Effekte
Hawthorne-Effekt
Die externe Validitat beinhaltet neben Stichprobentheorie auch vieletheoretische Bezuge.
Forschungsdesigns & Versuchsplane (Christiane Fiege) 15
Externe ValiditatBeispiel: Der Barfußphilosoph
Forschungsdesigns & Versuchsplane (Christiane Fiege) 16
Validitatsarten in der VersuchsplanungWas stort die Konstruktvaliditat?
Konstruktvaliditat als spezieller Aspekt der externen Validitat.
unzureichende Explikation der verwendeten Konstrukte
ungenaue Operationalisierung der aus den Konstrukten abgeleitetenVariablen
Die Konstruktvaliditat ist ohne inhaltliche Theorie nicht umzusetzen!
Forschungsdesigns & Versuchsplane (Christiane Fiege) 17
VersuchsplanformalisierungDie wichtigsten Bestandteile der Versuchsplanformalisierung sind:
die am Versuch beteiligten Gruppen
die Art der Zuordnung der Versuchspersonen zu den Gruppen
die experimentellen Bedingungen (die Stufen der UV) sowie dieMessung der AV
der Untersuchungsabfolge: die Realisierungszeitpunkte der UV sowiedie Erhebungszeitpunkte der abhangigen Variablen
Versuchsplanformalisierung
O = Messung der AVX = Treatment (nichts ist Kontrollgruppe)R = randomisierte Zuweisung der Vpn zu den Gruppen
Forschungsdesigns & Versuchsplane (Christiane Fiege) 18
Ein Beispiel im Kontext der BildungsforschungDie Lehrer in Thuringen sind frustriert: Uberall zeigt sich das gleiche Bild vonunmotivierten, lethargischen Schulern!
Ein neues Programm zur Motivationsforderung von Schulern der 5. Klasse sollthuringenweit in den Schulen implementiert werden. Da dieses jedoch recht zeit-und kostenintensiv ist, bittet uns das TKM zuvor um eine Evaluation, um weitereMotivationsverluste seitens Lehrer- & Schulerschaft zu verhindern. Insgesamt 10Schulen stehen fur die Pilotierung zur Verfugung...á Mogliche Versuchsplane ???
Forschungsdesigns & Versuchsplane (Christiane Fiege) 19
Versuchsplanung: UbersichtForschungsdesign = Konkrete Gestaltung der Datenerhebungentsprechend den Anforderungen der zu prufenden Hypothesen
Festzulegen sind hierbei:
Ebene der Untersuchung: Individual-/Aggregatebene
Zeitdimension der Untersuchung: Querschnitts- vs.Langsschnittdesign
Strukturierung der Untersuchung: Experimente vs.Quasi-Experimente vs. Beobachtungsstudie
Ort der Untersuchung: Feld- vs. Laboruntersuchung
Methode der Datenerhebung: Ein-/Mehrmethodendesign
Anzahl der betrachteten Faktoren bzw. Faktorstufen und derenKombination
Forschungsdesigns & Versuchsplane (Christiane Fiege) 20
Versuchsplanung: Ubersicht
Forschungsdesigns & Versuchsplane (Christiane Fiege) 21
Verschiedene ForschungsdesignsKategorisierung
1 Vorexperimentelle Versuchsplane
2 Quasi-experimentelle Versuchsplane
3 Experimentelle Versuchplane
Forschungsdesigns & Versuchsplane (Christiane Fiege) 22
Verschiedene ForschungsdesignsVorexperimentelle Versuchsplane
1) Ein-Gruppen-Plan (One-Shot Case Study)
X O
Vorteil: einfache Durchfuhrbarkeit
Nachteil: fehlende Vergleichswerte;geringe interne Validitat (Alternativerklarungen)
Forschungsdesigns & Versuchsplane (Christiane Fiege) 23
Verschiedene ForschungsdesignsVorexperimentelle Versuchsplane
2) Ein-Gruppen Vortest-Nachtest Design
O X O
Nachteil: geringe interne Validitat (Alternativerklarungen);mogliche Effekte des Vortests (instrumentelle Reaktivitat bzw.Testubung)
Forschungsdesigns & Versuchsplane (Christiane Fiege) 24
Verschiedene ForschungsdesignsQuasi-experimentelle Versuchsplane
3) Vortest-Nachtest Design mit nicht-aquivalenter KG
O X O---------------O O
Nachteil: mangelnde Vergleichbarkeit der Gruppen bspw. durchSelektionseffekte (zusatzliche Kontrolltechniken notig, sonst geringeinterne Validitat);mogliche Effekte des Vortests
Forschungsdesigns & Versuchsplane (Christiane Fiege) 25
Verschiedene ForschungsdesignsQuasi-experimentelle Versuchsplane
4) Regression-Discontinuity Design
OA C X O2
OA C O2
Beispiele:
Evaluation spezieller Forderprogramme an Schulen (Mathematik,Lesen, Motivation etc.) [Trochim (1984), Lesik (2006)]
Evaluation von Veranderungen eines Bildungssystems (bspw.Verkurzung der Schulpflicht) [Oreopoulos (2006)]
Forschungsdesigns & Versuchsplane (Christiane Fiege) 26
Verschiedene ForschungsdesignsQuasi-experimentelle Versuchsplane
4) Regression-Discontinuity Design
OA C X O2
OA C O2
Vorteil: einfache Durchfuhrbarkeit; Forschungsethik berucksichtigt;
Nachteil: mogliche Effekte des Vortests
Forschungsdesigns & Versuchsplane (Christiane Fiege) 27
Verschiedene ForschungsdesignsExperimentelle Versuchsplane
5) Vortest-Nachtest Kontrollengruppen-Design
R O X OR O O
Vorteil: hohe interne Validitat
Nachteil: nicht immer realisierbar (Forschungsethik);mogliche Effekte des Vortests
Forschungsdesigns & Versuchsplane (Christiane Fiege) 28
Verschiedene ForschungsdesignsExperimentelle Versuchsplane
6) Solomon-Vier-Gruppen-Plan
R O1 X O2
R O3 O4
R X O5
R O6
Frage: Welche Storvariablen konnenauf welche Weise kontrolliert werden?
Forschungsdesigns & Versuchsplane (Christiane Fiege) 29
Verschiedene ForschungsdesignsExperimentelle Versuchsplane
6) Solomon-Vier-Gruppen-Plan
R O1 X O2
R O3 O4
R X O5
R O6
Bsp.: Evaluation einer Software zum Lernen von Grammatikregeln einer Fremdsprache
Treatment-Effekte: (O2 − O1) = (O4 − O3) = (O5 − O6)
Vortest-Effekte: O4 = O6/ O3 = O4/ O1 = O3/ O1 = O4
Effekte der Zeit: O3 = O6 / O1 = O6
Forschungsdesigns & Versuchsplane (Christiane Fiege) 30
Verschiedene ForschungsdesignsExperimentelle Versuchsplane
6) Solomon-Vier-Gruppen-Plan
R O1 X O2
R O3 O4
R X O5
R O6
Vorteil: hohe interne Validitat;Prufung von Vortest-Effekten, Zeit-Effekten (Reifung etc.) moglich
Nachteil: nicht immer realisierbar (Forschungsethik, Okonomie);α-Fehler
Forschungsdesigns & Versuchsplane (Christiane Fiege) 31
KontrolltechnikenAllgemeine Prinzipien zur Kontrolle von Storvariablen sind ...
Randomisierung , und bedingte Randomisierung
Konstanthalten (standardisierte Untersuchungsbedingungen)
Parallelisieren (Matching)
Ausbalancieren
Registrieren & anschließend berucksichtigen (mehrfaktorielle Planeoder kovarianzanalytische Kontrolle von Storvariablen (bspw.ANCOVA, EffectLite))
Forschungsdesigns & Versuchsplane (Christiane Fiege) 32
Conclusio
Design trumps analysis!
Versuchsplanung bzw. Design als zentraler Aspekt des empirischenForschungsprozesses ...
ist immer abhangig von der konkreten Fragestellung (inhaltlicheTheorie)
und naturlich von der Durchfuhrbarkeit (bspw. Okonomie,Forschungsethik)
legt fest, welche statistische Analysen moglich sind
Forschungsdesigns & Versuchsplane (Christiane Fiege) 33
Design-Empfehlungen fur die BildungsforschungForschungsdesigns, die hinreichend Informationen bereitstellen, umkausale Zusammenhange abzubilden (Crowley & Hauser, 2007):
(Randomisierte) Experimente
Quasi-experimentelle Vortest-Nachtest Design mit nicht-aquivalenterKG
Quasi-experimentelle Regression-Discontinuity Designs
Quasi-experimentelle Kohorten-Designs
Quasi-experimentelle Ein-Gruppen-Messwiederholungs-Designs(Time-Series Designs)
Forschungsdesigns & Versuchsplane (Christiane Fiege) 34
LiteraturCampbell, D.T. & Stanley, J.C.(1963). Experimental an quasi-experimental designsfor research on teaching. In N. L. Gage (Ed.), Handbook of research on teaching.Chicago: Rand McNally.
Cook, T.D. & Campbell, D.T.(1979). Quasi-experimentation. Design & analysis issuesfor field settings. Chicago: Rand McNally.
Crowley J.J. & Hauser, A.G. (2007). Evaluation whole school improvement models:Creating meaningful and reasonable standards of review. Journal of Education forStudents Placed at Risk, 12, 37–58.
Bortz, J. & Doring, N. (2006). Forschungsmethoden und Evaluation fur Human- undSozialwissenschaftler. Berlin: Springer.
Huber, O.(2005). Das psychologische Experiment. Eine Einfuhrung. Bern: Huber.
Jacobs, B. (2000). Einfuhrung in die Versuchsplanung.http://www.phil.uni-sb.de/˜jakobs/seminar/vpl/index.htm
Lesik, S.A. (2006). Applying the Regression-Discontinuity Design to Infer Causalitywith Non-Random Assignment. The Review of Higher Education, 30, 1–19.
Forschungsdesigns & Versuchsplane (Christiane Fiege) 35
LiteraturMaxwell, S.E. & Delaney, H.D.(2004). Designing experiments and analyzing data: Amodel comparison perspective. Mahwah, New Jersey: Lawrence ErlbaumAssociates.
Oreopoulos, P. (2006). Estimating average and local average treatment effects ofeducation when compulsory schooling laws really matter. The American EconomicReview, 96, 152–174.
Schneider, R.U. (2006). Das Buch der verruckten Experimente. Munchen:Goldmann. [http://www.verrueckte-experimente.de/]
Shadish, W.R, Cook, T.D. & Campbell, D.T. (2002). Experimental andQuasi-Experimental Design for Generalized Causal Inference. Boston:Houghton-Mifflin.
Trochim, W. (1984). Research Design for Program Evaluation: TheRegression-Discontinuity Approach. Beverly Hills, CA: Sage Publications.
Trochim, W. (1994). The Regression-Discontinuity Design: An Introduction. ResearchMethods Paper Series, Number 1, Thresholds National Research and TrainingCenter on Rehabilitation and Mental Illness, Chicago, IL.
Forschungsdesigns & Versuchsplane (Christiane Fiege) 36