Laborexperimente in der sozialwissenschaftlichen...

LaborexperimenteindersozialwissenschaftlichenForschung

JoëlBerger

Forschungsseminar“JustMy Luck!”InstitutfürSoziologie,UniversitätZürich

13.03.2017

2

? WasisteinExperiment?

Kausalität:Kontrafaktisches Modell

3

Kontrafaktisches Modell:Idee(Rubincausalmodel)• ZweiZuständesindnotwendigfüreinenkausalenSchluss• “Ifanhourago,Ihadtakentwoaspirinsinsteadofjustaglassofwater,myheadachewouldnowbegone.“• “BecauseanhouragoItooktwoaspirinsinsteadofjustaglassofwater,myheadacheisnowgone.“

(Rubin1974,vgl.Morton&Williams2010)

4

FundamentalesProblemderkausalenInferenz

• BeideZuständekönnennichtzugleichbeobachtetwerden.

5

MöglicheLösung1:AnnahmederEinheitshomogenität(unithomogeneity)

6

DasneueArbeitsmarktintegrations-Programm

7

Die klassische soziologische Herangehensweise

DasneueArbeitsmarktintegrations-Programm

8

MotivationZ

KursteilnahmeX

Beschäftigungs-chanceY

rxy >0

• Unithomogeneity verletzt• Zisteinconfounder (Störvariable)

MöglicheLösung2:AnnahmederZeitkonstanz(temporalstability)

9

Beispiel:TassestattBecher

10

Problem

• BeideAnnahmen(unithomogeneity,temporalstability)sindnichtbeweisbar.• Unithomogeneity:UnbeobachteteodergarunbekannteStörvariablen?• Temporalstability:Reifungsprozesse,parallelablaufendeProzesse,Reihenfolge-Effekte

(Diekmann2006)

11

Lösung:Randomisierung

12

• WerdendieVPaufeineTreatmentundeineKontrollgruppezufälligzugeteilt,sindimDurchschnittinbeidenGruppenfürYkausalrelevanteFaktorenZi gleichverteilt.

• DieGruppenunterscheidensichinderErwartungnichtbisaufdenPrüffaktorX(unithomogeneity aufGruppenebenegegeben).

Lösung:Randomisierung

13

• GeprüftwirddiekausaleRelevanzeinesPrüffaktorsXfürdasinteressierendeMerkmalYaufGruppenebene.

• GeprüftwirdsomitderdurchschnittlichekausaleEffekt(averagetreatment effect).

WasisteinExperiment

14

Definition

1. MindestenszweiGruppen(Versuchs- undKontrollgruppe)

2. RandomisierungderVPaufdiebeidenGruppen

3. ManipulationderunabhängigenVariablendurchForscher/in

(Diekmann2006)

Theorie,Experiment,Welt

15

Theorie Welt

Test1:Laborexperiment

Test2:Feldexperiment

Test3:Survey-Studie


16

Theorie Welt

Test1:Laborexperiment

Test2:Feldexperiment

Test3:Survey-Studie

KarlPopper

ExperimenteundModelle

• OftkanneinZielsystemnichtexperimentelluntersuchtwerden.• EinstrukturellähnlichesModell-Systemwirduntersucht.

17

Theorie Welt(Zielsytem)

Modellsystem

Vgl.Webster&Sell(2007),Willer&Walker(2007)

ExperimenteundModelle

18

Modell-System(model system) Ziel-System(target system)

(Porsolt etal.1977)

Gütekriterien vonModellen

19

• Face validity: Ausmass der Ähnlichkeit zwischen Modellsystem undZielsystem.

- Maus und Mensch haben zwei Augen.

• Structural validity: Ausmass der Ähnlichkeit der kausalen Strukturenim Modellsystem und im Zielsystem.

- Substanz X erhöht den Antrieb in Maus und Mensch.

• Relevant ist die strukturelle Validität, nicht die face validity.

(vgl. Frigg & Hartmann 2009, Suàrez 2010, Willer & Walker 2007)

GütekriterienvonExperimenten

20

� WeusetheterminternvaliditytorefertoinferencesaboutwhetherobservedcovariationbetweenAandBreflectsacausalrelationshipfromAtoB.(Shadish etal.2002:83)

� Externalvalidityconcernsinferencesabouttheextenttowhichacausalrelationshipholdsovervariationsinperson,settings,treatments,andoutcomes.(Shadish etal.2002:53)

� Constructvalidity:Ausmass,zudemdieimExperimentgewählteOperationalisierungeinestheoretischenBegriffsdemtheoretischenBegrifftatsächlichentsprich.


21

Theorie Welt(Zielsystem)

Test1:Laborexperiment(Modellsystem)

Test2:Feldexperiment(Zielsystem)

Test3:Survey-Studie

(Zielsystem)

ExterneV.

Konstruktv.

InterneV.

Beispiel

22

SchichtspezifischeBildungsungleichheit

23

• PersonenaushöherensozialenSchichtennehmenöftersanHochschulbildungteilalsPersonenaustieferenSchichten.• DerZusammenhangistnurteilweisedurchschichtspezifischePerformanz(primärerHerkunftseffekt)erklärbar.• Ebensorelevant:SchichtspezifischeBildungsentscheidungen(sekundärerHerkunftseffekt)• Problem:• KonfliktmitIdealderMeritokratie• VerlustvonTalent/Humankapital

RolledesBildungssystems

24

• ZusammenhangzwischensozialerHerkunftundTeilnahmeanHochschulbildungvariiertiminternationalenVergleich.• SekundärerHerkunftseffektvariiertstärkeralsderprimäre.• JespäterdieleistungsabhängigeZuteilungderSchüler/innenaufverschiedeneSchultypen(Tracking),destogeringeristderZusammenhangzwischensozialerSchichtundBildungserfolg.• Problem:Bekannte(undunbekannte)Störvariablen(confounders)

MöglicheErklärung:Unsicherheitsreduktion

25

• DerUnsicherheitsreduktions-Mechanismus (URM):

Wewouldexpecttransitionstakenatolderagestobelesssusceptibletosecondaryeffectsbecausetheamountofinformationavailabletostudentsabouttheirownabilitiesandtheirchancesofsuccessathigherlevelsofeducationmustonlyincreaseastheirexposuretoformaleducationincreases.(Jackson&Jonsson 2013:332)

TheoretischesModellI:StatuserhaltundFraming

26

• SozialeSchichtalsReferenzpunktbeiderBildungsentscheidung• Annahme:ZweisozialeSchichten,zweiTracks• HöhereSchicht

• HöhereBildungnotwendigfürStatuserhaltà Verlust-Frameà RisikosuchendesEntscheidungsverhalten

• TiefereSchicht• HöhereBildungnichtnotwendigfürStatuserhaltà Gewinn-Frameà RisikoaversesEntscheidungsverhalten

• BB = V BB undBH = V BHS, π P ; BHF, 1 − π[P]

(Page2005,Kahneman andTversky 1979)

TheoretischesModellII:TrackingundUnsicherheit

27

• JefrüherdasTracking,destowenigerInformationüberseinePerformanzhateinAkteurunddestolängerderZeitraum,überdeneineVorhersagegetroffenwerdenmuss.• BeieinerEntscheidungfürodergegenweiterführendeBildungbasiertdiesubjektiveErfolgswahrscheinlichkeitaufderbisherigenPerformanzà GrössereUnsicherheitbeifrühemTracking• PersonenineinemGewinn-Frame(tiefeSchicht)habeneinegrössereAbneigunggegenüberUnsicherheitalsPersoneneineinemVerlust-Frame.à PersonenimGewinn-FrameprofitierenüberproportionalvonspätemTracking• BH = V BHS, π P ; BHF, 1 − π[P] mitπ P = E P − λσ

ExperimentellesDesign:Task

28

• Performanz-Mass:ZahldergelöstenAnagramme

ExperimentellesDesign:Faktoren

29

N=165

ExperimentellesDesign:Instruktionen

30

Earlydecision/gain frame-Versuchsbedingung


31

Earlydecision/loss frame-Versuchsbedingung


32

Late decision/gain frame-Versuchsbedingung


33

Late decision/loss frame-Versuchsbedingung

Resultate:Haupteffekte

Probability ofcontinuing(AME)

Lossframe .18*

(ref.: gainframe) (.08)

Latedecision .03

(ref.:earlydecision) (.08)

N=137,*p<.05,seinparentheses

• Frame: StarkerHaupteffekt• VPimVerlust-Framemachenmiteinerum18ProzentpunktehöherenWahrscheinlichkeitweiter(p=.028).

• ZeitpunktderEntscheidung:keinEffekt• p=.752

35

Resultate:H1

• H1: VPmithoherPerformanzimGain-FramemachenmithöhererWahrscheinlichkeitbeispäteralsbeifrüherEntscheidungweiter.• VPmithoherPerformanzimGain-FramemachenbeispäterEntscheidungfastdoppeltsohäufigweiter(66.1%vs.36.4%,p=.087).

Overall Performance

low high

Earlydecision

Gainframe

0.249(0.074)

0.164(0.084)

0.364(0.126)

Lossframe

0.457(0.084)

0.315(0.097)

0.742(0.129)

Latedecision

Gainframe

0.302(0.078)

0.168(0.076)

0.661(0.161)

Lossframe

0.440(0.079)

0.452(0.098)

0.419(0.142)

36

Resultate:H2

• H2: VPmittieferPerformanzimGain-FramemachennichtmithöhererWahrscheinlichkeitbeispäteralsbeifrüherEnt-scheidungweiter.• KeinUnterschied:(16.8%vs.16.4%,p=.49)

Overall Performance

low high

Earlydecision

Gainframe

0.249(0.074)

0.164(0.084)

0.364(0.126)

Lossframe

0.457(0.084)

0.315(0.097)

0.742(0.129)

Latedecision

Gainframe

0.302(0.078)

0.168(0.076)

0.661(0.161)

Lossframe

0.440(0.079)

0.452(0.098)

0.419(0.142)

37

Resultate:H3

• H3: DieWahrscheinlichkeitweiterzumachenunterscheidetsichfürVPimLoss-FramenichtzwischendenEntscheidungs-zeitpunkten.• KeinUnterschiedimGesamtsampleoderbeiVPmittieferPerformanz.• Unerwartet:PersonenmithoherLeistungmachenmiteinergeringerenWahrscheinlichkeitweiterbeispäterEntscheidung.

Overall Performance

low high

Earlydecision

Gainframe

0.249(0.074)

0.164(0.084)

0.364(0.126)

Lossframe

0.457(0.084)

0.315(0.097)

0.742(0.129)

Latedecision

Gainframe

0.302(0.078)

0.168(0.076)

0.661(0.161)

Lossframe

0.440(0.079)

0.452(0.098)

0.419(0.142)

38

Resultate:H4

• H4: UnterdenVPmithoherLeistungistdieDifferenzzwischendenVPimLoss-FramedieweitermachenunddenVPimGain-FramedieweitermachengeringerbeispäteralsbeifrüherEntscheidung.• SignifikanterUnterschiedzwischenVPmithoherLeistungbeifrüher(p=.03),abernichtbeispäterEntscheidung(p=.14).

Overall Performance

low high

Earlydecision

Gainframe

0.249(0.074)

0.164(0.084)

0.364(0.126)

Lossframe

0.457(0.084)

0.315(0.097)

0.742(0.129)

Latedecision

Gainframe

0.302(0.078)

0.168(0.076)

0.661(0.161)

Lossframe

0.440(0.079)

0.452(0.098)

0.419(0.142)

39

Diskussion

40

� Hauptbefund: VP mit hoher Leistung im Gain-Frame machen eher weiterwenn Entscheidungen spät getroffen werden.

� Befund stützt die URM-Hypothese, und damit die Hypothese, dass spätesTracking schichtspezifische Ungleichheiten reduzieren könnte.

� Limitation:GeringeFallzahl,ersterTestunteridealisiertenLabor-bedingungen

� Weiterführende Forschung: Feld- und Surveystudien

Laborexperiment:Charakterisierung

41

• MaximaleKontrolle vonStörfaktoren:ExperimentaldesignalsComputer-programm;sozialeInteraktionanonymüberComputernetzwerk

• Verhaltensbeobachtung:IncentivesalsVerhaltensanreiz

• Randomisierung

• NäheTheorie– Design,kaumKontext

• VP:Studierende

Laborexperiment:Vor- undNachteile

+ -

KontrollierteUmgebung,relativhomogeneGruppederStudierendenalsVP,Randomisierungà HoheKontrollevonStörfaktoren(hoheinterneValidität)

Lebensfern,artifiziellà Gefahr vonArtefakten

TheoretischrelevanteSituationenkönnenfastbeliebighergestelltwerden.

Lebensfern,artifiziellà Gefahr vonArtefakten

HoheStandardisierungà Reproduzierbarkeit Lebensfern,artifiziellà Gefahr vonArtefakten

AnreizkompatiblesVerhalten Geld-Priming

Umfangreiche Datensammlungmöglich(bewussteEntscheidungen,Verhaltensspuren,Befragung)

Reaktivität

42

Bildungsentscheidungen

? Aufgabe

1. Modell- undZielsysteminderStudie?2. BeurteilenSie• Konstruktvalidität• Facevalidity• StrukturelleValidität• InterneValidität• ExterneValidität

3. WaskönntenweiterführendekomplementäreStudiensein?

43

TakeHome:Laborexperimente

44

• Randomisierungà Kausalität

• Verhalten

• Test von Theorien

• Experimente: oft stärker modellbasiert als andere Verfahren

• Gütekriterien: Konstruktvalidität, interne Validität, externe Validität

• I.d.R. Beginn eines Forschungsprogramms

• Schwächen: Artifiziell, Reaktivität

Übung:ExperimentaldesignzurHybris-Problematik

45

• Stärke von Laborexperimenten: Test von Theorien.

• Bedingung: Theorie ist exakt formuliert.- Ideal: Mathematisches Modell

- Alternative: Kausaldiagramm


46

ZuschreibungvonZufallalsLeistung

durchEgo

ZuschreibungvonZufallalsLeistung

durchAlterHybris

Verlustaversion


• ParallelenzumExperimentvonBerger&Combet (2017)

47

InstitutionelleRegelung

WahrnehmungderSituation

Entscheidungs-verhalten

SozialeFolgen


AufbaudesReferats• Kontext/Framing• Theorie(möglichstpräzise,eventuellKausaldiagramm)• ExperimentellesDesign• Versuchsaufbau:Leistungstask,Framing desExperiments,ParallelenModellsystem/Zielsystem• Versuchsbedingungen• UngefähreZahlderVersuchspersonen• HöhederAuszahlung(insgesamt30Fr.,10Fr.Showup fee).• Beachte:OnlineSupplementary DatazuBerger&Combet (2017)

48

Literatur I

49

• Berger J, Combet B (2017): Late School Tracking, Less Class Bias in Educational Decision-Making?The Uncertainty Reduction Mechanism and Its Experimental Testing. European SociologicalReview 33: 124–136.

• Diekmann A (2006): Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Reinbekbei Hamburg: Rowohlt.

• Frigg R, Hartmann S (2009): Models in Science. The Stanford Encyclopedia of Philosophy. Editedby Zalta, Ewdard N. http://plato.stanford.edu/archives/sum2009/entries/models-science/

• Morton R, Williams K (2010): Experimental Political Science and the Study of Causality: FromNature to the Lab. Cambridge, Cambridge University Press.

• Porsolt RD, Bertin A, Jalfre M (1977): Behavioral Despair in Mice: A Primary Screening Test forAntidepressants. Archives Internationales De Pharmacodynamie Et De Therapie 229: 327-336.

Literatur II

50

• Rubin DB (1974): Estimating Causal Effects of Treatments in Randomized and NonrandomizedStudies. Journal of Educational Psychology 66: 688-701.

• Shadish WR, Cook TD, Campbell D (2002): Experimental and Quasi-Experimental Designs forGeneralized Causal Inference. Boston: Houghton Mifflin.

• Suàrez M (2010): Scientific Representation. Philosophy Compass 5: 91-101.

• Webster M, Sell J (2007): Laboratory Experiments in the Social Sciences. Amsterdam, Elsevier.

• Willer D, Walker HA (2007): Building Experiments. Testing Social Theory. Stanford: StanfordUniversity Press.

Appendix

51

Laborexperimente in der sozialwissenschaftlichen...

Documents

Transcript of Laborexperimente in der sozialwissenschaftlichen...