Experimentelle und quasi-experimentelle Designs

Sabine Gisch-BoieUlrike Steindl

Wien, 14.11.2003

LV 1975: SE Methoden der empirischen Sozialforschung (WS 2003)

2/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Inhalt

Überblick: Experimentelle und quasi-experimentelle (Forschungsplanungs-) Designs

Vorexperimentelle Designs

Experimentelle Designs

Von der Verantwortungsdiffusion zur experimentellen Spieltheorie

Quasi-Experimente und Evaluationsforschung

3/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Überblick: Experimentelle und quasi-experimentelle Designs

Was wir dazu wissen sollten... Bestandteil der Forschungsplanung

Bestimmung von Vergleichsgruppen und dem Modus der Aufteilung von Untersuchungspersonen auf die Vergleichsgruppen als „Varianzkontrolle“

Zuweisung zu Vergleichsgruppen kann „vor“, „zufällig“ oder „nach“ der Datenerhebung erfolgen (3 Klassen der Varianzkontrolle)

— Experimentelle Designs

— Quasi-experimentelle Designs

— Ex-post-facto-Designs

— (vorexperimentelle Designs)

Wird häufig zur (Kausal-)Hypothesenüberprüfung verwendet

Reduktion verzerrender Effekte von Drittvariablen

4/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Vorexperimentelle Designs: XO

XO: Experimenteller Stimulus X ist gefolgt von der Beobachtung O, ohne Berücksichtigung von Kontroll- oder Vergleichsgruppen, bzw. Angabe zur Versuchs- und Vergleichsgruppe sind deshalb unvollständig (Designs falscher Vergleichswerte)

Vergleichsmöglichkeit fehlt

Beobachtungen sind nur für eine Kategorie/Spalte der unabhängigen Variablen sinnvoll

Beim XO-Design ist die Varianz der unabhängigen Variable null, beim Design falscher Vergleichswerte ist die Varianz der abhängigen Variable null

Es lassen sich keine Zusammenhangshypothesen überprüfen, da es ohne Varianz von Variablen keine Vergleichsmöglichkeit gibt.

O1XO2: Vorher-Nachher-Messung: Reifungsprozess zwischen den Bezugspunkten möglich wenig zuverlässig!

5/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Experimentelle Designs (1/3)

3 Grundbedingungen:

1. Bildung mindestens zweier experimenteller Gruppen

2. Versuchspersonen werden den experimentellen Gruppen nach Zufallsverfahren (Randomisierung) zugewiesen

3. unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert

Vorher-Nachher-Messung:Experimentelles Design:

Experimentelles Design (m-Kategorien): Vier-Gruppen-Versuchsplan (von Solomon):

6/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Experimentelle Designs (2/3): Randomisierung

Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen

Mögliche Fehlerquellen der Randomisierung:

Hawthorne-Effekt/Reaktivität ( Blind-/Doppelblindversuche einsetzen)

Subjektive Bewertung des Zuteilungsergebnisses (Verlierer-Gewinner-Problem)

Einschränkung der Fehleranfälligkeit durch Matching, Gruppenmatching, paarweises Matching möglich

7/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Experimentelle Designs (3/3): Validität

Bei der Prüfung der Versuchspläne auf Validität wird unterschieden in:

interne Validität: Ausblenden von Störvariablen (Fehlerquellen: Reifung, Selektionsfehler)

externe Validität: Generalisierbarkeit experimenteller Effekte (Fehlerquellen: Interaktionseffekte, Wechselwirkungen

8/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Experiment zur Diffusion von Verantwortung

Hypothese: Je größer die Zahl der Zuschauer in einer

Hilfeleistungssituation, desto geringer ist die individuelle

Wahrscheinlichkeit, dass eine bestimmte Person Hilfe leistet.

Resultat:

Gruppengröße Reaktion Zeit bis zur Reaktion

Zwei-Personen 85 % 52 sec

Drei Personen 62 % 93 sec

Sechs Personen 31 % 166 sec

9/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Quasi-Experimente

Experimente ohne Randomisierung

Bei Untersuchung von Effekten von rechtlicher, wirtschaftlicher oder sozialer Maßnahmen

Zentrales Problem: eventuelle Drittvariableneffekte

Versuchsanordnung mit nicht gleichartiger Kontrollgruppe und Zeitreihen Experimente

10/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Versuchsanordnung mit nicht gleichartiger Kontrollgruppe (1/2)

Vorher-Nachher-Messung ohne Zufallsaufteilung:

O1 X O2 Maßnahmengruppe

O3 O4 Kontrollgruppe

(Wichtig: Vorher-Messung!)

11/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Versuchsanordnung mit nicht gleichartiger Kontrollgruppe (2/2): Probleme und Maßnahmen

Nicht-Vergleichbarkeit der Gruppen

Systematischer Ausfall von Probanden

Gruppen-Matching od. paarweises Matching

Nachträgliche Kontrolle von Drittvariablen mit mulitvariaten statistischen Verfahren

Verzerrung durch Drittvariable

Wartegruppe

Bei Verdacht explizit messen

Regressionseffekte (=statistische Tendenz zur Mitte)

Zeitreihen-Designs

12/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Zeitreihen Experimente (1/2)

Design einer Zeitreihe

O1 O2 O3 O4 X O5 O6 O7 O8

Vorher Trends Nachher Trends

(evt. Problem: Einfluss von anderen Faktoren als X)

Design mehrfacher Zeitreihen

O1 O2 O3 X O4 O5

O6 O7 O8 O9 O10

13/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Zeitreihen Experimente (2/2)

Beispiel: Schwarzfahrer in Hamburg und Bremen in %

0

1

2

1998 1999 2000 2001 2002 2003

Hamburg

Bremen

14/14SE 1975 (Einheit 6): Experimentelle und quasiexperimentelle Designs

Mögliche Fehlerquellen der Evaluationsforschung

Versuchsanordnung- Drittvariable, Regressionseffekte, Reifung etc.

Erfolgsmessung- Festlegung der Erfolgskriterien und deren Messung

- Berücksichtigung eventueller Nebenwirkungen

- Bewertung der Wirkungen/Nebenwirkungen einer Maßnahme (Kosten-Nutzen-Analyse)

Divergierende Interessen

Zeitrahmen