Anforderungen und Probleme beim Versuchsaufbau

Universität Karlsruhe (TH)Forschungsuniversität · gegründet 1825

Lehrstuhl für Programmiersysteme

Fakultät für Informatik

1

Anforderungen und Probleme beim Versuchsaufbau


Fakultät für Informatik 2

Anforderungen an Versuchsaufbau

1. Zielgeführtes Sammeln der Daten zum Beantworten der Forschungsfrage.

2. Kontrolle der Störvariablen. Ist der Effekt auf die unabhängige Variable zurück-zuführen ? (interne Gültigkeit)

3. Ergebnis muss auf andere Individuen oder Gruppen generalisierbar sein. (externe Gültigkeit)



Gefahren für interne Gültigkeit

• Historie• Reifung• Instrumentierung• Selektion• Sterblichkeit• Subjekt-Effekt• Experimentator-Effekt• Reihenfolge-Effekt



Vortest Nachtest

• Zwischen Vor- und Nachtest können Ereignisse die Messung im Nachtest beeinflussen (rivalisierende Hypothese)

Zeitspanne

Historie



Historie (Forts.)

• Je länger die Zeitspanne, desto wahrscheinlicher hat die Historie einen Einfluss auf das Ergebnis

• Einstellungen der Experiment-Teilnehmer können sich durch neue Information (Zeitungsartikel, Gespräche, Web) oder Ereignisse ändern



Reifung

• engl. maturation• Änderung der internen Konstitution eines

Individuums im Laufe der Zeit (ohne Einfluss spezifischer, externer Ereignisse)

• Eingeschlossen sind biologische und psycholgische Änderungen, z.B. Alter, Lernen, Müdigkeit, Langeweile, Hunger.



Reifung (Forts.)

• Wenn Reifung das Verhalten unter den experimentellen Bedingungen ändert, dann gefährdet sie die interne Gültigkeit.

• Beispiel: PSP-Studien, die keine Kontrollgruppe besitzen

• Teilnehmer lernen, Listen zu programmieren• Leistungszuwachs durch Methode (PSP) und bessere

Kenntnis der Listenprogrammierung



• engl. instrumentation • Änderungen in der Messung der abhängigen

Variablen mit der Zeit.• Menschliche Beobachter unterliegen Müdigkeit,

Langeweile, und Lernprozessen.• Mit der Zeit kann ein Experimentator besser werden

und genauere, zuverlässigere Testergebnisse liefern.

Instrumentierung



• Bei unterschiedlichen Selektions-Methoden für die Vergleichsgruppen kann Ungültigkeit eingeschleppt werden.

• Beispiel:• Nachhilfe für unterschiedliche Gruppen: schwach in

Mathe vs. hyperaktiv • Unterschiede in den Noten können auf anderen

Eigenschaften beruhen als der Nachhilfe.

Selektion



• engl. mortality• Sterblichkeit bedeutet unterschiedlichen Verlust

von Teilnehmern in den Gruppen.• Teilnehmer erscheinen nicht oder haben eine

lange Party am Vorabend oder nehmen nicht an allem teil...

• Damit kann es Unterschiede zwischen Gruppen geben, die nicht von der unabhängigen Variablen herrühren.

Sterblichkeit



Subjekt-Effekt

• Positive Selbstdarstellung: Subjekte interpretieren den Sinn des Experiments und zeigen sich von ihrer besten Seite.

• Beispiel:• Die gestellten Lernaufgaben sagen etwas über

Intelligenz aus.• Da viele Teilnehmer intelligent erscheinen wollen,

bemühen sie sich, im Experiment möglichst rasch zu lernen.



• Ergebnisse werden beeinflusst vom Motiv der Teilnehmer, sich positiv darzustellen.

• Carlston und Cohen zeigten:• Subjekte, die an die Experiment-Hypothese glaubten,

bestätigten sie• Gruppe, die die Hypothese nicht glaubte, lieferte

gegenteilige Ergebnisse

Subjekt-Effekt (Forts.)



• Inter-treatment interaction: Positive Selbstdarstellung ändert sich zwischen den Aufgaben

• Intra-treatment interaction: Subjekte interpretieren die Möglichkeit der positiven Selbstdarstellung in der gleichen Aufgabe unterschiedlich

Subjekt-Effekt (Forts.)



Experimentator-Effekt

• Erwartungen des Experimentators beeinflussen ihn selbst, z.B.

• Messungen ungenau in einer Richtung• Fallenlassen „unmöglicher“ Werte• tendenziöse Interpretation der Daten• Motivieren der Subjekte



Reihenfolge-Effekt

• engl. sequencing effect• Teilnehmer nehmen an mehreren Versuchen teil • Unterschiedliche Werte der unabhängigen

Variablen in den Versuchen• Beispiel: eine Aufgabe bearbeitet mit

Entwurfsmuster, andere Aufgabe ohne



• Dann können Lerneffekte auftreten, die aus der Reihenfolge der Aufgaben resultieren (Reihenfolgeeffekt, order)

• .... aber auch Motivationseffekte, etwa durch schnelles oder langsames Lösen der vorangegangenen Aufgabe (Übertragungseffekt, carry-over)

Reihenfolge-Effekt (Forts.)

Anforderungen und Probleme beim Versuchsaufbau

Documents

Transcript of Anforderungen und Probleme beim Versuchsaufbau