Universität Karlsruhe (TH)Forschungsuniversität · gegründet 1825

Lehrstuhl für Programmiersysteme

Fakultät für Informatik

1

Anforderungen und Probleme beim Versuchsaufbau

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 2

Anforderungen an Versuchsaufbau

1. Zielgeführtes Sammeln der Daten zum Beantworten der Forschungsfrage.

2. Kontrolle der Störvariablen. Ist der Effekt auf die unabhängige Variable zurück-zuführen ? (interne Gültigkeit)

3. Ergebnis muss auf andere Individuen oder Gruppen generalisierbar sein. (externe Gültigkeit)

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 3

Gefahren für interne Gültigkeit

• Historie• Reifung• Instrumentierung• Selektion• Sterblichkeit• Subjekt-Effekt• Experimentator-Effekt• Reihenfolge-Effekt

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 4

Vortest Nachtest

• Zwischen Vor- und Nachtest können Ereignisse die Messung im Nachtest beeinflussen (rivalisierende Hypothese)

Zeitspanne

Historie

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 5

Historie (Forts.)

• Je länger die Zeitspanne, desto wahrscheinlicher hat die Historie einen Einfluss auf das Ergebnis

• Einstellungen der Experiment-Teilnehmer können sich durch neue Information (Zeitungsartikel, Gespräche, Web) oder Ereignisse ändern

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 6

Reifung

• engl. maturation• Änderung der internen Konstitution eines

Individuums im Laufe der Zeit (ohne Einfluss spezifischer, externer Ereignisse)

• Eingeschlossen sind biologische und psycholgische Änderungen, z.B. Alter, Lernen, Müdigkeit, Langeweile, Hunger.

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 7

Reifung (Forts.)

• Wenn Reifung das Verhalten unter den experimentellen Bedingungen ändert, dann gefährdet sie die interne Gültigkeit.

• Beispiel: PSP-Studien, die keine Kontrollgruppe besitzen

• Teilnehmer lernen, Listen zu programmieren• Leistungszuwachs durch Methode (PSP) und bessere

Kenntnis der Listenprogrammierung

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 8

• engl. instrumentation • Änderungen in der Messung der abhängigen

Variablen mit der Zeit.• Menschliche Beobachter unterliegen Müdigkeit,

Langeweile, und Lernprozessen.• Mit der Zeit kann ein Experimentator besser werden

und genauere, zuverlässigere Testergebnisse liefern.

Instrumentierung

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 9

• Bei unterschiedlichen Selektions-Methoden für die Vergleichsgruppen kann Ungültigkeit eingeschleppt werden.

• Beispiel:• Nachhilfe für unterschiedliche Gruppen: schwach in

Mathe vs. hyperaktiv • Unterschiede in den Noten können auf anderen

Eigenschaften beruhen als der Nachhilfe.

Selektion

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 10

• engl. mortality• Sterblichkeit bedeutet unterschiedlichen Verlust

von Teilnehmern in den Gruppen.• Teilnehmer erscheinen nicht oder haben eine

lange Party am Vorabend oder nehmen nicht an allem teil...

• Damit kann es Unterschiede zwischen Gruppen geben, die nicht von der unabhängigen Variablen herrühren.

Sterblichkeit

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 11

Subjekt-Effekt

• Positive Selbstdarstellung: Subjekte interpretieren den Sinn des Experiments und zeigen sich von ihrer besten Seite.

• Beispiel:• Die gestellten Lernaufgaben sagen etwas über

Intelligenz aus.• Da viele Teilnehmer intelligent erscheinen wollen,

bemühen sie sich, im Experiment möglichst rasch zu lernen.

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 12

• Ergebnisse werden beeinflusst vom Motiv der Teilnehmer, sich positiv darzustellen.

• Carlston und Cohen zeigten:• Subjekte, die an die Experiment-Hypothese glaubten,

bestätigten sie• Gruppe, die die Hypothese nicht glaubte, lieferte

gegenteilige Ergebnisse

Subjekt-Effekt (Forts.)

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 13

• Inter-treatment interaction: Positive Selbstdarstellung ändert sich zwischen den Aufgaben

• Intra-treatment interaction: Subjekte interpretieren die Möglichkeit der positiven Selbstdarstellung in der gleichen Aufgabe unterschiedlich

Subjekt-Effekt (Forts.)

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 14

Experimentator-Effekt

• Erwartungen des Experimentators beeinflussen ihn selbst, z.B.

• Messungen ungenau in einer Richtung• Fallenlassen „unmöglicher“ Werte• tendenziöse Interpretation der Daten• Motivieren der Subjekte

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 15

Reihenfolge-Effekt

• engl. sequencing effect• Teilnehmer nehmen an mehreren Versuchen teil • Unterschiedliche Werte der unabhängigen

Variablen in den Versuchen• Beispiel: eine Aufgabe bearbeitet mit

Entwurfsmuster, andere Aufgabe ohne

Lehrstuhl für Programmiersysteme

Fakultät für Informatik 16

• Dann können Lerneffekte auftreten, die aus der Reihenfolge der Aufgaben resultieren (Reihenfolgeeffekt, order)

• .... aber auch Motivationseffekte, etwa durch schnelles oder langsames Lösen der vorangegangenen Aufgabe (Übertragungseffekt, carry-over)

Reihenfolge-Effekt (Forts.)