Experimentaufbau und -design Radoslaw Rudnicki 11.01.2006.
-
Upload
ottilia-boomer -
Category
Documents
-
view
104 -
download
0
Transcript of Experimentaufbau und -design Radoslaw Rudnicki 11.01.2006.
Experimentaufbau und -design Radoslaw Rudnicki
11.01.2006
Gliederung
Wir sammeln Daten
Was ist eigentlich ein Experiment?
Definition
Planung
Durchführung
Probleme
Wir sammeln Daten
Wir sammeln Daten
• zwei Computer
• jeweils zwei Fragen
• 15 Sekunden Zeit je Aufgabe
• keine Kommunikation untereinander
• Entschädigung: Ferrero Küsschen1
Wir sammeln Daten
2
3
Rudnicki
3
Rudnicki
Fabig
3
Gliederung
Wir sammeln Daten
Was ist eigentlich ein Experiment?
Definition
Planung
Durchführung
Probleme
Was ist eigentlich ein Experiment?
Definition
Was ist eigentlich ein Experiment?
Definition (1)
• methodisch
• kontrolliert
• quantifizierbar
• reproduzierbar
• randomisiert
4
Was ist eigentlich ein Experiment?
Definition (2)• Analyse des Arbeitsprozesses
• hinsichtlich der Richtigkeit und des Zeitbedarfs
• in der Absicht Einflüsse der Farbe rot zu erkennen
• aus der Sicht eines Softwareentwicklers
• im Kontext der Oberflächengestaltung
5
Gliederung
Wir sammeln Daten
Was ist eigentlich ein Experiment?
Definition
Planung
Durchführung
Probleme
Was ist eigentlich ein Experiment?
Planung
Was ist eigentlich ein Experiment?
PlanungExperimentdefinition
Contextselection Hypothesis
formulation Variablesselection Selection of
subjectsExperimentdesignInstrumen-
tationValidityevaluation
Experimentdesign
Experimentplanning
6
Was ist eigentlich ein Experiment?
Planung – Context selection (1)
• Offline vs. Online
• Student vs. Professional
• Toy vs. Problems
• Specific vs. General
7
Was ist eigentlich ein Experiment?
Planung – Context selection (1)
• Offline vs. Online
• Student vs. Professional
• Toy vs. Problems
• Specific vs. General
7
Was ist eigentlich ein Experiment?
Planung – Hypothesis formulation (2)
• Nullhypothese
• Alternative Hypothese
8
Was ist eigentlich ein Experiment?
Planung – Variables selection (3)
Prozess
unabhängige
Variablen abhängige
Variable
9
Was ist eigentlich ein Experiment?
Planung – Variables selection (3)
Prozess
unabhängige
Variablen abhängige
Variable
9
Was ist eigentlich ein Experiment?
Planung – Selection of subject (4)
• Personenauswahl
• Kontrollgruppe
Versuchsgruppe M1 X M2
Kontrollgruppe M1 P M1'
10
Was ist eigentlich ein Experiment?
Planung – Experiment design (5)
• was wird gemessen
• wie wird getestet
• Anzahl der Personen festlegen
• Anzahl der Tests
11
Was ist eigentlich ein Experiment?
Planung – Experiment design (5)
• randomisieren
• blocking
• balancing
12
Was ist eigentlich ein Experiment?
Planung – Instrumentation (6)
• Leitfaden
• Messung
13
Was ist eigentlich ein Experiment?
Planung – Validity evaluation (7)
• interne Gültigkeit
• externe Gültigkeit
14
Was ist eigentlich ein Experiment?
PlanungExperimentdefinition
Contextselection Hypothesis
formulation Variablesselection Selection of
subjectsExperimentdesignInstrumen-
tationValidityevaluation
Experimentdesign
Experimentplanning
15
Gliederung
Wir sammeln Daten
Was ist eigentlich ein Experiment?
Definition
Planung
Durchführung
Probleme
Was ist eigentlich ein Experiment?
Durchführung
Was ist eigentlich ein Experiment?
Durchführung
Prozess
unab
häng
ige
Var
iabl
en
abhängige
Variable
Exp
eri
me
nt
des
ign{
unabh.Variablen
in def. Zuständen
Experiment
16
Gliederung
Wir sammeln Daten
Was ist eigentlich ein Experiment?
Definition
Planung
Durchführung
Probleme
Probleme
Probleme
Hypothesis formulation (2)
• Type-1-Error
• Type-2-Error
17
Probleme
Variables selection (3)
• nicht alle bekannt
• nicht alle kontrollierbar
18
Probleme
Experiment design (5)
• Männer/Frauen unterscheiden?
• Was ist ein Plazebo im SE?
19
Probleme
Validity evaluation (7)
• Anzahl der Personen?
• Anzahl der Aufgaben?
20
21
Probleme
Allgemein
• neue Methoden meist schlecht
• Zeit/Kosten
22
Zusammenfassung
23
Literatur• Claes Wohlin, Per Runeson, Martin Höst, Magnus C. Ohlsson, Björn Regnell
Anders Wesslen: Experimentation in Software Engineering, Lund University, Schweden
• Stefan Opferkuch: Eine Untersuchung zum Einsatz komplexer Simulationsmodelle in der Projektmanagementausbildung, Diplomarbeit, 2002
• Wolfram Twelker: Experimente in Medizin, Psychologie und Informatik im Stilvergleich, Seminararbeit, 2005
• Jörg Eggermann: Konzept und Realisierung eines Werkzeuges zur Charakterisierung und Analyse von Software-Engineering Experimenten, Bachelorarbeit, 2005
24