Studiendesign/Evaluierungsdesign

Praxisprojekt: „Nutzerorientierte Evaluierung von

Visualisierungen in Daffodil mittels

Eyetracker“

Jennifer Ziegert

   

Warum Studien­/Evaluierungsdesign

Das Design einer Untersuchung ist anzulegen, um einen gezielten und kontrollierten Vergleich der empirisch feststellbaren Sachverhalten mit den Hypothesen ableitbaren Behauptungen über die Realität zumachen

Evaluierung = Bewertung, Analyse vom Projekt

   

Inhalt

• Fragestellung erarbeiten• Literaturstudium• Hypothesen formulieren• Statistische Methoden• Planen• Untersuchungen durchführen• Ergebnisse interpretieren• Publizieren

   

Fragestellung

Klare Fragestellung erarbeiten, Begriffe definieren: Unumgänglich für Planung, Durchführung und Interpretation. Schlampige (unklare) Fragestellung rächt sich, die Statistik kann Fehler bei Fragestellung, Studiendesign oder Methodenwahl nicht im nachhinein gutmachen.

   

Hypothese(n) formulieren• Hypothese(n) formulieren -

Hypothesen sind (begründete) Vermutungen über Sachverhalte. Sie werden auf dem Boden vorhandenen 'Wissens' aufgestellt. Es muss klar sein, was man unter welchen Umständen und warum erwartet, und wie diese Erwartungen allenfalls widerlegt werden können (Falsifizierbarkeitskriterium für naturwissenschaftliches Vorgehen: Jede Behauptung muss im Prinzip durch Beobachtung / Experimente widerlegbar sein).

   

Es gibt beschreibende, analytische und Experimentelle Studien, die für unser Projekt zurAnwendung kommen sollten. Für die verschiednenStudiendesigns gibt es Vor­ und Nachteile.Dazu später mehr.

Es wird zwischen beschreibenen (deskriptiven), analytischeUnd experimentellen Studien unterschieden

Studienarten

   

Studienarten

Querschnitt StudienKorrelationsstudien

Deskriptive Studien

Fall- Kontroll- StudienKohortenstudien

Analytische Studien

Randomisierte Studien

Experimentelle Studien

Studiendesign

   

Als Verzerrung (Bias) wird in der Statistik die mittlere Abweichung einer Schätzung von dem zu schätzenden Wert bezeichnet, also der Erwartungswert des Schätzfehlers.In der Praxis kann eine Verzerrung zwei Ursachen haben:einen systematischen Fehler, also ein nicht­zufälliger Messfehler in der Apparatur, oder einen zufälligen Fehler, dessen Erwartungswert ungleich 0 ist. Zufällige Fehler können aus zufälligen Messfehlern resultieren, aber auch Fehlinterpretationen des Modells als Ursache haben.Potenzielle Einflussfaktoren wie systematische Verzerrung(Bias) und Störgrößen(Confounder) müssen bei der Planung einer Studie berücksichtigt werden.

Bias

   

Bias

Bias können bei der Auswahl der Probanden (Studenten) entstehen, diese nennt man dann Auswahl­ Bias oder Selektions­ Bias. Zudem gibt es noch so genannte Beobachtung­Bias, die beider Datenerhebung auftreten können.

   

Grundgesamtheit&Stichprobe

• Totalerhebung in der Praxis unmöglich

• Stichprobe: Systematisch geleitete Entnahme von Ereignissen oder Merkmalen der Grundgesamtheit

• Größe der Stichprobe entscheidet übe die Qualität

• Ergebnisse von Erhebung lassen Aussagen über die Grundgesamtheit zu

• Je größer die Stichprobe desto eher kann Repräsentativität erreicht werden

   

Deskriptive&analytische Studien• Beobachtende Studienform• Es wird nicht aktiv ins Geschehen eingegriffen• beschreibende Statistik ­ sie vermittelt Verfahren zur 

übersichtlichen Darstellung von Untersuchungsergebnissen 

• (Mittelwert, Streumaße)• Mittels beschreibender Statistik werden 

Häufigkeitsverteilungen ermittelt, Kenngrößen für die Streuung von Merkmalsausprägungen angegeben ­ z.B. als Standardabweichung um den Mittelwert. Der Zusammenhang von Merkmalen und die Abhängigkeit eines Merkmals von einer Einflussgrösse (Regression)werden dargestellt.

   

Experimentelle Studien

• Es wird aktiv eingegriffen• Parameter systematisch verändert und 

beeinflusst• Schätz­ und Testverfahren, ermöglicht 

die Prüfung von Hypothesen durch statistische Tests.

   

Statistische MethodenKorrelative Verfahren

• Berechnung der Parameter ;Welche Skalenniveaus haben die Variablen:Norminal­, Ordinal­, Intervall­, Ratioskala

• Kausalität vs Korrelation• Nullhypothese• Signifikanz

   

Nullhypothese

• „Alles ist zufällig“(nicht signifikant)• Abweichung nur durch fehlerbehaftete 

Stichprobenentnahme• Mittwerttest überprüft dies• Als (oft zu falsifizierende) Nullhypothese 

definiert man im allgemeinen die Vermutung, dass zwischen zwei zu vergleichenden Stichproben =Teile der Gesamtheit, kein Unterschied besteht. Die Wahrscheinlichkeit, dass diese Vermutung zutrifft, ist umso kleiner, je eindeutiger der Unterschied ist.

   

Signifikanz• Wenn diese Wahrscheinlichkeit unter 5% liegt, ist 

man von einem realen Effekt überzeugt und spricht von einem signifikanten Ergebnis.Die Wahl dieses 'Schwellenwerts' ist willkürlich; je niedriger der p­Wert, desto überzeugender ist das Ergebnis. 

• Wahrscheinlichkeit gering, dass Unterschiede oder Zusammenhänge durch Zufall zustande gekommen sind

• Wahrscheinlichkeit, dass H0 zu unrecht verworfen wird : < 5%

   

Regressionsanalyse

• Analyse von Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen 

• Einfache Regressionsanalyse Y=f(x1)• Multible Regressionsanalyse 

Y=f(x1,x2,x3,...xj....xJ)• Die Variationen der Variable Y lassen sich nie 

vollständig durch eine Begrenzte Menge von einer unabhängigen Variablen erklären

• Es gibt hier auch immer Störgrößen (Bias)

   

Faktorenanalyse

• Reduzierung der Variablen• Übersichtlichkeit• Bessere Interpretationsmöglichkeiten• Analyse von unabhängigen Variablen• Durch untersuchen eine der Korrelation 

untereinander werden diese zu sinnvollen Faktoren gruppiert

   

Diskriminanzanalyse

• Die Diskriminanzanalyse stellt Unterschiede zwischen Gruppen fest

• Anhand welcher man dann für zukünftige Befragte versucht eine Vorhersage für die Gruppenzugehörigkeit zu machen

   

Untersuchung durchführen

• Dabei muss klar sein, welche Methoden wann, wie, warum und von wem verwendet werden, um Fehlerquellen auszuweichen; unter welchen Umständen Beobachtungen / Probanden zugelassen (Einschlußkriterien) oder ausgeklammert werden (Ausschlußkriterien); wie im Falle von Störungen zu verfahren ist (z.B.Bias)

   

Planen• Planung der Beobachtungen / Experimente - Ziel der

Beobachtungen ist die Beantwortung der gestellten Frage(n) durch Verwerfen oder Akzeptieren der aufgestellten Hypothese(n) mittels statistischer Verfahren. So kann eine Untersuchung rein beobachtend sein, z.B. retrospektiv den Einfluß einer bestimmten Maßnahme alleine nachzuvollziehen versuchen (deskriptive Studie) oder im Vergleich zum Verlauf in einer Kontrollgruppe (retrospektive Studie, sie kann fragen, was gegenwärtig vorgeht (Querschnittstudie), oder was - im Vergleich zu einer Kontrollgruppe - unter Einwirkung einer Maßnahme geschehen wird (prospektive Studie,). Oder die Studie ist experimentell, möglichst kontrolliert. Bei der Auswahl der Studienteilnehmer (Probanden) muß sichergestellt werden, daß keine systematischen Verzerrungen (bias) unterlaufen

• Fragebögen (Validität)• Logische Regression

   

Ergebnisse interpretieren

• Durch biometrische Verfahren. Die Statistik.Kontrollierte Studien sollen die Frage beantworten, ob signifikante(u-und t-tests) Effekte bestehen (=Unterschiede im entsprechenden Merkmal ausreichend wahrscheinlich).

   

Schlussfolgerungen ziehen

• was bedeuten die Ergebnisse für die praktische Anwendung? Sind sie relevant / repräsentativ für eine andere Teil- bzw. für die Gesamtpopulation? Wenn ja, unter welchen (z.B. zeitlichen) Bedingungen? Sind die Ergebnisse statistisch signifikant?

   

Publizieren

• Die Publikation wird wiederum von anderen Forschern zur Formulierung ihrer Studien mit herangezogen.

• Ist eine klare Fragestellung und Zielsetzung erkennbar?

• Wird der Aufbau der Studie den Zielsetzungen gerecht? • Sind die verwendeten Methoden und Maßnahmen

adäquat, eindeutig und ausreichend dargestellt?• Welche statistischen Verfahren wurden angewandt? • Sind die Ergebnisse klar und ausreichend dargestellt?• Werden angemessene Schlussfolgerungen gezogen?• Ist die zitierte Literatur adäquat und ausreichend?• In welcher Zeitschrift ist die Arbeit erschienen?

   

Literatur

• Projektdurchführung und Studiendesign, Prof.Dr.Thomas Schäfer,2003

• Empirische Sozialforschung, Helmut Kromrey,2006

• Deskreptive Statistik, Skript Vorlesung Prof. Kern, 2007

• Studiendesign, Helmut Hinghofer­Szalkay, 2000-2002