Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

24
Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009

Transcript of Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Page 1: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Einführung in das Thema Testgütekriterien

Wutke WS 2008 - 2009

Page 2: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Hauptgütekriterien

Die klassischen 3 Gütekriterien zur Beurteilung der Güte eines Tests sind

• Objektivität• Reliabilität• Validität

Page 3: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Nebengütekriterien

Weitere Kriterien zur Beurteilung der Güte eines Tests sind:

• Umfang der Normierungen• Testfairness• Vergleichbarkeit mit anderen Tests• (Ökonomische) Nützlichkeit des Tests• Spezifische Nützlichkeit

Page 4: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Objektivität Ist ein Maß dafür, inwieweit die Ergebnisse einer Testung

unabhängig von der Person des Testleiters und des Auswerters sind

Objektivität gliedert sich in die 3 Aspekte1. Durchführungsobjektivität2. Auswerteobjektivität3. Interpretationsobjektivität

Page 5: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Durchführungsobjektivität

• Ist ein Maß dafür, inwieweit die Ergebnisse eines Tests von den Durchführungsbedingungen abhängig sind

• Durchführungsobjektivität kann erhöht werden durch maximale Standardisierung der Testsituation (Material, Situation, Testanweisung usw.)

• Durchführungsobjektivität kann erhöht werden durch minimale soziale Interaktionen zwischen Testperson und Testleiter

Page 6: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Auswerteobjektivität

• Ist ein Maß dafür, inwieweit ein Testergebnis von der Auswertung samt Auswertefehler des Auswerters abhängt

• Auswerteobjektivität kann erhöht werden durch gebundene Antworten, z.B. Kreuze auf Skalen

• Auswerteobjektivität kann erhöht werden durch Scanner-Auswertung der Testbögen

• Auswertobjektivität kann erhöht werden durch Computer-gestützte Auswertung

Page 7: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Interpretationsobjektivität

• Ist ein Maß dafür, inwieweit die Ergebnisse eines Tests von den interpretativen Schlüssen abhängt, die ein Testleiter vornimmt

• Interpretationsobjektivität wird erhöht, wenn aus den Punktwerten auf die individuelle Position auf einer Merkmalsdimension geschlossen wird

• Interpretationsobjektivität wird erhöht, wenn mittels Regressionsvorhersage auf Kriterien geschlossen wird

• Interpretationsobjektivität wird erniedrigt, wenn Intuition und Erfahrung des Testleiters einen Schluss begründen

Page 8: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Reliabilität

Reliabilität ist ein Maß für die Genauigkeit, mit eine Test ein zu messendes Merkmal erfasst

Reliabilität ist definiert als Quotient aus der Varianz der wahren Werte durch Varianz der beobachteten Werte

Reliabilitätskoeffizienten liegen zwischen 0 und +1 (und entsprechen statistisch nicht einer Korrelation, sondern einem Determinationskoeffizienten!)

Page 9: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Realiabilitätsschätzungen

Reliabilitäten werden nicht gemessen, sondern geschätzt!

Reliabilitäten können auf mehrere Weise geschätzt werden:

1.durch Testwiederholung (Retest-Reliabilität)2.durch Paralleltests3.durch Testhalbierung (Split-half-Methode)4.durch Konsistenzanalyse (z.B. Cronbach‘s α)

Page 10: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Testwiederholungsmethode

• Wenn man 1 Test zu 2 Zeitpunkten (Retest) vorgibt, kann man aus der Korrelation der Testwerte die Reliabilität schätzen – wenn die wahren Werte konstant sind!

• Bei der Festlegung des Zeitabstandes zwischen erster und zweiter Testung sollten Erinnerungs- und Übungseffekte vermieden werden

• Bei Persönlichkeitsfragebogen gibt die Retest-Reliabilität einen Hinweis auf die Stabilität des untersuchten Merkmals (Traits)

Page 11: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Paralleltestmethode

• In der klassischen Testtheorie der Königsweg zur Schätzung der Reliabilität: man konstruiert zwei parallele Tests, baut also aus einem Itempool zwei äquivalente Formen A und B (z.B. Mittelwert und Varianz gleich, Korrelation der Werte nahe 1, Korrelationen mit anderen Tests gleich)

• In der Praxis ist die Konstruktion paralleler Tests sehr aufwändig und wird nur noch selten gemacht

• Es lassen sich auch nicht in allen Bereichen äquivalente Testformen entwickeln (z.B. bei Kreativitätstests)

Page 12: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Testhalbierungsmethode

• Wenn man 1 Test durchführen lässt und ihn nachträglich in 2 äquivalente Hälften teilt, kann man diese Hälften korrelieren und mittels der Spearman-Brown-Formeln die Reliabilität des ganzen Tests schätzen (hochrechnen)

• Es gibt verschiedene Methoden zur Halbierung eines Tests:• Odd-even-Methode – Trennung in gradzahlige und

ungradzahlige Items• Trennung in erste und zweite Testhälfte• Aufteilung nach Zufall• Bildung von Item-Paarlingen mit annähernd gleicher

Trennschärfe und Schwierigkeit, Verteilung nach Zufall

Page 13: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Konsistenzanalysen• Man kann einen Test in so viele Teile zerlegen wie er Items hat

und die Korrelationen zwischen den Items ermitteln. Mit unterschiedlichen statistischen Methoden kann man diese Korrelationen „hochrechnen“ auf die Länge der ganzen Skala:

1. mit den Kuder-Richardson-Formeln2. mit Cronbachs α3. mit varianzanalytischen Methoden• Alle diese Verfahren schätzen die Reliabilität über die interne

Konsistenz des Tests• Weil Testhalbierungsmethode und Konsistenzanalyse auf einer

einzigen Testvorgabe basieren, geht nur wenig Fehlervarianz ein: die Reliabilitätsschätzungen sind in der Regel höher als mit anderen Methoden

• Was will man mehr: mit weniger Aufwand bessere Ergebnisse!

Page 14: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Validität Die Validität oder Gültigkeit gibt an, inwieweit ein Test das

intendierte Persönlichkeitsmerkmal tatsächlich erfasst Nach klassischer Testtheorie kann ein Test, der nicht reliabel

ist, auch nicht valide sein Allerdings kann es sein, dass ein reliabler Test nicht valide ist

– ein solcher Test erfasst etwas genau, nur nicht das, was man erfassen möchte

Schätzungen der Reliabilität und Bestimmung der Validität sind 2 unabhängige Prozeduren!

Page 15: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Bestimmung der Validität

Bezüglich der Validität können verschiedene Aspekte (Validitätsarten) erfasst werden:

1.Inhaltliche Validität (face validity)2.Kriteriumsvalidität

(mit prädiktiver und konkurrenter Validität)3.Konstruktvalidität

Page 16: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Inhaltliche Validität

• Wenn die Items des Tests eine repräsentative Stichprobe aus dem zu erfassenden Merkmalsbereich sind, kann die Validität mittels eines Repräsentationsschlusses ermittelt werden (Beispiel: Geographie-Fragen zur Erfassung des Merkmals Geographiewissen)

• Inhaltliche Validität lässt sich quantitativ abschätzen, wenn man Experten urteilen lässt, inwieweit die Items das Merkmal erfassen. Die Beurteilerübereinstimmung lässt sich numerisch berechnen

Page 17: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Kriteriumsvalidität

• Wenn ein (messbares) (Außen-)Kriterium vorliegt, kann man die Validität schätzen als Korrelation zwischen Testwerten und Kriteriumswerten (Beispiel: Schulnoten als Kriterium für Intelligenztests)

• Diese Korrelation kann zwischen -1 und +1 liegen• Die Höhe der Korrelation hängt ab von1. der Reliabilität des Tests2. der Reliabilität des Kriteriums3. den inhaltlichen Gemeinsamkeiten von Test und Kriterium

Page 18: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Kriteriumsvalidität

• konkurrente Validität: Testwerte und Kriteriumswerte werden zum gleichen Zeitpunkt erhoben

• prädiktive Validität: zuerst werden die Testwerte erhoben, unter Umständen viel später die Kriteriumswerte

• Von besonderem Interesse ist die prädiktive Validität z.B. bei Schuleingangstests: wie gut sagen sie den späteren

Schulerfolg voraus? bei Abiturnoten: wie gut sagen sie den späteren

Studienerfolg voraus? bei Persönlichkeitsmerkmalen: wie gut sagen sie den

Berufserfolg voraus?

Page 19: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Konstruktvalidität• Validierung als kontinuierlicher Prozess• Zeigen die Messungen des Messinstrumentes den theoretisch

erwarteten Zusammenhang mit Messungen anderer Messinstrumente? • Bezüglich des zu validierenden Konstrukts werden möglichst viele

Hypothesen bezüglich Personen mit unterschiedlichen Testscores generiert und mit möglichst verschiedenen Methoden untersucht

• z.B. multitrait-multimethod analysis• die verschiedenen Methoden zur Erfassung eines Konstrukt sollten hoch

korrelieren (konvergente Validität)• die mit einer Methode erfassten verschiedenen Konstrukte sollten

niedrig korrelieren (diskriminante Validität)

Page 20: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Normierung• Normierungen geben ein Bezugssystem, um individuelle Testwerte mit

einer Bezugsgruppe vergleichen zu können• Für welche Referenzgruppen (Alter, Geschlecht, Bildung, Berufe usw.)

liegen Normen vor? • Wie groß und wie repräsentativ sind die Normierungsstichproben?• Wie aktuell sind die Normen?• Welche Art der Normierung liegt vor?1. (Alters-)Äquivalentnormen2. Abweichungsnormen (meist bezogen auf eine Normalverteilung)3. Prozentrangnormen

Page 21: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Beispiele für Normmaßstäbe

Skala M s Üblicher Bereich

z-Werte 0 1 -3 bis +3

IQ-Werte 100 15 70 bis 130

Z-Werte 100 10 70 bis 130

T-Werte 50 10 30-70

Centile 5 2 1 bis 9

Stanine 5 2 [1 bis 9]

Sten 5,5 2 [1 bis 10]

Page 22: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Testfairness• Werden Personengruppen z.B. nach Alter, Geschlecht, Regionen,

kultureller und sozioökonomischer Zugehörigkeit gleich (fair) behandelt, haben sie die gleichen Chancen auf ein entsprechendes Testergebnis?

• Quotenmodell: in der Stichprobe der ausgewählten Bewerber sind die Proportionen der Gruppen gleich wie in der Bewerberpopulation

• Regressionsmodell: die Regressionsgeraden vom Test auf das Kriterium sind in allen Gruppen gleich

• Modell konstanter Verhältnisse: der Quotient aus Zahl der durch die Testung ausgewählten Bewerber und der Zahl der im Kriterium Erfolgreichen (base rate) ist gleich

Page 23: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Testökonomie

• Was kostet die Anschaffung des Tests? (bei Computertests braucht man teure Basistools)

• Was kostet die Testdurchführung? • Was kosten Auswertung und Interpretation?• Steht der Aufwand an Zeit und Geld im richtigen

Verhältnis zum möglichen Nutzen des Verfahrens? • Werden die Informationen des Tests für die aktuelle

diagnostische Entscheidung wirklich benötigt?

Page 24: Einführung in das Thema Testgütekriterien Wutke WS 2008 - 2009.

Vergleichbarkeit mit anderen TestsSpezifische Nützlichkeit

• Vergleichbarkeit:liegen Korrelationen mit Tests vor, die gleiche oder ähnliche Konstrukte erfassen?

• Spezifische Nützlichkeit:ist das Verfahren auch geeignet für die Beantwortung von speziellen Fragestellung, z.B. einer Auswahl für einen speziellen Beruf?