Albert-Ludwigs-Universität FreiburgSeminar TestkonstruktionDozent: LeonhartReferentinnen: Daniela Wahl, Sabine Hehn

Ermittlung von ItemrohwertenTrennschärfeanalyse

(Bühner Kap. 3.4, 3.5)

Ermittlung von Itemrohwerten

● 1. Definitionen● 2. Ermittlung des Itemrohwerts● 3. Verteilungsmaße● 4. SPSS● 5. Schwierigkeitsindex ● 6. Schwierigkeitskorrektur

1. Definitionen

Probandenrohwert● Wert einer Person über alle Items gemittelt● Einfache oder korrigierte Probandenrohwerte

Itemrohwert: ● gemittelter Wert aller Probanden bei der Beantwortung eines Items

●Skalenwert / Untertestkennwert:● Wie Itemrohwert, jedoch können die einzelnen Items unterschiedlich gewichtet sein

2. Ermittlung des Itemrohwerts mit Zufallskorrektur

Zufallskorrektur berücksichtigt die Anzahl der Antwortkategorien

Wird meist bei Leistungstests durchgeführt

Je größer die Anzahl der vorgegebenen Antwortkategorien, desto geringer die Wahrscheinlichkeit, hohe Itemrohwerte durch Raten zu erzielen

Ermittlung des zufallskorrigierten Personenrohwerts bei Mehrfachwahlaufgaben:

Xi = Ri – Fi / (m – 1), wobei m = Anzahl der Wahlmöglichkeiten Ri = Anzahl der Richtigen Fi = Anzahl der Falschen

3. Verteilungen: Maße der zentralen Tendenz und Dispersion

Normalverteilung: glockenförmiger Verlauf, symmetrisch. Zwischen einer Standardabweichung links und rechts vom Mittelwert liegen 68 % der Probanden, zwischen zwei 95 %.

Verteilungen werden durch Histogramme dargestellt. X-Achse: Item-, Skalen oder Testwert Y-Achse: Häufigkeit der Probanden (N oder N %)

Wichtigste Kennwerte: Maße der zentralen Tendenz: Mittelwert, Median, Modus/ModalwertMaße der Dispersion: Standardabweichung, Quartilsabstand, RangeZusätzlich: Schiefe, Exzess

Je nach Skalenart und Verteilungsform: unterschiedliche Maße zur Beschreibung der Skalen

3. Verteilungen: Maße der zentralen Tendenz und Dispersion

1) nominale / kategoriale Items: Modus2) ordinale Items: Median und Interquartilsabstand3) intervallskalierte Items: Mittelwert, Standardabweichung

Für den Median und den Interquartilsabstand können die Perzentile aus der Häufigkeitsverteilung abgelesen werden (SPSS: Analysieren, Deskriptive Statistiken, Häufigkeiten).

Perzentil: Punkt einer Verteilung, unter dem sich ein bestimmter Prozentsatz der Verteilung befindet

4. Prüfung auf Normalverteilung mit SPSS

Kolmogorov-Smirnov-Test + Inspektion (Histogramm) der Itemverteilungen

SPSS: Analysieren, Nichtparametrische Tests, K-S-Test bei einer Stichprobe. Haken bei Testverteilung Normal setzen. Variablen markieren, in das Testvariablen-Fenster einfügen, die zu prüfende Testverteilung angeben, auf OK klicken.

Weitere Auswertungsoptionen im Menü-Fenster K-S bei einer Stichprobe

Interpretation: Asymptotische Signifikanz (2-seitig) < .05 bzw. z > 1.96: signifikante Abweichung von einer Normalverteilung

Mögliches Problem: Stichprobengröße

5. Schwierigkeitsanalyse

Die Schwierigkeit eines Items hängt ab:

1) von der Anzahl der Probanden, die das Item falsch beantwortet haben2) von der Anzahl der Antwortalternativen.

Mehr Antwortalternativen: Ratewahrscheinlichkeit sinkt

Möglichkeit, den Effekt des Ratens zum Teil zu kontrollieren: Probanden darauf hinweisen, ein Item auch dann zu beantworten, wenn sie die Lösung nicht wissen

5. Schwierigkeitsindex ohne Korrektur (Persönlichkeitstests)

P = NR * 100 / N

wobei

NR

= Anzahl der Probanden, die die Aufgabe richtig gelöst habenN = Anzahl aller Probanden

Je höher der Prozentwert, desto leichter die Aufgabe

Beispiel:

P = 240 * 100 / 360 = 66.6

6. Schwierigkeitsindex mit Zufallskorrektur (Leistungstests)

PZK

= ((NR – N

F / (m-1)) / N) * 100

NF = Anzahl der Probanden, die die Aufgabe falsch gelöst haben

NR

= Anzahl der Probanden, die die Aufgabe richtig gelöst habenN = Anzahl aller Probandenm = Anzahl der Wahlmöglichkeiten

Bei Leistungstests wird eher geraten als bei Persönlichkeitstests.Problem: dichotome Items

Beispiel: PZK =

((240 – 120 / (5-1) ) / 360 ) * 100 = 58.3

6. Schwierigkeitsindex mit Inangriffnahmekorrektur

Ratekorrektur.Beispielsweise bei Intelligenztests oder bei zeitbegrenzten Niveautests, bei denen nicht alle Aufgaben von allen Probanden gelöst werden

PIK = N

R * 100 / N

B

NB = Probanden, die die Aufgabe bearbeitet haben

6. Schwierigkeitsindex mit Zufallskorrektur und Inangriffnahmekorrektur

Raten oder Zeitmangel werden berücksichtigt

PZK-IK

= (NR – (N

F / (m – 1)) / N

B) * 100

Beispiel:

PZK-IK =

(240 – (40 / 5-1)) / 280) * 100 = .82

6. Beziehung des Schwierigkeitsindex zu anderen Werten

Mittlere Schwierigkeiten begünstigen die Itemhomogenität (Interkorrelation der Items) und ermöglichen eine hohe Differenzierung zwischen den Probanden.

Extreme Schwierigkeiten ermöglichen eine Differenzierung in Randbereichen, führen aber meist zu reduzierter Homogenität und reduzierten Trennschärfen.

Darum wird eine breite Streuung der Schwierigkeitskoeffizienten angestrebt.

Ermitteln von deskriptiven Statistiken mit SPSS

SPSS: Statistiken, Zusammenfassen, Deskriptive Statistiken. Gewünschte Variablen markieren und übertragen. Optionen, gewünschte Statistik markieren.Bei deskriptiven Statistiken: Minimum und Maximum eignen sich, um Eingabefehler bei Fragebogendaten zu kontrollieren. Bei dichotomen Daten drücken Mittelwerte den relativen Anteil an Probanden aus, die das Item richtig beantwortet haben. Anteil mit 100 multipliziert: Schwierigkeitsindex. Schwierigkeitsindex mit Inangriffnahmekorrektur: für jedes nicht gelöste Item das entsprechende Feld im SPSS-Datenfenster leer belassen und für eine falsche Antwort „0“, für eine richtige „1“ eingeben. Schiefe und Exzess ermöglichen einen schnellen Check der Verteilungsform.

Trennschärfenanalyse

● 1. Begriffserklärung● 2. Berechnung von Trennschärfen● 3. Schwierigkeit und Streuung● 4. Fremdtrennschärfen● 5. Berechnung von Trennschärfen (SPSS)● 6.Trennschärfenanalyse (SPSS)● Beispiel: Freizeit

1.Begriffserklärung

● Trennschärfe: korrigierte Korrelation einer Aufgabe mit einer Skala (Prototyp)

● Eigentrennschärfe: Skala, die aus aufsummierten/gemittelten Items besteht (inhaltlich gleich)

● Fremdtrennschärfe: Korrelation mit anderen Kriterien

● Zwischen -1 und 1

1.Begriffserklärung● Part-whole-Korrektur: Eigentliches Item aus

Berechnung rausnehmen

● Auswirkung: bei vielen Items sinkt Einfluss der

Korrektur auf Trennschärfe, auch bei zunehmender

Homogenität (Redundanz)

● Negative Trennschärfen: wollen wir nicht, umpolen mit

SPSS

● Verzerrte Trennschärfen: durch extreme Streuungen

oder Ausreißer

1.Begriffserklärung

● Reliabilität: je ungenauer Erfassung desto unwahrscheinlicher hohe Trennschärfen

● Keine Transformationen nach „unten“, da wichtige Infos verloren gehen

2.Berechnung von Trennschärfen● Produkt-Moment-Korrelation

Intervallskalierte Items und Skala Gefahr bei Ausreißern und Extremwerten (artifiziell erhöhte

bzw. erniedrigte Korrelation (Streudiagramm)

r j(t-j) = rjt * St – Sj / (√ (S t² + Sj ² - 2*rjt * St * Sj))

mit j(t-j) = Trennschärfekoeffizient der Aufgabe j mit der Skala t,

bei der Aufgabe j nicht berücksichtigt istrjt = Korrelation des Items j mit der Skala t Sj = Standardabweichung des Items jSt = Standardabweichung der Skala t

2.Berechnung von Trennschärfen

● Punktbiserale Korrelation Dichotome Items mit Intervallskala

r j(t-j) = rjt * St - √(pj * qj) / (√ (S t² + pj * qj - 2*rjt * St * √(pj * qj) )

mit j(t-j) = Trennschärfekoeffizient der Aufgabe j mit der Skala t,

bei der Aufgabe j nicht berücksichtigt istrjt = Korrelation des Items j mit der Skala t pj = Schwierigkeitsindex des Items jqj = 1 - pj

St = Standardabweichung der Skala t

3.Schwierigkeit und Streuung

● Mittlere Schwierigkeiten am besten (beste Differenzierung)

● Bei Intervallskalenniveau Decken-, Bodeneffekte bei Ausnutzen der Streuung bis an den Rand

● Hohe Streuungen können hohe Trennschärfen begünstigen

3.Schwierigkeit und Streuung● Es können auch bei gleicher Schwierigkeit

unterschiedliche Trennschärfen auftreten

● ICC`s (Item Characteristic Curves) Je steiler Anstieg, desto größer Trennschärfe

● Homogen mittelschwere Items differenzieren am besten bei mittelschwerer Mermalsausprägung

● Bei mittelschweren Items größte Streuungen

ICC`s

4.Fremdtrennschärfen

● Fremdtrennschärfen maximieren Kriteriums-Validität eines Tests

● Eigentrennschärfen maximieren Homogenität eines Tests

● Unterschied zur Validität: Es werden nur einzelne Items mit Kriterium korreliert

5.Berechnung von Trennschärfen (SPSS)

● Analysieren/Skalieren/Reliabilitätsanalyse

● Entsprechende Items einfügen

● Itemlabels anzeigen, wenn nur Reliabilität ohne Trennschärfe berechnet werden soll

● Statistik: Haken bei: Deskriptive Statistiken/Skala, wenn Item gelöscht und Item (für Schwierigkeit)

6.Trennschärfenanalyse (SPSS)

● Mittelwerte (Schwierigkeit) und Streuungen betrachten

● Items mit geringen Trennschärfen senken Cronbach-Alpha (Reliabilität)

6.Trennschärfenanalyse (SPSS)

● Neue Datendatei öffnen: Itemnummer, Trennschärfe, Itemschwierigkeit, Itemstreuung

● Dann Streudiagramme: Grafiken/Streudiagramme/Einfach

1. Schwierigkeit und Trennschärfe 2. Schwierigkeit und Streuung 3. Streuung und Trennschärfe

6.Trennschärfenanalye (SPSS)● Zu 1.

Niedrige Trennschärfe kann auch mit der Verteilung des Items oder einer niedrigen Schwierigkeit zusammenhängen

● Zu 2. Hier kann man Decken- oder Bodeneffekt erkennen Es können auch extreme (hohe/niedrige) Schwierigkeiten

entdeckt werden ( bei niedrigeren Streuungen)● Zu 3.

Bei hoher Streuung und niedriger Trennschärfe weitere Analyse notwendig( z.B: Antwortstrategien mitHistogrammen aufdecken)

6.Trennschärfenanalyse (SPSS)

● Boxplot

● Zuerst: Summenwert einer Skala ohne Item berechnen: Transformieren/Berechnen/ Zielvariable benennen/alle Items außer betreffendes addieren

● Boxplot: Grafiken/Boxplot/Definieren/Variable: Summenwert/Kategorienachse: Item/Fallbeschriftung: Variable Vpn

● Median sollte ansteigen

Beispiel: Freizeit

Itemschwierigkeit Freizeit

5,0

4,8

4,6

4,4

4,2

4,0

3,8

3,6

3,4

3,2

3,0

2,8

2,6

2,4

2,2

2,0

1,8

1,6

1,4

1,2

1,0

,8

,6

,4

,2

0,0

Tre

nn

sch

ärf

e F

reiz

eit

1,0

,9

,8

,7

,6

,5

,4

,3

,2

,1

0,0

47

42

41

27

16

Beispiel: Freizeit

Itemschwierigkeit Freizeit

5,0

4,8

4,6

4,4

4,2

4,0

3,8

3,6

3,4

3,2

3,0

2,8

2,6

2,4

2,2

2,0

1,8

1,6

1,4

1,2

1,0

,8

,6

,4

,2

0,0

Ite

mst

reu

un

g F

reiz

eit

2,01,91,81,71,61,51,41,31,21,11,0,9,8,7,6,5,4,3,2,1

0,0

4742

41

27

16

Beispiel: Freizeit

Itemstreuung Freizeit

1,5

1,4

1,3

1,2

1,1

1,0

,9

,8

,7

,6

,5

,4

,3

,2

,1

0,0

Tre

nn

sch

ärf

e F

reiz

eit

1,0

,9

,8

,7

,6

,5

,4

,3

,2

,1

0,0

47

42

41

27

16

Beispiel: Freizeit

69601682N =

In meiner Umgebung habe ich ausreichende Möglichkeiten für die Freizeitg

54321

OH

NE

41

30

20

10

0

156102

134

Beispiel: Freizeit

14438312814N =

Neben meinem Beruf/Studium bleibt genug Zeit für Freizeitaktivitäten.

99954321

OH

NE

47

30

20

10

0

1412714747892

517594

8253

12065

23