Das dichotome Das dichotome Rasch-ModellRasch-Modell

Sabrina Rinder (0602848), Mira Seitzer (0606616), Dominik Herrmannsdörfer Sabrina Rinder (0602848), Mira Seitzer (0606616), Dominik Herrmannsdörfer (0606619), Martin Schallert (0305866)(0606619), Martin Schallert (0305866)

Forschungspraktikum 2008, Prof. GabrielForschungspraktikum 2008, Prof. Gabriel

Testtheorien: Klassische vs. Testtheorien: Klassische vs. Probabilistischer TesttheorieProbabilistischer Testtheorie

Psychologischer Test:Psychologischer Test:- Wissenschaftliches Routineverfahren zur Wissenschaftliches Routineverfahren zur

Untersuchung einer oder mehrerer empirisch Untersuchung einer oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen den relativen Grad der individuellen Merkmalsausprägung.Merkmalsausprägung.

- Spezielles, psychologisches Experiment mit dem Spezielles, psychologisches Experiment mit dem Ziel, vergleichende Aussagen über Personen Ziel, vergleichende Aussagen über Personen abzuleiten. abzuleiten.

TesttheorienTesttheorien

Testtheorie:Testtheorie:- Theorie darüber, wie das zu erfassende Theorie darüber, wie das zu erfassende

psychische Merkmal der Person ihr Verhalten im psychische Merkmal der Person ihr Verhalten im Test beeinflusst. Test beeinflusst.

TesttheorienTesttheorien

TestmodelleTestmodelle::

- Spezielle formale Modelle, die durch die Art der Spezielle formale Modelle, die durch die Art der empirischen Daten, auf die sie sich anwenden empirischen Daten, auf die sie sich anwenden lassen, definiert werden. lassen, definiert werden.

1) Klassische Testtheorie (KTT)1) Klassische Testtheorie (KTT)- Die Annahmen der klassischen Testtheorie beziehen Die Annahmen der klassischen Testtheorie beziehen

sich auf vorliegende, fehlerbehaftete Messwerte von sich auf vorliegende, fehlerbehaftete Messwerte von Personen ( Allg. Messfehlertheorie).Personen ( Allg. Messfehlertheorie).

- Sie bestehen aus bestimmten Aussagen über den Sie bestehen aus bestimmten Aussagen über den Messfehler dieser Messwerte. Messfehler dieser Messwerte.

- Die Existenz von Messwerten wird somit Die Existenz von Messwerten wird somit vorausgesetzt.vorausgesetzt.

- Für die klassische Testtheorie lassen sich die Für die klassische Testtheorie lassen sich die Grundannahmen in fünf Axiome ausdrücken. Grundannahmen in fünf Axiome ausdrücken.

- Auf der Basis dieser Axiome sind drei Auf der Basis dieser Axiome sind drei Testgütekriterien definierbar, die die Qualität eines Testgütekriterien definierbar, die die Qualität eines Tests angeben: Objektivität, Reliabilität und ValiditätTests angeben: Objektivität, Reliabilität und Validität

Axiome der KTTAxiome der KTT

1. 1. Das Testergebnis setzt sich additiv aus demDas Testergebnis setzt sich additiv aus dem„„wahren Wert“ (True Score: T) und dem wahren Wert“ (True Score: T) und dem Messfehler (Error Score: E) zusammen:Messfehler (Error Score: E) zusammen:X = T + EX = T + E

2. 2. Bei wiederholten Testanwendungen kommt es Bei wiederholten Testanwendungen kommt es zu einem Fehlerausgleich, d.h. der Mittelwert zu einem Fehlerausgleich, d.h. der Mittelwert () des Messfehlers ist Null: (E) = 0 () des Messfehlers ist Null: (E) = 0 Der Mittelwert Der Mittelwert mehrerer unabhängiger Messungen an mehrerer unabhängiger Messungen an demselben Untersuchungsobjekt ist folglich demselben Untersuchungsobjekt ist folglich messfehlerfrei und repräsentiert den wahren messfehlerfrei und repräsentiert den wahren Wert: (X) = (T) + (E) = T + 0 = T.Wert: (X) = (T) + (E) = T + 0 = T.

Axiome der KTTAxiome der KTT3. Die Höhe des Messfehlers ist unabhängig vom 3. Die Höhe des Messfehlers ist unabhängig vom

Ausprägungsgrad des getesteten Merkmals, d.h. Ausprägungsgrad des getesteten Merkmals, d.h. wahrer Wert und Fehlerwert sind unkorreliert.wahrer Wert und Fehlerwert sind unkorreliert.

4. Die Höhe des Messfehlers ist unabhängig vom 4. Die Höhe des Messfehlers ist unabhängig vom

Ausprägungsgrad anderer Ausprägungsgrad anderer Persönlichkeitsmerkmale (T’). Persönlichkeitsmerkmale (T’).

5. Der Messfehler verschiedener Testanwendungen 5. Der Messfehler verschiedener Testanwendungen sind voneinander unabhängig.sind voneinander unabhängig.

2) Probabilistische Testtheorie 2) Probabilistische Testtheorie - Item-response-theory (IRT)Item-response-theory (IRT)

Die untersuchten Merkmale werden als latente Die untersuchten Merkmale werden als latente Dimensionen betrachtet und die einzelnen Dimensionen betrachtet und die einzelnen Testitems als Indikatoren dieser latenten Testitems als Indikatoren dieser latenten Dimensionen. Das heißt, manifeste Variablen Dimensionen. Das heißt, manifeste Variablen sind Indikatoren einer (postulierten) latenten sind Indikatoren einer (postulierten) latenten Dimension ξ (=Ausprägung od. Fähigkeit der Dimension ξ (=Ausprägung od. Fähigkeit der Person). Person).

Probabilistische TesttheorieProbabilistische Testtheorie

- Probabilistische Modelle gehen nicht vom Probabilistische Modelle gehen nicht vom Rohwert (Testwert X) aus, sondern setzten beim Rohwert (Testwert X) aus, sondern setzten beim einzelnen Item an. Jede beobachtete Antwort einzelnen Item an. Jede beobachtete Antwort (=Reaktion) einer Vpn ist von drei Komponenten (=Reaktion) einer Vpn ist von drei Komponenten abhängig:abhängig:

- Eigenschaften der Person (z.B. Fähigkeit)Eigenschaften der Person (z.B. Fähigkeit)- Eigenschaften des Items (z.B. Schwierigkeit)Eigenschaften des Items (z.B. Schwierigkeit)- Zufall (unkontrollierbare Einflüsse)Zufall (unkontrollierbare Einflüsse)

Probabilistische TesttheorieProbabilistische Testtheorie

- Beeinflusst die latente Variable nun die Beeinflusst die latente Variable nun die manifeste, so werden die Testitems miteinander manifeste, so werden die Testitems miteinander korrelieren.korrelieren.

- Wenn eine latente Dimension existiert, dann Wenn eine latente Dimension existiert, dann könnte man diese latente Dimension (statistisch) könnte man diese latente Dimension (statistisch) konstant halten u. die Zusammenhänge zw. den konstant halten u. die Zusammenhänge zw. den manifesten Variablen müssten verschwinden.manifesten Variablen müssten verschwinden.

3) Zusammenfassende Bewertung3) Zusammenfassende Bewertung

- KTT: Messergebnis = (messfehlerbehaftete) KTT: Messergebnis = (messfehlerbehaftete) Merkmalsausprägung;Merkmalsausprägung;

- IRT: Testergebnisse = Indikatoren latenter IRT: Testergebnisse = Indikatoren latenter Merkmale oder Verhaltensdispositionen; Merkmale oder Verhaltensdispositionen;

- Tests, die auf einem probabilistischen Tests, die auf einem probabilistischen Testmodell basieren, unterscheiden sich von Testmodell basieren, unterscheiden sich von „klassisch“ konstruierten Tests in der Regel „klassisch“ konstruierten Tests in der Regel dadurch, dass die Annahmen, die dem Test dadurch, dass die Annahmen, die dem Test zugrunde liegen, auch geprüft werden. zugrunde liegen, auch geprüft werden.

Zusammenfassende BewertungZusammenfassende Bewertung

- Die Entwicklung eines probabilistischen Tests ist Die Entwicklung eines probabilistischen Tests ist aufwendiger.aufwendiger.

- Die Überprüfung der klassischen Die Überprüfung der klassischen Testgütekriterien Reliabilität und Validität ist bei Testgütekriterien Reliabilität und Validität ist bei probabilistischen Tests schwierig.probabilistischen Tests schwierig.

- 95% aller Testentwicklungen wurden „klassisch“ 95% aller Testentwicklungen wurden „klassisch“ konstruiert konstruiert

Wofür Rasch?Wofür Rasch?

- Das Rasch-Modell stellt ein Prüfverfahren für Das Rasch-Modell stellt ein Prüfverfahren für psychologische Tests dar.psychologische Tests dar.

- Items, die nicht die gewünschte Fähigkeits-Items, die nicht die gewünschte Fähigkeits-dimension messen können selektiert werden.dimension messen können selektiert werden.

- Rohscores eines Tests werde aussagekräftig und Rohscores eines Tests werde aussagekräftig und können für Weiterberechnungen und Vergleiche können für Weiterberechnungen und Vergleiche herangezogen werden.herangezogen werden.

- Personenvergleiche werden möglich.Personenvergleiche werden möglich.

Grundbegriffe im Rasch ModellGrundbegriffe im Rasch Modell

Spezifische ObjektivitätSpezifische ObjektivitätStichprobenunabhängigkeitStichprobenunabhängigkeitEindimensionalitätEindimensionalitätErschöpfende StatistikErschöpfende StatistikParameterschätzungParameterschätzungLogistische Funktion bei RaschLogistische Funktion bei RaschIC-KurveIC-Kurve

Spezifische ObjektivitätSpezifische Objektivität

G. Raschs Forderungen nach:G. Raschs Forderungen nach:

1) Testunabhängigen Fähigkeitsmaßen 1) Testunabhängigen Fähigkeitsmaßen

2) Stichprobenunabhängige Itemschwierigkeitsmaßen2) Stichprobenunabhängige Itemschwierigkeitsmaßen

Grundbegriffe im Rasch ModellGrundbegriffe im Rasch Modell

Spezifische ObjektivitätSpezifische Objektivität

StichprobenunabhängigkeitStichprobenunabhängigkeitEindimensionalitätEindimensionalitätErschöpfende StatistikErschöpfende StatistikParameterschätzungParameterschätzungLogistische Funktion bei RaschLogistische Funktion bei RaschIC-KurveIC-Kurve

StichprobenunabhängigkeitStichprobenunabhängigkeit

Das Ergebnis darf nicht vom Messinstrument abhängen.

Ist dies der Fall, so ist der Test als culture fair zu bezeichnen.

Grundbegriffe im Rasch ModellGrundbegriffe im Rasch Modell

Spezifische ObjektivitätSpezifische ObjektivitätStichprobenunabhängigkeitStichprobenunabhängigkeit

EindimensionalitätEindimensionalitätErschöpfende StatistikErschöpfende StatistikParameterschätzungParameterschätzungLogistische Funktion bei RaschLogistische Funktion bei RaschIC-KurveIC-Kurve

EindimensionalitätEindimensionalität

Egal in welcher Population getestet wird,Egal in welcher Population getestet wird,messen die Items immer dieselbe Fähigkeit. messen die Items immer dieselbe Fähigkeit.

=> Rasch-homogen=> Rasch-homogen

Beispiel: Beispiel: Ein Test über räumliche Ein Test über räumliche Vorstellungskraft könnteVorstellungskraft könnteauch mit logischem Schlussfolgern gelöst werden.auch mit logischem Schlussfolgern gelöst werden.

=> Nicht Rasch-homogen=> Nicht Rasch-homogen

Grundbegriffe im Rasch ModellGrundbegriffe im Rasch Modell

Spezifische ObjektivitätSpezifische ObjektivitätStichprobenunabhängigkeitStichprobenunabhängigkeitEindimensionalitätEindimensionalität

Erschöpfende StatistikErschöpfende StatistikParameterschätzungParameterschätzungLogistische Funktion bei RaschLogistische Funktion bei RaschIC-KurveIC-Kurve

Erschöpfende Statistik als Erschöpfende Statistik als GrundlageGrundlage

Person: 1 2 3 4 5Person: 1 2 3 4 5

01011

10001

11001

10111Item: 1

Item: 2

Item: 3

Item: 4

Personen-Randsumme:

4 2 1 2 3

Itemrandsumme:

4

3

2

3

Erschöpfende Statistik als Erschöpfende Statistik als GrundlageGrundlage

Vergleich zweier Personen in einem Vergleich zweier Personen in einem Mathematiktest:Mathematiktest:

Item1: 47 + 23 = ? Item1: 47 + 23 = ? Item2: 2763 x 2748 = ?Item2: 2763 x 2748 = ?

Wer ist begabter?Wer ist begabter? 1 1score

1 0Item 2

0 1Item 1

P2P1

Erschöpfende StatistikErschöpfende Statistik

=>=>

Ist der Test nicht Rasch-homogen ist es nicht Ist der Test nicht Rasch-homogen ist es nicht zulässig den Rohscore zu verwenden.zulässig den Rohscore zu verwenden.

Grundbegriffe im Rasch ModellGrundbegriffe im Rasch Modell

Spezifische ObjektivitätSpezifische ObjektivitätStichprobenunabhängigkeitStichprobenunabhängigkeitEindimensionalitätEindimensionalitätErschöpfende StatistikErschöpfende Statistik

ParameterschätzungParameterschätzungLogistische Funktion bei RaschLogistische Funktion bei RaschIC-KurveIC-Kurve

ParameterschätzungParameterschätzunga) Personenparametera) Personenparameterb) Itemparameterb) Itemparameter

- Schätzung per Maximum Likelihood- Schätzung per Maximum Likelihood3 verschiedene Funktionen:3 verschiedene Funktionen:

- UML … uncontional ML- UML … uncontional ML- CML … conditional ML- CML … conditional ML- MML … marginal ML- MML … marginal ML

- Berechnung nur mittels PC möglich- Berechnung nur mittels PC möglich

a) Personenparametera) Personenparameter

- Gibt die Wahrscheinlichkeit an, mit der Person v- Gibt die Wahrscheinlichkeit an, mit der Person v die Items i in einem Test lösen kanndie Items i in einem Test lösen kann

Relevant zur Berechnung:Relevant zur Berechnung:

- Die Anzahl der Items, die von den Personen - Die Anzahl der Items, die von den Personen gelöst wurdengelöst wurden- NICHT welche Items!- NICHT welche Items!

b) Itemparameterb) Itemparameter

- Gibt die Wahrscheinlichkeit an, mit der das- Gibt die Wahrscheinlichkeit an, mit der das Item i von den Personen v die den TestItem i von den Personen v die den Test machen gelöst wirdmachen gelöst wird

Relevant zur Berechnung: Relevant zur Berechnung:

- Anzahl der Personen, die dieses Item lösen- Anzahl der Personen, die dieses Item lösen- NICHT welche Personen! - NICHT welche Personen!

Grundbegriffe im Rasch ModellGrundbegriffe im Rasch Modell

Spezifische ObjektivitätSpezifische ObjektivitätStichprobenunabhängigkeitStichprobenunabhängigkeitEindimensionalitätEindimensionalitätErschöpfende StatistikErschöpfende StatistikParameterschätzungParameterschätzung

Logistische Funktion bei RaschLogistische Funktion bei RaschIC-KurveIC-Kurve

Logistische Funktion bei RaschLogistische Funktion bei Rasch

Logistische Funktion bei RaschLogistische Funktion bei Rasch

Die Wahrscheinlichkeit, dass Person v Item iDie Wahrscheinlichkeit, dass Person v Item irichtig löst hängt davon ab, wie schwer das Itemrichtig löst hängt davon ab, wie schwer das Itemi ist und wie fähig die Person v ist.i ist und wie fähig die Person v ist.

Definition von Rasch:Definition von Rasch:Personenparameter = ItemparameterPersonenparameter = Itemparameter => Lösungswahrscheinlichkeit 50%=> Lösungswahrscheinlichkeit 50%

Grundbegriffe im Rasch ModellGrundbegriffe im Rasch Modell

Spezifische ObjektivitätSpezifische ObjektivitätStichprobenunabhängigkeitStichprobenunabhängigkeitEindimensionalitätEindimensionalitätErschöpfende StatistikErschöpfende StatistikParameterschätzungParameterschätzung

IC-KurveIC-Kurve

IC-Kurven:IC-Kurven:

IC-Kurven:IC-Kurven:

Anwendung des Rasch Modells:Anwendung des Rasch Modells:

- Feststellung von Item-Bias- Feststellung von Item-Bias

- Computerisiertes Adaptives Testen (CAT)- Computerisiertes Adaptives Testen (CAT)

- Psychometrische Qualitätskontrollen- Psychometrische Qualitätskontrollen

ItembiasItembias

Raschmodell dient zum Herausfiltern unfairer Items Raschmodell dient zum Herausfiltern unfairer Items durch den Vergleich der IC-Kurven.durch den Vergleich der IC-Kurven.

Relevant in Bildung oder Wirtschaft bei z.B. Relevant in Bildung oder Wirtschaft bei z.B. Aufnahme-, Eignungs- oder IntelligenztestsAufnahme-, Eignungs- oder Intelligenztests

CAT- Computerisiertes Adaptives CAT- Computerisiertes Adaptives TestenTesten

Testpersonen Testpersonen bekommen nur Items bekommen nur Items die auf ihr die auf ihr Fähigkeitsniveau Fähigkeitsniveau abgestimmt sindabgestimmt sind

CAT- Computerisiertes Adaptives CAT- Computerisiertes Adaptives TestenTesten

Voraussetzung: Voraussetzung: Großer Itempool, der rasch-homogen ist und sich Großer Itempool, der rasch-homogen ist und sich über das gesamte Kontinuum streutüber das gesamte Kontinuum streut

Vorteile:Vorteile:- schnelle und genauere Messung- schnelle und genauere Messung- keine unnötigen Items- keine unnötigen Items- auch präzise Messung in Extrembereichen- auch präzise Messung in Extrembereichen- erhöhte Testsicherheit und Testfairness- erhöhte Testsicherheit und TestfairnessNachteile:Nachteile:- Erhöhter Testkonstruktionsaufwand- Erhöhter Testkonstruktionsaufwand

Psychometrische QualitätskontrollePsychometrische QualitätskontrolleVergleich und Überprüfung von bewährten Tests Vergleich und Überprüfung von bewährten Tests möglich. möglich. Beispiel: Messen 3DW und WMT dasselbe Beispiel: Messen 3DW und WMT dasselbe

Konstrukt? Konstrukt?

Klassisches Konzept: Korrelation von 0.4 – 0.5Klassisches Konzept: Korrelation von 0.4 – 0.5Modernes Konzept:Modernes Konzept:Rasch-Modell -> unterschiedlicheRasch-Modell -> unterschiedlicheFähigkeitsdimensionen (Raumvorstellung und Fähigkeitsdimensionen (Raumvorstellung und Reasoning)Reasoning)

Forschungspraktikum:Forschungspraktikum:

Test: WortschatztestTest: WortschatztestStichprobe: Stichprobe: Männliche und weibliche Schüler Männliche und weibliche Schüler einer Oberstufeeiner Oberstufe

Hypothesen: Hypothesen: H0: Testitems nicht Rasch-homogenH0: Testitems nicht Rasch-homogen

H1: Testitems sind Rasch-homogenH1: Testitems sind Rasch-homogen

Danke für die AufmerksamkeitDanke für die Aufmerksamkeit