1. Objektivität1. Durchführung2. Auswertung3. Interpretation

2. ReliabilitätExkurs: Axiome der Klassischen Testtheorie1. Bestimmung der Reliabilität2. Retestreliabilität3. Paralleltestreliabilität4. Halbierungsreliabilität5. Konsistenzanalyse6. Faktoren, welche die Reliabilität beeinflussen

Psychometrie: Teil 2

ÜÜbersicht zur Veranstaltungbersicht zur Veranstaltung

3. Validität3. Inhaltsvalidität

4. Kriteriumsvalidität

5. Konstruktvalidität

6. Minderungskorrekturen

4. Beziehung zwischen den Gütekriterien

5. Nebengütekriterien3. Ökonomie

4. Nützlichkeit

5. Fairness

6. Testnormierung

29.11.2004 Psychometrie: Teil 2

1.1. ObjektivitObjektivitäätt

1. Durchführungsobjektivität2. Auswertungsobjektivität3. Interpretationsobjektivität

2.2. ReliabilitReliabilitäätt

1. Retestreliabilität2. Paralleltestreliabilität3. Halbierungsreliabilität4. Konsistenzschätzung

ReliabilitReliabilitäätt

„Unter Reliabilität eines Testes versteht man den Grad der Genauigkeit, mit dem er ein bestimmtes Persönlichkeitsmerkmal misst, gleichgültig, ob er dieses Merkmal auch zu messen beansprucht“

Axiom 1: Ein beobachteter Wert X setzt sich zusammenaus wahrem Wert (T) und Fehlerwert (E)

X = T + E

Axiom 2: Erwartungswert und die Summe der Fehler sind gleich Null

E(e) = ∑e = 0 MT = MX

Axiom 3: Fehlerwert und wahrer Wert korrelieren nicht systematisch miteinander

rT,E = 0

Exkurs: Axiome der Klassischen TesttheorieExkurs: Axiome der Klassischen Testtheorie

Axiom 4: Wahrer Wert und Fehlerwert zweier verschiedener Tests (Ta, Eb) korrelieren nicht systematisch miteinander.

rTa,Eb = 0

Axiom 5: Fehlerwerte zweier unterschiedlicher Tests (Ea, Eb) korrelieren nicht systematisch miteinander.

rEa,Eb= 0

Bestimmung der ReliabilitBestimmung der Reliabilitäätt

2

2

222222

22

2

2

2

12

22

X

Es

sstt

EXTETX

ET

T

X

Ttt

ssr

ssssss

sss

ssr

X

EX −==

−=⇒+=

+==

−

ReliabilitReliabilitäät als ...t als ...Testwiederholung

RetestreliabilitätKorrelation paralleler Testformen

ParalleltestreliabilitätKorrelation äquivalenter Testhälften

HalbierungsreliabilitätKonsistenz aller Testitems

Konsistenzanalyse

RetestreliabilitRetestreliabilitäätt

Störfaktoren:– Übung– Erinnerung an erste Testbearbeitung je

markanter die Aufgaben sind und je kürzer das Zeitintervall ist.

Festlegung des optimalen Zeitintervalls kritisch

ParalleltestreliabilitParalleltestreliabilitäätt

Testverfahren gelten als parallel, wenn sie identische Mittelwerte und Streuungen haben und die Korrelationen zwischen den beobachteten Werten hoch sind.

Erschwernis: Herstellung paralleler Testverfahren

Praktische Gleichheit von Parallel- &Retestmethode bei Speedtests

HalbierungsreliabilitHalbierungsreliabilitäätt

HalbierungstechnikenZufallsaufteilungOdd-even AufteilungStatistische Analyse der Items nach Schwierigkeit und TrennschärfeHalbierung nach der Testzeit bei Speedtests

Kommt dem Gedanken der instrumentellenMessgenauigkeit am nächsten

Berechnung mittelsBerechnung mittels

SpearmanSpearman--BrownBrown– Korrelation der Rohwerte beider Testhälften und

Aufwertung nach dieser Formel auf doppelte Länge der Skala

Nachteil: Die Formel setzt die Identität von sxt und sxu voraus

CronbachsCronbachs Koeffizient Koeffizient αα– Korrelation der Differenzen der individuellen

Rohwertpaare (X1 – X2) mit den Rohwerten aus der ersten Hälfte

SpearmanSpearman--BrownBrown FormelFormel

Formel von FlanaganFormel von Flanagan

12

12

12

rrrtt +

=

122122

21

1221

22

rssssrssrtt ++

=

CronbachsCronbachs Koeffizient Koeffizient αα

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛

+−⋅

− =

∑ ∑

∑

= =

=r

1i

r

1iij

2i

r

1i

2i

ss

s1

1rrα

r = Zahl paralleler Messungen

si2 = Stichprobenvarianz des i-ten Paralleltests, berechnet an der

Stichprobe von N Versuchspersonen mit N-1 im Nenner

sij = Kovarianz zwischen i und j

KonsistenzanalyseKonsistenzanalyse

Verallgemeinerung der HalbierungsmethodeTest wird in so viele Teile zerlegt, wie Items vorhanden sindDie so ermittelten Korrelationen müssten auf die Länge der Skala hochgerechnet werden.

KK--RR--FormulaFormula 88

2

2x

2x

2x

2it

2x

2x

tt s2pqs

spqr

s2pqs

r ⎟⎟⎠

⎞⎜⎜⎝

⎛

⋅

−+

⋅+

⋅

−= ∑∑∑

sx2 = Varianz der Testrohwerte

p = Schwierigkeit P/100q = 1 – prit = Trennschärfe

Varianzanalytische Varianzanalytische KonsistenzformelKonsistenzformel

2Prb zwi

2rest

tt ss1r −=

Voraussetzung: Die Itembeantwortung erfolgt auf kontinuierlich abgestuften Skalen

222Pr ebzwi sss += ∝

22

2

ett ss

sr+

=∝

∝

( )222Pr

2Pr

2

inninnbzwi

innbzwitt sss

ssr

+−

−=

2Pr

2

1bzwi

inntt s

sr −=

22Pr

2ebzwi sss −=∝

22Pr innbzwi ss −=

222zwiItemsinnrest sss −= 22

erest ss =

Ableitung der varianzanalytischen Konsistenzformel

StandardmessfehlerStandardmessfehler

( )

ttX

ttXE

ttXE

X

Ett

rszXCLV

rss

rss

ssr

−±==

−=

−=

−=

1

1*

1*

1

22

2

2

α

Faktoren, welche die ReliabilitFaktoren, welche die Reliabilitäät beeinflussent beeinflussen

1. Der Homogenitätsgrad2. Die Schnelligkeitskomponente3. Die irrepräsentative Validität

Der HomogenitDer Homogenitäätsgradtsgrad

Heterogene Tests haben in der Regel eine geringe Konsistenz und Paralleltestreliabilität

Retestreliabilität

Homogene Tests besitzen eine hohe innere Konsistenz und eine etwas niedrigere Paralleltestreliabilität

Die SchnelligkeitskomponenteDie Schnelligkeitskomponente

Konsistenzkoeffizienten gelten streng genommen nur bei reinen Niveautests.

Bei Schnelligkeitstesten ist der Paralleltestdie Methode der Wahl. Wenn Erinnerungs-und Lösungsschemata keine Rolle spielen, bietet sich auch eine Testwiederholung zur Reliabilitätsbestimmung an.

Die Die irreprirreprääsentativesentative VariabilitVariabilitäätt

Die Die irreprirreprääsentativesentative VariabilitVariabilitäätt

Korrelationshöhe in Abhängigkeit von der Homogenität der Probandenstichprobe

(aus Amelang & Bartussek, 1990, S. 103)

ValiditValiditäätt

ValiditValiditäät ist ...t ist ...

„ ... das Maß an Genauigkeit, mit dem der Test dasjenige Persönlichkeits- oder Verhaltensmerkmal misst, dass er messen soll oder zu erfassen vorgibt.“(Amelang & Zielinski, 1997, S.155)

ValiditValiditäät als ...t als ...

Inhaltliche oder logische ValiditätKriteriumsbezogene ValiditätKonstruktvalidität

Inhaltliche ValiditInhaltliche Validitäätt

Repräsentationsschluss vom Testverhalten auf das Verhalten außerhalb der Testsituation

Bestimmung durch Expertenurteil

– Explikation des Konstruktes– Vorgabe operationaler Definitionen oder

generativer RegelnBeurteilerübereinstimmung

Experiment

Kriteriumsbezogene ValiditKriteriumsbezogene ValiditäättKorrelationsschluss vom Testwert auf das Kriteriumrtc gibt den Grad der Übereinstimmung

zwischen Test- und Kriteriumswert anÜbereinstimmungsvalidität

– Korrelation mit einem zeitlich koexistierendenKriterium:concurrent validity

Vorhersagevalidität– Korrelation mit einem zukünftigen Kriterium

predictive validity

ReliabilitReliabilitäätsindextsindex

Gibt die Obergrenze der kriteriumsbezogenen Validität an

Tt

TtTt ss

r,

cov ,, =

2,cov TTt s=

ttt

T

Tt

TTt r

ss

sss

r ===,

2

,

Nach Axiom 3 der KTT gilt

rrtctc ist abhist abhäängig vonngig von

1. Der Reliabilität des Kriteriums2. Der Reliabilität des Testes

Korrektur der geminderten ReliabilitKorrektur der geminderten Reliabilitäät durch t durch die mangelnde Reliabilitdie mangelnde Reliabilitäät des Kriteriumst des Kriteriums

cc

tctc r

rr = rcc ... Relibilitätskoeffizientdes Validitätskriteriums

Tct

TctTct ss

r ,,

cov=

einfache Minderungskorrektur

Korrektur der geminderten ReliabilitKorrektur der geminderten Reliabilitäät durch t durch die mangelnde Reliabilitdie mangelnde Reliabilitäät des Testst des Tests

doppelte Minderungskorrektur

cctt

tcTccT rr

rr =,

Die Minderungskorrekturen werten die Validitätskoeffizienten auf. Der Effekt ist umso größer, je geringer die Reliabilität des Kriteriums (rcc)und die des Tests (rtt)ist

Einfache und doppelte MinderungskorrekturEinfache und doppelte Minderungskorrektur

Tabelle 4.13

VerdVerdüünnungsparadoxnnungsparadox

Tab. 4.14

KonstruktvaliditKonstruktvaliditäättKorrelation des Tests mit AußenkriterienKorrelationen des Testes mit Testen ähnlichen ValiditätsanspruchesKorrelationen mit Testen, die andere Persönlichkeitsmerkmale erfassenFaktorenanalyse des zu validierenden Testes gemeinsam mit Außenkriterien, validitätsverwandten und validitätsdivergenten TestenAnalyse interindividueller Unterschiede in den TestresultatenAnalyse intraindividueller Veränderungen bei wiederholter Durchführung mit und ohne systematische Variation der DurchführungsbedingungenInhaltlich-logische Analyse der Testelemente

Multitrait-multimethod-Matrix mit den Methoden 1 (Fragebogen) und 2 (gemittelte Fremdeinschätzung) sowie den Konstrukten Vertrauen (erfasst mit den Skalen IT 27,

SRT und HN) sowie Extraversion und Neurotizismus.

(Nach Amelang et al., 1984, S.210)

Wechselbeziehungen zwischen den Hauptgütekriterien

ZumutbarkeitZumutbarkeit

Zumutbarkeit ist ...Zumutbarkeit ist ...

„Das Ausmaß, in dem ein Test (absolut und relativ) zu dem aus der Anwendung des Verfahrens resultierenden Nutzen) die getestete Person in zeitlicher, psychischer (insbesondere ‚energetisch‘-motivational und emotional sowie in körperlicher Hinsicht beansprucht“(Testkuratorium, 1986, S. 359).

UnverfUnverfäälschbarkeitlschbarkeit

VerfVerfäälschbarkeitlschbarkeit ist ...ist ...

„Das Ausmaß, in dem ein Test die individuelle Kontrolle über Art und Inhalt der verlangten bzw. gelieferten Informationen ermöglicht“

(Testkuratorium, 1986, S. 359).

Objektive PersObjektive Persöönlichkeitstests nlichkeitstests sind ... sind ...

Verfahren „zur Messung der Persönlichkeit ..., die unmittelbar das Verhalten eines Individuums in einer standardisierten Situation erfassen, ohne dass dieses sich in der Regel selbst beurteilen muss. Die Verfahren sollen ... keine Augenschein-validität haben“

(Schmidt, 1979, S. 19).

Objektive PersObjektive Persöönlichkeitstests nlichkeitstests sind ...sind ...

Verfahren, deren Messprinzip nicht durchschaubar ist.(Fahrenberg, 1964).

„Es geht im Prinzip um die Registrierung von Verhaltensweisen – dabei auch um verbales Verhalten -, deren diagnostische Bedeutung für den Probanden nicht unmittelbar einsichtig ist. Wer z.B. dazu aufgefordert wird, zwischen einer Reihe von jeweils dargebotenen Alternativen Entscheidungen zu treffen, dürfte sich von inhaltlichen Erwägungen leiten lassen, wenn er diese oder jene Vorliebe bekundet, aber das Merkmal, das eigentlich gemessen wird, mag der Zeitbedarf bzw. die Geschwindigkeit seines Entscheidens sein. Man kann aus dieser Eigen-tümlichkeit des Verhaltens auf Selbstsicherheit ... schließen“ Hofstätter, 1971, S 386 ff.).

Objektive PersObjektive Persöönlichkeitstestsnlichkeitstests

Verfolgen das Prinzip „persönliche Stilmerkmale aus dem beobachtbarenVerhalten bei bestimmten (Leistungs-) Anforderungen zu erschließen“

(Kubinger, 1996, S. 7).

OAOA--TB 75TB 75Objective Analytic Test Battery (Häcker, Schmidt, Schwenkmezger & Utz, 1975)50 Untertests konnte sich nicht in der Praxis etablierenKeine Normenkeine klare FaktorenstrukturAber: Innovatives Potenzial

Abgeleitete Verfahren

T3 der OAT3 der OA--TB 75TB 75

ILICAPlanungsstrategien

LAMDALernstrategie, Beanspruchbarkeit

InformationsverarbeitungSelbstkonzept der InformiertheitFlexibilität beim Problemlösen

ArbeitshaltungenReflexivität vs. ImpulsivitätAnspruchsniveau, FrustrationstoleranzLeistungsmotivation

FairnessFairness

Mangel an Fairness ist ...Mangel an Fairness ist ...

Das „Ausmaß einer ... systematischen Diskriminierung bestimmter Testpersonen, z.B. aufgrund ihrer ethischen, soziokultu-rellen oder geschlechtsspezifischen Grup-penzugehörigkeit ...“(Testkuratorium, 1986, S. 360).

Culture Fair TestsSollen kulturbedingte Handicaps einzelner Personengruppen vermeidenBeispiele: Wiener-Matrizen-Test (WMT;

Formann & Piswanger, 1970)Standard Progressive Matrices(SPM; Kratzmeier & Horn, 1987)

sAber: Ist es allein aus dem Güteanspruch der Fairness heraus, beim psychologischen Diagnostizieren zweckmäßig, nachweislich bestehende Niveauunterschiede durch entsprechende gruppenspezifische Normen zu berücksichtigen, d. h. zu nivellieren?