P d a g o g is c h e P s y c h o lo g ie : ã F r d e r u n...

1.6 Modell-DiskussionAuflösung der Dialektik

• Insbesondere Selektionsdiagnostik/Eignungsdiagnostik gerät immer wieder gesellschaftspolitisch in Verruf

• Modifikationsdiagnostik gewinnt an Bedeutung:• Wirtschaftspsychologie: im Rahmen der Personalentwicklung, Weiterbildung

• Pädagogische Psychologie: „Förderungsorientierte Diagnostik“: mit der

Diagnose werden unmittelbar auch mögliche Fördermaßnahmen aufgezeigt

• Klinische Psychologie: „therapiegeleitete Diagnostik“

• Pädagogische Psychologie: Vorgehensweise erfolgen zeitlich aufeinander (z.B. Diagnostik von Sprach-entwicklungsverzögerungen – Förderung – Evaluation …)

• Fazit: Statt konträre eher komplementäre Möglichkeiten der Diagnostik!

Vorlesung Psychologische Diagnostik - Dr. Johanna Graf – WS 2009 / 2010 # 1

1.6 ModelldiskussionVerschränkung

§ IQ-Testung zu 1 MZP: nur statischer Aspekt der Intelligenz wird erfasst

§ Lerntestkonzept von Guthke, z.B. LTS (Lerntest „Schlussfolgerndes Denken“ von Guthke, Jäger und Schmidt 1983)

Vorgehen: § Test – Pädagogisierungsphase – Test => Lernpotenzial


MFT, Mengenfolge-Test Guthke, 1983o Beispiel für einen Kurzzeitlerntest (mit integrierter

Pädagogisierungsphase, alles in 1 Sitzung)




§ IQ-Testung zu 1 MZP: nur statischer Aspekt der Intelligenz wird erfasst § Lerntestkonzept von Guthke, z.B. LTS (Lerntest „Schlussfolgerndes

Denken“ von Guthke, Jäger und Schmidt 1983)

Vorgehen: § Test – Pädagogisierungsphase – Test => LernpotenzialErgebnis: § Lernfähigkeitstest nach dem Lerntraining (Postwert) korreliert höher mit

dem prognostischen Kriterium (z.B. Schulleistung) als Statustestzu MZP 1 (=> höhere prognostische Validität)

§ Ergebnisse weniger milieuabhängig (=> Fairness!)§ => Gleichzeitig Beleg für die Trainierbarkeit von Intelligenzleistungen§ Problem: zeitaufwendig


Gütekriterien

Vorlesung Psychologische Diagnostik


Gütekriterien

# 6Vorlesung Psychologische Diagnostik - Dr. Johanna Graf – WS 2009 / 2010

Hauptgütekriterien Lienert & Raatz 1998

§ Hauptgütekriterien stellen technische Testeigenschaften dar, die jeder Test erfüllen muss, um als wissenschaftliches Messinstrument dienen zu können

Nebengütekriterien

§ Nebengütekriterien stellen hingegen stärker praktisch relevante Eigenschaften dar

Gütekriterien


Hauptgütekriterien

§ Objektivität -> Standardisierung

§ Reliabilität -> Messpräzision

§ Validität -> „Merkmalssättigung“

Nebengütekriterien

§ Normiertheit / Eichung

§ Ökonomie

§ Nützlichkeit

Gütekriterien Übersicht


Gütekriterien


Weitere Gütekriterien nach dem Testkuratorium der Förderation Deutscher Psychologenvereinigungen (1986)

§ Zumutbarkeit

§ Unverfälschbarkeit

§ Fairness

Gütekriterien: Objektivität


Objektivität

§ Durchführungsobjektivität (Testleiterunabhängigkeit)

§ Auswertungsobjektivität (Verrechnungssicherheit)

§ Interpretationsobjektivität (Interpretationseindeutigkeit)

=> Grad, in dem (1) Durchführung, (2) Auswertung und (3) Interpretation eines Tests unabhängig vom Untersucher sind



Durchführungsobjektivität

§ Unabhängigkeit der Testergebnisse von zufälligen/systematischen Verhaltensvariationen des Testleiters während der Testdurchführung

§ Geringe Durchführungsobjektivität, wenn Testleiter A Testinstruktion vorliest, während Testleiter B individuelle Erklärungshilfen leistet

Gewährleistung der DO:

§ Testinstruktion (schriftlich) festlegen

§ Standardisiertes Testmaterial, Zeit- und Durchführungsvorgaben

§ standardisierte Untersuchungssituation, d.h. meist: die soziale Interaktion zwischen Untersucher und Proband auf ein unumgängliches Minimum reduzieren

§ vergleichbare ergonomische Bedingungen (Raum, Zeit…)



Durchführungsobjektivität

§ Drastische Versuchsleitereffekte:

§ Halo-Effekt: sich bei der Beurteilung vom Gesamteindruck oder einer hervorstechenden Eigenschaft leiten lassen

§ Rosenthal-Effekt: durch die manipulierte Einstellung der Lehrer gelangten zwei grundsätzlich gleiche Schülergruppen zu unterschiedlichen Leistungen

§ Anweisung im AID: Eine Testsituation schaffen, die im Gegensatz zur Schule dem Kind Zeit, Zuwendung und optimale Entfaltungsmöglichkeiten bietet. Zu Leistung motivieren ohne Prüfungsdruck zu provozieren => Problem: Bestimmte TL werden systematisch motivierender wirken als andere!

§ Nachteil von Individualverfahren => Computerdiagnostik, um jede Interaktion zwischen Proband und TL auszuschalten. Doch auch hier mangelnde Objektivität: Z.B. mit welchen Worten und welchem Verhalten die einweisende Hilfskraft die TP an den Computer führt

Gütekriterien:Objektivität


Auswertungsobjektivität

§ Jeder Auswerter muss bei den selben Probanden die gleichen Punkt- oder Leistungswerte ermitteln

§ Wie einzelne Testreaktionen auf Items zu Testwerten zu verrechnen sind, ist exakt festgelegt

§ Geringe Auswertungsobjektivität bei Schulaufsätzen oder ProjektivenTests, z.B. Familie in Tieren (Infos werden verschieden beobachtet und ausgewertet)

Gewährleistung der AO:

§ Gebundenes Antwortformat (multiple choice Format, richtig/falsch bei Leistungstests, Ratingskalen bei Persönlichkeitstests) vorgeben, Schlüsselrichtung der Aufgabenbeantwortung festlegen, Schablonen, genaue Auswertungsinstruktion, bei offenen Items Auswertungsschlüssel



Auswertungsobjektivität

§ Studie zu Auswertungsfehlern (Hebenstreit 2000): z.B. beim d2-Test (Aufmerksamkeits- Belastungstest, Brickenkamp) misst Tempo und Sorgfalt des Arbeitsverhaltens bei der Unterscheidung ähnlicher visueller Reize, durchzustreichen sind alle d mit zwei Strichen)

§ wurden nur 30 % der Tests fehlerfrei ausgewertet. Ein Großteil der Fehler passierte beim Auflegen der Schablone und dem Auszählen der Markierungen

§ => Konsequenz für die Praxis: der computerisierten Auswertung sofern möglich, den Vorzug geben!



Interpretationsobjektivität

§ Jeder Auswerter sollte zur gleichen Beurteilung oder Interpretation der individuellen Testergebnisse kommen (Eindeutige Zuordnung Testscore – Merkmalsausprägung)

§ Geringe Interpretationsobjektivität z.B. bei Projektiven Tests

Gewährleistung der DO:

=> Normierung (Normtabellen, Bezug zur Population) vorgeben, auf der Testleitung eingeordnet werden kann

z.B. PR 95 bedeutet: nur 5 % der Referenzpopulation erzielen bessere LeistungenICD 10: „leichte Intelligenzminderung bei IQ von 50 – 69

Interpretationsbeispiele und Skalendefinitionen

Gütekriterien:Reliabilität


Reliabilität: Messgenauigkeit

§ Reliabilität als Grad der Genauigkeit, mit der Test etwas misst, unabhängig davon, ob er dieses Merkmal auch wirklich misst

§ D.h.: Präzision / Zuverlässigkeit der Messung

§ Analogie: Reliabilität ist wie die Engmaschigkeit eines Fischernetzes: Je enger, desto mehr Fische werden gefangen.

§ Ob der Fischer allerdings mit dem Netz die „richtigen“ Fische fängt (Validität!), hat nichts mit der Engmaschigkeit zu tun: Es hängt davon ab, ob er im richtigen Gebiet fischt

§ Unterschiedliche Zugangsweisen zur Bestimmung der Reliabilität. „Die“ Reliabilität gibt es nicht!



Reliabilitäts-Arten

§ Retest-Reliabilität: Testwiederholung

§ Paralleltest

§ Test-Halbierung

§ Interne Konsistenz / Cronbach‘s Alpha



Testwiederholungs-Reliabilität (Stabilitätskonzept)

§ r tt§ den gleichen Test noch einmal an die gleiche

Stichprobe geben und Testwerte korrelieren

§ Problem: Erinnerungs- / Übungseffekte führen zu einer Überschätzung der Reliabilität

§ „wahre“ Merkmalsveränderungen führen zu einer Unterschätzung der Reliabilität

§ geeignet für speed-Tests mit wenig Übungsgewinn, z.B. d2 Brickenkamp (Aufmerksamkeits-Belastungstest)



Paralleltest-Reliabilität (Item-Sampling-Konzept)

§ Vorgabe zweier Tests mit parallelen Items an die gleiche Stichprobe und Korrelation der Testscores

§ Vorteil: keine Erinnerungseffekte, bei kurzem Zeitintervall wenig „wahre“ Merkmalsveränderung

§ Problem: Paralleltests sind schwer zu konstruieren (Einmaligkeitscharakter der Items)

Gütekriterien: Reliabilität


§ Testhalbierung „Split-half-Reliabilität“: „Ein Test ist zu sich selbst parallel“

§ Unterschiedliche Methoden der Halbierung

§ z.B. nach Zufall oder nach der

§ „odd-even”-Methode: Je eine Testhälfte besteht aus geradzahlig und ungeradzahlig nummerierten Items

1. Hälfte (odd): 1 3 5 7 9 2. Hälfte (even): 2 4 6 8 10

§ Korreliert man lediglich die Hälften eines Test, dann bekommt man auch nur eine Schätzung für die Reliabilität einer Testhälfte => Die Korrelation muss daher aufgewertet werden (Spearman & Brown –Formel, Testlänge als Korrekturfaktor)

Gütekriterien: Reliabilität


Interne Konsistenz:

§ Prinzip: Test in so viele Testteile zerlegen wie er Items hat. Jedes Item ist wie eigener Test => mittlere Interkorrelation der Items als Maß für den „Zusammenhalt“ der Items (allgemeiner Fall der split-half-Reliabilität)

§ Cronbach‘s Alpha (bei Ratingskalen) bzw. Kuder-Richardson-Formel (bei dichotomen Items)

§ Nicht geeignet bei Speed-Tests (Bsp. „d2“), da Aufgaben dort immer sehr ähnlich (=homogen) => wäre Überschätzung

§ Geeignet, wenn ein homogener Merkmalsbereich vorliegt, der mit verschiedenen Items gemessen wird (bsp. Extraversion)

§ Alpha ist umso höher, je mehr Items enthalten sind, auch dann, wenn diese nur schwach positiv miteinander korrelieren.

Gütekriterien: Validität


Validität

§ Misst der Test das, was er zu messen beansprucht?

§ „Grad der Genauigkeit, mit dem der Test das misst, was er messen soll“

§ Analogie: fange ich die „richtigen“ Fische?

§ 3 Arten:

§ Inhaltsvalidität

§ Kriteriumsvalidität

§ Konstruktvalidität

§ Validitätskonzepte werden nach Art der Schlussfolgerung aus dem Testergebnis unterschieden



Inhaltsvalidität

§ Der Test erfasst das zu messende Merkmal nach Expertenmeinung tatsächlich

§ Repräsentationsschluss: Man schließt auf ein Verhalten, das dem Testverhalten ähnlich ist (erfordert Inhaltsvalidität, z.B. Assessment Center)

§ Kein Kennwert, sondern logische und fachliche Überlegungen



Kriteriumsvalidität

§ Zusammenhang (Korrelation) der Testleistung mit einem oder mehreren Außenkriterien

§ Korrelationsschluss: Man schließt auf ein Verhalten, das dem Testverhalten zwar nicht ähnlich ist, jedoch mit diesem korreliert (z.B. Vorhersage von Berufserfolg durch IQ-Test und Konzentrationstest)§ Vorhersagevalidität (prognostische/prädiktive Validität)

§ Übereinstimmungsvalidität (konkurrente Validität)

§ Probleme: Korrelation abhängig von Reliabilität des Tests, von Reliabilität des Kriteriums und vom Grad dessen, was Test und Kriterium konzeptionell gemeinsam haben (Berufserfolg setzt sich aus mehr Varianzquellen zusammen als nur aus psychometrischer Intelligenz)



Konstruktvalidität

§ Schluss auf ein latentes, d.h. nicht direkt beobachtbares Merkmal

§ Grad der Genauigkeit, mit dem ein Test ein latentes Merkmal misst, zu dessen Erfassung er konstruiert wurde

§ Misst der Untertest “Würfelaufgaben” des IST tatsächlich das (Konstrukt!) räumliche Vorstellungsvermögen?

Gütekriterien


Konstruktvalidität

§ A priori Formulierung konkreter Erwartungen über Zusammenhang des vorliegenden Tests mit konstruktverwandten (konvergenten) und konstruktfremden (diskriminanten) Tests

§ Konkurrente/konvergente Validität (unterschiedliche Maße desselben Traits müssen hoch korrelieren)

§ Diskriminante/divergente Validität (Maße für verschiedene Traitsmüssen niedrig korrelieren)

§ Unterschiedliche Methoden:

§ Berechnung von Korrelationen mit konstruktnahen bzw. -fremden Verfahren

§ Berechnung der Zusammenhänge mittels Faktorenanalysen, „faktorielle“Validität

Gütekriterien: Wechselbeziehungen


§ Ohne Objektivität keine Reliabilität

§ Ohne eine gewisse Reliabilität auch keine Validität

§ Tests mit geringer Reliabilität und geringer Validität sind praktisch wertlos

Gütekriterien: Wechselbeziehungen


In der Praxis zeigt sich aber nun häufig das Problem, dass hochkonsistente Tests wenig valide gegenüber komplexen Außenkriterien sind

Wie löst man das Problem angestrebter hoher interner Konsistenz und hoher Validität?

Testbatterien!: Subtests (verbale vs. numerische Intelligenz) jwls. in sich homogen, Gesamttestbatterie ist valide, da sie verschiedene Aspekte des Kriteriums (z.B. Schulerfolg) abdeckt

Familie in Tieren

§ Brem-Gräser, 1995 (entwickelt in den 50er Jahren)§ Projektives Verfahren§ Instruktion: „Du kennst doch Märchen, da werden oft Menschen in Tiere

verwandelt und umgekehrt. Stelle Dir einmal vor, Deine Familie wäre eine Tierfamilie und zeichne Euch alle, natürlich auch Dich selbst, als Tiere. Nummeriere bitte die Reihenfolge, nach der Du zeichnest und schreibe unter jedes Tier, wen es darstellen und was für ein Tier es sein soll. Es kommt nicht darauf an, dass Du besonders schön zeichnest, sondern nur darauf, was Du darstellen willst."

§ Gütekriterien: „Null-Objektivität“, „Null-Reliabilität“ und „Null-Validität“§ geeignet, um mit dem Kind in einen guten Kontakt und in ein Gespräch

über seine Familiensituation zu kommen


Andreas Familie in Tieren


Gütekriterien


Nebengütekriterien:

§ Normiertheit

§ Ökonomie

§ Nützlichkeit

§ Vergleichbarkeit

Weitere Gütekriterien

§ Zumutbarkeit

§ Unverfälschbarkeit

§ Fairness

Gütekriterien


Qualitätsstandards (DIN 33430)

§ Kriterienkatalog zur Beurteilung psychologischer Tests

§ Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen

§ Was unter den Gütekriterien zu verstehen ist

§ Welche Anforderungen an Verfahren zu stellen sind

§ z.B.: Testnormen sollen nicht älter als acht Jahre sein

Gütekriterien


Eichung:

§ Bezugssystem, um ein individuelles Testergebnis einordnen und inhaltlich interpretieren zu können

§ Der geeichte Testwert für eine TP ist mit Hilfe entsprechender Eichtabellen im Manual nachzuschlagen: Jedem möglichen Testwert (Rohwert) ist dort der geeichte Wert zugeordnet

§ Eichtabellen dürfen nicht veraltet sein (z.B. steigt der IQ-Durchschnittswert beim gleichen Test innerhalb von 20 Jahren um 25 Punkte!) => DIN 33430: Die Angemessenheit der Eichtabellen ist spätestens alle 8 Jahre zu prüfen

§ Die Population, für die die Eichtabellen gelten, ist definiert

§ Die für die Erstellung der Eichtabellen herangezogene STP ist repräsentativ (Ziehung einer Zufallsstichprobe organisatorisch aufwendig!)

Gütekriterien


Eichung:

§ Gesamtnormen (Normenbildung über alle Untergruppen wie Alter, Geschlecht etc. hinweg)

§ Gruppennormen (Normbildung getrennt für Geschlecht, Altersgruppe, Schultyp etc.)

Normwerte-Verteilung

Vorlesung Psychologische Diagnostik - Dr. Johanna Graf – WS 2009 / 2010 # 35Sten-Werte: 5,5 / 2)

Gütekriterien


Nebengütekriterien:

Ökonomie

§ Kurze Durchführungszeit, wenig Material, einfach zu handhaben, als Gruppentest durchführbar, schnell und bequem auszuwerten (d.h. die Kosten der Untersuchung relativ zum Informationsgewinn)

Gütekriterien


Ökonomie:

§ Unökonomisch: einer TP für sie wesentlich zu leichte bzw. zu schwierige Aufgaben vorzugeben!

§ HAWIK: die weitere Vorgabe eines Untertests wird abgebrochen, wenn eine bestimmte Anzahl unmittelbar aufeinander folgender Aufgaben nicht gelöst wurde

§ => Adaptives Testen: nur die Aufgaben vorgeben, die der individuellen Fähigkeit angemessen sind, d.h. die Aufgabenauswahl muss dem individuellen Leistungsvermögen angepasst sein => bei gleicher Testlänge ist eine wesentlich größere Messgenauigkeit zu erreichen: ein halb so langer adaptiver Test reicht aus, um ebenso genau wie mit einem konventionellen Test zu messen

§ Adaptive Tests messen nicht nur im mittleren Fähigkeitsbereich genau, sondern auch in den extremen Fähigkeitsbereichen

Gütekriterien


Beispiel für adaptives Testen („branched testing“): AID 2, Adaptives Intelligenz Diagnostikum, Kubinger

Alterstufe gibt Startgruppe vor; in Abhängigkeit von Anzahl gelöster Aufgaben Verzweigung zu einfacherer, schwieriger oder gleich schwerer Aufgabengruppe

P d a g o g is c h e P s y c h o lo g ie : ã F r d e r u n...

Documents

Transcript of P d a g o g is c h e P s y c h o lo g ie : ã F r d e r u n...