Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen...
-
Upload
karl-werden -
Category
Documents
-
view
104 -
download
1
Transcript of Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen...
Computergestützte Diagnostik
Seminar: „Medienunterstützung in der klinisch-psychologischen Intervention“
Leitung: Dipl.-Psych. C. EichenbergReferentin: Kathrin HeinzDatum: 17.06.2005
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
2
Übersicht
• Einleitung - Computer in der Diagnostik
• Anwendungsbereiche
• Exkurs: Adaptives Testen
• Einsatzmöglichkeiten in der Psychologie
• Das Hogrefe Testsystem
• Äquivalenz
• Gütekriteren
• Probleme und Möglichkeiten
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
3
Computer in der Diagnostik
Definition:
Computerdiagnostik wird als eine strategische Variante innerhalb der Diagnostik verstanden, um
psychologisch relevante Variablen zu erfassen, deren Auswahl zu steuern,
die erhaltenen Informationen zu einem Urteil zu verdichten und gegebenenfalls schriftlich und/oder bildlich darzustellen.
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
4
Computer in der Diagnostik
• Kritiker sagen dazu:
– Verarmung der Diagnostik
– fehlende Vertrautheit mit dieser Technik
– dass sie Angst haben, der Diagnostiker würde ersetzt
• Verfechter dagegen:
– Unterstützung in der Diagnostik
– Ökonomie– Interpretation
vielschichtiger Variablen ist möglich
Computer könnten in der Diagnostik eine große Hilfe sein, werden aber nur selten eingesetzt.
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
5
Anwendungsmöglichkeiten des PCs in der Diagnostik
Diagnostikprozess
Datenerhebung
Dateneingabe
Testvorgabe
Datenauswertung
Computermöglichkeiten
Datendarstellung
Steuerung der Dateneingabe-Barcode
-Reduzierte Tastaturen-Lichtgriffel & Touchpad-Headset
Palms
Statistik-Pakete
Auswertungs-Algorithmen
numerisch
verbal
graphisch
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
6
Anwendungsmöglichkeiten des PCs in der Diagnostik
Datenerhebung
Testvorgabe
Diagnostikprozess Computermöglichkeiten
Computerunterstützte Tests
PaperPencil-Tests
Orginäre Computertests- Computer-Simulationen- z.B. Postkorb-Simulationen
- Mediumsgerechte Nutzung des PCs- z.B. Adaptives Testen (CAT)
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
7
Exkurs: Adaptives Testen
• = CAT (=Computergestütztes adaptives Testen)
• ermöglicht die individuelle Anpassung der Itemdarbietung an die Merkmalsausprägung einer Person.
• nur die Items zur Beantwortung werden dargeboten, welche dem individuellen Ausprägungsniveau einer Person optimal entsprechen adaptives (=angepasstes) Testen
• nur die jeweils „passendsten“ Items werden vorgelegt deutliche Itemreduktion bei einem gleichzeitig konstant hohen Messpräzisionsniveau
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
8
Exkurs: Adaptives Testen
Ziel und Vorteile:
•Aufgaben sollen dem Leistungsniveau des Probanden angemessen sein
•Maximale Präzisierung der Schätzung des Personenparameters
•Bessere Zumutbarkeit
Nachteile und Probleme:
•Die Konstruktion, Erprobung, Kalibrierung der erforderlichen Itemmengen ist mit sehr großem Aufwand verbunden
•Grundsätzlich steht Adaptivität im Konkurrenz zu Standardisierung
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
9
Einsatzmöglichkeiten
• In der ABO
• In Klinischer
• In Verkehrspsychologie
• Testsysteme
• Schulpsychologie
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
10
Beispiel
Das Hogrefe-Testsystem
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
11
Äquivalenz
• Item- und Testkennwerte, die bei der Entwicklung von Papier-Bleistift-Tests entstanden sind, dürfen nur auf die PC-Version übertragen werden, wenn sie äquivalent sind.
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
12
Äquivalenz
• Arten/Aspekte von Äquivalenz– Psychometrische Äquivalenz, bezieht sich auf:
• Mittelwertsunterschiede• Metrische Veränderungen• Itemspezifische Unterschiede• Veränderungen der Rangfolge der Personen
– Erfahrungsbezogene Äquivalenz • Bezieht sich auf subjektive Komponente
– Populationsspezifische/individuumsspezifische Äquivalenz
• Abhängigkeit der Testergebnisse von individuellen und populationsspezifischen Unterschieden und damit auch der Testfairness
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
13
Äquivalenz
• Befunde– Zur Äquivalenz von Leistungstests:
• fallen sehr unterschiedlich aus
– Zur Wahrnehmung• von Leistungstests:
zeigt sich eine Veränderung über die Zeit, dementsprechend, dass die Angstwerte bei der Wahrnehmung der PC-Tests niedriger werden,
• von Fragebögen:
zeigt der größte Teil der Untersuchungen, dass PC-Bearbeitung positive Resonanz hervorruft, erlebte Angst ist in den meisten Fällen NICHT größer
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
14
Äquivalenz
• Befunde
– zu differentiellen Effekten:• heterogene Befundlage bei der Untersuchung
der Effekte von Computervorerfahrung und Einstellung zu Computern
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
15
Äquivalenz
• Befunde– zu populationsspezifischen Effekten:
• beim Geschlecht:
Frauen zeigen mehr Computerängstlichkeit und negative Einstellungen gegenüber Computern, dennoch konnten einige Studien keinen Zusammenhang zwischen Geschlecht und Computerverhalten finden
• beim Alter:
manche Untersuchungen zeigen Alterseffekt, so dass ältere Personen die „ungünstigeren“ Einstellungen zu Computern aufweisen, der Effekt ist aber nicht durchgängig zu finden
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
16
Gütekriterien
Definition:= das Maß des Gelingens einer Standardisierung des gesamten Testvorgangs
• Testleiterunabhängigkeit = Durchführungsobjektivität
• Verrechnungssicherheit = Auswertungsobjektivität
• Interpretationseindeutigkeit = Interpretationsobjektivität
Objektivität
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
17
Gütekriterien
Objektivität
+ Testleiterunabhängigkeit
+ Verrechnungssicherheit bei PC-Auswertung IMMER gegeben
– Verhaltensbeobachtung nicht möglich
– Testleiter-Effekte bei Einführung schon möglich
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
18
Gütekriterien
• Reliabilität– Definition:
= Grad der Messgenauigkeit (Präzision) eines Tests, Zuverlässigkeit des Ergebnisses
• Validität– Definition:– = Test misst, was er messen soll
(Inhaltsvalidität, kriterienbezogene Validität, Konstruktvalidität)
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
19
Gütekriterien
• Definition:= Berechnen einer Kennzahl, die das Verhältnis des einzelnen Testwertes zu den Ergebnissen einer Stichprobe zum Ausdruck bringt
• Qualität eines Tests wird daran gemessen, wonach die Normen erstellt worden sind
• Normierung darf auf keinen Fall einfach übernommen werden
Normierung
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
20
Gütekriterien
• Definition:= Wenn Test ein Persönlichkeitsmerkmal misst, für dessen Untersuchung ein praktisches Bedürfnis besteht.
• wenn er durch keinen anderen ersetzt werden kann
• testtheoretischer Hauptaspekt !!
Computersimulation ist durch keinen anderen zu ersetzen
alle Tests, die mediumsgerecht entwickelt werden, sind äußerst nützlich!!
Nützlichkeit
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
21
Gütekriterien
• Ökonomie– = kurze Bearbeitungszeit, wenig Material, einfache
Handhabung, auch für die Gruppe, schnelle Auswertung
• Zumutbarkeit– = zeitliche, psychische und körperliche Beanspruchung der
Tp
• Verfälschbarkeit– = Undurchschaubarkeit des Messprinzips
• Fairness– = systematische Benachteiligung bestimmter Testpersonen
• Skalierung– probabilistisches Kriterium
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
22
Gütekriterien
NützlichkeitTestleiterunabhängigkeitVerrechnungssicherheitAdaptives Testen
NormierungSkalierungFinanzieller AufwandMangelnde Fairness
ErfahrungsunabhängigkeitZumutbarkeitValiditätReliabilitätInterpretationseindeutigkeitVerfälschbarkeit
Vorteile Nachteile
gleichbleibend
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
23
Probleme und Möglichkeiten
• Juristische Probleme • Datenschutz• Bewertungs- und Anwendungsvalidität
– Besonders wichtig beim Adaptiven Testen• Anwenderschnittstelle
– Anwenderschnittstellendesign (=ASD) beinhaltet• Effektive Präsentationsergonomie (Farbe, …)• Muss an Tp in Testsituation angepasst sein• Muss psychometrische Ziele verstehen und respektieren führt zu folgenden Testsituationsergebnissen:
– Testfragen müssen schnell zu beantworten sein– Eingabefehler müssen eliminiert/reduziert werden– Subjektive Zufriedenheit muss hoch sein– Pb soll vertraut werden mit der Technologie
• Datenverarbeitung hilft Diagnostiker enorm, wenn er sie effektiv und verantwortlich einsetzt
17.06.2005 C
ompu
terg
estü
tzte
Dia
gnos
tik
Kat
hrin
Hei
nz
24
Literaturangabe
• Becker, J. (2004). Computergestütztes Adaptives Testen (CAT) von Angst entwickelt auf der Grundlage der Item Response Theorie (IRT). Verfügbar unter: www.diss.fu-berlin.de/2004/209/becker.pdf [07.06.2005].
• Booth, J. (1992). Computerdiagnostik. In R.S. Jäger. & F. Petermann (Hrsg.), Psychologische Diagnostik (S. 186-197). Weinheim: Beltz.
• Fisseni, H.-J. (2004). Lehrbuch der psychologischen Diagnostik. Göttingen: Hogrefe.
• Hageböck, J. (1994). Computerunterstützte Diagnostik in der Psychologie (S. 1-54). Göttingen: Hogrefe.
• Hänsgen, K.D. (1998). Computerbasierte Psychodiagnostik heute und morgen. In D. Imoberdorf (Hrsg.), Psychodiagnostik von Individuen, Gruppen und Organisationen (S. 25-45). Stuttgart: Hitzel.
• Klinck, D. (2002). Computergestützte Diagnostik (S. 11-37). Göttingen: Hogrefe.
• Kubinger, K.D. (1993). Testtheoretische Probleme der Computerdiagnostik. Zeitschrift für Arbeits- und Organisationspsychologie, 37 (3), 130-137.
• Kubinger, K.D. (1993). Vor- und Nachteile der Computerdiagnostik. Psychologie in Östereich, 1-2, 25-29.
• Lienert, G. & Raatz, U. (1994). Testaufbau und Testanalyse. Weinheim: Beltz.