Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen...

24
Computergestützte Diagnostik Seminar: „Medienunterstützung in der klinisch- psychologischen Intervention“ Leitung: Dipl.-Psych. C. Eichenberg Referentin: Kathrin Heinz Datum: 17.06.2005

Transcript of Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen...

Page 1: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

Computergestützte Diagnostik

Seminar: „Medienunterstützung in der klinisch-psychologischen Intervention“

Leitung: Dipl.-Psych. C. EichenbergReferentin: Kathrin HeinzDatum: 17.06.2005

Page 2: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

2

Übersicht

• Einleitung - Computer in der Diagnostik

• Anwendungsbereiche

• Exkurs: Adaptives Testen

• Einsatzmöglichkeiten in der Psychologie

• Das Hogrefe Testsystem

• Äquivalenz

• Gütekriteren

• Probleme und Möglichkeiten

Page 3: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

3

Computer in der Diagnostik

Definition:

Computerdiagnostik wird als eine strategische Variante innerhalb der Diagnostik verstanden, um

psychologisch relevante Variablen zu erfassen, deren Auswahl zu steuern,

die erhaltenen Informationen zu einem Urteil zu verdichten und gegebenenfalls schriftlich und/oder bildlich darzustellen.

Page 4: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

4

Computer in der Diagnostik

• Kritiker sagen dazu:

– Verarmung der Diagnostik

– fehlende Vertrautheit mit dieser Technik

– dass sie Angst haben, der Diagnostiker würde ersetzt

• Verfechter dagegen:

– Unterstützung in der Diagnostik

– Ökonomie– Interpretation

vielschichtiger Variablen ist möglich

Computer könnten in der Diagnostik eine große Hilfe sein, werden aber nur selten eingesetzt.

Page 5: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

5

Anwendungsmöglichkeiten des PCs in der Diagnostik

Diagnostikprozess

Datenerhebung

Dateneingabe

Testvorgabe

Datenauswertung

Computermöglichkeiten

Datendarstellung

Steuerung der Dateneingabe-Barcode

-Reduzierte Tastaturen-Lichtgriffel & Touchpad-Headset

Palms

Statistik-Pakete

Auswertungs-Algorithmen

numerisch

verbal

graphisch

Page 6: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

6

Anwendungsmöglichkeiten des PCs in der Diagnostik

Datenerhebung

Testvorgabe

Diagnostikprozess Computermöglichkeiten

Computerunterstützte Tests

PaperPencil-Tests

Orginäre Computertests- Computer-Simulationen- z.B. Postkorb-Simulationen

- Mediumsgerechte Nutzung des PCs- z.B. Adaptives Testen (CAT)

Page 7: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

7

Exkurs: Adaptives Testen

• = CAT (=Computergestütztes adaptives Testen)

• ermöglicht die individuelle Anpassung der Itemdarbietung an die Merkmalsausprägung einer Person.

• nur die Items zur Beantwortung werden dargeboten, welche dem individuellen Ausprägungsniveau einer Person optimal entsprechen adaptives (=angepasstes) Testen

• nur die jeweils „passendsten“ Items werden vorgelegt deutliche Itemreduktion bei einem gleichzeitig konstant hohen Messpräzisionsniveau

Page 8: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

8

Exkurs: Adaptives Testen

Ziel und Vorteile:

•Aufgaben sollen dem Leistungsniveau des Probanden angemessen sein

•Maximale Präzisierung der Schätzung des Personenparameters

•Bessere Zumutbarkeit

Nachteile und Probleme:

•Die Konstruktion, Erprobung, Kalibrierung der erforderlichen Itemmengen ist mit sehr großem Aufwand verbunden

•Grundsätzlich steht Adaptivität im Konkurrenz zu Standardisierung

Page 9: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

9

Einsatzmöglichkeiten

• In der ABO

• In Klinischer

• In Verkehrspsychologie

• Testsysteme

• Schulpsychologie

Page 10: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

10

Beispiel

Das Hogrefe-Testsystem

Page 11: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

11

Äquivalenz

• Item- und Testkennwerte, die bei der Entwicklung von Papier-Bleistift-Tests entstanden sind, dürfen nur auf die PC-Version übertragen werden, wenn sie äquivalent sind.

Page 12: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

12

Äquivalenz

• Arten/Aspekte von Äquivalenz– Psychometrische Äquivalenz, bezieht sich auf:

• Mittelwertsunterschiede• Metrische Veränderungen• Itemspezifische Unterschiede• Veränderungen der Rangfolge der Personen

– Erfahrungsbezogene Äquivalenz • Bezieht sich auf subjektive Komponente

– Populationsspezifische/individuumsspezifische Äquivalenz

• Abhängigkeit der Testergebnisse von individuellen und populationsspezifischen Unterschieden und damit auch der Testfairness

Page 13: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

13

Äquivalenz

• Befunde– Zur Äquivalenz von Leistungstests:

• fallen sehr unterschiedlich aus

– Zur Wahrnehmung• von Leistungstests:

zeigt sich eine Veränderung über die Zeit, dementsprechend, dass die Angstwerte bei der Wahrnehmung der PC-Tests niedriger werden,

• von Fragebögen:

zeigt der größte Teil der Untersuchungen, dass PC-Bearbeitung positive Resonanz hervorruft, erlebte Angst ist in den meisten Fällen NICHT größer

Page 14: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

14

Äquivalenz

• Befunde

– zu differentiellen Effekten:• heterogene Befundlage bei der Untersuchung

der Effekte von Computervorerfahrung und Einstellung zu Computern

Page 15: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

15

Äquivalenz

• Befunde– zu populationsspezifischen Effekten:

• beim Geschlecht:

Frauen zeigen mehr Computerängstlichkeit und negative Einstellungen gegenüber Computern, dennoch konnten einige Studien keinen Zusammenhang zwischen Geschlecht und Computerverhalten finden

• beim Alter:

manche Untersuchungen zeigen Alterseffekt, so dass ältere Personen die „ungünstigeren“ Einstellungen zu Computern aufweisen, der Effekt ist aber nicht durchgängig zu finden

Page 16: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

16

Gütekriterien

Definition:= das Maß des Gelingens einer Standardisierung des gesamten Testvorgangs

• Testleiterunabhängigkeit = Durchführungsobjektivität

• Verrechnungssicherheit = Auswertungsobjektivität

• Interpretationseindeutigkeit = Interpretationsobjektivität

Objektivität

Page 17: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

17

Gütekriterien

Objektivität

+ Testleiterunabhängigkeit

+ Verrechnungssicherheit bei PC-Auswertung IMMER gegeben

– Verhaltensbeobachtung nicht möglich

– Testleiter-Effekte bei Einführung schon möglich

Page 18: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

18

Gütekriterien

• Reliabilität– Definition:

= Grad der Messgenauigkeit (Präzision) eines Tests, Zuverlässigkeit des Ergebnisses

• Validität– Definition:– = Test misst, was er messen soll

(Inhaltsvalidität, kriterienbezogene Validität, Konstruktvalidität)

Page 19: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

19

Gütekriterien

• Definition:= Berechnen einer Kennzahl, die das Verhältnis des einzelnen Testwertes zu den Ergebnissen einer Stichprobe zum Ausdruck bringt

• Qualität eines Tests wird daran gemessen, wonach die Normen erstellt worden sind

• Normierung darf auf keinen Fall einfach übernommen werden

Normierung

Page 20: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

20

Gütekriterien

• Definition:= Wenn Test ein Persönlichkeitsmerkmal misst, für dessen Untersuchung ein praktisches Bedürfnis besteht.

• wenn er durch keinen anderen ersetzt werden kann

• testtheoretischer Hauptaspekt !!

Computersimulation ist durch keinen anderen zu ersetzen

alle Tests, die mediumsgerecht entwickelt werden, sind äußerst nützlich!!

Nützlichkeit

Page 21: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

21

Gütekriterien

• Ökonomie– = kurze Bearbeitungszeit, wenig Material, einfache

Handhabung, auch für die Gruppe, schnelle Auswertung

• Zumutbarkeit– = zeitliche, psychische und körperliche Beanspruchung der

Tp

• Verfälschbarkeit– = Undurchschaubarkeit des Messprinzips

• Fairness– = systematische Benachteiligung bestimmter Testpersonen

• Skalierung– probabilistisches Kriterium

Page 22: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

22

Gütekriterien

NützlichkeitTestleiterunabhängigkeitVerrechnungssicherheitAdaptives Testen

NormierungSkalierungFinanzieller AufwandMangelnde Fairness

ErfahrungsunabhängigkeitZumutbarkeitValiditätReliabilitätInterpretationseindeutigkeitVerfälschbarkeit

Vorteile Nachteile

gleichbleibend

Page 23: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

23

Probleme und Möglichkeiten

• Juristische Probleme • Datenschutz• Bewertungs- und Anwendungsvalidität

– Besonders wichtig beim Adaptiven Testen• Anwenderschnittstelle

– Anwenderschnittstellendesign (=ASD) beinhaltet• Effektive Präsentationsergonomie (Farbe, …)• Muss an Tp in Testsituation angepasst sein• Muss psychometrische Ziele verstehen und respektieren führt zu folgenden Testsituationsergebnissen:

– Testfragen müssen schnell zu beantworten sein– Eingabefehler müssen eliminiert/reduziert werden– Subjektive Zufriedenheit muss hoch sein– Pb soll vertraut werden mit der Technologie

• Datenverarbeitung hilft Diagnostiker enorm, wenn er sie effektiv und verantwortlich einsetzt

Page 24: Computergestützte Diagnostik Seminar: Medienunterstützung in der klinisch- psychologischen Intervention Leitung: Dipl.-Psych. C. Eichenberg Referentin:Kathrin.

17.06.2005 C

ompu

terg

estü

tzte

Dia

gnos

tik

Kat

hrin

Hei

nz

24

Literaturangabe

• Becker, J. (2004). Computergestütztes Adaptives Testen (CAT) von Angst entwickelt auf der Grundlage der Item Response Theorie (IRT). Verfügbar unter: www.diss.fu-berlin.de/2004/209/becker.pdf [07.06.2005].

• Booth, J. (1992). Computerdiagnostik. In R.S. Jäger. & F. Petermann (Hrsg.), Psychologische Diagnostik (S. 186-197). Weinheim: Beltz.

• Fisseni, H.-J. (2004). Lehrbuch der psychologischen Diagnostik. Göttingen: Hogrefe.

• Hageböck, J. (1994). Computerunterstützte Diagnostik in der Psychologie (S. 1-54). Göttingen: Hogrefe.

• Hänsgen, K.D. (1998). Computerbasierte Psychodiagnostik heute und morgen. In D. Imoberdorf (Hrsg.), Psychodiagnostik von Individuen, Gruppen und Organisationen (S. 25-45). Stuttgart: Hitzel.

• Klinck, D. (2002). Computergestützte Diagnostik (S. 11-37). Göttingen: Hogrefe.

• Kubinger, K.D. (1993). Testtheoretische Probleme der Computerdiagnostik. Zeitschrift für Arbeits- und Organisationspsychologie, 37 (3), 130-137.

• Kubinger, K.D. (1993). Vor- und Nachteile der Computerdiagnostik. Psychologie in Östereich, 1-2, 25-29.

• Lienert, G. & Raatz, U. (1994). Testaufbau und Testanalyse. Weinheim: Beltz.