Einführung in die Psychologische Diagnostik

Prof. Dr. Lothar Schmidt-AtzertFachbereich Psychologie, Philipps-Universität Marburg

Überblick

• Die Gütekriterien diagnostischer Verfahren

• Kombination von Verfahren• Zielsetzung (Vortrag):

– einzelne Auswahlverfahren beurteilen können

– gesamte Auswahlprozedur bewerten können (bei Kombination von Verfahren)

Gütekriterien: Ausgangslage

• Zur Auswahl von Studierenden stehen unterschiedliche Verfahren zur Verfügung– Gesamtnote Abitur– (gewichtete) Einzelnoten– spezifische Studierfähigkeitstests– Auswahlgespräche

• alle können nach einheitlichen Maßstäben (Gütekriterien) beurteilt und sind damit vergleichbar!

Gütekriterien: Übersicht

• Objektivität • Reliabilität (Messgenauigkeit)• Validität (Gültigkeit der Messung) • Nebengütekriterien (Ökonomie

etc.)

Objektivität

„Wenn ich mein Abitur an einer anderen Schule gemacht hätte, wären meine Noten bestimmt besser gewesen“

„Ich hatte Pech mit dem Prof., der mich interviewt hat“

Aussage: das Ergebnis hängt von den Umständen ab, unter denen es gewonnen wird

Definition Objektivität

• Grad, in dem die Ergebnisse eines diagostischen Verfahrens unabhängig vom Untersucher sind

• drei Teilaspekte:– Durchführung der Messung– Auswertung der „Antworten“– Interpretation der Ergebnisse

Durchführung: Fehlerquellen

• unterschiedliche Aufgaben stellen (Schule A – Schule B)

• die Personen unterschiedlich freundlich behandeln

• im Interview unterschiedliche Fragen stellen

• Testaufgaben in unterschiedlicher Reihenfolge vorgeben

• unterschiedlich viel Bearbeitungszeit gewähren

Auswertung: Fehlerquellen

• zwei Interviewer bewerten die gleiche Antwort unterschiedlich

• zwei Schulen geben unterschiedlich viele Punkte für eine richtige Lösung

• Hilfskraft macht Fehler beim Addieren der richtigen Lösungen

Interpretation: Fehlerquellen

• trotz gleicher Anzahl richtiger Lösungen unterschiedliche Noten geben (an zwei Schulen)

Maßnahmen zur Sicherung der Objektivität

• Standardisierung– der Durchführung (z.B. schriftliche

Instruktion, Aufgaben/Fragen immer die gleichen …)

– der Auswertung (Schablonen, Liste mit richten und falschen Antworten, …

– der Interpretation (feste Bewertungsregel, …)

Wie erkennt man die Objektivität?

• an den Maßnahmen zur Standardisierung

• bei nicht ganz eindeutigen Auswertungsregeln (insbes. Interview) an der Übereinstimmung der Beurteiler

Kontrollfragen zur Objektivität

• bei welchem Auswahlverfahren ist es schwierig, die Durchführung zu standardisieren?

• bei welchem ist es schwierig, die Auswertung zu standardisieren?

Bedeutung der Objektivität

Wenn das Auswahlverfahren unterschiedlich abläuft, fühlen sich Bewerber unfair (ungleich) behandelt.

Mängel in der Objektivität wirken sich negativ auf die Reliabität und Prognosegüte des Auswahlverfahrens aus.

Reliabilität (Messgenauigkeit)

„Ich hatte Glück. Bei vielen Fragen habe ich einfach richtig geraten.“

„Im Rechentest kamen Aufgaben vor, die mit den anderen Aufgaben kaum etwas zu tun hatten.“

Reliabilität (Messgenauigkeit)

• Eine Wiederholung der Messung führt zum gleichen Ergebnis (stabiles Merkmal vorausgesetzt, keine Übungseffekte).

• Bei Verwendung vieler Aufgaben/Fragen erfassen alle Aufgaben/Fragen das gleiche Merkmal – die Leistung in der einen Aufgabe hängt mit der in der anderen zusammen.

Definition Reliabilität

• Grad der Genauigkeit, mit der ein diagnostisches Verfahren ein Merkmal misst

Reliabilität: Fehlerquellen

• schlechte Konstruktion des Verfahrens – ungünstige Aufgaben/Fragen– zu wenige Aufgaben/Fragen

Maßnahmen zur Sicherung der Reliabilität (Konstrukteur)• statistische Analyse der

Aufgaben/Fragen• Verwerfung ungünstiger

Aufgaben/Fragen (erkennbar an Kennwerten)

• hinreichend viele Aufgaben/Fragen verwenden

Wie erkennt man die Reliabilität?

• empirisch ermittelte Kennwerte (insbes. Cronbach´s Alpha, Retestreliabilität)

• Werte liegen zwischen 0 und 1 • liegen bei guten Leistungstests

über .90

Kontrollfrage zur Reliabilität

• Ein Auswahlverfahren soll aus ökonomischen Gründen möglichst kurz sein. Welches Problem kann man sich damit einkaufen?

Bedeutung der Reliabilität

Ein hohe Reliabilität bedeutet, dass das Messergebnis kein Zufallsergebnis ist, sondern im Prinzip immer wieder so replizierbar wäre.

Eine hohe Reliabität ist leider keine Garantie für eine hohe Validität (siehe unten).

Validität (Gültigkeit)

„Mein schlechtes Abiturzeugnis sagt doch nichts darüber aus, ob ich das Studium schaffe.“

„Mit diesen Testaufgaben wollen die feststellen, ob ich für das Studium geeignet bin – das kann doch nicht funktionieren!“

Definition Validität

• Grad, in dem das diagnostische Verfahren das misst, was es messen soll

• drei Teilaspekte:– Inhaltsvalidität (die Aufgaben repräsentieren

den Messgegenstand)– Kriteriumsvalidität (z.B. Vorhersage von

Studienerfolg)– Konstruktvalidität (misst der Test vielleicht nur

die Intelligenz?)

Validität: Fehlerquellen bei Konstruktion

• Test- oder Interviewkonstruktion nicht auf begründeten Anforderungen basiert

• vorliegende wissenschaftliche Befunde nicht genutzt

Validität: Fehlerquellen bei der Auswahl eines Verfahrens• vorgelegte Befunde falsch

interpretiert - ungeeignetes Kriterium- Durchführungsbedingung inadäquat- Stichprobe zu klein- inadäquate Stichprobe- Korrektur nicht beachtet

• bessere Alternativen nicht beachtet

Maßnahmen zur Sicherung der Validität (Konstrukteur)

• anforderdungsbezogen vorgehen• vorhandene wissenschaftliche

Erkenntnisse nutzen • Objektivität und Reliabilität

sicherstellen• Verfahren evaluieren und

verbessern

Wie erkennt man die Validität?

• empirisch ermittelter Zusammenhang zwischen Prädiktor und Kriterium (meist Korrelationen)

• Werte liegen zwischen 0 und 1. • Hohe Kriteriumsvaliditäten liegen

bei guten Leistungstests um .50.• Kriterium beachten!

Kontrollfrage zur Validität

• Ein Studierfähigkeitstest korreliert .40 mit den Noten im Diplom.

• Die Abiturnote korreliert .45 mit der Klausur im Fach Methodenlehre.

• Welches Verfahren ist der beste Prädiktor für Studienerfolg?

Bedeutung der Validität

Bei Auswahlverfahren ist die Kriteriums-

validität der wichtigste Kennwert.

Beachten: welches Kriterium? welche Stichprobe? korrigierte Koeffizienten angegeben? (fallen meist höher aus als unkorrigierte)

Bedeutung der Validität

Hat ein Auswahlverfahren eine hohe Kriteriumsvalidität, werden die danach ausgewählten Bewerber später hohe Kriteriumswerte (Studienerfolg) aufweisen!

Jeder Abstrich bei der Kriteriumsvalidität wird mit niedrigeren Kriteriumswerte bezahlt (schlechterer Studienerfolg).

Rechenbeispiel

1) jedes Jahr 300 Bewerber, 100 Studienplätze2) 80 Prozent der Bewerber sind geeignet3) Kriterium = schließt Studium erfolgreich ab

Validität ErfolgreicheVerfahren 1: r = .30 89.1 %Verfahren 2: r = .50 94.3 % bei Verfahren 2 jedes Jahr 5 Erfolgreiche mehr!

weiteres Rechenbeispiel

1) jedes Jahr 500 Bewerber, 100 Studienplätze2) 70 Prozent der Bewerber sind geeignet3) Kriterium = schließt Studium erfolgreich ab

Validität ErfolgreicheVerfahren 1: r = .30 83.6 %Verfahren 2: r = .50 91.4 % bei Verfahren 2 jedes Jahr 8 Erfolgreiche mehr!

Vorsicht bei zu wenig Bewerbern!

1) jedes Jahr 120 Bewerber, 100 Studienplätze2) 80 Prozent der Bewerber sind geeignet3) Kriterium = schließt Studium erfolgreich ab

ValiditätErfolgreiche

Verfahren 1: r = .30 82.9 %gegenüber Zufallsauswahl jedes Jahr nur 3

Erfolgreiche mehr

Quelle: Berechnungen nach Taylor-Russell Modell unter http://www.hr-guide.com/data/G906.htm

einige „Nebengütekriterien“

• Ökonomie (Preis, Zeitaufwand)

• Akzeptanz (bei Bewerbern, in der Öffentlichkeit)

• Fairness(keine Benachteiligung bestimmter Gruppen)

• Verfälschbarkeit(Ergebnis allein Ausdruck der Eignung)

Kombination diagnostischer Informationen

unterschiedliche Urteilsmodelle

• Auswahl nach einem Verfahren• Auswahl nach zwei oder mehr

Verfahren– Gesamtwert mit Gewichtung– Schwellen bei jedem Verfahren

Auswahl nach einem Verfahren

Wenn keine Probleme bei der Objektivität und den Nebengütekriterien bestehen, das Verfahren mit der höchsten prognostischen Validität wählen.

Die Reliabilität kann weitgehend vernachlässigt werden.

Auswahl nach mehreren Verfahren (z.B. Abitur und

Test)• Bei Kombination mehrerer Prädiktoren kann die Validität

nur gleich bleiben oder zunehmen.

• die inkrementelle Validität (Zunahme an Validität) beachten

Beispiel: Abiturnote: r =.40 r2= 16.0% Verfahren x: r =.41 r2= 16.8% Abi. + Verfahren x : R = .42 R2= 17.6%

(+1.6%)

inkrementelle Validität gering, wenn die Prädiktoren hoch korrelieren (ähnliches messen)

Anstieg der Validität u. U. so gering, dass sich der erhöhte Aufwand nicht lohnt

Auswahl nach mehreren Verfahren (z.B. Abitur und

Test)• Beide Verfahren können simultan

verwertet werden (Kombination).• Alternative: sukzessiv mit

Mindestwerten im ersten Verfahren

Beispiel

erst nach Abiturnote auswählen – mind. Note 1.8die vorausgelesenen Personen nach

Testwert auswählen (z.B. die besten 100 nehmen)

fiktives Zahlenbeispiel:- 500 Bewerber- 150 mit Note 1.8 oder besser testen- 100 annehmen, 50 ablehnen

Fazit

• die Gütekriterien machen Verfahren beurteilbar und untereinander vergleichbar

• zentral ist die Kriteriumsvalidität– diese ist nicht ganz einfach zu beurteilen

(Kriterium, Stichprobe, Korrekturen, …)• Objektivität und Nebengütekriterien

auch beachten