Das Multifacetten-Korrekturverfahren beim DSD. Fehleranfälligkeit bei Leistungsbeurteilungen.
-
Upload
waldo-ames -
Category
Documents
-
view
109 -
download
0
Transcript of Das Multifacetten-Korrekturverfahren beim DSD. Fehleranfälligkeit bei Leistungsbeurteilungen.
Das Multifacetten-Korrekturverfahrenbeim DSD
Fehleranfälligkeit bei Leistungsbeurteilungen
1
18
51
16
2
0
10
20
30
40
50
60
1 2 bis 3+ 3 bis 4+ 4 bis 5+ 5
Noten von 88 Lehrern für ein und denselben Aufsatz (nach Birkel & Birkel, 2002)
Häufigkeit
Fehleranfälligkeit
Metaanalyse von 79 Einzelstudien (Hoyt & Kerns, 1999)
37% der Urteilsvarianz gingen auf Urteilsfehler zurück
Bei nicht direkt beobachtbaren Merkmalen (z.B. Fähigkeiten) waren es gar 49%
Zeitlich ausgedehnte Beurteilertrainings hatten nicht den angestrebten Effekt
Fehleranfälligkeit
Vergleich der Einstufungen zweier Beurteiler mit relativ hoher Übereinstimmung
Beurteiler 16
Beurteiler 13 unter TDN 3 TDN 3 TDN 4 TDN 5 Zeilensumme
unter TDN 3 8 8
TDN 3 1 1 2
TDN 4 5 2 3 10
TDN 5 1 1
Spaltensumme 9 6 2 4 21
Anmerkung. Die prozentuale Übereinstimmung bei 21 beurteilten Personen beträgt 57% (12 Übereinstimmungen, 9 Nichtübereinstimmungen; gew. Kappa = .65). TestDaF-Prüfung vom Oktober 2001.
Fehleranfälligkeit
Prozentuale Übereinstimmungsraten und Interraterreliabilitäten beim TestDaF
Beurteiler Anzahl
beurteilter Personen
Prozentuale Übereinstimmung
Interrater-reliabilität
07 – 10 20 70% .66
13 – 16 21 57% .65
12 – 03 20 55% .31
17 – 11 19 53% .42
14 – 08 23 52% .50
08 – 12 24 50% .53
09 – 17 28 46% .26
05 – 18 22 45% .50
02 – 04 27 44% .32
10 – 09 20 40% .39
15 – 07 27 33% .16
13 – 03 21 24% .21
05 – 07 20 20% .22
01 – 14 18 11% –.03
Anmerkung. Leistungsbewertungen erfolgten durch je zwei unabhängige Beurteiler (TestDaF-Prüfung vom Oktober 2001). Die Interraterreliabilität wurde ermittelt nach dem gewichteten Kappa-Koeffizienten (Cohen, 1968).
VorbedingungenVorbedingungen
1. Es gibt 4 Kriterien zur Bewertung von SK beim DSD.
2. Die Bewertungs-Skala umfasst 0 bis 6 Punkte.
3. Es existieren drei Aspekte der Beurteilungssituation, die die
Bewertung beeinflussen (Facetten): - die Fähigkeit des Kandidaten - die Strenge bzw. Milde des Bewerters - die Schwierigkeit eines einzelnen Kriteriums
Ziel ist es, die Fähigkeit des Kandidaten zu isolieren und hierzu die
Einflüsse der anderen beiden Facetten zu Eliminieren.
Das ZielDas Ziel
Das Verfahren besteht aus mehreren Schritten. Am Ende steht
im Ergebnis eine Bewertung, die ein idealer, durchschnittlich
strenger Beurteiler, auf mittelschweren Kriterien abgegeben
hätte.
Der Weg – Schritt 1Der Weg – Schritt 1
Alle Elemente jeweils einer Facette werden auf einer Skala angeordnet.
Hierfür ist für jede Facette ein gemeinsames Bindeglied notwendig.– Teilnehmerfacette:
Anordnung aller Teilnehmer auf einer Skala anhand der mittleren Bewertung (Mittelwert) in den vier Kriterien (Bindeglied: Jeder Teilnehmer ist in den gleichen vier Kriterien bewertet worden)
– Kriterienfacette: Anordnung der vier Kriterien auf einer Skala anhand der mittleren Ergebnisse (Mittelwert) aller Teilnehmer in jedem der Kriterien (Bindeglied: Jedes Kriterium hat eine Bewertung von jedem Teilnehmer bekommen)
– Beurteilerfacette: Problem – Hier fehlt ein gemeinsames Bindeglied, da jeder Beurteiler andere Teilnehmer beurteilt hat
Schritt 1: BeurteilerSchritt 1: Beurteiler
• Um Beurteiler in Hinblick auf ihre Teilnehmerbewertungen vergleichbar zu machen, muss ein Bindeglied geschaffen werden.
• Hierfür werden Vergleichsbewertungen eingeführt.• Aus dem Testlauf werden 7 Leistungen von Teilnehmern
ausgewählt, die exemplarisch das ganze Leistungsspektrum abdecken.
• Diese 7 Leistungen bekommt jeder der Bewerter zur Beurteilung vorgelegt. Sie bilden den Vergleichsmaßstab für die Anordnung der Beurteiler auf einer Skala von mild nach streng.
Schritt 2Schritt 2
• Die 3 Facetten werden auf eine gemeinsame Skala gebracht, um sie miteinander verrechnen zu können.
• Die 7stufige Skala (Werte 0-6) der Kriterien ist aber in der Realität nicht linear und daher für Rechnungen ungeeignet.
• Daher werden die Werte in die Logit-Skala transformiert. Dies stellt eine komplizierte Rechnung dar, die im Detail hier nicht erläutert wird.
• Mit dieser Logit-Skala können jetzt alle Facetten in einem gemeinsamen Raum angeordnet werden (Facettenraum).
Schritt 2: der Facettenraum
+------------------------------------------------+|Logit|Teilnehmer |Bewerter |Kriterium |Skala||-----+------------+---------+-------------+-----|| 8 + ***. + + + (6) || | . | | | || 7 + . + + + || | . | | | || 6 + . + + + || | . | | | || 5 + *. + + + || | *. | | | --- || 4 + *. + + + || | ***. | | | 5 || 3 + ****. + + + || | ***. | | | --- || 2 + *****. + . + + || | ******. | * | | 4 || 1 + ********. + *** + Korrektheit + || | *********. | ** | | --- |* 0 * *********. * ******. * SprachMitt * 3 *| | ********. | ****. | Inhalt | || -1 + *********. + *. + Textaufbau + --- || | ******. | . | | 2 || -2 + ******. + . + + || | *****. | | | --- || -3 + ***. + + + || | **. | | | 1 || -4 + *. + + + || | *. | | | || -5 + . + + + || | . | | | || -6 + . + + + || | . | | | || -7 + *. + + + (0) ||-----+------------+---------+-------------+-----||Measr| * = 18 | * = 2 |-Criterion |Scale|+------------------------------------------------+
Ein * steht für 18 Teilnehmer oder 2 Bewerter
Je höher der Logit desto:- besser der Teilnehmer- strenger der Bewerter- schwerer das Kriterium
Schritt 3 die BerechnungSchritt 3 die Berechnung
Jede einzelne Bewertung jedes Bewerters für jeden Teilnehmer
in jedem der Kriterien wird jetzt wie folgt verrechnet:
Korrigierter Logit = L(T) + L(B) + L(K)
– L(T) Logit des Teilnehmers in dem Kriterium K– L(B) Logit des Beurteilers (Strenge)– L(K) Logit des Kriteriums (Schwierigkeit)
Der so ermittelte korrigierte Logit wird dann wieder in die
ursprüngliche 7stufige Skala zurück transformiert und ergibt die
faire Bewertung des Teilnehmers.
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Skala
6
5
4
3
2
1
0
Wir haben unsere 7stufige (0-6) Skala, auf der die Bewerter jedes der Kriterien beurteilen
Teilnehmer Beurteiler KriteriumSkala
6
5
4
3
2
1
0
Teilnehmer, Beurteiler und Kriterien werden auf dieser Skala angeordnet
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Logit Teilnehmer Beurteiler KriteriumSkala
8
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
6
5
4
3
2
1
0
Die Kriterienskala wird in die Logit-Skala umgerechnet um weitere Berechnungen vornehmen zu können
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Logit Teilnehmer Beurteiler KriteriumSkala
8
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
6
5
4
3
2
1
0
Beispiel: Ein Teilnehmer hat in Kriterium X eine Bewertung von 4 Punkten erhalten was einem Logit von ca. 1,3 entspricht
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Logit Teilnehmer Beurteiler KriteriumSkala
8
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
6
5
4
3
2
1
0
Dieser Teilnehmer wurde von einem eher strengen Beurteiler bewertet der einen Logit von 1,0 hat
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Logit Teilnehmer Beurteiler KriteriumSkala
8
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
6
5
4
3
2
1
0
Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Logit Teilnehmer Beurteiler KriteriumSkala
8
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
6
5
4
3
2
1
0
Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Logit Teilnehmer Beurteiler KriteriumSkala
8
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
6
5
4
3
2
1
0
Das Kriterium, in dem der Teilnehmer bewertet wurde, ist ebenfalls ein eher schweres Kriterium mit einem Logit von 1,0
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Logit Teilnehmer Beurteiler KriteriumSkala
8
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
6
5
4
3
2
1
0
Der Kriteriumslogit wird zum Teilnehmerlogit hinzuaddiert
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Logit Teilnehmer Beurteiler KriteriumSkala
8
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
6
5
4
3
2
1
0
Der Krieriumslogit wird zum Teilnehmerlogit und Bewerterlogit hinzuaddiert
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Logit Teilnehmer Beurteiler KriteriumSkala
8
7
6
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
6
5
4
3
2
1
0
In der Summe entsteht der neue korrigierte Teilnehmerlogit mit einem Wert von 3,2 der umgerechnet in die 7stufige Kriterienskala einem fairen Punktwert von 5 entspricht.
Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung
Schritt 3Schritt 3
• Genauso wird verfahren wenn die Beurteiler eher milde bzw. die Kriterien eher leicht sind. Nur wird dann der Teilnehmerlogit nach unten statt nach oben verschoben, um eine faire Bewertung zu erhalten
• Dieses Prozedere wird für jede einzelne Bewertung jedes Beurteilers in jedem Kriterium durchgeführt und aus den dann ermittelten neuen Einstufungen die Gesamtbewertung des Teilnehmers gebildet.