Post on 05-Apr-2015
ITB Kolloquium 18.04.07
Andreas Saniter Kompetenz & Evaluation
Seite 2ITB Kolloquium 18.4.2007
Folien
1. Kompetenz als kontextspezifische Disposition2. Amorphes Gebilde – Reduzierbar? Disjunkt?3. Niveaus vs. Entwicklung4. Zielbereich Schule Professionalisierung5. Evaluationsaufgaben
Seite 3ITB Kolloquium 18.4.2007
1. Deskriptionen
Kontextbezogene Dispositionen Vernachlässigung affektiver Faktoren
Abgrenzung zu Intelligenzkonzepten
– Fach- Personal- und Sozialkompetenz als Voraussetzung für Methoden- und Lernkompetenz (KMK 2000)
– Fertigkeiten, Fähigkeiten, Kompetenz (EQF)
– Fachwissen, Erkenntnisgewinnung, Kommunikation, Bewertung (Differenzierung der Kompetenz für allgemeinbildende physikalische Bildungsstandards)
Performanzseitig lässt sich eine Metrik finden – ist eine strukturerhaltende Abbildung auf die Dispositionen / Psyche möglich?
Seite 4ITB Kolloquium 18.4.2007
2.) Korrelationen
?
?
?
Seite 5ITB Kolloquium 18.4.2007
2.) Modellierung
Alternativ: MatrizendarstellungEine psychometrisch optimale Aufgabe zielt auf genau 1
Feld der Kompetenzmatrix. Curricular & eng (1 Lösungsweg, keine Kontamination
mit anderen Dimensionen / Teilleistungen). Liegen (fortgeschrittene) kognitive Leistungen nicht
evt. zwischen den oder in der Kombination der Felder?
Hat Kognition (jenseits elementarer Reproduktion) nicht emergenten Charakter (im Sinne einer Grenze der Elementarisierbarkeit)?
Seite 6ITB Kolloquium 18.4.2007
3. ) Niveaus vs. Entwicklung
Zuordnung der Aufgaben zu Schwierigkeitsniveaus retrospektiv (trotz impliziten Curriculums!?)
Schüler (Kohorte) X macht es um z % besser als Schüler (Kohorte) Y, aber nicht was macht er / sie besser.
Von der quantitativen über die qualitative Deskription zur Analyse !?
Seite 7ITB Kolloquium 18.4.2007
Vorgehensweise einer Evaluationberuflicher Kompetenzentwicklungsverläufe
Kompetenzstufen 1-4(Zugänge zur Aufgabe)1
2
3
4
Kompete
nz-
entw
icklu
ng d
er Pro
bande
n
Elaborierungsgrad d er Lösungen
Alter:
X
X + n
Anf
ord
erun
gen
des
Ber
ufs
naiv
performativ
kompetent
professionell
3. ) Stufen vs. Entwicklung
© Rainer Bremer
Seite 8ITB Kolloquium 18.4.2007
1-3 Kompetenzmodelle
Psychometrie Evaluationsaufgaben
Metrisch Ordinal
Quantitativ Qualitativ
Generische Lösungen Generative Lösungen
Elementarisierend Synthetisch
Produktorientiert Zugangsorientiert
Niveaumodell Entwicklungsmodell
Enge, curriculare Aufgaben Offene, anspruchsvolle Aufgaben
Reliabel Ggf. Teildomänenspezifisch
Scharf in der Defizitdiagnose Unschärfen möglich
Seite 9ITB Kolloquium 18.4.2007
4.) Aufgabenart
Domänenspez. Kompetenz1 – n Kompetenzfelder Jedes
Kompetenzfeld lässt sich als Berufliche (auch akademische) Arbeitsaufgabe (BAG) externalisieren.
Jeder BAG lassen sich anspruchsvolle Aufgaben zuordnen, die zu Evaluationszwecken nutzbar sind.
Seite 10ITB Kolloquium 18.4.2007
5 Evaluationsaufgaben
Die Aufgaben entstammen realen anspruchsvollen Arbeitsprozessen – können Lernende sie perfekt lösen, war die Aufgabe zu leicht. Insbesondere ist die Erzeugung einer eigenständigen (nicht reproduzierenden) Lösung erforderlich.
Evaluiert wird der Zugang zu der Aufgabe, d. h. es wird qualitativ (und damit ordinal) differenziert, wie weit die domänenspezifische Kompetenzentwicklung bereits fortgeschritten ist.
Es gibt wird nicht nach einem vollständigen System von „Teilen“ gesucht, aus denen sich die Kompetenz summativ zusammensetzen ließe.
Seite 11ITB Kolloquium 18.4.2007
Die Aufgabe
»Prüfen einer Lampe«
An Ihrem Standort werden in Zukunft Leseleuchten für Fluggeräte gefertigt. Ein Erstmuster ist bereits gefertigt
worden (Bild 1 bis 5). Bevor die Leseleuchten in ein Flugzeug eingebaut werden können, müssen sie
zunächst geprüft werden. Sie sind für das Prüfen dieser Leseleuchten zuständig.
Ihre Aufgabe: Erstellen Sie einen Plan zur Funktionsprüfung der Leseleuchten.
Seite 12ITB Kolloquium 18.4.2007
Einige Bilder
Seite 13ITB Kolloquium 18.4.2007
Einige Bilder
Seite 14ITB Kolloquium 18.4.2007
Kriterien
Position Frage 1 Frage 2 Punkte
1. Erfaßt die Lösung die Aufgabenstellung?
Ging es um das bearbeitete Problem?
5 0
2. Ist die Lösung machbar?
Läßt sich nach der Lösung tatsächlich arbeiten?
5 0
3. Reflektiert die Lösung Belange der Kunden?
Ist denkbar, daß jemand so eine Lösung braucht?
5 0
4. Ist die Lösung einfach abgeleitet?
Reproduziert die Lösung Gelerntes?
-5 0
Seite 15ITB Kolloquium 18.4.2007
Kompetente Lösung
Seite 16ITB Kolloquium 18.4.2007
Kompetent II
Seite 17ITB Kolloquium 18.4.2007
Aufgabe erfasst / unvollständig
Seite 18ITB Kolloquium 18.4.2007
Null-Lösung
Seite 19ITB Kolloquium 18.4.2007
Ergebnisse
relative Verteilung Elektriker (N=43)
0%
10%
20%
30%
40%
50%
60%
15 10 5 0
Qualität der Lösungsansätze
An
teil
(%)
Seite 20ITB Kolloquium 18.4.2007
Kein Zusammenhang zwischen Sek. I–Abschluß und Lösungsqualität nachweisbar.
Bildung beruflicher Identität als Voraussetzung für die Entstehung fachlicher Kompetenzen gelingt überwiegend (Lernkonzept).
Andernfalls entsteht keine Fähigkeit zur Selbstoperationalisierung (Berufliches Arbeitskonzept).
Kein oder nur geringer Einfluss der peer-to-peer Zusammenarbeit auf die Qualität der Lösungen nachweisbar.
Generalisierte Beobachtungen
Seite 21ITB Kolloquium 18.4.2007
Mögliche Perspektiven
Beide Methoden schreiben Probanden / Kohorten eine (mittlere) domänenspezifische Kompetenz zu.
– Wie kompatibel sind diese?
– Wie können Untersuchungen angelegt sein, dass sie neben Befunden/Diagnosen auch Therapievorschläge beinhalten?
· Wie können die Ergebnisse fundiert didaktisch gewendet werden?
· Wie können die Ergebnisse zur Ausdifferenzierung domänenspezifischer Kompetenzentwicklungsmodelle Verwendung finden?