Post on 15-Feb-2016
description
Prof. Dr. Hartmut Ditton
Dr. Andreas MüllerLMU München,Institut für Pädagogik, Bildungs- und Sozialisationsforschung
Prüfungen als Lerngelegenheit für Studierende und Lehreinheiten
Vortragstag „Lehre im Fokus: Prüfungen“ an der Universität Erlangen am 22. Juli 2011
# 222. Juli 2011Dr. Andreas Müller
Allgemeiner Einstieg:
1. Prüfungen im Anschluss an Bologna
2. Funktionen von Prüfungen
3. Prüfungen als Lerngelegenheit
Praxisbeispiel:
4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
5. Praktische Erfahrungen und Überprüfung des Modells
6. Künftige Herausforderungen
Gliederung
# 322. Juli 2011Dr. Andreas Müller
1. Prüfungen im Anschluss an Bologna
Veränderung der Prüfungslandschaft in Folge der Bolognareform,- ein Beispiel:
Zunahme der Prüfungsdichte• Ø-Semester: 5,4 bis 5,9 (Witte et al, 2010)• z.B. BA Studiengang Pädagogik/ Bildungswissenschaften (LMU München):
drei- bis viermal so viele Prüfungen wie im Hauptfach Magisterstudiengang Pädagogik
Gesteigertes Publikationsinteresse zum Themenfeld „Prüfen“
# 422. Juli 2011Dr. Andreas Müller
Prüfungs-VOR-bereitung
Güte schriftlicher (Dubs 2006) &mündlicher Prüfungen (Stary 2006)
Vergleichbarkeit von Prüfungen & Noten (Kurz 2010)
Standardisierung &Automatisierung von Prüfungen
(Hees et al. 2008; Reepmeyer 2008)
Prüfungs-Durchführung
Innovative Prüfungsformen (Brinker 2007)
Kompetenzorientierung &Prüfungsmethodik
(vgl. Dany et al. 2008)
Stressbewältigung der Studierenden (Knigge-Illner 2007;
Köster et al. 2005)
Prüfungs-NACH-Bereitung
?
Fokus auf Prüfungs-VOR-bereitung und -durchführungGesamter Prüfungszyklus inkl. NACH-bereitung bislang nicht betrachtet
1. Prüfungen im Anschluss an Bologna
# 522. Juli 2011Dr. Andreas Müller
2. Funktionen von Prüfungen
# 5Dr. Andreas Müller
Lernen & Entwicklung
(„Assessment FOR Learning)
Selektion
(„Assessment OF Learning“)
Her
rsch
aft &
So
zial
isat
ion
Studierende Lehreinheiten
(Ainsworth & Viegut 2006; Flechsig 1976)
# 622. Juli 2011Dr. Andreas Müller # 6
Prüfungs-VOR-bereitung
FeedforwardLernziele (=Standards)
setzen und kommunizieren
Ad hoc Lernstandserhebungen
(Inhaltliche Homogenisierung)
Prüfungs-NACH-Bereitung
FeedbackRückmeldungen an Studierende
(schriftlich, mündlich)
Rückmeldung an Lehreinheit:• Lerndefizite;
• Wiederholungseffekte;• Wirkungen von
Unterstützungssystemen;• „Dozenteneffekte“
Prüfungs-Durchführung
Fragen strukturieren
( Lernzieltaxonomie z.B. nach Anderson & Krathwohl 2001)
3. Prüfungen als Lerngelegenheit
Kritisches Beispiel:3 versus 4 Erziehungsstile bei Baumrind
# 701.02.2010Dr. Andreas Müller
3. Prüfungen als Lerngelegenheit
„Dozenteneffekt“ durch Begleitübungen zu einer Vorlesung?
Vorlesung (Professorin)
Professorin
Mitarbeiter A
Mitarbeiter B
Mitarbeiter C
Mitarbeiter D
Beg
leit-
übun
gen
Professorin Mitarbeiter A Mitarbeiter B Mitarbeiter C Mitarbeiter D1.0
1.5
2.0
2.5
3.0
3.5
4.0
# 801.02.2010Dr. Andreas Müller
3. Prüfungen als Lerngelegenheit
Dozenten der Begleitseminare zur Vorlesung
Not
en in
der
MC
-Kla
usur
Keine besseren Ergebnisse bei Professorin
Bessere Ergebnisse bei „Wiederholern“
„Dozenteneffekt“ durch Begleitübungen zu einer Vorlesung?
# 922. Juli 2011Dr. Andreas Müller
4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
Praxisbeispiel:Erweiterter Prüfungs- und Feedbackzyklus für Seminare
# 1022. Juli 2011Dr. Andreas Müller
4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
2. Nach einer Veranstaltungssitzung1. In der Veranstaltung0. Vor oder in der Veranstaltung
3. Nach der Veranstaltung
1.3Prüfungs-situation:
Beobachtung & Bewertung
1.1Beobachtungs-
kriterien & Standards
kommunizieren
(Feedforward)
1.2Zielklärung & Verständnis-
sicherung
0.1Beobachtungs-
kriterien identifizieren
0.2Bewertungs-
standards festlegen
2.1Rückmeldung
der Beobachtung &
Bewertung
(qualitatives Feedback)
3.Feedback zum
Feedback durch die
Studierenden(Metafeedback)
Doz
ent
(qua
l. Fe
edba
ck)
Sem
inar
teiln
ehm
er(q
uant
. Eva
luat
ion)
2.2Rückmeldung
der Beobachtung (quantitatives
Feedback)
1.3Seminar-situation:
Beobachtung
1.3Referent/Prüfling:
Selbst-beobachtung
0.1Beobachtungs-
kriterien identifizieren
2.3Auswertungs-
gespräch
(Tutor)
# 1122. Juli 2011Dr. Andreas Müller
Beispiel für Beobachtungs- und Bewertungsstandards
4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
Personale Ebene Beobachtungskriterium Bewertungsstandard
Körpersprache Unterstützende Gestik Moderationsfähigkeit Aktives Eingehen auf Fragen
Inhaltsdarstellung Wichtige Inhalte identifiziert und korrekt dargestellt
Zielgruppenorientierung Vorwissen der Tn. berücksichtigt
VOR IN NACH NACH
# 1222. Juli 2011Dr. Andreas Müller
Schritt 2.1. qualitatives Dozentenfeedback:
Zahlreiche Reviews zur lernförderlichen Gestaltung von mündlichen Rückmeldesituationen
(z.B Hattie & Timperley 2007; Kluger & DeNisi 1996; Mory 2003; Müller, 2010, Nicol & Macfarlane-Dick 2006; Sippel 2009)
• Zeitliche Trennung von Note und Feedback• Direkte soziale Vergleiche vermeiden
VOR IN NACH NACH
4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
# 1322. Juli 2011Dr. Andreas Müller
Schritt 2.2. quantitatives Peer-Feedback (allg. Teil) & Selbstbeobachtung:1. Teil: Allgemeine Einschätzung zur Referentengruppe
5
5
4
3,64
4,11
4,28
4,35
4,55
3,8
1 2 3 4 5
Einleitung hat Interessegeweckt
Medieneinsatz Themagut veranschaulicht
Nach Referat Gefühletwas gelernt zu haben
stimme überhaupt nicht zu stimme voll zuMuster; N = 20Kurs; N = 43-44
Selbsteinschätzung
Signifikanzniveau: * = p < 0,1; ** = p < 0,05; *** = p < 0,01
** ** ***
3
4
5
3
5
5
4,05
4,25
4,3
3,33
4,25
4,21
1 2 3 4 5
Zusammenhänge wurden gut erklärt
Referat war gut strukturiert
Inhalt hat ans Vorwissen angeknüpft
Wesentliches wurde am Ende nochmalzusammengefasst
Durch Aufbereitung des Themas wurde Motivationzur Mitarbeit geweckt
Eingesetzte Methoden Lernprozess unterstützt
stimme überhaupt nicht zu stimme voll zu
Muster; N = 18-20
Selbsteinschätzung
4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
# 1422. Juli 2011Dr. Andreas Müller
40
26
2
2
26
16
8
4
8
5
23
23
4
0
38
35
3
1
9
14
0% 20% 40% 60% 80% 100%
Bewertung durchKommilitonen unangenehm
Bewertung durch Dozentenunangenehm
Signifikanzprüfungnachvollziehbar
Sozialer Vergleich sinnvoll
stimme gar nicht zustimme eher nicht zuteils/ teilsstimme eher zustimme voll und ganz zu
5. Praktische Erfahrungen und Überprüfung des Modells
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer:
(Angaben aus 3 Kursen Tn-Ninsg. = 45-81)
# 1522. Juli 2011Dr. Andreas Müller
5. Praktische Erfahrungen und Überprüfung des Modells
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer:
(Angaben aus drei Kursen, Tn-Ninsg. = 45-48)
Skalierung:1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu
3,023,11
2,722,87 2,83 2,89
2,35
4
4,46
3,42 3,333,54
4,63
1,34
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
GESAMT Hilfreiche Hinweise für künftige
Referate
Motivation andereMethode zuverwenden
MotivationPräsentation zu
verändern
Motivation Aufbauzu veränden
Verständlich Überflüssig
schriftliche Rückmeldungmündliche Rückmeldung
# 1622. Juli 2011Dr. Andreas Müller
Schriftliche Rückmeldung - Kursvergleich
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
SCHRIFTLICHGESAMT
Hilfreiche Hinweise für künftige
Referate
Motivationandere Methode
zu verwenden
MotivationPräsentation zu
verändern
MotivationAufbau zuveränden
Verständlich Überflüssig
Kurs AM 5. Semester (N = 15)Kurs AM 3. Semester (N = 8-11)Kurs XY 1. Semester (N = 22)
5. Praktische Erfahrungen und Überprüfung des Modells
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer:
Skalierung:1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu
# 1722. Juli 2011Dr. Andreas Müller
Schriftliche Rückmeldung - Kursvergleich
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
SCHRIFTLICHGESAMT
Hilfreiche Hinweise für künftige
Referate
Motivationandere Methode
zu verwenden
MotivationPräsentation zu
verändern
MotivationAufbau zuveränden
Verständlich Überflüssig
Kurs AM 5. Semester (N = 15)Kurs AM 3. Semester (N = 8-11)Kurs XY 1. Semester (N = 22)Kurs AM 1. Semester (N= 32)
5. Praktische Erfahrungen und Überprüfung des Modells
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer:
Skalierung:1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu
# 1822. Juli 2011Dr. Andreas Müller
5. Praktische Erfahrungen und Überprüfung des Modells
"Wie schätzen Sie die folgenden Fragen ein"(1=gar nicht sinnvoll; 5 = sehr sinnvoll)
3,18 3,15
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
"Inhalt hat an Vorwissen angeknüpft"
Kurs XY 1. Semester (N = 22)Kurs AM 1. Semester (N= 34)
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer:Eingesetzte Items werden von den Teilnehmern fast durchgehend als sinnvoll bewertet
"Wie schätzen Sie die folgenden Fragen ein"(1=gar nicht sinnvoll; 5 = sehr sinnvoll)
3,18 3,15
3,82 3,8
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
"Inhalt hat an Vorwissen angeknüpft"
Kurs XY 1. Semester (N = 22)Kurs AM 1. Semester (N= 34)Kurs AM 3. Semester (N = 11)Kurs AM 5. Semester (N = 15)
# 1922. Juli 2011Dr. Andreas Müller
5. Praktische Erfahrungen und Überprüfung des Modells
(N = 12-22)
Selbsteinschätzung der Referenten
Einfaktorielle ANOVA:F (23,417) = 4.713 (p = .000)
# 2022. Juli 2011Dr. Andreas Müller
5. Praktische Erfahrungen und Überprüfung des Modells
Zeitaufwand in/nach jeder Seminarsitzung:• Ausfüllen der quantitativen Evaluationsbögen: ca. 5 Minuten• Qualitative Rückmeldung durch den Dozenten: ca. 15 Minuten
Zeitaufwand für die Erstellung der quantitativen Rückmeldungen:• Kurs mit 25 Tn, 2 Referenten, Fragebogen ca. 20 Items, inkl.
Selbstbeobachtung• Aufwand ca. 100 Minuten pro Woche
Zeitaufwand für das Auswertungsgespräch:
Pro Woche und Referenten ca. 20 Minuten
StudentischeTutorin
# 2122. Juli 2011Dr. Andreas Müller
5. Praktische Erfahrungen und Überprüfung des Modells
Fazit:
Ressourcenperspektive: geringer zeitlicher & monetärer Aufwand
Forschungstheoretische Perspektive: • Studierende bewerten Stundengestaltungen ihrer Kommilitonen
differenziert (Hoffmann 2009)• Bedeutung von Instruktion bei Einsatz des Instruments
Adressatenperspektive: • Differenzen zwischen Fremd- und Selbsteinschätzung• Beide Rückmeldeformen werden bei zielgruppenorientierten Einsatz als
verständlich eingeschätzt, positiv bewertet und liefern Anregungen für den weiteren Studienverlauf
# 2222. Juli 2011Dr. Andreas Müller
6. Künftige Herausforderungen
• Breite Anwendung von Bewertungskriterien und Standards in möglichst vielen Veranstaltungen eines Studiengangs Adaption in Abhängigkeit von Modulen & Semester !!!
• Längsschnittliche Verwendung von Prüfungsrückmeldungen im Studienverlauf Studienverlaufsportfolios
• zeitnahe Anwendungsmöglichkeit von Entwicklungshinweisen Mehrere Prüfungs- (Referats-) Situationen in einer Veranstaltung!?
Prüfung 1 Prüfung 2Vor-
bereitungDurch-führung
Nach-bereitung
Vor-bereitung
Durch-führung
Nach-bereitung
# 2322. Juli 2011Dr. Andreas Müller
Vielen Dank für Ihre Aufmerksamkeit
# 2401.02.2010Dr. Andreas Müller
Literaturangaben
• Brinker, T (2007). Verschiedene Prüfungsformen zur Beurteilung studentischer Kompetenzen. Abgerufen von Fachhochschule Bielefeld http://www.lehridee.de/data/doc/id_264/Pruefungsformen.pdf am 04.01.2011.
• Dany, S, Szczyrba, B & Wildt, J (Hrsg.). (2008). Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Düsseldorf: Ulrich Welbers.
• Dubs, R. (2006). Besser schriftlich prüfen. Prüfungen valide und zuverlässig durchführen. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H 5.1). Berlin: Raabe, S. 1-26.
• Flechsig, K-H (1976). Prüfungen und Evaluation. In: Blickpunkt Hochschuldidaktik, 40, S. 303-336.• Hees, F., Hermanns, A. & Huson, A. (2008). Prüfungserstellung mit Total Quality Management (TQM). In: Dany, S., Szczyrba, B. & Wildt, J. (Hg.), Prüfungen auf
die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Bielefeld: Bertelsmann Verlag, S. 129 - 141.• Hoffmann, A (2009). Studentische Lehrveranstaltungsevaluation. Ein Zerrbild der Qualität akademischer Lehre? . In: Empirische Pädagogik, 23(1), S. 19-49.• Knigge-Illner, H (2007). Prüfungsangst überwinden – Workshops der Psychologischen Studienberatung – Teil 2. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues
Handbuch Hochschullehre (H 2.4). Berlin: Raabe, S. 1–26.• Köster, S., Rupp-Freidinge, C. & Dieker-Müting, J. (2005). Angst vor der Prüfung. Wie Dozenten Prüfungsängste von Studierenden auffangen und mildern
können. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H. 2.2). Berlin: Raabe, S. 1-36.• Kurz, G. (2010). Qualitätssicherung in der Lehre durch angemessene Bewertung von Studienleistungen. In: Berendt, B., Voss, H.-P., Wildt, J. & Tremp, P. (Hg.),
Neues Handbuch Hochschullehre. Berlin: Raabe, S. 1-31.• Müller, A (2008). Feedback: Wirkmechanismen und Einsatz in der Personalentwicklung. Saarbrücken: VDM Verlag.• Müller, A (2010). Rückmeldungen nach Vergleichsarbeiten im Kontext des schulischen Qualitätsmanagements. Drei explorative Studien zu Gestaltung und
Rezeption im Anschluss an KOALA-S. Berlin: Mensch und Buch Verlag.• Müller, A. (2010). Prüfungen als Lernchance-Rückmeldungen in Hochschulseminaren. In, Neues Handbuch Hochschullehre. H 3.3. Berlin: Raabe Verlag, S. 1-26.• Rachow, A (2000). Spielbar. Bonn: Manager-Seminare May.• Reepmeyer, J.-A. (2008). Was kosten Prüfungen? Vereinfachung durch den Einsatz computergestützter Prüfungssysteme. In: Brocke, J. V. & Becker, J. (Hg.),
Einfachheit in Wirtschaftsinformatik und Controlling. München: Verlag Franz Vahlen S. 521-535.• Schulz von Thun, F (2004). Miteinander reden. 1. Störungen und Klärungen. Allgemeine Psychologie der Kommunikation. Hamburg: Rowohlt Verlag.• Sedlmeier, P (1996). Jenseits des Sigifikanztest-Rituals: Ergänzungen und Alternativen. In: Methods of Psychological Research Online, 1(4), S. 41-63.• Stary, J. (2006). "Doch nicht durch Worte allein..." Die mündliche Prüfung. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschulforschung (H
2.1). Berlin: Raabe, S. 1-17.• Thömmes , A (2006). Unterrichtseinheiten erfolgreich abschließen. Mülheim an der Ruhr: Verlag an der Ruhr.• Wissenschaftsrat (2008). Empfehlungen zur Qualitätsverbesserung von Lehre und Studium. Abgerufen von
http://www.wissenschaftsrat.de/download/archiv/8639-08.pdf am 04.01.2011.• Witte, J., Sandfuchs, G., Lenz, T., Brummerloh, S. & Hartwig, L. (2010). Stand und Perspektiven bayerischer Bachelorstudiengänge - Zwischenbericht an das
Bayerische Staatsministerium für Wissenschaft, Forschung und Kunst. München: Bayerische Staatsinstitut für Hochschulforschung und Hochschulplanung.