Unterlagen zum Workshop - eassessment.uni-bremen.de · Modul Grobziele Die Studierenden sind in der...
Transcript of Unterlagen zum Workshop - eassessment.uni-bremen.de · Modul Grobziele Die Studierenden sind in der...
12. Mai 2014 | | 1
Unterlagen zum Workshop
Gestaltung geschlossener Fragen für Übungen und Prüfungen
Unterlagen zum Workshop
Zeitplan
09:00 – 10:30
Begrüßung und Einführung – Rahmenmodell und Gütekriterien für Prüfungen
Lernziel-Taxonomien
Fragetypen, Fragendesign und Beispieleagetype , age des g u d e sp e e
10:30 – 10:45 Pause
10:45 –12:15
Grundprinzipien für die Gestaltung von Auswahlfragen
Testwiseness
Tipps und Tricks - Höhere Taxonomiestufen bei geschlossenen Antwortformaten
12:15 – 13:15 Mittagspause
13:15 – 14:45 Arbeitsaufgabe - Erstellung von Prüfungsaufgaben im Antwortwahlverfahren
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 22
14:45 – 15:00 Pause
15:00 – 17:00Präsentation und Diskussion der Teilnehmer-Ergebnisse
Evaluation und Abschluss
12. Mai 2014 | | 2
Hintergrund an der Universität Bremen
Dienst eAssessment seit Wintersemester 2004/2005
Testcenter-Eröffnung Dezember 2007
Aktuell eKlausuren in ca. 80 Veranstaltungen/Sem. aus allen 12 Fachbereichen
eKlausuren, Eingangstests, Übungen, Softwareprüfungen
ca. 8000 Prüfungsleistungen / Semester
(e-)Prüfungsdidaktik wichtiger Schwerpunkt
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 33
eAssessment-Services des ZMML
Prüfungsdidaktische Qualifizierung u. Beratung, Support
en
E A S S E S S M E N T
eKlausur
Entwicklung von PrüfungsszenarienPrüfungsplattformen
e
T E S T C E N T E R ( I N F R A S T R U K T U R )
Entwicklung und Pflege von Fragenkatalogen
Qualitätssicherung
Prüfungsorganisation und ‐durchführung
Servic
e
Prü
fungsform
e
Forschung, Entwicklung, Vernetzung
Self‐Assessment
Eignungstest
Softwareprüfung
Prüfungseinsicht
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 44
Systemadministration und ‐entwicklung
Daten‐ und Systemsicherheit
Servic
e
Serverinfrastruktur
Prüfungsrechner und ‐plätze
Produkte
Prüfungsmanagementsystem Qualitätssicherung
12. Mai 2014 | | 3
Ablauf einer eKlausur
Beratungsgespräch (Organisation + Didaktik)
Editorschulung
Katalogerstellung
Anmeldeorganisation
AufsichtsorganisationKatalogerstellung
Qualitätssicherung
Abnahme / Zugangstest
Prüfungsvorbereitung
Aufsichtsorganisation
Prüfung im Testcenter
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 55
ggf. Nachbewertung
Ergebnisexport und -analyse
Klausureinsicht im Testcenter
Prüfung im Testcenter
Rahmenmodell des Prüfen
Curricularer Rahmen
Prüfungsprozess
WASprüfen
WIEprüfen
WIEauswerten
g p
Wozu?
• diagnostisch• formativ• summativ
Wie gut?
• Objektivität• Reliabilität• Validität• ...
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 66
Lehr-Lernverständnis
Quelle: Metzger, C. & Nüesch, C. (2004): Fair prüfen. Ein Qualitätsleitfaden für Prüfende an Hochschulen. Hochschuldidaktische Schriften Band 6, Institut für Wirtschaftspädagogik Universität St. Gallen (modifiziert)
12. Mai 2014 | | 4
Gütekriterien für Prüfungen
Objek
Prüfungs-qualität
Objek‐tivität
Interpretations-
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 77
Ökonomie
Relia‐bilität
Vali‐dität
Kriteriums-
Validität von Prüfungen: Constructive Alignment
Lehr-/LernprozessLernaufgaben
PrüfungPrüfungsaufgaben
KompetenzBeruflich-/gesellsch. A.
IntendedLearningOutcome
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 88
basierend auf Biggs & Tang (2007)
12. Mai 2014 | | 5
Kompetenz Prüfen?
Unter Kompetenzen versteht man „die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen
„Fähigkeit, komplexe Anforderungssituationen angemessen und verantwortungsvoll zu bearbeiten“ (Huber 2008)
oder einfach nur
Bereitschaften und Fähigkeiten um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“ (Weinert 2001, S. 27)
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 99
„Fähigkeit zum erfolgreichen Handeln“ (Mandl & Krause 2001)
Können in Klausuren Kompetenzen gemessen werden?
Lernzielklassifikation
Ebene Klassifi-kation Beispiel Stufe
Studiengang Richtziele
Die Studierenden der Biologie sind in der Lage, selbstständig wissenschaftliche Untersuchungen zu konzipieren, durchzuführen, auszuwerten und zu publizieren.
Problemebearbeiten
Modul Grobziele
Die Studierenden sind in der Lage, Laborversuche zur Genetik selbständig durchzuführen und mit den wichtigsten statistischen Methoden auszuwerten.
Wissen und Anwenden
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1010
statistischen Methoden auszuwerten.
Lerneinheit FeinzieleDie Studierenden können eineSequenzanalyse der mRNA von Drosophiladurchführen und auswerten.
Wissen und Anwenden
s.a. http://www.hochschuldidaktik.uzh.ch/instrumente/dossiers/DU_Lernziele_11_08.pdf
12. Mai 2014 | | 6
Lernzieldefinition
„sprachlich artikulierte Vorstellung von der durch einen Lernprozess zu bewirkenden beobachtbaren Verhaltensänderung, Einstellungsänderung etc. der Lernenden“ (Möller 1995, basierend auf Meyer 1977)( , y )
Inhaltskomponente (Wissensobjekt) + Prozesskomponente (Aktiv-Verb)
BEISPIELE: Die Studierenden sind in der Lage ...
• aus mehreren Aktivitätenlisten die vollständigste auszuwählen (Analyse von Fakten).
• die Relevanz von Untersuchungsergebnissen festzulegen (Bewertung von Konzepten).
• einen effizienten Arbeitsplan zu erstellen (Erschaffung von Prozeduren)
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1111
Detaillierter: Wer (1) tut (2) was (3) wie viel (4) und bis wann (5)
BEISPIEL: Die Studierenden (1) sind am Ende der Lerneinheit „Populationsbiologie“ (5) in der Lage, einfache Wachstumsexperimente mit Chlorella fusca (3) in angemessenem Umfang (4) statistisch auszuwerten (2).
Lernzieltaxonomien
Lernziel Wissen Verständnis Anwendung Analyse Synthese Bewertung
Bloom 1976
KognitiverBeitrag:
Informationserinnerung(erkennen, wiedergeben)
Informationsverarbeitung(verstehen, anwenden)
Informationserzeugung(analysieren, Synthese, beurteilen)
Metzger et al. 1993
Wissens-dimension
Kognitiver Prozess
Erinnern Verstehen Anwenden Analysieren Bewerten Erzeugen
Anderson & Krathwohl 2001
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1212
Faktenwissen
Konzeptuelles Wissen
Prozedurales Wissen
Meta-Kognitives Wissen
http://www.eassessment.uni-bremen.de/lernziele.php
12. Mai 2014 | | 7
Beispielmatrix
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1313
Model of Learning ObjectivesQuelle: Rex Heer, Iowa State University -Center for Excellence in Learning and Teaching, Version Januar 2012
Vereinfachte Lernzieltaxonomie
Kognitiver ProzessWissens-dimension
g
ErinnernVerstehenAnwendenAnalysieren
BewertenErzeugen
Fakten 1 4 7
Konzepte 2 5 8
Prozeduren 3 6 9
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1414
Anderson & Krathwohl 2001 (vereinfacht, Bücking 2011)
12. Mai 2014 | | 8
Auf welcher dieser Rennstrecken fuhr der Wagen, so dass der gezeigte Geschwindigkeitsgraph entstand?
Übung zur Kategorisierung von Prüfungsaufgaben
Kognitiver Prozess
ErinnernVerstehen Anwenden Analysieren
Bewerten Erzeugen
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1515
Wis
sens
dim
ensi
on A Fakten 1 4 7
B Konzepte 2 5 8
C Prozeduren 3 6 9
ABCDE
S = Startlinie
PISA 2000, s. www.mpib-berlin.mpg.de/Pisa/Beispielaufgaben_Mathematik.PDF
Fragetypen in eKlausuren
Freitextfragen
K i b T t
Offen
BearbeitunP
DF
)
rnet
Zeichnen
Aufw
and
Freiheitsg
Kurzeingabe Text
Hotspot / Drag&Drop-frei
Drag&Drop – Texte/Graph.
Antwortpaare
Geschlossen
Antw
ongsaufgaben
lexe
Anl
agen
(S
crip
te,
timed
ia, S
oftw
are,
Int
er
Kurzeingabe Zahlen
Objek
Ausw
ertung
grade
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1616
Multiple Choice
Single Choice
ort-WahlK
ompl
Mul
t
http://www.eassessment.uni-bremen.de/fragetypen.phphttp://uebung.eassessment.uni-bremen.de/ (Fragetypen und Lernzielniveaus)
ktivierung
12. Mai 2014 | | 9
Fragenaufbau und Designelemente in eKlausuren
AnlageThema
1 Kontext / Szenario / FallvignetteF t llFragestellungBedienungs- und Bewertungshinweise
Antwort A
Antwort B
Antwort C
Antwort D
Beschriftungen
Grafiken / Bilder / Objekte
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1717
Punkte
Upload
Begründungsfeld (Freitext)
Download
http://www.eassessment.uni-bremen.de/fragendesign.php
Freitext
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1818
Quelle: Fragenkatalog „Marketing“, Universität Bremen – FB7
12. Mai 2014 | | 10
Freihandzeichnung
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 1919
Texteingabe
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 2020
12. Mai 2014 | | 11
Zahleneingabe + Begründungsfeld
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 2121
Quelle: Prof. Dr. Thöming, Universität Bremen – FB4: Übungsfrage in der VA „Chemie für Produktionstechniker“
Zahleneingabe
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 2222
Quelle: Prof. Dr. Poddig, Universität Bremen – FB7, Fragenkatalog „Finanzwirtschaft“
12. Mai 2014 | | 12
Zahleneingabe + Auswahllisten + Excel + Anlage
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 2323
Quelle: Prof. Dr. Martin Missong, Universität Bremen – FB7: Probeklausur zu „Statistik für Wirtschaftswissenschaftler“
Freies Positionieren
Determine the Take-Off-Distance above 50 ft obstacle clearance
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 2424
Quelle: LPLUS-GmbH BremenFragenbeispiele auf www.lplus.de
12. Mai 2014 | | 13
Hotspot - mehrfach
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 2525
Hotspot - alternativ
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 2626
Bildquelle: Ronald Schulte (NL)www.ronaldschulte.nl(galerij-1.html
12. Mai 2014 | | 14
Drag&Drop Textfelder
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 2727
Quelle: Prof. Dr. Heeg & Dr. T. Bruns, Universität Bremen – FB4: Veranstaltung „Industrial Engineering“
Auswahllisten
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 2828
12. Mai 2014 | | 15
Antwort-paare
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 292929
Quelle: W. Hoffmeister. „Erläuterung der Klassifikationsmatrix zum ULME-Kompetenzstufenmodell“, bwpad8
MC-Matrix
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 303030
12. Mai 2014 | | 16
MC-Leitfaden
F t t i ifi h L i l d
Siehe Handout
Zusammenfassung:
Fragen stets einem spezifischem Lernziel zuordnen
Antwortalternativen homogen gestalten
Klare Fragestellung – Eindeutig richtige Antworten –Transparente Bewertung
„Give aways“ und ungewollte Lösungshinweise vermeiden
Positive Formulierungen verwenden
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 313131
http://www.eassessment.uni-bremen.de/mc_leitfaden.php
Cover the Options-Rule – Frage auch ohne Sicht auf die Antwortalternativen beantwortbar
Leseaufwand minimieren, Grammatik und Rechtschreibung kontrollieren
T e s t w i s e n e s soder: Wie man schlecht konstruierte MC-Prüfungen besteht.
Siehe Handout
Am längsten, am komplexesten, am wissenschaftlichsten klingend, präziser formuliert, spezifischer richtig
Wiederholung von Fachbegriffen aus der Frage richtig
Vage formuliert richtig, Absolute Aussagen falsch
Zwei sich widersprechende Antworten alle anderen falsch
Zusammenfassung: Merkmale von Antwortalternativen:
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 3232
Negativ klingende Aussagen falsch
Grammatikalisch oder nicht zur Fragenlogik passend falsch
keine Hinweise zu finden? Antwort C
Beispiele auf http://www.kvhigh.com/learning/testtips.htmlhttp://www.eassessment.uni-bremen.de/mc_leitfaden.php#antworten
12. Mai 2014 | | 17
Tipps zur Erreichung höherer Lernzielniveaus
Transferaufgaben stellen
Szenario- und Key-Feature-FragenSzenario und Key Feature Fragen
Analyse komplexer Anlagen
Rechercheaufgaben
Umkehr der Fragenlogik (Symptome Befund)
Antwortanalyse statt Abfrage
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 3333
Umstellung des Formats (Graphik Text)
Integration fachspezifischer Software
Multimedia-Formate nutzen
http://www.eassessment.uni-bremen.de/mc_leitfaden.php
Beispiel: Key-Feature-Problem
KF-Stamm (Fallvignette): Die 44-jährige Helena Lux stellt sich wegen eines Kopfschmerzereignisses bei Ihnen in der Notambulanz vor. 5 Tage zuvor ist es ihr am Vormittag beim Aussteigen aus dem Wagen plötzlich heftig in den Nacken und das Hinterhaupt gefahren. Die Kopfschmerzen waren so heftig wie sie es zuvor noch nie erlebt hatte. Sie musste sich zunächst wieder ins Auto setzen. Der Schmerz sei dann schließlich ein wenig besser geworden. Nachdem er aber am Freitag immer noch nicht ganz weg war, habe sie die Hausärztin aufgesucht. Diese empfahl ihr, sich in der Klinik vorzustellen.
1. Nennen Sie Ihre Hauptverdachtsdiagnose: Antwort (Long Menu): Subarachnoidalblutung
2. Welche beiden klinischen Zeichen untersuchen Sie jetzt unbedingt gezielt, um ihre Diagnose zu erhärten? Antwort (Long Menu): Nackensteifigkeit, Meningismus
3. Sie finden bei der Patientin eine leichtgradige Nackensteifigkeit. Wie gehen sie diagnostisch weiter vor? Antwort (Short Menu): Computertomographie. Distraktoren: NMR, Angio-NMR, EEG, Liquorpunktion
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 3434
4. In der Computertomographie findet sich kein sicherer Hinweis für Blut in den Liquorräumen. Welche Untersuchung führen sie diagnostisch als nächste durch? Antwort (Long Menu): Liquorpunktion
5. ...
Quelle: Kopp V, Möltner A, Fischer MR. Key-Feature-Probleme zum Prüfen von prozeduralem Wissen: Ein Praxisleitfaden. GMS Z Med Ausbild. 2006;23(3):Doc50 (http://www.egms.de/en/journals/zma/2006-23/zma000269.shtml)
12. Mai 2014 | | 18
Arbeitsaufgabe (Alternative 1)
Versetzen Sie sich in die Lage des Seminarleiters. Ihr Ziel ist es im Rahmen eines abschließenden schriftlichen oder elektronischen Tests zu überprüfen, in
l h M ß Ih L i l d T il h i d T il h
Situation:
welchem Maße Ihre Lernziele von den Teilnehmerinnen und Teilnehmern erreicht wurden.
Entscheiden Sie sich für eines der in den Seminarunterlagen genannten
Aufgabe:
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 3535
g gLernziele und erstellen Sie zu diesem eine oder eine Serie aufeinander aufbauender Auswahlfragen auf dem Niveau Informationsverarbeitung (Verständnis, Anwendung, Analyse).
siehe Leitfaden im Handout!
Arbeitsaufgabe (Alternative 2)
Erstellen Sie eine geschlossene Szenario-Frage oder eine kurze Abfolge von Key-Feature-Fragen aus einem selbstgewähltem Arbeitsbereich Mindestens
Aufgabe:
Key-Feature-Fragen aus einem selbstgewähltem Arbeitsbereich. Mindestens eine dieser geschlossenen Fragen soll der Kategorie „Informationsverarbeitung“ zuzuordnen sein.
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 3636
siehe Leitfaden im Handout!
12. Mai 2014 | | 19
Das Genie entdeckt die Frage, das Talent beantwortet sie (K.H. Waggerl)
Vielen Dank für Ihre Teilnahme!
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 3737
Zitierte Literatur
Anderson, L. W. & Krathwohl, D.R. (Eds.) (2001). A taxonomy for learning, teaching and assessing: A revision of Bloom's Taxonomyof educational objectives. Abridged edition, New York , Longman
Biggs J B & Tang C (2007) Teaching for quality learning at university Open University Press/Mc Graw Hill EducationBiggs, J. B. & Tang, C. (2007). Teaching for quality learning at university. Open University Press/Mc Graw-Hill Education
Bloom, B.S. (1976). Taxonomie von Lernzielen im kognitiven Bereich, 5. Auflage, Beltz Verlag, Weinheim
Huber, L. (2008). Kompetenzen prüfen? in: Dany, S., Szczyrba, B., Wildt, J. (Hrsg.). Prüfungen auf die Agenda!Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Bielefeld, W. Bertelsmann Verlag, S. 12-26. (Blickpunkt Hochschuldidaktik; 118)
Mandl, H. & Krause, U.-M. (2001). Lernkompetenz für die Wissensgesellschaft (Forschungsbericht Nr. 145). München: Ludwig-Maximilians-Universität, Lehrstuhl für Empirische Pädagogik und Pädagogische Psychologie.
Metzger, C. & Nüesch, C. (2004). Fair prüfen. Ein Qualitätsleitfaden für Prüfende an Hochschulen. Hochschuldidaktische SchriftenBand 6, Institut für Wirtschaftspädagogik Universität St. Gallen
Metzger, C., Waibel, R., Henning, C., Hodel, M., Luzi, R. (1993): Anspruchsniveau von Lernzielen und Prüfungen im kognitiven Bereich Inhaltsniveaus Prozessniveaus Reproduktion und Transfer Universität St Gallen Inst f Wirtschaftspädagogik
HDA | Gestaltung geschlossener Fragen für Übungen und Prüfungen | Dr. Jens Bücking 3838
Bereich. Inhaltsniveaus, Prozessniveaus, Reproduktion und Transfer.Universität St. Gallen, Inst. f. Wirtschaftspädagogik
Möller, C. (1995). Die curriculare Didaktik. In: Gudjons H., Teske R., Winkel R. (Hrsg.): Didaktische Theorien. 8. Auflage. Bergmann und Helbig, Hamburg
Weinert, F. (Hrsg.) (2001): Leistungsmessung in Schulen. Weinheim/Basel, Beltz