Prüfungsprozesse elektronisch unterstützen

Prof. Dr. Karsten Morisse

§ Definition und allgemeine Überlegungen

§ Prüfungsvielfalt - Prüfungsvarianten

§ Anwendung / Nutzung in HSOS

2(c) KM: E-Assessments

Allgemeine Überlegungen

(c) KM: E-Assessments

4

(c) KM: E-Assessments 5

„Unter E-Assessment versteht man die Benutzung von ICT bei den Arbeitsschritten zur Erstellung, Präsentation, Durchführung und der Auswertung von Leistungsnachweisen.“ (nach Ruedel, 2010)

„e-Assessment is the end-to-end electronic assessment processes where ICT is used for thepresentation of assessment activity, and the recording of responses. This includes the end-to-end assessment process from the perspective of learners, tutors, learning establishments, awarding bodies and regulators, and the general public.“ (nach JISC – Joint Information Systems Committee, 2007)

7

LehrveranstaltungStudien beratung

Diagnos-tische

Assessments

Formative Assessments

SummativeAssessments

Qualitäts-sicherung

Beratend• Zeitpunkt: Vor dem Studium• Zweck: Orientierung,

Studienberatung• Entscheidung: Studienwahl

-empfehlung

Diagnostisch• Zeitpunkt: Vor dem Lernen• Zweck: Einstufung, Zulassung• Entscheidung: Lehrplanung,

Kurswahl

Summativ• Zeitpunkt: Nach dem Lernen• Zweck: Lernergebnis

beurteilen• Entscheidung: Bewertung /

Benotung

Qualitätssichernd• Zeitpunkt: Nach der Lehre• Zweck: Verbesserung der Lehre• Entscheidung: Bewertung Lehre,

Anpassung an Vorschläge

Formativ• Zeitpunkt: Beim Lernen• Zweck: Lernergebnis reflektieren • Entscheidung: Lehre

steuern/anpassen

(c) KM: E-Assessments

(c) KM: E-Assessments 8

Modul / Lehrveranstaltung

diagnostisch

Selektion

Eingangstest

formativ

Lernbegleitend

Test / Übungen

summativ

Bewertung

Prüfung

LehrveranstaltungStudien

beratungDiagnostische Assessments

Formative Assessments

SummativeAssessments

Qulitäts-sicherung

§ (Teil-)automatisierte Auswertung → Effizientes Feedback

§ Distribution: Papier & Kopie vs. Digitale Bereitstellung

§ Erweiterte Aufgabenformate§ Multimediale Elemente (Audio, Video, Bild,...) → Höhere Praxisnähe § Adaptive Assessments (Schwierigkeitsgrade oder Verlauf)

§ Motivationssteigerung durch unmittelbares Feedback

§ Freitexte: Bessere Lesbarkeit

§ Wiederverwendbarkeit / Fragenpools

§ Perspektivisch: bessere Selbstlernroutine der Studierenden

9(c) KM: E-Assessments

Dimensionen

(c) KM: E-Assessments 10

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

Quelle: (Michel, 2015)

(c) KM: E-Assessments 11

Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

Modul / Lehrveranstaltung

diagnostisch

Selektion

Eingangstest

formativ

Lernbegleitend

Test / Übungen

summativ

Bewertung

Prüfung

§ Welches Ziel wird verfolgt? § Lernleistung messen

§ Methoden-, Sach-, Sozialkompetenz

§ Selbsteinschätzung§ Motivation und Aktivierung§ Kostenreduktion§ Entlastung Lehrpersonal, § Verbesserung Lehre, § ...

(c) KM: E-Assessments 12

Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

§ Was wird geprüft?

§ Stimmigkeit von Lernzielen → Auswahl Prüfungsformat → relevante Fragetypen

(c) KM: E-Assessments 13

Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

Deklaratives Wissen(Faktenwissen / Grundlagen)

Prozedurales Wissen (Kompetenz)

Fertigkeiten

Praxis-einsatz

Prax

isTh

eori

e

(Professionalisierungsebenen nach Schmees/Horn, 2014)

Quelle: (Vogt/Schneider, 2010)

§ Wie wird geprüft?

(c) KM: E-Assessments 16

Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

Standardisiert• Alle Prüfling bekommen

identische Prüfungsvariante

Spielerisch• Motivationsanreize (zB

Badges)

Adaptiv• Anpassung an

Antwortverhalten

Randomisiert• Zufällige Reihenfolge

Individuell• Jeder Prüfling bekommt

eigene Prüfungsvariante

§ Digitale Infrastruktur für Prüfung?§ Prüfungsräume§ PC-Pool§ Mobile Geräte§ Softwaresysteme (LMS, Prüfungssoftware)§ Zentral vs. Dezentral§ Hochschulinterne vs. Hochschulexterne Ressourcen§ ....

(c) KM: E-Assessments 22

Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

§ Prüfungsordnung

§ Durchführung§ Chancengleichheit§ Zuordnung der Prüfungsleistung (Ausdruck, Signatur)§ Überwachung/Aufsicht (Video, Tracking)§ Störungen (Manipulation, Technik)§ Bewertung (Automatisiert)

§ Archivierung und Speicherung§ Klausureinsicht§ Aufbewahrung

(c) KM: E-Assessments 24

Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

(c) KM: E-Assessments

25

26

Leistungsnachweise

Schriftliche Prüfungen

Mündliche Prüfungen

Portfolios

Peer-Assessment

Lern-tagebuch

Mündliche Mitarbeit

Gruppen-Prüfung

Wissenschaftspraktische Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment

Online-Forum / Classroom ResponseWikis

Simulationen

Digital Storytelling

Electronic Submission

KLAUS

In Anlehnung an (Ruedel, 2010)

Elektronische Prüfungsform

(c) KM: E-Assessments

(c) KM: E-Assessments

28

§ Prototypische Umsetzungen an HSOS

§ Zahlreiche Software-Systeme

§ Zahlreiche Aufgabentypen (zB Zuordnung, Anordnung, Einfachauswahl, Mehrfachauswahl, Likert-Skala, Hot-Spot, Freitext, Lückentext, ...)

§ Prüfungscenter vs. Mobile Endgeräte§ Prüfungscenter: z.B. Uni Bremen, Uni Göttingen§ Mobile System (Dienstleistung): zB MH Hannover

§ Rechtssichere Durchführung

29

Leistungsnachweise

Schriftliche Prüfungen

Mündliche Prüfungen

Portfolios

Peer-Assessment

Lern-tagebuch

Mündliche Mitarbeit

Gruppen-Prüfung

Wissenschaftspraktische

Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment

Online-Forum / Classroom ResponseWikis

Simulationen

Digital Storytelling

Electronic Submission

KLAUS

(c) KM: E-Assessments

(c) KM: E-Assessments 30

Leistungsnachweise

Schriftliche Prüfungen

Mündliche Prüfungen

Portfolios

Peer-Assessment

Lern-tagebuch

Mündliche Mitarbeit

Gruppen-Prüfung

Wissenschaftspraktische

Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment

Online-Forum / Classroom ResponseWikis

Simulationen

Digital Storytelling

Electronic Submission

KLAUS

Prozesstitel: Klausuren-KlausProzessverantwortlich: eLCC []KeyUser KLAUS] Entwurf vom 07.12.2016 [J.H./ D.K.]

Lehr

ende

/reL

CC

Anw

ende

rIn

Semesterbeginn SoSe xxxx WiSe xxxx

Termin / Fristen???XXX Wochen vor Prüfungszeitraum SoSe xxx WiSe xxx Prüfungsphase

Bedarf zur elektronischen Klausurenunterstüzung

Prüfungsform festlegen

Prüfungsfragen erstellen, Klausur

strukturieren

Klausur- Anforderungen

abstimmen

ggf. Kontakt zu eLLC

aufnehmen

Weiteres Vorgehen abstimmen

KLAUS-Einsatz sinnvoll?

Klausur w ird ohne Softw are durchgeführt

Ja

KLAUS-Bedienung bekannt?

System-vorbereitung

anleiten

Nein

Klausur schreiben

lassen

Noten online über das

OSCA-Portal eingeben Klausurbew ertungen

sind im System Nein

System für Klausur vorbereiten,

Klausur in KLAUS erstellen

Ja Klausur prüfen und Anzahl festlegen

Klausuren drucken

Klausurergebnisse einscannen und

Ausw ertung vorbereiten

Bew ertungs-ergebnisse kontrollieren

Freitextfragen ggf. manuel korrigieren

(c) KM: E-Assessments 31

(c) KM: E-Assessments 32

§ Aktivierung Studierende (eFeedback)§ Diagnostisch, Formativ, Summativ§ Peer-Feedback

§ Feedback im Hörsaal (anonymisiert)

§ Klausurmodus

§ Byod vs. Dedizierte Hardware

§ Weitere Hinweise: http://ep.elan-ev.de/wiki/Audience_Response

(c) KM: E-Assessments 33

Leistungsnachweise

Schriftliche Prüfungen

Mündliche Prüfungen

Portfolios

Peer-Assessment

Lern-tagebuch

Mündliche Mitarbeit

Gruppen-Prüfung

Wissenschaftspraktische

Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment

Online-Forum / Classroom ResponseWikis

Simulationen

Digital Storytelling

Electronic Submission

KLAUS

§ Clicker-Systeme

(c) KM: E-Assessments 34

361925

(c) KM: E-Assessments 40

(c) KM: E-Assessments 41

42

Leistungsnachweise

Schriftliche Prüfungen

Mündliche Prüfungen

Portfolios

Peer-Assessment

Lern-tagebuch

Mündliche Mitarbeit

Gruppen-Prüfung

Wissenschaftspraktische Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment

Online-Forum / Classroom ResponseWikis

Simulationen

Digital Storytelling

Electronic Submission

KLAUS

In Anlehnung an (Ruedel, 2010)

Elektronische Prüfungsform

(c) KM: E-Assessments

§ JISC: Effective Practice with e-Assessment, 2007.(verfügbar unter http://www.jisc.ac.uk/media/documents/themes/elearning/effpraceassess.pdf) [Zugriff: 28.12.2016]

§ Michel, L.P.: Digitales Prüfen und Bewerten im Hochschulbereich, Studie im Auftrag der Themengruppe "Innovationen in Lern- und Prüfungsszenarien", Hochschulforum Digitalisierung, Berlin, März 2015

§ Ruedel, C. : Was ist E-Assessment? In: Ruedel, C., Mandel, S. (Hrsg.), E-Assessment – Einsatzszenarien und Erfahrungen an Hochschulen, Waxmann-Verlag, Münster, 2010.

§ Schmees, M., Horn, J.: E-Assessments an Hochschulen, Waxmann-Verlag 2014

§ Vogt, M., Schneider, S.: E-Klausuren an Hochschulen, Koordinationsstelle Multimedia, Justus-Liebig-Universität Gießen, 2009. (verfügbar unter http://geb.uni-giessen.de/geb/volltexte/2009/6890/pdf/VogtMichael-2009-02-20.pdf) [Zugriff: 28.12.2016]

43(c) KM: E-Assessments

44

Prof. Dr. Karsten MorisseFon: +49.541.969 3615Mail: k.morisse@hs-osnabrueck.deWeb: https://www.hs-osnabrueck.de/de/prof-dr-karsten-morisse/

@kamo_de

https://www.youtube.com/karstenmorisse(c) KM: E-Assessments

Kommentare? Anmerkungen? Fragen?

Kopie der Folien: http://www.slideshare.net/karstenmorisse/201701impulseassessmentoder http://bit.ly/2hvZ3iU