201701-impuls-essassment

Prüfungsprozesse elektronisch unterstützen

Prof. Dr. Karsten Morisse

§ Definition und allgemeine Überlegungen

§ Prüfungsvielfalt - Prüfungsvarianten

§ Anwendung / Nutzung in HSOS

2(c) KM: E-Assessments

Allgemeine Überlegungen

(c) KM: E-Assessments

4

(c) KM: E-Assessments 5

„Unter E-Assessment versteht man die Benutzung von ICT bei den Arbeitsschritten zur Erstellung, Präsentation, Durchführung und der Auswertung von Leistungsnachweisen.“ (nach Ruedel, 2010)

„e-Assessment is the end-to-end electronic assessment processes where ICT is used for thepresentation of assessment activity, and the recording of responses. This includes the end-to-end assessment process from the perspective of learners, tutors, learning establishments, awarding bodies and regulators, and the general public.“ (nach JISC – Joint Information Systems Committee, 2007)

7

LehrveranstaltungStudien beratung

Diagnos-tische

Assessments

Formative Assessments

SummativeAssessments

Qualitäts-sicherung

Beratend• Zeitpunkt: Vor dem Studium• Zweck: Orientierung,

Studienberatung• Entscheidung: Studienwahl

-empfehlung

Diagnostisch• Zeitpunkt: Vor dem Lernen• Zweck: Einstufung, Zulassung• Entscheidung: Lehrplanung,

Kurswahl

Summativ• Zeitpunkt: Nach dem Lernen• Zweck: Lernergebnis

beurteilen• Entscheidung: Bewertung /

Benotung

Qualitätssichernd• Zeitpunkt: Nach der Lehre• Zweck: Verbesserung der Lehre• Entscheidung: Bewertung Lehre,

Anpassung an Vorschläge

Formativ• Zeitpunkt: Beim Lernen• Zweck: Lernergebnis reflektieren • Entscheidung: Lehre

steuern/anpassen



Modul / Lehrveranstaltung

diagnostisch

Selektion

Eingangstest

formativ

Lernbegleitend

Test / Übungen

summativ

Bewertung

Prüfung

LehrveranstaltungStudien

beratungDiagnostische Assessments

Formative Assessments

SummativeAssessments

Qulitäts-sicherung

§ (Teil-)automatisierte Auswertung → Effizientes Feedback

§ Distribution: Papier & Kopie vs. Digitale Bereitstellung

§ Erweiterte Aufgabenformate§ Multimediale Elemente (Audio, Video, Bild,...) → Höhere Praxisnähe § Adaptive Assessments (Schwierigkeitsgrade oder Verlauf)

§ Motivationssteigerung durch unmittelbares Feedback

§ Freitexte: Bessere Lesbarkeit

§ Wiederverwendbarkeit / Fragenpools

§ Perspektivisch: bessere Selbstlernroutine der Studierenden


Dimensionen


PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

Quelle: (Michel, 2015)


Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

Modul / Lehrveranstaltung

diagnostisch

Selektion

Eingangstest

formativ

Lernbegleitend

Test / Übungen

summativ

Bewertung

Prüfung

§ Welches Ziel wird verfolgt? § Lernleistung messen

§ Methoden-, Sach-, Sozialkompetenz

§ Selbsteinschätzung§ Motivation und Aktivierung§ Kostenreduktion§ Entlastung Lehrpersonal, § Verbesserung Lehre, § ...


Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

§ Was wird geprüft?

§ Stimmigkeit von Lernzielen → Auswahl Prüfungsformat → relevante Fragetypen


Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

Deklaratives Wissen(Faktenwissen / Grundlagen)

Prozedurales Wissen (Kompetenz)

Fertigkeiten

Praxis-einsatz

Prax

isTh

eori

e

(Professionalisierungsebenen nach Schmees/Horn, 2014)

Quelle: (Vogt/Schneider, 2010)

§ Wie wird geprüft?


Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

Standardisiert• Alle Prüfling bekommen

identische Prüfungsvariante

Spielerisch• Motivationsanreize (zB

Badges)

Adaptiv• Anpassung an

Antwortverhalten

Randomisiert• Zufällige Reihenfolge

Individuell• Jeder Prüfling bekommt

eigene Prüfungsvariante

§ Digitale Infrastruktur für Prüfung?§ Prüfungsräume§ PC-Pool§ Mobile Geräte§ Softwaresysteme (LMS, Prüfungssoftware)§ Zentral vs. Dezentral§ Hochschulinterne vs. Hochschulexterne Ressourcen§ ....


Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen

§ Prüfungsordnung

§ Durchführung§ Chancengleichheit§ Zuordnung der Prüfungsleistung (Ausdruck, Signatur)§ Überwachung/Aufsicht (Video, Tracking)§ Störungen (Manipulation, Technik)§ Bewertung (Automatisiert)

§ Archivierung und Speicherung§ Klausureinsicht§ Aufbewahrung


Dimensionen

PhaseZiel

Art

Arrange-ment

ID-Kontrolle

Dokumen-tation

Prüfer

Kontext

Aufwand

Infra-struktur

Unterstütz-ung

Rechtlicher Rahmen


25

26

Leistungsnachweise

Schriftliche Prüfungen

Mündliche Prüfungen

Portfolios

Peer-Assessment

Lern-tagebuch

Mündliche Mitarbeit

Gruppen-Prüfung

Wissenschaftspraktische Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment

Online-Forum / Classroom ResponseWikis

Simulationen

Digital Storytelling

Electronic Submission

KLAUS

In Anlehnung an (Ruedel, 2010)

Elektronische Prüfungsform



28

§ Prototypische Umsetzungen an HSOS

§ Zahlreiche Software-Systeme

§ Zahlreiche Aufgabentypen (zB Zuordnung, Anordnung, Einfachauswahl, Mehrfachauswahl, Likert-Skala, Hot-Spot, Freitext, Lückentext, ...)

§ Prüfungscenter vs. Mobile Endgeräte§ Prüfungscenter: z.B. Uni Bremen, Uni Göttingen§ Mobile System (Dienstleistung): zB MH Hannover

§ Rechtssichere Durchführung

29

Leistungsnachweise



Portfolios

Peer-Assessment

Lern-tagebuch


Gruppen-Prüfung

Wissenschaftspraktische

Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment


Simulationen



KLAUS



Leistungsnachweise



Portfolios

Peer-Assessment

Lern-tagebuch


Gruppen-Prüfung


Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment


Simulationen



KLAUS

Prozesstitel: Klausuren-KlausProzessverantwortlich: eLCC []KeyUser KLAUS] Entwurf vom 07.12.2016 [J.H./ D.K.]

Lehr

ende

/reL

CC

Anw

ende

rIn

Semesterbeginn SoSe xxxx WiSe xxxx

Termin / Fristen???XXX Wochen vor Prüfungszeitraum SoSe xxx WiSe xxx Prüfungsphase

Bedarf zur elektronischen Klausurenunterstüzung

Prüfungsform festlegen

Prüfungsfragen erstellen, Klausur

strukturieren

Klausur- Anforderungen

abstimmen

ggf. Kontakt zu eLLC

aufnehmen

Weiteres Vorgehen abstimmen

KLAUS-Einsatz sinnvoll?

Klausur w ird ohne Softw are durchgeführt

Ja

KLAUS-Bedienung bekannt?

System-vorbereitung

anleiten

Nein

Klausur schreiben

lassen

Noten online über das

OSCA-Portal eingeben Klausurbew ertungen

sind im System Nein

System für Klausur vorbereiten,

Klausur in KLAUS erstellen

Ja Klausur prüfen und Anzahl festlegen

Klausuren drucken

Klausurergebnisse einscannen und

Ausw ertung vorbereiten

Bew ertungs-ergebnisse kontrollieren

Freitextfragen ggf. manuel korrigieren

§ Aktivierung Studierende (eFeedback)§ Diagnostisch, Formativ, Summativ§ Peer-Feedback

§ Feedback im Hörsaal (anonymisiert)

§ Klausurmodus

§ Byod vs. Dedizierte Hardware

§ Weitere Hinweise: http://ep.elan-ev.de/wiki/Audience_Response


Leistungsnachweise



Portfolios

Peer-Assessment

Lern-tagebuch


Gruppen-Prüfung


Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment


Simulationen



KLAUS

§ Clicker-Systeme


361925


42

Leistungsnachweise



Portfolios

Peer-Assessment

Lern-tagebuch


Gruppen-Prüfung

Wissenschaftspraktische Tätigkeiten

Referate / Poster

Seminar-arbeiten

Optical Mark

Recognition

Web-Blog

E-Klausur

Adaptives Testing

E-Portfolios

Peer Assessment


Simulationen



KLAUS

In Anlehnung an (Ruedel, 2010)

Elektronische Prüfungsform


§ JISC: Effective Practice with e-Assessment, 2007.(verfügbar unter http://www.jisc.ac.uk/media/documents/themes/elearning/effpraceassess.pdf) [Zugriff: 28.12.2016]

§ Michel, L.P.: Digitales Prüfen und Bewerten im Hochschulbereich, Studie im Auftrag der Themengruppe "Innovationen in Lern- und Prüfungsszenarien", Hochschulforum Digitalisierung, Berlin, März 2015

§ Ruedel, C. : Was ist E-Assessment? In: Ruedel, C., Mandel, S. (Hrsg.), E-Assessment – Einsatzszenarien und Erfahrungen an Hochschulen, Waxmann-Verlag, Münster, 2010.

§ Schmees, M., Horn, J.: E-Assessments an Hochschulen, Waxmann-Verlag 2014

§ Vogt, M., Schneider, S.: E-Klausuren an Hochschulen, Koordinationsstelle Multimedia, Justus-Liebig-Universität Gießen, 2009. (verfügbar unter http://geb.uni-giessen.de/geb/volltexte/2009/6890/pdf/VogtMichael-2009-02-20.pdf) [Zugriff: 28.12.2016]


44

Prof. Dr. Karsten MorisseFon: +49.541.969 3615Mail: [email protected]: https://www.hs-osnabrueck.de/de/prof-dr-karsten-morisse/

@kamo_de

https://www.youtube.com/karstenmorisse(c) KM: E-Assessments

Kommentare? Anmerkungen? Fragen?

Kopie der Folien: http://www.slideshare.net/karstenmorisse/201701impulseassessmentoder http://bit.ly/2hvZ3iU

201701-impuls-essassment

Education

Transcript of 201701-impuls-essassment