10 Jahre Online-Prüfungen mit Moodle · ObserveIT • Möglichkeitenvon Moodle-Logfilebegrenzt •...
Transcript of 10 Jahre Online-Prüfungen mit Moodle · ObserveIT • Möglichkeitenvon Moodle-Logfilebegrenzt •...
||Thomas Korner
10 Jahre Online-Prüfungen mit MoodleThomas Korner, Lehrentwicklung und –technologie (LET), ETH Zürich15. März 2018
20.03.18 1
||Thomas Korner
§ Rahmenbedingungen§ Online-Prüfungen – weshalb?§ Moodle als Prüfungssystem§ Projektentwicklung und Infrastruktur§ Ausblick
20.03.18 2
Inhalt
||Thomas Korner 3
Terminologie
E-Assessment
Summative Prüfungen
Formative Prüfungen
Internet Intranet
Prüfungen für Kreditpunkte an einem mit dem Internet verbundenen Computer. Alle Studierenden sitzen in einem Computerraum und werden überwacht.
Was wir machen:
DiagnostischePrüfungen
Offline-Prüfungen
20.03.18
||Thomas Korner 5
Prüfungen an der ETH
Semester Prüfungs-sessionSelbststudium
14 Wochen 4 / 8 Wochen
4 Wochen
Prüfung
20.03.18
4 Wochen
||Thomas Korner
Was ist die wichtigste Frage im Leben Studierender?
20.03.18 6
||Thomas Korner 7
„Wird dies Teil der Prüfung?“
20.03.18
||Thomas Korner
Wieso sind Prüfungen wichtig?
§ «Wird dies Teil der Prüfung?»§ Prüfungen haben grossen Einfluss darauf, was und wie
Studierende lernen.
§ «Werde ich die Prüfungen bestehen?»§ Prüfungen haben grossen Einfluss darauf,
wer den Lehrgang besteht.
8
Alignment
Selection
20.03.18
||Thomas Korner 20.03.18 9
Prüfungssituation heute
Lernsituation Prüfung Zielkompetenz
||Thomas Korner 20.03.18 10
Funktionen des Computers in Online-Prüfungen
Klassische Aufgabenformate
Computer als Werkzeug Simulation
||Thomas Korner 20.03.18 11
Angestrebte Prüfungssituation
Lernsituation Prüfung Zielkompetenz
||Thomas Korner
ePrüfungen: Grosses Potential
12
Qua
lität • Lesbarkeit
• Editierbarkeit• Softwarebasierte
Kompetenzen• Multimedia• Interaktivität• Feedback• Qualitätskontrolle
Effi
zien
z • Korrektur• automatisch• manuell
• Administration• Prozesse• Zusammenarbeit• Fragepool
20.03.18
||Thomas Korner 13
Infrastruktur für ePrüfungen
20.03.18
Moodle als Prüfungssystem
20.03.1814
||Thomas Korner 15
Basis-Setup
Safe Exam Browser (SEB)Standard LMS
Open-Source-Entwicklung mit Moodle-Integration
www.safeexambrowser.org
20.03.18
||Thomas Korner 16
SEB – HookAnbindung von SEB an Moodle
20.03.18
||Thomas Korner 20.03.18 17
Infrastruktur
LMS ServerInfrastruktur
Prüfungsclient
Prüfungsraum
NetzwerkMoodle
Quiz
ObserveIT
• Möglichkeiten von Moodle-Logfile begrenzt
• Datenschutz-konform(automatische Löschung)
||Thomas Korner 20.03.18 18
Infrastruktur
LMS ServerInfrastruktur
Prüfungsclient
Prüfungsraum
NetzwerkMoodle
Quiz
Virtuelle Desktop Infrastruktur
Software& Dateien
Virtual Desktop Infrastructure• Zusätzliche Software: Sicherheit• Open-Book-Prüfungen• Umkonfiguration
||Thomas Korner
§ Wartbarkeit§ Sicherheit§ Prüfungsspezifische Anpassungen§ Performance
20.03.18 19
Dediziertes Prüfungssystem
||Thomas Korner
§ Direkt – ohne Repository-Auswahl
20.03.18 20
Anpassungen & Fragetypen – File Upload
||Thomas Korner
§ Fragetyp K’ / KPrim§ Geeignet für Sachverhalte mit mehreren
Komponenten§ Kprim-Bewertung§ Eindeutige Optionen
20.03.18 21
Anpassungen & Fragetypen – Kprim
||Thomas Korner
§ Bessere MC§ Häkchen eindeutig§ True/False anpassbar§ Keine Negativpunkte
20.03.18 22
Anpassungen & Fragetypen – Multiple True False (MTF)
||Thomas Korner
§ Ausschluss Distraktoren§ Radiobutton abwählbar§ Graubereiche§ Keine Negativpunkte
20.03.18 23
Anpassungen & Fragetypen – Single Choice
||Thomas Korner
§ Lokale Speicherung beiNetzwerkunterbruch
§ Automatische Wiederaufnahme§ USB-Speicherung möglich§ Komplett im Hintergrund
20.03.18 24
Anpassungen & Fragetypen – WiFi-Resilience
||Thomas Korner
§ Fragenverwaltung§ Vielfältige Ansprüche§ Träge Weiterentwicklung des Quiz-Moduls§ Verschiedene Prozessoptimierungen
erwünscht (bspw. Dateidownload)
20.03.18 25
Herausforderungen für Moodle im Kontext von Online-Prüfungen
Projektentwicklung und Infrastruktur
20.03.1826
||Thomas Korner 27
Entwicklung des ePrüfungsservices
§ 2007 Erste Pilotversuche
§ 2010 regulärer Service
§ 2013 grosse Prüfungsräume
§ 2014 Dediziertes Prüfungssystem
§ 2017 Prüfung mit Mobilgeräten
§ 2018 neuer, grosser Prüfungsraum
20.03.18
||Thomas Korner 20.03.18 28
Durchgeführte Prüfungen bis 2018
Anzahl Einzelleistungen pro Semester seit 2012: Bis und mit 2017 HS:Ca. 600 Online-Prüfungen durchgeführtCa. 55’000 Einzelleistungen geprüft
(Bild: Alessandro della Bella)
||Thomas Korner 29
Prüfungen bis 500 Studierende (Standard-Setting bis HS 2017)
Einzelner RaumEine Gruppe
Mehrere RäumeMehrere Gruppen
Mehrere RäumeEine Gruppe
Einzelner RaumZwei Gruppen
Bis 150
Bis zu 250 Bis zu 500
Bis 300
20.03.18
||Thomas Korner
+ 240 Prüfungsplätze
20.03.18 30
Neuer Prüfungsraum 2018
(Bild: Alessandro della Bella)
||Thomas Korner
Im HS2017 wurde erstmalig das ONA E7 (240 Arbeitsplätze) in Betrieb genommen und die Warteliste abgebaut:
20.03.18 32
Neue Prüfungen im ONA E 7, Oerlikon
Direkter Vergleich 2017FS und 2017HS:
2017FS: 54 Prüfungen, ca. 4’900 Kandidaten
Steigerung Steigerungum 64% um 59%
2017HS: 89 Prüfungen, ca. 7’800 Kandidaten
||Thomas Korner
Prüfungen mit mobilen Geräten
20.03.18 33
Im HS2017 wurde ausserdem in Zusammenarbeit mit dem neuen Studiengang BSc Humanmedizin das Projekt mobile Prüfungen gestartet
Bisher:• 4 Prüfungen während des Semesters• 2 Prüfungen in der Session
Insgesamt bereits ca. 600 erfolgreiche Einzel-prüfungen
||Thomas Korner 20.03.18 34
Akzeptanz ePrüfungen
0.0%5.0%
10.0%15.0%20.0%25.0%30.0%35.0%40.0%45.0%
-2 -1 0 1 2 n.a.
Online (n=568) Paper (n=674)
||Thomas Korner 20.03.18 35
Akzeptanz ePrüfungen
-0.5
0
0.5
1
1.5
2
Closed-ended only Mixed: Closed - Open Authentic: 3rd partyapps
Acceptance: Online Scenarios
||Thomas Korner
§ Unterstützung durch die Schulleitung§ Service-Verantwortung ePrüfungen am LET
§ Zentrale Koordination§ Didaktik bestimmt Service-betrieb und -entwicklung
§ Examinator/innen bleiben verantwortlich§ Eigenständiges erfassen der Prüfungen in Moodle§ Schulung der Prüfungsaufsichten
§ Balance zwischen Spezialisierung und Redundanzen§ Getrennte Verantwortlichkeiten§ Enge Zusammenarbeit
20.03.18 36
Erfolgsfaktoren
||Thomas Korner 20.03.18 37
Ausblick
Fun fact: Bis und mit HS2017 haben wir insgesamt und seit 2007 gut 600 Online-Prüfungen mit ca. 55'000 Einzelleistungen durchgeführt – dies entspricht in der Grössenordnung der Anzahl Online-Prüfungen, welche wir bis ca. 2022 pro Jahr durchführen sollen – es gibt also noch viel zu tun.
www.moodle-dach.eu
BarCamp 18./19. JuniDevCamp 19./20. Juni
cu there!
20.03.1838