Qualitätspakt Lehre EXaHM Digitales Prüfen an der ......Qualitätspakt Lehre EXaHM – Digitales...

Qualitätspakt Lehre

EXaHM – Digitales Prüfen an der Hochschule München

Workshop am 15.05.2019 EXaHM-Entwicklungsteam und ZUG-Team Digitale Prüfungen in Zusammenarbeit mit den ProfessorInnen, der Zentralen IT und dem E-Learning Center der Hochschule München

EXaHM – Digitales Prüfen an der Hochschule München, 15.05.2019 2

Agenda 10:00 – 10:15 Uhr Begrüßung und Agenda (T0.013)

Prof. Dr. K. Kreulich (VPL der HM), Prof. Dr.-Ing. J. Schenk

10:15 – 11:00 Uhr Vortrag: Digitale Prüfungen an der Hochschule München

Dr. K. Piecha, Prof. Dr.-Ing. G. Braun

11:15 – 12:15 Uhr Livedemo EXaHM (zuerst T3.017, dann T3.016)

alle

12:15 – 13:15 Uhr Mittagspause (T0.011)

alle

13:15 – 14:40 Uhr Feedback und Diskussion in Kleingruppen (T0.013)

alle

14:45 – 15:15 Uhr Nächste Schritte (T0.013)

Prof. Dr. K. Kreulich

15:15 Uhr: Ende der Veranstaltung

Moderation: Prof. Dr.-Ing. J. Schenk



Digitale Prüfungen an der Hochschule München

Dr. Kristina Piecha, Prof. Dr.-Ing. Georg Braun


Inhalt • ZUG – Handlungsfeld Digitale Prüfungen

• Ziele und Maßnahmen

• Rechtlicher Rahmen

• Gesamtprüfungsprozess

• Evaluation

• EXaHM

• Features

• Erfahrungen mit Anwendungssoftware

• Roadmap

• Systemübersicht

• Ablauf einer Prüfung mit EXaHM

ZUG – Digitale Prüfungen Hier steht das Thema der Präsentation 15.03.18 Sara Koss



Entwicklung der System- und Softwarekomponenten

EXaHM-ENTWICKLUNGSPROJEKT

PROF. DR.-ING. GEORG BRAUN

THOMAS WALCHER

NICO BENTENRIEDER

DR. NADINE SCHLOMSKE-BODENSTEIN

EXaHM: Application oriented, digital EXamination System at Hochschule München


Digitale Prüfungen: Ziele

Große Gruppen Rechtliches & Datenschutz

Infrastruktur

Kompetenzorientierung

Evaluation


Digitale Prüfungen an der Hochschule München...

... sind Prüfungen, bei denen der Computer als Eingabe- und

Lösungswerkzeug genutzt wird

... finden an der Hochschule statt

... an PCs der Hochschule

... mit klassischer Aufsicht

... in technisch abgesicherter Umgebung

... unter Berücksichtigung rechtlicher und datenschutzrechtlicher Aspekte


Rechtlicher Rahmen

Digitale Prüfungen Geht das überhaupt? Ja!

Rechtlich gibt es keine durchgreifenden Bedenken – wenn man bestimmte Punkte bei der Einführung und Umsetzung beachtet.


Wichtige Maßnahmen:

• Regelung in der Prüfungsordnung (Allgemeine Studien- und

Prüfungsordnung §27)

• Wahrung der Chancengleichheit (vergleichbare äußere Bedingungen)

• Authentizität: Identität der zu prüfenden Person, Zuordnung der

Prüfung

• Integrität: Prüfung darf nach Abgabe nicht verändert werden

• Geeignetes Prüfungssystem: Korrektur, Speicherung, Datenschutz

• Aufsicht


• Zu DP beraten

• DP konfigurieren

• DP planen

• DP testen

• DP durchführen

• Problem bearbeiten

• DP korrigieren

• DP aufbewahren

Prozess digitale Prüfungen


• Prüfende

• Fakultäten

• PrüfungsplanerIn

• Prüfungsaufsicht

• Support DP

• Zentrale-IT/Fakultäts-IT

• Studierende

Prozessbeteiligte


Praxiserfahrungen


Setup: • Nach der EXaHM-Prüfung werden Fragebögen an die

Studierenden verteilt und deren Feedback zur Prüfungssituation und zum System wird eingeholt.

• Die Lehrenden bewerten EXaHM einmal im Semester am Ende der Prüfungszeit.

Evaluation


In welcher Prüfung haben Sie das Gefühl, das Gelernte aus dieser Lehrveranstaltung am besten anwenden zu können?

7%

70%

16%

7%

N=413

Papierprüfung

PC-Prüfung

Papier und PC

egal


Was ist EXaHM?

EXaHM: Application oriented, digital EXamination System at Hochschule München

• Anwendungsorientierung

• Absicherung

• Automatisierung

• Auslastung

durch Einbinden beliebiger Windows-Anwendungsprogramme („Dritt-Applikationen“) in kompetenzorientierte, digitale Prüfungen

der Prüfungsumgebung

• durch vorgegebene Programme und Dateien

• durch Begrenzung der Navigations- und Kommunikationsmöglichkeiten

durch verschlüsselte Fernsteuerung aller Computer, spürbar bei z.B. >60 TeilnehmerInnen

vorhandener PC-Räume, keine „reinen“ PrüfungsPCs

• Weiterentwicklung des HMPD (Hochschule München Prüfungsdesktop, 2011-2017)

• 2016 Preis für herausragende Lehre in Bayern

• 2017 VDMA-Auszeichnung „Bestes Maschinenhaus“


Warum EXaHM … wo es doch schon LMS (wie z.B. Moodle) gibt?

• Anwendungsorientierung: Computer mit Software als Lösungswerkzeug

• Automatisierter Prüfungsablauf • PCs starten, in Prüfungsmodus

versetzen, Prüfung durchführen und beenden

• Absicherung auf PC- und Systemebene

• Computer als Eingabewerkzeug zum Beantworten von Prüfungsfragen

(Multiple Choice, Drag&Drop, Freitext, …)

• Prüfung in separatem, abgesicherten LMS (z.B. Prüfungs-Moodle)

• Automatische Auswertung je nach Fragentyp möglich

Mit EXaHM können auch LMS-Prüfungen automatisiert und abgesichert werden.

EXaHM Prüfungs-LMS


EXaHM-Features (Übersicht)

• Effiziente Ressourcen-Nutzung, Nachhaltigkeit: • Vorhandene PC-Räume sowohl für Lehre als auch für Prüfungen nutzen

keine eigenen Prüfungscomputer oder Prüfungsräume

• Lokale Rechenpower der PCs nutzen Schlanker EXaHM-Server für Steuerung und Dateisicherung

• EXaHM-Desktop: Abgesicherte Desktop-Umgebung

• Redundante Datei-Versionierung: Netzschwankungen tolerieren

• Inhaltliche Integrität der Prüfungsdateien durch SHA-Checksummen

• Pro Prüfung konfigurierbare, selektive Netzwerkabschottung

• Flexible PC-Einteilung: Mehrere Prüfungen pro Raum und raumübergreifend

• Remote-Inspection and Assistance: Trennung der Aufgaben einer Prüfungsaufsicht (vor Ort) und des technischen Supports (remote)

• Engmaschiges Monitoring der PCs in einer Prüfung


Gebiet Software-Tools

Informatik, SW-Entwicklung (Klassisch, Mobile Apps, Embedded), EDV

Visual Studio 2010, 2012, 2015: C/C++, C# Eclipse: Java MS-Excel (klassisch und mit VBA) MS-Word MMIX mit CPU- und Motherboard-Simulator QNX: Embedded Systems Ionic Framework, Cordova: Mobile Apps Visual Studio Code, Brackets: HTML, JS, TS, NodeJS

Modellbildung, Simulation Matlab/Simulink Comsol Multi-Body Physics

Regelungstechnik Matlab/Simulink als Hilfsmittel in „Hybridprüfung“

Signale und Systeme, Digitale Signalverarbeitung, Digitale Bildverarbeitung

Matlab/Simulink LabVIEW

Konstruktion, CAD Solid Edge

Mathematik Maple

Erfahrungen mit Anwendungssoftware


Vergangenheit und Zukunft: Roadmap

2011 2013

Erste Ansätze zur Automatisierung

HMPD: Ersatz des Windows-Desktops

Konfigurierbare Prüfungen

2014 2016 2017 2018

2019

Recherche Prüfungssoftware

Erneute Recherche

EXaHM- Projektauftrag

Konzept für hochschul-weiten Einsatz

Sicherheits-konzept

Hochschulweiter Server

Fernsteuerung der PCs via SSH

342 TNs

EXaHM v0.1

Datenbank

Docker- Architektur

+691 TNs

EXaHM v0.3

Config-UI

Rollenmodell

EXaHM v0.6

2020

Weitere UIs

EXaHM v1.0

>700 TNs (TeilnehmerInnen) mit HMPD EXaHM


Prüfungsdateien 1)

EXaHM Systemübersicht

PrüferIn Support

Idee für Dig. Prüfung

Machbarkeit

Konfiguration (Räume, PCs, Programme, Dateien)

Aufgabenstellung Dateien 1)

Tests, Durchführung

TeilnehmerInnen Aufsichten

PrüferIn

Computerräume

EXaHM-Server

Steuerung und Kommunikation

verschlüsselt (SSH, HTTPS)

Netzwerk

1) In Zukunft: WebPortal

Aufbewahrung, Löschung (§12 Rapo)

Korrektur

Remote-Support

Beteiligt: PrüfungsplanerInnen IT-Support


Ablauf einer EXaHM-Prüfung



Livedemo EXaHM

Prof. Dr.-Ing. Georg Braun


Livedemo EXaHM

• Zuerst im Raum T3.017: Einführung in den EXaHM-Desktop

• Anschl. im Raum T3.016: Verschiedene Beispiel-Prüfungen

• „Datenverarbeitung“ in Excel und VBA

• „Informatik“ in C und Visual Studio 2015

• „Softwareentwicklung 2“ in Java und Eclipse

• „Spanisch 3“ in Moodle


Livedemo EXaHM: EXaHM-Desktop (T3.017) • Eingabe und Kontrolle der persönlichen

Daten ersetzt den Windows-Logon

Nach Bestätigung und Unterschrift auf Prüfungsprotokoll können die persönlichen Daten nicht mehr geändert werden.

Aufsicht kontrolliert persönliche Daten anhand des Ausweises.

Programme bzw. Dateien sind bereits gestartet bzw. geöffnet. Desktop ist noch nicht freigegeben.


Livedemo EXaHM: EXaHM-Desktop (T3.017)

EXaHM Dateimonitor

EXaHM Dateimanager

EXaHM Quicklaunch-Bar

EXaHM Taskleiste

Aufgabenstellung

Anwendungsprogramm Hier: MS Excel


Livedemo EXaHM: Beispiele (T3.016)

T3016-PC01 (DozentenPC)

T3016-PC02 T3016-PC03 T3016-PC04 T3016-PC05 T3016-PC06 T3016-PC12





Projektionsfläche für Beamer

Rückseite des Raums

Tür

11:15 bis 12:15

„Datenverarbeitung“ in Excel und VBA

„Informatik“ in C und Visual Studio 2015

„Softwareentwicklung 2“ in Java und Eclipse

„Spanisch 3“ in Moodle



Feedback und Diskussion in Kleingruppen Prof. Dr.-Ing. Georg Braun, Prof. Dr.-Ing. J. Schenk, Dr. Nadine Schlomske-Bodenstein, Dr. Kristina Piecha,

Annette Herzog-Lang, Nadine Rückl


Bewertung digitaler

Prüfungen

EXaHM Infrastruktur

Kompetenz-orientierung

Rechtliches &

Gesamt-prozess

Diskussion in Kleingruppen (T0.013)

Tür

13:15 bis 14:40 Fenster Fen

ster



Nächste Schritte

Prof. Dr. K. Kreulich, Prof. Dr.-Ing. G. Braun


EXaHM an anderen Hochschulen (1) Organisatorische Voraussetzungen

• Personelle Ressourcen, um mit EXaHM digital zu prüfen

• ProfessorInnen, die digital prüfen

• Supportteam für Konfiguration, Test und Durchführung der Prüfungen, Systemwartung in Zusammenarbeit mit HM

• EXaHM stellt einen Eingriff in die IT-Landschaft dar (Fernsteuerung der PCs)

• EXaHM muss nicht nur von den Lehrenden gewollt, sondern auch vom lokalen IT-Support, der Fakultätsleitung und von der Hochschulleitung unterstützt werden

• Betrieb der Computerräume muss gut organisiert sein

• Klare Verantwortlichkeiten

• Verfügbarkeit von MitarbeiterInnen im Support

• Erreichbarkeit von MitarbeiterInnen im Support


EXaHM an anderen Hochschulen (2)

Technische Voraussetzungen

• Stabil funktionierende IT-Infrastruktur

• Netzwerk (Router, Gateways, DHCP, DNS)

• Server-Infrastruktur (zugangsgesichert mit Backup, USV, Brandschutz), kann auch outgesourced sein, benötigt dann aber VPN-Endpunkt

• Stabil funktionierende Computerräume

• PCs mit Win7 (64-Bit) oder (demnächst) mit Win10 (64-Bit)

• Wichtig: Stabile und robuste IP-Adressvergabe, z.B. über DHCP und quasistatische Adresszuordnung

• SW-Paketierungssystem für Verteilung und Installation der benötigten Drittanbieter-Software, Lizenzmanagement

• Kontrolle von Windows- und SW-Updates: nicht vor oder während einer Prüfung …


EXaHM an anderen Hochschulen (3)

Möglicher Zeitplan

2019 2020

Rahmenvereinbarung • Zusammenarbeit • Aufbau gemeinsamer

Ressourcen?

Probebetrieb an ca. 2 HAWs

Bayern EXaHM?

Mögliche Stufe 2:

Bayernweiter Betrieb mit zentralem EXaHM-Team

(ca. 6 MA für Didaktik, Entwicklung, Support)

Vorgespräche zu: • Techn. Ausstattung • Personelle Unterstützung • Fachl. Verantwortung

Vorabtests an ca. 2 HAWs (WS 19/20)



Workshop am 15.05.2019

Feedback, Fragen und Anregungen gerne an

[email protected]

mailto:[email protected]



Qualitätspakt Lehre EXaHM Digitales Prüfen an der ......Qualitätspakt Lehre EXaHM – Digitales...

Documents

Transcript of Qualitätspakt Lehre EXaHM Digitales Prüfen an der ......Qualitätspakt Lehre EXaHM – Digitales...