Pku-Modul Mit oscE-Prüfung - CaseTrain · Motivation Für die kommenden Semester werden zur...
1
Motivation Für die kommenden Semester werden zur Verbesserung der klinischen Fähigkeiten und der Qualität der Lehre an der medizinischen Fakultät mehrere PKU-Module mit abschließenden OSCE-Prüfungen abgehalten. Praktische klinische Untersuchung I (5. Semester) » Praktische klinische Untersuchung II (7. Semester) » Praktische klinische Untersuchung III » (10. Semester zw. Blockpraktikum und PJ) Die dadurch steigende Prüfungslast macht eine Umstrukturierung der vorherr- schenden Situation notwendig. Es wurde zu diesem Zweck ein Konzept entwickelt und dessen Einsatz evaluiert, das von der Kursorganisation bis zur automatisierten Prü- fungsauswertung den Kurs unterstützend begleitet. Ablauf der Prüfung Die Studierenden betreten die jeweilige Station und identifizieren sich (mit Matrikelnum- mer und einer per Email erhaltenen PIN-Nummer). Nach erfolgreicher Anmeldung aller Teilnehmer wird die Prüfung gestartet. Jeder Teilnehmer liest nun die Aufgabe bzw. die „Patientensituation“ am Monitor des mobilen Computers durch und beginnt die Behand- lung. Neben den Eingaben der Checkliste wird zusätzlich auch die Zeit für Aufgaben und Teilaufgaben protokolliert. Dies ist für die Zeitplanung sowie für die Weiterentwick- lung bestehender OSCE-Stationen ein wesentlicher Parameter. Die Prüfungssoftware überwacht hierbei die zeitkritischen Schritte (Anmeldung und Abschluss einer Station) und gibt einen visuellen Überblick über den Status jeder Station. Nach Beendigung der Prüfung erfolgt eine automatische Auswertung, sowie Itemanalyse und Archivierung. Technische Umsetzung Als Prüfungssoftware wird eine erweiterte Version des fakultätsübergreifend eingesetz- ten eLearning-Programms CaseTrain eingesetzt. CaseTrain wurde speziell für interak- tive, fallbasierte Lernszenarien entwickelt und ist bereits seit 2007 erfolgreich im Ein- satz. An jeder OSCE-Station wird ein Tablet-Computer mit druckempfindlichem Display und drahtloser Netzwerkverbindung mit einem lokalen (vom Uni- und Klinik-Netz isolierten) Server verbunden. Die Trennung der uniweiten CaseTrain-Server vom Prüfugnsnetz bringt die notwendige Sicherheit und ermöglicht zudem weitere Freiheitsgrade für OSCE- spezifische Programmanpassungen. Über eine an die mobilen Computer angepasste Oberfläche des CaseTrain-Players erfolgt die Eingabe der üblichen Checklisten. Jede Station entspricht dabei einem „CaseTrain-Fall“, der zuvor aus den Papier-Checklisten in Word-Dokumente überführt werden muss. Ergebnisse Kosten Berücksichtigt man die Zeit für die Vorbereitung, Be- treuung und insbesondere die Zeit für die Auswertung, inklusive der in der Approbationsordnung geforderten Itemanalyse, so kommt der Vorteil elektronischer Prü- fungen trotz zunächst hoher Investitionskosten zum Tragen. Für die Analyse wurden folgende Aspekte berücksich- tigt: Druck- und Papierkosten (inkl. Verschleiß) Zeitaufwand Prüfungsaufsicht (40h) Zeitaufwand Auswertung inkl. Itemanalyse (80h) Anschaffungskosten für die Hardware (20.000€) 160 Teilnehmer PKU I, 150 Teilnehmer PKU II, 120 Teilnehmer PKU III Evaluation Studierende Hohe Akzeptanz bei den Studierenden • Unterstützung des reibungslosen Prüfungsablaufs • Erfüllt den Wunsch nach Transparenz • Vorteil für Lehrende Entlastung der Prüfenden • Einfache Archivierung • Verbesserung der Checklisten durch Itemanalysen • Um das neue Prüfungssystem zu evaluieren wurden den Prüfungsteilnehmern gezielt Fragen gestellt, die tech- nische und logistische Probleme der neuen Prüfungs- form sowie Verbesserungsmöglichkeiten aufdecken sollten. Der Einsatz der elektronischen Prüfung wurde anhand von n=127 Teilnehmern (95%) evaluiert. Kompetenzzentrum eLearning in der Medizin Bayern ELEKTRONISCH UNTERSTÜTZTES PKU-MODUL MIT OSCE-PRÜFUNG Firewall Firewall Tablet- PC Tablet- PC Tablet- PC Tablet- PC Prüfungsnetz Access Point Kliniknetz LWAPP- Tunnel Router: Cisco Catalyst 65000 OSCE Server i386, SATA-Raid1 Entwickler-PC immer regelmäßig eher selten nur wenn es sein muss 5% 39% 34% 22% Ich nutze den Computer zum Lernen vollkommen ausreichend ich war mir unsicher ich wusste nicht, was auf mich zukommt 20% 43% 29% 9% Der Ablauf der ePrüfung war mir im Vorfeld bekannt schnellere Ergebnisse ein einheitlicher Bewertungsmaßstab Einblick in meine Teil-/ Prüfungsleistungen eine Leistungskurve 13% 18% 43% 7% Der größte Vorteil der elektronischen Prüfung nein ja 68% 22% Ich wäre bereit, mich mit meinem Fingerabdruck anzumelden Evalua- tions- ergebnisse Prüfungs- ergebnisse Prüfung durchführen Teilnehmer anmelden Station auswählen Prüfungs- Software starten CaseTrain Server OSCE Checkliste erstellen LSF-Export der Teilnehmerliste Word- Dokument Review- Prozess Review- Prozess „Ja“ Prüfung abschließen Station schließen Letzter Teilnehmer? „Nein“ KURSORGANISATION Gruppeneinteilung » Bereitstellen der Kursunterlagen » (PKU-Leitfaden) Terminverwaltung » PRÜFUNGSVORBEREITUNG elektronische Skripten » eLearning » Phantome » (z.B.: Auskultationstrainer) Lern-CD´s » Videos » PRÜFUNG Optimierte Abläufe » Faire Prüfungsbedingungen » viele Freiheitgrade durch » Audio & Video sichere Datenübertragung » automatische Auswertung » NACH DER PRÜFUNG detaillierte Prüfungseinsicht » Itemanalyse » elektronische Evaluation » KURSORGANISATION PRÜFUNGS- VORBEREITUNG NACH DER PRÜFUNG PRÜFUNG Christian Hanshans (Leiter Kompetenzzentrum eLearning) Marianus Ifland (Informatik VI) Alexander Hörnlein (Informatik VI) Wolfgang Dolezol (Servicezentrum Medizin-Informatik) Ein Projekt des Kompetenzzentrums eLearning in der Medizin Bayern Josef-Schneider-Str. 2 · 97082 Würzburg Tel: 0931-201-53845, Fax: 0931-53847
Transcript of Pku-Modul Mit oscE-Prüfung - CaseTrain · Motivation Für die kommenden Semester werden zur...
MotivationFür die kommenden Semester werden zur Verbesserung der klinischen Fähigkeiten und der Qualität der Lehre an der medizinischen Fakultät mehrere PKU-Module mit abschließenden OSCE-Prüfungen abgehalten.
Praktische klinische Untersuchung I (5. Semester) »Praktische klinische Untersuchung II (7. Semester) »Praktische klinische Untersuchung III »
(10. Semester zw. Blockpraktikum und PJ)
Die dadurch steigende Prüfungslast macht eine Umstrukturierung der vorherr-schenden Situation notwendig. Es wurde zu diesem Zweck ein Konzept entwickelt und dessen Einsatz evaluiert, das von der Kursorganisation bis zur automatisierten Prü-fungsauswertung den Kurs unterstützend begleitet.
Ablauf der PrüfungDie Studierenden betreten die jeweilige Station und identifizieren sich (mit Matrikelnum-mer und einer per Email erhaltenen PIN-Nummer). Nach erfolgreicher Anmeldung aller Teilnehmer wird die Prüfung gestartet. Jeder Teilnehmer liest nun die Aufgabe bzw. die „Patientensituation“ am Monitor des mobilen Computers durch und beginnt die Behand-lung. Neben den Eingaben der Checkliste wird zusätzlich auch die Zeit für Aufgaben und Teilaufgaben protokolliert. Dies ist für die Zeitplanung sowie für die Weiterentwick-lung bestehender OSCE-Stationen ein wesentlicher Parameter. Die Prüfungssoftware überwacht hierbei die zeitkritischen Schritte (Anmeldung und Abschluss einer Station) und gibt einen visuellen Überblick über den Status jeder Station. Nach Beendigung der Prüfung erfolgt eine automatische Auswertung, sowie Itemanalyse und Archivierung.
Technische UmsetzungAls Prüfungssoftware wird eine erweiterte Version des fakultätsübergreifend eingesetz-ten eLearning-Programms CaseTrain eingesetzt. CaseTrain wurde speziell für interak-tive, fallbasierte Lernszenarien entwickelt und ist bereits seit 2007 erfolgreich im Ein-satz.
An jeder OSCE-Station wird ein Tablet-Computer mit druckempfindlichem Display und drahtloser Netzwerkverbindung mit einem lokalen (vom Uni- und Klinik-Netz isolierten) Server verbunden. Die Trennung der uniweiten CaseTrain-Server vom Prüfugnsnetz bringt die notwendige Sicherheit und ermöglicht zudem weitere Freiheitsgrade für OSCE-spezifische Programmanpassungen. Über eine an die mobilen Computer angepasste Oberfläche des CaseTrain-Players erfolgt die Eingabe der üblichen Checklisten. Jede Station entspricht dabei einem „CaseTrain-Fall“, der zuvor aus den Papier-Checklisten in Word-Dokumente überführt werden muss.
ErgebnisseKosten
Berücksichtigt man die Zeit für die Vorbereitung, Be-treuung und insbesondere die Zeit für die Auswertung, inklusive der in der Approbationsordnung geforderten Itemanalyse, so kommt der Vorteil elektronischer Prü-fungen trotz zunächst hoher Investitionskosten zum Tragen.
Für die Analyse wurden folgende Aspekte berücksich-tigt: Druck- und Papierkosten (inkl. Verschleiß) Zeitaufwand Prüfungsaufsicht (40h) Zeitaufwand Auswertung inkl. Itemanalyse (80h) Anschaffungskosten für die Hardware (20.000€) 160 Teilnehmer PKU I, 150 Teilnehmer PKU II, 120 Teilnehmer PKU III
Evaluation
StudierendeHohe Akzeptanz bei den Studierenden•Unterstützung des reibungslosen Prüfungsablaufs•Erfüllt den Wunsch nach Transparenz•
Vorteil für LehrendeEntlastung der Prüfenden•Einfache Archivierung•Verbesserung der Checklisten durch Itemanalysen •
Um das neue Prüfungssystem zu evaluieren wurden den Prüfungsteilnehmern gezielt Fragen gestellt, die tech-nische und logistische Probleme der neuen Prüfungs-form sowie Verbesserungsmöglichkeiten aufdecken sollten. Der Einsatz der elektronischen Prüfung wurde anhand von n=127 Teilnehmern (95%) evaluiert.
Kompetenzzentrum eLearning in der Medizin Bayern
ElEktronisch untErstütztEs Pku-Modul Mit oscE-Prüfung
Fire
wal
l
Fire
wal
l
Tablet-PC
Tablet-PC
Tablet-PC
Tablet-PC
Prüfungsnetz
Acc
ess
Poin
t
Kliniknetz
LWAPP-Tunnel
Router: Cisco Catalyst 65000
OSC
E Se
rver
i386
, SAT
A-R
aid1
Entw
ickl
er-P
C
immer
regelmäßig
eher selten
nur wenn es sein muss
5%
39%
34%
22%
Ich nutze den Computer zum Lernen
vollkommen
ausreichend
ich war mir unsicher
ich wusste nicht, was auf mich zukommt
20%
43%
29%
9%
Der Ablauf der ePrüfung war mir im Vorfeld bekannt
schnellere Ergebnisse
ein einheitlicher Bewertungsmaßstab
Einblick in meine Teil-/ Prüfungsleistungen
eine Leistungskurve
13%
18%
43%
7%
Der größte Vorteil der elektronischen Prüfung
nein
ja
68%
22%
Ich wäre bereit, mich mit meinem Fingerabdruck anzumelden
Evalua-tions-ergebnisse
Prüfungs-ergebnisse
Prüfungdurchführen
Teilnehmeranmelden
Stationauswählen
Prüfungs-Softwarestarten
CaseTrain Server
OSCE Checkliste erstellen
LSF-Export der
Teilnehmerliste
Word- Dokument
Review-Prozess
Review-Prozess
„Ja“
Prüfungabschließen
Stationschließen
LetzterTeilnehmer?„Nein“
KUrSorgAnISATIon gruppeneinteilung »Bereitstellen der kursunterlagen »(Pku-leitfaden)terminverwaltung »
PrüfUngSVorbErEITUngelektronische skripten »elearning »Phantome »(z.B.: Auskultationstrainer)lern-cd´s »Videos »
PrüfUngoptimierte Abläufe »faire Prüfungsbedingungen »viele freiheitgrade durch »Audio & Videosichere datenübertragung »automatische Auswertung »
nACH DEr PrüfUngdetaillierte Prüfungseinsicht »itemanalyse »elektronische Evaluation »
KUrSorgAnISATIon
PrüfUngS-VorbErEITUng
nACH DErPrüfUng
PrüfUng
Christian Hanshans (Leiter Kompetenzzentrum eLearning)Marianus Ifland (Informatik VI)Alexander Hörnlein (Informatik VI)Wolfgang Dolezol (Servicezentrum Medizin-Informatik) Ein Projekt des Kompetenzzentrums eLearning in der Medizin BayernJosef-Schneider-Str. 2 · 97082 WürzburgTel: 0931-201-53845, Fax: 0931-53847
