ONYX Testsuite: Einsatzszenarien und Funktionalitäten

ONYX Testsuite

Einsatzszenarien und Funktionalitäten

Abschluss der Projekte eExam und eAssessPlus

Medienzentrum, Technische Universität Dresden

Yvonne Winkelmann

BPS Bildungsportal Sachsen GmbH

16.Januar 2013

ONYX Testsuite 2 | 30 Yvonne Winkelmann

E-Assessment: Szenarien

Mehrwerte und Vorurteile

ONYX Testsuite: Was ist das?

ONYX Testsuite: Was kann ich damit machen?

E-Prüfungen: Möglichkeiten

ONYX Testsuite: Was kommt noch?

Das erwartet Sie!


E-Assessment

Der Begriff „Assessment“

Quelle: www.dict.leo.org



Einstufungstest

Level A Level B Level C

Lernmodul

Selbsttest

Abschlussprüfung

Lerninhalte

5

5

Lehrevaluation

Diagnostisch

Formativ

Summativ

OrientierenEinstufen

BegleitenLenken

AbschließenBewerten



Quelle: Hamburger eLearning Magazin, C.Rüdel 2009


E-Assessment

Effizienzsteigerung Qualitätsverbesserung

• Objektivität, durch computerbasierte

Auswertung

• Zufällige Anordnung erschwert

Betrugsversuche

• Einsatz von Audio, Video und

hochauflösendem Bildmaterial

• Qualitätsverbesserung der Fragen

durch anschließende Testanalyse

• Senkung des Korrekturaufwands,

durch computerbasierte

Auswertung

• Anlegen und Verwalten großer

Fragepools

• Bessere Lesbarkeit der Ergebnisse

• Direkte und zentrale Bereitstellung

der Auswertungsdaten

E-Assessment: Mehrwerte


E-Assessment


• Beschränkung der Aufgabenformate

• Entwicklung "neuer„

Prüfungsdidaktiken

• Unterschiedliche Voraussetzungen der

Studierenden (u.a. PC-Kenntnisse)

• Technisches Risiko (u.a. Datenverlust,

Stabilität, Skalierbarkeit)

• Aufwand für die Erstellung

qualitativer Inhalte

• Notwendige Einarbeitung in das

Testsystem

• Technische-, räumliche- und

rechtliche Anforderungen

• Zukunftsfähigkeit des Systems

E-Assessment: Befürchtungen


E-Assessment


• Objektivität, durch computerbasierte

Auswertung

• Zufällige Anordnung erschwert

Betrugsversuche

• Einsatz von Audio, Video und

hochauflösendem Bildmaterial

• Qualitätsverbesserung der Fragen

durch anschließende Testanalyse

• Senkung des Korrekturaufwands,

durch computerbasierte

Auswertung

• Anlegen und Verwalten großer

Fragepools

• Bessere Lesbarkeit der Ergebnisse

• Direkte und zentrale Bereitstellung

der Auswertungsdaten

E-Assessment: Mehrwerte

�� Prüfungsmanagement

�� Fachliche und Technische Betreuung

�� Software- und Hardwarelösung


E-Assessment: Funktionale Anforderungen

Erstellung

Durchführung

Auswertung


E-Assessment: Funktionale Anforderungen

Erstellung

Durchführung

Auswertung

Verwaltung


ONYX Testsuite: Was ist das?


� Vielfältige - geschlossene und

offene - Aufgabenformate

• Weitreichende Medien-

unterstützung

• Individuelle Auswertungs- und

Feedbackmechanismen

• Teststrukturierung und -steuerung

Geschlossene Aufgabenformate

� Einfache und Mehrfache Auswahl

� Hotspot

� Zuordnung (Drag and Drop)

� Zuordnung (Matrix)

� Reihenfolge

� Fehlertext

Offene Aufgabenformate

� Lückentext

� Numerische Eingabe

� Text-Teilmenge

� Freie Eingabe

� Datei-Upload





� Weitreichende Medien-

unterstützung

• Individuelle Auswertungs- und

Feedbackmechanismen

• Teststrukturierung

� Bilder

� Audio

� Flash

� Formeln






unterstützung

� Einstellungen und Anpassungen

� Individuelle Auswertungs-und

Feebackmechanismen

• Teststrukturierung und -steuerung

Automatisch:

� Richtig / Falsch Bewertung

� Antwort-basierte Bewertung

� Toleranzbereiche

Teil-Automatisiert / Manuell:

� Manuelle Bewertung

Feedback

� Test- und Aufgabenebene

� Richtig / Falsch basiert

� Antwort-basiert

� Bewertungs-basiert






unterstützung

� Individuelle Auswertungs-und

Feebackmechanismen

� Teststrukturierung und -

steuerung

� Individuelle Teststruktur

� Zeitlimit

� Zufällige Anordnung

� Zufällige Auswahl

� Navigationsart

� Versuchsanzahl

� Feedback- und Lösungsanzeige

� Hinweisfeld-Option



Prüfungsszenario

Abschlussprüfung

Probetermin Prüfungstermin Nachholtermin

1. Durchlauf 2.Durchlauf

Sektion 1 Sektion 2 Sektion 2

Aufgabe 1Aufgabe 1

Aufgabe 1


Lernziele und Testzusammenstellung

Abschlussprüfung

Erinnern

Informationen

erkennen und

wiedergeben

Verarbeiten

Informationen

verstehen und

anwenden

Erkennen

Informationen

analysieren,

bewerten und

erzeugen

vgl. Kompetenzstufen nach Metzger 1993



Erinnern

vgl. Kompetenzstufen nach Metzger 1993



Verarbeiten



Erkennen


� Nutzung vorhandener Systeme

� Vorhandenes Nutzer- und Ressourcenmanagement

� Vermeidung von Systembrüchen

� Integration in den Lehrbetrieb

Einstufungstest > Selbsttest und Übung > Abschlusstest

ONYX Testsuite E-Assessment: Szenarien


ONYX Testsuite Demo


� Nutzung eines Prüfungsbrowsers (SEB)

� Zugriffsschutz durch Prüfungscode

� Direktzugang zur Prüfung

� Zugriffsschutz durch IP-Adressen/ -Bereiche

� Prüfungssteuerung

� Manueller Prüfungsstart

� Manuelles Fortsetzen nach Clientausfall

� Prüfungssignatur inkl. Verifikationsmöglichkeit

� Antwortbestätigung

� Archivierung der Antworten

Offen: Absicherung hinsichtlich Netz- und Serverausfall während der Prüfung

Spezieller Prüfungsmode im Kursbaustein Test

E-Prüfungen: Möglichkeiten und Erfahrungen


� 550 Prüfungsleistungen

� Aufteilung auf 2 Tage und 5 PC-Pools: 100 Studierende gleichzeitig

� Placement-Tests in Englisch und Französisch

� Nutzung des Onyx-Prüfungsmode

Einstufungstests an der TU Chemnitz



� Erstellung von Leitfäden für die Prüfungsdurchführung

� Erfolgreiche Probeklausur in den Kommunikationswissenschaften

� Weitere Erprobungen durch das Medienzentrum

Prüfungserprobungen an der TU Dresden

Selbstlernmodul zum Thema E-Assessment

Projekt eExam am Medienzentrum der TU Dresden

Das Modul befasst sich mit den Themen Einsatzmöglichkeiten von E-

Assessment in der Hochschullehre, Didaktik, Organisation, Technik

und Recht und steht allen Lehrenden und Interessierten frei innerhalb

der Lernplattform OPAL zur Verfügung.

https://bildungsportal.sachsen.de/opal/url/RepositoryEntry/2597027842



ONYX-Testsuite: Wer arbeitet mit ONYX?


� Umstellung auf Web-Technologie

� Vollständige Integration in OPAL + Desktopvariante

� Verwaltung der Inhalte lokal oder in frei wählbaren Repositorien

� Bereitstellung eines Test- und Aufgabenpools für OPAL-Nutzer

� Möglichkeit zum Austausch und zur Freigabe

• ONYX Webeditor mit integrierter Fragenpoollösung

ONYX-Testsuite: Was kommt noch?

• Aufbau eines hochschulübergreifenden Aufgabenpools

• Kursübergreifenden, qualitativen Item-Analysen

• Erweiterung der Bewertungsworkflows

• Lernziele als Basis und Output


Weitere Informationen

� Universität Bremen, ZMML

� http://www.eassessment.uni-bremen.de/

� N2E2, Niedersächsisches Netzwerk für E-Assessment

� http://n2e2.elan-ev.de/

� Freie Universität Berlin, CEDIS

� http://www.e-examinations.fu-berlin.de/

� E-Exam-Kurs der TU-Dresden

� https://bildungsportal.sachsen.de/opal/url/RepositoryEntry/2597027842

� iAssessSax, Projekt des SMWK

� http://www.uni-leipzig.de/~allpaed/wiki/doku.php?id=projekt:projekt

� Edu-Sharing Initiative

� http://www.edu-sharing.net/infoportal/


Vielen Dank für Ihre Aufmerksamkeit.

Bitte fragen Sie!

Yvonne Winkelmann

Mail: [email protected]

Tel.: +49 371 666 2739-0

Web: http://onyx.bps-system.de

Ihre Fragen

ONYX Testsuite: Einsatzszenarien und Funktionalitäten

Education

Transcript of ONYX Testsuite: Einsatzszenarien und Funktionalitäten