ONYX Testsuite

Einsatzszenarien und Funktionalitäten

Abschluss der Projekte eExam und eAssessPlus

Medienzentrum, Technische Universität Dresden

Yvonne Winkelmann

BPS Bildungsportal Sachsen GmbH

16.Januar 2013

ONYX Testsuite 2 | 30 Yvonne Winkelmann

E-Assessment: Szenarien

Mehrwerte und Vorurteile

ONYX Testsuite: Was ist das?

ONYX Testsuite: Was kann ich damit machen?

E-Prüfungen: Möglichkeiten

ONYX Testsuite: Was kommt noch?

Das erwartet Sie!

ONYX Testsuite 3 | 30 Yvonne Winkelmann

E-Assessment

Der Begriff „Assessment“

Quelle: www.dict.leo.org

ONYX Testsuite 4 | 30 Yvonne Winkelmann

E-Assessment: Szenarien

Einstufungstest

Level A Level B Level C

Lernmodul

Selbsttest

Abschlussprüfung

Lerninhalte

5

5

Lehrevaluation

Diagnostisch

Formativ

Summativ

OrientierenEinstufen

BegleitenLenken

AbschließenBewerten

ONYX Testsuite 5 | 30 Yvonne Winkelmann

E-Assessment: Szenarien

Quelle: Hamburger eLearning Magazin, C.Rüdel 2009

ONYX Testsuite 6 | 30 Yvonne Winkelmann

E-Assessment

Effizienzsteigerung Qualitätsverbesserung

• Objektivität, durch computerbasierte

Auswertung

• Zufällige Anordnung erschwert

Betrugsversuche

• Einsatz von Audio, Video und

hochauflösendem Bildmaterial

• Qualitätsverbesserung der Fragen

durch anschließende Testanalyse

• Senkung des Korrekturaufwands,

durch computerbasierte

Auswertung

• Anlegen und Verwalten großer

Fragepools

• Bessere Lesbarkeit der Ergebnisse

• Direkte und zentrale Bereitstellung

der Auswertungsdaten

E-Assessment: Mehrwerte

ONYX Testsuite 7 | 30 Yvonne Winkelmann

E-Assessment

Effizienzsteigerung Qualitätsverbesserung

• Beschränkung der Aufgabenformate

• Entwicklung "neuer„

Prüfungsdidaktiken

• Unterschiedliche Voraussetzungen der

Studierenden (u.a. PC-Kenntnisse)

• Technisches Risiko (u.a. Datenverlust,

Stabilität, Skalierbarkeit)

• Aufwand für die Erstellung

qualitativer Inhalte

• Notwendige Einarbeitung in das

Testsystem

• Technische-, räumliche- und

rechtliche Anforderungen

• Zukunftsfähigkeit des Systems

E-Assessment: Befürchtungen

ONYX Testsuite 8 | 30 Yvonne Winkelmann

E-Assessment

Effizienzsteigerung Qualitätsverbesserung

• Objektivität, durch computerbasierte

Auswertung

• Zufällige Anordnung erschwert

Betrugsversuche

• Einsatz von Audio, Video und

hochauflösendem Bildmaterial

• Qualitätsverbesserung der Fragen

durch anschließende Testanalyse

• Senkung des Korrekturaufwands,

durch computerbasierte

Auswertung

• Anlegen und Verwalten großer

Fragepools

• Bessere Lesbarkeit der Ergebnisse

• Direkte und zentrale Bereitstellung

der Auswertungsdaten

E-Assessment: Mehrwerte

���� Prüfungsmanagement

���� Fachliche und Technische Betreuung

���� Software- und Hardwarelösung

ONYX Testsuite 9 | 30 Yvonne Winkelmann

E-Assessment: Funktionale Anforderungen

Erstellung

Durchführung

Auswertung

ONYX Testsuite 10 | 30 Yvonne Winkelmann

E-Assessment: Funktionale Anforderungen

Erstellung

Durchführung

Auswertung

Verwaltung

ONYX Testsuite 11 | 30 Yvonne Winkelmann

ONYX Testsuite: Was ist das?

ONYX Testsuite 12 | 30 Yvonne Winkelmann

� Vielfältige - geschlossene und

offene - Aufgabenformate

• Weitreichende Medien-

unterstützung

• Individuelle Auswertungs- und

Feedbackmechanismen

• Teststrukturierung und -steuerung

Geschlossene Aufgabenformate

� Einfache und Mehrfache Auswahl

� Hotspot

� Zuordnung (Drag and Drop)

� Zuordnung (Matrix)

� Reihenfolge

� Fehlertext

Offene Aufgabenformate

� Lückentext

� Numerische Eingabe

� Text-Teilmenge

� Freie Eingabe

� Datei-Upload

ONYX Testsuite: Was kann ich damit machen?

ONYX Testsuite 13 | 30 Yvonne Winkelmann

� Vielfältige - geschlossene und

offene - Aufgabenformate

� Weitreichende Medien-

unterstützung

• Individuelle Auswertungs- und

Feedbackmechanismen

• Teststrukturierung

� Bilder

� Audio

� Flash

� Formeln

ONYX Testsuite: Was kann ich damit machen?

ONYX Testsuite 14 | 30 Yvonne Winkelmann

� Vielfältige - geschlossene und

offene - Aufgabenformate

� Weitreichende Medien-

unterstützung

� Einstellungen und Anpassungen

� Individuelle Auswertungs-und

Feebackmechanismen

• Teststrukturierung und -steuerung

Automatisch:

� Richtig / Falsch Bewertung

� Antwort-basierte Bewertung

� Toleranzbereiche

Teil-Automatisiert / Manuell:

� Manuelle Bewertung

Feedback

� Test- und Aufgabenebene

� Richtig / Falsch basiert

� Antwort-basiert

� Bewertungs-basiert

ONYX Testsuite: Was kann ich damit machen?

ONYX Testsuite 15 | 30 Yvonne Winkelmann

� Vielfältige - geschlossene und

offene - Aufgabenformate

� Weitreichende Medien-

unterstützung

� Individuelle Auswertungs-und

Feebackmechanismen

� Teststrukturierung und -

steuerung

� Individuelle Teststruktur

� Zeitlimit

� Zufällige Anordnung

� Zufällige Auswahl

� Navigationsart

� Versuchsanzahl

� Feedback- und Lösungsanzeige

� Hinweisfeld-Option

ONYX Testsuite: Was kann ich damit machen?

ONYX Testsuite 16 | 30 Yvonne Winkelmann

Prüfungsszenario

Abschlussprüfung

Probetermin Prüfungstermin Nachholtermin

1. Durchlauf 2.Durchlauf

Sektion 1 Sektion 2 Sektion 2

Aufgabe 1Aufgabe 1

Aufgabe 1

ONYX Testsuite 17 | 30 Yvonne Winkelmann

Lernziele und Testzusammenstellung

Abschlussprüfung

Erinnern

Informationen

erkennen und

wiedergeben

Verarbeiten

Informationen

verstehen und

anwenden

Erkennen

Informationen

analysieren,

bewerten und

erzeugen

vgl. Kompetenzstufen nach Metzger 1993

ONYX Testsuite 18 | 30 Yvonne Winkelmann

Lernziele und Testzusammenstellung

Erinnern

vgl. Kompetenzstufen nach Metzger 1993

ONYX Testsuite 19 | 30 Yvonne Winkelmann

Lernziele und Testzusammenstellung

Verarbeiten

ONYX Testsuite 20 | 30 Yvonne Winkelmann

Lernziele und Testzusammenstellung

Erkennen

ONYX Testsuite 21 | 30 Yvonne Winkelmann

� Nutzung vorhandener Systeme

� Vorhandenes Nutzer- und Ressourcenmanagement

� Vermeidung von Systembrüchen

� Integration in den Lehrbetrieb

Einstufungstest > Selbsttest und Übung > Abschlusstest

ONYX Testsuite E-Assessment: Szenarien

ONYX Testsuite 22 | 30 Yvonne Winkelmann

ONYX Testsuite Demo

ONYX Testsuite 23 | 30 Yvonne Winkelmann

� Nutzung eines Prüfungsbrowsers (SEB)

� Zugriffsschutz durch Prüfungscode

� Direktzugang zur Prüfung

� Zugriffsschutz durch IP-Adressen/ -Bereiche

� Prüfungssteuerung

� Manueller Prüfungsstart

� Manuelles Fortsetzen nach Clientausfall

� Prüfungssignatur inkl. Verifikationsmöglichkeit

� Antwortbestätigung

� Archivierung der Antworten

Offen: Absicherung hinsichtlich Netz- und Serverausfall während der Prüfung

Spezieller Prüfungsmode im Kursbaustein Test

E-Prüfungen: Möglichkeiten und Erfahrungen

ONYX Testsuite 24 | 30 Yvonne Winkelmann

E-Prüfungen: Möglichkeiten und Erfahrungen

ONYX Testsuite 25 | 30 Yvonne Winkelmann

� 550 Prüfungsleistungen

� Aufteilung auf 2 Tage und 5 PC-Pools: 100 Studierende gleichzeitig

� Placement-Tests in Englisch und Französisch

� Nutzung des Onyx-Prüfungsmode

Einstufungstests an der TU Chemnitz

E-Prüfungen: Möglichkeiten und Erfahrungen

ONYX Testsuite 26 | 30 Yvonne Winkelmann

� Erstellung von Leitfäden für die Prüfungsdurchführung

� Erfolgreiche Probeklausur in den Kommunikationswissenschaften

� Weitere Erprobungen durch das Medienzentrum

Prüfungserprobungen an der TU Dresden

Selbstlernmodul zum Thema E-Assessment

Projekt eExam am Medienzentrum der TU Dresden

Das Modul befasst sich mit den Themen Einsatzmöglichkeiten von E-

Assessment in der Hochschullehre, Didaktik, Organisation, Technik

und Recht und steht allen Lehrenden und Interessierten frei innerhalb

der Lernplattform OPAL zur Verfügung.

https://bildungsportal.sachsen.de/opal/url/RepositoryEntry/2597027842

E-Prüfungen: Möglichkeiten und Erfahrungen

ONYX Testsuite 27 | 30 Yvonne Winkelmann

ONYX-Testsuite: Wer arbeitet mit ONYX?

ONYX Testsuite 28 | 30 Yvonne Winkelmann

� Umstellung auf Web-Technologie

� Vollständige Integration in OPAL + Desktopvariante

� Verwaltung der Inhalte lokal oder in frei wählbaren Repositorien

� Bereitstellung eines Test- und Aufgabenpools für OPAL-Nutzer

� Möglichkeit zum Austausch und zur Freigabe

• ONYX Webeditor mit integrierter Fragenpoollösung

ONYX-Testsuite: Was kommt noch?

• Aufbau eines hochschulübergreifenden Aufgabenpools

• Kursübergreifenden, qualitativen Item-Analysen

• Erweiterung der Bewertungsworkflows

• Lernziele als Basis und Output

ONYX Testsuite 29 | 30 Yvonne Winkelmann

Weitere Informationen

� Universität Bremen, ZMML

� http://www.eassessment.uni-bremen.de/

� N2E2, Niedersächsisches Netzwerk für E-Assessment

� http://n2e2.elan-ev.de/

� Freie Universität Berlin, CEDIS

� http://www.e-examinations.fu-berlin.de/

� E-Exam-Kurs der TU-Dresden

� https://bildungsportal.sachsen.de/opal/url/RepositoryEntry/2597027842

� iAssessSax, Projekt des SMWK

� http://www.uni-leipzig.de/~allpaed/wiki/doku.php?id=projekt:projekt

� Edu-Sharing Initiative

� http://www.edu-sharing.net/infoportal/

ONYX Testsuite 30 | 30 Yvonne Winkelmann

Vielen Dank für Ihre Aufmerksamkeit.

Bitte fragen Sie!

Yvonne Winkelmann

Mail: info@bps-system.de

Tel.: +49 371 666 2739-0

Web: http://onyx.bps-system.de

Ihre Fragen