Chancen Fallstricke E Assessment

© Karsten D. Wolf 2007

Chancen und Fallstricke bei der Einführung von E-Assessments an der Universität

Karsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer Lernumgebungen

eBologna – eStrategien an den FakultätenFriday Lectures, WiSe 2007/08 14.12.2007Universität Wien

Karsten D. Wolf ©2007

Agenda

• Notwendigkeiten & Trends

• Haken & Ösen

• Chancen & Ausblicke

• Implementation

• Organisation

• TestCenter

• Gender Mainstreaming

• Empfehlungen

© Karsten D. Wolf 2007by: CarbonNYC

UmstellungBachelor-/Master-Struktur


We want credit points!


Quelle: Johannes Hartig & Nina Jude 2007, S.30


http://tinyurl.com/2esxkdMartin Ripley 2006

http://tinyurl.com/2esxkd



http://tinyurl.com/2esxkdMartin Ripley 2006

mündlicheund „alternative“ Prüfungsformate?




+

© Karsten D. Wolf

Pro und contra: Studenten

• Sofortige Bereitstellung des Prüfungsergebnisses

• Objektive, transparente und fehlerfreie Klausurbewertung

• differenziertes Feedback

• vereinfachte Vorbereitung durch online-Training unter Verwendung der gleichen Fragenkataloge

• Benachteiligung von Personen mit geringerer Computerkompetenz (digital literacy, 10-Finger-Schreiben)

• Benachteiligung von Personen mit negativer Einstellung zu Computern

• Probleme bei der Konzentration (Computermonitor, Lüfterlärm, Tastaturgeklapper…) ➙ Stress?

• Datenschutz?

in Anlehnung an Bücking / Schwedes 2005

© Karsten D. Wolf

Akzeptanz durch Studierende: Benutzbarkeit

Bücking / Schwedes (2005)

© Karsten D. Wolf

Akzeptanz durch Studierende: Raum


- Lüftung- Lautstärke- Temperatur- Platzangebot

© Karsten D. Wolf

Akzeptanz durch Studierende: Rückmeldung


35,5% Generelle Zustimmung

4% Totalablehnung

Achtung: FB WiWi

© Karsten D. Wolf

Pro und contra: Lehrende / Prüfungsautor(inn)en

• Enorme Arbeitsentlastung durch automatische Auswertungsverfahren & Verwaltung

• Effiziente Unterstützung bei Freitextfragen-Korrektur

• Wiederverwendbare und „kollaborative“ Fragenkataloge

• Qualitätssicherung und -verbesserung

• Hoher Initialaufwand zur Digitalisierung vorhandener Fragen und Aufbau eines hinreichend großen Fragenkataloges

• Prüfungsdesign wird durch Technik beschränkt

• technische Manipulationsmöglichkeiten (während und vor der Prüfung)


© Karsten D. Wolf

Pro und contra: Prüfungsverwaltung

• Vereinfachte Organisationsabläufe durch Im- und Export von

• Teilnehmer(innen)listen und

• Ergebnissen

zwischen Prüfungsverwaltungssoftware (FlexNow!) und Prüfungssoftware

• Initiale Zusatzbelastung durch Umstellung auf neue Arbeitsabläufe

• Rechtliche Absicherung

• Durchführungsorganisation

• Datenschutz & -sicherheit


© Karsten D. Wolf

Pro und contra: Allgemein

• Kosteneinsparung

• Mögliche Erstellung komplexer und interaktiver Fragen durch Multimediaelemente

• Stabilität & Zuverlässigkeit

• Qualitätsverlust des Studiums durch reine Wissenstests


© Karsten D. Wolf

Simulationsrechnungen: Wann lohnt es?

Bücking (2006) / ZMML Uni Bremen

© Karsten D. Wolf

Vergleich der drei Szenarien: Break-Even


© Karsten D. Wolf

Durchführung: Wer ist beteiligt?

• Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter)

• Aufsichtskräfte (Lehrstühle)

• Verwaltung (Prüfungsamt)

• Editoren für E-Aufgaben (Lehrstühle ↔ zentrale Einrichtung)

• E-Assessment Beauftragte (Fachbereiche)

• E-Learning Support (zentrale Einrichtung)

© Karsten D. Wolf

Lehrkräfte / Autor(inn)en

• Entwicklung

• Fragen

• Antworten

• Distraktoren

• Beurteilungsschema

• Qualitätskontrolle

• Fragen

• Umsetzung der Fragen

• Endgültige Abnahme des Fragenkataloges

• Analyse und Überarbeiten der Fragen nach Klausuren

© Karsten D. Wolf

Lehrkräfte / Autor(inn)en

• Entwicklung

• Fragen

• Antworten

• Distraktoren

• Beurteilungsschema


• Fragen

• Umsetzung der Fragen

• Finales Absegnen des Fragenkataloges

• Analyse und Überarbeiten nach Klausuren

Woher kommtdiese Qualifikation?


Alternative AssessmentFormative VerfahrenE-Portfolio


Alternative Assessment


Alternative AssessmentFormative Verfahren



Learning about



Learning aboutLearning by Assessment



Learning aboutLearning by AssessmentLearning by Design



Learning aboutLearning by AssessmentLearning by DesignLearning by Assessing



Learning aboutLearning by AssessmentLearning by DesignLearning by AssessingLearning to be


Quelle: Falko Rheinberg

© Karsten D. Wolf

Innovationsbereiche beim E-Assessment

• Simulation

• Realitätsnähe

• Feedbackkomponenten

• Explorationsmöglichkeiten

• Automatisierte Bewertung von Essays

• Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen.

• Autorenwerkzeuge für fachspezifische Tests/Sims

• Einbindung in E-Portfolios

• Kompetenzmessung in Gruppen

© Karsten D. Wolf

Innovationsbereiche beim E-Assessment

• Verbesserung der Messmodelle (Rasch Skalierung)

• Tests werden in den Lehr-Lern-Prozess integriert

• Transfer wird durch authentische Aufgaben erleichtert

• Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden

• Keine speziellen Prüfungen mehr notwendig

• Durch Testbänke keine festen Prüfungstermine mehr

• Kombination in Form von Blended Assessment

© Karsten D. Wolf

Collegiate Learning Assessment(Klein / Benjamin / Shavelson / Bolus 2007)

http://www.cae.org/content/pro_collegiate.htm



© Karsten D. Wolf

E-Selection / E-Recruitment & Recrutainment

• Auswahlverfahren für BA und MA

• Uni Bremen WiSe 2006: 2355 Studienanfänger

❖ wachsende Anzahl von Master-Studiengänge


Implementation

© Karsten D. Wolf

Neue Personen

• Editoren

• Entwicklung Fragevorlagen

• Umsetzung der Fragen in Editor


• Fragekatalog pflegen

• E-Assessment Beauftragte

• Projektmanagement (120 Tage Vorlauf!)

• Administration des E-Assessment-Servers (mandantenfähig)

• Einweisung Autoren, Editoren und Aufsichtspersonal

• Testläufe organisieren

© Karsten D. Wolf

Änderungen für bestehende Rollen

• Verwaltung (Prüfungsamt)

• Administration der Prüfungen im System (Buchungen, Termine)

• Anpassung des Materials für die Durchführung von Examen

• Archivierung der Examensdaten

• Resultate

• Protokolle

• Logfiles

• Aufsichtspersonal

• Vorbereitung der PC-Pools

• Technische Assistenz und Problembehebung

© Karsten D. Wolf

Fülle von Arbeitsplänen: Überblick


© Karsten D. Wolf

Arbeitsplan „Lehrstuhl“: Fragenkatalog erstellen


© Karsten D. Wolf

Arbeitsplan „Prüfungsamt“: Vorbereitung eines E-Examens


© Karsten D. Wolf

Beispiel: eExaminations an der Uni Bremen

• Dezember 2004 - April 2006

• 14 E-Examen (11 in BWL/WiWi)

• 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962)

• ø 20 PCs pro Raum (10–54)

• ø 24 Wiederholungen / Examen (5–64)

• Max. 7 Räume / Tag und 6 „Slots“ pro Tag

• Hoher Organisations-Overhead

Quelle: ZMML Uni Bremen

© Karsten D. Wolf

Beispiel: Durchführungsplan



ZMML Uni Bremen - Realisierung WiSe 2007

30

30 30

30

© Karsten D. Wolf

PC-Pool oder E-Testcenter?

• Starke Reduzierung der Aufsichtsstunden

• Höhere Sicherheit

• Autonome LANs

• Arbeitsabläufe können optimiert werden

• Leichtere Unterstützung z.B. von Simulationen als Testumgebung

• Ggf. Nutzung für Forschungsfragen

• Rückkehr zum „alten“ CIP-Pool?

• Nutzung außerhalb der Prüfungszeiten?

© Karsten D. Wolf

E-Learning Support: ZMML Uni Bremen

• E-Assessment als Dienst einführen und anbieten

• Beratung und Training der beteiligten Personen

• Technische Vorbereitung der PC-Pools

• Anbindung an andere IT-Dienste

• Zusammenarbeit mit Softwarefirma (Anpassung)

• Notfallteam für die Dauer der Prüfungsperiode zusammenstellen

• Implementation zunächst nur mit einem Fachbereich

• Kooperation mit einer Softwarefirma


Testumgebung L-Plus


L-Plus Demo (www.lplus.de)

http://www.lplus.de

http://www.lplus.de

© Karsten D. Wolf

Zusammenfassung: Wann ist das sinnvoll?

• Mehr als 300 Kandidaten pro Prüfung

• Mehr als 50 Rechner pro Raum

• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)

• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen

• mögliche Alternative: Scanlösung Paper&Pencil MC Test

• Alternativen: Kooperation von Autorinnen und Autoren

• Alternativen: (Vor-)Erstellung von Items durch Studierende


Gender Mainstreaming von eAssessment?

American Airlines, ca. April 2007

Gender spezifische Computer Einstellungen und Fertigkeiten

nach Whitley 1997

PISA 2003 - Gender Differences

Mädchen JungenComputerspiele 35% 70%

Software runterladen 25% 51%Musik runterladen 40% 56%

Informationen suchen 50% 59%Zusammenarbeit 27% 36%Kommunikation 55% 56%Programmieren 16% 30%

Graphikprogramme 26% 34%Tabellenkalkulation 18% 24%Textverarbeitung 49% 48%

Keine Unterschiede der Internet Expertise

computer expertise computer usage

internet expertise internet usage

n=108 (Wolf 2007)

Evaluation der LernumgebungKompliziert Wisse wie…

SpaßSchaue mehr

andere Arbeiten an

n=108 (Wolf 2007)

Prozessunterschiede:Kommunikation

n=36 (Wolf/Prasser 2006)

So wie das Internet eine Alltagstechnologie wird…

Pew Institute 2005

Gender-sensitive Sprache und Lernmaterial(Auszug aus Pravda 2003)

• Sexistische Sprache vermeiden / austauschen

• In Beispielen Gender und deren Reihenfolge abwechseln

• Möglichst Gender-neutrale Begriffe verwenden

• Inhalte aus mehreren Perspektiven beschreiben

• Lebenserfahrung beider Gender integrieren

• Gender Hierarchien und Stereotype entfernen

• Neue Rollenmodelle für beide Gender anbieten

© Karsten D. Wolf

Zusammenfassung: Erfahrungen bisher

• Entlastung und Verbesserung

• Uni Bremen als Vorreiterin

• Dauerhaftes Thema an Hochschulen (Trend)

• Technische und organisatorische Professionalisierung

• Verstetigung statt Pilotprojekte

• Hohes Innovationspotenzial für Hochschullehre

• Aktuelles Forschungsthema

• TestCenter bietet ideale Voraussetzungen

FB 12 Erziehungs- und BildungswissenschaftenDidaktische Gestaltung

multimedialer Lernumgebungen

http://www.ifeb.uni-bremen.de/wolf

[email protected]

http://www.zmml.uni-bremen.de/

http://www.ifeb.uni-bremen.de/wolf/












© Karsten D. Wolf

Literaturempfehlungen

Thomas M. Haladyna (2004). Developing and Validating Multiple-Choice Test Items. Lawrence Erlbaum Associates.

Steven M. Downing & Thomas M. Haladyna (2006). Handbook of Test Developing. Lawrence Erlbaum Associates.

Jürgen Rost (2004). Lehrbuch Testtheorie – Testkonstruktion. Huber.

© Karsten D. Wolf

Literaturempfehlungen

Trevor G. Bond & Christine M. Fox (2007) Applying The Rasch Model. Lawrence Erlbaum Associates.

Mark Wilson (2005). Constructing Measures. Lawrence Erlbaum Associates.

Albert Maydeu-Olivares & John J. McArdle (2005). Contemporary Psychometrics. Lawrence Erlbaum Associates.

Chancen Fallstricke E Assessment

Education

Transcript of Chancen Fallstricke E Assessment