Lernerfolg und Lernmotivation fördern mit E-Assessment

cc Karsten D. Wolf

Lernerfolg und Lernmotivation fördern mit E-Assessment?

Karsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer LernumgebungenUniversität Bremen

Assessment drives learning • ELT TU Wien 8.04.2011

Mittwoch, 20. April 2011

cc Karsten D. Wolf

Agenda

Washback Effekt von EAssessment +wie kann man Studierende durch gute EAssessments zum Lernen motivieren?

Kompetenzmodelle und ihre Umsetzung per EAssessment

Fehler bei EAssessments vermeiden

Good Practice bei EAssessment Items Erstellung

Akzeptanz von EAssessments

Implementation an der Uni Bremen - Kosten und Benefits


cc Karsten D. Wolf

Washback Effekt:Prüfungen bestimmen das Lernverhalten!


cc Karsten D. Wolf

Washback Effekt:

Schwierigkeit einer Klausur über Menge an Wissenzu regulieren führt zu flachem Bulemie Lernen… Ebbinghaus

Reine Wissenstests können die eigene Lehrver-anstaltung unterminieren

…positive Washback Effekte sind ebenfalls möglich

Verständnisorientiertes Lernen belohnen


cc by Karsten D. Wolf

Ausgangsfrage: Ist es möglich, auch höhere Taxonomiestufenmit geschlossenen Aufgabenformaten zu testen?

Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy

Erinnern

Verstehen

Anwenden

Analysieren

Evaluieren

Erzeugen


cc Karsten D. Wolf

1. Erinnern

• Wiedererkennen / Identifizieren

• Abrufen / Wiederfinden



Überarbeitete Bloom‘sche Taxonomie der Lernziele

Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching and assessing:

A revision of Bloom's Taxonomy of educational objectives: Abridged edition, New York : Longman.


cc Karsten D. Wolf

2. Verstehen

• Interpretieren / Klären / Darstellen• Exemplifizieren / Beispiele geben• Klassifizieren / Kategorisieren• Zusammenfassen / Generalisieren• Ableiten / Folgern / Prognostizieren• Vergleichen / Zuordnen / Kontrastieren• Erklären / Modelle konstruieren



Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren


Erinnern

Verstehen

Anwenden





Erinnern

Verstehen

Anwendenselten gebrauchtes Wissen





Erinnern

Verstehen


äußerst selten gebrauchtes Wissen





Erinnern

Verstehen



äußerst selten gebrauchtes, irrelevantes Wissen





Erinnern

Verstehen



äußerst selten gebrauchtes, irrelevantes Wissen

obskures Wissen



Konkret: Geschlossen auf hohen Taxonomiestufen prüfen?


Erinnern

Verstehen

Anwenden

Analysieren

Evaluieren

Erzeugen


cc Karsten D. Wolf

3. Anwenden

• Ausführen / Durchführen

• Anwendung / Gebrauch


cc Karsten D. Wolf

4. Analysieren

• Differenzieren / Unterscheiden

• Organisieren / Strukturieren

• Zuordnen / Zerlegen


cc Karsten D. Wolf

5. Evaluieren

• Überprüfen / Kontrollieren

• Kritisieren / Urteilen


cc Karsten D. Wolf

6. Erzeugen

• Generieren / Hypothesen bilden

• Planen / Entwerfen

• Produzieren / Konstruieren


cc Karsten D. Wolf

Dimensionen des Wissens

• Faktenwissen

• Konzeptuelles Wissen

• Prozedurales Wissen

• Meta-Kognitives Wissen



Konkret: Geschlossen auf hohen Taxonomiestufen prüfen?

• Analyse der realen Tätigkeitsfelder in Wissenschaft und Praxis

• authentische Materialsammlung• Einsatz von Softwareumgebungen (z.B. R, Mathcad)

• ggf. teilautomatisierte Auswertung von Kurztexten

Erinnern


© Karsten D. Wolf

3. Semester Bachelor

Produktionstechnik + WiIng

2 SWS (keine Übung) 2CP

Modul mit Fertigungstechnik und Arbeits- und Betriebswissenschaft

WS 2010/2011: 350 Studierende


© Karsten D. Wolf

Konzeptwissen A (Organisatorisch) reproduzieren

Hofmeister 2005: Klassifikationsmatrix zumUlme* Kompetenzstufenmodell

* Untersuchung der Leistungen, Motivation, Einstellungen


© Karsten D. Wolf

Prof. Dr. Lutz Mädler | Uni Bremen

Konzeptwissen A (Organisatorisch) reproduzieren


© Karsten D. Wolf

Konzeptwissen A (Organisatorisch) anwenden/verstehen

Hofmeister 2005: Klassifikationsmatrix zumUlme Kompetenzstufenmodell


© Karsten D. Wolf

Konzeptwissen B (Verallgemeinern) anwenden/verstehen

Prof. Dr. Lutz Mädler | Uni BremenMittwoch, 20. April 2011

© Karsten D. Wolf

Prozedurwissen (Techniken und Methoden) anwenden und verstehen



© Karsten D. Wolf

Fazit Prof. Dr. Lutz Mädler

✓ Abstimmen der Lernziele mit den Prüfungsfragen

✓ Frage nach dem „wie“ und nicht dem „was“

✓ nicht „was ist korrekt?“ sondern „warum ist dieAntwort richtig?“

✓ Abbildungen nicht aus den Vorlesungen


© Karsten D. Wolf

Vorteile E-Assessment (Prof. Dr. Lutz Mädler)


© Karsten D. Wolf

Nachteile E-Assessment (Prof. Dr. Lutz Mädler)


cc Karsten D. Wolf

Motivierend prüfen:Verständnisorientiertes Lernen belohnen• Höhere Taxonomiestufen• Authentische Aufgaben• Confidence Based Marking


cc Karsten D. Wolf

Fehler vermeiden:nicht die Test Wiseness messen!


© Karsten D. Wolf

Test Wiseness Test

The answer of this one refers to an

(a) overture(b) mountain(c) building(d) misnomer

http://www.kvhigh.com/learning/testtips.html




© Karsten D. Wolf

Test Wiseness Test: Grammatikalische Hinweise

The answer of this one refers to an

(a) an overture(b) a mountain(c) a building(d) a misnomer





© Karsten D. Wolf

Test Wiseness Test

In which pifflerock did zorkrans inkle?

(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk





© Karsten D. Wolf

Test Wiseness Test: Wiederholung aus Wortstamm

In which pifflerock did zorkrans inkle?

(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk





© Karsten D. Wolf

Test Wiseness Test

If there where a question here, which could be the correct answer?

(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen





© Karsten D. Wolf

Test Wiseness Test: sinngleiche Antworten falsch

Wenn hier eine Frage stände,was wäre die richtige Antwort?

(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen





© Karsten D. Wolf

Test Wiseness Test

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent





© Karsten D. Wolf

Test Wiseness Test: Längste Alternative

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent





© Karsten D. Wolf

Test Wiseness Test

Dome ukerland dimmel?

(a) Nepal(b) Canada(c) Britain(d) United States





© Karsten D. Wolf

Test Wiseness Test: Odd one out

Dome ukerland dimmel?

(a) Nepal(b) Canada(c) Britain(d) United States





© Karsten D. Wolf

Test Wiseness Test

Die richtige Antwort ist?

(a) Parrallele(b) Absisse(c) Koordinate(d) Tangennte





© Karsten D. Wolf

Test Wiseness Test: Rechtschreibung

Die richtige Antwort ist?

(a) Parrallele(b) Absisse(c) Koordinate(d) Tangennte





© Karsten D. Wolf

Test Wiseness Test

Zarfarkle, en Ko day?

(a) Henkledorf(b) Ricktoffen(c) Ifetain(d) Krator





© Karsten D. Wolf

Test Wiseness Test: Alternative 3

Zarfarkle, en Ko day?

(a) Henkledorf(b) Ricktoffen(3) Ifetain(d) Krator





© Karsten D. Wolf

Test WisenessCheat Sheet• Kategorische Formulierungen (immer, nie,

…) -> Falsch

• Phrase-Repeat -> Richtig

• Absurde / unlogische Antwort -> Falsch

• Präzision / Spezifizierung -> Richtig

• Länge einer Antwort -> länger = Richtig

• Grammatik -> Fehler = Falsch

• Hinweis -> Hinweis auf die richtige Antwort in der Fragestellung

• Reihenfolge der Antworten -> keine Muster

• Krumme Finger raus -> bei vielen ähnlichen Antworten ist die vollkommen andere Lösung die richtige

• Rechtschreibung / Grammatik -> Fehler häufiger in den Distraktoren

• …

❖ Übersaturierte Multiple Choice Auswahl

❖ „Gute“ Distraktoren

❖ Distraktoren aus Fehlern in offenen Durchläufen

❖ Confidence Based Marking

Gegenmaßnahmen


© Karsten D. Wolf

Gegenmaßnahmen

• Schulung der Autoren / Autorinnen

• Bessere Distraktoren

• Höhere Taxonomiestufen

• Confidence-Based Marking (Gardner-Medwin 2006)

• Übersaturierte Antwortauswahl per Drop-Down

• Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten


Prof. Dr. Kathleen Scalise (University Oregon)http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.html


http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.html




cc Karsten D. Wolf

Motivierend prüfen:Authentisch und abwechslungsreich prüfen



http://mitworld.mit.edu/video/419/

John Seely BrownXerox Parc

Cognitive Apprenticeship

learning about ➙ learning to be




cc Karsten D. Wolf

Motivierend mit MC prüfen

1. Offenheit des Antwortformats: geschlossen bis moderat geöffnet

2.Auswertungsalgorithmus: automatisch

3. Authentizität

4.Medienanreicherung

5. Interaktivität [aufwendig/teuer]

Gestaltungsdimensionen von Rich E-Assessment:Wolf/Koppel/Schwedes 2011


Simulation


Authentic Assessment


© Karsten D. Wolf

Collegiate Learning Assessment(Klein / Benjamin / Shavelson / Bolus 2007)

http://www.cae.org/content/pro_collegiate.htm




1 2 3

4 5 6

7 8 9



http://www.ifeb.uni-bremen.de/thetawelle/http://www.elearning2null.de/


http://www.ifeb.uni-bremen.de/thetawelle/




© Karsten D. Wolf

Weitere Beispiele

• Analyse / Debuggen von Sourcecode

• Bewertung von Schülerlösungen

• Analyse von Unternehmenskennzahlen

• Bewertung von Unterrichtsentwürfen

• Schreiben eines Analyseskriptes zur Auswertung von Daten

• Interpretation von Laborwerten

• Komplexe Fallstudien mit linearer Fragenabfolge

• …


© Karsten D. Wolf

Schätzung für Universität Bremen

• 12 Fachbereiche mit ca. 20.000 Studenten

• Mindestens 70K - 115K Prüfungen / Semester

• Tendenz steigend durch Umstieg auf BA/MA

• MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis)

• BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck)

• Eigene Auswahlverfahren für Studienanfänger

• Reduktion von 280 auf 230 Professor(inn)en

• ca. 500 Prüfungsleistungen pro Semester pro Professor


Quelle: Bücking 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011


Aktuell mögliche Itemformate



Statistiken Testcenter Universität Bremen


Quelle: Schwedes 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011

© Karsten D. Wolf

Zusammenfassung: Wann ist das sinnvoll?

• Mehr als 300 Kandidaten pro Prüfung

• Mehr als 50 Rechner pro Raum

• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)

• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen

• Alternative offene Formate: Lesbarkeit + Vorkorrekturen

• Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung

• Alternativen: Kooperation von Autorinnen und Autoren

• Alternativen: (Vor-)Erstellung von Items durch Studierende


cc Karsten D. Wolf

E-Assessment - Was nun?

Schritt 0: Prüfer/innen unterstützen

Schritt 1: Fehler vermeiden

Schritt 2: Anspruchsvoll prüfen

Schritt 3: Motivierend prüfen

Schritt 4: Verstetigen


FB 12 Erziehungs- und BildungswissenschaftenDidaktische Gestaltung

multimedialer Lernumgebungen

http://www.ifeb.uni-bremen.de/wolf

[email protected]

http://www.fb12.uni-bremen.de/de/Medienpaedagogik.html


http://www.ifeb.uni-bremen.de/wolf/














Lernerfolg und Lernmotivation fördern mit E-Assessment

Education

Transcript of Lernerfolg und Lernmotivation fördern mit E-Assessment