12.5.2011 Bernhard Jacobs 1 Leistungssteigerung durch Notendruck ? Die Wirkung der Benotung auf die...
-
Upload
katrin-hempfling -
Category
Documents
-
view
111 -
download
1
Transcript of 12.5.2011 Bernhard Jacobs 1 Leistungssteigerung durch Notendruck ? Die Wirkung der Benotung auf die...
12.5.2011 Bernhard Jacobs 1
Leistungssteigerung durch Notendruck ?
Die Wirkung der Benotung auf die Studierleistungen in einem Seminar
Quellen: URN: urn:nbn:de:bsz:291-psydok-25299URL: http://psydok.sulb.uni-saarland.de/volltexte/2009/2529/
http://www.phil.uni-sb.de/~jakobs/wwwartikel/extrinsische_motivierung/notendruck/notenanreiz.html
12.5.2011 Bernhard Jacobs 2
Motivierung zum Lernen
Intrinsische Lernmotivation Interesse am Lerngegenstand und Freude bei der Lernaktivität pädagogisch wertvoll tiefe Verarbeitung des Wissens
viele theoretische Ergüsse (Selbstbestimmung, Flow, Interesse…)schwer im Schulalltag zu findennoch schwieriger pädagogisch zuverlässig anzuregen
Extrinsische Lernmotivation (mehrere Facetten) Lernen nur wegen der erwarteten Konsequenzen pädagogisch bedenklich oberflächliche Verarbeitung ?
theoretisch uninteressant: sehr nahe am common sensezuverlässig im Schulalltag zu findenbestimmt den größten Teil schulischer Motivierung
Sehr wenige empirische Studien!
12.5.2011 Bernhard Jacobs 3
Untersuchungsziel
Reicht das verpflichtende Angebot eines unbenoteten Online-Quiz mit vielfältigen Rückmeldungen aus, die Studierleistungen in einem durch Notenbedrohung analogen Ausmaß zu fördern ?
Quiz: benotet Quiz: unbenotet, aber verpflichtend
gegen
Realistische Erwartung : nein
Ausgangsfrage
12.5.2011 Bernhard Jacobs 4
Wichtige Forschungsfragen
• Fällt die Leistung im benoteten Quiz besser aus?• Bleibt der vermutete Leistungsvorteil länger erhalten?• Impliziert der vermutete Leistungsvorteil auch ansatzweise
einen Wissenstransfer?• Verbessern auch unbenotete Quiz die Lernleistung?
Motivationale Anreize bzw. Auswirkungen der Benotung
• Erhöht sich die Bedeutsamkeit, im Quiz gut abzuschneiden?• Verbessert sich die Vorbereitung auf das Quiz?• Steigert Benotung die aktuelle Angst vor dem Quiz ?
Kognitive Leistung
12.5.2011 Bernhard Jacobs 5
Hypothesen
Höhere Bedeutsamkeitguter Leistungen
Intensivere Vorbereitungauf das Quiz
höhere Testmotivation
Quizbenotung
Lehrstofferlernbar
HöhereQuizleistung
Stabilität derLeistung ?
mehr aktuelleAngst vor Quiz
12.5.2011 Bernhard Jacobs 6
Untersuchungseinheiten
2 SeminareDiagnostik Grundlagen
2 SeminareDiagnostik Aufgaben
Quiz 2a : Skalen, Stichproben…………Quiz 5: Aufgabenanalyse
Quiz 2b: Aufgaben und Feedback
Dozent: für alle 4 Seminare gleich [Verfasser]Unterrichtsmethode: Lehrervortrag mit Powerpoint Lerngrundlage: Seminarsitzung, verfügbare Powerpoint-Folie
4 Proseminare Pädagogische Diagnostik des WS 2008/2009
Quiz 1 für alle: Aufgabentypen und Aufgabenformen
12.5.2011 Bernhard Jacobs 7
Unabhängige Variable
Für alle Bedingungen gilt:
• Quiztermin angekündigt und lange bekannt • Quizteilnahme: verpflichtend • Quizfunktion: Überprüfung zuvor präsentierten Lehrstoffs; Vorbereitung ca. 7 Tage. • Quizlehrziele: sehr transparent, überwiegend Verständnis und Anwendung • Umfang der Quizlehrziele ca. 1 bis 2 Seminarsitzungen
EG benotet
KG unbenotet
Quizgewichtung für Seminarnote
25-33 % 0 %
Prüfungsform streng kontrolliert im Seminaronline zu Hause; ohne externe Kontrolle,
Aufgabenbearbeitungfrei, Beantwortung aller Aufgaben wurde angeregt.
alle Aufgaben waren zwingend zu beantworten
Testzeit relativ großzügig bemessen beliebig lange
FeedbackKCR after test im Seminar % korrekter Antworten nach einigen Wochen
KOR, KCR und EF after item; % korrekter Antworten unmittelbar nach Quiz
12.5.2011 Bernhard Jacobs 8
Abhängige Variable
Leistung im Quiz:
Welchen Einfluss hat die Benotung auf das Quizergebnis ?
Leistung im Parallelretest nach einer Woche
Bleibt der erwartete Leistungsunterschied erhalten ?
Leistung in der unbenoteten Abschlussklausur/quiz
Ist ein Leistungsunterschied noch nach 4-8 Wochen feststellbar ?
Checkliste der Quiz Aufgabenformen: Quiz 1: Aufgabenformen : Aufgabenanzahl: 21 = .78 N=108 Quiz: Retest/Kriterium : Aufgabenanzahl: 22 = .76 N=114 Parallel-Retestreliabilität rtt = .64 N=103 Abschlussquiz Aufgabenformen : Aufgabenanzahl: 12 = .65 N=107
12.5.2011 Bernhard Jacobs 9
Aufgaben /Wissen, Verstehen, Anwenden
Beispiel für Short Answer Aufgabe [Aufgabenformen]
Wie hoch ist die Wahrscheinlichkeit, eine einfache MC-Aufgabe….
Aufgabe 3 [Quiz 1] mit 5 Antwortoptionen durch Zufall korrekt zu beantworten ?
Aufgabe 3 [Retestquiz] mit 4 Antwortoptionen durch Zufall korrekt zu beantworten ?
Aufgabe 3 [Abschlussquiz] mit 4 Distraktoren und einer korrekten Antwort durch Zufall korrekt zu beantworten ?
Aufgaben in Quizwiederholungen
50% identisch 50% parallel naher Transfer
Verschiedene Aufgabenformen, alle maschinell auswertbar
12.5.2011 Bernhard Jacobs 10
Beispiel Zuordnungsaufgabe /Skala
12.5.2011 Bernhard Jacobs 11
Untersuchungsvorgehen
1 2 3 4
Diagnostik Grundlagen Diagnostik Aufgaben
A AAAB BBB
R RRR
Versuchsplan 10.11.2008 17.11.2008 1.12.2008 9.2.2009 Quiz1 Parallel Quiz2 .... Abschlussquiz retest zu Quiz 1 und 2 zu Quiz 1 R Gruppe A: benotet unbenotet unbenotet unbenotet
R Gruppe B: unbenotet unbenotet benotet unbenotet
Seminar Seminar SeminarSeminar
12.5.2011 Bernhard Jacobs 12
Wirkung der Benotungsankündigung auf die Leistung im Quiz 1
Korrekte Lösungen [%] in Quiz 1 [Aufgabentypen]
M s
Quiz benotet: 80.1 7.5 Quiz unbenotet: 70.1 14.5
t(106): 4.4 p : 0.001 d : .87
12.5.2011 Bernhard Jacobs 13
Prozentsatz korrekter Lösungen im unbenoteten und unangekündigtenParallelretest Aufgabenformen: M s N t p d Quiz 1 benotet: 78.5 9.0 54 5.3 0.001 1.04 Quiz 1 unbenotet: 66.3 14.0 49
eine Woche nach dem Quiz
Abschlussklausur, unangekündigt und unbenotet: 8 Wochen später Vorteil für benotetes Quiz bleibt weitgehend erhalten. Effektstärke im mittleren Bereich
Zusammenfassung: Leistungsvorteile für benotetes Quiz in Effektstärke
im nach 1 nach 8 Quiz 1 Woche Wochen
.87 1.04 .53
Auswirkung der Benotung von Quiz 1 auf das Behalten
12.5.2011 Bernhard Jacobs 14
Replikation des Benotungseffektes bei Quiz 2
12.5.2011 Bernhard Jacobs 15
Replikation : Quiz 3 und 4
Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik
Quiz 3 Quiz4 Statistik Testgütekriterien AbschlussquizR Gruppe A: .... benotet unbenotet ... unbenotet R Gruppe B: .... unbenotet benotet ..... unbenotet
Ergebnisse im Quiz Ergebnisse im Abschlussquiz:
Quiz 3 Quiz 4
benotet 76.4 76.7 unbenotet 69.3 70.0
d .57* .25
d=.59 d=.99
12.5.2011 Bernhard Jacobs 16
Unbenotete Quiz besser als gar nichts ?
Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik
AbschlussquizR Gruppe A:... unbenotetes Quiz kein Quiz... unbenotet R Gruppe B:... kein Quiz unbenotetes Quiz unbenotet
Ergebnis: Bei einem Quiz bessere Ergebnisse, beim anderen Quiz kein Leistungsvorteil im Abschlussquiz
Kritik: Zu wenige Items im Kriteriumstests [Abschlussquiz]
Bessere Überprüfung der Fragestellung siehe
Leistungssteigerung ohne Notendruck ? -Die Wirkung verpflichtender, unbenoteter Quiz auf die Studierleistung
12.5.2011 Bernhard Jacobs 17
Höhere Angst bei benotetem Quiz ?
Höhere Bedeutsamkeitguter Leistungen
Quizbenotungbewirkt
verstärkt
12.5.2011 Bernhard Jacobs 18
Höhere Bedeutsamkeit guter Leistungen ?
Es ist für mich sehr wichtig, in diesem Quiz gut abzuschneiden
Das Ergebnis im Quiz hat für mich keine besondere Bedeutung. (-)
"stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5).
Quiz benotet unbenotet Effektstärke M M d 2a 4.0 3.1 1.00 2b 4.4 3.0 2.18 3 4.3 3.3 1.154 4.1 2.8 1.85
Die benoteten Quiz erhöhten die Bedeutsamkeit guter Leistungenkonsistent in einem praktisch sehr bedeutsamen Ausmaß
Ergebnis
Fazit
Erhebung
12.5.2011 Bernhard Jacobs 19
Aktuelle Angst unmittelbar vor dem Quiz 1 und 2
d=.55d=.73
12.5.2011 Bernhard Jacobs 20
Angst unmittelbar vor dem Quiz 3 und 4 [Replikation]
10
15
20
25
30Gruppe A: erst benotet, dann unbenotetGruppe B: erst unbenotet, dann benotet
AktuellePrüfungsangst(SPA)
Quiz 3 Quiz4
d=1.03d=.69
12.5.2011 Bernhard Jacobs 21
Quizvorbereitung und Testmotivation
subjektiv eingeschätzte Quizvorbereitung
1.) Ich hatte mich vor dem Quiz wenig mit dem Thema Skalen und Stichproben befasst. (-) 4.) Ich hatte die Folien des Seminars zu Skalen und Stichproben durchgearbeitet.6.) Ich hatte mich auf die Themen und Inhalte des Quiz gut vorbereitet.
Zeit für Quizvorbereitung
16.) Ich schätze die für das Quiz investierte Vorbereitungszeit auf ? Minuten.
InvestierteAnstrengungsbereitschaft[Testmotivation]
2.) Ich habe alle meine Kräfte eingesetzt, um das Quiz aufmerksam zu bearbeiten.5.) Ich habe das Quiz voll konzentriert mit höchster Anstrengung bearbeitet. 7.) Ich sah keine Veranlassung, mich im Quiz ganz besonders anzustrengen. (-)
Höhere Bedeutsamkeitguter Leistungen
Intensivere Vorbe-reitung auf das Quiz
höhere Testmotivation
"stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5).
Quizbenotung
12.5.2011 Bernhard Jacobs 22
Quizvorbereitung und Testmotivation
benotet nicht Effekt- benotet stärke d
Quizvorbereitung 2a 4.1 3.0 1,32 2b 4.3 2.9 2.00 3 4.0 3.1 0.99 4 4.0 2.4 1.82
Zeit für Quizvorbereitung 2a 135.8 35.8 1.90 in Minuten 2b 74.8 24.2 1.31 3 78.8 28.4 1.33 4 95.7 24.2 1.60 Anstrengungsbereitschaft 1 4.6 3.8 1.13 2a 4.4 3.7 1.05 2b 4.5 3.8 1.24 3 4.6 3.7 1.27 4 4.3 3.7 0.70
Alle Ergebnisse stützen die Erwartungs-mal-Werttheorie deutlich und konsistent
12.5.2011 Bernhard Jacobs 23
Resumé
12.5.2011 Bernhard Jacobs 24
Resumé und einige Implikationen
• Noten bewirken bessere Leistungen als keine Noten: trivial ?nicht trivial:
Leistungsvorteil bleibt einige Zeit erhalten; kein rein oberflächliches Lernen.
• Leistungsvorteil erzielt durch bessere und mehr VorbereitungLernleistung=(realisierte Lernzeit / benötige Lernzeit) [Caroll]
• Mehr Leistung auch erkauft durch höhere Angst und Stress
• Systemimmanente Rationalität der Studierenden. „Lerne wegen der instrumentellen Folgen, Bleib locker, wenn nicht
prüfungsrelevant“
• Studienkonzeption zwingt zu nutzenorientiertem Studium, begünstigt extrinsische Haltung zur Arbeit und Leistung. Gute Vorbereitung für die „Erfolgsgesellschaft“
• Die bessere Leistung benoteter Quiz erzwingt keineswegs die verstärkte Anwendung benoteter Quiz. Denn aus dem Sein folgt bekanntlich nicht das Sollen.
• Benotete Quiz führen nicht zwingend zu besseren benoteten Abschlussklausuren, weil die Notenerwartung der Klausur die Vorbereitung auf die Abschlussklausur intensiviert.
• Auch unbenotete Quiz fördern die Leistung, wenn auch weniger stark und zuverlässig.