Konzeption und Evaluation beispielbasierter Lernumgebungen 1 Konzeption und Evaluation...

Konzeption und Evaluation beispielbasierter Lernumgebungen1

Konzeption und Evaluation beispielbasierter Lernumgebungen im

Bereich empirischer Forschungsmethoden: empirische

Studien

Robin Stark

Vortrag im Medienlabor TU-Dresden

17.12.2001


Anwendungsbezogener Rahmen

Allgemein: Probleme der Wissensanwendung und des Transfers in verschiedenen Domänen

Spezifisch: Wissensanwendung im Bereich empirischer Forschungsmethoden in den Sozialwissenschaften

Wissenslücken, gravierende Verständnisprobleme, Fehlkonzepte, "Wissenskompartmentalisierungen"


Ursachenanalyse

Ungünstige kognitive, motivationale und emotionale Lernvoraussetzungen und Einstellungen

Problematisches Lernverhalten

Sehr ungünstige instruktionale Rahmenbedingungen

Reform der Methodenausbildung


Reform der Methodenausbildung

“Entmathematisierung“ der Methodenvorlesung, konsequente Problemorientierung

Konzeption und Implementation der virtuellen Lernumgebung NetBite, in der Prinzipien beispielbasierten Lernens systematisch umgesetzt werden

Instruktionales Ziel: Förderung des Erwerbs

anwendbaren Wissens


Methodologie

Anwendung eines integrativen Forschungsparadigmas

Ziele, Ausgangspunkt, Grundprinzip und weitere Prinzipien

• Ziele auf einer instruktionalen und einer methodologischen Ebene: Wissensgenerierung und Problemlösung in der Praxis Reduktion der Kluft zwischen Theorie und Praxis

• Ausgangspunkt: relevante Probleme der (außerwissenschaftlichen) Praxis ( starke Orientierung an "echten" Domänen)

• Grundprinzip: explizit anwendungsbezogene Generierung wissenschaftlichen Wissens

• Weitere Prinzipien: sukzessive Optimierung, Replikation und

Evaluation in der Praxis


Methodologie

Implikationen auf methodologischer, theoretischer, methodischer und praktisch-organisatorischer Ebene

• Systematische Kombination von experimenteller Laborforschung mit expliziter Praxisorientierung und Feldforschung ( problemorientierte Balance zwischen interner und externen Validität)

• Problemorientierte Theorienauswahl, -anwendung und – konstruktion ( Theorienpluralismus)

• Problemorientierte Kombination von quantitativen und qualitativen Methoden ( liberalisiertes Methodenverständnis)

• Kooperation von Experten aus Wissenschaft und Praxis ( Interdisziplinarität)


Theorie

Kognitive Ansätze

Lernen mit Lösungsbeispielen (Chi; Reimann; Renkl; Sweller; Van Merrienboër)

Analoges Problemlösen, Schematheorie (Gick;

Holyoak; Bassok) Cognitive Load-Theorie (Gruber; Renkl; Sweller; Van

Merrienboër; Paas)


Theorie

Ansätze zum situierten bzw. problemorientierten Lernen

Anocherd Instruction (Bransford)

Cognitive Apprenticeship (Collins)

Random Access Instruction (Spiro)

Problemorientiertes Lernen (Mandl)


Theorie

Ansätze zu Motivation, Emotion und Einstellungen Intrinsische und extrinsische Motivation (Deci & Ryan) Interessetheorie (Krapp, U. Schiefele) Selbstwirksamkeit (Bandura) Selbstkonzept (Shavelson) Ängstlichkeit (Pekrun) Ungewissheitstoleranz (Dalbert) Einstellungen gegenüber Statistik/empirische

Forschungsmethoden (Gruber; Stark)


Empirie

Experimentelle Studien und Feldstudien zum Lernen mit ausgearbeiteten Lösungsbeispielen im Bereich der Ökonomie (Zinrechnung, Buchführung)

Experimentelle Studien zum Lernen mit (unvollständigen) Lösungsbeispielen im Bereich der Wahrscheinlichkeitsrechnung


Empirie

Befunde zum Einfluss:

multipler Lösungsbeispiele.... einer Anleitung zur Beispielelaboration.... einer systematischen Kombination von Problemlöseaufgaben

und Lösungsbeispielen.... unvollständiger Lösungsbeispiele.... multipler Perspektiven.... instruktionaler Erklärungen....

auf Qualität der Beispielelaboration und Lernerfolg auf motivationale Aspekte


Empirie

Befunde zum Zusammenhang zwischen: kognitiven, motivationalen und emotionalen

Eingangsvoraussetzungen....

und Qualität der Beispielelaboration und Lernerfolg

Befunde zu Bedingungen und Effekten von kognitiver Belastung


Konzeption der netzbasierten Lernumgebung NetBite

Grundprinzip: problemorientiertes Lernen mit ausgearbeiteten Lösungsbeispielen

Authentisches Ausgangsproblem



Systematische, detaillierte Veranschaulichung des Prozesses empirischer Forschung

Problemorientierte Darstellung der Vorlesungsinhalte

Integration von abrufbaren Erklärungen (definitorische und vertiefende Erklärungen)



Unvollständige Lösungsschritte (Lücken), die von den Lernenden schriftlich ergänzt werden müssen

Unmittelbares Feedback in Form von Musterlösungen


Feldstudie 1: Effektivität der Feedback-Unterstützung/Effektivität der gesamten

Lernumgebung

Implementation spezieller Leitfragen zur Vertiefung und Systematisierung des Vergleichs von eigener Lösung und Musterlösung

Einfluss auf Lernerfolg? Einfluss auf kognitive Überlastung? Einfluss auf Lernzeit?

Problem: Oberflächliche Verarbeitung von Feedback-Information


Feldstudie 1

Design EG: Vorlesungsbegleitendes individuelles Lernen mit

NetBite, 12 Wochen

Randomisierung EG1: ohne Leitfragen (n=25) EG2: mit Leitfragen (n=25) KG: nur Vorlesungsbesuch, kein Zugang zu NetBite

(n=30)


Feldstudie 1

Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit

Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären

Klausur) Reguläre Klausur "Weiche“ Daten: Interviews, NetBite-Foren


Lernerfolg

EG1 (ohne Leitfragen)

M (SD)

EG2 (mit Leitfragen)

M (SD)

KG

M (SD)

Übungsklausur 53.17 (10.90) 50.06 (9.13) 33.83 (16.56)

Durchfallquote 10% 12.5% 73%

Reguläre Klausur

52.71 (8.99) 53.20 (5.29) 48.57 (9.26)

Durchfallquote 5.9% 0% 7.9%

Übungsklausur: KG<EG1/EG2

Reguläre Klausur: KG<EG1/EG2


Subjektive kognitive Überlastung

EG1 (ohne Leitfragen)

M (SD)


M (SD)

p

subjektive Überlastung

(Beispiel 1)

3.11 (1.00) 2.97 (1.03) >.10


(Beispiel 2)

3.32 (1.20) 3.03 (0.77) >.10


Lernzeit (in Minuten)

0

50

100

150

200

250

300

350

400

450

500

Gesamte Bearbeitungszeit reiner Beispieltext; Lösungsbeispiel 1 reiner Beispieltext; Lösungsbeispiel 2

EG 1 (ohne Leitfragen)



Feldstudie 2: Effektivität thematischer und zeitlichen Vorstrukturierung/Effektivität

der gesamten Lernumgebung Design EG: Vorlesungsbegleitendes individuelles Lernen mit

NetBite, 12 Wochen

Randomisierung EG1: ohne Vorstrukturierung EG2: Strukturierungsvorschläge EG3: strikte Vorstrukturierung KG: nur Vorlesungsbesuch, kein Zugang zu NetBite


Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen

Während der Lernphase Subjektive kognitive Überlastung Lernzeit Qualität der Ergänzungen, Fehler

Nach der Lernphase Problemorientierte Übungsklausur (Simulation der regulären

Klausur) Reguläre Klausur Akzeptanz der Lernmethode Subjektiver Lernerfolg

Feldstudie 2


Lernerfolg

EG1 (strikte Vortstrukt.)

M (SD)

EG2 (Struktur-vorschlag)

M (SD)

EG 3 (ohne Vorstrukt.)

M (SD)

KG

M (SD)

Übungsklausur 39.58 (15.24) 50.10 (12.44) 49.00 (12.40) 38.04 (16.91)

Durchfallquote 63% 30% 15% 61%

Reguläre Klausur

55.13 (6.51) 54.07 (6.77) 56.41 (4.71) 49.85 (9.11)

Durchfallquote 0% 3% 0% 7..3%

Übungsklausur: KG<EG1/EG2/EG3; EG1<EG2; EG1<EG3 Reguläre Klausur: KG<EG1/EG2/EG3


Subjektive kognitive Überlastung

EG1 (strikte Vortstrukt.)

M (SD)

EG2 (Struktur-vorschlag)

M (SD)

EG 3 (ohne Vorstrukt.)

M (SD)


(Beispiel 1)

3.28 (0.66) 3.31 (0.92) 2.82 (0.73)


(Beispiel 2)

3.02 (0.80) 2.83 (0.85) 2.63 (0.62)

Beispiel 1: EG3<EG1; EG3<EG2

Beispiel 2: EG3<EG1


Lernzeit

Lösungsbeispiel 1 Range zwischen 32 und 1600 Minuten, Median 250 Minuten,

Mittelwert 314 Minuten, Standardabweichung 240 MinutenPost hoc: keine Gruppenunterschiede

Lösungsbeispiel 2 Range zwischen 45 und 1284 Minuten, Median 200 Minuten,

Mittelwert 261 Minuten, Standardabweichung 215 MinutenPost hoc: keine Gruppenunterschiede

Bearbeitungstage Range zwischen 4 und 16 Tagen

Median 8 Tage, Mittelwert 8 Tage, Standardabweichung 3 TagePost hoc: EG3<EG2/EG1


Lernverhalten

Qualität der Lückenbearbeitung (post hoc): keine Gruppenunterschiede

Fehler bei der Lückenbearbeitung (post hoc):

EG2>EG1/EG3


Motivationale Effekte

Akzeptanz der Lernumgebung Akzeptanz einzelner Komponenten (Erklärungen,

Lücken, Fragen)

Post hoc: keine Gruppenunterschiede

Subjektiver Lernerfolg (post hoc): EG1<EG2/EG3


Experimentelle Laborstudie 1: Effektivität von Lücken im Beispieltext und von

Verständnisfragen

Design

Faktor 2

Keine Verständnisfragen

Verständnisfragen

Faktor 1 Keine Lücken

n = 15 n = 15

Lücken n = 15 n = 15


Experimentelle Laborstudie

Lernumgebung Modifiziertes erstes NetBite-Lösungsbeispiel

Lernzeit Maximum 240 Minuten


Experimentelle Laborstudie

Vorab Kognitive, motivationale und emotionale Lernvoraussetzungen,

Einstellungen Während der Lernphase Subjektive kognitive Überlastung Lernzeit

Nach der Lernphase Problemorientierter Nachtest Erfassung des Lernfortschritts (Vorher-Nachher-Vergleich) Subjektiver Lernerfolg Akzeptanz der Lernmethode


Lernerfolg

Theoretisches Maximum: 14 Punkte Vortest: 7.4 Punkte (SD = 3.2) Nachtest: 10.9 Punkte (SD = 1.9)

Vortest < Nachtest

Vorher-Nachher-Vergleich über alle Gruppen hinweg


Lernerfolg

Gruppenvergleiche

Lernerfolg: theoretisches Maximum: 45 Punkte Lernerfolg

M (SD)

Lernzeit(in Minuten)

M (SD)

kogn. Überlastung

M (SD)

Ohne Lücken/ ohne Fragen

24.5 (7.4) 97.7 (35.7) 3.6 (1.0)

Mit Lücken/ ohne Fragen

23.4 (8.0) 130.3 (41.6) 3.4 (0.7)

Ohne Lücken/ mit Fragen

24.6 (6.9) 117.9 (30.7) 3.4 (0.8)

Mit Lücken/ mit Fragen

26.6 (9.1) 136.8 (35.6) 3.3 (0.8)

Lernzeit: Lücken > ohne Lücken


Motivationale Effekte

Subjektiver LernerfolgM (SD)

Akzeptanz M (SD)

Ohne Lücken/ ohne Fragen

4.3 (0.5) 4.5 (0.5)

Mit Lücken/ ohne Fragen

4.3 (0.6) 4.7 (0.6)

Ohne Lücken/ mit Fragen

4.2 (0.5) 4.7 (0.5)

Mit Lücken/ mit Fragen

4.2 (0.5) 4.5 (0.8)


Clusteranalytische Befunde

methodenspezifisches Vorwissen Semesterzahl intrinsische Motivation methodenspezifisches Selbstkonzept methodenbezogene Angst negative Einstellungen gegenüber empirischen

Forschungsmethoden

Identifikation homogener Untergruppen in Abhängigkeit von verschiedenen Eingangsvoraussetzungen:



Profil 1: eher Anfangssemester mit eher wenig Vorwissen, die anderen Merkmale liegen im Durchschnitt der Gesamtgruppe (kurz: die "Unauffälligen").

Profil 2: höhere Semester mit wenig Vorwissen und viel Computererfahrung, leicht intrinsisch motiviert, eher positives Selbstkonzept, wenig Angst und kaum negative Einstellungen (kurz: die "Vorwissensschwachen").



Profil 3: eher Anfangssemester mit weniger Vorwissen und kaum Computererfahrung, sehr wenig intrinsische Motivation, negatives Selbstkonzept, viel Angst und stark negative Einstellungen (kurz: die "Unmotivierten").

Profil 4: etwas höhere Semesterzahl, viel Vorwissen, hohe intrinsische Motivation, positives Selbstkonzept, wenig Angst, keine negative Einstellungen (kurz: die "Musterschüler").


Homogene Untergruppen (z-standardisiert)

-1,5

-1

-0,5

0

0,5

1

1,5

Semester Vorw issen Erfahrung mitComputern

IntrinsischeMotivation

Selbstkonzept Methodenangst negativeEinstellungen

Profil 1

Profil 2

Profil 3

Profil 4



Post hoc-Vergleiche Lernzeit: Musterschüler, Unmotivierte > Unauffällige,

Vorwissensschwache Kognitive Überlastung: Unmotivierte < Musterschüler,

Unauffällige, Vorwissensschwache Aktuelle Selbstwirksamkeit:

Unmotivierte < Musterschüler, Unauffällige, Vorwissensschwache

Aktuelle intrinsische Motivation: Unauffällige < Unmotivierte, Musterschüler, Vorwissensschwache



Lernerfolg: Musterschüler > Unmotivierte, Unauffällige, Vorwissensschwache

Subjektiver Lernerfolg: Musterschüler < Unmotivierte, Unauffällige, Vorwissensschwache

Akzeptanz der Lernmethode: Musterschüler <

Unmotivierte, Unauffällige, Vorwissensschwache


-1

-0,8

-0,6

-0,4

-0,2

0

0,2

0,4

0,6

0,8

1

Lernzeit kogn. Überlastung Selbstw irksamkeit intrinsischeMotivation

Lernerfolg subjektiverLernerfolg

Akzeptanz

Profil 1

Profil 2

Profil 3

Profil 4

Lerngeschehen, Lernerfolg und Motivation (z-standardisiert)


Resümee

Mit einer vorlesungsbegleitenden netzbasierten Lernumgebung wird der Erwerb anwendbaren Wissens im Bereich empirischer Forschungsmethoden und Statistik gefördert

Problem: Nachweis von Effekten einzelner instruktionaler Maßnahmen in einer komplexen Lernumgebung


Resümee und Konsequenzen

Eine zusätzliche Maßnahme zur Unterstützung der Feedback-Verarbeitung hatte keine Effekte

Akzeptanzprobleme, Motivationsprobleme, mangelnde Kompetenz zum selbstgesteuerten Lernen



Ausmaß der Vorstrukturierung hatte nur geringen Einfluss auf Lernerfolg, Lernzeit, kognitive Überlastung, auf Lernverhalten und auf motivationale Aspekte

Strikte zeitliche Vorstrukturierung ist nicht zu empfehlen



Einfluss von Lücken und Verständnisfragen auf Lernerfolg, subjektiven Lernerfolg und Akzeptanz konnte auch im Labor nicht nachgewiesen werden

Bedeutung verschiedener Eingangsvoraussetzungen beim beispielbasierten Lernen im Bereich empirischer Forschungsmethoden konnte nachgewiesen werden Primat des methodenspezifischen Vorwissens mangelnde Korrespondenz von subjektivem und

"objektivem" Lernerfolg



Wichtig: Replikation der clusteranalytischen Befunde an einer größeren Stichprobe

Lerngeschehen sollte differenzierter erfasst werden (nachträgliches lautes Denken, Fragebogen, Interviews)

Follow-up-Messung des Lernerfolgs zu empfehlen, um längerfristige Effekte der Lernumgebung abbilden zu können

Für Lernende mit weniger günstigen Eingangsvoraussetzungen

ist das verwendete Lösungsbeispiel wahrscheinlich zu komplex



Dieses Problem wird durch zusätzliche instruktionale Maßnahmen nicht überwunden, u.U. sogar verschärft (unerwünschte "Nebenwirkungen")

Zusätzliche Strategie: Weniger ist mehr. Gezielter Einsatz fokussierter Lösungsbeispiele, z.B. zur Korrelationsrechnung

"Propädeutische" Lösungsbeispiele, stufenweise und optionale Anreicherung mit Komplexität

Vergrößerung der Adaptivität der Lernumgebung



Die bisherigen Befunde sprechen insgesamt dafür, das integrative Forschungsparadigma und die Implementation der beispielbasierten Lernumgebung weiter zu verfolgen

Konzeption und Evaluation beispielbasierter Lernumgebungen 1 Konzeption und Evaluation...

Documents

Transcript of Konzeption und Evaluation beispielbasierter Lernumgebungen 1 Konzeption und Evaluation...