Einführung in die empirische Bildungsforschung Mo, 8.15 – 9.45 IPN Hörsaal Einführung:...

Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

Einführung in die empirische Bildungsforschung

Mo, 8.15 – 9.45IPN Hörsaal

Einführung: 14.4.2014

2Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

IPN

Olshausenstr. 62

Ansprechpartnerinnen: Frau Hellmann (880 5084) und Frau

Tiedje (880 3111)

Email: [email protected], [email protected],

[email protected]

Sprechstunde: n. V.

Adresse

mailto:[email protected]




Veranstaltungsplan

14.04.14 Überblick und Einführung; Forschungsmethoden in der empirischen Bifo

21.04.14 Ostern

28.04.14 Empirische Unterrichtsforschung und Rahmenmodelle zu Determinanten von Schulleistungen

05.05.14 What works? Die Synthese von John Hattie (2009)

12.05.14 Soziale und migrationsbedingte Disparitäten im Bildungssystem I

19.05.14 Soziale und migrationsbedingte Disparitäten im Bildungssystem II

26.05.14 Effekte der Schulform und der Zusammensetzung der Klasse auf schulisches Lernen und schulische Motivation

02.06.14 Was können Abiturienten? Befunde aus der TOSCA, LAU und LISA-Studie I


Veranstaltungsplan

09.06.14 Pfingsten

16.06.14 Was können Abiturienten? Befunde aus der TOSCA, LAU und LISA-Studie II

23.06.14 Basiskompetenzen von Erwachsenen: Die PIAAC-Studie I

30.06.14 Basiskompetenzen von Erwachsenen: Die PIAAC-Studie II

07.07.14 Kompetenzen von Lehrkräften: Ergebnisse aus der TEDS-Studie

14.07.14 Klausur


Literatur I

Baumert, J., Maaz, K. & Trautwein, U. (2009). Bildungsentscheidungen. Sonderheft der Zeitschrift für Erziehungswissenschaft.

Blömeke, Sigrid, Kaiser, Gabriele, Lehmann, Rainer (2010): TEDS-M 2008. Professionelle Kompetenz und Lerngelegenheiten angehender Primarstufenlehrkräfte im internationalen Vergleich. Münster: Waxmann.

Blömeke, Sigrid, Kaiser, Gabriele, Lehmann, Rainer (2010): TEDS-M 2008. Professionelle Kompetenz und Lerngelegenheiten angehender Mathematiklehrkräfte für die Sekundarstufe I im internationalen Vergleich. Münster: Waxmann.

Hattie, J. A. C. (2009). Visible learning. A synthesis of over 800 meta-analyses relating to achievement. Oxon: Routledge.

Helmke, A. (2009). Unterrichtsqualität und Lehrerprofessionalität. Seelze – Velber: Kallmeyer/Klett.


Literatur II

Köller, O. (Hrsg.) (2006). Themenschwerpunkt „Übergänge im Bildungswesen“. Zeitschrift für Erziehungswissenschaft, 9, 295 – 412.

Krapp, A. & Weidenmann, B. (2006). Pädagogische Psychologie. Weinheim: Beltz/PVU.

Meyer, H. (2004). Was ist guter Unterricht: Berlin: Cornelsen.

Rammstedt, B. (2013). Grundlegende Kompetenzen Erwachsener im internationalen Vergleich. Münster: Waxmann.

Reinders, H., Ditton, H., Gräsel, C. & Gniewosz, B. (2011). Empirische Bildungsforschung: Strukturen und Methoden. Wiesbaden: VS Verlag für Sozialwissenschaften.

Rost, D. H. (Hrsg.) (2006). Handwörterbuch Pädagogische Psychologie. Weinheim: Beltz/PVU.


Literatur III

Rost, D. H. (2005). Interpretation und Bewertung pädagogisch-psychologischer Studien.

Schneider, W. & Hasselhorn, M. (Hrsg.) (2008): Handbuch der Psychologie: Pädagogische Psychologie. Göttingen: Hogrefe.

Tippelt, R. & Schmidt, B. (2009). Handbuch Bildungsforschung (2. Auflage). Wiesbaden: VS Verlag für Sozialwissenschaften.

Wild, E. & Möller, J. (2009). Pädagogische Psychologie


Ergänzende Literatur

Thematisch passende Artikel aus den Zeitschriften:

• Zeitschrift für Erziehungswissenschaft

• Zeitschrift für Pädagogik

• Unterrichtswissenschaft

• Psychologie in Erziehung und Unterricht

• Zeitschrift für Pädagogische Psychologie

• Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie

• Journal of Educational Psychology

• American Educational Research Journal

• Learning and Instruction


Einordnung der Empirischen Bifo

Erziehungswissenschaft

Allgemeine EW Historische EW Vergleichende EWEmpirische EW/Bifo

Bildung und Erziehung als gemeinsamer Forschungsgegenstand

Bildung ist das Ziel, Erziehung der Weg dorthin!


Die Pädagogische Situation als Zugang zur empirischen Bifo

die lernendePerson

pädagogisch-arrangierte Umwelt

natürliche Umwelt

Med

ien

Erzie

hen

de/L

eh

ren

de

Quelle. Krapp & Weidenmann (2006)


Forschungsmethoden in der empirischen Bifo

Warum benötigen wir Grundkenntnisse über Forschungsmethoden?

a) Um selbstständig wissenschaftliche Fachtexte lesen und verstehen zu können.

b) Um aktuelle Schulleistungsstudien wie IGLU oder PISA besser verstehen zu können.

c) Um eventuell einmal selbst kleinere Projekte durchführen zu können.


Literatur

Köller, O. (2008). Forschungsansätze in der Pädagogischen

Psychologie. In W. Schneider & M. Hasselhorn (Hrsg.),

Handbuch Pädagogische Psychologie (S. 697-711).

Göttingen: Hogrefe.


Forschungs-strategien

Quasi-Experimente

Experimente Korrelations-studien

Längsschnitt-studien

Handlungs- undPraktiker-forschung

QualitativeForschung


Was ist ein Experiment?

Ein Experiment ist ein planmäßig ausgelöster und wiederholbarer

Vorgang, bei dem beobachtet wird, in welcher Weise sich unter

Konstanthaltung anderer Bedingungen mindestens eine abhängige

Variable ändert, nachdem mindestens eine unabhängige Variable

geändert worden ist. Wesentliche Merkmale des Experiments sind

demnach:

1.) Planmäßigkeit

2.) Wiederholbarkeit und

3.) systematische Variation bzw. Konstanthaltung von Bedingungen.

Im Experiment lassen sich immer ein Zustand vorher, eine

Änderungsphase (Treatment) und ein Zustand nachher

unterscheiden.


Was ist ein Experiment? Unabhängige und abhängige Variable

In Experimenten manipuliert ein Versuchsleiter immer die unabhängige Variable (UV; z. B. Unterrichtsmethoden).

Personen werden per Zufall unterschiedlichen Versuchsbedingungen (Treatments) zugeordnet (Randomisierung).

Von Interesse ist dann, wie die unterschiedlichen Ausprägungen der UV auf die abhängige Variable (AV; z.B. Lernerfolg) wirken.

Merke:Das Experiment ist die einzige Methode, um Bedingungs-zusammenhänge oder gar Kausaleinflüsse nachzuweisen.


Ein Beispiel: Die Studie von Krause, Stark & Mandl (2004)

Krause et al. (2004) untersuchten Bedingungen des Wissenserwerbs im

Bereich empirischer Forschungsmethoden. Dabei interessierte der

Einfluss der Sozialform (individuell vs. kooperativ in der Dyade) und

einer Feedbackmaßnahme (vorhanden vs. nicht vorhanden) beim

Lernen in einer Computer-basierten Lernumgebung. Es handelte sich

hierbei um ein zweifaktorielles Design mit zwei UVs. Beide UVs

hatten je zwei Ausprägungen. Die Feedbackmaßnahme bestand aus

Verständnistests mit elaboriertem Feedback. Die zentralen AVs

waren (a) die Leistung in einem Lernerfolgstest und (b) die

Lernzeit. N = 137 Studierende wurden auf die vier Bedingungen

aufgeteilt.


Lernerfolg in Abhängigkeit von der Sozialform und der Feed-backmaßnahme in der Untersuchung von Krause et al.

Ein Beispiel: Die Studie von Krause, Stark & Mandl (2004)


Interne Validität von Experimenten

Die interne Validität eines Experiments ist dann hoch, wenn die Unterschiede in den Ausprägungen einer AV eindeutig auf die Variation der UV zurückzuführen sind und alter-native Erklärungen zum Zustandekommen der Ausprä-gungen der AV ausgeschlossen werden können.

Durch Randomisierung und Kontrolle von Störvariablen wird die interne Validität erhöht.

Eine annähernd perfekte Kontrolle von Störvariablen gelingt immer dann, wenn durch die Untersuchungsdurchführung in einem Labor/Versuchsraum hoch standardisierte Versuchsbedingungen realisiert werden.


Faktoren, welche die interne Validität senken (Rost, 2005)

Zwischenzeitliches Geschehen: parallel zur Änderungsphase (zum Treatment) werden Faktoren wirksam, die außerhalb des experimentellen Geschehens liegen. Effekte unterschiedlicher Instruktionsvarianten können z. B. dadurch gestört werden, dass Schülerinnen und Schüler aus einzelnen experimentellen Bedingungen am Nachmittag Nachhilfe erhalten.

Reifungs- und Entwicklungseffekte: insbesondere in Experimenten mit jüngeren Schülerinnen und Schülern, bei denen sich entwicklungsbedingt Veränderungen einstellen, die einen Einfluss auf die abhängige Variable haben können


Faktoren, welche die interne Validität senken (Rost, 2005)

Testungseffekte: treten in experimentellen Studien mit Messwiederholung auf, in denen die AV mehrmals gemessen wird (beispielsweise vor und nach dem Treatment) und die Vortestung allein einen Effekt auf die spätere Messung, z. B. in Form von Übungseffekten, hat.

Instrumentierungseffekte: Instrumente messen in unterschiedlichen Populationen unterschiedliches.

Differenzielle Stichprobenmortalität: Vorstellbar ist in diesem Zusammenhang eine Trainingsstudie mit mehreren Messzeitpunkten, in der im Laufe der Zeit viele Probanden aus der Kontrollgruppe ausfallen, weil sie sich andernorts Trainingsmöglichkeiten verschaffen.


Das Problem der externen Validität von Experimenten

Laborbedingungen haben oft nichts mit den realen Bedingung im Feld zu tun

Kontrolle von Personvariablen lässt Generalisierung auf alle relevanten Personengruppen fraglich erscheinen.

Gelten die gefundenen Ursache-Wirkungs-Zusammenhänge auch in natürlichen Lernumwelten und bei anderen Personengruppen?


Faktoren, welche die externe Validität von Experimenten senken

Reaktivität: Untersuchungsteilnehmer haben Vermutungen über den Gegenstand der Untersuchung und wollen sich entsprechend verhalten.

Interaktionen (Wechselwirkungen) von Auswahlfaktoren und experimentellen Variablen: Ein Treatment wirkt nur in der ausgewählten Stichprobe. Ein Lesetraining steigert möglicherweise nur bei Mädchen, nicht aber bei Jungen die Lesekompetenz.

Konfundierung (Vermischung) von Effekten: Mehrere UVs wirken in einer Gruppe simultan auf die AV, man weiß aber nicht, welche der UVs den eigentlichen Effekt bewirkt hat.


Quasi-experimentelle Untersuchungen

Ausgangsproblem: Oftmals ist es unmöglich, in Experimenten Personen per Zufall unterschiedlichen Treatments zuzuweisen. Will man beispielsweise Unterrichtsmethode A mit Unterrichtsmethode B und C vergleichen, können kaum die Schüler einer Klasse per Zufall auf die drei Methoden verteilt werden, vielmehr wird oftmals Klasse 1 mit A unterrichtet, Klasse 2 mit B und Klasse 3 mit C.

Gefahren: - Die Klassen können sich bereits prä-experimentell hinsichtlich

der abhängigen Variablen unterscheiden (Entgegenwirken durch ein Vortest-Nachtest-Design).

- Die Klassen können sich hinsichtlich anderer Merkmale unterscheiden, welche die Wirksamkeit unterschiedlicher Treatments unterdrücken (Erhebung möglichst vieler zusätzlicher Störvariablen)


Weitere Fehlerquellen in Quasi-Experimenten (Cook & Campbell, 1979)

Diffusion oder Imitation des Treatments: In einer Kontrollgruppe, die „Wind vom Treatment bekommen hat“, wird dieses Treatment ebenfalls durchgeführt.

Kompensatorischer Ausgleich des Treatments: Die Kontrollgruppe wird durch das Lehrerkollegium besonders gefördert, damit sie nicht hinter die Treatment-Gruppe zurück fällt.

Kompensatorische Anstrengung der Probanden in der Kontrollgruppe: Schüler der Kontrollgruppe sind verärgert, dass sie vom Treatment ausgeschlossen wurden. Als Trotzreaktion strengen sie sich in den Tests, die den Erfolg des Treatments erfassen sollen, besonders an, so dass die Effekte des Treatments nicht sichtbar werden.

Negative Reaktion von Probanden: Als Folge des Ausschlusses vom Treatment strengen sich Schüler der Kontrollgruppe überhaupt nicht an.


Beispiel für eine quasi-exp. Studie(Krug & Lucybyl, 1999)

Die beiden Autoren untersuchten die Rolle der Bezugsnormorientierung von Lehrkräften auf die Unterrichtswahrnehmung, Lernbereitschaft und Leistung von Schülerinnen und Schülern in beruflichen Vollzeitschulen. Berücksichtigt wurden zwei intakte Klassen (21 und 23 angehende Arzthelferinnen) einer Berufsschule im Fach Sozialkunde. Die Schülerinnen hatten alle das gleiche Ausbildungsniveau und wurden von derselben zuvor unbekannten Lehrkraft unterrichtet, so dass die Lerninhalte und die Lehrperson konstant werden konnten. Bei ihren Rückmeldungen verwendete die Lehrkraft über einen Zeitraum von sechs Wochen in der einen Klasse eine individuelle, in der anderen Klasse eine soziale Bezugsnormorientierung. Bei ersterer stand der Lernfortschritt des Individuums im Zentrum der Rückmeldung, bei letzterer der soziale Vergleich mit den Klassenkameraden. Gegenstand der Unterrichts-stunden waren Drogenmissbrauch, dessen gesundheitlichen Folgen und die Therapie von Drogenabhängigkeiten. Abhängige Variablen waren u. a. das Lehrer-Schüler-Verhältnis in der Klasse, die Mitarbeit, die Unterrichtsgüte sowie der Lernerfolg. Alle Maße wurde jede Woche erhoben. Die Ergebnisse zeigten cum grano salis für alle AVs günstigere Verläufe bei individueller Bezugsnormorientierung.


Nicht-experimentelle Forschung:Korrelationsstudien

Exkurs: Korrelationskoeffizient

Der Korrelationskoeffizient r drückt die Stärke des linearen Zusammenhangs zwischen zwei Maßen ab.

Er kann theoretisch zwischen –1 und +1 schwanken.

Bei einem Zusammenhang von r = +1 lässt sich das eine Maß exakt durch das andere vorhersagen, und zwar in dem Sinne, je höher die Werte in Maß A, desto höher auch die Werte in Maß B.

Ein Koeffizient von r = -1 beschreibt ebenfalls einen perfekten linearen Zusammenhang, allerdings gehen jetzt mit kleineren Werten auf A größere auf B einher.

Bei einem Zusammenhang von r = 0 sind beide Maße voneinander linear unabhängig.


Nicht-experimentelle Forschung:Korrelationsstudien

Man erhebt in einer Stichprobe von Schülerinnen und

Schülern mit den entsprechenden Verfahren zwei oder mehr

Variablen, z. B. Prüfungsangst und Kompetenzen in

Mathematik.

Anschließend wird als Zusammenhangsmaß der Korrelations-

koeffizient bestimmt.

Ursache-Wirkung-Relationen lassen sich anhand dieses

Vorgehens nicht festmachen, d.h. die Korrelation kann

dadurch zustande gekommen sein, dass ängstliche Schüler

in Leistungssituationen gehemmt sind, aber auch dadurch,

dass leistungsschwache Schüler aufgrund ihrer Misserfolge

prüfungsängstlicher werden.

Beispiel:


Nicht-experimentelle Forschung:Probleme von Korrelationsstudien

Korrelationen sind grundsätzlich mehrdeutig.

Offen bleibt, ob Merkmal A Merkmal B beeinflusst, der

Wirkmechanismus genau umgekehrt ist oder gar eine

wechselseitige Beziehung besteht.

Auch ist denkbar, dass die Korrelation zwischen A und B nur

deshalb zustande kommt, weil beide durch ein drittes

Merkmal C beeinflusst werden.


Nicht-experimentelle Forschung:Probleme von Korrelationsstudien

Beispiel: Positive Korrelation zwischen Interesse an der Mathematik und Leistungen in der Mathematik

Interesse Leistung

Modell 1

Interesse Leistung

Modell 2

Interesse Leistung

Modell 3

Interesse Leistung

Modell 4

FamiliäreFörderung

Beispiel für eine Korrelationsstudie:Baumert & Schümer (2002)

Die beiden Autoren haben auf der Basis der Daten aus PISA

2000 (Deutsches PISA-Konsortium, 2001, 2002) den

Zusammenhang zwischen sozialer Herkunft und der

Lesekompetenz untersucht. In der nationalen Erweiterung von

PISA wurden im Schuljahr 1999/2000 rund 46.000

Schülerinnen und Schüler am Ende der Sekundarstufe I

untersucht. Baumert und Schümer analysierten, wie stark der

Zusammenhang zwischen sozialer Herkunft und

Lesekompetenz in den verschiedenen Bundesländern ist, und

wie die Stärke des Zusammenhangs im internationalen

Vergleich zu bewerten ist.

Beispiel für eine Korrelationsstudie:Baumert & Schümer (2002)

Veränderung der Lesekompetenz (Testwerte) bei Veränderung dessozioökonomischen Status um eine Standardabweichung

Schüler in GroßstädtenBremen

Finnland

ThüringenSachsen-Anhalt

Vereinigtes KönigreichSchweiz

Mecklenburg-VorpommernBaden-Württemberg

BayernRheinland-Pfalz

SaarlandSchleswig-Holstein

NiedersachsenHessen

Nordrhein-Westfalen

SachsenVereinigte Staaten

BrandenburgFrankreichSchweden

0 10 20 30 40 50 60



Finnland


Vereinigtes KönigreichSchwei



Finnland


Vereinigtes KönigreichSchweiz




NiedersachsenHessen

Nordrhein-Westfalen



0 10 20 30 40 50 60

z




NiedersachsenHessen

Nordrhein-Westfalen



0 10 20 30 40 50 60

Stärke des Zusam-menhangs zwischensozialer Herkunft und Lesekompetenznach Ländern der Bundesrepublik und ausgewählten OECD-Staaten


Querschnittstudie

Korrelationsstudie, bei der einmalig Daten in unterschiedlichen Alters- oder Jahrgangsstufen erhoben werden

Problem: Konfundierung von Alters- und Kohorteneffekten


Nicht-experimentelle ForschungLängsschnittstudien

• Um eine Längsschnittstudie handelt es sich, wenn die gleichen Personen einer Stichprobe in Zeitabständen mehrmals untersucht werden.

• Längsschnittstudien sind immer dann nötig, wenn es Untersuchern um langfristige Einflüsse oder Veränderungen geht.

• Kausalitätsschlüsse werden durch die zeitliche Vor- und Nachgeordnetheit der untersuchten Variablen möglich.

• Mit Längsschnittstudien lässt sich beispielsweise die Frage beantworten, ob Merkmal A Merkmal B beeinflusst, ob der Einfluss umgekehrt ist oder gar reziprok.

• Längsschnittstudien stellen ohne Frage den Königsweg dar, wenn es um die Beschreibung von Entwicklungsprozessen (beispielsweise der Schulleistungen im Fremdsprachenunterricht) geht.


Längsschnittstudien

Versetztes Mehrkohorten-Längsschnittdesign zur Feststellung von Alterseffekten (aus Bortz & Döring, 2002, S. 565)

19801970196019501940

20 Jahre10 Jahre1960

30 Jahre20 Jahre10 Jahre1950

40 Jahre30 Jahre20 Jahre10 Jahre1940

50 Jahre40 Jahre30 Jahre20 Jahre10 Jahre1930


19801970196019501940

20 Jahre10 Jahre1960

30 Jahre20 Jahre10 Jahre1950

40 Jahre30 Jahre20 Jahre10 Jahre1940



Geb

urts

koho

rte

Epoche (Erhebungszeitpunkt)

Zeit-wandel

Längs-schnitt

Querschnitt


Probleme von Längsschnittstudien

• Ausfälle von Untersuchungsteilnehmern (Panelmortalität)

• Vergleichbarkeit der Messinstrumente über die Zeit

• Übungseffekte

• Einflüsse durch (nicht erhobene Drittvariablen)

• Die Berücksichtigung von Kontrollgruppen ist in der Regel

unmöglich.

• Aufwand


Cross-lagged Panel Designs zur Überprüfung von Kausalitätsannahmen in Längsschnittstudien (Campbell, 1963)

• Grundidee: Durch die zeitliche Vor- und Nachgeordnetheit der

Merkmale lassen sich Zusammenhänge (Korrelationen) kausal

interpretieren.

• Testet man z. B. zu Beginn eines Schuljahres das

mathematische Interesse von Schülern und am Ende des

Schuljahres deren Mathematikleistung, so kann die gefundene

Korrelation zwischen Interesse und Leistung nicht dahingehend

interpretiert werden, dass die Leistung am Ende des

Schuljahres das Interesse zu Beginn des Schuljahres beeinfluss

hat.

• Die umgekehrte Interpretation ist hingegen plausibel.


Die Autoren dieser Arbeit untersuchten auf der Basis einer Mehr-

Kohorten-Längsschittuntersuchung an über 600 Gymnasiasten

das Ursachen-Wirkungs-Gefüge zwischen mathematischem

Interesse und mathematischen Schulleistungen. Drei

Messzeitpunkte (Ende der 7., Ende der 10. und Ende der 12.

Jahrgangsstufe) wurden berücksichtigt. Zum Einsatz kamen

standardisierten Schulleistungstests für das Fach Mathematik und

eine kurze Skala zur Erfassung des mathematischen Interesses.

Beispiel für ein Cross-lagged Panel Design: Köller, Baumert & Schnabel (2000)


Leistung in Klasse 7

Leistung inKlasse 10

Leistung inKlasse 12

Interesse inKlasse 12

Interesse inKlasse 10

Interesse inKlasse 7 .67.43

.21

.12 (ns)

.46 .44

.23

.31

.05 (ns)

Beispiel für ein Cross-lagged Panel Design: Köller, Baumert & Schnabel (2000)


Vielen Dank für Ihre Aufmerksamkeit!

Kontakt: [email protected]

Einführung in die empirische Bildungsforschung Mo, 8.15 – 9.45 IPN Hörsaal Einführung:...

Documents

Transcript of Einführung in die empirische Bildungsforschung Mo, 8.15 – 9.45 IPN Hörsaal Einführung:...