Einführung in die empirische Bildungsforschung Mo, 8.15 – 9.45 IPN Hörsaal Einführung:...

Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

Einführung in die empirische Bildungsforschung

Mo, 8.15 – 9.45IPN Hörsaal

Einführung: 14.4.2014

2Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

IPNOlshausenstr. 62Ansprechpartnerinnen: Frau Hellmann (880 5084) und Frau Tiedje (880 3111)Email: [email protected], [email protected], [email protected]

Sprechstunde: n. V.

Adresse

mailto:[email protected]




Veranstaltungsplan14.04.14 Überblick und Einführung;

Forschungsmethoden in der empirischen Bifo 21.04.14 Ostern28.04.14 Empirische Unterrichtsforschung und

Rahmenmodelle zu Determinanten von Schulleistungen

05.05.14 What works? Die Synthese von John Hattie (2009)

12.05.14 Soziale und migrationsbedingte Disparitäten im Bildungssystem I

19.05.14 Soziale und migrationsbedingte Disparitäten im Bildungssystem II

26.05.14 Effekte der Schulform und der Zusammensetzung der Klasse auf schulisches Lernen und schulische Motivation

02.06.14 Was können Abiturienten? Befunde aus der TOSCA, LAU und LISA-Studie I


Veranstaltungsplan

09.06.14 Pfingsten16.06.14 Was können Abiturienten? Befunde aus der

TOSCA, LAU und LISA-Studie II23.06.14 Basiskompetenzen von Erwachsenen: Die PIAAC-

Studie I30.06.14 Basiskompetenzen von Erwachsenen: Die PIAAC-

Studie II07.07.14 Kompetenzen von Lehrkräften: Ergebnisse aus

der TEDS-Studie14.07.14 Klausur


Literatur IBaumert, J., Maaz, K. & Trautwein, U. (2009).

Bildungsentscheidungen. Sonderheft der Zeitschrift für Erziehungswissenschaft.

Blömeke, Sigrid, Kaiser, Gabriele, Lehmann, Rainer (2010): TEDS-M 2008. Professionelle Kompetenz und Lerngelegenheiten angehender Primarstufenlehrkräfte im internationalen Vergleich. Münster: Waxmann.

Blömeke, Sigrid, Kaiser, Gabriele, Lehmann, Rainer (2010): TEDS-M 2008. Professionelle Kompetenz und Lerngelegenheiten angehender Mathematiklehrkräfte für die Sekundarstufe I im internationalen Vergleich. Münster: Waxmann.

Hattie, J. A. C. (2009). Visible learning. A synthesis of over 800 meta-analyses relating to achievement. Oxon: Routledge.

Helmke, A. (2009). Unterrichtsqualität und Lehrerprofessionalität. Seelze – Velber: Kallmeyer/Klett.


Literatur II

Köller, O. (Hrsg.) (2006). Themenschwerpunkt „Übergänge im Bildungswesen“. Zeitschrift für Erziehungswissenschaft, 9, 295 – 412.

Krapp, A. & Weidenmann, B. (2006). Pädagogische Psychologie. Weinheim: Beltz/PVU.

Meyer, H. (2004). Was ist guter Unterricht: Berlin: Cornelsen.Rammstedt, B. (2013). Grundlegende Kompetenzen

Erwachsener im internationalen Vergleich. Münster: Waxmann.

Reinders, H., Ditton, H., Gräsel, C. & Gniewosz, B. (2011). Empirische Bildungsforschung: Strukturen und Methoden. Wiesbaden: VS Verlag für Sozialwissenschaften.

Rost, D. H. (Hrsg.) (2006). Handwörterbuch Pädagogische Psychologie. Weinheim: Beltz/PVU.


Literatur III

Rost, D. H. (2005). Interpretation und Bewertung pädagogisch-psychologischer Studien.

Schneider, W. & Hasselhorn, M. (Hrsg.) (2008): Handbuch der Psychologie: Pädagogische Psychologie. Göttingen: Hogrefe.

Tippelt, R. & Schmidt, B. (2009). Handbuch Bildungsforschung (2. Auflage). Wiesbaden: VS Verlag für Sozialwissenschaften.

Wild, E. & Möller, J. (2009). Pädagogische Psychologie


Ergänzende LiteraturThematisch passende Artikel aus den Zeitschriften:• Zeitschrift für Erziehungswissenschaft• Zeitschrift für Pädagogik• Unterrichtswissenschaft• Psychologie in Erziehung und Unterricht• Zeitschrift für Pädagogische Psychologie• Zeitschrift für Entwicklungspsychologie und

Pädagogische Psychologie• Journal of Educational Psychology• American Educational Research Journal• Learning and Instruction


Einordnung der Empirischen BifoErziehungswissenschaft

Allgemeine EW Historische EW Vergleichende EWEmpirische EW/Bifo

Bildung und Erziehung als gemeinsamer Forschungsgegenstand

Bildung ist das Ziel, Erziehung der Weg dorthin!


Die Pädagogische Situation als Zugang zur empirischen Bifo

die lernendePerson

pädagogisch-arrangierte Umwelt

natürliche Umwelt

Med

ien

Erziehende/Lehrende

Quelle. Krapp & Weidenmann (2006)


Forschungsmethoden in der empirischen Bifo

Warum benötigen wir Grundkenntnisse über Forschungsmethoden?

a) Um selbstständig wissenschaftliche Fachtexte lesen und verstehen zu können.

b) Um aktuelle Schulleistungsstudien wie IGLU oder PISA besser verstehen zu können.

c) Um eventuell einmal selbst kleinere Projekte durchführen zu können.


Literatur

Köller, O. (2008). Forschungsansätze in der Pädagogischen Psychologie. In W. Schneider & M. Hasselhorn (Hrsg.), Handbuch Pädagogische Psychologie (S. 697-711). Göttingen: Hogrefe.


Forschungs-strategien

Quasi-Experimente

Experimente Korrelations-studien

Längsschnitt-studien

Handlungs- undPraktiker-forschung

QualitativeForschung


Was ist ein Experiment?

Ein Experiment ist ein planmäßig ausgelöster und wiederholbarer Vorgang, bei dem beobachtet wird, in welcher Weise sich unter Konstanthaltung anderer Bedingungen mindestens eine abhängigeVariable ändert, nachdem mindestens eine unabhängige Variablegeändert worden ist. Wesentliche Merkmale des Experiments sind demnach:1.) Planmäßigkeit2.) Wiederholbarkeit und3.) systematische Variation bzw. Konstanthaltung von Bedingungen.

Im Experiment lassen sich immer ein Zustand vorher, eine Änderungsphase (Treatment) und ein Zustand nachher unterscheiden.


Was ist ein Experiment? Unabhängige und abhängige Variable

In Experimenten manipuliert ein Versuchsleiter immer die unabhängige Variable (UV; z. B. Unterrichtsmethoden).

Personen werden per Zufall unterschiedlichen Versuchsbedingungen (Treatments) zugeordnet (Randomisierung).

Von Interesse ist dann, wie die unterschiedlichen Ausprägungen der UV auf die abhängige Variable (AV; z.B. Lernerfolg) wirken.

Merke:Das Experiment ist die einzige Methode, um Bedingungs-zusammenhänge oder gar Kausaleinflüsse nachzuweisen.


Ein Beispiel: Die Studie von Krause, Stark & Mandl (2004)

Krause et al. (2004) untersuchten Bedingungen des Wissenserwerbs im Bereich empirischer Forschungsmethoden. Dabei interessierte der Einfluss der Sozialform (individuell vs. kooperativ in der Dyade) und einer Feedbackmaßnahme (vorhanden vs. nicht vorhanden) beim Lernen in einer Computer-basierten Lernumgebung. Es handelte sich hierbei um ein zweifaktorielles Design mit zwei UVs. Beide UVs hatten je zwei Ausprägungen. Die Feedbackmaßnahme bestand aus Verständnistests mit elaboriertem Feedback. Die zentralen AVs waren (a) die Leistung in einem Lernerfolgstest und (b) die Lernzeit. N = 137 Studierende wurden auf die vier Bedingungen aufgeteilt.


Lernerfolg in Abhängigkeit von der Sozialform und der Feed-backmaßnahme in der Untersuchung von Krause et al.

Ein Beispiel: Die Studie von Krause, Stark & Mandl (2004)


Interne Validität von Experimenten

Die interne Validität eines Experiments ist dann hoch, wenn die Unterschiede in den Ausprägungen einer AV eindeutig auf die Variation der UV zurückzuführen sind und alter-native Erklärungen zum Zustandekommen der Ausprä-gungen der AV ausgeschlossen werden können.

Durch Randomisierung und Kontrolle von Störvariablen wird die interne Validität erhöht.

Eine annähernd perfekte Kontrolle von Störvariablen gelingt immer dann, wenn durch die Untersuchungsdurchführung in einem Labor/Versuchsraum hoch standardisierte Versuchsbedingungen realisiert werden.


Faktoren, welche die interne Validität senken (Rost, 2005)

Zwischenzeitliches Geschehen: parallel zur Änderungsphase (zum Treatment) werden Faktoren wirksam, die außerhalb des experimentellen Geschehens liegen. Effekte unterschiedlicher Instruktionsvarianten können z. B. dadurch gestört werden, dass Schülerinnen und Schüler aus einzelnen experimentellen Bedingungen am Nachmittag Nachhilfe erhalten.

Reifungs- und Entwicklungseffekte: insbesondere in Experimenten mit jüngeren Schülerinnen und Schülern, bei denen sich entwicklungsbedingt Veränderungen einstellen, die einen Einfluss auf die abhängige Variable haben können


Faktoren, welche die interne Validität senken (Rost, 2005)

Testungseffekte: treten in experimentellen Studien mit Messwiederholung auf, in denen die AV mehrmals gemessen wird (beispielsweise vor und nach dem Treatment) und die Vortestung allein einen Effekt auf die spätere Messung, z. B. in Form von Übungseffekten, hat.

Instrumentierungseffekte: Instrumente messen in unterschiedlichen Populationen unterschiedliches.

Differenzielle Stichprobenmortalität: Vorstellbar ist in diesem Zusammenhang eine Trainingsstudie mit mehreren Messzeitpunkten, in der im Laufe der Zeit viele Probanden aus der Kontrollgruppe ausfallen, weil sie sich andernorts Trainingsmöglichkeiten verschaffen.


Das Problem der externen Validität von Experimenten

Laborbedingungen haben oft nichts mit den realen Bedingung im Feld zu tun

Kontrolle von Personvariablen lässt Generalisierung auf alle relevanten Personengruppen fraglich erscheinen.

Gelten die gefundenen Ursache-Wirkungs-Zusammenhänge auch in natürlichen Lernumwelten und bei anderen Personengruppen?


Faktoren, welche die externe Validität von Experimenten senken

Reaktivität: Untersuchungsteilnehmer haben Vermutungen über den Gegenstand der Untersuchung und wollen sich entsprechend verhalten.

Interaktionen (Wechselwirkungen) von Auswahlfaktoren und experimentellen Variablen: Ein Treatment wirkt nur in der ausgewählten Stichprobe. Ein Lesetraining steigert möglicherweise nur bei Mädchen, nicht aber bei Jungen die Lesekompetenz.

Konfundierung (Vermischung) von Effekten: Mehrere UVs wirken in einer Gruppe simultan auf die AV, man weiß aber nicht, welche der UVs den eigentlichen Effekt bewirkt hat.


Quasi-experimentelle Untersuchungen

Ausgangsproblem: Oftmals ist es unmöglich, in Experimenten Personen per Zufall unterschiedlichen Treatments zuzuweisen. Will man beispielsweise Unterrichtsmethode A mit Unterrichtsmethode B und C vergleichen, können kaum die Schüler einer Klasse per Zufall auf die drei Methoden verteilt werden, vielmehr wird oftmals Klasse 1 mit A unterrichtet, Klasse 2 mit B und Klasse 3 mit C.

Gefahren: - Die Klassen können sich bereits prä-experimentell hinsichtlich

der abhängigen Variablen unterscheiden (Entgegenwirken durch ein Vortest-Nachtest-Design).

- Die Klassen können sich hinsichtlich anderer Merkmale unterscheiden, welche die Wirksamkeit unterschiedlicher Treatments unterdrücken (Erhebung möglichst vieler zusätzlicher Störvariablen)


Weitere Fehlerquellen in Quasi-Experimenten (Cook & Campbell, 1979)

Diffusion oder Imitation des Treatments: In einer Kontrollgruppe, die „Wind vom Treatment bekommen hat“, wird dieses Treatment ebenfalls durchgeführt.

Kompensatorischer Ausgleich des Treatments: Die Kontrollgruppe wird durch das Lehrerkollegium besonders gefördert, damit sie nicht hinter die Treatment-Gruppe zurück fällt.

Kompensatorische Anstrengung der Probanden in der Kontrollgruppe: Schüler der Kontrollgruppe sind verärgert, dass sie vom Treatment ausgeschlossen wurden. Als Trotzreaktion strengen sie sich in den Tests, die den Erfolg des Treatments erfassen sollen, besonders an, so dass die Effekte des Treatments nicht sichtbar werden.

Negative Reaktion von Probanden: Als Folge des Ausschlusses vom Treatment strengen sich Schüler der Kontrollgruppe überhaupt nicht an.


Beispiel für eine quasi-exp. Studie(Krug & Lucybyl, 1999)

Die beiden Autoren untersuchten die Rolle der Bezugsnormorientierung von Lehrkräften auf die Unterrichtswahrnehmung, Lernbereitschaft und Leistung von Schülerinnen und Schülern in beruflichen Vollzeitschulen. Berücksichtigt wurden zwei intakte Klassen (21 und 23 angehende Arzthelferinnen) einer Berufsschule im Fach Sozialkunde. Die Schülerinnen hatten alle das gleiche Ausbildungsniveau und wurden von derselben zuvor unbekannten Lehrkraft unterrichtet, so dass die Lerninhalte und die Lehrperson konstant werden konnten. Bei ihren Rückmeldungen verwendete die Lehrkraft über einen Zeitraum von sechs Wochen in der einen Klasse eine individuelle, in der anderen Klasse eine soziale Bezugsnormorientierung. Bei ersterer stand der Lernfortschritt des Individuums im Zentrum der Rückmeldung, bei letzterer der soziale Vergleich mit den Klassenkameraden. Gegenstand der Unterrichts-stunden waren Drogenmissbrauch, dessen gesundheitlichen Folgen und die Therapie von Drogenabhängigkeiten. Abhängige Variablen waren u. a. das Lehrer-Schüler-Verhältnis in der Klasse, die Mitarbeit, die Unterrichtsgüte sowie der Lernerfolg. Alle Maße wurde jede Woche erhoben. Die Ergebnisse zeigten cum grano salis für alle AVs günstigere Verläufe bei individueller Bezugsnormorientierung.


Nicht-experimentelle Forschung:Korrelationsstudien

Exkurs: Korrelationskoeffizient Der Korrelationskoeffizient r drückt die Stärke des linearen

Zusammenhangs zwischen zwei Maßen ab. Er kann theoretisch zwischen –1 und +1 schwanken. Bei einem Zusammenhang von r = +1 lässt sich das eine

Maß exakt durch das andere vorhersagen, und zwar in dem Sinne, je höher die Werte in Maß A, desto höher auch die Werte in Maß B.

Ein Koeffizient von r = -1 beschreibt ebenfalls einen perfekten linearen Zusammenhang, allerdings gehen jetzt mit kleineren Werten auf A größere auf B einher.

Bei einem Zusammenhang von r = 0 sind beide Maße voneinander linear unabhängig.


Nicht-experimentelle Forschung:Korrelationsstudien

Man erhebt in einer Stichprobe von Schülerinnen und Schülern mit den entsprechenden Verfahren zwei oder mehr Variablen, z. B. Prüfungsangst und Kompetenzen in Mathematik.

Anschließend wird als Zusammenhangsmaß der Korrelations-koeffizient bestimmt.

Ursache-Wirkung-Relationen lassen sich anhand dieses Vorgehens nicht festmachen, d.h. die Korrelation kann dadurch zustande gekommen sein, dass ängstliche Schüler in Leistungssituationen gehemmt sind, aber auch dadurch, dass leistungsschwache Schüler aufgrund ihrer Misserfolge prüfungsängstlicher werden.

Beispiel:


Nicht-experimentelle Forschung:Probleme von Korrelationsstudien

Korrelationen sind grundsätzlich mehrdeutig. Offen bleibt, ob Merkmal A Merkmal B beeinflusst, der

Wirkmechanismus genau umgekehrt ist oder gar eine wechselseitige Beziehung besteht.

Auch ist denkbar, dass die Korrelation zwischen A und B nur deshalb zustande kommt, weil beide durch ein drittes Merkmal C beeinflusst werden.


Nicht-experimentelle Forschung:Probleme von Korrelationsstudien

Beispiel: Positive Korrelation zwischen Interesse an der Mathematik und Leistungen in der Mathematik

Interesse Leistung

Modell 1

Interesse Leistung

Modell 2

Interesse Leistung

Modell 3

Interesse Leistung

Modell 4

FamiliäreFörderung

Beispiel für eine Korrelationsstudie:Baumert & Schümer (2002)

Die beiden Autoren haben auf der Basis der Daten aus PISA 2000 (Deutsches PISA-Konsortium, 2001, 2002) den Zusammenhang zwischen sozialer Herkunft und der Lesekompetenz untersucht. In der nationalen Erweiterung von PISA wurden im Schuljahr 1999/2000 rund 46.000 Schülerinnen und Schüler am Ende der Sekundarstufe I untersucht. Baumert und Schümer analysierten, wie stark der Zusammenhang zwischen sozialer Herkunft und Lesekompetenz in den verschiedenen Bundesländern ist, und wie die Stärke des Zusammenhangs im internationalen Vergleich zu bewerten ist.

Beispiel für eine Korrelationsstudie:Baumert & Schümer (2002)

Veränderung der Lesekompetenz (Testwerte) bei Veränderung dessozioökonomischen Status um eine Standardabweichung

Schüler in GroßstädtenBremen

Finnland

ThüringenSachsen-Anhalt

Vereinigtes KönigreichSchweiz

Mecklenburg-VorpommernBaden-Württemberg

BayernRheinland-Pfalz

SaarlandSchleswig-Holstein

NiedersachsenHessen

Nordrhein-Westfalen

SachsenVereinigte Staaten

BrandenburgFrankreichSchweden

0 10 20 30 40 50 60Veränderung der Lesekompetenz (Testwerte) bei Veränderung des

sozioökonomischen Status um eine Standardabweichung


Finnland


Vereinigtes KönigreichSchwei

Veränderung der Lesekompetenz (Testwerte) bei Veränderung dessozioökonomischen Status um eine Standardabweichung


Finnland


Vereinigtes KönigreichSchweiz

Mecklenburg-VorpommernBaden-Württemberg

BayernRheinland-Pfalz

SaarlandSchleswig-Holstein

NiedersachsenHessen

Nordrhein-Westfalen



0 10 20 30 40 50 60

zMecklenburg-Vorpommern

Baden-WürttembergBayern

Rheinland-PfalzSaarland

Schleswig-HolsteinNiedersachsen

HessenNordrhein-Westfalen



0 10 20 30 40 50 60

Stärke des Zusam-menhangs zwischensozialer Herkunft und Lesekompetenznach Ländern der Bundesrepublik und ausgewählten OECD-Staaten


Querschnittstudie

Korrelationsstudie, bei der einmalig Daten in unterschiedlichen Alters- oder Jahrgangsstufen erhoben werden

Problem: Konfundierung von Alters- und Kohorteneffekten


Nicht-experimentelle ForschungLängsschnittstudien

• Um eine Längsschnittstudie handelt es sich, wenn die gleichen Personen einer Stichprobe in Zeitabständen mehrmals untersucht werden.

• Längsschnittstudien sind immer dann nötig, wenn es Untersuchern um langfristige Einflüsse oder Veränderungen geht.

• Kausalitätsschlüsse werden durch die zeitliche Vor- und Nachgeordnetheit der untersuchten Variablen möglich.

• Mit Längsschnittstudien lässt sich beispielsweise die Frage beantworten, ob Merkmal A Merkmal B beeinflusst, ob der Einfluss umgekehrt ist oder gar reziprok.

• Längsschnittstudien stellen ohne Frage den Königsweg dar, wenn es um die Beschreibung von Entwicklungsprozessen (beispielsweise der Schulleistungen im Fremdsprachenunterricht) geht.


LängsschnittstudienVersetztes Mehrkohorten-Längsschnittdesign zur Feststellung von Alterseffekten (aus Bortz & Döring, 2002, S. 565)

19801970196019501940

20 Jahre10 Jahre1960

30 Jahre20 Jahre10 Jahre1950

40 Jahre30 Jahre20 Jahre10 Jahre1940

50 Jahre40 Jahre30 Jahre20 Jahre10 Jahre1930


19801970196019501940

20 Jahre10 Jahre1960

30 Jahre20 Jahre10 Jahre1950

40 Jahre30 Jahre20 Jahre10 Jahre1940



Geb

urts

koho

rte

Epoche (Erhebungszeitpunkt)

Zeit-wandel

Längs-schnitt

Querschnitt


Probleme von Längsschnittstudien

• Ausfälle von Untersuchungsteilnehmern (Panelmortalität)• Vergleichbarkeit der Messinstrumente über die Zeit • Übungseffekte • Einflüsse durch (nicht erhobene Drittvariablen) • Die Berücksichtigung von Kontrollgruppen ist in der Regel

unmöglich.• Aufwand


Cross-lagged Panel Designs zur Überprüfung von Kausalitätsannahmen in Längsschnittstudien (Campbell, 1963)

• Grundidee: Durch die zeitliche Vor- und Nachgeordnetheit der Merkmale lassen sich Zusammenhänge (Korrelationen) kausal interpretieren.

• Testet man z. B. zu Beginn eines Schuljahres das mathematische Interesse von Schülern und am Ende des Schuljahres deren Mathematikleistung, so kann die gefundene Korrelation zwischen Interesse und Leistung nicht dahingehend interpretiert werden, dass die Leistung am Ende des Schuljahres das Interesse zu Beginn des Schuljahres beeinfluss hat.

• Die umgekehrte Interpretation ist hingegen plausibel.


Die Autoren dieser Arbeit untersuchten auf der Basis einer Mehr-Kohorten-Längsschittuntersuchung an über 600 Gymnasiasten das Ursachen-Wirkungs-Gefüge zwischen mathematischem Interesse und mathematischen Schulleistungen. Drei Messzeitpunkte (Ende der 7., Ende der 10. und Ende der 12. Jahrgangsstufe) wurden berücksichtigt. Zum Einsatz kamen standardisierten Schulleistungstests für das Fach Mathematik und eine kurze Skala zur Erfassung des mathematischen Interesses.

Beispiel für ein Cross-lagged Panel Design: Köller, Baumert & Schnabel (2000)


Leistung in Klasse 7

Leistung inKlasse 10

Leistung inKlasse 12

Interesse inKlasse 12

Interesse inKlasse 10

Interesse inKlasse 7 .67.43

.21

.12 (ns)

.46 .44

.23

.31

.05 (ns)

Beispiel für ein Cross-lagged Panel Design: Köller, Baumert & Schnabel (2000)


Vielen Dank für Ihre Aufmerksamkeit!

Kontakt: [email protected]

Einführung in die empirische Bildungsforschung Mo, 8.15 – 9.45 IPN Hörsaal Einführung:...

Documents

Transcript of Einführung in die empirische Bildungsforschung Mo, 8.15 – 9.45 IPN Hörsaal Einführung:...