Von FIMSS und FISS bis PISA und PIRLS
Eine Zwischenbilanz zu den Effekten und Perspektiven von Large Scale Assessments
für die Steuerung von Schule
Isabell van AckerenUniversität Duisburg-Essen
AG Bildungsforschung
Zürich, 8. Dezember 2010
Gliederung
(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien
(2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘
(3) Perspektive: ‚Large Scale Change‘?
Anfänge internationaler Leistungsvergleiche
1920er Jahre: separate, idiographische Beschreibung der Bildungssysteme ausgewählter Länder (Vergleichende EW als akademische Disziplin)
1950/60er Jahre: Bewusstsein für den ‚hidden factor‘ des Humankapitals (Entwicklungspolitik)
1958: Gründung der IEA durch akademische Institutionen (Bloom, Thorndike u.a.) – Messung von Kenntnissen und Fertigkeiten von Schüler/innen– Identifizierung relevanter Einflussgrößen auf Lernerträge
(nomothetischer Anspruch)– Variation zwischen Ländern (Steuerungs- und Handlungspraxis):
Erkenntnisgewinn für bildungspolitische Reformen und Entwicklungsprozesse (melioristisches Erkenntnisinteresse)
60/70er Jahre: Paradigmenwechsel hin zur Erfassung des Lernertrags von Schule (Systemmonitoring, Benchmarking)
Pilot Twelve-Country Study 1959-62 (Foshay et al., 1962)
Anlage
• Machbarkeitsstudie zur Realisierung internationaler Schulleistungsvergleiche
• Sekundarstufe I
• Lesen, Mathematik, Naturwissenschaften, Geographie, non-verbale Fähigkeiten
• Teilnehmerstaaten: Belgien, (West-)Deutschland, England, Finnland, Frankreich, Israel, Jugoslawien, Polen, Schottland, Schweden, Schweiz, USA
Erkenntnisse
• Höhere Variabilität innerhalb der Teilnehmerstaaten als zwischen den Ländern
• Länderunterschiede rechtfertigten jedoch die Durchführung von Leistungsstudien
• Vergleichsweise höhere Streuung in Geographie und Mathematik
• Herausarbeitung fachspezifischer Geschlechterdifferenzen
FIMS: First International Mathematics Study 1963/64 (Husén, 1967; Postlethwaite, 1967)
• Prinzip der Testung an strategisch bedeutsamen Punkten der Schullaufbahn– gegen Ende der Pflichtschulzeit– gegen Ende der voruniversitären Ausbildung
• Ergänzung durch Hintergrundbefragungen von Schüler/innen, Lehrkräften und Schulleitungen
• 12 Länder, 133.000 Jugendliche– Australien, Belgien, (West-)Deutschland, England, Finnland,
Frankreich, Israel, Japan, Niederlande, Schottland, Schweden, USA
• Fachbezug Mathematik – als ein Index der Produktivität eines Systems– methodisch einfacher für umfangreiche erste Erhebung dieser Art – „movement of reconstruction of mathematical education“
(Husén, 1967)
FIMS und FISS: Ausgewählte Befunde und Rezeption aus deutscher Sicht
• „nonmath-students“ (Grundbildung): Spitzenposition– Problem Vergleichbarkeit: Verbindlichkeit von Mathematik als
Abiturfach Strukturelle Unterschiede in der Unterrichtszeit und
-organisation sind zu berücksichtigen
• „mathematics students“: Mittelfeld– andere, leistungsstärkere Länder mit jüngerer
Schülerpopulation↔ keine Diskussion der Schulzeit bzw. durchschnittlicher
Leistungen
• Chancengleichheit: starke sozio-ökonomische Selektivität – Indexwert der sozialen Selektivität im internationalen Vergleich
am höchsten– keine breite Rezeption der Befunde
Six-Subject Survey (1968-73)
• erstmals Berücksichtigung der Primarstufe
• Frage der Übertragbarkeit identifizierter Einflussfaktoren mathematischer Bildungsprozesse auf andere Fächer – Leseverständnis, Naturwissenschaften, Literatur, Französisch
und Englisch als Fremdsprachen, Civic Education
• Herausarbeitung neuer Prädiktoren schulischer Leistung– u.a. Interessens-, Motivations- und Einstellungsvariablen sowie
Lehrmethoden
vgl. http://www.iea.nl/sowie Goy, van Ackeren & Schwippert, 2008
Leistungsstudien in den 1970er und 80er Jahren
• Zurückhaltung / keine Beteiligung deutschsprachiger Länder bis in die 1990er Jahre– Ausnahme: Classroom Environment Study (CES), 1981 und 1983
(Weinert & Helmke)
• eher geisteswissenschaftliche Tradition deutscher Pädagogik (vgl. Bos & Postlethwaite, 2001)
• Schulsystem galt zudem lange als vorbildlich
↔ Konsequente Beteiligung an Untersuchungen: z.B. Belgien, England, Frankreich, Finnland, Neuseeland, Niederlande, Schottland, Schweden, USA
• TIMSS-Schock als Auslöser einer systematischen und breiten empirischen Schulleistungsforschung
• Rückblickende Wahrnehmung der Befunde der International Reading Literacy Study (IRLS)
Blick nach vorn: Perspektiven – Desiderate
• Längsschnittliche Anlage von Forschungsprogrammen zur Einlösung des Erklärungsanspruchs
• Defizitäre Informationen über domänen- und institutionsspezifische Bildungsprozesse auf folgende Stufen:– Tertiärer Bildungsbereich– Lebenslanges Lernens, ‚adult competencies‘
• Anschlussfähigkeit des in Bildungsinstitutionen vermittelten Wissens / Kompetenzen
• Weiterentwicklung der Schulentwicklungsforschung– Praktische Umsetzung von LSA als komplexes Forschungs- und
Entwicklungsproblem:
„Die eigentliche Arbeit beginnt in der Schule, den sie unterstützenden Einrichtungen und der Politik erst nach der Untersuchung“ (Baumert 2001)
Gliederung
(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien
(2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘
(3) Perspektive: ‚Large Scale Change‘?
Governance und Evidenzbasierte Steuerung
• Governance meint – „das Zustandekommen, die Aufrechterhaltung und die
Transformation sozialer Ordnung und Leistungen im Bildungswesen unter der Perspektive der Handlungskoordination zwischen verschiedenen Akteuren in komplexen Mehrebenensystemen.“
(Altricher & Maag Merki, 2010)
• Akteure aus Bildungspolitik/ -administration betreiben– „in extremer Interpretation, ihre Politik insgesamt primär
empiriegestützt, erfahrungswissenschaftlich beglaubigt und wissenschaftlich fundiert [...] statt im Vertrauen auf alte Ideologien.“
(Tenorth, 2007)
Rezeption / Impact von Leistungsstudien in international vergleichender Perspektive
• Robitaille et al. (Ed.) (2000). The impact of TIMSS on teaching and learning of mathematics and science
• Autorengruppe Internationale Vergleichsstudie (2003): Vertiefender Vergleich der Schulsysteme ausgewählter PISA-Teilnehmerstaaten
• Gilmore, A. (2005): The Impact of PIRLS (2001) and TIMSS (2003) in Low- and Middle-Income Countries
• Figazzolo, L.: Impact of PISA 2006 on the Education Policy Debate
• Schwippert, K. (Ed.) (2007): Progress in Reading Literacy. The Impact of PIRLS 2001 in 13 Countries
Impact of PIRLS: Beteiligte Länder 2006
14
RusslandHongkong
Neuseeland
Belgien (FL)DeutschlandEnglandLettlandNiederlandeÖsterreichSlowakeiUngarn
Südafrika
kursiv: erstmals beteiligte Länder
Ziele: Dokumentation und Information
• Dokumentation der Reaktionen / Reaktionsmuster auf Studienergebnisse seitens Politik und Administration, Wissenschaft, Schulen und Öffentlichkeit
• Identifizierung direkter und/oder indirekter Konsequenzen– Veränderungen und Umstrukturierungen im nationalen
Bildungssystem– Programme und Initiativen im Bildungsbereich– Wahrnehmung in der Öffentlichkeit
• Abschätzung des Potenzials für Systementwicklung– ggf. transformatorische Prozesse (2001 – 2006)– Explorativer Charakter – ggf. vertiefende Länderanalysen
Autorenperspektive
• ‚Insider‘-Perspektiven auf das nationale Bildungssystem
• Unterschiedliche institutionelle und positionelle Hintergründe der Autoren zwischen den Ländern– Abteilungen des
Bildungsministeriums– Unabhängige
Forschungseinrichtungen– Universitäre Fachbereiche
The Analytical Framework
• A short country description• The national education system• The country’s experience in national and
international large-scale assessments• National results, impact, and (expected) long-
term effects of PIRLS 2001 and/or 2006 since the first publication
• Expected future activities• Concluding remarks
(vgl. Schwippert & Lenkeit, in Vorbereitung; Liegmann & van Ackeren, in Vorbereitung)
Teilnahme an internationalen Studien und Implementierung nationaler Vergleichsstudien
Zusammenfassung der (berichteten) Veröffentlichungsaktivitäten
Unterrichts-qualität
PIRLS als Indikator und Motor der Revision und Modifizierung
Österreich, Hongkong, Lettland: Stärkung des Anspruchs der Förderung individueller Lernprozesse
Curriculum Revision von Curricula: Planung bzw. Realisierung
Ungarn: Ausweitung des Leseunterrichts auf Klassen 5+6; Hongkong: Lesenlernen als Schlüsselkompetenz überrgeifend verankert
Struktur Fokus auf vorschulische Bildung; Separation / Integration
Österreich: Obligatorisches, gebührenfreies Vorschuljahr;Lettland: Herabsetzung Einschulungsalter; Verkürzung / Verlängerung der gemeinsamen Lernzeit (Ungarn / BRD)
Lehrer-bildung
Leseförderung England, Deutschland, Hongkong; Handreichungen, Trainingsprogramme: u.a. Russland, Südafrika
Ressourcen Finanzielle Ressourcen; elterliche Unterstützung
Hongkong: Erhöhung der Bildungsausgaben für die Primarstufe; Slovakei: zusätzliche Ressourcen für soziale benachteiligte Schüler; Südafrika: Büchergutscheine; Hongkong: Förderung elterlicher Unterstützung
Förder-programme
Leseförderung Hongkong: alle Schüler; England: Risikoschüler
Output-orientierung
Bildungsstandards, Vergleichsarbeiten, Schulinspektion
Österreich, Deutschland, Südafrika; Revision bestehender outputorientierter Instrumente: England, Ungarn, Neuseeland, Russland
Beschriebene Entwicklungsbereiche
Nutzbarmachung Evaluationsdaten (nach Johnson, 1998)
• Instrumenteller Gebrauch direkter Anwendungsbezug
• Konzeptueller Gebrauch auch: „enlightment“; Beeinflussung von
Denkprozessen in größerem zeitlichen Abstand
• Symbolischer Gebrauch politisches/taktisches Interesse
Ministerielle Steuerung nach PISA in ausgewählten Bundesländern: MISTEL-Studie (Tillmann, Dedering et al.)
• Bildungspolitische Entscheidungsfindung erfolgt weniger rational, als es das Modell evidenzbasierter Steuerung postuliert
• Sach- und Problemorientierung der Entscheidungsträger wird flankiert von politisch-taktischen Orientierungen– u.a. Verstärkung / Legitimation bereits getroffener Entscheidungen– Stärkung öffentlicher Akzeptanz– Untermauerung politischer Forderungen
• Problem der Verabeitungskapazität und -kompetenz; zwischen Expertisedefizit und Informationsvorsprung
• Ministerien als Intermediär zwischen Bildungspolitik, Bildungssystem und Wissenschaftssystem: Balance zwischen unterschiedlichen Handlungslogiken
Gliederung
(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien
(2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘
(3) Herausforderungen und Perspektiven: ‚Large Scale Change‘?
Herausforderungen
• Empirische Forschung zu den Ansprüchen und Wirkungen neuer Steuerungsinstrumente im Anschluss an Befunde von LSA– Bildungsstandards, Vergleichsarbeiten, Schulinspektionen, Zentrale
Abschlussprüfungen– Berücksichtigung transintentionaler Effekte
• Ergänzung um internationale Vergleiche– Berücksichtigung unterschiedlicher Strukturen und
Steuerungsphilosophien
• Professionalisierung von Lehrkräften
• Bedingungen von Transfer, etwa ausgezeichneter Schulen bei Schulwettbewerben
Projekt EviS – Evidenzbasiertes Handeln im Mehrebenensystem Schule
Teilprojekt I: Lehrerbildung• Genese, Voraussetzungen und
Entwicklungen professionellen Umgangs von Lehrenden mit evidenzbasiertem Wissen im Kontext der mehrstufigen Lehrerausbildung
• quantitative (Panel-)Befragung mit Studierenden und Referendarinnen/Referendaren (2 Wellen)
• ergänzt durch qualitative Befragung
Teilprojekt II: Schule• Einflussfaktoren auf die
Generierung und Nutzung evidenzbasierten Wissens
• Theoretical Sampling: Fallschulen, die sich durch geringe oder starke Evidenznutzung auszeichnen
• Netzwerkanalyse• vertiefende Interviews genauere Bestimmung der
tatsächlich genutzten Evidenzen Anlässe und Motivationen zur
Nutzung der Evidenzen erfassen
26
Top Related