Von FIMSS und FISS bis PISA und PIRLS

Eine Zwischenbilanz zu den Effekten und Perspektiven von Large Scale Assessments

für die Steuerung von Schule

Isabell van AckerenUniversität Duisburg-Essen

AG Bildungsforschung

Zürich, 8. Dezember 2010

Gliederung

(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien

(2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘

(3) Perspektive: ‚Large Scale Change‘?

Anfänge internationaler Leistungsvergleiche

1920er Jahre: separate, idiographische Beschreibung der Bildungssysteme ausgewählter Länder (Vergleichende EW als akademische Disziplin)

1950/60er Jahre: Bewusstsein für den ‚hidden factor‘ des Humankapitals (Entwicklungspolitik)

1958: Gründung der IEA durch akademische Institutionen (Bloom, Thorndike u.a.) – Messung von Kenntnissen und Fertigkeiten von Schüler/innen– Identifizierung relevanter Einflussgrößen auf Lernerträge

(nomothetischer Anspruch)– Variation zwischen Ländern (Steuerungs- und Handlungspraxis):

Erkenntnisgewinn für bildungspolitische Reformen und Entwicklungsprozesse (melioristisches Erkenntnisinteresse)

60/70er Jahre: Paradigmenwechsel hin zur Erfassung des Lernertrags von Schule (Systemmonitoring, Benchmarking)

Pilot Twelve-Country Study 1959-62 (Foshay et al., 1962)

Anlage

• Machbarkeitsstudie zur Realisierung internationaler Schulleistungsvergleiche

• Sekundarstufe I

• Lesen, Mathematik, Naturwissenschaften, Geographie, non-verbale Fähigkeiten

• Teilnehmerstaaten: Belgien, (West-)Deutschland, England, Finnland, Frankreich, Israel, Jugoslawien, Polen, Schottland, Schweden, Schweiz, USA

Erkenntnisse

• Höhere Variabilität innerhalb der Teilnehmerstaaten als zwischen den Ländern

• Länderunterschiede rechtfertigten jedoch die Durchführung von Leistungsstudien

• Vergleichsweise höhere Streuung in Geographie und Mathematik

• Herausarbeitung fachspezifischer Geschlechterdifferenzen

FIMS: First International Mathematics Study 1963/64 (Husén, 1967; Postlethwaite, 1967)

• Prinzip der Testung an strategisch bedeutsamen Punkten der Schullaufbahn– gegen Ende der Pflichtschulzeit– gegen Ende der voruniversitären Ausbildung

• Ergänzung durch Hintergrundbefragungen von Schüler/innen, Lehrkräften und Schulleitungen

• 12 Länder, 133.000 Jugendliche– Australien, Belgien, (West-)Deutschland, England, Finnland,

Frankreich, Israel, Japan, Niederlande, Schottland, Schweden, USA

• Fachbezug Mathematik – als ein Index der Produktivität eines Systems– methodisch einfacher für umfangreiche erste Erhebung dieser Art – „movement of reconstruction of mathematical education“

(Husén, 1967)

FIMS und FISS: Ausgewählte Befunde und Rezeption aus deutscher Sicht

• „nonmath-students“ (Grundbildung): Spitzenposition– Problem Vergleichbarkeit: Verbindlichkeit von Mathematik als

Abiturfach Strukturelle Unterschiede in der Unterrichtszeit und

-organisation sind zu berücksichtigen

• „mathematics students“: Mittelfeld– andere, leistungsstärkere Länder mit jüngerer

Schülerpopulation↔ keine Diskussion der Schulzeit bzw. durchschnittlicher

Leistungen

• Chancengleichheit: starke sozio-ökonomische Selektivität – Indexwert der sozialen Selektivität im internationalen Vergleich

am höchsten– keine breite Rezeption der Befunde

Six-Subject Survey (1968-73)

• erstmals Berücksichtigung der Primarstufe

• Frage der Übertragbarkeit identifizierter Einflussfaktoren mathematischer Bildungsprozesse auf andere Fächer – Leseverständnis, Naturwissenschaften, Literatur, Französisch

und Englisch als Fremdsprachen, Civic Education

• Herausarbeitung neuer Prädiktoren schulischer Leistung– u.a. Interessens-, Motivations- und Einstellungsvariablen sowie

Lehrmethoden

vgl. http://www.iea.nl/sowie Goy, van Ackeren & Schwippert, 2008

Leistungsstudien in den 1970er und 80er Jahren

• Zurückhaltung / keine Beteiligung deutschsprachiger Länder bis in die 1990er Jahre– Ausnahme: Classroom Environment Study (CES), 1981 und 1983

(Weinert & Helmke)

• eher geisteswissenschaftliche Tradition deutscher Pädagogik (vgl. Bos & Postlethwaite, 2001)

• Schulsystem galt zudem lange als vorbildlich

↔ Konsequente Beteiligung an Untersuchungen: z.B. Belgien, England, Frankreich, Finnland, Neuseeland, Niederlande, Schottland, Schweden, USA

• TIMSS-Schock als Auslöser einer systematischen und breiten empirischen Schulleistungsforschung

• Rückblickende Wahrnehmung der Befunde der International Reading Literacy Study (IRLS)

Blick nach vorn: Perspektiven – Desiderate

• Längsschnittliche Anlage von Forschungsprogrammen zur Einlösung des Erklärungsanspruchs

• Defizitäre Informationen über domänen- und institutionsspezifische Bildungsprozesse auf folgende Stufen:– Tertiärer Bildungsbereich– Lebenslanges Lernens, ‚adult competencies‘

• Anschlussfähigkeit des in Bildungsinstitutionen vermittelten Wissens / Kompetenzen

• Weiterentwicklung der Schulentwicklungsforschung– Praktische Umsetzung von LSA als komplexes Forschungs- und

Entwicklungsproblem:

„Die eigentliche Arbeit beginnt in der Schule, den sie unterstützenden Einrichtungen und der Politik erst nach der Untersuchung“ (Baumert 2001)

Gliederung

(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien

(2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘

(3) Perspektive: ‚Large Scale Change‘?

Governance und Evidenzbasierte Steuerung

• Governance meint – „das Zustandekommen, die Aufrechterhaltung und die

Transformation sozialer Ordnung und Leistungen im Bildungswesen unter der Perspektive der Handlungskoordination zwischen verschiedenen Akteuren in komplexen Mehrebenensystemen.“

(Altricher & Maag Merki, 2010)

• Akteure aus Bildungspolitik/ -administration betreiben– „in extremer Interpretation, ihre Politik insgesamt primär

empiriegestützt, erfahrungswissenschaftlich beglaubigt und wissenschaftlich fundiert [...] statt im Vertrauen auf alte Ideologien.“

(Tenorth, 2007)

Rezeption / Impact von Leistungsstudien in international vergleichender Perspektive

• Robitaille et al. (Ed.) (2000). The impact of TIMSS on teaching and learning of mathematics and science

• Autorengruppe Internationale Vergleichsstudie (2003): Vertiefender Vergleich der Schulsysteme ausgewählter PISA-Teilnehmerstaaten

• Gilmore, A. (2005): The Impact of PIRLS (2001) and TIMSS (2003) in Low- and Middle-Income Countries

• Figazzolo, L.: Impact of PISA 2006 on the Education Policy Debate

• Schwippert, K. (Ed.) (2007): Progress in Reading Literacy. The Impact of PIRLS 2001 in 13 Countries

Impact of PIRLS: Beteiligte Länder 2006

14

RusslandHongkong

Neuseeland

Belgien (FL)DeutschlandEnglandLettlandNiederlandeÖsterreichSlowakeiUngarn

Südafrika

kursiv: erstmals beteiligte Länder

Ziele: Dokumentation und Information

• Dokumentation der Reaktionen / Reaktionsmuster auf Studienergebnisse seitens Politik und Administration, Wissenschaft, Schulen und Öffentlichkeit

• Identifizierung direkter und/oder indirekter Konsequenzen– Veränderungen und Umstrukturierungen im nationalen

Bildungssystem– Programme und Initiativen im Bildungsbereich– Wahrnehmung in der Öffentlichkeit

• Abschätzung des Potenzials für Systementwicklung– ggf. transformatorische Prozesse (2001 – 2006)– Explorativer Charakter – ggf. vertiefende Länderanalysen

Autorenperspektive

• ‚Insider‘-Perspektiven auf das nationale Bildungssystem

• Unterschiedliche institutionelle und positionelle Hintergründe der Autoren zwischen den Ländern– Abteilungen des

Bildungsministeriums– Unabhängige

Forschungseinrichtungen– Universitäre Fachbereiche

The Analytical Framework

• A short country description• The national education system• The country’s experience in national and

international large-scale assessments• National results, impact, and (expected) long-

term effects of PIRLS 2001 and/or 2006 since the first publication

• Expected future activities• Concluding remarks

(vgl. Schwippert & Lenkeit, in Vorbereitung; Liegmann & van Ackeren, in Vorbereitung)

Teilnahme an internationalen Studien und Implementierung nationaler Vergleichsstudien

Zusammenfassung der (berichteten) Veröffentlichungsaktivitäten

Unterrichts-qualität

PIRLS als Indikator und Motor der Revision und Modifizierung

Österreich, Hongkong, Lettland: Stärkung des Anspruchs der Förderung individueller Lernprozesse

Curriculum Revision von Curricula: Planung bzw. Realisierung

Ungarn: Ausweitung des Leseunterrichts auf Klassen 5+6; Hongkong: Lesenlernen als Schlüsselkompetenz überrgeifend verankert

Struktur Fokus auf vorschulische Bildung; Separation / Integration

Österreich: Obligatorisches, gebührenfreies Vorschuljahr;Lettland: Herabsetzung Einschulungsalter; Verkürzung / Verlängerung der gemeinsamen Lernzeit (Ungarn / BRD)

Lehrer-bildung

Leseförderung England, Deutschland, Hongkong; Handreichungen, Trainingsprogramme: u.a. Russland, Südafrika

Ressourcen Finanzielle Ressourcen; elterliche Unterstützung

Hongkong: Erhöhung der Bildungsausgaben für die Primarstufe; Slovakei: zusätzliche Ressourcen für soziale benachteiligte Schüler; Südafrika: Büchergutscheine; Hongkong: Förderung elterlicher Unterstützung

Förder-programme

Leseförderung Hongkong: alle Schüler; England: Risikoschüler

Output-orientierung

Bildungsstandards, Vergleichsarbeiten, Schulinspektion

Österreich, Deutschland, Südafrika; Revision bestehender outputorientierter Instrumente: England, Ungarn, Neuseeland, Russland

Beschriebene Entwicklungsbereiche

Nutzbarmachung Evaluationsdaten (nach Johnson, 1998)

• Instrumenteller Gebrauch direkter Anwendungsbezug

• Konzeptueller Gebrauch auch: „enlightment“; Beeinflussung von

Denkprozessen in größerem zeitlichen Abstand

• Symbolischer Gebrauch politisches/taktisches Interesse

Ministerielle Steuerung nach PISA in ausgewählten Bundesländern: MISTEL-Studie (Tillmann, Dedering et al.)

• Bildungspolitische Entscheidungsfindung erfolgt weniger rational, als es das Modell evidenzbasierter Steuerung postuliert

• Sach- und Problemorientierung der Entscheidungsträger wird flankiert von politisch-taktischen Orientierungen– u.a. Verstärkung / Legitimation bereits getroffener Entscheidungen– Stärkung öffentlicher Akzeptanz– Untermauerung politischer Forderungen

• Problem der Verabeitungskapazität und -kompetenz; zwischen Expertisedefizit und Informationsvorsprung

• Ministerien als Intermediär zwischen Bildungspolitik, Bildungssystem und Wissenschaftssystem: Balance zwischen unterschiedlichen Handlungslogiken

Gliederung

(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien

(2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘

(3) Herausforderungen und Perspektiven: ‚Large Scale Change‘?

Herausforderungen

• Empirische Forschung zu den Ansprüchen und Wirkungen neuer Steuerungsinstrumente im Anschluss an Befunde von LSA– Bildungsstandards, Vergleichsarbeiten, Schulinspektionen, Zentrale

Abschlussprüfungen– Berücksichtigung transintentionaler Effekte

• Ergänzung um internationale Vergleiche– Berücksichtigung unterschiedlicher Strukturen und

Steuerungsphilosophien

• Professionalisierung von Lehrkräften

• Bedingungen von Transfer, etwa ausgezeichneter Schulen bei Schulwettbewerben

Projekt EviS – Evidenzbasiertes Handeln im Mehrebenensystem Schule

Teilprojekt I: Lehrerbildung• Genese, Voraussetzungen und

Entwicklungen professionellen Umgangs von Lehrenden mit evidenzbasiertem Wissen im Kontext der mehrstufigen Lehrerausbildung

• quantitative (Panel-)Befragung mit Studierenden und Referendarinnen/Referendaren (2 Wellen)

• ergänzt durch qualitative Befragung

Teilprojekt II: Schule• Einflussfaktoren auf die

Generierung und Nutzung evidenzbasierten Wissens

• Theoretical Sampling: Fallschulen, die sich durch geringe oder starke Evidenznutzung auszeichnen

• Netzwerkanalyse• vertiefende Interviews genauere Bestimmung der

tatsächlich genutzten Evidenzen Anlässe und Motivationen zur

Nutzung der Evidenzen erfassen

26