PIRLS & TIMSS 2011 - BIFIE€¦ · des österreichischen Schulwesens Alpenstraße 121 / 5020...

Birgit Suchań, Christina Wallner-Paschon, Silvia Bergmüller & Claudia Schreiner (Hrsg.)

PIRLS & TIMSS 2011Schülerleistungen in Lesen, Mathematik und Naturwissenschaft in der GrundschuleDie Studie im Überblick

Leykam

Bundesministerium für Unterricht, Kunst und KulturMinoritenplatz 5 / 1014 WienDas Bundesministerium hat die Durchführung der IEA-Studien PIRLS & TIMSS in Österreich beauftragt.

Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121 / 5020 SalzburgDirektoren: Mag. DI Dr. Christian Dorninger & DDr. Günter Haider

www.bifie.at

PIRLS & TIMSS 2011. Schhülerleistungen in Lesen, Mathematik und Naturwissenschaft in der Grundschule. Die Studie im Überblick.Birgit Suchań, Christina Wallner-Paschon, Silvia Bergmüller & Claudia Schreiner (Hrsg.).Graz: Leykam 2012. ISBN 978-3-7011-7848-3Einbandgestaltung und Layout: Die Fliegenden Fische, Salzburg & Andreas Kamenik, BIFIE I Zentrales Management & Services Satz: Sandra Hechenberger, BIFIE I Zentrales Management & Services Druck: Medienfabrik Graz GmbH, 8020 Graz© by Leykam Buchverlagsgesellschaft m. b. H. Nfg. & Co. KG, Graz 2012www.leykamverlag.at

Kein Teil des Werks darf in irgendeiner Form (durch Fotografie, Mikrofilm oder ein anderes Verfahren) ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.

Bildung ist der Schlüssel zu gesellschaftlicher und kultureller Teilhabe, zu wirtschaftlichem und sozialem Wohlstand. Durch Bildung schaffen wir die Grundlagen für ein demokratisches Zusammenleben und eine starke Zivil-gesellschaft sowie für Wachstum und Beschäftigung.

Auf dieses Fundament muss jede und jeder, unabhängig von sozialer Her-kunft oder Migrationshintergrund, aufbauen können. Chancengerechtig-keit im Bildungssystem ist ein prioritäres Ziel eines mit Weitblick geplanten Bildungssystems. Die Sicherstellung von Schlüsselkompetenzen ist dabei ein essentieller Bestandteil dieses Auftrages.

Die Qualität der Ergebnisse von internationalen Vergleichen ist dabei immer an ihrem Zustandekommen zu messen. Der Einsatz von nachvoll-ziehbaren Methoden, deren ausführliche Beschreibung und die Dokumen-tation des gesamten Forschungsprozesses sind die Grundbedingungen jeder wissenschaftlichen Forschung. Wenn Ergebnisse internationaler empiri-scher Studien zur Grundlage politischer Diskussionen und letztendlich zum Ausgangspunkt faktenbasierter Politik werden, ist die Einhaltung dieser Regeln umso wichtiger. Die vorliegende „Studienbeschreibung“ soll diesem Zweck dienen.

Dieser Bericht enthält ausführliche Informationen über die Studien PIRLS (Progress in International Reading Literacy Study) – die zum zweiten Mal in Österreich durchgeführt wurde – und TIMSS (Trends in International Mathematics and Science Study), an der nun bereits zum dritten Mal öster-reichische Schülerinnen und Schüler teilgenommen haben.

Diese beiden Studien stellen für den Volksschulbereich den derzeit wichtigsten Baustein des österreichischen Bildungsmonitorings dar. Für die Durchführung der beiden Studien danke ich den Wissenschaftlerinnen und Wissenschaftlern des BIFIE (Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens) um Projekt-leiterin Mag.a Dr.in Birgit Suchań, Zentrumsleiterin Mag.a Dr.in Claudia Schreiner und Direktor DDr. Günter Haider.

Dr.in Claudia SchmiedBundesministerin für Unterricht, Kunst und Kultur

Vorwort

Inhalt

3 Vorwort

5 1 Hintergrund und Ziele von PIRLS & TIMSS

8 2 Die Organisation von PIRLS & TIMSS

12 3 Was messen PIRLS & TIMSS?

49 4 Population und Stichprobe von PIRLS & TIMSS

52 5 Tests und Fragebögen

60 6 Datenerhebung und -verarbeitung

66 7 Der Feldtest zu PIRLS & TIMSS 2011

68 8 Datenaufbereitung für die Ergebnisanalysen

80 9 Qualitätssicherung

84 10 Ergebnisse und Produkte von PIRLS & TIMSS

85 Bibliografie

Groß angelegte internationale Vergleiche von Schülerleistungen (Large-Scale-Assess-ments) werden bereits seit den 1960er- Jahren durchgeführt. Österreich hat jedoch erst 30 Jahre später begonnen, sich spora-disch daran zu beteiligen: 1989 erfolgte eine Teilnahme an der Computerstudie COMPED (Computers in Education Study ) und 1995 an der Mathematik- und Naturwissenschaftsstudie TIMSS, die da-mals unter der Bezeichnung Third Interna-tional Mathematics and Science Study lief. Beide Studien wurden von der IEA (Inter-national Association for the Evaluation of Educational Achievement) initiiert.

Der Durchbruch in Richtung einer regel-mäßigen Erhebung von Schülerleistungen erfolgte hierzulande erst nach der Jahrtau-sendwende mit der OECD-Studie PISA (Programme for International Student Assessment). An dieser Studie beteiligt sich Österreich seit dem Jahr 2000 alle drei Jahre. PISA nimmt jedoch ausschließlich die Leistungen von Schülerinnen und Schülern am Ende ihrer Pflichtschulzeit (15-/16-Jährige) in den Blick. Um darüber hinaus Informationen zu den Leistungen jüngerer Schüler/innen zu erhalten, betei-ligt sich Österreich seit 2006/2007 auch an den Grundschulstudien PIRLS (Progress in International Reading Literacy Study) und TIMSS (Trends in International Mathema-tics and Science Study).

PIRLS & TIMSS erheben die Kompeten-zen von Schülerinnen und Schülern am Ende der vierten Schulstufe. Dieser Zeit-punkt markiert in Österreich den Über-gang von der Volksschule zur Sekundar-stufe I. Durch ihre unterschiedlichen Erhebungszyklen (PIRLS alle fünf Jahre und TIMSS alle vier Jahre) fanden die bei-den Studien bisher immer getrennt und unabhängig voneinander statt. Im Jahr 2011 fielen PIRLS & TIMSS erstmals zu-sammen. Damit konnte nun sowohl die

Lese- als auch die Mathematik- und Natur-wissenschaftskompetenz von Grundschul-kindern gleichzeitig erhoben werden – eine Gelegenheit, die sich erst wieder in 20 Jah-ren bieten wird.

Ziel internationaler Schülerleistungsstudien ist die Messung der Qualität von Bildungs-systemen in Form ihres Outputs (dessen, was Kinder bisher gelernt haben) und der Vergleich dieser über alle Teilnehmerländer hinweg (Benchmarking). Darüber hinaus wird eine Reihe an Hintergrundinformati-onen erhoben, die Hinweise auf mögliche Bedingungsfaktoren guter bzw. schwacher Schul leistungen liefern. Daraus können faktenbasierte Maßnahmen für eine Quali-tätsverbesserung im Bildungssystem abge-leitet werden. Die Effektivität politischer Maßnahmen kann daraufhin anhand der Ergebnisse in späteren Studienzyklen ge-prüft werden. Internationale Large-Scale-Assessments bilden damit ein wesentliches Standbein eines umfassenden nationalen Bildungsmonitorings.

In Österreich ist die Tradition, sich regel-mäßig an internationalen Studien zu betei-ligen, verhältnismäßig jung. Dennoch habe n die Ergebnisse von PISA, PIRLS & TIMSS die bildungspolitische Debatte ge-prägt und wesentliche Reformen angeregt. Erwähnenswert ist hier das verpflichtende Kindergartenjahr für alle 5-Jährigen. Im September 2010 wurde diese Maßnahme mit dem Ziel, mehr Chancengleichheit bei Schuleintritt zu schaffen, gesetzt.

Die Verordnung und die Implementierung nationaler Bildungsstandards für die vierte und achte Schulstufe können ebenfalls als Konsequenz der politischen Diskussion rund um das Abschneiden österreichischer Schüler/innen bei internationalen Studien betrachtet werden. Mit der Durchführung der Standardüberprüfungen wird das Bil-dungsmonitoring in Österreich um eine

Liebe Leserin, lieber Leser!

Ebene erweitert. Während internationale Studien länderü-bergreifende Benchmarks etablieren, sind Bildungsstan-dards konkret formulierte Lern ergebnisse, die aus den öster-reichischen Lehrplänen abgeleitet wurden. Die Bil - dungsstandards legen jene Kompetenzen fest, die Schüler/innen bis zum Ende der vierten bzw. bis zum Ende der ach-ten Schulstufe erworben haben sollen. Durch die Rückmel-dung der Bildungsstandard- Ergebnisse erfährt auch jede Schule, jede/r Lehrer/in und jede/r Schüler/in seine/ihre ei-genen Ergebnisse im Vergleich zu anderen Schulen, Klassen bzw. Schülerinnen und Schülern. Damit verlagert sich auch die Ergebnisrückmeldung von der nationalen Ebene hin zur i ndividuellen Ebene und die anschließende Qualitätsent-wicklung wird um eine wichtige Komponente erweitert. Internationale Studien bieten dann eine externe Kontrolle, ob sich solche nationalen Maßnahmen in internationalen Vergleichswerten niederschlagen.

Zu guter Letzt sei auch noch die standardisierte und kom-petenzorientierte Reifeprüfung als eine Reform erwähnt, die, angeregt durch die Bildungsdiskussion der Ergebnisse von internationalen Studien, in Österreich umgesetzt wird.

Die nationale Berichtlegung zu PIRLS & TIMSS 2011 um-fasst aktuell zwei Publikationen – eine Studienbeschreibung sowie einen Ergebnisbericht –, die zeitgleich mit den inter-nationalen Berichten der IEA im Dezember 2012 veröffent-licht werden. Die hier vorliegende Broschüre „PIRLS & TIMSS 2011. Schülerleistungen in Lesen, Mathematik und Naturwissenschaft in der Grundschule. Die Studie im Überblick“ bietet umfangreiche Informationen zur Durch-führung von PIRLS & TIMSS 2011 – vor allem für jene Aspekte der Studie, die als Hintergrund für die Interpreta-tion der Ergebnisse relevant sind. Es handelt sich hierbei im Wesentlichen um eine Kurzform des Technischen Be-richts (Suchań & Schreiner, in Vorbereitung).

In Österreich gehört die Durchführung internationaler Assessments zu den gesetzlichen Kernaufgaben des BIFIE (Bundesinstitut für Bildungsforschung, Innovation & Ent-wicklung des österreichischen Schulwesens) in Salzburg. Daher ist das BIFIE seit seiner Gründung 2008 auch für alle IEA-Studien verantwortlich.

Wir möchten uns an dieser Stelle bei all jenen bedanken, die zum Gelingen dieses Projekts einen wesentlichen Beitrag geleistet haben: allen voran bei den Schülerinnen und Schü-lern sowie deren Eltern, bei den Lehrkräften und den Direk-torinnen und Direktoren der beteiligten Schulen sowie bei den Testleiterinnen und Testleitern – mit ihrer Unterstüt-zung ist es gelungen, sämtliche international vorgegebenen Qualitätskriterien nicht nur einzuhalten, sondern deutlich zu übertreffen und repräsentative Daten im Hinblick auf die Lese-, Mathematik- und Naturwissenschaftskompetenz von Schülerinnen und Schülern der vierten Schulstufe zu sammeln.

Im Zusammenhang mit der vorliegenden Publikation geht unser Dank an Sandra Hechenberger für den Satz der Bro-schüre sowie an Martin Schreiner für das Lektorat.

Dr.in Birgit SuchańMag.a Christina Wallner-PaschonDr.in Silvia BergmüllerDr.in Claudia Schreiner

Salzburg, Dezember 2012

Hintergrund und Ziele von PIRLS & TIMSS 5

�� Erhebung von qualitativ hochwertigen Leistungs- und Hintergrunddaten, um Faktoren, die im schulischen und außer-schulischen Bereich das Lehren und Lernen beeinflussen, besser zu ver stehen; �� Weiterentwicklung und Verbesserung

der Effektivität und Effizienz von Bil-dungssystemen;�� Aufbau einer weltweiten Forschungsge-

meinschaft im Bereich der Bildungseva-luation.

PIRLS & TIMSS – Die Grund-kompetenzen von Volksschul-kindern im Blick

Lesen ist eine der wichtigsten Kulturtech-niken, die die Kinder am Beginn ihrer Schullaufbahn erwerben. Die Kernkompe-tenz Lesen ist eine wesentliche Basis für den weiteren Wissenserwerb, ermöglicht die persönliche Weiterentwicklung und lie-fert ein unerlässliches Werkzeug für das tägliche Leben. Daher ist PIRLS auf die Lesekompetenz der Schüler/innen fokussiert sowie auf ihre bisherigen Erfahrungen beim Lesenlernen in der Schule und zu Hause.

Der Testzeitpunkt am Ende der Grund-schule (Ende der vierten Schulstufe) mar-kiert eine entscheidende Schwelle in der Entwicklung der Lesekompetenz: Das Lesenlernen sollte (großteils) bereits abge-schlossen und in ein „Lesen-um-zu-Ler-nen“ übergegangen sein2 (Mullis, Martin,

1. Hintergrund und Ziele von PIRLS & TIMSS

BirgitSuchan

PIRLS (Progress in International Reading Literacy Study) und TIMSS (Trends in International Mathematics and Science Study) sind internationale Studien zur regel -mäßigen Erfassung der Lese- bzw. Mathe-matik- und Naturwissenschaftsleistung von Schülerinnen und Schülern in der vierten (und achten)1 Schulstufe. Ziel dieser Stu-dien ist es zu zeigen, wie gut es unterschied-lichen Bildungssystemen gelingt, den Kindern grundlegende Kompetenzen zu vermitteln. Die Ergebnisse von PIRLS & TIMSS liefern den Bildungsverantwort-lichen der teilnehmenden Länder Ansatz-punkte für Maß nahmen zur Qualitätsverbes-serung auf Schul- und Systemebene und bilden damit eine wichtige Grundlage für eine evidenzbasierte Bildungspolitik.

PIRLS & TIMSS wurden von der interna-tionalen Forschergemeinschaft IEA (Inter-national Association for the Evaluation of Educational Achievement) ins Leben geru-fen. Innerhalb der letzten 50 Jahre hat diese Organisation zahlreiche groß angelegte Ver -gleichsstudien im Bereich der Bildungsfor-schung durchgeführt. PIRLS & TIMSS wurden 2001 bzw. 1995 in das Studienpro-gramm der IEA aufgenommen, mit dem u. a. folgende Ziele verfolgt werden:

�� Bereitstellung internationaler Vergleichs-werte, die den politischen Entschei-dungsträgerinnen und -trägern helfen können, Stärken und Schwächen ihres Bildungssystems im Ländervergleich zu erkennen;

1 PIRLS testet die Schüler/innen ausschließlich auf der vierten Schulstufe; TIMSS hingegen erhebt die Leistun-gen der Schüler/innen der vierten und achten Schulstufe, wobei die Teilnehmerländer entscheiden können, ob sie sich an der Testung beider oder nur einer Schulstufe beteiligen. Österreich nahm sowohl 2007 als auch 2011 bei TIMSS nur auf der vierten Schulstufe teil.

2 In einigen Ländern ist bei der Mehrheit der Kinder auf der vierten Schulstufe der Erwerb der basalen Lesefer-tigkeiten noch nicht abgeschlossen. Für diese Länder bestand die Möglichkeit, die Kinder erst in der fünften oder sechsten Schulstufe zu testen (mit den regulären Aufgaben) oder mithilfe einfacherer Texte und Aufgaben auf der vierten Schulstufe („prePIRLS“). Die Ergebnisse dieser Länder sind aufgrund ihrer mangelnden Ver-gleichbarkeit nicht im österreichischen Ergebnisbericht (Suchań, Wallner-Paschon, Bergmüller & Schreiner, 2012) enthalten.

´

6 PIRLS & TIMSS 2011: Die Studie im Überblick

und Schwächen im eigenen Bildungssystem und unter-stützt damit die Qualitätsentwicklung auf Systemebene.�� Mit Fragebögen werden zusätzlich zu den Leistungs-

daten Kontextindikatoren erhoben. Dies sind Merkmale, von denen angenommen wird, dass sie mit dem Lernen von Lesen, Mathematik und Naturwissenschaft zusam-menhängen und damit einen wichtigen Erklärungsbei-trag für unterschiedliche Schülerleistungen liefern. Zur Gewinnung dieser Hintergrundinformationen werden auf folgenden Ebenen Fragebögen eingesetzt: Individu-alebene (Fragebogen für Schüler/innen sowie für deren Eltern), Klassenebene (Fragebogen für die Lehrkräfte), Schulebene (Fragebogen für die Schulleiter/innen) so-wie Systemebene (Lehrplanfragebogen für die jeweiligen Lehrplanexpertinnen und -experten). Zusätzlich gibt es die so genannte Enzyklopädie – eine Beschreibung wesentlicher Merkmale der Schulsysteme der einzelnen Teilnehmerländer in Buchform (diese ist unter http://timssandpirls.bc.edu/pirls2011/encyclopedia-pirls.html für PIRLS bzw. unter http://timssandpirls.bc.edu/timss2011/encyclopedia-timss.html für TIMSS kosten-los verfügbar).�� Durch die wiederholt stattfindenden standardisierten

Leistungserhebungen im Fünf- bzw. Vier-Jahres-Rhyth-mus und den Vergleich dieser Ergebnisse über die Zeit hinweg entstehen Trendindikatoren. Damit kann die zeitliche Entwicklung von Schülerleistungen dargestellt werden. Es wird sichtbar, ob zwischenzeitliche Verände-rungen und Reformen im Schulsystem leistungsrelevan-te Wirkungen haben. Die wiederholte Durchführung der Studien ermöglicht allerdings nicht nur die Betrach-tung von Veränderungen in den Basis- und Kontextin-dikatoren, sondern auch die Beobachtung von Verände-rungen im Zusammenspiel von Leistungsdaten und Hintergrundmerkmalen.

Durch die regelmäßige Erfassung dieser Indikatoren wird eine systematische Datenbasis aufgebaut, die eine weiterfüh-rende und fundierte bildungswissenschaftliche Analyse er-laubt.

Was leisten internationale Studien?

International vergleichende Studien wie PIRLS, TIMSS und PISA messen den Ertrag von Bildungssystemen an wichtigen Schnittstellen in der Schullaufbahn von Kindern und Jugendlichen. Dabei kann sowohl der Ist-Stand der Schülerleistungen als auch deren zeitliche Veränderung beschrieben und im Ländervergleich dargestellt werden. Mithilfe der Hintergrunddaten kann darüber hinaus festge-stellt werden, ob die erbrachten Leistungen mit bestimmten

Kennedy, Trong & Sainsbury, 2009). Zudem fällt der Erhe-bungszeitpunkt in Österreich mit der ersten Bildungsweg-entscheidung zusammen – dem Übertritt in die Sekundar-stufe I (Hauptschule, Gymnasium oder Neue Mittelschule).

PIRLS wird seit 2001 im Abstand von fünf Jahren durchge-führt; 2011 fand somit die dritte Erhebung statt. Länder, die sich bereits 2001 und/oder 2006 beteiligten, haben nun die Möglichkeit, die Leistungen der Schüler/innen im Zeit-verlauf zu analysieren. In Österreich wurde nach 2006 zum zweiten Mal die Lesekompetenz der Viertklässler/innen ge-testet.

Neben Lesen sind auch mathematische und naturwissen-schaftliche Kenntnisse im täglichen Leben unumgänglich – beispielsweise, wenn es um finanzielle oder gesundheitliche Entscheidungen geht, aber auch in gesellschaftlich relevan-ten Bereichen wie etwa der Umweltproblematik. Seit 1995 wird daher von der IEA die TIMSS-Studie zur Erfassung der Mathematik- und Naturwissenschaftskompetenz durch-geführt. Sie findet im Vier-Jahres-Rhythmus statt und testet Schüler/innen der vierten und achten Schulstufe3. TIMSS wurde 2011 bereits zum fünften Mal durchgeführt. Öster-reich beteiligte sich 1995 an der Erhebung auf beiden Schulstufen (sowie in der Sekundarstufe II, die seither von der IEA als eigene Studie TIMSS-Advanced fortgeführt wird); 2007 und 2011 nahm Österreich ausschließlich mit der vierten Schulstufe an TIMSS teil.

Eine Besonderheit an der Erhebung 2011 war, dass der Fünf-Jahres-Rhythmus von PIRLS und der Vier-Jahres-Rhythmus von TIMSS erstmals aufeinandertrafen. Die Länder hatten damit die Möglichkeit, beide Studien kombi-niert durchzuführen und dadurch sowohl die Lese- als auch die Mathematik- und Naturwissenschaftsleistungen ihrer Schüler/innen zu testen.

Ziele von PIRLS & TIMSS

PIRLS & TIMSS bieten den Teilnehmerländern regelmäßig international vergleichbare Leistungsdaten ihrer Schüler/innen der vierten (und achten) Schulstufe. In Kombination mit den Hintergrundinformationen aus einer Reihe von Fragebögen sind PIRLS & TIMSS in der Lage, folgende Indikatoren zur Beschreibung der Qualität von Bildungs-systemen zu liefern:

�� Die aus den PIRLS- und TIMSS-Tests gewonnenen Leistungsdaten dienen als Basisindikatoren. Der direkte Vergleich der Leistungsergebnisse mit jenen anderer Teilnehmerländer ermöglicht das Erkennen von Stärken

3 Analog zu PIRLS konnten die Länder auch bei TIMSS 2011 erstmals die regulären Aufgaben für die vierte Schulstufe in einer höheren Stufe einsetzen. Die Ergebnisse dieser Länder sind wie bei PIRLS aufgrund ihrer mangelnden Vergleichbarkeit nicht im österreichischen Ergebnisbericht (Suchań, Wallner-Paschon, Bergmüller & Schreiner, 2012) enthalten.

Hintergrund und Ziele von PIRLS & TIMSS 7

Schülermerkmalen, dem familiären Hintergrund oder mit Merkmalen von Schule und Unterricht zusammen hängen und ob sich diese Zusammenhänge über die Zeit hinweg ändern. Es ist also möglich, aufzuzeigen, welche Merkmale mit besseren oder schlechteren Leistungen einhergehen. Es ist jedoch nicht möglich, einzelne Merkmale eindeutig als Ursache für erbrachte Leistungen zu identifizieren. Hierzu wären Längsschnittstudien notwendig, die dieselben Schü-ler/innen zu mehreren Messzeitpunkten untersuchen.

Ein Vergleich der Bildungssysteme im Hinblick auf ihre Struktur, den Lehrplan, die Unterrichtspraxis und die damit zusammenhängenden Leistungen der Schüler/innen bietet eine wesentliche Grundlage für eine faktenbasierte Bil-dungspolitik und trägt damit zur kontinuierlichen Quali-tätsentwicklung nationaler Bildungssysteme bei. Da die Daten bei international vergleichenden Studien in einem breiten Kontext erhoben und betrachtet werden, sind sie eine wesentliche Ergänzung zu nationalen Leistungser-hebungen wie beispielsweise den Bildungsstandards.

Die Teilnehmerländer

Österreich hat bei PIRLS & TIMSS 2011 ausschließlich an der Erhebung auf der vierten Schulstufe teilgenommen, weshalb sich die Darstellung der Teilnehmerländer in Abbildung 2.1 auf diese Schulstufe be-schränkt. 45 Länder und acht Regionen1

haben sich an PIRLS 2011 beteiligt sowie 50 Länder und sieben Regionen an TIMSS 2011. Davon haben 37 Länder und sechs Regionen sowohl PIRLS als auch TIMSS auf der vierten Schulstufe durchgeführt.

Die internationale Organisation

Die IEA als Initiator der beiden Studien trägt die übergeordnete Projektverantwor-tung. Grundlegende Entscheidungen, die neben PIRLS & TIMSS auch alle anderen IEA-Studien betreffen, werden in der jähr-lich stattfindenden General Assembly (Generalversammlung) aller Vertreter/ innen der Mitgliedsländer getroffen. Der österreich i sche Vertreter in diesem Gremi-um ist Dr. Mark Német (bm:ukk). Die IEA beauftragte das PIRLS & TIMSS Internati-onal Study Center (ISC) am Boston College mit der internationalen Koordination und Durchführung der beiden Studien. Dabei arbeitet dieses Projektzentrum eng mit dem IEA-Sekretariat in Amsterdam zusammen. Letzteres ist für die Mitgliedschaften sowie für die Überprüfung (Verifikation) sämt-licher über setzter Testinstrumente der Teil-nehmerländer und die Schulung der inter-national eingesetzten Qualitätsbeobachter/innen (s. Kapitel 9) verantwortlich.

Weitere Kooperationen bestehen mit (1) dem IEA Data Processing and Research Center (DPC) in Hamburg bei der Verar-beitung und Prüfung der erhobenen Daten,

(2) Statistics Canada in Ottawa bei der Stichprobenziehung für die einzelnen Teil-nehmerländer und (3) mit dem Educatio-nal Testing Service (ETS) in Princeton, New Jersey, hinsichtlich messtheoretischer Be-lange.

Für jeden Kompetenzbereich (Lesen, Ma-thematik und Naturwissenschaft) gab es eine/n Fachkoordinator/in (Konsultant/in), die/der mit dem ISC bei der Erstellung der Testinstrumente zusammenarbeitete. Zusätzliche Unterstützung bei dieser Auf-gabe kam von internationalen Experten-gruppen, die die Test instrumente während der Entwicklung regelmäßig begutachte-ten. Diese wurden sowohl für jeden Kom-petenzbereich als auch für die Fragebögen gebildet und setzten sich aus jeweils acht bis zwölf Personen aus verschiedenen Teil-nehmerländern zusammen. Dadurch wur-de die wissenschaftliche Expertise des ISC durch praktisches Know-how aus den Teil-nehmerländern ergänzt.

Für die Umsetzung der Studie gibt es in jedem Land ein nationales Projektzentrum. Der National Research Coordinator (NRC) ist im jeweiligen Land für die Durchfüh-rung der Studie unter Einhaltung sämt-licher internationaler Richtlinien verant-wortlich.

Die nationale Organisation

In Österreich gehört die Durchführung internationaler Assessments zu den gesetz-lichen Kernaufgaben des BIFIE (Bundesin-stitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schul-wesens) in Salzburg unter der Leitung von Dr.in Claudia Schreiner. Daher ist das BIFIE seit seiner Gründung 2008 auch für


2. Die Organisation von PIRLS & TIMSS BirgitSuchan

1 Diese Regionen werden international als Benchmarking Participants bezeichnet. Sie beteiligen sich unabhängig von einer landesweiten Testung an PIRLS und/oder TIMSS, um eigene Vergleichsdaten zu erhalten.

´

Die Organisation von PIRLS & TIMSS 9

Deutschland DEU*

AlbertaCAN (AB)

Australien AUS

AserbaidschanAZE

nur TIMSSnur PIRLS PIRLS & TIMSS

Marokko MAR

Hongkong HKG

Litauen LTU*

Katar QAT

Kroatien HRV

Neuseeland NZL

Regionen (Benchmarking Participants)

Teilnehmende Länder PIRLS & TIMSS 2011

AndalusienESP (AN)*

MaltaMLT (mt)*

Abu DhabiARE (AD)

Dubai ARE (DU)

Florida USA (FL)North CarolinaUSA (NC)

Finnland FIN*

England GBR (E)*

Malta MLT*

Niederlande NLD*

Spanien ESP*

Rumänien ROU*

Portugal PRT*

Taiwan TWN

Saudi-Arabien SAU

TschechischeRepublik CZE*

Slowenien SVN*

Slowakische Republik SVK*

Russland RUS

Polen POL*

Oman OMN

Schweden SWE*

Singapur SGP

Vereinigte Staatenvon Amerika USA

Vereinigte Arabische Emirate ARE

Ungarn HUN*

Österreich AUT*

Norwegen NOR

Dänemark DNK*

Bulgarien BGR*

Israel ISR

Belgien (fr)BEL (fr)*

Kolumbien COL

Indonesien IDN

Frankreich FRA*

Kanada CAN

Trinidad und Tobago TTO

Belgien (fl)BEL (fl)*

Chile CHL

Serbien SRB

Türkei TUR

Tunesien TUN

Kasachstan KAZ

Armenien ARM

Bahrain BHR

Japan JPN

Korea KOR

Kuwait KWT

Jemen YEM

Thailand THA

Nordirland GBR (N)*

Italien ITA*

Irland IRL*

Iran IRN

Georgien GEO

Quebec CAN (QC)

Ontario CAN (ON)

* Teilnehmerland ist Mitglied der Europäischen Unionausgewählte Vergleichsländer sind fett hervorgehoben

Abb. 2.1: PIRLS- und TIMSS-Teilnehmerländer auf der vierten Schulstufe (PIRLS & TIMSS 2011)


alle IEA-Studien verantwortlich (auf https://www.bifie.at/bifie/kernaufgaben finden sich weiterführende Informatio-nen). Aufgabe des BIFIE ist die wissenschaftliche Planung und praktische Umsetzung der beiden Studien; PIRLS- und TIMSS-NRC für Österreich ist Dr.in Birgit Suchań. In Zu-sammenarbeit mit dem ISC wurde am BIFIE das Untersu-chungsdesign an die nationalen Gegebenheiten angepasst, die Aufgaben und Frage bögen wurden mitentwickelt, über-setzt und an österreichische Besonderheiten adaptiert. Dar-über hinaus organisierte das nationale Zentrum die Erhe-bungen an den Schulen, führte die Dateneingabe durch und analysierte die Daten für den ersten Ergebnisbericht.

Der zeitliche Ablauf von PIRLS & TIMSS 2011 in Österreich

Ein vollständiger Erhebungsdurchgang von PIRLS bzw. TIMSS erstreckt sich jeweils über fünf bzw. vier Jahre. Abbildung 2.2 gibt einen Überblick über den zeitlichen Ablauf. Aufgrund dieser unterschiedlichen Projektzyklen fanden die Vorbereitungen für den Feldtest der beiden Stu-dien zeitlich versetzt statt. Für PIRLS wurde bereits im April 2008 mit der Aktualisierung der Frameworks (theoretischer und konzeptioneller Rahmen; s. Kapitel 3) sowie mit der Sammlung und Begutachtung von geeigneten Texten be-gonnen. Bis zum Feldtest im März 2010 mussten die Tests und Fragebögen entwickelt, übersetzt, national angepasst und gedruckt werden. Bei TIMSS begannen die Arbeiten am Framework und die Entwicklung der Aufgaben Anfang 2009.

Der Feldtest (s. Kapitel 7) im Frühjahr 2010 diente zur Erprobung sämtlicher Materialien und Abläufe. Auf Basis der Daten aus dem Feldtest wurden die endgültigen Aufga-ben sowie die Fragen in den Hintergrundfragebögen für die eigentliche Datenerhebung – den Haupttest – festgelegt. Der Haupttest fand in Österreich von Ende März bis Mitte Mai 2011 statt.

Bis zur Veröffentlichung der ersten Ergebnisse dauert es vom Zeitpunkt der Tests an noch etwa eineinhalb Jahre. In dieser Zeit wurden die Daten in allen Teilnehmerländern elektronisch erfasst, mehrfach geprüft und für die Daten-analysen aufbereitet (skaliert und gewichtet). Parallel zu den Berichten des ISC über die Lese-, Mathematik- und Naturwissenschaftskompetenz der Schüler/innen veröffent-licht das BIFIE im Dezember 2012 neben der vorliegenden Studienbeschreibung die Broschüre „Erste Ergebnisse“ so-wie den nationalen Technischen Bericht. Alle Publikationen des BIFIE zu PIRLS & TIMSS 2011 sind unter https://www.bifie.at/pirls bzw. https://www.bifie.at/timss kostenlos verfügbar.

Die Organisation von PIRLS & TIMSS 11

456789

101112123456789

101112123456789

101112123456789

101112123456789

101112

2008

2009

2010

2011

2012

PIRLS TIMSS

Entwicklung der Frameworks

Auswahl der Texte sowie Entwicklung der Testitems und Fragebögen für den Feldtest

Begutachtung der Testitems und Fragebögen durch internationale Expertengruppen und NRC

Übersetzung, Verifikation, Druck und Verpackung der

Testinstrumente

Stichprobenziehung auf Schulebene für Feld- und Haupttest

Vorb

erei

tung

Fel

dte

stH

aup

ttes

tD

aten

aufb

erei

tung

und

-an

alys

e

DATENERHEBUNG FELDTEST

Information der Schulbehörden und Schulen; Stichprobenziehung auf Klassenebene;

Testleiterschulungen

Bewertung der Schülerantworten; Dateneingabe, nationales & internationales Filecleaning

Analyse der Feldtestdaten; Begutachtung und Auswahl der Aufgaben für den Haupttest

Überarbeitung und Verifikation der Testinstrumente für den Haupttest;Information der Schulbehörden und Schulen;

Stichprobenziehung auf Klassenebene

Druck und Verpackung der Testinstrumente;Testleiterschulungen

DATENERHEBUNG HAUPTTEST

Bewertung der Schülerantworten; Dateneingabe und nationales Filecleaning

Internationales Filecleaning; internationale Itemanalysen

Analyse der Daten und Erstellung Ergebnisbericht

Veröffentlichung der Ergebnisse

Internationale Datenskalierung und Gewichtung; Erstellung des internationalen Datensatzes;

Datenreview durch NRC; Einarbeitung der Länderrückmeldungen

Entwicklung der Frameworks

Entwicklung der Testitems und Fragebögen für den Feldtest

Begutachtung der Testitems und Fragebögen durch internationale Expertengruppen und NRC

Übersetzung, Verifikation, Druck und Verpackung der

Testinstrumente

Abb. 2.2: Meilensteine von PIRLS & TIMSS 2011 in Österreich

Die Frameworks

Ein Erhebungsdurchgang von PIRLS bzw. TIMSS beginnt immer mit der Festlegung, welche Inhalte getestet werden sollen. Dazu wird ein Framework erstellt – ein theoreti-scher und konzeptioneller Rahmen für die gesamte Erhebung. Das Framework für PIRLS bzw. TIMSS beschreibt und be-stimmt im Vorfeld folgende Aspekte: �� Kompetenzen, die die Schüler/innen

am Ende der vierten Schulstufe in Lesen bzw. Mathematik und Naturwis-senschaft aufweisen sollen;�� Hintergrundinformationen, die auf

Schüler-, Eltern-, Lehrer- und Schul-ebene mithilfe von Fragebögen erhoben werden;�� Testdesign (Testzeit und Zusammen-

stellung der Testhefte).

Die Frameworks von PIRLS & TIMSS be-schreiben ein gemeinsames Verständnis dessen, was getestet und erhoben werden soll, und legen damit ähnlich wie ein Lehr-plan oder Deskriptoren von Bildungsstan-dards ein Ziel fest. Darüber hinaus bilden die Frameworks die Basis für die Erstellung sämtlicher Testinstrumente.

Die Entwicklung der Frameworks von PIRLS und TIMSS fand in Kooperation des International Study Center (ISC) mit den internationalen Expertengruppen und nationalen Projektmanagern (NRC) statt. Die aktuellen Frameworks bauen stets auf jenen der vorhergehenden Erhebungen (PIRLS 2006 bzw. TIMSS 2007) auf. Dies gewährleistet Kontinuität in den Testberei-chen und ermöglicht es, die Leistungen der Schüler/innen über die Zeit hinweg zu ver-gleichen sowie Trends zu beobachten.

PIRLS – Lesekompetenz

Die PIRLS-Studie erhebt Lesen als Kern-kompetenz bei Schülerinnen und Schülern am Ende ihrer Grundschulzeit und richtet den Fokus nicht nur auf die Leseleistung selbst, sondern auch auf das Leseverhalten und die Einstellung zum Lesen.

Lesekompetenz ist eine der wichtigsten Kulturtechniken, die Schüler/innen im Laufe ihrer ersten Schuljahre erwerben. Als Kernkompetenz stellt sie eine wesentliche Basis für das Lernen innerhalb und außer-halb der Schule, für die persönliche Weiter-entwicklung und die Teilnahme am gesell-schaftlichen Leben dar.

Das der PIRLS-Studie zugrunde liegende Konzept von Lesekompetenz stammt aus der angloamerikanischen Literacy-Traditi-on. Dabei wird im Vorfeld festgelegt, wel-che Fähigkeiten in praktischer Hinsicht von der Gesellschaft als wichtig erachtet werden. Damit folgt auch die Definition von Lesekompetenz bei PIRLS einem prag-matischen Ansatz:


3. Was messen PIRLS & TIMSS? AndreaGrafendorfer,ChristinaWallner-Paschon,BirgitSuchan& KatrinWidauer

LESEHINWEIS

Die vollständigen Frameworks sind unter http://timssandpirls.bc.edu/pirls2011/frame-work.html bzw. http://timssandpirls.bc.edu/timss2011/frameworks.html kostenlos verfüg-bar.

Der Technische Bericht für Österreich beinhal-tet ebenfalls eine Beschreibung der Frame -works zu PIRLS & TIMSS (Wallner- Paschon, Grafendorfer, Widauer & Suchań, in Vorberei-tung).

´

Was messen PIRLS & TIMSS? 13

Lesekompetenz (reading literacy) ist „die Fähigkeit, jene ge-schriebenen Sprachformen zu verstehen und zu nutzen, die von der Gesellschaft verlangt werden und/oder für die jeweilige Per-son nützlich und wertvoll sind. Junge Leser/innen können die Bedeutung von verschiedensten Texten erfassen. Sie lesen, um zu lernen, um an der Gemeinschaft der Lesenden in der Schule sowie im täglichen Leben teilzunehmen und zum Vergnügen“. (Mullis, Martin, Kennedy, Trong & Sainsbury, 2009; deut-sche Übersetzung: BIFIE)

Die Definition zeigt, dass der Begriff Lesekompetenz bei PIRLS relativ weit gefasst ist und neben der Leseleistung selbst auch Aspekte der Motivation sowie die Absichten zu lesen inkludiert. Somit werden bei PIRLS auch folgende drei Aspekte untersucht:

�� das Leseverhalten und die Einstellungen zum Lesen;�� die Leseabsichten;�� die Verstehensprozesse beim Lesen.

Leseverhalten und Einstellungen zum Lesen

Sowohl das Leseverhalten als auch die Einstellung zum Lesen spielen eine wichtige Rolle bei der Entwicklung der Lesekompetenz. Eine positive Leseeinstellung kann dazu beitragen, dass Kinder häufiger zum Vergnügen lesen und sich so in weiterer Folge das Leseverständnis verbessert. Mit einem höheren Leseverständnis sind wiederum anspruchs-vollere Leseerfahrungen möglich. Um Informationen zu Leseeinstellungen und zum konkreten Leseverhalten von Kindern zu erheben, wird bei PIRLS ein Schülerfragebogen eingesetzt, dessen Inhalte in Kapitel 5 beschrieben werden.

Leseabsichten

Kinder der vierten Schulstufe lesen vor allem, um zu lernen und zum Vergnügen, weshalb PIRLS zwischen folgenden beiden Leseabsichten unterscheidet:

1. Lesen, um Informationen zu gewinnen: Zur Erfassung werden Informationstexte eingesetzt, in denen sich die Schüler/innen mit Aspekten der realen Welt auseinan-dersetzen müssen. Informationstexte dienen dem Ver-ständnis, wie die Welt ist und war, und warum Dinge so funktionieren, wie sie funktionieren.

2. Lesen, um literarische Erfahrung zu machen: Dafür werden literarische Texte eingesetzt, in denen ein imagi-näres Ereignis mit all seinen Handlungen und Konse-quenzen beschrieben sowie in eine bestimmte Atmo-sphäre eingebettet vermittelt wird. Die Hauptform literarischer Texte, die bei PIRLS verwendet wird, sind Erzählungen.

Beim Test werden literarische und Informationstexte zu gleichen Teilen eingesetzt, sodass sich jeweils 50 % der Test-zeit auf das Lesen von Erzählungen und das Lesen von In-formationstexten verteilt. Anhand dieser beiden Texttypen sollen die Viertklässler/innen ihr Leseverständnis unter Be-weis stellen. Die Fragen, die sie zu den Texten beantworten müssen, fordern jeweils einen von insgesamt vier Verstehens-prozessen. Diese bilden den dritten Aspekt bei der Erfas-sung der Lesekompetenz im Rahmen von PIRLS.

Verstehensprozesse beim Lesen

Die bei PIRLS gemessene Leseleistung geht über die reine Identifikation von Buchstaben und Wörtern hinaus. Es geht vielmehr um das Verständnis von Sätzen und Texten. Ver-stehendes Lesen erfolgt jedoch nicht einfach durch die Auf-nahme von Informationen im Text, sondern ist ein interak-tiver und konstruktiver Prozess zwischen Leser/in und Text. Leser/innen bringen dabei ein Repertoire an unterschied-lichen Fähigkeiten und Hintergrundwissen mit. Ein Text beinhaltet spezifische Sprach- und Strukturelemente und bezieht sich auf bestimmte Themen. Beim Lesen werden die Textinformationen mit dem jeweiligen Weltwissen der Leser/innen verknüpft, was eine aktive Erfassung der Text-bedeutung ermöglicht (Mullis et al., 2009; Marx, 2007).

Das verstehende Lesen wird bei PIRLS in vier Prozesse aufge-teilt. Diese nehmen auch im PIRLS-Framework einen wesentlichen Platz ein und bilden die Basis für die Aufgaben-konstruktion. Jede Frage zum gelesenen Text stellt, ent - sprechend dem dahinter stehenden Verstehensprozess, basale bis hin zu sehr komplexen Anforderungen an die Leser/innen.

Folgende Verstehensprozesse sind im Framework festgelegt und werden im Lesetest durch entsprechende Aufgaben erfasst:

1. Erkennen und Wiedergeben explizit angegebener Infor-mationen: Dieser Verstehensprozess stellt basale Anforder-ungen an die Leser/innen und der Fokus bleibt dabei auf der Ebene von Sätzen bzw. Phrasen. Es geht darum, einzelne explizit angegebene Informationen in einem Text erkennen und wiedergeben zu können. Hierfür ist das Auffinden genau umschriebener einzelner Textstel-len und das Abschreiben von Informationen aus diesen Textstellen notwendig. Ein Schlussfolgern oder Inter-pretieren ist nicht erforderlich, aber die Schüler/innen müssen die Relevanz der Information in Bezug auf die gestellte Frage erkennen.

Beispiele für das Anforderungsprofil solcher Aufgaben sind: �� nach Definitionen oder Phrasen suchen;�� nach konkreten Ideen im Text suchen;�� zeitliche oder örtliche Angaben machen.


2. Ziehen einfacher Schlussfolgerungen: Beim einfachen Schlussfolgern müssen meist zwei oder mehrere Ideen oder Informationen miteinander verbunden werden. Während die Informationen eindeutig im Text vorhan-den sind, ist der Zusammenhang zwischen diesen Ele-menten hingegen nicht explizit im Text dargelegt, son-dern muss gefolgert werden. Insgesamt handelt es sich dabei um Schlussfolgerungen, die relativ klar und ein-fach sind und bei geübten Leserinnen und Lesern auto-matisiert ablaufen. Von den Schülerinnen und Schülern wird dabei gefordert, zwischen den Zeilen zu lesen und Bedeutungslücken selbst zu füllen. Der Fokus liegt hier nicht mehr auf der Satzebene, sondern bezieht sich meist auf ganze Absätze oder auf den gesamten Text.

Beispiele für das Anforderungsprofil solcher Aufgaben sind:�� Beziehung zwischen zwei Charakteren beschreiben;�� Schlussfolgern, dass ein Ereignis ein anderes verur-

sacht hat;�� eine Kernaussage aus mehreren Aussagen bilden.

3. Interpretieren sowie Verknüpfen von Gedanken und Infor-mationen (komplexes Schlussfolgern): Bei diesem Verste-hensprozess konstruiert der/die Leser/in ein spezifisches oder vollständiges Verständnis des Textes. Dafür sind komplexe Schlussfolgerungen notwendig, für die in der Regel das eigene Weltwissen genutzt werden muss. Die erforderlichen Informationen befinden sich nicht auf der Ebene einzelner Sätze oder Phrasen, sondern sind meist auf mehrere Textteile oder den gesamten Text ver-teilt. Die Verdichtung zu einem roten Faden ist dabei Aufgabe der Leser/innen.

Beispiele für das Anforderungsprofil solcher Aufgaben sind:�� Beschreibung der Stimmung in einer Geschichte; �� Vergleich und Gegenüberstellung von Textinforma-

tionen;�� eine allgemeine Aussage oder ein Thema im Text

beurteilen.

4. Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textelementen: Dieser Verstehensprozess stellt bereits äußerst komplexe Anforderungen an Kinder der vierten Schulstufe. Der Fokus wechselt vom Verstehen der inhaltlichen Bedeutung zu einer kritischen Betrach-tung des Textes an sich. Bei der Bewertung von Inhalt, Sprache und Textstrukturen begibt man sich auf eine Metaebene und nimmt bei der Betrachtung des Textes eine Vogelperspektive ein. Bei dieser Textreflexion wird auf das eigene Wissen über das Textgenre, die Textstruk-tur und Sprachkonventionen zurückgegriffen.

Beispiele für das Anforderungsprofil solcher Aufgaben sind:

�� die Wahrscheinlichkeit beurteilen, dass ein in der Geschichte beschriebenes Ereignis wirklich statt-finden könnte;�� die Absicht der Autorin/des Autors erkennen und

bewerten (beschreiben, wie der Autorin/dem Autor die überraschende Wende am Ende gelang, die Perspektive der Autorin/des Autors zu einem Thema beschreiben etc.);�� den Text auf Vollständigkeit und Klarheit hin beur-

teilen.

Die eben beschriebenen Leseabsichten und Verstehenspro-zesse aus dem PIRLS-Framework bilden die Basis für die Messung der Lesekompetenz. Innerhalb beider Texttypen (Informationstexte und literarische Texte) sollen die Schü-ler/innen die vier Verstehensprozesse zeigen. Wie sich die vorgegebene Testzeit auf diese vier Prozesse des Leseverste-hens verteilt, ist in Tabelle 3.1 dargestellt. Den beiden mitt-leren Verstehensprozessen (einfaches und komplexes Schluss-folgern) wird, mit je 30 %, etwas mehr Zeit eingeräumt. Das Erkennen und Wiedergeben expliziter Informationen als basalste Form der Verstehensprozesse sowie Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textele-menten als komplexer Verstehensprozess wird mit je 20 % der Testzeit etwas weniger stark gewichtet.

Verstehensprozesse Testzeit

Erkennen und Wiedergeben explizit angegebener Informationen

20 %

Ziehen einfacher Schlussfolgerungen 30 %

Interpretieren sowie Verknüpfen von Gedanken und Informationen

30 %

Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textelementen

20 %

Tab. 3.1: Aufteilung der Testzeit auf die Verstehensprozesse (PIRLS 2011)

Beispielaufgaben PIRLS

Im Folgenden werden zwei Originaltexte mit den dazuge-hörigen Fragen aus dem PIRLS-Test vorgestellt. Es handelt sich dabei um eine Auswahl von Materialien aus dem Haupttest 2011, die von der IEA für die Öffentlichkeit frei-gegeben wurden. Die Fragen werden zunächst in Bezug auf den zugrundeliegenden Verstehensprozess, das Fragenfor-mat (offen vs. Multiple Choice) und die erreichbare Punk-tezahl charakterisiert. Danach wird in zusammengefasster Form beschrieben, welche Elemente die Schülerantworten enthalten müssen, um die volle Punkteanzahl oder einen Teil der Punkte zu erhalten. Alle aus PIRLS freigegebenen Texte und dazugehörigen Aufgaben sind unter https://www.bifie.at/pirls abrufbar.


Stimulus: Der Feindkuchen – freigegebener Text aus PIRLS 2011


Kommentar zum Text „Der Feindkuchen“:„Der Feindkuchen“ ist ein Beispiel für einen literarischen Text aus PIRLS 2011. Nachdem die Schüler/innen den Text gelesen hatten, mussten sie 16 Fragen zum Text beantworten, wobei sie – wie bei allen PIRLS-Aufgaben – jederzeit auf den Text zu-rückgreifen konnten.

�� Verstehensprozess: Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textelementen�� Frageformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Um die erste Frage zu diesem literarischen Text richtig beantworten zu können, müssen die Schüler/innen den Inhalt, die Sprache und einzelne Textelemente beurteilen. Es handelt sich um eine Multiple-Choice-Frage, die bei PIRLS immer aus vier Antwortalternativen besteht und bei denen maximal ein Punkt erzielt werden kann. Bei der richtigen Antwort D müssen die Schüler/innen aus dem in der Ich-Form verfassten Text erkennen, dass der Autor bzw. Erzähler in die Rolle von Tom, einer zentralen Figur in der Geschichte, schlüpft.

Der Feindkuchen – freigegebener Text aus PIRLS 2011

Frage 1: Der Feindkuchen aus PIRLS 2011


�� Verstehensprozess: Ziehen einfacher Schlussfolgerungen �� Frageformat: offen�� Maximal erreichbare Punkte: 1

Die Frage, warum Tom am Anfang der Geschichte dachte, dass Jeremy sein Feind wäre, verlangt eine einfache Schlussfolge-rung. Die Antwort muss von den Schülerinnen und Schülern selbst formuliert werden – d. h. es handelt sich um eine offene Frage. Die Antwort wird als richtig bewertet, wenn darauf verwiesen wird, dass Tom so dachte, weil er nicht auf Jeremys Party eingeladen wurde, oder weil Tom befürchtete, dass Jeremy seinen Platz als bester Freund von Stanley einnehmen würde.

�� Verstehensprozess: Erkennen und Wiedergeben explizit angegebener Informationen�� Frageformat: offen�� Maximal erreichbare Punkte: 1

Erkennen und Wiedergeben explizit angegebener Informationen ist der Verstehensprozess, der notwendig ist, um diese offene Frage zu beantworten. Bei einer richtigen Antwort (Regenwürmer oder Steine), die explizit am Ende der ersten Seite im Text zu finden ist, erhalten die Schüler/innen einen Punkt.




�� Verstehensprozess: Interpretieren sowie Verknüpfen von Gedanken und Informationen�� Frageformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Bei Frage 4 wird durch ein Symbol auf einen bestimmten Textteil verwiesen, der mit persönlichem Wissen und eigenen Erfahrungen verknüpft werden muss, um zur richtigen Lösung (B) zu gelangen. Die erforderliche Antwort ist nicht explizit in diesem Textteil zu finden.

�� Verstehensprozess: Ziehen einfacher Schlussfolgerungen�� Frageformat: offen�� Maximal erreichbare Punkte: 2

Durch das Ziehen einfacher Schlussfolgerungen im Hinblick auf die im Text genannten Informationen, soll die Schülerant-wort sowohl Verständnis für die Verwirrtheit von Tom beinhalten, als auch einen Grund dafür nennen. Eine vollständige Schülerantwort musste beide Aspekte enthalten. Ein Beispiel für eine Zwei-Punkte-Antwort wäre folgende: „Tom war verun-sichert, weil ein Feindkuchen eigentlich schlecht riechen sollte“. Wurde nur ein richtiger Aspekt erwähnt, wurde ein Punkt erzielt.




�� Verstehensprozess: Erkennen und Wiedergeben explizit angegebener Informationen�� Frageformat: offen�� Maximal erreichbare Punkte: 1 (Frage 6), 2 (Frage 7)

Für die Beantwortung dieser beiden offenen Fragen kann wiederum die entsprechende explizit im Text vorhandene Informa-tion herangezogen werden. Bei Frage 6 erhalten die Schüler/innen einen Punkt für die richtige Antwort (Haarausfall oder stinkender Atem), die in mehreren Absätzen des Textes zu finden ist. Bei Frage 7 müssen zwei Dinge aus dem Text wiedergegeben werden, die Tom tun muss, damit der Feindkuchen funktioniert. Wird beides genannt (einen Tag mit dem Feind verbringen und nett zu ihm sein), gibt es die maximale Punktezahl. Die vollständigen Bewertungsrichtlinien für Frage 7 finden sich in Kapitel 6.





�� Verstehensprozess: Ziehen einfacher Schlussfolgerungen�� Frageformat: Multiple Choice (Fragen 8, 10, 11), offen (Frage 9)�� Maximal erreichbare Punkte: 1(Fragen 8–11)

Bei einfachen Schlussfolgerungen müssen explizite Informationen aus dem Text miteinander verbunden werden. Bei allen vier Beispielaufgaben 8–11 liegt der Fokus dabei auf ganz bestimmten Textteilen und nicht auf dem gesamten Text. Frage 8 sowie 10 und 11 sind Multiple-Choice-Fragen mit den Lösungen C, C und A. Frage 9 verlangt beim Schlussfolgern eine eigenstän-dig formulierte Antwort der Schüler/innen, die zum Ausdruck bringt, dass der verbrachte Tag mit Jeremy ein positives Erleb-nis für Tom war (sie hatten Spaß, sie kamen gut miteinander zurecht, es war ein schöner Tag etc.).





�� Verstehensprozess: Interpretieren sowie Verknüpfen von Gedanken und Informationen�� Frageformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Die Frage, was Papa über den Feindkuchen geheim gehalten hat, kann nicht aufgrund expliziter Textinformationen beant-wortet werden. Die richtige Antwort verlangt, dass der Text mit dem eigenen Weltwissen verknüpft wird, um daraus die richtige Antwort (A) abzuleiten.

�� Verstehensprozess: Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textelementen �� Frageformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Die nächste Multiple-Choice-Frage verlangt eine Reflexion über die Aussage eines einzelnen Satzes im Text. Die richtige Ant-wort (D) kann auch hier nicht direkt aus dem Text erschlossen werden, sondern wird durch das Heranziehen von eigenem Wissen und eigenen Erfahrungen beantwortet.




�� Verstehensprozess: Interpretieren sowie Verknüpfen von Gedanken und Informationen �� Frageformat: Multiple Choice�� Maximal erreichbare Punkte: 1 (Frage 14), 2 (Frage15)

Frage 14 und 15 sind Beispiele für komplexes Schlussfolgern. Bei Frage 14 soll ein Kernthema im Text beurteilt werden. Die richtige Lösung („Dem Vater ging es beim Backen des Kuchens darum, dass die beiden Buben Freunde werden“) steht nicht explizit im Text, kann aber durch das Heranziehen eigenen Weltwissens aus dem Text gefolgert werden.

Frage 15 thematisiert den Charakter einer zentralen Person in der Geschichte. Dabei soll der Charakter des Vaters beschrieben und durch ein Beispiel aus der Geschichte begründet werden. Lieferte die Schülerantwort eine richtige Charakterbeschreibung (z. B. „Er war fürsorglich“) sowie ein dazu passendes Beispiel aus dem Text („weil er seinem Sohn helfen wollte, Freundschaf-ten zu schließen“), bekamen die Schüler/innen zwei Punkte. Lieferten die Schüler/innen nur die Charakterbeschreibung ohne Begründung, wurde die Antwort mit einem Punkt bewertet.




�� Verstehensprozess: Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textelementen�� Frageformat: offen�� Maximal erreichbare Punkte: 1

Um eine Antwort auf die letzte Frage geben zu können, müssen die Schüler/innen die Kernaussage des Textes untersuchen. Sie müssen dabei sinngemäß erwähnen, dass es wichtig ist, einer Freundschaft eine Chance zum Wachsen zu geben.



Stimulus: Das Rätsel des RIESIGEN Zahns – freigegebener Text aus PIRLS 2011


Kommentar zum Text „Das Rätsel des RIESIGEN Zahns“:Im Gegensatz zur Geschichte vom Feindkuchen handelt es sich beim Text „Das Rätsel des RIESIGEN Zahns“ um einen Informationstext. Er wurde nach dem Einsatz bei PIRLS 2011 freigegeben. Nachdem die Schüler/innen den Text gelesen hatten, mussten sie 14 Fragen dazu beantworten, die im Folgenden dargestellt werden.

Das Rätsel des RIESIGEN Zahns – freigegebener Text aus PIRLS 2011


�� Verstehensprozess: Erkennen und Wiedergeben explizit angegebener Informationen �� Frageformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Bereits im ersten Satz des Informationstextes ist beschrieben, dass Fossilien die Überreste von Tieren oder Pflanzen sind, die vor vielen Jahren einmal auf der Erde gelebt haben. Für die richtige Beantwortung der Frage muss diese Information auch als relevant erkannt werden. Die richtige Antwortalternative ist C.

�� Verstehensprozess: Ziehen einfacher Schlussfolgerungen�� Frageformat: offen�� Maximal erreichbare Punkte: 1

Die richtige Antwort muss sinngemäß beinhalten, dass Menschen vor langer Zeit an Riesen glaubten, weil sie so riesige Knochen fanden, die von keinem damals bekannten Tier stammen konnten. Diese Information kann nicht direkt aus dem Text abgeleitet werden, sondern die Schüler/innen müssen dafür im zweiten Absatz auf der 1. Seite des Textes zwischen den Zeilen lesen und Bedeutungslücken selber füllen.

Frage 1: Das Rätsel des RIESIGEN Zahns aus PIRLS 2011



�� Verstehensprozess: Erkennen und Wiedergeben explizit angegebener Informationen�� Frageformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Die richtige Antwort (B) zu dieser Frage steht explizit im Text (siehe Absatz 1 auf Seite 2 des Textes) und muss lediglich als relevant erkannt werden.

�� Verstehensprozess: Interpretieren sowie Verknüpfen von Gedanken und Informationen�� Frageformat: offen�� Maximal erreichbare Punkte: 1

Die Antwort der Schüler/innen muss Verständnis dafür zeigen, dass Palissys neue Idee darin bestand, dass einige Fossilien zu Tieren gehörten, die nicht mehr auf der Erde lebten (z. B. „Fossilien könnten von ausgestorbenen Tieren sein.“).





�� Verstehensprozess: Ziehen einfacher Schlussfolgerungen�� Frageformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Die richtige Antwort, dass Bernard Palissy ins Gefängnis kam, weil die Menschen noch nicht offen für neue Ideen waren (A), steht nicht explizit im Text, kann aber durch die Kombination von Informationen im Text relativ leicht geschlussfolgert werden.


Die richtige Antwort (B) ist explizit im Text enthalten und kann deshalb direkt abgleitet werden – sie muss lediglich als rele-vant erkannt werden.


Die Frage, was Mantell über Reptilien wusste, das den fossilen Zahn zu einem Rätsel machte, kann durch das Verknüpfen expliziter Informationen in einem Absatz (zweiter Absatz auf Seite 3 des Textes) beantwortet werden. Für die richtige Antwort (D), kann wie bei allen Multiple-Choice-Fragen ein Punkt erlangt werden.





Frage 8 verlangt zwei eigenständig formulierte Antworten, die jeweils mit einem Punkt bewertet werden. Die Antworten können nicht unmittelbar aus dem Text abgeleitet werden, sondern erfordern das Verknüpfen des Gelesenen mit dem eigenen Wissen. So kann die richtige Antwort auf die Frage, warum Mantell dachte, dass es sich bei dem Lebewesen um ein riesiges Wesen handelte, nicht direkt dem Informationstext entnommen werden. Dass er dies dachte, weil der Zahn so enorm groß war, kann jedoch durch die Verknüpfung des Gelesenen mit den eigenen Gedanken gefolgert werden.

Auch die zweite Teilfrage erfordert eigenständiges Denken. Die richtige Antwort sollte darauf hinweisen, dass Mantell dachte, dass es sich um ein Reptil handelt, weil es dort gefunden wurde, wo Reptilien gelebt hatten, oder weil der versteinerte Zahn wie ein Leguanzahn aussah.




Beim Beantworten der Frage müssen folgende zwei explizite Textinformationen miteinander verknüpft werden: Der Forscher Mantell brachte den Zahn ins Museum; er zeigte den Zahn anderen Wissenschaftlern. Dass der Forscher den Zahn in ein Museum brachte, um zu erfahren, was andere Wissenschaftler über seine Idee dachten (Antwort C), steht nicht explizit im Text, kann aber relativ einfach durch das Lesen zwischen den Zeilen innerhalb eines Absatzes erschlossen werden.


Frage 10 erfordert es, eine Schlussfolgerung aus dem Gelesenen zu ziehen, indem dabei das eigene Weltwissen herangezogen wird. Die richtige Antwort muss sinngemäß enthalten, dass der Zahn ein Indiz für Mantells Theorie war (spezifisches Ver-ständnis) oder, dass der Zahn wie der fossile Zahn aussah (allgemeines Verständnis).





Die Information, dass der Forscher Mantell, die gesammelten Knochen nutzte, um herauszufinden, wie das Iguanodon (eine Saurierart) aussah, steht explizit im Text. Die richtige Antwort (A) muss also demnach nur als relevant identifiziert werden.

�� Verstehensprozess: Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textelementen�� Frageformat: offen�� Maximal erreichbare Punkte: 2

Frage 12 ist die einzige Frage zu diesem Text, bei der auf einer Metaebene über den Text reflektiert werden muss. In diesem Beispiel geht es darum zwei Bilder gegenüberzustellen und zu zeigen, was man mit deren Hilfe verstehen kann. Eine Antwort, die sinngemäß darauf hinweist, dass die Bilder Veränderungen wissenschaftlicher Vorstellungen zeigen, wird mit zwei Punkten bewertet. Antworten, die nur ein allgemeines Verständnis darüber zeigen, dass die Bilder unterschiedlich sind, ohne dabei auf wissenschaftliche Veränderungen einzugehen, bekommen einen Punkt.





Für die nächste Frage muss das Gelesene wieder mit dem eigenen Weltwissen verknüpft werden. Die Schüler/innen müssen die Antworten auf die drei Teilfragen selbst formulieren. Dabei sollen sie Verständnis für die unterschiedlichen Annahmen von Mantell und heutigen Wissenschaftern zum Aussehen des Iguanodons zeigen. Mögliche Antworten auf die Teilfragen wären: (a) Heute weiß man, dass das Iguanodon auf zwei Beinen ging, (b) Mantell dachte, dass der Stachel am Kopf des Tieres war, (c) heute weiß man, dass das Iguanodon 9 Meter lang war. Insgesamt können bei dieser Frage drei Punkte erzielt werden, wobei jede Teilfrage getrennt bewertet wird.




Bei Frage 14 geht es darum, welcher Fund zeigte, dass sich der Forscher Gideon Mantell über das Aussehen des Iguanodons getäuscht hatte. Dass es sich bei diesem Fund um vollständige Skelette handelte, steht explizit im Text (im ersten Absatz auf der letzten Seite) und muss nur als relevant in Bezug auf die Fragestellung erkannt werden. Die richtige Antwortalternative ist D.

TIMSS – Mathematik- und Naturwissen-schaftskompetenz

Der Datenerhebung von TIMSS liegt ein dreistufiges Lehr-planmodell zugrunde.

1. Die oberste Ebene bildet der intendierte Lehrplan. Die-ser beschreibt jene Inhalte, die die Schüler/innen laut Vorgaben des jeweiligen Landes in der Schule lernen sollten – in Österreich entspricht dies dem Lehrplan der Volksschule. Inwiefern im intendierten Lehrplan die In-halte des TIMSS-Tests festgeschrieben sind, wird in je-dem Teilnehmerland mithilfe eines Lehrplanfragebo-gens erhoben. Darüber hinaus verfasst jedes Teilnehmerland einen Beitrag für die TIMSS-Enzyklo-pädie, in dem einerseits das Schulsystem im Generellen, andererseits aber auch die Lehrpläne für Mathematik und Naturwissenschaft sowie weitere unterrichtsrele-vante Aspekte beschrieben werden.

2. Auf der darunterliegenden Stufe folgt der implementierteLehrplan – die tatsächliche Umsetzung der vorge-schriebenen (intendierten) Lehrinhalte im Unterricht. Die Information, welche Inhalte in der jeweiligen Klasse oder Schule unterrichtet wurden, wird bei TIMSS mit-hilfe des Lehrer- und Schulfragebogens erfasst.

3. Mit den Leistungstests wird letztlich festgestellt, welcheInhalte des Lehrplans die Schüler/innen tatsächlich be-

herrschen – diese dritte Komponente wird bei TIMSS als erreichter Lehrplan bezeichnet.

Um ein möglichst detailliertes Bild von den Kompetenzen der Schüler/innen zu erhalten, werden die Domänen Ma-thematik und Naturwissenschaft in jeweils drei inhaltliche und drei kognitive Bereiche unterteilt. Somit sind Ergebnis-analysen nicht nur für die Gesamtleistung in Mathematik bzw. Naturwissenschaft möglich, sondern auch getrennt für die inhaltlichen und kognitiven Bereiche. Jede Mathema-tik- bzw. Naturwissenschaftsaufgabe von TIMSS kann so-wohl einer inhaltlichen als auch einer kognitiven Dimension zugeordnet werden. Während sich die inhaltlichen Testbe-reiche für Mathematik und Naturwissenschaft naturgemäß unterscheiden, sind die kognitiven Bereiche identisch.

Die kognitiven Bereiche in Mathematik und Naturwissenschaft

Jede TIMSS-Aufgabe verlangt von den Schülerinnen und Schülern bestimmte kognitive Fertigkeiten, um diese lösen zu können. Im Framework wurden folgende drei kognitive Bereiche für Mathematik und Naturwissenschaft festgelegt:

�� Wissen;�� Anwenden;�� Begründen.



Beim Test werden diese kognitiven Bereiche dem Alter der Kinder und dem Ausmaß ihrer bisherigen Auseinanderset-zung mit diesen Fertigkeiten entsprechend gewichtet. Tabelle 3.2 zeigt, wie sich die zur Verfügung stehende Test-zeit auf die kognitiven Bereiche verteilt.

Kognitive Bereiche (M & NW) Testzeit

Wissen 40 %

Anwenden 40 %

Begründen 20 %

Tab. 3.2: Aufteilung der Testzeit auf die kognitiven Bereiche in Mathematik und Naturwissenschaft (TIMSS 2011)

Das Hauptaugenmerk liegt mit jeweils 40 % der Testzeit beim Wissen und Anwenden. Aufgaben aus dem Bereich Wissen verlangen von den Schülerinnen und Schülern Kenntnisse über mathematische bzw. naturwissenschaft-liche Fakten, Konzepte und Prozesse. In Mathematik zählt dazu beispielsweise die Anwendung der Grundrechenarten, in Naturwissenschaft die korrekte Verwendung geläufiger Einheiten wie etwa Grad Celsius.

Etwas höhere Anforderungen werden im Bereich Anwenden gestellt. Hier müssen die Schüler/innen ihr Wissen und konzeptionelles Verständnis auf verschiedene mathemati-sche bzw. naturwissenschaftliche Situationen übertragen. Das Zeichnen einer Figur mit bestimmten Eigenschaften (Mathematik) oder das Vergleichen von Materialien oder Tieren anhand bestimmter Merkmale (Naturwissenschaft) sind Beispiele für Aufgaben in diesem Bereich.

Begründen wird angesichts der Komplexität im Vergleich zu den anderen kognitiven Fertigkeiten auf der vierten Schul-stufe bei TIMSS geringer gewichtet. Dieser Bereich geht über das Lösen von Routineaufgaben hinaus. Fragestel - l ungen beziehen sich auf unbekannte Situationen, komplexe Kontexte und Probleme, die nur in mehreren Schritten gelöst werden können. So müssen in Mathematik beispiels-weise anhand spezifischer Regeln logische Schlussfolgerungen gezogen und die Lösung erläutert bzw. in Naturwissenschaft Ergebnisse aus Experimenten mit naturwissenschaftlichem Wissen und Konzepten in Verbindung gebracht werden.

Die mathematischen Inhaltsbereiche

Sämtliche TIMSS-Mathematikaufgaben stammen aus je-weils einem der drei folgenden Inhaltsbereiche:

�� Zahlen;�� Geometrische Formen und Maße;�� Darstellen von Daten.

Tabelle 3.3 zeigt, wie sich die Testzeit auf diese Inhalte ver-teilt. Der Fokus liegt mit der Hälfte der Testzeit auf den Aufgaben zum Inhaltsbereich Zahlen. Verhältnismäßig we-nige Aufgaben beschäftigen sich hingegen mit dem Darstel-len von Daten, da in diesem Teilaspekt von Schülerinnen und Schülern der vierten Schulstufe vorerst nur Basiskom-petenzen erwartet werden.

Inhaltsbereiche Mathematik Testzeit

Zahlen 50 %

Geometrische Formen und Maße 35 %

Darstellen von Daten 15 %

Tab. 3.3: Aufteilung der Testzeit auf die mathematischen Inhaltsbereiche (TIMSS 2011)

Zahlen

In der vierten Schulstufe wird von den Schülerinnen und Schülern ein gut entwickeltes Gefühl für Zahlen sowie die Fähigkeit erwartet, Zahlen und Operationen (z. B. Addie-ren, Subtrahieren, Multiplizieren und Dividieren) beim Lösen von Aufgaben heranzuziehen. Der Umgang mit Zahlen erstreckt sich bei den TIMSS-Aufgaben auf:

�� ganze Zahlen;�� Brüche und Dezimalzahlen;�� einfache Gleichungen;�� logische Zahlenfolgen und Zusammenhänge.

Mit ganzen Zahlen sollten die Schüler/innen am Ende der Volksschule am besten vertraut sein, da das Arbeiten mit ganzen Zahlen die Grundlage der Mathematik im Primar-bereich bildet. Dementsprechend haben diese im Frame-work einen hohen Stellenwert. Die meisten Kinder lernen das Zählen früh und können bereits am Anfang ihrer Schul-zeit einfache Rechnungen (z. B. Additionen oder Subtrakti-onen) durchführen. In der vierten Schulstufe soll das Zah-lenverständnis so weit gewachsen sein, dass sie die Zusammenhänge zwischen Maßeinheiten begreifen und von einer Einheit auf eine andere umrechnen können. Dazu zählt das Vielfache von zehn, aber auch die Beziehung zwischen beispielsweise Sekunden, Minuten, Stunden und Tagen.

Das Verständnis von Brüchen und Dezimalzahlen soll so weit entwickelt sein, dass diese als Teile eines Ganzen ge sehen werden und die Schüler/innen wissen, welche Mengen diese jeweils repräsentieren. Die Aufgaben bein-halten z. B. einfache Additionen und Subtraktionen mit Brüchen und Dezimalzahlen oder das Vergleichen und Ordnen nach ihrer Größe.

Auch einfache Gleichungen sind Bestandteil der TIMSS-Testaufgaben. Die Schüler/innen müssen dabei fehlende Werte einsetzen.


Aufgaben aus dem Bereich Zahlenfolgen und Zusammen-hänge verlangen von den Schülerinnen und Schülern das Erkennen eines Zahlenmusters und dessen Fortsetzung.

Geometrische Formen und Maße

Die Aufgaben in diesem Bereich befassen sich mit den Merkmalen von geometrischen Formen (z. B. Seitenlängen, Winkeln, Flächen und Volumina). Mit TIMSS wird getes-tet, ob die Schüler/innen die Eigenschaften von Linien, Winkeln und einer Bandbreite von (zwei- und dreidimensi-onalen) geometrischen Formen kennen. Konkret gibt es Aufgaben zu folgenden Themen:

�� Punkte, Linien und Winkel: Dazu zählen das Messen und Schätzen von Längen, das Identifizieren und Zeichnen von parallelen und rechtwinkligen Linien, ein Größenvergleich und das Zeichnen von Winkeln sowie das Lokalisieren von Punkten in einem einfachen Koor-dinatensystem.�� zwei- und dreidimensionale Formen: Dabei sollen

beispielsweise verschiedene Formen verglichen und klas-sifiziert sowie Flächen- und Umfangsberechnungen durchgeführt werden.

Darstellen von Daten

Das Darstellen von Daten und die Interpretation von Dia-grammen gewinnt in der heutigen Zeit immer mehr an Bedeutung. Bei TIMSS wird erwartet, dass die Schüler/in-nen am Ende ihrer Primarschulzeit bereits ein Basiswissen darüber besitzen, wie Daten strukturiert und sinnvoll in Grafiken und Tabellen präsentiert werden können. Sie sollen in der Lage sein, unterschiedlich dargestellte Daten zu vergleichen und daraus Schlussfolgerungen zu ziehen. Dementsprechend werden die folgenden zwei Aufgaben-typen bei TIMSS unterschieden:

�� Lesen und Interpretieren von Daten in Tabellen und Grafiken sowie�� Organisieren und Darstellen von Daten.

Die naturwissenschaftlichen Inhaltsbereiche

Bei TIMSS 2011 werden für die vierte Schulstufe drei in-haltliche Testbereiche definiert:

�� Biologie;�� Physik;�� Erdkunde.

Der Schwerpunkt liegt auf Biologie, da Themen dieses In-haltsbereichs im Grundschulunterricht den meisten Raum einnehmen. Tabelle 3.4 zeigt die Aufteilung der Testzeit auf diese Inhaltsbereiche.

Inhaltsbereiche Naturwissenschaft Testzeit

Biologie 45 %

Physik 35 %

Erdkunde 20 %

Tab. 3.4: Aufteilung Testzeit auf die naturwissenschaftlichen Inhaltsbereiche (TIMSS 2011)

Biologie

Biologie ist mit 45 % der Testzeit der umfangreichste Be-reich im naturwissenschaftlichen Teil von TIMSS 2011. Er beinhaltet Kenntnisse von Lebewesen und deren Anpassung an die Umwelt, Einblicke in die Ökologie und Kenntnisse über die menschliche Gesundheit. Diese Themen werden in die folgenden fünf Schwerpunkte eingeteilt:

�� Charakteristika und Lebensprozesse von Lebewesen;�� Lebenszyklen, Fortpflanzung und Vererbung;�� Wechselwirkung mit der Umwelt;�� Ökosysteme;�� Gesundheit.

Im Gebiet Charakteristika und Lebensprozesse von Lebewesen wird gefordert, den prinzipiellen Unterschied zwischen Lebewesen und unbelebten Dingen zu erkennen. Aber auch verschiedene Gruppen von Lebewesen (z. B. Wirbellose und Wirbeltiere) unterscheiden zu können sowie deren spe-zielle Merkmale zu kennen. Schüler/innen sollen den Zu-sammenhang zwischen dem Aufbau von Lebewesen und der Funktion der Strukturen verstehen.

Zum Thema Lebenszyklen, Fortpflanzung und Vererbung wird von Kindern auf der vierten Schulstufe nur grund-legendes Verständnis erwartet. So sollen sie etwa die Lebens-zyklen von Pflanzen (z. B. Baum, Bohne) und Tieren (z. B. Fliege, Frosch) kennen. Das Verständnis, dass sich nur Lebewesen miteinander fortpflanzen können, die zur selben Spezies gehören, wird ebenfalls vorausgesetzt.

Der Bereich Wechselwirkung mit der Umwelt beschäftigt sich mit den körperlichen Anpassungen von Lebewesen an ihre Umwelt und den damit verbundenen Verhaltensweisen. Die Schüler/innen sollen Beispiele kennen, wie bestimmte Tiere und Pflanzen (besser) an die Umweltbedingungen angepasst sind (als andere), etwa, dass ein Kamel besser für das Leben in der Wüste gerüstet ist als ein Pferd.

Im Gebiet Ökosysteme werden die Abhängigkeiten der Lebe-wesen untereinander und die Beziehungen zur unbelebten Umwelt thematisiert. Ein wichtiger Aspekt dieses Themas ist das menschliche Verhalten – insbesondere Umweltver-schmutzung – und dessen Effekt auf die Umwelt.

Gesundheit umfasst ein Grundverständnis von Ernährung und Krankheiten, insbesondere, welchen Einfluss der per-


sönliche Lebensstil auf das Wohlbefinden hat. Die Kinder sollen darüber hinaus wissen, auf welche Weise alltägliche Infektionskrankheiten wie Schnupfen oder Grippe übertra-gen werden.

Physik

Der Inhaltsbereich Physik beschäftigt sich mit den Eigen-schaften von Stoffen und mit Erscheinungsformen von Energie. Von Schülerinnen und Schülern in der vierten Schulstufe werden auch erste Grundkenntnisse chemischer Vorgänge erwartet. Da es sich hierbei um ein beginnendes Verständnis handelt, das über Alltagsphänomene nicht hin-ausgeht, werden diese Inhalte bei TIMSS in Physik integ-riert.

Dieser Bereich setzt sich aus folgenden Gebieten zusam-men:

�� Klassifizierung und Eigenschaften von Stoffen;�� Energiequellen und Auswirkung von Energie;�� Kräfte und Bewegung.

Klassifizierung und Eigenschaften von Stoffen verlangt von den Kindern ein basales Verständnis für die physikalischen Charakteristika von Materie, wobei die unterschiedlichen Erscheinungsformen von Wasser im Mittelpunkt stehen. So sollen die Schüler/innen wissen, wann Wasser im Alltag in fester, flüssiger oder gasförmiger Form auftritt und wann die Überführung in einen anderen Zustand stattfindet. Weiters gehört hierzu das Wissen über chemische Veränderungen, bei denen Stoffe entstehen, die sich von ihren Ausgangs-materialien und -eigenschaften unterscheiden. Von den Schülerinnen und Schülern dieser Altersgruppe wird natur-gemäß noch kein genaueres Verständnis der dahinterstehen-den chemischen Prozesse erwartet.

In den Bereich Energiequellen und Auswirkungen von Energie fallen beispielsweise gängige Energiequellen (z. B. Sonne, Elektrizität, Vibration) oder die Eigenschaften von Wärme, wie etwa die Tatsache, dass warme Gegenstände kalte erwär-men können. Ein weiterer Inhalt umfasst die Eigenschaften von Licht und damit verbundene physikalische Phänomene (z. B. Regenbogen). Die Schüler/innen sollen außerdem die Elemente eines geschlossenen Stromkreises kennen sowie eine Grundvorstellung zu Magneten und deren Verwen-dung haben.

Im Gebiet Kräfte und Bewegung wird von den Kindern nur ein erstes basales Verständnis von Kräften, vor allem in Zu-sammenhang mit Bewegung (z. B. Schwerkraft), erwartet. Auch wird die Fähigkeit zur Bestimmung von Gewicht mit-hilfe einer Balkenwaage erhoben.

Erdkunde

Im Bereich Erdkunde werden Kenntnisse über die Erde und ihren Platz im Sonnensystem abgefragt. Auf diese Themen entfallen 20 % der Testzeit in Naturwissenschaft (s. Tabelle 3.4). Erdkunde bei TIMSS 2011 lässt sich weiter untertei-len in:

�� Aufbau, physikalische Eigenschaften und Ressourcen der Erde;�� Prozesse, Zyklen und Geschichte der Erde;�� die Erde im Sonnensystem.

In Aufbau, physikalische Eigenschaften und Ressourcen der Erde geht es um allgemeines Wissen über Struktur und phy-sikalische Eigenschaften der Erde. So sollen Schüler/innen erkennen, dass der Großteil der Erde mit Wasser bedeckt ist, und wissen, wo auf der Erde Süß- bzw. Salzwasser vor-kommt. Darüber hinaus sollen sie sich bewusst sein, dass uns Luft umgibt. Auch verschiedene Landschaftsformen (Gebirge, Ebenen, Flüsse etc.) sowie die Verwendung und Erhaltung von Rohstoffen zählen zu diesem Thema.

Das Gebiet Prozesse, Zyklen und Geschichte der Erde beleuch-tet unter anderem Veränderungen, wie z. B. Wasserbewe-gungen, Wolkenbildung und tägliche Wetteränderungen. Außerdem werden Fossilien im Gestein als Überreste von Pflanzen und Tieren behandelt.

Die Erde im Sonnensystem beschäftigt sich basierend auf Beobachtungen von Veränderungen der Erde und des Himmels mit der Position der Erde im Sonnensystem. Die Kinder sollen die unterschiedlichen Bewegungsmuster und Rotationen der Erde kennen und wissen, welche davon Tag und Nacht bzw. die Jahreszeiten bedingen.

Beispielaufgaben TIMSS

Nach jedem Erhebungsdurchgang von TIMSS wird ein Teil der verwendeten Aufgaben von der IEA für die Öffentlich-keit freigegeben. Diese Aufgaben sind, so wie sie in Öster-reich eingesetzt wurden, unter https:/www.bifie.at/timss abrufbar. Die nicht freigegebenen Aufgaben sind ein wesentlicher Bestandteil des nächsten Zyklus, da durch sie Leistungsvergleiche über mehrere Erhebungszeitpunkte hinweg ermöglicht werden.

Jeweils vier freigegebene Mathematik- und Naturwissen-schaftsaufgaben sind in weiterer Folge dargestellt. Zu jeder Aufgabe finden sich Informationen zu ihrer inhaltlichen und kognitiven Charakterisierung. In gekürzter Form wer-den auch die Kriterien beschrieben, die eine Schülerantwort erfüllen muss, um die volle Punktezahl zu erhalten. In Kapitel 6 werden für je eine Aufgabe pro Domäne die Be-wertungsrichtlinien in vollem Umfang dargestellt.


MATHEMATIK

�� Inhaltsbereich: Zahlen (Thema: ganze Zahlen)�� Kognitiver Bereich: Begründen�� Aufgabenformat: offen�� Maximal erreichbare Punkte: 1

Ziel dieser Aufgabe ist zu erkennen, wie oft im Zahlenraum bis 3 000 die Endzahl 112 auftritt. Die Schwierigkeit liegt hier darin, dass es neben der naheliegenden 112 auch noch zwei weitere Gewinn-Nummern im Tausenderbereich gibt und dass die 3 112 schon über dem zu beachtenden Zahlenraum liegt. Die Schüler/innen erhalten nur dann einen Punkt, wenn sie alle drei in Frage kommenden Zahlen notieren (112, 1112, 2112). Sobald eine Zahl fehlt oder zusätzlich eine falsche Zahl notiert wurde, wird die Antwort als falsch gewertet. Die konkreten Bewertungsrichtlinien für diese Aufgabe finden sich in Kapitel 6.

�� Inhaltsbereich: geometrische Formen und Maße (Thema: zwei- und dreidimensionale Formen)�� Kognitiver Bereich: Wissen�� Aufgabenformat: offen�� Maximal erreichbare Punkte: 2

Dreitausend Eintrittskarten für ein Fußballspiel sind von 1 bis 3 000 durchnummeriert. Wer eine Eintrittskarte hat, die mit 112 endet, erhält einen Preis.Schreibe alle Gewinn-Nummern auf.

Gewinn-Nummern: ____________________________________________

Beispielaufgabe 1 aus Mathematik (TIMSS 2011)

M04

1143

A _______________

B _______________

C _______________

Schreibe die Namen der geometrischen Figuren A, B und C auf die leeren Linien.



Bei dieser Aufgabe ist es erforderlich, drei geometrische Figuren, die in der Zeichnung eines Busses integriert sind, zu benennen. Es handelt sich dabei um ein Dreieck, das auf den vorderen Bereich des Busses aufgemalt ist, das Fenster sollte als Rechteck (auch Viereck, Parallelogramm o. Ä. ist richtig) identifiziert werden und der Reifen soll als Kreis (auch Zylinder wird als rich-tig gewertet) bezeichnet werden. Für eine vollständig richtige Lösung müssen alle drei Figuren richtig benannt werden. Sind nur zwei der Figuren richtig eingetragen, erhalten die Schüler/innen einen Punkt; für alle anderen Antworten gibt es keinen Punkt.

�� Inhaltsbereich: Darstellen von Daten (Thema: Lesen und Interpretieren von Daten)�� Kognitiver Bereich: Wissen�� Aufgabenformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Diese Multiple-Choice-Aufgabe verlangt von den Schülerinnen und Schülern das Ablesen von Informationen aus einer grafi-schen Darstellung, wobei darauf geachtet werden muss, dass die y-Achse dieser vier Balkendiagramme unterschiedlich skaliert ist (in Zweier- bzw. Fünferschritten). Die richtige Lösung ist Option B.

Anton fragte die Schülerinnen und Schüler von 4 Klassen nach ihren Lieblingsfarben.

In welcher Klasse haben die wenigsten Schülerinnen und Schüler Blau gewählt?

a Klasse 1

b Klasse 2

c Klasse 3

d Klasse 4

0

10

15

5

141210 86

42

0

10

15

5

0

141210 86

42

0Rot Grün Blau

Klasse 2

Rot Grün Blau

Klasse 4

Rot Grün Blau

Klasse 3

Rot Grün Blau

Klasse 1



�� Inhaltsbereich: Zahlen (Thema: logische Zahlenfolgen und Zusammenhänge)�� Kognitiver Bereich: Anwenden�� Aufgabenformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Um diese Multiple-Choice-Aufgabe zu lösen, müssen die Schüler/innen zunächst herausfinden, nach welcher Regel sich die Zahlen in der Zahlenfolge erhöhen (zu jeder vorhergehenden Zahl drei addieren) bzw. erkennen, dass es sich dabei um die Dreierreihe handelt. Um zur richtigen Lösung zu gelangen (Option B) müssen die Schüler/innen entweder diese Regel anwen-den, um so die Zahlenfolge fortzusetzen oder sie müssen wissen, dass 27 durch drei teilbar ist.

Wenn die Zahlenfolge 3, 6, 9, 12 fortgesetzt werden würde, welche dieser Zahlen wäre ein Teil in dieser Zahlenfolge?

a 26

b 27

c 28

d 29



NATURWISSENSCHAFT

�� Inhaltsbereich: Physik (Thema: Energiequellen und Auswirkungen von Energie)�� Kognitiver Bereich: Anwenden�� Aufgabenformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Bei dieser Aufgabe aus dem Bereich Physik müssen die Kinder erkennen, dass Strom weder durch Plastik noch Gummi oder Holz weitergeleitet werden kann und der Stromkreis durch den Eisennagel (Antwortoption A) verbunden werden muss, um die Glühbirne zum Leuchten zu bringen. Für die richtige Antwort bekommen die Kinder wie bei jeder Multiple-Choice-Aufgabe einen Punkt.

Das folgende Bild zeigt eine Glühbirne, die mit einer Batterie in einem elektrischen Stromkreis verbunden ist. Welches der folgenden Objekte wird, wenn es mit Punkt 1 und 2 verbunden wird, die Birne zum Glühen bringen?

a Eisennagel

b

c Gummiband

d Holzstück

Punkt 1

Punkt 2

Beispielaufgabe 1 aus Naturwissenschaft (TIMSS 2011)


�� Inhaltsbereich: Erdkunde (Thema: die Erde im Sonnensystem)�� Kognitiver Bereich: Wissen�� Aufgabenformat: offen�� Maximal erreichbare Punkte: 1

Bei dieser Fragestellung aus dem Bereich Erdkunde erhalten die Schüler/innen für die Nennung einer der folgenden drei un-terschiedlichen Energieformen einen Punkt: Licht (gültig ist beispielsweise die Antwort Sonnenlicht, Lichtenergie etc.), Wär-me und Solarenergie. Keinen Punkt gibt es z. B. für die Antwort „Energie von der Sonne“.

Schreibe eine Art von Energie auf, die die Erde von der Sonne bekommt.



4

3

2

1

Benenne die nummerierten Teile und beschreibe ihre Aufgabe in der folgenden Tabelle.

Nummer des Teils Name des Teils Aufgabe des Teils

1

2

3

4



�� Inhaltsbereich: Biologie (Thema: Charakteristika und Lebensprozesse von Lebewesen)�� Kognitiver Bereich: Wissen�� Aufgabenformat: offen�� Maximal erreichbare Punkte: 2

Bei dieser umfangreichen offenen Aufgabe aus dem Bereich Biologie geht es darum, die Teile einer Blütenpflanze zu kennen und richtig zu benennen. Bestimmt ein Kind alle vier Teile der Pflanze richtig und gibt drei oder vier akzeptable Aufgaben an, so erhält es für diese Lösung die volle Punktzahl. Mögliche Antworten können beispielsweise beinhalten, dass die Blüten-blätter als Pflanzenteil die Aufgabe haben, Bestäuber anzulocken, dass die Blätter Nahrung herstellen, der Stamm Wasser transportiert und die Wurzel Nahrung speichert. Eine unvollständig richtige Antwort, für die jeweils ein Punkt vergeben wird, beinhaltet mindestens zwei richtig genannte Teile mit zumindest einer akzeptablen Funktion. Bestimmt ein Kind lediglich die vier Teile der Pflanze oder weniger, so erhält es dafür keinen Punkt. Die konkreten Bewertungsrichtlinien für diese Aufgabe finden sich in Kapitel 6.

�� Inhaltsbereich: Biologie (Thema: Lebenszyklen, Fortpflanzung und Vererbung)�� Kognitiver Bereich: Begründen�� Aufgabenformat: Multiple Choice�� Maximal erreichbare Punkte: 1

Bei dieser Multiple-Choice-Biologieaufgabe müssen die Schüler/innen verstehen, dass Fortpflanzung nur zwischen Weibchen und Männchen der gleichen Tierart möglich ist. Da hierdurch Antwortoptionen A und B ausgeschlossen werden und Opti-on C ein falsches Fortpflanzungskonzept beinhaltet, bleibt lediglich Option D als richtige Antwort übrig.

Manche Tiere sind sehr selten. Zum Beispiel gibt es sehr wenige Sibirische Tiger. Wenn die einzigen Sibirischen Tiger, die noch leben, Weibchen sind, was würde dann wahrscheinlich passieren?

a sich zu paaren und mehr Sibirische Tiger zur Welt bringen.

b Die Weibchen werden sich miteinander paaren und mehr Sibirische Tiger zur Welt bringen.

c Die Weibchen können nur weibliche Sibirische Tiger zur Welt bringen.

d Die Weibchen können keine Sibirischen Tiger mehr zur Welt bringen und werden aussterben.


Population und Stichprobe von PIRLS & TIMSS 49

Die Definition der Zielpopulation (Grund-gesamtheit der für die Testung in Frage kommenden Schüler/innen) ist eine der wichtigsten Festlegungen, die zu Beginn einer internationalen Studie getroffen wer-den. Dadurch wird bestimmt, über welche Personengruppe anhand der erhobenen Daten Aussagen gemacht werden können. Da PIRLS & TIMSS regelmäßig durchge-führt werden und unter anderem zum Ziel haben, Veränderungen in der Leistung zu messen, muss eine einmal festgelegte Defi-nition der Grundgesamtheit für alle weite-ren Zyklen beibehalten werden. Andern-falls wären Vergleiche zwischen den Ergebnissen über die Zeit hinweg nicht zu-lässig.

Definition der Zielpopulation

Bei PIRLS & TIMSS erfolgt die internatio-nale Definition der Zielpopulation über die Schulstufe. Zur Grundgesamtheit zäh-len alle Schüler/innen jener Schulstufe, die dem vierten Schuljahr – gezählt ab dem ersten Jahr von ISCED-Level 1 – ent-spricht. Das Durchschnittsalter zum Test-zeitpunkt muss mindestens bei 9,5 Jahren liegen. Schüler/innen, die älter als 13 Jahre sind, sind nicht mehr Teil der Zielpopulati-on.

ISCED ist eine internationale Standard-klassifikation der Bildung, die von der UNESCO entwickelt wurde (UNESCO, 1999). ISCED-Level 1 wird als jener Zeit-punkt in der Schullaufbahn beschrieben, an dem das systematische Lernen von Le-sen, Schreiben und Mathematik sowie der Erwerb eines Basiswissens in anderen The-mengebieten anfängt. In Österreich be-ginnt ISCED-Level 1 mit dem Eintritt in die Volksschule. Laut Vorgabe der IEA sol-len die Schüler/innen vier Jahre nach die-sem Zeitpunkt bei PIRLS & TIMSS getes-

tet werden – in Österreich sowie in den meisten anderen Teilnehmerländern finden die Tests daher am Ende der vierten Schul-stufe (vierte Klasse Volksschule) statt.

Das zweistufige Stichproben-Design

Aus dieser festgelegten Grundgesamtheit (Schüler/innen der vierten Schulstufe) wurde in jedem PIRLS- und TIMSS-Teil-nehmerland eine Stichprobe gezogen. Die Stichprobe musste nach den Vorgaben des International Study Center (ISC) so groß sein, dass nach der Testung auswertbare Daten von mindestens 4000 Schülerinnen und Schülern aus mindestens 150 Schulen vorliegen. Die Ziehung der Stichprobe er-folgte in zwei Schritten.

Für jedes Land wurden zuerst aus allen po-tenziellen PIRLS- und TIMSS-Schulen die Testschulen zufällig ausgewählt. Um dabei eine standardisierte Vorgehensweise zu ge-währleisten, wurde dieser Schritt für alle Länder von Statistics Canada durchge-führt. Die nationalen Zentren mussten da-für eine Liste mit allen Schulen, an denen es Schüler/innen auf der vierten Schulstufe gab, bereitstellen. Mit jeder ausgewählten Testschule wurden gleichzeitig zwei Ersatz-schulen festgelegt. Im Falle der Nichtteil-nahme einer ursprünglich ausgewählten Schule rückte die erste Ersatzschule nach. International streng definierte Kriterien erlaubten es, gewisse Schulen im Vorfeld der Stichprobenziehung auszuschließen. In Österreich wurden so in Abstimmung mit Statistics Canada Schulen mit weniger als drei Schülerinnen und Schülern auf der vierten Schulstufe sowie Sonderschulen ausgeschlossen.

Im zweiten Schritt der Stichprobenzie-hung – der zufälligen Auswahl der Klassen –

4. Population und Stichprobe von PIRLS & TIMSS

BirgitSuchan&AnnaWintersteller´


musste nach internationalen Vorgaben an jeder Schule zu-mindest eine Klasse der vierten Schulstufe als Testklasse festgelegt werden. Den Ländern stand es allerdings frei, auch mehr als eine Klasse zufällig auszuwählen. Die Zie-hung der Klassenstichprobe wurde von den jeweiligen Teil-nehmerländern selbst durchgeführt. Die Testschulen muss-ten dazu zunächst eine Liste aller Klassen der vierten Schul -stufe an das nationale Zentrum übermitteln. In Österreich wurden, sofern vorhanden, für jede Schule zwei Testklassen gezogen. Alle Schüler/innen der somit ausgewählten Klas-sen waren Teil der PIRLS- und TIMSS-Stichprobe. Wäh-rend der gesamten Phase der Stichprobenziehung wurde intensiv mit Statistics Canada zusammengearbeitet, um die internationalen Richtlinien zur Stichprobenziehung auf nationaler Ebene korrekt und in Absprache mit Expertin-nen und Experten auf diesem Gebiet umzusetzen.

Ausschlüsse auf Schülerebene und vorgeschriebene Teilnahmequoten

Für die Qualität der Daten ist es wichtig, dass möglichst alle Schüler/innen der ausgewählten Klassen (bzw. Schulen) tat-sächlich am Test teilnehmen. Auch auf Schülerebene gibt es international definierte Kriterien, die einen Ausschluss er-forderlich machen: (1) eine anhaltende körperliche Beein-trächtigung, (2) eine geistige Beeinträchtigung und (3) eine andere Muttersprache, wenn gleichzeitig die Testsprache noch nicht ausreichend beherrscht wird. Insgesamt dürfen jedoch nicht mehr als 5 % der Schüler/innen der Zielpopu-lation ausgeschlossen werden. Tabelle 4.1 zeigt, wie diese Kriterien für Österreich operationalisiert und letztendlich verwendet wurden.

Der Ausschluss von Schüler/innen konnte erst nach der Klassenauswahl erfolgen. Die Entscheidung darüber trafen in Österreich jeweils der/die Schulkoordinator/in (s. Kapi-tel 6) in Absprache mit dem/der Klassenlehrer/in.

Die jeweiligen Ausschluss- und Teilnahmequoten sind ne-ben der standardisierten und korrekten Ziehung der Stich-probe für die Qualität der Daten von entscheidender Be-deutung. Geringe Teilnahmequoten mindern die Aussage-

kraft und Verlässlichkeit der Daten und erhöhen die Gefahr möglicher Verzerrungen der Ergebnisse. Daher gibt es für die Teilnahmequoten international festgelegte Mindeststan-dards. Diese besagen, dass 85 % der ausgewählten Schulen sowie 95 % der ausgewählten Klassen und über alle Schulen hinweg 85 % der Schüler/innen teilnehmen müssen.

Stichprobenziehung und Teilnahmequoten in Österreich

Wie bei IEA-Studien üblich, erfolgte die Stichprobenzie-hung gleichzeitig für den Feld- und den Haupttest. Damit wird vermieden, dass Schulen für beide Erhebungen ausge-wählt werden. Die Grundlage für die Stichprobenziehung bildeten die Daten der Bildungsdokumentation aus dem Schuljahr 2008/09 der Statistik Austria. In Österreich umfasste die Grundgesamtheit 83.877 Schüler/innen der vierten Schulstufe. Die Auswahl der Schulen erfolgte nach Bundesländern stratifiziert, wodurch die Stichprobe anteils-mäßig zur tatsächlichen Schülerzahl im jeweiligen Bundes-land gezogen wurde. Im November 2009 übermittelte Statistics Canada die Auswahl sämtlicher österreichischer Feld- und Haupttestschulen für PIRLS & TIMSS an das BIFIE. Diese Stichprobe wurde dort einer genauen Prüfung unterzogen (z. B. Verteilung der Schulen über die Bundes-länder, zwischenzeitliche Schließung von Schulen), bevor die zuständigen Schulbehörden und die Schulen selbst kontaktiert wurden.

Für den Haupttest wurden in Österreich ursprünglich 160 Schulen ausgewählt. Eine internationale Schule musste nachträglich ausgeschlossen werden, da sie hinsichtlich Unterrichtssprache, Lehrplan und Aufnahmekriterien der Schüler/innen vom österreichischen Schulsystem abwich und daher nicht repräsentativ für die in Österreich definierte Grundgesamtheit war. Eine weitere Schule fiel dadurch weg, dass die einzige Schülerin der vierten Schulstufe aufgrund einer der in Tabelle 4.1 genannten Kriterien vom Test aus-geschlossen werden musste. Insgesamt verblieben daher 158 testbare Schulen in der Stichprobe, die sich alle an PIRLS & TIMSS beteiligten. Dies entspricht auf Schul ebene einer Teil nahmequote von 100 %.

Tab. 4.1: Ausschlussgründe auf Schülerebene (PIRLS & TIMSS 2011)

Ausschlüsse auf Schülerebene von der PIRLS- und TIMSS-Testung in Österreich

Schüler/innen, die aufgrund einer andauernden körperlichen Beeinträchtigung nicht in der Lage sind, den Test ohne fremde Hilfe auszu-füllen. Dies betrifft z. B. Schüler/innen, die gehörlos oder blind sind. Schüler/innen mit einer körperlichen Beeinträchtigung, die in der Lage sind, den Test selbstständig zu bearbeiten, sollten unbedingt teilnehmen.

Schüler/innen, die aufgrund einer geistigen Beeinträchtigung sonderpädagogischen Förderbedarf in Deutsch, Mathematik und/oder Sachunterricht haben. Schüler/innen, die lediglich schlechte Schulleistungen aufweisen oder verhaltensauffällig sind, dürfen keinesfalls ausgeschlossen werden. Auch Legasthenie oder Dyskalkulie ist kein Ausschlussgrund.

Schüler/innen, die zum Zeitpunkt der Testung (März bis Mai) aufgrund mangelnder Kenntnis der Unterrichtssprache einen Status als außerordentliche/r Schüler/in haben (BGBl. Nr. 472/1986, § 4 Abs. 2 lit. a).

Die Schüler-Teilnahmequoten lagen in Österreich sowohl bei PIRLS als auch bei TIMSS im Haupttest bei jeweils 98 %.

Mit Teilnahmequoten von 100 % der ausgewählten Schu-len und Klassen sowie von 98 % der Schüler/innen wurden die international geforderten Mindeststandards (85 % auf Schul- und Schülerebene und 95 % auf Klassenebene) deut-lich übertroffen. Österreich weist damit in Bezug auf Qua-lität und Repräsentativität eine sehr gute Stichprobe auf, die eine zuverlässige Basis für die Analysen und Interpretatio-nen der Ergebnisse bietet.

Population und Stichprobe von PIRLS & TIMSS 51

Sofern es an einer Schule mehrere Klassen der vierten Schul-stufe gab, wurden pro Schule zwei Klassen ausgewählt. Daraus ergab sich eine Stichprobe von 277 Klassen, wobei in einer Klasse die einzige Schülerin der vierten Schulstufe ausgeschlossen wurde. Alle 276 verbleibenden (und testba-ren) Klassen beteiligten sich an der Testung, was auch auf Klassenebene zu einer Teilnahmequote von 100 % führte.

In den 276 Klassen waren insgesamt 4977 Schüler/innen für den PIRLS- und TIMSS-Test vorgesehen. 180 (3,6 %) wurden im Vorfeld der Erhebung aufgrund einer der drei in Tabelle 4.1 angeführten Kriterien (körperliche oder geistige Beeinträchtigung sowie mangelnde Deutschkenntnisse) ausgeschlossen. Weitere 25 Schüler/innen (0,5 %) hatten die Schule bis zum Testzeitpunkt verlassen (wobei vier von diesen gleichzeitig zu den ausgeschlossenen Schülerinnen und Schülern zählten). Die verbleibenden 4776 Schüler/innen bildeten die Basis für die Berechnung der Teilnahme-quote auf Schüler ebene. Bei PIRLS fehlten 106 Schüler/in-nen am Testtag (bzw. gegebenenfalls beim Nachtesttermin); bei TIMSS waren es 108. Tabelle 4.2 zeigt die Teilnahme-quoten der Schüler/innen für Österreich insgesamt sowie getrennt für die Bundesländer.

Tabelle 4.2: Teilnahmequoten auf Schülerebene nach Bundesländern (PIRLS & TIMSS 2011)

BundeslandAnzahl der für

den Test ausgewählten Schüler/innen

Anzahl der teilgenommenen Schüler/innen (Teilnahmequote)

PIRLS TIMSS

1 Burgenland 106 105 (99,1 %) 103 (97,1 %)

2 Kärnten 325 313 (96,3 %) 314 (96,6 %)

3 Niederösterreich 964 945 (98,0 %) 944 (97,9 %)

4 Oberösterreich 807 793 (98,3 %) 783 (97,0 %)

5 Salzburg 326 322 (98,8 %) 319 (97,9 %)

6 Steiermark 513 497 (96,9 %) 501 (97,7 %)

7 Tirol 337 331 (98,2 %) 333 (98,8 %)

8 Vorarlberg 198 194 (98,0 %) 198 (100 %)

9 Wien 1200 1170 (97,5 %) 1173 (97,8 %)

Gesamt 4776 4670 (97,8%) 4668 (97,7%)

LESEHINWEIS

Detaillierte Informationen zur Population, der Stichprobe und den Teilnahmequoten in Österreich finden sich in Kapitel 4 (Suchan & Wintersteller, in Vorbereitung) und 6 (Wintersteller, in Vorbereitung) des nationalen Technischen Berichts zu PIRLS & TIMSS 2011.

´

Bei PIRLS & TIMSS 2011 kamen als Erhebungsmethoden Tests und Fragebögen zum Einsatz: Die drei Kompetenzbereiche (Lesen, Mathematik und Naturwissen-schaft) wurden mittels schriftlicher Tests erfasst. Die Erhebung leistungsrelevanter Hintergrundinformationen erfolgte über Fragebögen auf System-, Schul-, Lehrer-, Eltern- und Schülerebene.

Die Testinstrumente und ihre Entwicklung

Als Basis für die Entwicklung der PIRLS- und TIMSS-Testaufgaben dienten die in-ternationalen Richtlinien im Framework (theoretisches Rahmenmodell, s. Kapitel 3). Die Konstruktion neuer Aufgaben fand in Kooperation mit den Teilnehmerländern im Rahmen eines genau vorgeschriebenen Entwicklungsprozesses statt. Dieser glie-derte sich in zwei Phasen: Bei PIRLS wur-den in einem ersten Schritt Lesetexte gesam-melt und ausgewählt sowie Testaufgaben dazu entwickelt. Bei TIMSS beschränkte sich die erste Phase auf die Aufgabenkonst-ruktion, da im Gegensatz zu PIRLS keine langen Lesetexte notwendig sind. Die Auf-gabenentwicklung erfolgte sowohl bei PIRLS als auch bei TIMSS unter Anleitung internationaler Expertengruppen. Dabei ent wickelten nationale Expertinnen und Experten sowie nationale Projektleiter/in-nen (NRCs) Testaufgaben nach genau fest-gelegten Kriterien. Die Aufgaben wurden anschließend vom TIMSS & PIRLS Inter-national Study Center (ISC) und einer in-ternationalen Expertengruppe begutachtet und überarbeitet. Bevor sie in einem zwei-ten Schritt im Feldtest erprobt wurden, hat-ten alle Teilnehmerländer nochmals die Gelegenheit zur Durchsicht. Die aus dem Feldtest gewonnenen Daten wurden auf in-ternationaler Ebene im ISC und im IEA Data Processing and Research Center

(DPC) umfangreichen statistischen Analy-sen (Itemanalysen) unterzogen. Anhand dieser Analysen erfolgte die Auswahl der Aufgaben für den Haupttest, von denen ei-nige noch einmal überarbeitet wurden. Durch diese Vorgehensweise wird sicherge-stellt, dass letztlich jene Aufgaben verwen-det werden, die in allen Teilnehmerländern einwandfrei funktionieren.

Im Haupttest kamen nicht nur neu entwi-ckelte Testaufgaben zum Einsatz, sondern auch solche aus der vorangehenden Tes-tung (PIRLS 2006 bzw. TIMSS 2007). Mithilfe dieser Trendaufgaben kann die Leistungsskala über die Zeit hinweg veran-kert werden. Dadurch wird es möglich, die Fähigkeitswerte der Schüler/innen im Zeit-verlauf zu vergleichen. Der Einsatz von Trendaufgaben bringt darüber hinaus den Vorteil, dass nicht vor jedem Durchgang alle Aufgaben neu entwickelt werden müssen. Die Trendaufgaben wurden in unveränderter Form aus vorhergehenden Zyklen (PIRLS 2006 bzw. TIMSS 2007) übernommen, und mussten so keinem Feldtest unterzogen werden.

Aufbau der Testhefte und Bearbeitungszeit

Da im Jahr 2011 die Studien PIRLS & TIMSS gleichzeitig stattfanden, haben in Österreich dieselben Schüler/innen an einem Testtag ein Testheft für Lesen (PIRLS) und an einem zweiten Tag für Ma-thematik und Naturwissenschaft (TIMSS) bearbeitet. Dadurch konnten erstmals die Leistungen der Viertklässler/innen in die-sen drei Kompetenz bereichen zusammen-hängend untersucht werden.


5. Tests und Fragebögen ChristinaWallner-Paschon&KatrinWidauer

Tests und Fragebögen 53

PIRLS

Im Haupttest 2011 wurden bei PIRLS zehn verschiedene Texte mit daran anschließenden Fragen eingesetzt. Diese Anzahl wurde bereits im Vorfeld im Framework festgelegt, um alle Leseabsichten und Verstehensprozesse in aus-reichendem Umfang zu messen und verlässliche Aussagen machen zu können. Vier dieser Texte waren neu und wurden bei PIRLS 2011 zum ersten Mal eingesetzt. Sechs weitere Texte stammten aus früheren Erhebungen, um die Leseleis-tung über die Zeit beobachten zu können.

Zur Aufteilung des Materials auf die Schüler/innen wurde ein Testdesign mit rotierenden Aufgabenblöcken verwendet. Hierfür wurden die Texte und die anschließenden Fragen in Blöcke gruppiert. Ein Block bestand jeweils aus einem Text und 12–17 sich darauf beziehende Fragen. Insgesamt gab es entsprechend der Anzahl der Texte 10 Blöcke, von denen fünf literarische (L) und weitere fünf Informationstexte (I) beinhalteten. Diese wurden, wie in Abbildung 5.1 darge-stellt, auf 13 verschiedene Testhefte verteilt, wobei jedes Testheft zwei Aufgabenblöcke enthielt.

Jede/r Schüler/in bearbeitete nur eine dieser Testheftformen und somit nur einen Teil der Aufgaben, da ein Testheft immer nur aus zwei Blöcken, also 2 Texten mit Fragen, bestand. Die Schüler/innen hatten pro Aufgabenblock 40 Minuten Zeit, um den Text zu lesen und die Fragen dazu zu beantworten. Die gesamte Bearbeitungszeit pro Schüler/in und Testheft betrug bei PIRLS somit 80 Minuten, wobei es zwischen den beiden Aufgabenblöcken eine zehnminütige Pause gab.

Testheft Teil 1 Teil 2

1 L1 L2

2 L2 L3

3 L3 L4

4 L4 I1

5 I1 I2

6 I2 I3

7 I3 I4

8 I4 L1

9 L1 I1

10 I2 L2

11 L3 I3

12 I4 L4

Leseheft L5 I5

Anmerkung: L = Block mit literarischem Text I = Block mit Informationstext

Abb. 5.1: Verteilung der Aufgabenblöcke auf unterschiedliche Testheftformen bei PIRLS 2011

Das 13. Testheft (Leseheft) wies ein spezielles Layout auf, da es zwei farbig gedruckte Texte (ohne Fragen) enthielt, um den Schülerinnen und Schülern eine authentischere Lese-situation zu bieten. Die Fragen zu diesen Texten erhielten die Schüler/innen in einem separaten Testheft. Die beiden Texte des Lesehefts kommen in diesem Verteilungsschema jeweils nur einmal vor, für alle anderen erfolgte eine Aus-balancierung so, dass sie jeweils in drei verschiedenen Testheftformen enthalten waren.

Diese unterschiedliche Kombination von Aufgabenblöcken ermöglichte eine Verbindung zwischen den Informations-texten und literarischen Texten, und somit auch zwischen den beiden Leseabsichten Lesen, um Informationen zu ge-winnen und Lesen, um literarische Erfahrungen zu machen. Außerdem konnte so die Position eines Textes an erster oder an zweiter Stelle im Testheft systematisch variiert werden, um damit Verzerrungen der Ergebnisse aufgrund der Reihenfolge in den Testheften (Reihenfolgeeffekte) auszu-schließen.

Um sicherzustellen, dass eine annähernd gleiche Anzahl von Schülerinnen und Schülern die 13 Testheftformen bearbei-teten, wurden die Testhefte anhand eines Rotationsschemas auf die Schüler/innen der Stichprobe zufällig verteilt.

TIMSS

Bei TIMSS 2011 wurden insgesamt 347 Aufgaben einge-setzt, welche in jeweils 14 Aufgabenblöcke für Mathematik und Naturwissenschaft zusammengefasst waren. Für beide Kompetenzbereiche wurden je sechs neue Aufgabenblöcke entwickelt. Um auch Vergleiche über die Zeit zu ermög-lichen, bestanden jeweils acht Mathematik- und Naturwis-senschaftsblöcke aus Aufgaben, die bereits bei TIMSS 2007 zum Einsatz kamen. Abbildung 5.2 zeigt, wie die insgesamt 28 Aufgabenblöcke mithilfe des international vorgegebenen Verteilungsschemas auf die 14 TIMSS-Testheftformen ver-teilt wurden, wobei jede Form aus je zwei Blöcken mit Mathematik- und Naturwissenschaftsaufgaben bestand.

Durch die Ausbalancierung war jeder Block in zwei ver-schiedenen Testheftformen enthalten – einmal im ersten und einmal im zweiten Teil. Wie bei PIRLS gewährleistete diese unterschiedliche Kombination der Blöcke eine Ver-bindung der Schülerantworten zwischen den verschiedenen Testheftformen. Des Weiteren konnten auch hier durch die systematische Variation der Blockanordnung in den Test-heften Reihenfolgeeffekte vermieden werden. Den Schüler-innen und Schülern wurde jeweils eine Testheftform zufällig zugewiesen. In jeder Testheftform kamen vier der insgesamt 28 Blöcke vor. Somit löste jedes Kind nur einen Teil der TIMSS-Aufgaben. Zur Bearbeitung ihres Testhefts hatten die Schüler/innen insgesamt 72 Minuten Zeit – 36 Minu-ten für jeden der beiden Teile, welche auch bei TIMSS durch eine zehnminütige Pause getrennt waren. Die Zuord-nung der TIMSS-Testhefte zu den Schülerinnen und


S chülern erfolgte ebenfalls anhand eines Rotationsschemas, sodass alle Testheftformen gleich häufig eingesetzt wurden.

Testheft Teil 1 Teil 2

1 M01 M02 S01 S02

2 S02 S03 M02 M03

3 M03 M04 S03 S04

4 S04 S05 M04 M05

5 M05 M06 S05 S06

6 S06 S07 M06 M07

7 M07 M08 S07 S08

8 S08 S09 M08 M09

9 M09 M10 S09 S10

10 S10 S11 M10 M11

11 M11 M12 S11 S12

12 S12 S13 M12 M13

13 M13 M14 S13 S14

14 S14 S01 M14 M01

Anmerkung: M = Block mit Mathematikaufgaben S = Block mit Naturwissenschaftsaufgaben

Abb. 5.2: Verteilung der Aufgabenblöcke auf unterschiedliche Testheftformen bei TIMSS 2011

Aufgabenformat und Testcharakteristiken

Die Erhebung der Lese-, Mathematik- und Naturwissen-schaftskompetenz erfolgte mithilfe zweier Aufgabenformate:

�� Multiple-Choice-Aufgaben: Bei jeder Multiple-Choice-Aufgabe konnte ein Punkt erreicht werden, wenn die Schüler/innen von vier vorgegebenen Antwortalternati-ven die richtige ankreuzten. �� Aufgaben mit offenem Antwortformat: Diese Aufgaben

erforderten von den Schülerinnen und Schülern eigen-ständig formulierte Antworten, für die sie bei PIRLS bis zu drei und bei TIMSS bis zu zwei Punkte erhalten konnten.

Abbildung 5.3 zeigt die Verteilung dieser Aufgabenformate für jeden der drei Kompetenzbereiche (Lesen, Mathematik, Naturwissenschaft). Pro Lesetext sollten laut Framework zumindest 15 Testpunkte erreicht werden können. Die ins-gesamt 135 PIRLS-Fragen setzten sich aus 61 offenen und 74 Multiple-Choice-Aufgabe zusammen – etwas mehr als die Hälfte der Aufgaben hatte somit ein Multiple-Choice-Format. Im Framework zu TIMSS wurde festgelegt, dass die Fragen innerhalb eines Aufgabenblocks bezüglich der beiden Antwortformate ausgewogen verteilt sein sollten. Von insgesamt 347 TIMSS-Testaufgaben hatte ebenfalls etwas mehr als die Hälfte (186 Aufgaben) Multiple-Choice-

Format, die restlichen 161 Aufgaben erforderten eigenstän-dig formulierte Schülerantworten. Freigegebene Texte sowie eine Beschreibung konkreter Testaufgaben finden sich in Kapitel 3.

Anzahl der Aufgaben

Multiple-Choice-

Aufgaben

Aufgaben mit offenem

AntwortformatGesamt

Leseabsichten bei PIRLS

Informationstexte 34 29 63

Literarische Texte 40 32 72

PIRLS gesamt 74 61 135

Kompetenzbereich bei TIMSS

Mathematik 93 82 175

Naturwissenschaft 93 79 172

TIMSS gesamt 186 161 347

Abb. 5.3:Verteilung der Aufgaben nach Antwortformat bei PIRLS & TIMSS 2011

Die Fragebögen

PIRLS & TIMSS erfassen nicht nur die Kompetenzen in Lesen, Mathematik und Naturwissenschaft, sondern auch Hintergrundinformationen zu individuellen, schulischen und häuslichen Bedingungen des Lernens. Darüber hinaus werden mithilfe von Fragebögen auf Systemebene regionale und nationale Aspekte wie beispielsweise Schulsystem-charakteristiken und Merkmale des Lehrplans erhoben.

Diese Kontextdaten repräsentieren einen zentralen Aspekt der Ergebnisanalyse, da sie mit den Leistungen der Schüler/innen in Beziehung gesetzt werden und somit Aufschluss über leistungsrelevante Zusammenhänge geben können. Die Kontextdaten liefern somit auch die Grundlage für schulpolitisch orientierte Ergebnisanalysen und können zur Klärung bestimmter Fragen (z. B. Geschlechtsunterschiede bei der Leseleistung) herangezogen werden. Darüber hinaus ermöglichen sie unter anderem, Bildungsindikatoren (Klas-senklima, Motivation und Einstellung der Schüler/innen etc.) zu entwickeln, diese in regelmäßigen Abständen zu erfassen und in Publikationen der Öffentlichkeit, Berufs-gruppen im Bildungsbereich sowie der Bildungspolitik und -forschung zur Verfügung zu stellen.

Die Entwicklung der Fragebögen basiert – wie auch die-jenige der Kompetenzbereiche – auf einem theoriegeleiteten Rahmenkonzept (Framework). Fragen, die sich bereits bei PIRLS 2006 sowie bei TIMSS 2007 bewährt haben und einen wesentlichen Erkenntnisbeitrag lieferten, wurden 2011 erneut eingesetzt. Es wurde darauf geachtet, diese in


möglichst unveränderter Form zu übernehmen, um Verglei-che über die Zeit hinweg zu gewährleisten. Der Konstruktion sowie der Auswahl der Fragebogenitems bei PIRLS & TIMSS 2011 liegt ein mehrstufiger Begutachtungsprozess zu Grunde, an dem vor allem das ISC, eine internationale Expertengruppe zur Fragebogenerstellung und die nationa-len Zentren beteiligt waren. Abbildung 5.4 gibt eine Über-sicht über die verschiedenen Bereiche in den Kontextfrage-bögen bei PIRLS & TIMSS 2011, die in weiterer Folge genauer beschrieben werden.

Schülerfragebogen

Dieser Fragebogen wurde im Anschluss an die Testung von den Schülerinnen und Schülern ausgefüllt und erfasst Aspekte ihres individuellen, häuslichen und schulischen Lebens. Der Schülerfragebogen beinhaltet insgesamt 38 Fragen mit ausschließlich geschlossenem Fragenformat. Er beanspruchte am ersten Testtag etwa 30 Minuten Bearbei-tungszeit und am zweiten Testtag etwa 15 Minuten. Folgen-de Themenbereiche werden im Schülerfragebogen erfasst:

�� demografische Merkmale der Schüler/innen: Geschlecht; Alter;�� familiärer Kontext: Häufigkeit, mit der zu Hause die

jeweilige Testsprache gesprochen wird; Anzahl der Bü-cher zu Hause; Besitztümer zu Hause (Computer, Schreibtisch, eigenes Zimmer etc.); Erziehungs- und Unterstützungsverhalten der Eltern (Gespräche und Ak-tivitäten); Geburtsland der Schüler/innen und Eltern; �� schulischer Kontext: Einstellung zur Schule (z. B. „Ich

bin gern in der Schule.“); problematisches Verhalten von Schülerinnen und Schülern in der Schule; Klassen-klima; Häufigkeit der Computernutzung;�� leistungsrelevante Aktivitäten außerhalb der Schule: Lese-

dauer pro Tag; Lesehäufigkeit zum Vergnügen, zur Information und selbstgewählter Texte; Häufigkeit des Lesens bestimmter Genres (Romane, Zeitschriften, Comics etc.); Häufigkeit der Nutzung von Bücherei und Medien; tägliche Dauer relevanter Freizeitaktivitä-ten (Fernsehen, Computerspielen etc.); Spielen eines Musikinstruments; Leseeinstellung der Freunde;�� individuelle Lesemotivation: Einstellung zum Lesen; Ein-

schätzung der eigenen Leseleistung; Lesemotive;�� Lesen in der Schule: Interesse und Mitarbeit am Leseun-

terricht; Häufigkeit bestimmter Leseaktivitäten im Un-terricht; Häufigkeit und Dauer von Lesehausübungen sowie Unterstützung dabei; Nachhilfe in Lesen und/ oder Schreiben;�� Mathematikunterricht: motivationale Bedingungen wie

Einstellung zu Mathematik; Selbstkonzept; Mitarbeit der Schüler/innen; leistungsrelevante Aktivitäten im Mathematikunterricht; Differenzierung im Mathema-tikunterricht; Referenzgruppe bei sozialen Vergleichen; Häufigkeit und Dauer von Mathematikhausübungen sowie Unterstützung dabei; Nachhilfe in Mathematik;

�� Sachunterricht: motivationale Bedingungen wie Einstel-lung zum Sachunterricht; Selbstkonzept; Mitarbeit der Schüler/innen; leistungsrelevante Aktivitäten im Sach-unterricht (Versuche planen und durchführen etc.); Stoffgebiete im Sachunterricht;�� Noten und Wechsel in die Sekundarstufe: voraussichtlich

besuchter Schultyp beim Wechsel in die Sekundarstufe; Noten im letzten Semesterzeugnis; Leistungszufrieden-heit.

Schülerfragebogen

demografische Merkmale der Schüler/innenfamiliärer Kontextschulischer Kontextleistungsrelevante Aktivitäten außerhalb der Schuleindividuelle LesemotivationLesen in der SchuleMathematikunterrichtSachunterrichtNoten und Wechsel in die Sekundarstufe

Elternfragebogen

familiärer Kontextvorschulische Erfahrungen des KindesHausübungenschulischer Kontextelterliche Leseaktivitäten und Einstellungen zum LesenNoten und Wechsel in die Sekundarstufe

Lehrerfragebogen

Informationen zur Lehrpersonschulischer KontextCharakteristika der KlasseUnterricht generellDeutsch- und LeseunterrichtMathematikunterrichtSachunterrichtComputer- und BibliotheksressourcenHausübungenFörderung und innere Differenzierung

Schulfragebogen

Charakteristika der SchuleRolle der SchulleitungZusammenarbeit zwischen Schule und ElternSchulklimaUnterricht generellLeseunterricht Mathematik- und SachunterrichtEvaluationRessourcen der SchuleMerkmale der Schülerschaft

Abb. 5.4: Die Kontextfragebögen bei PIRLS & TIMSS 2011


Elternfragebogen

Der Elternfragebogen wurde bislang nur in der PIRLS- Studie, nicht aber bei TIMSS eingesetzt. Somit boten PIRLS & TIMSS 2011 erstmalig die Gelegenheit, die Lese-,Mathematik- und Naturwissenschaftskompetenz zusam-men mit den Hintergrundinformationen der Eltern zu ana-lysieren.

Am Testtag bekamen die Schüler/innen einen Fragebogen für ihre Eltern mit nach Hause, der in etwa 10–15 Minuten ausgefüllt werden konnte. Der Fragebogen besteht aus ins-gesamt 24 Fragen und behandelt folgende Themenbereiche:

�� familiärer Kontext: Anzahl der (Kinder-)Bücher zu Hause und Frage danach, ob diese überwiegend in der Testsprache (Deutsch) verfasst sind; höchster Bildungs-abschluss der Eltern; Geburtsland der Schüler/innen und Eltern; zu Hause mit dem Kind am häufigsten ge-sprochene Sprache; für das Kind angestrebter Bildungs-abschluss; Erwerbstätigkeitsstatus der Eltern (Vollzeit, Teilzeit etc.); Beruf der Eltern; Anzahl und Reihenfolge der Geschwisterkinder; Erziehungs- und Unterstüt-zungsverhalten der Eltern (Gespräche und Aktivitäten; z. B. das Kind fragen, was es in der Schule gelernt hat); Person, die den Fragebogen ausgefüllt hat;�� vorschulische Erfahrungen des Kindes: Erziehungs- und

Unterstützungsverhalten der Eltern (Häufigkeit sprach-bezogener, mathematikbezogener und naturwissen-schaftsbezogener Aktivitäten); zu Hause gesprochene Sprache vor Schuleintritt; Besuchsdauer einer Betreu-ungseinrichtung vor dem Kindergartenalter; Dauer des Kindergartenbesuchs; Vorschulbesuch; Schuleintritts-alter; sprachliche Fähigkeiten bei Schuleintritt; mathe-matische Fähigkeiten bei Schuleintritt; �� Hausübungen: zeitlicher Aufwand für die Hausübungen;

Unterstützung bei Lese- und Mathematikhausübungen; �� schulischer Kontext: Kooperation mit der Schule;�� elterliche Leseaktivitäten und Einstellungen zum Lesen:

wöchentliche Lesezeit der Eltern; Häufigkeit, mit der Eltern zum Vergnügen lesen; Einstellungen der Eltern zum Lesen;�� Noten und Wechsel in die Sekundarstufe: voraussichtlich

besuchter Schultyp beim Wechsel in die Sekundarstufe; Noten im letzten Semesterzeugnis.

Lehrerfragebogen

Dieser richtete sich an alle Lehrer/innen, die die getesteten Viertklässler/innen in Deutsch/Lesen/Schreiben, Mathema-tik und/oder Sachunterricht unterrichteten. Im Rahmen von PIRLS & TIMSS 2011 wurde der Lehrerfragebogen erstmals als Druck- sowie als Onlineversion angeboten. Insgesamt umfasst dieser Fragebogen 67 Fragen und be-ansprucht eine Bearbeitungszeit von etwa 60 Minuten. Der Fragebogen fokussiert vor allem auf Merkmale des Klassen-kontextes (Charakteristika der Klasse und des Unterrichts).

Im Detail wurden die Lehrkräfte zu folgenden Themen-bereichen befragt:

�� Informationen zur Lehrperson: Dienstjahre; Alter; Ge-schlecht; höchster Bildungsabschluss; Ausbildung zum Lehrberuf; leserelevante Schwerpunkte bei der Aus- und Weiterbildung; Fortbildungsstunden zu leserelevanten Themen; Häufigkeit eigenständiger Fortbildung durch das Lesen von Fachzeitschriften etc.; Häufigkeit, mit der zum Vergnügen gelesen wird; Fortbildungsbereiche in Mathematik und Naturwissenschaft; Zufriedenheit mit dem Lehrberuf; �� schulischer Kontext: Kooperation der Lehrer/innen;

Sicherheit an der Schule; Probleme mit Räumlichkeiten, Arbeitsplätzen u. Ä.; Schulklima; Computernutzung zur Vorbereitung und im Unterricht; Form der Nach-mittagsbetreuung und Anzahl der Schüler/innen, die dieses Angebot nutzen; �� Charakteristika der Klasse: Klassengröße; Anzahl der

Mädchen und Buben; Angabe, ob es sich um eine jahr-gangsübergreifende Klasse handelt; Anzahl der Schüler/innen, die für den Übertritt in eine AHS geeignet wären; Anzahl der Schüler/innen mit Schwierigkeiten, gespro-chenes Deutsch zu verstehen; Lehrerangaben zu Geschlechterunterschieden beim Lesen in der Klasse; Lesefähigkeit der Klasse (Lehrereinschätzung); Auftei-lung der Unterrichtszeit in dieser Klasse;�� Unterricht generell: Ausmaß von Beeinträchtigungen des

Unterrichts beispielsweise durch Schüler/innen, die den Unterricht stören oder desinteressiert sind; Förderung des Schülerengagements im Unterricht; Elterninforma-tion zum Lernfortschritt der Kinder (Form und Häufig-keit);�� Deutsch- und Leseunterricht: wöchentliche Unterrichts-

zeit für Deutsch und sprachbezogene Aktivitäten sowie für einzelne Fertigkeiten wie Verfassen von Texten etc.; wöchentliche Zeit für Lesen insgesamt sowie für be-stimmte Leseaktivitäten; Gestaltung des Deutsch- und Leseunterrichts; Häufigkeit des Computereinsatzes für sprachbezogene Tätigkeiten (Lernsoftware benutzen, Texte schreiben etc.); Häufigkeit von Bibliotheksbesu-chen; Umgang mit Leistungsschwächen in Lesen; Basis der Leistungsbewertung in Lesen;�� Mathematikunterricht: wöchentliche Unterrichtszeit in

Mathematik; Lehrereinschätzung bezüglich der Quali-tät vorbereiteter mathematischer Inhalte; Arbeitsfor-men; zeitliches Ausmaß für bestimmte Arbeitsmetho-den wie beispielsweise Aufgaben unter Anleitung der Lehrkraft bearbeiten, eigene Antworten erklären etc.; verwendete Materialien (Lehrbücher, Arbeitsblätter etc.); Verwendung eines Taschenrechners; Häufigkeit des Computereinsatzes für bestimmte Tätigkeiten (Informationen suchen, mathematische Verfahren üben etc.); Zeitpunkt, zu dem die bei TIMSS getesteten mathematischen Inhalte unterrichtet wurden/werden; verwendete Unterrichtszeit für bestimmte mathemati-sche Inhaltsbereiche (Zahlen, geometrische Formen und


Maße, Darstellen von Daten); Basis der Leistungsbeur-teilung in Mathematik; �� Sachunterricht (Unterrichten naturwissenschaftlicher In-

halte)1: Frage, ob naturwissenschaftliches Wissen in einem eigenen Unterrichtsfach vermittelt wird; wöchentliche Unterrichtszeit für naturwissenschaftliche Inhalte; Lehrereinschätzung zur individuellen Vorberei-tungsqualität verschiedener naturwissenschaftlicher Inhalte; zeitliches Ausmaß für bestimmte Aktivitäten wie beispielsweise Experimente entwerfen, Naturphä-nomene beobachten etc.; verwendete Materialien (Lehr-bücher, Arbeitsblätter etc.); Häufigkeit des Computer-einsatzes für bestimmte Tätigkeiten im Sachunterricht; Zeitpunkt, zu dem die bei TIMSS getesteten naturwis-senschaftlichen Inhalte unterrichtet wurden/werden; Unterrichtszeit für naturwissenschaftliche Inhaltsberei-che (Biologie, Physik, Erdkunde); Basis der Leistungs-beurteilung in Sachunterricht (z. B. Testnoten); �� Computer- und Bibliotheksressourcen: Computer und

Internetzugang im Deutsch-, Mathematik- und Sach-unterricht; Klassenbibliothek; Anzahl der Bücher und Zeitschriften in der Klasse, Zeit zur Nutzung der Klassenbibliothek sowie Entlehnmöglichkeiten;�� Hausübungen im Deutsch-, Mathematik und Sachunter-

richt: Häufigkeit und Dauer von Hausübungen; Rück-meldemodalitäten bei Hausübungen; �� Förderung und innere Differenzierung: Anzahl der Schü-

ler/innen, die Förderunterricht benötigen/erhalten; spezielle Förderung von guten Schülerinnen und Schü-lern; Individualisierung im Unterricht als Aus- und Weiterbildungsschwerpunkt; Einschätzung der Not-wendigkeit von Differenzierung; Ausmaß der Steuerung im Unterricht durch Lehrkraft und/oder Schüler/innen; Unterstützungsmaßnahmen bei Leseschwächen; zur Verfügung stehende personelle Hilfen bei Leseschwä-chen; Individualisierung durch den Einsatz unterschied-licher Lesematerialien; Individualisierung durch unter-schiedliche Hausübungen.

Schulfragebogen

Auf Schulebene wurde die Schulleitung gebeten, Fragen zu schulischen Kontexten zu beantworten. Auch der Schulfra-gebogen wurde 2011 als Druck- sowie als Onlineversion angeboten. Er umfasst 23 Fragen mit geschlossenem Ant-wortformat. Die Bearbeitung nimmt etwa 30 Minuten in Anspruch. Zu folgenden Themenbereichen sind Fragen ent-halten:

�� Charakteristika der Schule: Anzahl der Schüler/innen an der Schule (insgesamt sowie auf der vierten Schulstufe); Schulstandort (Anzahl der Einwohner/innen, Einkom-mensniveau etc.); Unterrichtstage und -zeiten;

�� Rolle der Schulleitung: zeitliche Ressourcen für unter-schiedliche Tätigkeitsbereiche wie beispielsweise Ver-waltung oder Unterrichten;�� Zusammenarbeit zwischen Schule und Eltern: Häufigkeit

schulischer Unterstützung/Miteinbeziehung der Eltern; Häufigkeit, mit der Eltern über die Arbeit der Schule informiert werden; Elternarbeit an der Schule;�� Schulklima: Einschätzung der Lehrerzufriedenheit, el-

terlichen Unterstützung etc.; Einschätzung, inwieweit bestimmte Verhaltensweisen der Schüler/innen (z. B. Respektlosigkeit, Diebstahl) bzw. der Lehrkräfte (z. B. Abwesenheit, Zuspätkommen) ein Problem darstellen;�� Unterricht generell: Einschätzung der Notwendigkeit

von Individualisierung durch die Lehrkräfte; tatsächlich praktizierte Differenzierung;�� Leseunterricht: Gewichtung verschiedener Lesefertigkei-

ten nach Schulstufen; Gewichtung von Lese- und Schreib -unterricht im Vergleich zu anderen Fächern; Angebots- ausmaß eines muttersprachlichen Leseunterrichts; Leseinitiativen und Leseförderprojekte (Lese nächte, Le-separtnerschaften etc.); Bedeutung der Leseförderung;�� Mathematik- und Sachunterricht: Leistungsgruppierung;

Angebot an Förderunterricht und Begabtenförderung;�� Evaluation: Evaluation der Unterrichtspraxis von Lehre-

rinnen und Lehrern (z. B. Hospitationen, Messung von Schülerleistungen);�� Ressourcen der Schule: Ausmaß an Unterrichtsbeein-

trächtigung durch Ressourcenmängel (Vorhandensein eines Wissenschaftslabors, Vorhandensein und Ausstat-tung einer Schulbibliothek, Anzahl von Computern);�� Merkmale der Schülerschaft: Schüleranteile mit bestimm-

ten sprachlichen und mathematischen Kenntnissen bei Schuleintritt; sozioökonomischer und kultureller Hin-tergrund der Schüler/innen.

Enzyklopädie

Die Enzyklopädie wird jeweils begleitend zu PIRLS 2011 (Mullis, Martin, Minnich, Drucker & Ragan, 2012) sowie zu TIMSS 2011 (Mullis, Martin, Minnich, Stanco, Arora, Centurino & Castle, 2012) publiziert und enthält Informa-tionen zu relevanten nationalen Bildungskontexten der einzelnen Teilnehmerländer. Hierfür werden für jedes Teil-nehmerland Informationen zum Leseunterricht (PIRLS) so-wie zum Mathematik- und Naturwissenschaftsunterricht (TIMSS) beschrieben. Die Enzyklopädie bietet damit eine ausführ liche und für alle Teilnehmerländer einheitliche Doku mentation des Bildungssystems und beschreibt die unterschiedlichen nationalen Kontexte, in denen der Lese- sowie der Mathematik- und Naturwissenschaftsunterricht stattfinden.

1 In Österreich werden naturwissenschaftliche Inhalte in der Regel im Sachunterricht vermittelt; sie stellen jedoch in diesem Unterrichtsfach nur einen Teilaspekt dar. Allgemeine Fragen zum Naturwissenschaftsunterricht wurden daher in Bezug auf Sachunterricht formuliert. Bei spezifischen Fragen, die sich ausschließlich auf naturwissenschaftliche Inhalte beziehen, wurde konkret nach naturwissenschaftlichen Inhalten gefragt.


Diese Informationen sind vor allem im Rahmen der Daten-analyse sowie bei der Ergebnisinterpretation hilfreich. Die Inhalte zur Enzyklopädie liefern die jeweiligen Länder selbst, wobei bestimmte Vorgaben die internationale Ver-gleichbarkeit gewährleisten sollen. Diese Vorgaben beziehen sich sowohl auf die Inhalte, die durch eine Art Leitfaden vereinheitlicht werden, als auch auf den ungefähren Um-fang der Ausführungen zu den einzelnen Themenbereichen. Die Enzyklopädie wurde von Verantwortlichen des BIFIE verfasst und von drei Fachexpertinnen im Bereich Lesen, sowie jeweils zwei im Bereich Mathematik und Naturwissenschaft in der Grundschule unabhängig vonein-ander begutachtet.

Folgende nationale Kontextmerkmale müssen laut Leitfa-den für jedes Land in der PIRLS-Enzyklopädie beschrieben werden:

�� Sprache und Lesekompetenz;�� Übersicht über das Bildungssystem;�� Leselehrplan in der vierten Klasse Grundschule;�� Leseunterricht in der Grundschule;�� Leseschwächen;�� Lehrer/innen und deren Ausbildung;�� Überprüfung der Leseentwicklung;�� Auswirkungen von bisherigen PIRLS-Erhebungen im

Schulsystem.

Folgende nationale Kontextmerkmale müssen laut Leitfa-den für jedes Land in der TIMSS-Enzyklopädie beschrieben werden:

�� Übersicht über das Bildungssystem;�� Sprache und Population;�� Lehrplan für Mathematik (vierte & achte Schulstufe);�� Lehrplan für Naturwissenschaft (vierte & achte Schul-

stufe);�� Mathematik- und Naturwissenschaftsunterricht

(Grund- und Sekundarstufe);�� Lehrer/innen und deren Ausbildung;�� Überprüfung der Kompetenzentwicklung in Mathema-

tik und Naturwissenschaft;�� Auswirkungen von bisherigen TIMSS-Erhebungen im

Schulsystem.

Lehrplanfragebogen

Der Fragebogen zum Lehrplan fokussiert primär auf den nationalen Kontext in Bezug auf die Lehrplaninhalte des Lese unterrichts (PIRLS) und des Mathematik- und Sach-unterrichts (TIMSS). Es handelt sich dabei um einen Online-Fragebogen, der sowohl Fragen mit geschlossenem (Multiple Choice) als auch mit halb offenem Antwort-format enthält. In Österreich wurde der Fragebogen jeweils von drei Fachexpertinnen und -experten (erfahrene Lehrer/

innen mit Zusatzqualifikationen) unabhängig voneinander beantwortet. In einer anschließenden Expertenrunde wur-den Unstimmigkeiten besprochen und eine einvernehm-liche Version ausgearbeitet.

Übersetzung der Tests und Fragebögen

Da die Schüler/innen bei PIRLS & TIMSS in ihrer jeweili-gen Unterrichtssprache getestet und befragt wurden, mussten in jedem Teilnehmerland entsprechende Überset-zungen der Tests und Fragebögen erstellt werden. Das ISC hat dafür allen Teilnehmerländern die Quellversionen der Testmaterialien in englischer oder arabischer Sprache zur Verfügung gestellt. Begleitend dazu gab es elektronische Listen zur Dokumentation aller nationalen Änderungen (National Adaptation Forms) in den Testinstrumenten und Fragebögen.

Die Übersetzung der Testinstrumente ist bei vergleichenden Studien ein äußerst sensibler Bereich, da die Texte und Fragen nach der Übersetzung inhaltlich und sprachlich dem Original entsprechen sollten. Zur Qualitätssicherung und internationalen Vergleichbarkeit der Erhebungsinstrumente hat das ISC daher Übersetzungsabläufe und umfassende Richtlinien zur Übersetzung vorgeschrieben, deren Einhal-tung genau geprüft wurde. So sollte beispielsweise beim Übersetzen der Texte keine Information hinzugefügt oder ausgelassen werden.

Die überwiegende Übersetzungsarbeit aller Testmaterialien und Fragebögen fand vor dem Feldtest statt, da hier alle neuen Aufgaben, Texte und Fragen angepasst werden mussten. Zur Steigerung der Übersetzungsqualität ging Österreich eine Übersetzungskooperation mit den beiden deutschsprachigen Teilnehmerländern Deutschland und Luxemburg ein. Als Ausgangspunkt für die österreichischen Testhefte diente bei PIRLS die deutsche Übersetzung aus Luxemburg und bei TIMSS diejenige aus Deutschland. B eide Versionen wurden nach der Übersetzung national angepasst, sodass sie sprachlich und inhaltlich für die Verwendung in Österreich geeignet waren. Im Rahmen der Übersetzungskooperation übernahm Österreich die Über-setzung der Fragebögen. Dabei war es wichtig, dass die Fragen für die jeweilige Zielgruppe (bspw. Schüler/innen der vierten Klasse Volksschule oder deren Eltern) verständ-lich formuliert waren, wobei auf Besonderheiten des nationalen Schulsystems Rücksicht zu nehmen war. Die Frage bögen erforderten daher umfassendere Adaptionen auf nationaler Ebene als die Testaufgaben. Sie wurden durch Mitarbeiterinnen des BIFIE übersetzt, wobei bei Fragen aus vorhergehenden Erhebungen die ursprüngliche Über-setzung übernommen wurde, um die Vergleichbarkeit der erhaltenen Antworten zu gewährleisten.


In Österreich erfolgte schließlich eine Expertenbegutach-tung aller Erhebungsmaterialien durch Pädagoginnen und Pädagogen, bevor diese zur Translation Verification ein-gereicht wurden. Bei diesem Schritt internationaler Quali-tätssicherung wurden die übersetzten Testmaterialien aller Teilnehmerländer auf ihre inhaltliche Richtigkeit geprüft. Erst nach Genehmigung aller nationalen Anpassungen sowie einer abschließenden Überprüfung des Layouts der Testhefte und Fragebögen (Layout Verification) durch das ISC durften diese gedruckt werden.

Um die Datenerhebung in die Wege zu leiten, wurden nach der endgültigen Fest-legung der Stichprobe alle 159 ausgewähl-ten Schulen vom nationalen Projektzen-trum (BIFIE) kontaktiert. Es folgte eine Phase der Kommunikation und Kooperati-on zwischen dem BIFIE und den Schulen zur Vorbereitung der Tests (Screening). Die eigentliche Datenerhebung fand innerhalb eines achtwöchigen Testfensters im Früh-jahr 2011 statt, wobei die Testsitzungen zur Bearbeitung der Testhefte und Fragebögen von eigens geschulten externen Testleiterin-nen und Testleitern administriert wurden. Nach der Rücksendung sämtlicher Erhe-bungsmaterialien an das BIFIE erfolgte die Datenverarbeitung, welche die Bewertung der frei formulierten Schülerantworten (Scoring) und die elektronische Datenerfas-sung beinhaltete. Die Qualität der eingege-benen Daten wurde sowohl auf nationaler Ebene durch das BIFIE wie auf internatio-naler Ebene durch das IEA Data Processing and Research Center (DPC) eingehend geprüft. Schließlich bereitete das Internati-onal Study Center (ISC) die Leistungsdaten aller Länder für die Ergebnis analysen auf (Skalierung und Gewichtung). In Öster-reich begann die Phase der Datenerhebung und -verarbeitung für den Haupttest im November 2010 mit der Information der Schulbehörden und Schulen und endete im August 2011 mit der Übermittlung der Daten an das DPC.

Kommunikation und Kooperation mit den Testschulen (Screening)

Vor der Kontaktaufnahme mit den Schulen wurden alle zuständigen Schulbehörden über die Auswahl der Testschulen und den Ablauf der Studien informiert. Erst dann erhielten die Schulleiter/innen der ausge-wählten Schulen ein Informationsschrei-ben mit der Bitte, bei der Durchführung

von PIRLS & TIMSS mit dem BIFIE zu kooperieren. Unter anderem sollten die Schulleiter/innen den Schulfragebogen beant worten und die verantwortlichen Lehrpersonen (Lehrkräfte, die die ausge-wählten Schüler/innen in Lesen, Mathe-matik und/oder Sachunterricht unterrich-ten) ersuchen, den Lehrerfragebogen bis zum Testtermin zu beantworten. Schul- und Lehrerfragebogen konnten wahlweise online oder in Druckversion bearbeitet werden. Die Schul leitungen hatten darüber hinaus die Aufgabe, an ihrer Schule eine/n Schulkoordinator/in als Kontaktperson für das BIFIE zu bestimmen. Diese/r war für die weiteren organisatorischen Tätigkeiten im Rahmen der Erhebung an der Schule verantwortlich.

Die Schulkoordinatorinnen und -koordi-natoren wurden in einem ersten Schritt gebeten, eine Liste mit allen Klassen der vierten Schulstufe an das BIFIE zu über-mitteln. Auf Basis dieser Klassenlisten er-folgte am BIFIE der zweite Schritt der Stichprobenziehung – die Zufallsauswahl von bis zu zwei Klassen pro Schule mittels einer vom ISC zur Verfügung gestellten Software. Nach Bekanntgabe der ausge-wählten Klasse/n fertigten die Schulkoordi-natorinnen und -koordinatoren für jede Testklasse eine anonymisierte Liste aller Schüler/innen an (fortlaufende Numme-rierung ohne Schülernamen; vgl. Hinweis zum Datenschutz). Dabei musste gewähr-leistet sein, dass am jeweiligen Testtag die Zuordnung der Schüler/innen zu ihrer Nummer durch eine schulinterne Liste möglich sein würde. Durch die Auswahl ihrer Klasse waren die Schüler/innen auto-matisch für die Teilnahme am PIRLS- und TIMSS-Test sowie an der Befragung mit-tels Schülerfragebogen vorgesehen.

Die Schulkoordinatorinnen und -koordi-natoren erhielten sodann vom BIFIE Infor-mationsmaterial zur Weitergabe an alle


6. Datenerhebung und -verarbeitung AnnaWintersteller&SilviaBergmüller

Datenerhebung und -verarbeitung 61

Beteiligten. So wurden die Klassenlehrer/innen der Test-klassen schriftlich über den Inhalt und Ablauf der Studien in Kenntnis gesetzt und gebeten, auch ihre Schüler/innen über die Teilnahme an PIRLS & TIMSS zu informieren. Darüber hinaus bekamen die Schüler/innen ein Schreiben, das Informationen für sie und ihre Eltern enthielt. Die Schul leitung und jene Lehrpersonen, die einen Lehrerfrage-bogen beantworten sollten, erhielten ebenfalls schriftliche Informationen zu ihren Aufgaben.

Die Vereinbarung der beiden Testtermine an der Schule erfolgte zwischen dem/der Schulkoordinator/in und dem/der für die Schule hauptverantwortlichen Testleiter/in. Jede ausgewählte Testklasse benötigte zwei Testtage, da alle Schüler/innen sowohl in PIRLS als auch in TIMSS getestet wurden. An Schulen mit zwei Testklassen wurden beide Klassen parallel (zeitgleich) von zwei Testleiterinnen/Test-leitern getestet.

Durchführung der Tests

Alle PIRLS- und TIMSS-Testsitzungen mussten unter Ein-haltung des standardisierten Testablaufs im festgelegten Testfenster – zwischen 28. März und 20. Mai 2011 – durch-geführt werden. In Österreich wurden dafür speziell ge-schulte Testleiter/innen eingesetzt, die großteils bereits im Feldtest (s. Kapitel 7), in früheren Projektzyklen oder bei anderen Studien für das BIFIE tätig waren und daher über Erfahrung bei der Administration von Testsitzungen verfügten. Diese externen Testleiter/innen waren meist Mitarbeiter/innen von Pädagogischen Hochschulen bzw. Universitäten oder Lehrer/innen und hatten an der jeweili-gen Testschule kein Dienstverhältnis. Sie übernahmen die Testung mehrerer Klassen an verschiedenen Schulen. Durch die Übertragung der Testleitung an schulexterne Personen konnte der Aufwand für die Schulen minimiert und die Objektivität der Testdurchführung gesteigert werden (etwa indem eine Einflussnahme der Lehrkräfte bei der Fragen-beantwortung ausgeschlossen war). Die Einhaltung des standardisierten Testablaufs wurde stichprobenartig durch zusätzlich anwesende Quality Control Monitors überprüft (s. Kapitel 9).

Zur Vorbereitung auf die Testdurchführung erhielten die Testleiter/innen ein Handbuch, in dem sämtliche Aufgaben

im Detail beschrieben waren. Sie mussten dieses Handbuch lesen und danach an einer etwa dreistündigen Schulung teilnehmen. Dabei wurden organisatorische Punkte sowie sämtliche Aufgaben im Rahmen der Vorbereitung, standar-disierten Durchführung und Nachbereitung einer Testsit-zung ausführlich besprochen. Im Anschluss an die Schu-lung erhielten die Testleiter/innen Klassenpakete mit allen Erhebungsmaterialien für ihre Testklassen (Teilnahmelisten, Testsitzungsprotokolle, Testhefte, Fragebögen etc.) und waren für deren sichere Verwahrung verantwortlich.

In jeder Testklasse gab es eine PIRLS- und eine TIMSS-Testsitzung an den vereinbarten zwei Testtagen. Um Reihenfolgeeffekte auszugleichen wurde systematisch vari-iert, welche Studie zuerst getestet wurde. In der Hälfte der Schulen wurde mit PIRLS am ersten Testtag begonnen, in der anderen Hälfte mit TIMSS. Die Testsitzungen dauerten unterschiedlich lang, je nachdem ob PIRLS oder TIMSS getestet wurde und ob der Schülerfragebogenteil für den ersten oder für den zweiten Testtag beantwortet werden musste. Abbildung 6.1 zeigt den variablen Ablauf der Test-sitzungen, die inklusive Vorbereitungszeit und Pausen jeweils etwa zwei bis zweieinhalb Stunden dauerten.

Generell war der Testablauf für beide Studien gleich. Zuerst wurden den Schülerinnen und Schülern ihre Sitzplätze zu-gewiesen, um die korrekte Zuordnung der Testmaterialien zu ermöglichen – bei gleichzeitiger Wahrung der Anonymi-tät der Schüler/innen. Dabei half dem/der Test leiter/in eine schulinterne Lehrperson, die dann den Raum verließ. Nach der Begrüßung und Einleitung durch den/die Testleiter/in bearbeiteten die Schüler/innen die Testhefte, die für den jeweiligen Tag vorgesehen waren. Sowohl für PIRLS als auch für TIMSS bestanden diese aus zwei Teilen, die jeweils durch eine zehnminütige Pause unterbrochen waren. Bei PIRLS hatten die Schüler/innen für jeden Testteil 40 Minu-ten Zeit, bei TIMSS 36 Minuten. Nach einer weiteren Pause von zehn Minuten hatten die Schüler/innen am ersten Test-tag ca. 30 Minuten und am zweiten Testtag ca. 15 Minuten für die Bearbeitung des Schüler fragebogens zur Verfügung. Der Elternfragebogen wurde den Kindern – mit der Bitte um Weitergabe an die Eltern – nach Hause mitgegeben.

Der/die Testleiter/in war für die ordnungsgemäße Vorberei-tung, Durchführung und Nachbereitung der beiden Test-sitzungen in der jeweiligen Klasse verantwortlich. Unter anderem zählte dazu die Überprüfung der Anwesenheit der

Begrüßung und Einleitung durch Testleiter/in PIRLS-Testheft

2 x 40 Minuten(mit 10 Minuten Pause)

Schüler-fragebogen

ca. 30 Minuten

TIMSS-Testheft2 x 36 Minuten

(mit 10 Minuten Pause)Testtag 1

Testtag 2Schüler-

fragebogenca. 15 Minuten

10 min.PauseODER

Abb. 6.1: Ablauf der Testsitzungen (PIRLS & TIMSS 2011)


Schüler/innen, die korrekte Verteilung der Testhefte und Fragebögen, das Verlesen der Anweisungen, die Einhaltung der zeitlichen Vorgaben, die Beaufsichtigung der Schüler/innen und die Vervollständigung der Listen und Formulare. Insbesondere die Instruktion der Schüler/innen musste durch alle Testleiter/innen in gleicher Weise erfolgen und den internationalen Vorgaben entsprechen, um standardi-sierte Testbedingungen zu gewährleisten. Während der Be-arbeitung der Aufgaben war es den Testleiterinnen und Test-leitern nicht erlaubt, inhaltliche Hilfestellungen zur Lösung zu geben. Im Testsitzungsprotokoll wurden der zeitliche Ab-lauf jeder Testsitzung sowie eventuell auftretende besondere Vorkommnisse dokumentiert und ein Sitzplan skizziert.

Eine weitere Aufgabe der Testleiter/innen war die Berech-nung der Teilnahmequote für die getestete Klasse. Waren in einer Klasse weniger als 90 % der Schüler/innen am jeweili-gen Testtag anwesend, musste nach internationalen Richt-linien für diese Studie ein Nachtest durchgeführt werden. Dadurch wurde der Anteil nicht getesteter Schüler/innen möglichst gering gehalten. Nach Abschluss aller Testungen einer Klasse erfolgte die postalische Retournierung sämt-licher Materialien im Klassenpaket an das BIFIE, womit die Verantwortung der Testleiter/innen für die Sicherheit der Materialien endete. Die Elternfragebögen wurden geson-dert von den Schulen direkt an das BIFIE gesendet.

Nach dem Eintreffen sämtlicher Materialien am BIFIE erfolgte die Rücklaufkontrolle. Diese bestand aus der Kon-trolle der Vollständigkeit der retournierten Materialien, der elektronischen Dokumentation, welche Testhefte und Fragebögen die Schüler/innen bearbeitet hatten, sowie der elektronischen Erfassung der handschriftlich vervollstän-digten Teilnahmelisten. Diese detaillierte Überprüfung ermöglichte die frühzeitige Identifikation von Unstimmig-keiten und gewährleistete, dass alle sensiblen Materialien wieder ans BIFIE retourniert wurden. Im Anschluss an die Kontrolle und Dokumentation wurden die Testhefte und Fragebögen für die weitere Verarbeitung (Scoring und Dateneingabe) sortiert.

Bewertung der frei formulierten Schülerantworten (Scoring)

Die Aufgaben bei PIRLS & TIMSS bestehen zum einen aus Multiple-Choice-Fragen, bei denen die Schüler/innen aus vorgegebenen Antwortalternativen eine auswählen müssen, und zum anderen aus offenen Fragen, bei denen die Schü-ler/innen ihre Antworten selbst formulieren müssen. Multi-ple-Choice-Fragen können im Zuge der elektronischen Dateneingabe direkt erfasst werden. Die Antworten auf offene Fragen hingegen müssen vor der elektronischen Er-fassung noch auf ihre Richtigkeit und Vollständigkeit hin bewertet werden. Dieser Schritt der Datenverarbeitung wird als Scoring bezeichnet.

Das Scoring ist ein entscheidender Prozess bei internationa-len Schülerleistungsstudien. Nur wenn die Schülerantwor-ten über alle Länder und über unterschiedliche Erhebungs-zyklen hinweg nach den gleichen Maßstäben bewertet werden, lassen sich aussagekräftige Vergleichsdaten gewin-nen. Um eine möglichst einheitliche Bewertung zu errei-chen, gab es vom ISC standardisierte Bewertungsrichtlini-en, die in umfangreichen Scoring Guides erläutert werden. Die Scoring Guides bilden damit die Basis für die Punkte-vergabe.

Je nach Aufgabenschwierigkeit und -umfang gab es bei TIMSS Fragen mit ein oder zwei erreichbaren Punkten, bei PIRLS konnten maximal drei Punkte pro Frage erzielt wer-den. Während die PIRLS-Aufgaben mit einstelligen Codes in Bezug auf ihre Korrektheit bewertet wurden, wurde bei TIMSS eine zweistellige Codierung verwendet. Die erste Ziffer bezog sich dabei ebenfalls auf die Korrektheit der Antwort (d. h. die erreichten Punkte), die Ziffer an zweiter Stelle gab zusätzlich Auskunft über den gewählten Lösungs-weg bzw. die Art des Fehlers, der möglicherweise begangen wurde. In jedem Scoring Guide wird zunächst allgemein beschrieben, welche Kriterien eine Schülerantwort erfüllen muss, um einen bestimmten Code zu erhalten. Neben die-ser allgemeinen Beschreibung enthalten die Scoring Guides für alle Leseaufgaben sowie für komplexere Mathematik- und Naturwissenschaftsaufgaben eine Reihe an konkreten Codierbeispielen. Ein Unterschied in den Bewertungsricht-linien zwischen PIRLS und TIMSS ist, dass bei PIRLS die Frage nochmals angeführt wird, bei TIMSS aber nicht.

Die Abbildungen 6.2, 6.3 und 6.4 zeigen die jeweiligen Scoring Guides für die zuvor präsentierten Beispielaufgaben aus Lesen, Mathematik und Naturwissenschaft (s. Kapi-tel 3). Die Beispielaufgabe aus der Domäne Lesen (Frage 7 zum Text „Der Feindkuchen“) erfordert das Erkennen und Wiedergeben explizit angegebener Information in Bezug auf einen literarischen Text. Bei dieser Aufgabe können ma-ximal zwei Punkte erreicht werden (s. Abbildung 6.2). Um diese Höchstpunktezahl zu bekommen, muss die Schü-lerantwort zwei Handlungen, die Tom tun muss, damit der Feindkuchen funktioniert, enthalten. Eine Handlung muss sich auf „den Tag mit seinem Feind verbringen“, die andere Handlung auf „nett zu ihm sein“ beziehen. Diese allgemei-ne Beschreibung wird anhand von vier konkreten Bei-spielantworten für Code 2 verdeutlicht (z. B. „den ganzen Tag mit Jeremy spielen und freundlich sein“). Code 1 wird vergeben, wenn in der Antwort nur eine Handlung genannt wird. Hierzu werden drei Beispielantworten angeführt (z. B. „nett sein“). Wenn die Antwort keine richtige Handlung enthält, ist Code 0 zu vergeben – dieser Code wird durch vier Beispielantworten verdeutlicht (z. B. „iss den Feindku-chen“). Code 9 ist bei PIRLS immer dann zu verwenden, wenn keine Antwort eingetragen wurde (d. h. das Antwort-feld leer gelassen wurde).


Bei der Aufgabe aus der Domäne Mathematik (Beispielauf-gabe 1 aus Kapitel 3, s. S. 42) sollen die Kinder alle Zahlen von 1 bis 3000 benennen, die mit 112 enden. Für diese Aufgabe kann maximal ein Punkt erreicht werden, der ver-geben wird, wenn die Schülerantwort alle drei der folgen-den Zahlen nennt: 112, 1112, 2112 (vgl. Abbildung 6.3). Da es genau eine richtige Antwort gibt, gibt es auch nur einen möglichen Code dafür, nämlich 10. Falsche Antwor-ten werden bei TIMSS mit Code 7 an erster Stelle bewertet. In der vorliegenden Aufgabe werden drei unterschiedliche Codes mit 7 an erster Stelle angegeben – und damit drei verschiedene falsche Antwortmöglichkeiten unterschieden: Code 70, wenn neben den richtigen drei Zahlen noch eine falsche angeführt wird; Code 71, wenn zwar keine falsche

Zahl genannt wird, aber nur ein oder zwei richtige und Code 79, der bei TIMSS immer „andere falsche Antworten“ kennzeichnet. Wenn das Antwortfeld gänzlich leer gelassen wurde, ist bei TIMSS Code 99 zu vergeben.

Bei der Naturwissenschaftsaufgabe (Beispielaufgabe 3 aus Kapitel 3, s. S. 47) sollen die Schüler/innen die Teile einer Blütenpflanze korrekt benennen und die Aufgaben der einzelnen Teile beschreiben (vgl. Abbildung 6.4). Bei voll-ständig richtiger Beantwortung können für diese Aufgabe zwei Punkte erreicht werden. Diese zwei Punkte werden vergeben, wenn alle vier Pflanzenteile richtig mit ihren Auf-gaben benannt werden (Code 20) oder auch, wenn alle vier Pflanzenteile richtig benannt werden, aber nur für drei Teile

Scoring Guide zur Aufgabe Der Feindkuchen, Frage 7

7. Toms Papa sagte Tom zwei Dinge, die er tun muss, damit der Feindkuchen funktioniert. Welche zwei Dinge waren das?

2 – vollständiges Textverständnis

Die Antwort enthält beide Handlungen, damit der Feindkuchen funktioniert: 1) den Tag mit seinem Feind verbringen und 2) nett zu ihm sein.ANMERKUNG FÜR SCORER: Alle Antworten ohne genauen Bezug zur Zeitdauer, die miteinander verbracht werden soll (ein Tag), sollten keine Punkte erhalten.

Beispiele: • einenganzenTaglangnettzuseinemFeindsein• einenganzenTagmitJeremyverbringenundnettsein• nettseinundeinenTaglangmitihmspielen• denganzenTagmitJeremyspielenundfreundlichsein

1 – teilweises Textverständnis

Die Antwort nennt eine Handlung, die Tom von seinem Vater erteilt bekam.

Beispiele: • nettsein• einenTagmitihmverbringen• spielenundnettsein

0 – kein Textverständnis

Die Antwort nennt keine richtige Handlung, die Tom von seinem Vater erteilt bekam.

Beispiele: • spielmitihm(Anmerkung: Dies ist keines der Dinge, die Toms Vater ihm aufgetragen hat und zu ungenau, um als Umschreibung von entweder den Tag zu verbringen oder nett zu sein gelten zu können.)

• hörtauf,Feindezusein (Anmerkung: Toms Vater hat ihm weder aufgetragen, aufzuhören, Jeremys Feind zu sein, noch hat er ihm aufgetragen, sein Freund zu sein.)

• ladeihnzumAbendessenein• issdenFeindkuchen

Scoring Guide zu Beispielaufgabe 1 Mathematik

richtige Antwort

Code 10: 112, 1112, 2112

falsche Antwort

Code 70: 112, 1112, 2112 plus eine zusätzliche falsche Zahl

Code 71: eine oder zwei richtig, keine falsch

Code 79: andere falsche Antworten (dazu zählen durchgestrichen, ausradiert, ohne Bezug zur Frage, unleserlich oder Zeichnungen und Kritzeleien)

Abb. 6.2: Scoring Guide für eine Leseaufgabe (PIRLS 2011)

Abb. 6.3: Scoring Guide für eine Mathematikaufgabe (TIMSS 2011)


Scoring Guide zu Beispielaufgabe 3 Naturwissenschaft

richtige Antwort

Code 20: Bestimmt 4 Teile der Pflanze und gibt für jeden eine akzeptable Aufgabe an.1: Blüte (Knospe) - Sie produziert Samen (hat Samen, produziert Früchte, macht Pollen, lockt Insekten zu der Pflanze).1: Samen - Sie reproduzieren die Pflanze, wenn der Samen aufgeht.1: Blütenblätter - Sie locken Bestäuber an.2: Stamm (Stängel) - Er transportiert Wasser und Nahrung (hält die Pflanze aufrecht, transportiert Wasser, transportiert Nah-rung und Mineralien zu anderen Teilen, speichert Nahrung).3: Blatt - Es stellt Nahrung für die Pflanze her (Photosynthese findet hier statt, nimmt Sonnenlicht auf, nimmt Luft auf, nimmt Kohlendioxid auf, gibt Wasser ab).4: Wurzel - Sie transportiert Wasser in die Pflanze (nimmt Nährstoffe und Mineralien aus dem Boden auf, nimmt Wasser auf, bringt Wasser rein, verankert die Pflanze, speichert Nahrung).

Code 21: Bestimmt 4 Teile der Pflanze und gibt 3 akzeptable Aufgaben an.

teilweise richtige Antwort

Code 10: Bestimmt:4 Teile und 1 oder 2 akzeptable Aufgaben ODER3 Teile und 2 oder 3 akzeptable Aufgaben ODER2 Teile und 1 oder 2 Aufgaben

falsche Antwort

Code 70: Bestimmt 4 Teile, aber keine akzeptablen Aufgaben.

Code 79: andere falsche Antworten (dazu zählen durchgestrichen, ausradiert, ohne Bezug zur Frage, unleserlich oder Zeichnungen und Kritzeleien)Beispiele:Blatt zum Schutz/für die Nagetiere(Blumen-)Kopf (statt Blüte)Stängel - hält die Blüte festWurzel - steht in der Erde/pflanzt in Erde/stellt Blüte auf/Nahrung suchen

richtige Funktionen angegeben werden (Code 21). Im Scoring Guide werden unter Code 20 sowohl die zulässigen Bezeichnungen für jeden der vier Pflanzenteile angeführt als auch eine Reihe an Möglichkeiten, wie Kinder deren Funktionen beschreiben können. Code 10 (teilweise richti-ge Antwort) wird vergeben, wenn zumindest zwei Pflanzen-teile und eine Funktion richtig benannt werden. Eine Ant-wort wird als falsch gewertet, wenn nur die vier Teile genannt werden, aber keine Funktionen (Code 70), oder aus einem sonstigen Grund die Kriterien für eine (teilweise) richtige Antwort nicht erfüllt werden (Code 79).

Die Bewertung der Schülerantworten wurde von eigens für diese Tätigkeit rekrutierten und geschulten Personen, den Scorerinnen und Scorern, durchgeführt. Die Leitung der Scorer/innen übernahmen Mitarbeiterinnen des BIFIE. Die BIFIE-Mitarbeiterinnen nahmen zuvor an internationalen Scoring-Schulungen teil und gaben ihr Wissen im Rahmen von nationalen Trainings an die Scorer/innen weiter.

Den internationalen Richtlinien zufolge sollten die Scorer/innen Erfahrung im Bildungssektor oder im Schulkontext aufweisen und mit den Lehrplänen ihrer Scoring-Domäne vertraut sein. In Österreich hatten alle Scorer/innen ein Stu-dium der Erziehungswissenschaften und/oder ein einschlä-

giges Studium (Lehramt für Volksschule oder Lehramts- bzw. Diplomstudium für mindestens einen der folgenden Gegenstände: Deutsch, Mathematik, Informatik, Biologie, Geografie, Ökologie, Physik, Chemie) entweder bereits ab-solviert oder befanden sich in dessen Endphase.

Die Leseaufgaben wurden von zehn Scorerinnen und Sco-rern bewertet, die Mathematik- und Naturwissenschaftsauf-gaben von je sechs. Jeweils ein Team von zwei Personen war für die Bewertung bestimmter Texte bzw. Aufgabenblöcke zuständig. Die Scorer/innen wurden während des Bewer-tungsprozesses von BIFIE-Mitarbeiterinnen unterstützt. Diese gaben bei Unklarheiten Hilfestellung und kontrollier-ten die vergebenen Codes stichprobenartig, wobei Bewer-tungsfehler umgehend rückgemeldet wurden. Diese Kont-rollen, die auch international vorgesehen sind, stellen einen Teil der umfangreichen Qualitätssicherungsmaßnahmen während des Scoring-Prozesses dar.

Darüber hinaus schrieb das ISC weitere Maßnahmen vor, um die Auswertungsobjektivität prüfen zu können. So mussten im Rahmen des Double Scoring (= Within-Country Reliability Scoring) Schülerantworten aus vorab zufällig fest-gelegten Testheften von zwei Scorerinnen oder Scorern un-abhängig voneinander bewertet werden. Dies betraf bei

Abb. 6.4: Scoring Guide für eine Naturwissenschaftsaufgabe (TIMSS 2011)


PIRLS etwa ein Viertel aller Schülerantworten, bei TIMSS etwa ein Drittel. Der/die erste Scorer/in trug dabei die Codes in Scoring Sheets ein, der/die zweite Scorer/in schrieb seine/ihre Codes zu einem späteren Zeitpunkt direkt ins Testheft. Durch das Double Scoring konnte festgestellt wer-den, wie gut unterschiedliche Scorer/innen eines Teilneh-merlandes in ihren Antwortbewertungen übereinstimmen.

Um Informationen zur Beurteilerübereinstimmung über unterschiedliche Länder hinweg zu gewinnen, wurde das Cross-Country Reliability Scoring implementiert. Hierbei mussten dieselben Antworten englischsprachiger Schüler/innen von Scorerinnen und Scorern in allen teilnehmenden Ländern bewertet werden. Dies betraf bei PIRLS 5200 Ein-zelantworten und bei TIMSS 7800. Das Cross-Country Reliability Scoring konnte elektronisch erfolgen, da die Schülerantworten zuvor eingescannt worden waren. Durch diese Form des Scorings konnte festgestellt werden, wie ein-heitlich Schülerantworten über unterschiedliche Länder hinweg bewertet wurden.

Das Trend Reliability Scoring misst die Höhe der Beurteiler-übereinstimmung über die Zeit. Hierbei mussten einge-scannte Schülerantworten desselben Landes aus dem jeweils vorhergehenden Studienzyklus neuerlich codiert werden. Naturgemäß konnten das Trend Reliability Scoring bei PIRLS & TIMSS 2011 nur jene Länder durchführen, die sich bereits an PIRLS 2006 und/oder TIMSS 2007 beteiligt hatten. Diese Form des Scorings umfasste in Österreich bei PIRLS 6600 Einzelantworten und bei TIMSS 8800. Durch das Trend Reliability Scoring kann festgestellt werden, wie einheitlich die Antworten von Schülerinnen und Schülern eines Landes über unterschiedliche Erhebungszyklen hin-weg bewertet werden.

Mit den eben beschriebenen Maßnahmen wurden im Rahmen von PIRLS & TIMSS sehr vielfältige und weit-reichende Anstrengungen unternommen, um konsistente Bewertungen der Schülerantworten zu gewährleisten. Die konkrete Höhe der Beurteilerübereinstimmung innerhalb eines Landes, zwischen unterschiedlichen Ländern und über die Zeit wurde im internationalen Technischen Bericht publiziert (Martin & Mullis, 2012).

Dateneingabe

Während die Scorer/innen unmittelbar nach der Rücklauf-kontrolle die Bewertung der frei formulierten Schüler-antworten in den Testheften vornahmen, wurde parallel mit der elektronischen Erfassung der Fragebogendaten begonnen. Nach Abschluss des Scorings konnten auch die PIRLS- und TIMSS-Testheftdaten eingegeben werden. Die Dateneingeber/innen hatten nach einer eingehenden Schu-lung die Aufgabe, die Codes in die vom DPC entwickelte Dateneingabesoftware zu übertragen. Bereits während der

Dateneingabe wurde die Qualität der Daten durch zahlrei-che prozessbegleitende Kontrollschritte gesichert. Darüber hinaus wurden die Datensätze vor der Übermittlung an das DPC einer umfangreichen Überprüfung und Bereinigung von Fehlern – im Sinne von verschiedenen Integritäts- und Plausibilitätschecks (Datencleaning) – unterzogen. In Öster reich gingen diese Kontrollen über die vom ISC vor-geschriebenen Kontrollschritte hinaus. Alle Länder mussten ihre Daten spätestens drei Monate nach der Datenerhebung an das DPC übermitteln, wo die Daten erneut gründlichen Cleaningprozeduren unterzogen wurden. Erst danach war die Aufbereitung der Daten (Skalierung und Gewichtung) für die Ergebnisanalysen am ISC möglich.

Hinweis zum Datenschutz

Alle bei PIRLS & TIMSS erhobenen Daten unterliegen den Bestimmungen des Datenschutzes. Es wurden ausschließlich indirekt personenbezogene Daten erhoben. Das Bundesinstitut BIFIE erhielt zu keinem Zeitpunkt die Namen der Schüler/innen und Lehrpersonen. Die Daten sind damit nicht auf bestimmte Personen rückführbar. Das Bundesinstitut BIFIE hält sich so-wohl an die Vorgaben des Datenschutzgesetzes 2000 (DSG 2000, BGBl. I Nr. 165/1999) als auch an jene der IEA. Bei der Auswertung werden Statistiken für Gruppen erstellt. Die Daten einzelner Schüler/innen oder bestimmter Schulen werden nicht ausgewertet oder veröffentlicht. Das Interesse gilt ausschließlich den aggregierten Ergebnissen und Indikatoren, da diese den Bildungsverantwortlichen als Entscheidungsgrundlage für eine faktenbasierte Qualitätsentwicklung dienen. Darüber hinaus sind alle Mitarbeiter/innen des Bundesinstituts BIFIE per BIFIE-Gesetz (BGBl. I Nr. 25/2008, § 3 Abs. 2) zur Verschwiegenheit verpflichtet.

Der Feldtest findet jeweils im Jahr vor der Haupterhebung statt und dient der Er-probung und Überprüfung aller für den Haupttest notwendigen Materialien und Prozesse. Ziel des Feldtests ist damit nicht die international vergleichende Leistungs-messung, sondern eine umfassende und realitätsnahe Testung jener Abläufe und Instrumente, die für die Erhebung von Leistungsdaten notwendig sind. Dies schließt beispielsweise die Überprüfung neuer Testaufgaben und Fragebogenin-halte, aber auch die Vorbereitung und Durchführung der Tests, die Bewertung der Schülerantworten und die Erstellung der Datensätze mit ein. Die einzelnen Schritte des Feldtests werden sowohl von nationaler Seite als auch durch das interna-tionale Zentrum kontrolliert und doku-mentiert, um nötigenfalls Anpassungen für den Haupttest vornehmen zu können. Der Feldtest zu PIRLS & TIMSS 2011 wurde in Österreich von Anfang März bis Anfang April 2010 durchgeführt. Im folgenden Abschnitt werden wesentliche Aspekte des Feldtests erläutert.

Die Stichprobe

Die Stichprobenziehung für den Feldtest verlief analog zu jener für den Haupttest (s. Kapitel 4). Da im Feldtest andere Ziele verfolgt wurden als im Haupttest, unter-schieden sich die Vorgaben bezüglich der Stichprobengröße. Für den Feldtest war die Testung von mindestens 1200 Schüler-innen und Schülern in 25 Schulen vorge-schrieben. Damit der Feldtest seinen Zweck als Probedurchlauf erfüllen konnte, musste die Feldteststichprobe in wesentlichen Merk malen (z. B. Geschlechterverteilung sowie Verteilung der ausgewählten Schulen auf möglichst alle Regionen) mit der Grund-gesamtheit (d. h. Schüler/innen der vierten Schulstufe) übereinstimmen. Bereits etwa

ein halbes Jahr vor dem Feldtest wurden die Stichproben für den Feld- und Haupt-test zeitgleich gezogen. Dadurch wurde vermieden, dass eine Schule für beide Erhe-bungen ausgewählt wird. In Österreich umfasste die Stichprobe für den Feldtest 41 Schulen, die sich ebenso wie im Haupttest auf alle Bundesländer verteilten. In diesen Schulen wurden insgesamt 66 Klassen aus-gewählt. Sowohl auf Schul- als auch auf Klassenebene lag die Teilnahmequote bei 100 %. Auf Schülerebene konnten von den 1259 ausgewählten Schülerinnen und Schülern 1229 (97,6 %) bei PIRLS und 1219 (96,8 %) bei TIMSS getestet werden.

Die Tests und Fragebögen

Eine der wichtigsten Funktionen des Feld-tests ist die Überprüfung aller neu entwi-ckelten Testaufgaben sowie der Fragebögen. Diese mussten bestimmten internationalen Anforderungen genügen (z. B. sollen bei PIRLS Texte ausgewählt werden, die für Mädchen und Buben gleich gut geeignet sind) und sie sollten in allen teilnehmen-den Ländern adäquat übersetzt werden können. Im Feldtest 2010 wurden bei PIRLS acht neue Texte – vier literarische Texte und vier Informationstexte – erprobt; bei TIMSS waren es 282 neue Aufgaben aus den Kompetenzbereichen Mathematik und Naturwissenschaft. Die dabei gewon-nenen Daten dienten ausschließlich der Berechnung umfangreicher testtheoreti-scher Statistiken. Diese Statistiken umfass-ten beispielsweise die Itemschwierigkeit (Schüleranteil, der eine Aufgabe richtig l ösen konnte), die Trennschärfe (eine Ein-schätzung, wie gut eine Aufgabe zwischen guten und weniger guten Schülerinnen und Schülern unterscheiden kann) sowie den Schüleranteil, der eine Aufgabe nicht bearbeitet oder ausgelassen hat (Missings). Auf deren Basis wurden jene Texte und


7. Der Feldtest zu PIRLS & TIMSS 2011 AnnaWintersteller&KatrinWidauer

Der Feldtest zu PIRLS & TIMSS 2011 67

Aufgaben für den Haupttest ausgewählt, die faire Vergleiche zwischen den Teilnehmerländern zulassen.

Neben den Texten und Aufgaben wurden im Feldtest auch die Fragebögen dahingehend geprüft, ob sie beispielsweise verständlich sind und die Bearbeitungsdauer angemessen ist. Die Fragebogeninhalte beruhen größtenteils auf PIRLS 2006 und TIMSS 2007, wobei einige Fragen aufgrund der gemeinsamen Durchführung von PIRLS & TIMSS 2011 entsprechend angepasst werden mussten. Für sämtliche Datenerhebungsinstrumente galt, dass nach dem Feldtest nur noch dann Änderungen vorgenommen werden sollten, wenn diese für eine gute Datenqualität im Haupttest uner-lässlich waren. Die Hauptübersetzungsarbeit war demnach vor dem Feldtest zu leisten.

Datenerhebung und -verarbeitung

Die Feldtestdaten können nur dann als zuverlässige Infor-mationsquelle für die Beurteilung der Qualität von Testauf-gaben und Fragebogenitems herangezogen werden, wenn die Erhebungsprozeduren und Rahmenbedingungen im Feldtest jenen im Haupttest möglichst genau entsprechen. Darüber hinaus kann im Feldtest überprüft werden, ob die für den Haupttest geplanten Abläufe funktionieren.

Aus diesem Grund verlief die Datenerhebung an den Schu-len im Feldtest im Wesentlichen analog zu den in Kapitel 6 für den Haupttest beschriebenen Prozeduren. Nachdem der Erstkontakt zu den Schulen hergestellt worden war, nahm sich ein/e Schulkoordinator/in aller PIRLS- und TIMSS-Anliegen an der Schule an und kooperierte mit dem BIFIE sowie dem/der zuständigen externen Testleiter/in, um alle notwendigen Vorbereitungen zu treffen und eine erfolg-reiche Testdurchführung zu ermöglichen. Im Anschluss an den Feldtest wurden die Testleiter/innen, Schulkoordinato-rinnen und -koordinatoren gebeten, einen Online-Frage-bogen auszufüllen, der erhob, wie zufrieden sie mit der Organisation und Durchführung der Erhebung waren und was optimiert werden sollte. Qualitätsverbesserungen, die aus den im Feldtest gesammelten Erfahrungen und Rück-meldungen resultierten, wurden beim Haupttest 2011 im-plementiert (z. B. vereinfachte Materiallogistik, Lockerung der Terminvorgaben und Fristen, stärkere Praxisorientie-rung bei der Testleiterschulung, altersgerechtere Anweisun-gen an die Schüler/innen).

Auch die Datenverarbeitung am BIFIE, die die Rücklauf-kontrolle (d. h. Prüfung auf Vollständigkeit sämtlicher Materialien), die Sortierung der Testinstrumente, die Bewertung der Schülerantworten und die elektronische Datenerfassung beinhaltete, verlief analog zum Haupttest (s. Kapitel 6). Die Bewertung der Schülerantworten auf offen formulierte Testaufgaben (Scoring) nahm im Feldtest einen besonderen Stellenwert ein. Gerade zu diesem Zeit-

punkt ist es möglich, Schwächen der Aufgaben und/oder Bewertungsvorschriften (Scoring Guides) zu identifizieren und zu beseitigen.

Etwa die Hälfte aller Testhefte musste im Feldtest von mehreren Scorerinnen und Scorern unabhängig vonein-ander mehrfach bewertet werden. Waren sich die Scorer/innen bei der Bewertung uneinig, musste ermittelt werden, was die möglichen Ursachen dafür waren (etwa Fehler in den Bewertungsvorschriften, Übersetzungsprobleme bei der Aufgabe bzw. den Bewertungsvorschriften, Mängel bei der Schulung der Scorer/innen etc.). Auf Basis der Scoring- Erfahrungen aus dem Feldtest sowie der Ergebnisse der Mehrfachbewertungen der Schülerantworten wurden die Bewertungsvorschriften für den Einsatz im Haupttest opti-miert. So wird sichergestellt, dass die offenen Antworten im Haupttest in allen Teilnehmerländern in gleicher Weise bewertet werden.

Die elektronische Datenerfassung mittels der dafür vorge-sehenen Software startete mit der Eingabe der Fragebögen. Erst nachdem die offenen Antworten in den Testheften bewertet wurden, konnten auch die Leistungsdaten elektro-nisch erfasst werden. Anfang Mai 2010 wurde die Daten-eingabe abgeschlossen. Anschließend erfolgte die Kontrolle und das File-Cleaning der Daten durch Mitarbeiterinnen des BIFIE. Mitte Mai wurden die österreichischen Daten des Feldtests 2010 an das IEA Data Processing and Research Center (DPC) übermittelt. Dort erfolgte in Rücksprache mit dem nationalen Projektzentrum die Kontrolle, Aufbe-reitung und Rekodierung der Daten (Anpassung der Län-derdaten an die international einheitliche Datenstruktur) auf internationaler Ebene. Da das österreichische Datenfile allen internationalen Vorgaben entsprach, konnte dieser Prozess für die Feldtestdaten Anfang August 2010 erfolg-reich abgeschlossen werden.

Im Anschluss an die elektronische Erfas-sung, Überprüfung und Bereinigung sämt-licher gewonnener Daten (Rohdaten) haben alle Teilnehmerländer diese zu weiteren Qualitätskontrollen sowie zur Aufbereitung an das International Study Center (ISC) übermittelt. Ein zentraler Schritt bei der Datenaufbereitung ist die Skalierung der Rohdaten für statistische Analysen – die Generierung der Leistungs-skala.

PIRLS- und TIMSS- Leistungsskala

Die von den nationalen Zentren erhobe-nen Rohdaten umfassten lediglich die Punktezahl (Scores), die die Schüler/innen bei den einzelnen Aufgaben erzielt haben. Im Rahmen der Skalierung wurde daraus für jede/n Schüler/in ein Lese-, Mathema-tik- und Naturwissenschafts-Gesamtwert (Gesamtscore) berechnet, der ihre/seine er-brachte Leistung im jeweiligen Kom petenzbereich repräsentiert. Details dazu fi-den sich im internationalen Technischen Bericht (Martin & Mullis, 2012). Jeder da-bei produzierte Schüler-Gesamtscore kann auf einer kontinuier lichen Skala dargestellt werden, die nach oben und unten hin offen ist. Dies bedeutet, dass bei PIRLS & TIMSS die Kompetenz eines Kindes höher oder geringer ausgeprägt sein kann und nicht, dass ein Kind die Kompetenz besitzt oder nicht besitzt. Die Scores werden darü-ber hinaus auf Wertebereiche transfor-miert, die eine einheitliche und leicht ver-ständliche Darstellung der Schülerleistung ermöglichen. Das Endprodukt dieser Da-tenaufbereitung ist eine Skala, die so kons-truiert ist, dass eine gute Leistung in Lesen, Mathematik oder Naturwissenschaft einem hohen Wert und eine schlechte Leistung einem niedrigen Wert entspricht.

Basis für die Skalierung der Daten von PIRLS bildet die Leistungsskala von PIRLS 2001. Dabei wurde der Mittelwert aller bei PIRLS 2001 beteiligten 35 Länder so trans-formiert, dass dieser 500 betrug und die Standardabweichung bei 100 lag. Dies bedeutet, dass 65 % der 2001 getesteten Schüler/innen einen Score zwischen 400 und 600 Punkten aufwiesen (s. Abbil-dung 8.1). Die Schülerscores aller nachfol-genden Erhebungen (PIRLS 2006 & 2011) wurden auf dieser Metrik verankert, um Leistungsveränderungen über die Zeit hin-weg erfassen und darstellen zu können.

Die TIMSS-Skala ist ähnlich konstruiert. Sie basiert auf dem ersten Zyklus von TIMSS (1995), und bildet die Basis für die Skalen aller nachfolgenden Zyklen, um Trendanalysen über verschiedene Erhe-bungszeitpunkte hinweg durchführen zu können. Wie bei PIRLS wurde der Mittel-wert aller Teilnehmerländer von TIMSS 1995 so transformiert, dass dieser 500 be-trug und die Standardabweichung bei 100 lag. Die Schülerscores von TIMSS 2011 wurden mithilfe der Trendaufgaben (Auf-gaben, die vom jeweils vorhergehenden Zyklus wieder eingesetzt werden) auf dieser Metrik verankert.

Beide Studien zielen darauf ab, neben der Gesamtleistung in Lesen, Mathematik und Naturwissenschaft auch differenziertere Aussagen zu relevanten Subbereichen (Sub-skalen) zu machen. Bei PIRLS ist es daher zum einen möglich, die Leistung differen-ziert nach den beiden Leseabsichten (1) Lesen, um literarische Erfahrung zu machen und (2) Lesen, um Information zu gewinnen darzustellen. Zum anderen können die Ergebnisse auch nach den zwei Verstehens-prozessen (1) Wiedergeben und einfaches Schlussfolgern sowie (2) Interpretieren, Ver-knüpfen und Bewerten analysiert werden.


8. Datenaufbereitung für die Ergebnisanalysen

BirgitSuchan&ChristinaWallner-Paschon´

Datenaufbereitung für die Ergebnisanalysen 69

In TIMSS wurden aus den Leistungsdaten für jeden Kom-petenzbereich neben der Gesamtskala sechs Subskalen ge-bildet. Für Mathematik bestehen diese aus den drei inhalt-lichen Bereichen (1) Zahlen, (2) geometrische Formen und Maße sowie (3) Darstellen von Daten und darüber hinaus aus den drei kognitiven Bereichen (1) Wissen, (2) Anwenden und (3) Begründen. Analog dazu können in Naturwissen-schaft die Leistungen in den inhaltlichen Bereichen (1) Bio-logie, (2) Physik und (3) Erdkunde und in den drei kogniti-ven Bereichen (1) Wissen, (2) Anwenden und (3) Begründen analysiert werden.

Interpretation der Ergebnisse durch Kompetenzstufen

Um auch inhaltliche Aussagen zu den erzielten Leistungen der Schüler/innen machen zu können, werden für die drei Gesamtskalen jeweils Kompetenz- oder Leistungsstufen ge-bildet. Dabei wird die kontinuierliche PIRLS- bzw. TIMSS-Skala an bestimmten Punkten geteilt, und aus der inhaltlich

abstrakten Fähigkeitsskala werden Kompetenzbereiche ge-bildet, die anhand typischer Auf gabenmerkmale charakteri-siert werden. Mit deren Hilfe können die Leistungen der Schüler/innen inhaltlich beschrieben werden.

Für die Bildung der Kompetenzstufen werden für die jewei-lige Gesamtskala vom ISC vier Schnittpunkte auf der nach unten und oben offenen PIRLS- und TIMSS-Skala festge-legt, welche die Leistungsbereiche voneinander abtrennen:

�� Die Grenze für die niedrigste Kompetenzstufe –„Low International Benchmark“ (Stufe 1) – liegt bei 400 Punkten.�� Die Grenze für die nächsthöhere Kompetenzstufe – „In-

termediate International Benchmark“ (Stufe 2) – liegt bei 475 Punkten.�� Für die „High International Benchmark“ (Stufe 3) liegt

die Grenze auf der Skala bei 550 Punkten und�� für das Erreichen der höchsten Kompetenzstufe – „Ad-

vanced International Benchmark“ (Stufe 4) – müssen mindestens 625 Punkte erzielt werden.

Dadurch kann jede/r Schüler/in entsprechend dem jeweils erreichten Score einer Kompetenzstufe zugeordnet werden. Die inhaltliche Charakterisierung der Kompetenzstufen und damit auch die Beschreibung der Fähigkeiten der Schüler/innen erfolgt im Rahmen einer so genannten „Scale Anchoring Analysis“. Details zu dieser Methode finden sich im internationalen Technischen Bericht (Martin & Mullis, 2012). Die Beschreibungen der Kompetenzen in den einzel-nen Stufen bauen kumulativ auf den Fertigkeiten der jeweils darunterliegenden Leistungsstufen auf. Das heißt, Schüler/innen, die eine bestimmte Stufe erreichen, weisen alle Kom-petenzen der niedrigeren und darüber hinaus die Fertig-keiten der erreichten Stufe auf.

Beschreibung der Kompetenzstufen von PIRLS

Die Abbildungen 8.2 und 8.3 enthalten getrennt für die beiden Leseabsichten literarische Erfahrung und Informati-onsgewinn eine detaillierte Leistungsbeschreibung der vier Kompetenzstufen. Zur besseren Veranschaulichung, was die Schüler/innen der einzelnen Kompetenzstufen können, folgt neben einer zusammenfassenden Leistungsbeschrei-bung eine Zuordnung ausgewählter Aufgaben (inklusive richtiger Schülerantworten) zu den Stufen. Die Texte sowie weitere Informationen zu diesen Beispielaufgaben finden sich in Kapitel 3.

500

600

400

700

300

Länder-mittelwert

über

durc

hsch

nitt

liche

Sch

üler

scor

esun

terd

urch

schn

ittlic

he S

chül

ersc

ores

im Bereich von +/- einer Standardabweichung (s)

liegen ca. 65 % aller Schüler/innen

S

S

Abb. 8.1: Beispiel für eine Gesamtskala (PIRLS & TIMSS 2011)


Abb. 8.2: Leistungsbeschreibung der Kompetenzstufen bei literarischen Texten (PIRLS 2011)

unter Stufe 1

Stu

fe 4

Stu

fe 3

Stu

fe 2

Stu

fe 1

625

550

475

400

nied

rige

Lese

kom

pete

nz

hohe

Les

ekom

pete

nz

- Benennen und Wiedergeben von explizit genannten Handlungen, Ereignissen und Gefühlen - Ziehen einfacher Schlussfolgerungen über Eigenschaften, Gefühle und Motivationen der

Hauptpersonen- Interpretieren offensichtlicher Gründe und Ursachen sowie einfache Erklärungen geben- anfängliches Erkennen von Sprachmerkmalen und -stil

- Auffinden und Unterscheiden relevanter Handlungen und Details, die im Text eingebettet sind- Ziehen von Schlussfolgerungen, um Beziehungen zwischen Absichten, Handlungen, Ereignissen

und Gefühlen zu erklären sowie textgestützte Beweise zu liefern- Interpretieren und Verknüpfen von Ereignissen, Handlungs- und Personenmerkmalen von

verschiedenen Textteilen- Bewertung von wichtigen Ereignissen und Handlungen über den gesamten Text hinweg- die Verwendung von sprachlichen Elementen im Text erkennen (z. B. abstrakte Botschaften,

bildliche Sprache)

- Verknüpfen von Ideen und Beweisen über einen Text hinweg, um übergeordnete Themen zu erfassen

- Interpretieren von Ereignissen und Handlungen, um Gründe, Motive, Gefühle und Charakter-merkmale textgestützt zu erklären

- Auffinden und Benennen eines explizit genannten Details

Was können Schüler/innen auf den einzelnen Kompetenzstufen?


Abb. 8.3: Leistungsbeschreibung der Kompetenzstufen bei Informationstexten (PIRLS 2011)

unter Stufe 1

Stu

fe 4

Stu

fe 3

Stu

fe 2

Stu

fe 1

625

550

475

400

nied

rige

Lese

kom

pete

nz

hohe

Les

ekom

pete

nz

- Auffinden und Wiedergeben von explizit genannter Information, die leicht zugänglich ist (z. B. am Textanfang)

- Auffinden und Wiedergeben von zwei oder drei Informationen aus dem Text- Verwendung von Unterüberschriften, Informationen in Textboxen und Abbildungen, um Textteile

zu finden

- Auffinden und Unterscheiden wesentlicher Informationen in einem umfangreichen Text oder einer komplexen Tabelle

- Ziehen von Schlussfolgerungen aus logischen Zusammenhängen, um Erklärungen und Begründungen zu liefern

- Verknüpfen von textlichen und visuellen Informationen, um Zusammenhänge zwischen Ideen zu interpretieren

- Bewertung von Inhalt und Textelementen, um zu einer allgemeinen Aussage zu gelangen

- Unterscheiden und Interpretieren komplexer Information von verschiedenen Textteilen sowie einer über den gesamten Text hinweg gestützten Untermauerung

- Verknüpfen von Information über den gesamten Text hinweg, um Erklärungen zu liefern, deren Bedeutung zu interpretieren sowie die Reihenfolge von Aktivitäten zu rekonstruieren

- Bewertung visueller und textlicher Merkmale, um zu einer allgemeinen Aussage zu gelangen

Was können Schüler/innen auf den einzelnen Kompetenzstufen?


1 Dies ist eine Aufgabe, die nicht aus den in Kapitel 3 ausgewählten Texten stammt. Der gesamte Text zu dieser Aufgabe ist unter https://www.bifie.at/pirls verfügbar.

Î

Kompetenzstufe 1 (Low International Benchmark)

Schüler/innen dieser Kompetenzstufe zeigen nur grundlegende Lesefertigkeiten. Sie erkennen, lokalisieren und geben explizit genannte Details wieder – besonders dann, wenn diese am Beginn des Textes stehen. Mit anderen Worten ausgedrückt, kön-nen die Schüler/innen dieser Kompetenzstufe leicht auffindbare Informationen aus einem Text heraussuchen. Eine Aufgabe, die dieser Kompetenzstufe entspricht, ist die erste Frage zum literarischen Text „Flieg, Adler, flieg!“ (siehe Abbildung 8.4)1. Bei dieser Frage muss aus vier Antwortalternativen die richtige angekreuzt werden. Die dafür notwendige Information ist bereits im ersten Satz der Erzählung explizit enthalten: „Eines Tages machte sich ein Bauer auf die Suche nach einem verloren gegan-genen Kalb.“ Beim Lösen der Aufgabe müssen die Kinder diesen Satz lediglich als relevante Information erkennen. Es handelt sich dabei um eine sehr leichte Aufgabe zum Verstehensprozess Erkennen und Wiedergeben explizit angegebener Informationen, die international von 89 % der Schüler/innen und in Österreich von 96 % richtig beantwortet wurde. Das beste Ergebnis bei dieser Frage erzielte Russland mit 99 % richtiger Schülerantworten.

Abb. 8.4: Beispielaufgabe für Kompetenzstufe 1 aus PIRLS 2011

Kompetenzstufe 2 (Intermediate International Benchmark)

Viertklässler/innen auf der mittleren Leistungsstufe können meist mehrere Informationsteile heraussuchen und benennen und beweisen vor allem bei literarischen Texten ihre Lesekompetenz. Die Schüler/innen verstehen Handlungen auf einer literari-schen Ebene und können direkte Schlussfolgerungen ziehen. Auf dieser Kompetenzstufe beginnen sie bereits Sprachmerkma-le und Sprachstil zu erkennen. Bei Informationstexten können Textelemente (Überschriften, Abbildungen etc.) genutzt wer-den, um Informationen zu finden.

Beispielhaft für das Erkennen und Wiedergeben explizit angegebener Informationen auf dieser Leistungsstufe ist Aufgabe 1 aus dem Informationstext „Das Rätsel des RIESIGEN Zahns“ (siehe Abbildung 8.5; der gesamte Text zu dieser Aufgabe findet sich in Kapitel 3). Die Information ist im Gegensatz zu Kompetenzstufe 1 nicht zu Beginn des Texts, sondern gesondert in einer Zusammenfassung zu finden. Es handelt sich dabei um eine relativ leichte Aufgabe, die international von 75 % der Schüler/innen und in Österreich von 81 % richtig beantwortet wurde. Die besten Ergebnisse mit mehr als 90 % richtiger Antworten erzielten die Schüler/innen in den Niederlanden (95 %) sowie Hongkong und Italien (92 %).

Frage 9 zum literarischen Text „Der Feindkuchen“ ist ein Beispiel zur Veranschaulichung, was Schüler/innen auf dieser Stufe beim Ziehen einfacher Schlussfolgerungen können. Die Antwort muss von den Kindern selbstständig formuliert werden und soll zum Ausdruck bringen, dass der verbrachte Tag mit Jeremy ein positives Erlebnis für Tom war. Die Antwort kann sich darauf beziehen, dass Tom die mit Jeremy verbrachte Zeit genoss, dass sie Freunde geworden waren oder dass Jeremy nicht so schlimm war, wie Tom erwartet hatte (Letzteres wird in der Beispielantwort demonstriert). 66 % aller Schüler/innen beant-worten die Frage, was Tom an dem Tag überraschte, den er mit Jeremy verbrachte, richtig. In Österreich bekamen 78 % der getesteten Kinder einen Punkt für die Frage. Die Schüler/innen in den Niederlanden erzielten mit 88 % richtiger Antworten das beste Ergebnis.


Ein weiteres Beispiel ist Frage 13 zum Verstehensprozess Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textele-menten, der auf dieser Stufe bereits auf einfachem Niveau beherrscht wird. Die richtige Antwort kann entsprechend dem Verstehensprozess nicht direkt aus dem Text erschlossen werden, sondern erfordert die Verknüpfung von Textinformation und eigenem Weltwissen. Die Multiple-Choice-Frage verlangt eine Bewertung einer Aussage im Text. In Österreich wurde diese Aufgabe von 85 % der Kinder richtig gelöst; international waren es mit 79 % etwas weniger. Die besten Ergebnisse bei dieser Aufgabe zeigten die Schüler/innen in Hongkong mit 95 % richtiger Lösungen.

Abb. 8.5: Beispielaufgaben für Kompetenzstufe 2 aus PIRLS 2011

Sie kamen gut miteinander zurecht.

Î

Î


Kompetenzstufe 3 (High International Benchmark)

Schüler/innen, die diese Leistungsstufe erreichen, sind kompetente Leser/innen. Sie können in den Texten von PIRLS wich-tige, über den Text hinweg eingebettete Informationen finden und ihre Schlussfolgerungen mit Information aus dem Text untermauern. Weiters sind sie in der Lage Inhalt und Textelemente zu bewerten und sprachliche Elemente im Text (z. B. ab-strakte Botschaften) zu erkennen.

Frage 1 zum literarischen Text „Der Feindkuchen“ (siehe Abbildung 8.6) veranschaulicht die Fähigkeiten der Schüler/innen der dritten Kompetenzstufe beim Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textelementen; ein Verstehens-prozess, der für Kinder der vierten Schulstufe auch auf leichtem Niveau komplexe Anforderungen stellt. Die Schüler/innen müssen bei dieser Multiple-Choice-Frage erkennen, dass der Autor bei diesem in der Ich-Form verfassten Text in die Rolle von Tom, einer zentralen Figur in der Geschichte, geschlüpft ist. 71 % aller Schüler/innen haben diese Frage richtig beantwortet. Die österreichischen Schüler/innen liegen mit 67 % richtiger Antworten etwas unter dem internationalen Schnitt. Das beste Ergebnis erzielten die Schüler/innen in den USA, wo 88 % diese Aufgabe lösen konnten.

Ein weiteres Beispiel für diesen Leistungslevel ist Beispiel 12 aus dem gleichen Text. Auch hierbei handelt es sich um eine Multiple-Choice-Frage, die jedoch das komplexe Schlussfolgern erfasst. Die richtige Lösung, dass es sich um einen normalen Kuchen handelt, was Papa geheim gehalten hat, steht nicht explizit im Text, sondern muss aus mehreren Textteilen gefolgert werden. Im Durchschnitt konnten 56 % aller Schüler/innen diese Aufgabe lösen. Hier liegt die Leistung der österreichischen Schüler/innen mit 65 % richtiger Antworten über dem internationalen Durchschnitt. Auch bei dieser Aufgabe erzielten die Schüler/innen in den USA mit 79 % richtiger Antworten das beste Ergebnis.


Î

Î


Kompetenzstufe 4 (Advanced International Benchmark)

Schüler/innen auf der höchsten Lesestufe von PIRLS können komplexe Informationen für Interpretationen und Bewertungen über den gesamten Text hinweg integrieren und sind in der Lage, ihre Argumente vollständig auf Basis des Textes zu unter-mauern.

Aufgabe 5 zur Geschichte vom Feindkuchen (siehe Abbildung 8.7) ist ein Beispiel für die Fähigkeiten beim Ziehen einfacher Schlussfolgerungen auf dieser Leistungsstufe. Die Aufgabe verlangt von den Schülerinnen und Schülern, das Gefühl von Tom zu beschreiben, als er den Feindkuchen zum ersten Mal roch und den Grund dafür anzugeben. Eine richtige Antwort muss Verständnis dafür zeigen, dass Tom verwirrt war, weil er annahm, dass der Feindkuchen schlecht riecht oder dass Tom über-rascht war, weil der Kuchen, den sein Vater machte, gut roch. Es handelt sich bei dieser Frage um eine sehr schwierige Aufgabe zum Prozess einfaches Schlussfolgern – weniger als ein Drittel (29 %) der Schüler/innen aller Teilnehmerländer konnten diese Frage korrekt lösen. In Österreich waren es mit 18 % der Schüler/innen deutlich weniger. In Singapur (54 %) und Nord irland (51 %) konnten mehr als die Hälfte der Schüler/innen diese Aufgabe vollständig lösen.

Ein weiteres Beispiel für den höchsten Kompetenzlevel ist Frage Nummer 12 zum Informationstext „Das Rätsel des RIESI-GEN Zahns“, welches den Verstehensprozess Untersuchen und Bewerten von Inhalt, Sprache und einzelnen Textelementen misst. Bei der Beantwortung geht es darum, zwei Bilder gegenüberzustellen und zu zeigen, was man mit deren Hilfe verstehen kann. Sinngemäß soll eine richtige Antwort darauf hinweisen, dass die Bilder Veränderungen wissenschaftlicher Vorstellungen zei-gen (2 Punkte). Antworten, die nur ein allgemeines Verständnis darüber zeigen, dass die Bilder unterschiedlich sind, ohne dabei auf wissenschaftliche Veränderungen einzugehen, bekommen einen Punkt. International haben 10 % der Schüler/innen die Aufgabe vollständig gelöst (2 Punkte) und fast jeder Vierte (22 %) zumindest teilweise (1 Punkt). In Österreich wurde die volle Punkteanzahl von 9 % der Schüler/innen erreicht und 24 % haben ein allgemeines Verständnis gezeigt.


Dass Wissenschaftler heute denken, das Iguanodon

würde anders aussehen als Gideon Mantell das tat.

Er war verunsichert. Ein Feindkuchen sollte

schlecht riechen.


Beschreibung der Kompetenzstufen von TIMSS

Die Abbildungen 8.8 und 8.9 enthalten eine Leistungsbe-schreibung der vier Kompetenzstufen für Mathematik und Naturwissenschaft. Zur Veranschaulichung dieser Beschrei-

bung folgt eine Zuordnung der in Kapitel 3 präsentierten Beispielaufgaben zu den Kompetenzstufen.

- Addieren und Subtrahieren mit ganzen Zahlen- Erkennen paralleler und rechtwinkliger Linien sowie geläufiger geometrischer Figuren- Lokalisieren von Positionen in einem Plan mit Koordinaten- Ablesen und Vervollständigen von Informationen aus einfachen Balkendiagrammen und Tabellen

- Verstehen von ganzen Zahlen und Brüchen- Visualisieren dreidimensionaler Formen anhand von zweidimensionalen Abbildungen- Interpretieren von Informationen in Balkendiagrammen, Piktogrammen und Tabellen, um einfache Aufga-

ben zu lösen

- Lösen von Textaufgaben, in denen mit ganzen Zahlen gerechnet werden muss- Dividieren bei einer Bandbreite unterschiedlicher Aufgabenstellungen- Anwenden der Kenntnisse über den Stellenwert von Ziffern, um eine Aufgabe zu lösen- Fortsetzen von Zahlenmustern, um eine fehlende Zahl zu finden- Verstehen von Symmetrieachsen und geometrischen Eigenschaften- Interpretieren und Nutzen von Daten in Tabellen und Grafiken, um Aufgaben zu lösen sowie Nutzen von

Informationen in Piktogrammen und Tabellen mit Zahlen, um Balkendiagramme zu vervollständigen

- Lösen einer Bandbreite von mehrschrittigen Textaufgaben mit ganzen Zahlen (inkl. Proportionen)- zunehmendes Verstehen von Brüchen und Dezimalzahlen- Anwenden geometrischer Kenntnisse über unterschiedliche zwei- und dreidimensionale Formen in

verschiedenen Situationen- Ziehen von Schlussfolgerungen aus Daten in einer Tabelle und Begründen dieser Schlussfolgerungen

unter Stufe 1nied

rige

Mat

hem

atik

kom

pete

nz

hohe

Mat

hem

atik

kom

pete

nz

Stu

fe 4

Stu

fe 3

Stu

fe 2

Stu

fe 1

625

550

475

400

Was können Schüler/innen auf den einzelnen Mathematik-Kompetenzstufen?

Abb. 8.8: Leistungsbeschreibung der Kompetenzstufen in Mathematik (TIMSS 2011)


unter Stufe 1nied

rige

Nat

urw

isse

nsch

afts

kom

pete

nz

h

ohe

Nat

urw

isse

nsch

afts

kom

pete

nz

Stu

fe 4

Stu

fe 3

Stu

fe 2

Stu

fe 1

625

550

475

400

- Wissen über einige einfache Fakten der menschlichen Gesundheit, von Ökosystemen sowie von Verhal-tens- und körperlichen Merkmalen von Tieren

- Grundwissen über Energie und die physikalischen Eigenschaften von Materialien- Interpretieren von einfachen Diagrammen, Vervollständigen einfacher Tabellen und kurze, geschriebene

Antworten auf Fragen nach bestimmten Fakten

- Grundkenntnisse über Merkmale von Lebewesen, ihre Fortpflanzung, Lebenszyklen und Interaktionen mit der Umwelt; gewisses Verstehen der menschlichen Biologie und Gesundheit

- gewisse Kenntnisse über Eigenschaften von Materialien, Licht, Elektrizität, Energie, Kräfte und Bewegung- Grundwissen über das Sonnensystem und ein anfängliches Verständnis der physikalischen Eigenschaften

der Erde und ihrer Ressourcen- Interpretieren von Informationen in bildhaften Diagrammen und Anwenden von Faktenwissen in der Praxis

- gewisses Verständnis vom Aufbau von Pflanzen und Tieren sowie von Lebensprozessen und -zyklen, Fortpflanzung, Ökosystemen, Interaktionen von Organismen mit ihrer Umwelt, menschlichen Reaktion auf äußere Bedingungen und Aktivitäten

- Verständnis einiger Eigenschaften von Materialien, Elektrizität, Energie, Magnetismus, Schwerkraft und Bewegung

- gewisse Kenntnisse des Sonnensystems, der physikalischen Eigenschaften sowie Prozesse und Ressour-cen der Erde

- elementares Wissen und Fertigkeiten hinsichtlich wissenschaftlicher Untersuchungen: Vergleichen, Gegenüberstellen, einfaches Schlussfolgern, Verbinden von Wissen über wissenschaftliche Konzepte mit Informationen von alltäglichen und abstrakten Kontexten

- Verständnis von Merkmalen und biologischen Prozessen von Organismen, Fortpflanzung, Entwicklung, Ökosysteme und Interaktionen mit der Umwelt sowie von Faktoren, die auf die menschliche Gesundheit einwirken; dieses Verständnis kann kommuniziert werden

- Verständnis von Eigenschaften von Licht, Beziehungen zwischen verschiedenen physikalischen Eigen-schaften von Stoffen, anwenden und kommunizieren ihres Verständnisses von Elektrizität und Energie in alltäglichen Situationen, Verständnis von Magnetismus und Schwerkraft sowie Bewegung

- Verständnis des Sonnensystems sowie der Struktur, der physikalischen Eigenschaften, Ressourcen, Prozesse, Zyklen und Geschichte der Erde kann kommuniziert werden

- beginnende Fähigkeit, Ergebnisse von einfachen Untersuchungen zu interpretieren sowie Schlussfolge-rungen aus Beschreibungen und Diagrammen zu ziehen und ein Argument zu bewerten und abzusichern

Was können Schüler/innen auf den einzelnen Naturwissenschafts-Kompetenzstufen?

Abb. 8.9: Leistungsbeschreibung der Kompetenzstufen in Naturwissenschaft (TIMSS 2011)


Kompetenzstufe 1 (Low International Benchmark)

Schüler/innen auf Level 1 verfügen über ein Basiswissen in Mathematik bzw. ein elementares Wissen in den Bereichen Biologie, Physik und Erdkunde.

Mathematik-Beispielaufgabe 3 aus Kapitel 3 kann von Schülerinnen und Schülern auf der niedrigsten Kompetenz-stufe gelöst werden. Dabei müssen sie grafisch dargestellte Informationen über die Lieblingsfarbe von Kindern in ver-schiedenen Klassen miteinander vergleichen. Im internatio-nalen Schnitt kreuzten 75 % der Schüler/innen die richtige Antwortalternative B an. In Österreich und in Deutschland ist der Anteil mit 93 bzw. 94 % richtigen Antworten inter-national am höchsten.

Ein entsprechendes Beispiel in Naturwissenschaft ist jene Multiple-Choice-Aufgabe aus dem Bereich Physik, bei der die Kinder angeben müssen, mit welchem Gegenstand der unterbrochene Stromkreis geschlossen werden kann (Bei-spielaufgabe 1, Kapitel 3). 71 % aller getesteten Viertkläss-ler/innen haben den Eisennagel richtigerweise ausgewählt. Den Kindern in Österreich fiel diese Aufgabe leichter – 89 % haben die richtige Antwortalternative angekreuzt. Ja-pan, Taiwan und Singapur sind jene Länder mit dem höchs-ten Anteil richtiger Antworten (jeweils 94 %).

Kompetenzstufe 2 (Intermediate International Benchmark)

Schüler/innen auf diesem Leistungsniveau können im Bereich Mathematik ihr Basiswissen in einfachen, über-schaubaren Situationen anwenden. Im Bereich Naturwis-senschaft sind die Schüler/innen auf Kompetenzstufe 2 fähig, ihre Basiskenntnisse in praktischen, naturwissen-schaftlichen Situationen einzusetzen.

Mathematik-Beispielaufgabe 2 (s. Kapitel 3) ist ein Beispiel für die Anforderungen der Schüler/innen auf Kompetenz-stufe 2. Sie müssen dabei drei verschiedene geometrische Figuren benennen, die in die Zeichnung eines Busses integ-riert sind (Kreis, Rechteck und Dreieck). Im internationa-len Durchschnitt haben 52 % aller Schüler/innen alle drei Figuren richtig identifiziert (2 Punkte) und weitere 12 % konnten zwei davon korrekt bezeichnen (1 Punkt). In Ös-terreich erhielten 40 % für ihre Antwort die volle Punktean-zahl und 21 % bekamen einen Punkt. Im Vergleich dazu konnten 79 % aller Kinder aus Singapur alle drei Figuren richtig benennen; 6 % gaben eine teilweise richtige Ant-wort.

Bei einer entsprechenden Naturwissenschaftsaufgabe (s. Auf -gabe 2 in Kapitel 3) müssen die Schüler/innen eine Energie-form nennen, die die Sonne für die Erde produziert. Als richtig wird gewertet, wenn die Kinder entweder Licht oder Wärme oder Solarenergie anführen. Im internationalen Schnitt liegt der Anteil der richtigen Lösungen bei 54 %. In

Österreich haben 65 % aller getesteten Schüler/innen diese Frage korrekt beantwortet. Das Land mit dem höchsten An-teil richtiger Antworten bei dieser Frage ist Singapur (82 %).

Kompetenzstufe 3 (High International Benchmark)

Schüler/innen, die Stufe 3 erreichen, sind in der Lage mit ihrem erworbenen Verständnis und ihrem Wissen mathe-matische Aufgabenstellungen in unterschiedlichen Kontex-ten zu lösen bzw. Phänomene in alltäglichen oder abstrak-ten Kontexten der drei Naturwissenschaftsbereiche zu erklären.

Schüler/innen auf diesem Leistungslevel können beispiels-weise die in Kapitel 3 präsentierte Beispielaufgabe 4 für Mathematik lösen. Es handelt sich um eine Multiple-Choice-Aufgabe aus dem Bereich Zahlen, bei der eine ange-fangene Zahlenreihe fortgesetzt werden muss. 62 % aller bei TIMSS getesteten Schüler/innen wählten die richtige Ant-wort B aus; in Österreich lösten 66 % der Kinder die Aufga-be. Im Vergleich dazu liegt der höchste Anteil an richtigen Antworten bei dieser Aufgabe bei 93 % – und zwar in Sin-gapur.

Die naturwissenschaftliche Beispielaufgabe (Aufgabe 4) in diesem Schwierigkeitsbereich ist eine Multiple-Choice- Aufgabe aus dem Bereich Biologie, bei der die Schüler/in-nen erkennen müssen, dass Fortpflanzung nur zwischen Weibchen und Männchen der gleichen Tierart möglich ist. International gaben 53 % aller Getesteten die richtige Ant-wort (Antwortoption D); in Österreich lösten 56 % der Schüler/innen die Aufgabe. Am besten waren die Schüler/innen aus Korea, 88 % kreuzten Antwort D an.

Kompetenzstufe 4 (Advanced International Benchmark)

Schüler/innen mit der höchsten Mathematikkompetenz können ihr mathematisches Wissen und Verständnis in einer Reihe von relativ komplexen Situationen anwenden und ihre Argumentationen/Schlussfolgerungen erklären. Im naturwissenschaftlichen Bereich sind die Schüler/innen auf der höchsten Kompetenzstufe in der Lage ihr Wissen und ihr Verständnis für wissenschaftliche Prozesse und Beziehungen anzuwenden. Und sie besitzen gewisse Kennt-nisse über die Arbeitsvorgänge bei wissenschaftlichen Un-tersuchungen.

Beispielaufgabe 1 des Kompetenzbereichs Mathematik zählt aufgrund der Anforderung an die Schüler/innen zum höchsten Leistungslevel. Die Schüler/innen müssen im Zahlenraum bis 3 000 alle Zahlen angeben, die mit 112 enden. Im internationalen Schnitt konnten 25 % der Schü-ler/innen diese Aufgabe richtig lösen. In Österreich gaben 27 % die drei richtigen Zahlen an; im Vergleich dazu waren es in Korea – dem besten Land bei dieser Aufgabe – 59 %.


Eine entsprechend schwierige Beispielaufgabe aus den Naturwissenschaften bezieht sich auf den Bereich Biologie (Beispielaufgabe 3). Im internationalen Schnitt lösten 20 % der Kinder diese umfangreiche Aufgabe vollständig richtig (2 Punkte), bei der die einzelnen Pflanzen teile be-nannt und ihre Funktionen beschrieben werden mussten. Weitere 32 % erreichten einen Punkt. In Österreich konn-ten 25 % der Schüler/innen diese Aufgabe vollständig rich-tig beantworten und weitere 38 % bekamen für ihre Ant-wort einen Punkt. Am erfolgreichsten bei dieser Aufgabe waren die Schüler/innen Singapurs: 80 % erreichten zwei Punkte und 13 % einen Punkt.

Aufbereitung der Fragebogendaten

Die Daten aus den Kontextfragebögen können ohne größere Aufbereitungsarbeiten für die Ergebnisanalysen verwendet werden. Einige Variablen wurden von internationaler Seite zusammengefasst oder auch zur Berechnung von Indizes verwendet. Beispielsweise wurde aus sieben Einzelfragen zu den Leseaktivitäten der Eltern im Elternfragebogen ein Index darüber gebildet, wie gern die Eltern lesen.

Gewichtung

Bestimmte, in jeder sozialwissenschaftlichen Untersuchung vorkommende Stichprobenausfälle (wie beispielsweise am Testtag fehlende Schüler/innen) müssen durch eine entspre-chende Gewichtung nachträglich ausgeglichen werden. Zudem werden bei PIRLS & TIMSS, wie bei Large-Scale-Assessments üblich, bestimmte Teile der Grundgesamtheit gezielt über- oder untersampelt, d. h., sie sind in der Stichprobe über- oder unterrepräsentiert (z. B. werden aus Gründen der Effizienz weniger sehr kleine Schulen in die Stichprobe aufgenommen). Durch den Einsatz adäquater Gewichtungsmethoden wird eine Verzerrung der Ergeb-nisse durch oben genannte Punkte vermieden. Mithilfe der Gewichtung ist es möglich, mit den Daten der Stichprobe die Grundgesamtheit (d. h. Schüler/innen der vierten Schulstufe) möglichst exakt und getreu abzubilden. Alle Berechnungen und Ergebnisse zu PIRLS & TIMSS basieren daher ausschließlich auf gewichteten Daten. Für die Ge-wichtung der Daten ist Statistics Canada2 zuständig. Detail-lierte Informationen zur Gewichtung finden sich im inter-nationalen Technischen Bericht (Martin & Mullis, 2012).

2 http://www.statcan.gc.ca/start-debut-eng.html

Bei groß angelegten internationalen Schü-lerleistungsstudien wie PIRLS & TIMSS muss eine Reihe unterschiedlicher Quali-tätsstandards eingehalten werden, um die Vergleichbarkeit der Daten über unter-schiedliche Länder hinweg sicherzustellen. Diese Standards beziehen sich insbesondere auf die Repräsentativität der Stichprobe, die sprachliche und kulturelle Angemes-senheit der Übersetzung der Testmaterialien, die Einhaltung des vorgegebenen Test- ablaufs sowie die korrekte Bewertung von Schülerantworten und die fehlerfreie Da-teneingabe. Die nationale Implementierung der international vorgeschriebenen Quali-tätsstandards wurde durch das Internatio-nal Study Center (ISC) überwacht und dokumentiert. In Österreich wurden diese Vorgaben darüber hinaus durch weitergrei-fende nationale Maßnahmen ergänzt. Dieses Kapitel gibt einen Überblick über die wichtigsten internationalen Qualitäts-standards und deren Umsetzung in Öster-reich. Detailliertere Beschreibungen der einzelnen Qualitätsvorgaben und wie diese erfüllt wurden, finden sich im nationalen Technischen Bericht (Suchań & Schreiner, in Vorbereitung) sowie im internationalen Technischen Bericht (Martin & Mullis, 2012).

Qualität der Stichproben

Die Qualität der Stichproben ist für die Vergleichbarkeit der Schülerleistungen über unterschiedliche Länder und über die Zeit von entscheidender Bedeutung. Nur wenn repräsentative Schülerstichproben einer gleich definierten Grundgesamtheit (Zielpopulation) getestet werden, beruhen Leistungsvergleiche auf einer zuverlässigen Basis. Für PIRLS & TIMSS wurde die Ziel-population auf internationaler Ebene als Menge aller Schüler/innen festgelegt, die sich zum jeweiligen Testzeitpunkt im vier-

ten Jahr ihrer formalen Schulausbildung befinden. Dies entspricht in Österreich und den meisten übrigen Teilnehmerlän-dern der vierten Schulstufe. Aus dieser Grundpopulation musste nun für jedes Land eine repräsentative Stichprobe gezogen werden. Dies erfolgte, indem zunächst mindestens 150 Schulen zufällig ausge-wählt wurden und danach innerhalb jeder gezogenen Schule zumindest eine Klasse, deren Schüler/innen letztendlich getestet wurden. Der gesamte Prozess der Stichpro-benziehung ist in Kapitel 4 detailliert beschrieben.

Um die Stichprobenziehung möglichst stark zu standardisieren und gegen mög-liche Beeinflussungen abzusichern, wurde die zufällige Auswahl der Schulen nicht von den einzelnen Ländern selbst, sondern zentral von Statistics Canada durchgeführt. Die Ziehung der Klassen konnte erst erfol-gen, nachdem die einzelnen Schulen kon-taktiert und die jeweilige Anzahl der Klassen auf der vierten Schulstufe ermittelt worden waren. Die Auswahl bestimmter Klassen für PIRLS & TIMSS erfolgte auto-matisiert mithilfe einer eigens dafür erstellten Software (WinW3S).

Selbst bei hoher Repräsentativität der ge-zogenen Stichprobe können verlässliche Daten nur gewonnen werden, wenn auch möglichst alle vorgesehenen Schüler/innen tatsächlich an der Testung teilnehmen. Demzufolge sind auch die Vorgaben des ISC zu den erforderlichen Teilnahmequoten sehr streng (vgl. Tabelle 9.1, linker Teil). Eine Teilnahme von 85 % der ausgewähl-ten Schulen sowie 95 % der ausgewählten Klassen und über alle Schulen hinweg 85 % der Schüler/innen stellt die Mindest-anforderung dar. Ein Erreichen dieser Teil-nahmequoten ist die Voraussetzung für die uneingeschränkte Aufnahme der Daten eines Landes in die internationale Ergeb-nisberichterstattung. Österreich konnte mit


9. Qualitätssicherung KatrinWidauer&SilviaBergmüller

Qualitätssicherung 81

Teilnahmequoten von 100 % auf Schul ebene, 100 % auf Klassenebene und 98 % auf Schülerebene die vorgeschrie-benen Mindeststandards deutlich übertreffen (vgl. Tabelle 9.1, rechter Teil). Zudem haben die Eltern von 96 % der Kinder den Elternfragebogen bearbeitet, 98 % der Lehr-kräfte haben den Lehrerfragebogen ausgefüllt und 100 % der Schulleiter/innen den Schulfragebogen. Österreich reiht sich damit unter die Länder mit den höchsten Teilnahme-quoten.

Teilnahmequoten bei PIRLS & TIMSS 2011

IEA-Mindeststandard Österreich

Schulebene 85% 100%

Klassenebene 95% 100%

Schülerebene 85% 98%

Tab. 9.1: International vorgeschriebene und national erreichte Teilnahmequoten bei PIRLS & TIMSS 2011

Qualität der Übersetzung

Ein weiteres wichtiges Kriterium für die Vergleichbarkeit der gewonnenen Daten ist die Qualität der Übersetzung der Testinstrumente. Nur wenn die Inhalte der Tests von PIRLS & TIMSS über alle Sprachen und Kulturen äquivalent sind, kann davon ausgegangen werden, dass die resultierenden Ergebnisse vergleichbar sind. Dies gilt natürlich auch für die Antworten in den Fragebögen für Schüler/innen, Eltern, Lehrkräfte und Schulleitungen.

Gemeinsame Grundlage für die Übersetzung in unter-schiedliche Sprachen bildeten bei PIRLS & TIMSS eine englische sowie eine arabische Quellversion, welche das ISC in Kooperation mit internationalen Expertengruppen ent-wickelt hat. Länder, die nicht in Englisch oder Arabisch getestet haben, mussten eine Quell version professionell in ihre Testsprache/n übersetzen lassen. Im Anschluss war es notwendig, diese Übersetzungen von Personen mit Erfah-rungen im Schulsystem des jeweiligen Landes auf ihre sprachliche und kulturelle Äquivalenz hin zu überprüfen. Schließlich wurde die Übersetzung auch von internationa-ler Seite geprüft (Translation Verification).

Um eine möglichst hohe kulturelle Äquivalenz sicherzu-stellen, waren im Rahmen der Übersetzung nationale Anpassungen möglich und an bestimmten Stellen sogar erforderlich. Alle nationalen Anpassungen bei den Tests und den Fragebögen mussten genau nachvollziehbar in den National Adaptations Forms (NAF) dokumentiert werden.

Österreich kooperierte beim ersten Übersetzungsschritt – die Übertragung der englischen Quellversion ins Deut-sche – mit Deutschland und Luxemburg. Die Überset-zungsarbeit wurde so aufgeteilt, dass Österreich die Frage -

bögen, Luxemburg die PIRLS-Testinstrumente und Deutsch -land die TIMSS-Testinstrumente übernahm. Anschließend führten Expertinnen und Experten in jedem Land die not-wendigen nationalen Adaptionen durch. Die fertig über-setzten und adaptierten österreichischen Testinstrumente und Fragebögen wurden schließlich von Personen aus der Schulpraxis hinsichtlich der Angemessenheit für Schüler/innen der vierten Schulstufe geprüft.

Die anschließende internationale Kontrolle der Materialien erfolgte in zwei Schritten. In einem ersten Schritt prüfte eine von der IEA beauftragte, von den nationalen Zentren unabhängige Übersetzungsagentur die Qualität der Über-setzungen (Translation Verification). Dies geschah für jedes Land durch eine Person mit der jeweiligen Testsprache als Muttersprache. Aus diesem Prozess resultierende Ände-rungsvorschläge waren von jedem Teilnehmerland nach Möglichkeit umzusetzen oder auch begründet zurückzu-weisen. Die daraufhin fertig zusammengestellten und ge-layouteten Testhefte und Fragebögen wurden in einem zweiten Schritt zum Abgleich des Erscheinungsbilds mit der englischen Originalvorlage (Layout Verification) an das ISC gesendet, bevor die Materialien gedruckt werden durften.

Alle auf diese Art und Weise überprüften Testunterlagen und Fragebögen wurden schließlich im Feldtest eingesetzt. Anhand teststatistischer Analysen der Feldtestdaten konn-ten u. a. Verbesserungen in der Übersetzung durchgeführt werden. So wurden Testfragen modifiziert bzw. gestrichen, deren testtheoretische Güte nicht ausreichte. Für den Haupttest erfolgten eine neuerliche Translation Verification und Layout Verification aller Testhefte und Fragebögen durch das ISC. Bei PIRLS & TIMSS wurden damit sehr vielfältige und umfassende Anstrengungen unternommen, um eine möglichst hohe sprachliche, kulturelle und psycho-metrische Äquivalenz der Testunterlagen über die unter-schiedlichen Teilnehmerländer hinweg sicherzustellen.

Qualität der Testdurchführung

Nicht nur die Testinstrumente, sondern auch die Testbedin-gungen müssen in allen Ländern möglichst gleich sein, um zu vergleichbaren Daten zu gelangen. Vom ISC wurde ein standardisierter Testablauf vorgegeben und in einem Hand-buch für Testleiter/innen verschriftlicht. Die Testleiter/innen aller Teilnehmerländer mussten sich bei der Testdurchfüh-rung strikt an die Zeitvorgaben, Formulierungen und Anweisungen in diesem Handbuch halten. Die Einhaltung dieser Vorschriften wurde stichprobenartig durch speziell ausgebildete Quality Control Monitors (QCM) überprüft. Dabei handelt es sich um Personen, die bei etwa einem Zehntel der Testsitzungen anwesend sind. In Österreich gab es insgesamt acht QCM, die 46 Testsitzungen (von ins-gesamt 534 durchgeführten) beobachtet haben. Zwei Inter-national Quality Control Monitors wurden dabei vom ISC


geschult und angestellt, die Rekrutierung und Schulung sechs weiterer National Quality Control Monitors erfolgte auf nationaler Ebene durch das BIFIE. Alle QCM mussten die Testsitzungen nach einem vorgegebenen Schema beob-achten und protokollieren. Abschließend führten sie Inter-views mit dem/der Schulkoordinator/in und dem/der Test-leiter/in der jeweiligen Schule.

Als zusätzliche nationale Qualitätssicherungsmaßnahme ist der Einsatz externer Testleiter/innen hervorzuheben. So wurden in Österreich die Tests ausschließlich von Personen mit Unterrichtserfahrung durchgeführt, die nicht an der jeweiligen Testschule beschäftigt waren. Diese externen Testleiter/innen wurden vom nationalen Zentrum (BIFIE) umfassend auf die Anwendung des Handbuchs und die Testdurchführung geschult. Die Testleiter/innen kamen am Testtag mit allen erforderlichen Unterlagen in die Schule und führten die Testung dort den internationalen Vorgaben entsprechend durch. Darüber hinaus verpflichteten sie sich, sämtliche Testunterlagen gut zu verwahren und nach der Testung wieder mitzunehmen, im Speziellen auch die nicht benötigten Fragebögen und Testhefte. Die Schüler/innen hatten somit die Sicherheit, dass niemand an der Schule Einsicht in ihre Antworten nehmen konnte. Auch konnte eine Einflussnahme der Lehrkräfte bei der Fragenbeantwor-tung ausgeschlossen werden, da die Lehrkräfte bei der Tes-tung nicht anwesend waren. Zudem war durch diese Vorge-hensweise sichergestellt, dass der organisatorische Aufwand für die Testschulen möglichst gering gehalten wurde und die Testunterlagen nicht in unbefugte Hände geraten. Dies ist ein sehr bedeutender Punkt, da ein Teil der verwendeten Aufgaben in den nächsten Erhebungen wieder eingesetzt wird, um Veränderungen von Schülerleistungen über die Zeit hinweg untersuchen zu können.

Um im Nachhinein alle Schritte der Erhebung evaluieren zu können, hat das ISC mithilfe eines Survey Activities Questi-onnaire (SAQ) die Erfahrungen der nationalen Projektzent-ren im gesamten Prozess der Testdurchführung erhoben. Die Ergebnisse dieser Befragung dienen auch als Basis für Verbesserungsmaßnahmen in weiteren Studienzyklen.

Qualität der Datenerfassung

Nach Test und Befragung folgte die elektronische Erfassung aller Antworten. Frei formulierte Antworten mussten vor der Erfassung noch bewertet (codiert) werden. Die Qualität der Datenerfassung ist damit bestimmt durch a) eine kor-rekte Codierung der frei formulierten Schülerantworten und b) die fehlerfreie elektronische Eingabe aller Angaben und Codes.

Für die Codierung der frei formulierten Schülerantworten gab es vom ISC standardisierte Bewertungsrichtlinien, die in den Scoring Guides erläutert wurden. In diesen Doku-

menten wird für jede einzelne offene Aufgabe genau be-schrieben, welche Antwort mit welchem Code bewertet werden soll. Neben einer allgemeinen Beschreibung enthal-ten die Scoring Guides auch konkrete Codierbeispiele für eine Reihe von Schülerantworten. Die korrekte Anwen-dung der Scoring-Richtlinien wurde zunächst international mit Repräsentantinnen und Repräsentanten aller Teilneh-merländer trainiert und musste dann auf nationaler Ebene umgesetzt werden.

Die Qualität der Codierungen wurde durch folgende inter-national festgesetzte Maßnahmen kontrolliert:

�� Double Scoring (= Within-Country Reliability Scoring): Schülerantworten aus vorab zufällig festgelegten Test-heften müssen von zwei Bewerterinnen oder Bewertern unabhängig voneinander codiert werden. Hierdurch kann die Übereinstimmung in der Codierung zwischen unterschiedlichen Bewerterinnen und Bewertern inner-halb eines Landes festgestellt werden. �� Cross-Country Reliability Scoring: Dieselben Antworten

englischsprachiger Schüler/innen müssen in allen teil-nehmenden Ländern beurteilt werden. Hierdurch kann die Übereinstimmung in der Codierung über unter-schiedliche Länder hinweg festgestellt werden.�� Trend Reliability Scoring: Eingescannte Schülerantwor-

ten aus dem vorhergehenden Studienzyklus müssen im selben Land neuerlich codiert werden. Hierdurch kann die Übereinstimmung in der Codierung innerhalb eines Landes über unterschiedliche Erhebungszyklen hinweg festgestellt werden.

Eine hohe Übereinstimmung der Bewerter/innen bei diesen unterschiedlichen Maßnahmen zur Reliabilitätssicherung zeigt, dass eine nationale und internationale Vergleichbar-keit der Codierung gegeben ist und dass die Bewertungs-richtlinien über die Zeit hinweg konsistent angewendet wurden. Die konkrete Höhe der Beurteilerübereinstim-mung innerhalb eines Landes (Double Scoring), zwischen Ländern (Cross-Country Reliability Scoring) und über die Zeit (Trend Reliability Scoring) wurde im internationalen Technischen Bericht publiziert (Martin & Mullis, 2012).

Frei formulierte Antworten konnten erst nach der eben be-schriebenen Codierung elektronisch erfasst werden. Multi-ple-Choice-Antworten konnten ohne Zwischenschritt ein-gegeben werden, da für jede Antwortalternative bereits ein konkreter Code vorgegeben war. Für die elektronische Er-fassung aller Fragebogen- und Testdaten musste eine vom ISC vorgegebene speziell entwickelte Software (WinDEM) verwendet werden. Dieses Programm hat eine sehr über-sichtliche grafische Benutzeroberfläche, die den Überblick bei der Eingabe der Daten in die einzelnen Datenfiles er-leichtert. Bereits während der Dateneingabe wurden im Vor-feld definierte Gültigkeitsprüfungen automatisch durch -geführt, wodurch Fehler bei der Daten eingabe minimiert werden konnten. Nach der Dateneingabe wurden die Da-

tenfiles auf nationaler wie internationaler Ebene umfassen-den Qualitätsprüfungen unterzogen. Danach wurden Roh-berichte erstellt und an die einzelnen Länder gesendet. Die Teilnehmerländer hatten so nochmals die Möglichkeit, Auf-fälligkeiten in den Daten an das ISC rückzumelden.

Das BIFIE hat sich bei der Durchführung der Studien exakt an die internationalen Vorgaben gehalten und die internati-onalen Qualitätsstandards in vollem Umfang erfüllt bzw. sogar deutlich übertroffen. Es kann daher mit großer Sicherheit davon ausgegangen werden, dass die österreichi-schen PIRLS- und TIMSS-Daten von hervorragender Qua-lität sind und eine ausgezeichnete Basis für internationale Vergleiche und wissenschaftliche Analysen darstellen.

Qualitätssicherung 83

Das zentrale Produkt von PIRLS & TIMSS ist die internationale Datenbasis. Diese beinhaltet für alle Teilnehmerländer die Leistungswerte der Schüler/innen in Lesen, Mathematik und Naturwissenschaft sowie sämtliche Antworten der Schüler/innen, der Eltern, Lehrkräfte und Schulleiter/in-nen auf die Fragen in den Kontextfragebö-gen. Diese Datenbasis bildet die Grundlage für alle Berichte und Publikationen zu den Ergebnissen von PIRLS & TIMSS. Mit ihr können die Leistungsdaten für sich alleine, aber auch in Kombination mit den Frage-bogendaten sowohl im internationalen Vergleich als auch getrennt für jedes Teil-nehmerland analysiert werden.

Voraussichtlich ab Anfang 2013 steht die internationale Datenbasis auf der Home-page des internationalen Zentrums für die Öffentlichkeit zur Verfügung (PIRLS: http://timssandpirls.bc.edu/pirls2011/ index.html bzw. TIMSS: http://timssand-pirls.bc.edu/timss2011/index.html). Beglei tend dazu gibt es vom internationa-len Zentrum den User Guide – eine Anlei-tung zur Verwendung der internationalen Datenbasis inklusive einer Datendoku-mentation.

Die Publikationen „PIRLS 2011. Assess-ment Framework“ (Mullis, et al., 2009) sowie „TIMSS 2011. Assessment Frame-works“ (Mullis, et al., 2009) des internatio-nalen Zentrums sind bereits unter der oben genannten Internetadresse frei zugänglich. Darin werden die für PIRLS relevanten Aspekte der Lesekompetenz bzw. die in-haltlichen und kognitiven Bereiche der Mathematik- und Naturwissenschaftskom-petenz in TIMSS sowie die wesentlichen Kontextvariablen und das jeweilige Test-design erläutert. Darüber hinaus ist auch eine internationale technische Dokumen-tation aller Schritte und Abläufe (z. B. Stichprobenziehung, Skalierung und Ge-wichtung der Daten) im Rahmen von

PIRLS & TIMSS online unter der zuvor genannten Internetadresse frei verfügbar.

Eine Dokumentation der Umsetzung aller internationalen Richtlinien in Österreich findet sich im nationalen „Technischen Bericht“ (Suchań & Schreiner, in Vorberei-tung). Dieser ist ausschließlich online unter https://www.bifie.at/buch/1740 verfügbar. Die vorliegende Broschüre ist ebenfalls als technische Dokumentation der Studie zu verstehen. Sie ist allerdings im Vergleich zum Technischen Bericht deutlich gekürzt, um die für die Interpretation der nationa-len Ergebnispublikationen notwendigen Informationen in kompakter Form zur Verfügung zu stellen. Sämtliche Fragebö-gen von PIRLS & TIMSS 2011 s owie alle freigegebenen Aufgaben sind ebenfalls auf der Homepage des BIFIE (https://www.bi-fie.at/pirls bzw. https://www.bifie.at/timss) vorhanden.

Sowohl international als auch national wer-den die Ergebnisse von PIRLS & TIMSS 2011 am 11. Dezember 2012 im Rahmen einer Pressekonferenz präsentiert. Beglei-tend dazu erscheint der internationale Ergebnisbericht („International Report“) zu PIRLS (Mullis, Martin, Foy & Drucker, 2012) bzw. zu TIMSS (Mullis, Martin, Foy & Arora, 2012; Martin, Mullis, Foy & Stanco, 2012). Einen ersten Einblick in die wichtigsten Ergebnisse aus nationaler Pers-pektive gibt der nationale Ergebnisbericht „PIRLS & TIMSS 2011. Schülerleistungen in Lesen, Mathematik und Naturwissen-schaft in der Grundschule. Erste Ergebnis-se“ (Suchań, Wallner- Paschon, Bergmüller & Schreiner, 2012). Ergänzend dazu ist auf nationaler Ebene eine weitere Publikation mit verschiedenen inhaltlichen Schwer-punkten geplant.


10. Ergebnisse und Produkte von PIRLS & TIMSS

BirgitSuchan

Bibliografie 85

M Martin, M. O. & Mullis, I. V. S. (Eds.). (2012). TIMSSandPIRLS–MethodsandProcedures. Retrieved December, 11, 2012, from http://timssandpirls.bc.edu/methods/index.html Martin, M. O., Mullis, I. V. S., Foy, P. & Stanco, G. M. (2012). TIMSS2011internationalresultsinscience. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

Marx, P. (2007). Lese-undRechtschreiberwerb. Paderborn: Verlag Ferdinand Schöningh.

Mullis, I. V. S., Martin, M. O., Foy, P. & Arora, A. (2012). TIMSS2011internationalresultsinmathematics.Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

Mullis, I. V. S., Martin, M. O., Foy, P. & Drucker, K. T. (2012). PIRLS2011internati-onalresultsinreading. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

Mullis, I. V. S., Martin, M. O., Minnich, C. A., Drucker, K. T. & Ragan, M. A. (2012). PIRLS2011Encyclopedia.EducationPolicyandCurriculuminReading.Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

Mullis, I. V. S., Martin, M. O., Minnich, C. A., Stanco, G. M., Arora, A., Centurino, V. A. S. & Castle, C. E. (2012).TIMSS2011Encyclopedia.EducationPolicyandCurriculuminMathematicsandScience. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

Mullis, I. V. S., Martin, M. O., Kennedy, A. M., Trong, K. L. & Sainsbury, M. (2009). PIRLS2011AssessmentFramework. Chestnut Hill, MA: TIMSS & PIRLS Interna-tional Study Center, Boston College.

Mullis, I. V. S., Martin, M. O., Ruddock, G. J., O’Sullivan, C. Y. & Preschoff, C. (2009). TIMSS2011AssessmentFrameworks.Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

S Suchań, B. & Schreiner, C. (Hrsg.). (in Vorbereitung). PIRLS&TIMSS2011.SchülerleistungeninLesen,MathematikundNaturwissenschaftinderGrund-schule.TechnischerBericht.Verfügbar unter https://www.bifie.at/buch/1740

Suchań, B., Wallner-Paschon, C., Bergmüller, S. & Schreiner, C. (Hrsg.). (2012). PIRLS&TIMSS2011.SchülerleistungeninLesen,MathematikundNaturwissen-schaftinderGrundschule.ErsteErgebnisse.Graz: Leykam.

Bibliografie

86 Bibliografie

Suchań, B. & Wintersteller, A. (in Vorbereitung). Sampling-Design und Stichproben ziehung. In B. Suchań & C. Schreiner (Hrsg.), PIRLS&TIMSS2011.SchülerleistungeninLesen,MathematikundNaturwissenschaftinderGrund-schule.TechnischerBericht.Verfügbar unter https://www.bifie.at/buch/1740

U UNESCO Institute for Statistics (1999). OperationManualforISCED-1997.InternationalStandardClassification (1st ed.). Montreal: UNESCO.

W Wallner-Paschon, C., Grafendorfer, A., Widauer, K. & Suchań, B. (in Vorbereitung). Die getesteten Kompetenzbereiche. In B. Suchań & C. Schreiner (Hrsg.), PIRLS&TIMSS2011.SchülerleistungeninLesen,MathematikundNaturwissenschaftinderGrundschule.TechnischerBericht. Verfügbar unter https://www.bifie.at/buch/1740

Wintersteller, A. (in Vorbereitung). Stichprobe und Teilnahmequoten. In B. Suchań & C. Schreiner (Hrsg.), PIRLS&TIMSS2011.SchülerleistungeninLesen,Mathe-matikundNaturwissenschaftinderGrundschule.TechnischerBericht.Verfügbar unter https://www.bifie.at/buch/1740

PIRLS & TIMSS 2011 - BIFIE€¦ · des österreichischen Schulwesens Alpenstraße 121 / 5020...

Documents

Transcript of PIRLS & TIMSS 2011 - BIFIE€¦ · des österreichischen Schulwesens Alpenstraße 121 / 5020...