PISA 2012 - BIFIE · PISA 2003 – steht dabei die Mathematikkompetenz im Mittelpunkt. Die...

Internationaler Vergleich von SchülerleistungenDie Studie im Überblick Herausgegeben von Ursula Schwantner & Claudia Schreiner

PISA 2012

Schwantner, U. & Schreiner, C. (Hrsg.)

PISA 2012Internationaler Vergleich von Schülerleistungen Die Studie im Überblick

Leykam

Bundesministerium für Unterricht, Kunst und Kultur

Minoritenplatz 5 / 1014 Wien

Das Bundesministerium hat die Durchführung der OECD-Studie PISA in Österreich beauftragt.

Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121 / 5020 Salzburg

Direktoren: MMag. Christian Wiesner & Mag. Martin Netzer, MBA

www.bifie.at

PISA 2012. Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Schwantner, U. & Schreiner, C. (Hrsg.) Graz: Leykam 2013 ISBN 978-3-7011-7888-9 Einbandgestaltung und Layout: Die Fliegenden Fische, Salzburg & Andreas Kamenik, BIFIE I Zentrales Management & Services Satz: Hannes Kaschnig, BIFIE I Zentrales Management & Services Druck: Steiermärkische Landesdruckerei GmbH, 8020 Graz

© by Leykam Buchverlagsgesellschaft m. b. H. Nfg. & Co. KG, Graz 2013

www.leykamverlag.at

Kein Teil des Werks darf in irgendeiner Form (durch Fotografie, Mikrofilm oder ein anderes Verfahren) ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.

Vorwort

Österreich kann seine Zukunft gestalten und entwickeln, wenn alle Menschen Chancen auf ein Vorwärtskommen haben. Unser Bildungssystem muss allen Kindern und Jugendlichen, unabhängig von der Herkunft oder dem sozialem Status der Eltern, die Möglichkeiten bie-ten, die sie für die Entwicklung ihrer Persönlichkeit und ihrer Talente benötigen. Wir können in unserer Gesellschaft auf kein Talent verzichten.Das erfordert auch die verlässliche Vermittlung von Kompetenzen in Lesen, Mathematik und den Naturwissenschaften. Schließlich sind diese ein Fundament für lebenslanges Lernen und den Umgang mit neuen Anforderungen im Laufe des Lebens.

PISA untersucht, inwieweit fünfzehn- bzw. sechzehnjährige Schülerinnen und Schüler gegen Ende ihrer Pflichtschulzeit, über diese Kompetenzen verfügen. Die Ergebnisse geben darüber hinaus Auskunft über demografische Kontextindikatoren sowie Merkmale der häuslichen und schulischen Umwelt und ermöglichen einen internationalen Vergleich. Nachdem in der vorangegangenen Erhebung besonderes Augenmerk auf die Lesekompetenz gerichtet wurde, ist in der vorliegenden Studie die Mathematikkompetenz im Mittelpunkt. Zusätzlich bein-haltet die Studie den Bereich des Problemlösens.

Für unsere faktenbasierte Bildungspolitik sind empirische Befunde eine essenzielle Vorausset-zung. Die letzten PISA-Ergebnisse haben uns einmal mehr deutlich gezeigt, dass es keine Alternative zu dem eingeschlagenen Weg der Weiterentwicklung des österreichischen Schul-wesens gibt. Viele der Erkenntnisse, die aus den vorangegangenen Erhebungen gewonnen werden konnten, sind in die Reformprojekte der letzten Jahre eingeflossen. Die PISA-Studie hat dazu beigetragen, Bewusstsein und Akzeptanz für standardisierte Leistungsmessung und Ergebnisorientierung zu schaffen. Die Einführung der Bildungsstandards (Schuljahr 2011/12) und der standardisierten Reifeprüfung (2013/14) sind ein Paradigmenwechsel in der Prüf- und Lernkultur. Der Notwendigkeit der Erhöhung der Chancengerechtigkeit wird mit der Einführung der Neuen Mittelschule und dem Ausbau der qualitätsvollen Ganztagsschule Rechnung getragen. Erste Ergebnisse des 2007 eingeschlagenen Reformkurses werden nun erstmals wirksam und sichtbar.

Ich danke den Forscherinnen und Forschern des BIFIE (Bundesinstitut für Bildungsfor-schung, Innovation und Entwicklung des österreichischen Schulwesens), für die erfolgreiche Planung und Durchführung der Studie sowie Aufbereitung der Ergebnisse.

Für das österreichische Bildungsmonitoring, das vom BMUKK finanziert und gefördert wird, ist PISA zu einem unverzichtbaren Baustein geworden. Auf dieser wissenschaftlichen Grundlage soll auch weiterhin an der Verbesserung des österreichischen Bildungssystems ge-arbeitet werden.

Dr.in Claudia SchmiedBundesministerin für Unterricht, Kunst und Kultur

Inhalt

7 Vorwort der Herausgeberinnen

10 1 Was ist PISA?

13 2 Wie ist PISA organisiert?

17 3 Was misst PISA?

33 4 PISA-Population und Stichprobe 2012

38 5 Die Tests und Fragebögen bei PISA 2012

43 6 Datenerhebung und -verarbeitung

47 7 Der Feldtest zu PISA 2012

50 8 Datenaufbereitung für die Ergebnisanalyse

56 9 Qualitätssicherung

59 10 Ergebnisse und Produkte von PISA

61 Bibliografie

Einen wesentlichen Beitrag zu dieser Publikation in Form von Tabellen, Grafiken und Aktuali-sierungen von Texten leisteten (in alphabetischer Reihenfolge): Heidelinde Bitesnich, Manuela Pareiss, Juliane Schmich, Claudia Schreiner, Ursula Schwantner und Bettina Toferer. Einige Textstellen wurden aus der Broschüre „Die Studie im Überblick“ zu PISA 2009 (Schwantner & Schreiner, 2010) übernommen, so Inhalte und Sachverhalte gleich geblieben sind.

International vergleichende Schülerleistungsstudien sind neben der Überprüfung der nationa-len Bildungsstandards ein wichtiger Bestandteil des österreichischen Bildungsmonitorings – der regelmäßigen, systematischen und standardisierten Beobachtung des Schulsystems. PISA erhebt seit dem Jahr 2000 im regelmäßigen Abstand von drei Jahren die Kompetenzen von 15-/16-jährigen Schülerinnen und Schülern in den drei Bereichen Lesen, Mathematik und Naturwissenschaft. Im Alter von 15/16 Jahren befinden sich die Schüler/innen in den meis-ten Teilnehmerländern am Ende der Pflichtschulzeit, wodurch mithilfe von PISA der ku-mulierte Lernertrag festgestellt werden kann. Ergänzend dazu erheben die beiden interna-tionalen Vergleichsstudien der IEA die Fähigkeiten im Lesen (PIRLS) sowie in Mathematik und Naturwissenschaft (TIMSS) von Kindern am Ende der Volksschule. Die internationalen Studien liefern damit Informationen über den Ist-Stand zentraler Kompetenzen an wichti-gen Schnittstellen des österreichischen Schulsystems im Vergleich zu anderen Ländern und Schulsystemen. Die Erkenntnisse daraus helfen Bildungsverantwortlichen, die Qualität der angebotenen Ausbildung zu beurteilen und Stärken und Schwächen des österreichischen Schulsystems aus internationaler Perspektive zu betrachten.

PISA 2012

PISA 2012 stellt den insgesamt fünften Durchgang der Studie dar. Zum zweiten Mal – nach PISA 2003 – steht dabei die Mathematikkompetenz im Mittelpunkt. Die schwerpunktmäßi-ge Erfassung eines Bereichs mit gut der Hälfte der Testaufgaben ermöglicht eine genauere Be-trachtung und die Erstellung von kompakten Leistungsvergleichen – sowohl im Querschnitt als auch im Längsschnitt von neun Jahren. Bei PISA 2012 wurden zentrale Teilbereiche der Mathematikkompetenz (mathematische Inhaltsbereiche und Prozesse), sowie wichtige Hin-tergrundmerkmale, die mit den Kompetenzen in Zusammenhang stehen, erfasst. Dazu gehö-ren z. B. der Unterricht, den Jugendliche in Mathematik erleben, ihre Motivation und ihre Selbstwahrnehmung in Mathematik, der familiäre oder Migrationshintergrund der Schüler/innen, das Geschlecht etc. Darüber hinaus wurde bei PISA 2012 die Mathematikkompetenz auch computerbasiert erfasst. Da digitale Medien und Geräte im Alltag von Jugendlichen einen hohen Stellenwert einnehmen und sich mit digitalen Medien auch neue, vielfältige Lernwege eröffnen, sind computerbasierte Tests zu einem wichtigen Bestandteil von PISA geworden. So bieten elektronisch aufbereitete (Mathematik-) Aufgaben die Möglichkeit der direkten Interaktion mit der Problemstellung, indem z. B. Simulationen ausgeführt oder Pro-zesse direkt durchgeführt werden können. Neben computerbasierten Mathematikaufgaben wurden bei PISA 2012 auch die internationale Option zum Lesen elektronischer Medien aus PISA 2009 weitergeführt sowie Aufgaben zum allgemeinen Problemlösen eingesetzt. Beim nächsten Durchgang 2015 wird PISA auf Initiative der OECD voraussichtlich bereits voll-ständig computerbasiert durchgeführt werden.

Publikationen zu PISA 2012

Im Dezember 2013 veröffentlicht die OECD den internationalen Erstbericht zu PISA 2012 in vier Bänden (OECD 2013b, c, d, e). Band 1 über die Ergebnisse in den drei Kernkom-petenzbereichen (OECD, 2013b) sowie eine Zusammenfassung der wichtigsten Ergebnisse werden auch auf Deutsch erhältlich sein. Die Ergebnisse zum Bereich Problemlösen (Band 5) werden im Frühjahr 2014 veröffentlicht.

Liebe Leserinnen und Leser! 7

8 PISA 2012: Die Studie im Überblick

Parallel zur Präsentation der ersten Ergebnisse durch die OECD werden in Österreich drei nationale Berichte veröffentlicht:

�� Die vorliegende Studie im Überblick widmet sich kompakt jenen Aspekten der PISA-Studie, die für die Interpretation der Ergebnisse relevant sind. Dazu gehören die Organi-sation und die Ziele der Studie, die getesteten Kompetenzbereiche, die Abläufe und Pro-zeduren in Österreich (z. B. Stichprobenziehung, Testablauf, Datenverarbeitung), Maßnahmen zur Qualitätssicherung und die Produkte der Studie. Inhaltlich beruht diese Publikation in weiten Teilen auf dem nationalen technischen Bericht.

�� Der nationale technische Bericht zu PISA 2012 (Schwantner & Schreiner, 2013) stellt eine Langversion der Beschreibung der Studie dar, in der die Methoden, Abläufe und Proze-duren der PISA-Studie in Österreich im Detail für wissenschaftlich interessierte Leser/innen dokumentiert werden, z. B. genaue Angaben zur Stichprobenziehung und Abde-ckung der österreichischen Population, zur Organisation der Testdurchführung, zur Be-wertung der Schülerantworten auf offene Fragen oder zur Datenverarbeitung. Der tech-nische Bericht ist als Web-Dokument ab 3. Dezember 2013 unter www.bifie.at/pisa verfügbar.

�� Die dritte Publikation widmet sich den ersten Ergebnissen von PISA 2012, die aus öster-reichischer Perspektive im Überblick präsentiert werden (Schwantner, Toferer & Schrei-ner, 2013).

Die Durchführung von PISA 2012 in Österreich

Die PISA-Studie wird in Österreich im Auftrag des Bundesministeriums für Unterricht, Kunst und Kultur durchgeführt. Dr. Mark Német vom BMUKK vertritt Österreich im PISA Governing Board der OECD. Das BIFIE ist für die internationale Kooperation und die Ab-wicklung des Projekts in Österreich verantwortlich.

Am Department für Bildungsstandards und Internationale Assessments des BIFIE (unter der Leitung von Mag. Dr. Claudia Schreiner) trugen zum Gelingen von PISA 2012 vor allem

DIE DREI ÖSTERREICHISCHEN ERST-PUBLIKATIONEN ZU PISA 2012

Schwantner, U., Toferer, B. & Schreiner, C. (Hrsg.). (2013). PISA 2012. Internationaler Vergleich von Schülerleistungen. Erste Ergebnisse. Mathematik, Lesen, Naturwissenschaft. Graz: Leykam.

Schwantner, U. & Schreiner, C. (Hrsg.). (2013). PISA 2012. Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Graz: Leykam.

Schwantner, U. & Schreiner, C. (Hrsg.). (2013). PISA 2012. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Zugriff ab 03.12.2013. Verfügbar unter: www.bifie.at/pisa

Die nationalen PISA-Publikationen sowie Beispielaufgaben zu PISA sind über die Web-seite des BIFIE verfügbar: www.bifie.at/pisa

Vorwort 9

folgende Mitarbeiterinnen bei (in alphabetischer Reihenfolge): Dipl.-Päd. Julia Franken (Field Operations), MMag. Dr. Andrea Grafendorfer (Testinstrumente Naturwissenschaft), Monika Kaltenbrunner (Administration), Mag. Manuela Pareiss (Datenmanagement und Field Operations), Christina Reichl (Projektassistentin), Mag. Dr. Juliane Schmich (Testins-trumente Problemlösen), Mag. Dr. Ursula Schwantner (Projektleitung, Fragebogenerstel-lung, Testinstrumente Lesen), Dipl.-Päd. Bettina Toferer, MA (Testinstrumente Mathematik und Naturwissenschaft).

MMag. DDr. Ulrike Kipman, B.Sc. hat bei allen statistischen Fragen kompetent beraten.Mag. Hannes Kaschnig (Department Zentrales Management & Services des BIFIE) hat die Broschüre gestaltet.Dr. Arnold Klaffenböck hat die Texte Korrektur gelesen. Unser ganz besonderer Dank gilt:�� allen Schülerinnen und Schülern, die durch ihre Teilnahme an den Tests und Befragun-

gen die Durchführung der Studie ermöglicht haben. �� den Schulleiterinnen und Schulleitern der 191 PISA-Schulen sowie jenen Lehrerinnen

und Lehrern, die sich als Kontaktpersonen zur Verfügung gestellt haben.

�� den engagierten Testleiterinnen und Testleitern – sie haben durch ihre professionelle Ar-beit die hohen Rücklaufquoten und die gute Qualität der Daten ermöglicht.

Sie alle tragen dazu bei, die Weiterentwicklung des österreichischen Schulsystems mit ent-sprechenden Daten zu unterstützen.

Mag. Dr. Ursula Schwantner Mag. Dr. Claudia SchreinerNationale Projektmanagerin Leiterin Department BildungsstandardsPISA 2012 und Internationale Assessments

Salzburg, im Dezember 2013

OECD/PISA

PISA, das „Programme for International Student Assessment“, wurde 1997 von der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) und ihren Mitgliedsstaaten ins Leben gerufen, um regelmäßig verlässliche Daten über das Wissen und die Fähigkeiten der Schüler/innen sowie die Effektivität der Bildungs-systeme in den Mitgliedsstaaten zu erhal-ten. Seit der ersten Erhebung im Jahr 2000 werden alle drei Jahre die Grundkompeten-zen von 15-/16-jährigen Schülerinnen und Schülern in Lesen, Mathematik und Na-turwissenschaft in den OECD-Mitglieds- staaten erhoben. Österreich als ein Grün-dungsmitglied der OECD beteiligt sich seit Beginn an PISA. PISA 2012 stellt den nunmehr fünften Durchgang dar. Mithilfe der bei PISA gewonnenen Daten konn-te die OECD im letzten Jahrzehnt eine umfassende Datenbasis aufbauen, die Ver-gleiche von Schülerleistungen und deren Zusammenhänge mit ökonomischen und sozialen Merkmalen ermöglicht und die Beobachtung von Entwicklungstrends er-laubt.

Als internationale Wirtschaftsorganisation verfolgt die OECD als wesentliche Ziele, in ihren 34 Mitgliedsstaaten ein nachhalti-ges Wirtschaftswachstum, eine höhere Be-schäftigung, finanzielle Stabilität und eine Steigerung des Lebensstandards zu fördern und zur Entwicklung der Weltwirtschaft beizutragen. Darüber hinaus ist es auch ein Anliegen der OECD, die Entwicklung an-derer Länder zu unterstützen (http://www.oecd.org/berlin/dieoecd/). So ist auch die PISA-Studie nicht auf OECD-Länder be-schränkt, sondern offen für die Beteiligung von Partnerländern und -volkswirtschaften.

Bildung gilt als ein Schlüsselfaktor zur Erreichung dieser Ziele. In ihren Bemü-hungen, Regierungen in einer effektiven Bildungspolitik zu unterstützen, veröf-

fentlicht die OECD in den jährlichen Be-richten Education at a Glance (Bildung auf einen Blick, z. B. OECD, 2012) interna-tional vergleichbare, quantitative Indikato-ren, die eine kontinuierliche Beobachtung sowie eine aussagekräftige Rückmeldung über die Leistungsfähigkeit der Bildungssys-teme in den OECD-Mitgliedsstaaten er-möglichen. OECD/PISA ist eine der zen-tralen Datenquellen für diese Indikatoren. Zudem fließen Daten der internationalen Befragung zu Lehren und Lernen (OECD Teaching and Learning International Sur-vey – TALIS) sowie der Erhebung zu den Kompetenzen von Erwachsenen (OECD Programme for the International Assess-ment of Adult Competencies – PIAAC) ein (OECD, 2012, S. 3 f.). Österreich betei-ligte sich an beiden Studien (TALIS 2008, PIAAC 2012).

Nationaler Nutzen von PISA

Gemeinsam mit den beiden Studien der IEA (International Association for the Evaluation of Educational Achievement), PIRLS (Progress in International Reading Literacy Study) und TIMSS (Trends in In-ternational Mathematics and Science Stu-dy) ist PISA ein wesentlicher Bestandteil des österreichischen Bildungsmonitorings, das seit dem Jahr 2008 eine der Kernauf-gaben des BIFIE (Bundesinstitut für Bil-dungsforschung, Innovation und Entwick-lung des österreichischen Schulsystems) ist. PIRLS (Beteiligung Österreichs 2006 und 2011) erfasst die Lesekompetenz und TIMSS (Beteiligung Österreichs 1995, 2007 und 2011) die Mathematik- und Naturwissenschaftsfähigkeiten von 10-jäh-rigen Schülerinnen und Schülern am Ende der Volksschule. Somit werden in regelmä-ßigen Abständen international vergleichba-re Daten grundlegender Kompetenzen der Schüler/innen an wesentlichen Schnittstel-len des Schulsystems (4. Klasse Volksschule und 9./10. Schulstufe – Ende der Pflicht-

1 Was ist PISA?

Was ist PISA? 11

schulzeit) erhoben und analysiert. Die interna-tionalen Schülerleistungsvergleiche ergänzen die nationalen Standardüberprüfungen in der 4. Schulstufe (Deutsch und Mathematik) und in der 8. Schulstufe (Deutsch, Mathematik und Englisch), indem sie den Vergleich auf Systemebene – mit anderen Schulsystemen – ermöglichen. Gemeinsam liefern internatio- na le und nationale Assessments regelmäßig wichtige Daten zur Qualität, Effizienz und zu Ent wicklungsfeldern des Schulsystems, die u. a. im österreichischen Bildungsbericht (vgl. z. B. Herzog-Punzenberger, 2012; Bruneforth & Lassnigg, 2012) für Bildungsverantwortliche aufbereitet sowie der breiten Öffentlichkeit zugänglich gemacht werden.

Ziele von PISA

Hauptziel von PISA ist, die Effektivität von Schulsystemen festzustellen und mithilfe des internationalen Vergleichs Stärken und Schwächen zu identifizieren, auf deren Grund-lage Schulsysteme weiterentwickelt werden können. Die Ef-fektivität wird anhand des kumulierten Ertrags eines Schul-systems bestimmt. Dazu werden die Kompetenzen von Schülerinnen und Schülern im Alter von 15/16 Jahren (in diesem Alter befinden sich die Schüler/innen in den meisten Ländern am Ende der Pflichtschulzeit) in den drei Bereichen Lesen, Mathematik und Naturwissenschaft sowie zentrale Hintergrundmerkmale, die mit den Kompetenzen in Zu-sammenhang stehen, in regelmäßigen Abständen von drei Jahren erhoben, ausgewertet und international verglichen. Lesekompetenz (Reading Literacy) wird bei PISA erhoben, weil diese in allen Gesellschaften zu den Grundfertigkeiten zählt und für die Teilhabe am beruflichen, sozialen, kul-turellen und politischen Leben unabdingbar ist (OECD, 2013, S. 61). Außerdem ist Lesen eine zentrale Voraus-setzung für lebenslanges Lernen. Mathematikkompetenz (Mathematical Literacy) und Naturwissenschaftskompe-tenz (Scientific Literacy) werden bei PISA gemessen, weil diese im 21. Jahrhundert eine immer größere Rolle spielen und daher die gesamte Bevölkerung einer modernen Gesell-schaft über Grundfähigkeiten aus diesen Bereichen verfü-gen sollte (OECD, 2013, S. 24, S. 98). Diese Kompetenzen ermöglichen es auch, die Chancen neuer Entdeckungen und Technologien einerseits zu erkennen, andererseits neu aufgeworfene Probleme realistisch einzustufen und als Bür-ger/in entsprechend zu reagieren.

Bei jeder PISA-Erhebung wird einer der drei Kompetenzbe-reiche sehr umfangreich, mit gut der Hälfte der Aufgaben, erfasst („Hauptdomäne“). In den beiden anderen Bereichen werden jeweils zusammenfassende Leistungsprofile erhoben (s. Abbildung 1.1).

Der erste PISA-Zyklus fand mit Erhebungen in den Jahren 2000 (Schwerpunkt Lesen), 2003 (Schwerpunkt Mathema-tik) und 2006 (Schwerpunkt Naturwissenschaft) statt. Mit PISA 2009 begann der zweite Zyklus mit Erhebungen in den Jahren 2009 (erneut Schwerpunkt Lesen), 2012 (erneut Schwerpunkt Mathematik) und 2015 (erneut Schwerpunkt Naturwissenschaft). Mit dem Abschluss des zweiten PISA-Zyklus im Jahr 2015 wird jeder der drei Kompetenzbereiche zweimal schwerpunktmäßig erfasst worden sein.

Zusätzlich zu den drei Kerndomänen wird jeder PISA-Durchgang durch einen innovativen Bereich ergänzt, an dem sich die Länder in der Regel als internationale Option beteiligen können. Österreich nahm bei PISA 2000 an der internationalen Zusatzbefragung zu fächerübergreifenden Fähigkeiten (Cross-Curricular-Competencies, CCC) teil, bei der die Schüler/innen u. a. zu Strategien des selbstre-gulierenden Lernens und der Handlungskontrolle, zu ko-operativem Lernen, ihrer Motivation und Zielorientierung befragt wurden. Bei PISA 2003 und 2012 wurden die Testdomänen um die fächerübergreifende Problemlöse-kompetenz erweitert, wobei diese 2003 mittels Testheften und 2012 am Computer erfasst wurde. 2009 beteiligte sich Österreich an der Option Lesen elektronischer Medien, die bei PISA 2012 fortgeführt wurde. Zudem wurden bei PISA 2012 Mathematikaufgaben am Computer gestellt. Gemeinsam bildet die computerbasierte Erhebung von Pro-blemlösen, Lesen elektronischer Medien und Mathematik die internationale Option Computer-based Assessment of Literacy (CBAL). Da digitale Medien und Geräte im All-tag von Jugendlichen einen hohen Stellenwert einnehmen und sich mit digitalen Medien neue, vielfältige Lernwege eröffnen, sind computerbasierte Tests ein wesentlicher Be-standteil von PISA. Beim nächsten Durchgang 2015 wird PISA auf Initiative der OECD voraussichtlich vollständig computerbasiert durchgeführt werden.

Abbildung 1.1: Der PISA-Zyklus

LESEN

MathematikNaturwissenschaft

MATHEMATIK

NaturwissenschaftLesen

NATURWISSENSCHAFT

LesenMathematik

20092000

20122003

20152006


Eine weitere internationale Option bei PISA 2012 war die Erfassung der „Financial Literacy“, an der sich Österreich je doch nicht beteiligte.

PISA liefert drei Arten von Indikatoren

PISA erfasst, in welchem Ausmaß Jugendliche das Wissen, das sie im Laufe der Pflichtschulzeit erworben haben, in rea-litätsnahen Situationen einsetzen und anwenden können. Beim Kompetenzerwerb wirken dabei neben Merkmalen der Bildungseinrichtungen, die die Schüler/innen im Laufe ihrer Schulzeit besuchen (z. B. Betreuungsqualität im Kin-dergarten, Schulart, Unterrichtsqualität, Strategien der Leh-rer/innen, soziales Klima in der Klasse), auch demografische, sozial-ökonomische, familiäre und individuelle Faktoren (z. B. Einkommen, Bildung und Beruf der Eltern, Migra-tionshintergrund, Lern- und Leistungsmotivation etc.). Da her werden bei PISA nicht nur die Kompetenzen der Schüler/innen erhoben, sondern auch wichtige Kontext-merkmale, die mit diesen in Zusammenhang stehen. Indem PISA regelmäßig alle drei Jahre durchgeführt wird, ist es möglich, die Entwicklungen der Kompetenzen und der Zu-sammenhänge über die Zeit zu verfolgen. Zusammengefasst ergibt das drei Qualitätsindikatoren, anhand derer Schulsy-steme beschrieben werden:

1. Die Leistungen der Schüler/innen in den Kompetenz-bereichen (die PISA-Testergebnisse) bilden die Basisin-dikatoren. Der direkte Vergleich der Ergebnisse mit den Leistungen anderer Teilnehmerländer (auf Grundlage von „Benchmarks“) ermöglicht eine Identifizierung von Stärken und Schwächen in den nationalen Bildungssys-temen.

2. Die mittels Fragebögen für Schüler/innen und für Schulleiter/innen erhobenen Kontextindikatoren geben Einsicht in Zusammenhänge von demografischen, so-zialen, ökonomischen oder allgemein pädagogischen Faktoren mit der Leistung.

3. Die regelmäßige standardisierte Erfassung der Kompe-tenzen und Kontextmerkmale ermöglicht einen Ver-gleich der Ergebnisse über die Zeit und somit die Bil-dung von Trendindikatoren. Diese systematische Da - ten basis dient der Beobachtung von Entwicklungstrends im Kompetenzbestand in den verschiedenen Ländern und von verschiedenen demografischen Gruppen. Durch den Vergleich der Ergebnisse über die Zeit kann die Dynamik der Entwicklung erfasst werden. Zugleich können Konsequenzen zwischenzeitlich eingeleiteter Verbesserungen im System sichtbar gemacht werden. Mit dem PISA-Untersuchungsdesign ist dafür gesorgt, dass in jedem Kompetenzbereich im 9-Jahres-Abstand eine detaillierte und profunde Leistungsanalyse sowie alle drei Jahre ein Leistungsprofil erstellt wird.

PISA-Daten: aggregiert und kumuliert

Die Informationen, die internationale Schülerleistungsver-gleiche wie PISA in Form von Qualitätsindikatoren liefern, sind (mehr oder weniger)

�� „aggregiert“, d. h. über Wirkungen bzw. Effekte auf allen Ebenen hinweg summiert (z. B. die erreichten Punkte der österreichischen Schüler/innen in Lesen spiegeln den Ertrag bzw. die Qualität der Prozesse auf allen drei Ebe-nen, Unterricht – Schule – Systemorganisation, wider),

�� und „kumuliert“, d. h. sie sind die Summe der Wirkun-gen aller beteiligten Elemente (von der Durchführung des Unterrichts, den Kompetenzen der Lehrer/innen, der Selbstorganisation der Schüler/innen über die Un-terstützung der Eltern, des sozialen Klimas in der Klasse bis zur Wirkung von Medien).

Damit sind evaluative Studien vom PISA-Typ zum Moni-toring gut geeignet, um den Zustand von Qualitätsmerkma-len (die erfassten Kompetenzen und Kontextindikatoren) und Zusammenhänge zwischen Leistungen und Hinter - grundmerkmalen relativ präzise zu beschreiben. Um die Ursachen für die vielfältig aggregierten und kumulierten Wirkungen zu erforschen, ist PISA weniger gut geeignet. So ist es möglich, den Erfolg des finnischen oder kanadischen Schulsystems mit PISA festzustellen (im Vergleich zu den anderen), oder auszusagen, dass Mädchen in allen OECD-Ländern beim Lesen besser abschneiden als Burschen; es ist jedoch ungleich schwieriger, die Ursachen dieser Ergebnisse zu bestimmen (z. B. welches Zusammenspiel von welchen Merkmalen nun genau zu diesem Ergebnis geführt hat). Die bei PISA beobachteten Zusammenhänge zwischen Leis - tungen und Kontextmerkmalen können jedoch zum Ver-ständnis von Wirkungen beitragen (etwa die Korrelation zwischen sozioökonomischem Status und den Leistungen der Schüler/innen) oder zumindest zu neuen Hypothesen mit der Chance auf mögliche neue Einsichten führen.

Die Teilnehmerländer von PISA 2012

An PISA 2012 nahmen weltweit 65 Länder teil, darunter alle 34 OECD-Mitgliedsstaa-ten sowie weitere 31 „Partnerländer“. Ab-bildung 2.1 gibt einen Überblick über die Teilnehmerländer bei PISA 2012.

Die internationale Organisation von PISA 2012

Die Managementverantwortung für das gesamte PISA-Projekt trägt das OECD-Sekretariat in Paris (Gesamtkoordinator: Dr. Andreas Schleicher). Die grundlegen-den Entscheidungen werden im PISA Go-verning Board (PGB) getroffen, in dem alle PISA-Teilnehmerländer vertreten, aber nur OECD-Mitgliedsländer stimmberech-tigt sind. Das PGB legt im Rahmen der Zielsetzungen der OECD die politischen Prioritäten für PISA fest und überwacht den gesamten Implementierungsprozess. Österreich wird im PGB von Dr. Mark Német (BMUKK) vertreten.

Für das Design und die Implementierung von PISA 2012 innerhalb des vom PGB gesteckten Rahmens waren zehn interna-tionale Vertragspartner verantwortlich, die gemeinsam unter der Leitung von ACER (Australian Council for Educational Re-search) das PISA-Konsortium 2012 bilde-ten: �� Australian Council for Educational

Research (ACER)�� Analyse des systèmes et des pratiques

d’enseignement (aSPe) in Belgien�� cApStAn – Linguistic Quality Control

in Belgien�� Deutsches Institut für Internationale

Pädagogische Forschung (DIPF)

�� Educational Testing Service (ETS) in den USA�� Institutt for Lærerutdanning og Sko-

leutvikling (ILS) in Norwegen�� Leibniz – Institut für die Pädagogik

der Naturwissenschaften und Mathe-matik (IPN) in Deutschland�� National Institute for Educational

Policy Research (NIER) in Japan�� Henri Tudor (CRP) and Université de

Luxembourg (EMACS)�� Westat in den USA

Dieses Konsortium unter der Leitung von ACER trug die Verantwortung für die Ent-wicklung und das Design der Tests, die Entwicklung und Adaption der Fragebö-gen sowie für alle Angelegenheiten bezüg-lich Sampling, Durchführung der Studie, Übersetzung und deren Verifikation, Da-tenmanagement, Qualitätssicherung usw.

Um die wissenschaftliche Expertise und das praktische Know-how aus allen PISA-Teilnehmerstaaten und den nationalen Pro jektzentren zu nutzen, wurden interna-tionale Expertengruppen zu Lesen, Mathe-matik, Naturwissenschaft und Problem-lösen sowie für die Fragebögen gebildet (Subject Matter Expert Groups). Aufgabe der internationalen Expertinnen und Ex-perten war es, die bei PISA verwendeten Tests und Fragebögen zu entwickeln und zu gewährleisten, dass PISA mit der größt-möglichen international verfügbaren fach-wissenschaftlichen und verfahrenstechni-schen Kompetenz umgesetzt wird.Die Technical Advisory Group (TAG), der renommierte internationale Sozialwissen-schafter/innen und Methodiker/innen an-gehören, gewährleistet höchste technische Qualität des Projekts (z. B. beim Design der Studie, bei der Umsetzung der techni-schen Standards oder bei Analysen).

2 Wie ist PISA organisiert?


Abbildung 2.1: Die PISA-2012-Teilnehmerländer

OECD-Länder PISA 2012

Australien (AUS)

Griechenland (GRC)

Vereinigte Staaten von Amerika (USA)Portugal (PRT)

Polen (POL)

Österreich (AUT)

Norwegen (NOR)

Niederlande (NLD)

Neuseeland (NZL)

Mexiko (MEX)

Luxemburg (LUX)

Korea (KOR)

Kanada (CAN)

Japan (JPN)

Italien (ITA)

Irland (IRL)

Island (ISL)

Frankreich (FRA)

Finnland (FIN)

Deutschland (DEU)

Dänemark (DNK)

Chile (CHL)

Belgien (BEL)

Ungarn (HUN)

Türkei (TUR)

Tschechische Republik (CZE)

Spanien (ESP)

Slowakische Republik (SVK)

Schweiz (CHE)

Schweden (SWE)

Großbritannien (GBR)

OECD-Partnerländer PISA 2012

Indonesien (IDN)

Lettland (LVA)

Kroatien (HRV)

Katar (QAT)

Kolumbien (COL)

Kasachstan (KAZ)

Jordanien (JOR)

Israel (ISR)

Albanien (ALB)

Argentinien (ARG)

Estland (EST)

Hongkong* (HKG)

Bulgarien (BGR)

Brasilien (BRA)

Russische Föderation (RUS)

Rumänien (ROU)

Peru (PER)

Montenegro (MNE)

Macau* (MAC)

Litauen (LTU)

Uruguay (URY)

Tunesien (TUN)

Thailand (THA)

Taiwan (TWN)

Slowenien (SVN)

Singapur (SGP)

Schanghai** (QCN)

Serbien (SRB)Liechtenstein (LIE)

* Sonderverwaltungszone Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.** Provinz Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.*** Die Informationen über Zypern in diesem Bericht beziehen sich auf das Gebiet, das unter Kontrolle der Regierung der Republik Zypern steht (OECD, 2013b).

Costa Rica (CRI)

Malaysia (MYS)

Zypern*** (CYP)

Vietnam (VNM)

Vereinigte Arabische Emirate (QAR)

Wie ist PISA organisiert? 15

Die nationale Organisation von PISA 2012

In Österreich wird – wie in allen anderen PISA-Ländern – die nationale Durchführung der Studie vom Unterrichts-ministerium in Auftrag gegeben und finanziert. Frau BM Dr. Claudia Schmied be auftragte das BIFIE (Bundesinsti-tut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens) mit der wissenschaftlichen Planung und der praktischen Umsetzung von PISA 2012. Das Department Bildungsstandards und Internationale As-sessments (Leitung Mag. Dr. Claudia Schreiner) zeichnet für die nationale Umsetzung der PISA-Studie verantwort-lich. Als nationale Projektmanagerin war Mag. Dr. Ursula Schwantner für die Planung, Umsetzung und Auswertung von PISA 2012 zuständig.

In Zusammenarbeit mit dem internationalen Konsortium und anderen nationalen PISA-Projektzentren – insbesonde-re in Kooperation mit Deutschland, der Schweiz und Lu-xemburg (DACHL) bei den Übersetzungen – wird von den BIFIE-Mitarbeiterinnen und -Mitarbeitern die PISA-Studie in Österreich realisiert. Dazu werden das Untersuchungs-design auf die nationalen Gegebenheiten abgestimmt, die Tests und Fragebögen mitentwickelt, übersetzt und ange-passt, die Erhebungen durchgeführt, die Daten verarbeitet und analysiert.

Um den PISA-Test bestmöglich an die nationalen Gege-benheiten anzupassen, kooperiert das BIFIE bei der Be-gutachtung der Frameworks und der Testaufgaben mit na-tionalen Fachexpertinnen und -experten. Für die nationale Begutachtung des Mathematik-Frameworks (s. Kapitel 3) und der neuen Mathematikaufgaben beauftragte das BIFIE das Österreichische Kompetenzzentrum für Mathematikdi-daktik (AECC-Mathematik) am Institut für Didaktik und Mathematik an der Alpen-Adria-Universität Klagenfurt unter der Leitung von Univ.-Prof. Dipl.-Ing. Dr. Werner Peschek. Die Begutachtung des Frameworks zum Bereich Problemlösen übernahmen Ao. Univ.-Prof. Mag. Dr. Stefan Götz und Univ.-Prof. Mag. Dr. Hans Humenberger (beide Fakultät für Mathematik und Zentrum für LehrerInnen-bildung, Universität Wien). An der Begutachtung der Pro-blemlöseaufgaben beteiligten sich Mag. Franz Altinger (BG Zaunergasse, Salzburg), Univ. Doz. Dr. Franz Embacher (Fakultät für Mathematik, Fakultät für Physik, Universität Wien) sowie Univ.-Prof. Mag. Dr. Hans Humenberger.

Bei Tätigkeiten im Rahmen der Datenerhebung und Da-tenverarbeitung, die mit einem hohen Arbeitsaufwand ver-bunden sind, werden die Mitarbeiter/innen des BIFIE von externen, speziell geschulten Personen unterstützt (Testlei-ter/innen, Coder/innen, Datenerfassungspersonal).

Für die Datenanalysen und die Erstellung von Publikatio-nen und Vorträgen ist ebenfalls das BIFIE verantwortlich und kooperiert dabei mit Fachexpertinnen und -experten.

Zeitplan

Die Durchführung der PISA-Studie – von der Entwicklung der Rahmenkonzepte der Testbereiche (Frameworks) bis zum Ergebnisbericht – erstreckt sich über mehrere Jahre. 2010, etwa zwei Jahre vor der Haupterhebung, haben die unmittelbaren Vorbereitungsarbeiten für PISA 2012 begon-nen. In dieser Zeit wurden die theoretischen und konzep-tionellen Grundlagen erarbeitet sowie die Tests und Frage-bögen entwickelt.

Im Jahr 2011 wurde in allen teilnehmenden Ländern ein Feldtest zur Erprobung der neuen Aufgaben und aller Ab-läufe durchgeführt. In Österreich waren daran 60 Schulen mit 1 156 Schülerinnen und Schülern beteiligt.

Auf Basis der durch den Feldtest gewonnenen Erkenntnis-se wurden alle neuen Testaufgaben, Fragebogeninhalte und Prozeduren für den Haupttest 2012 optimiert. Der Haupt-test fand in Österreich im April/Mai 2012 an 191 Schu-len mit 4 755 Schülerinnen und Schülern statt. Zur selben Zeit testeten auch die anderen PISA-Länder der nördlichen Hemisphäre. Teilnehmerländer der südlichen Hemisphäre testen ca. ein halbes Jahr später, da das Schuljahr erst etwa im Februar beginnt und so der Testzeitraum entsprechend verschoben ist.Nach der Datenerhebung im Frühjahr 2012 dauert es bis zur ersten Ergebnisveröffentlichung (Dezember 2013) etwa eineinhalb Jahre. In dieser Zeit werden die erhobenen Da-ten aller 65 Länder – der nördlichen sowie der zeitlich ver-schoben testenden südlichen Hemisphäre – entsprechend aufbereitet, geprüft, gewichtet und schließlich ausgewertet.

Im Dezember 2013 veröffentlicht die OECD die ersten Er-gebnisberichte zu PISA 2012 (OECD, 2013b, c, d, e). Zeit-gleich erscheinen drei österreichische Erstpublikationen: die Broschüre zu ersten Ergebnissen von PISA 2012 aus öster-reichischer Perspektive, die vorliegende Studienbeschreibung sowie der nationale technische Bericht, der eine detaillierte Be-schreibung und Erklärung aller österreichspezifischen PISA- 2012-Aktivitäten enthält. Alle Publikationen des BIFIE sind ab dem Zeitpunkt der Veröffentlichung auf der BIFIE-Homepage erhältlich (http://www.bifie.at/pisa).

In Abbildung 2.2 ist der Zeitplan für PISA 2012 im Detail dargestellt.


1

2

3

4

5

6

7

8

9

10

11

12

1

2

3

4

5

6

7

8

9

10

11

12

1

2

3

4

5

6

7

8

9

10

11

12

1

2

3

4

5

6

7

8

9

10

11

12

Vorbereitung

01/2010 bis

10/2010

2010

Erstellung des Stichprobenplans für den Feldtest

2011

Verpackung der Testmaterialien; Schulung der Testleiter/innen

Haupttest (HT)

09/2011 bis

10/2012

2012

Daten-

aufbereitung

und -analyse

11/2012 bis

12/2013

2013

internationale Datenskalierung

Erstellung des internationalen Datensatzes

Datenanalysen

Veröffentlichung der Ergebnisse

Feldtest an den Schulen

Vercodung der offenen Antworten, Datenerfassung; nationales File-Cleaning

Haupttest an den Schulen

Vercodung der offenen Antworten, Datenerfassung; nationales File-Cleaning

Entwicklung der Rahmenkonzeption (Frameworks); Festlegung des Untersuchungsdesigns

Entwicklung, Begutachtung und Überarbeitung der neuen Mathematik- und Problemlöse-Aufgaben

Übersetzung und nationale Anpassung der Testaufgaben und Fragebögen;

Stichprobenziehung – Schulen; Information der Schulbehörden

Übersetzungsverifikation; Information der ausgewählten Schulen;

Stichprobenziehung – Schüler/innen; Druck der Testhefte und Fragebögen

internationales File-Cleaning und Datenanalyse

Überarbeitung der Testaufgaben und Fragebögen für den Haupttest; Stichprobenziehung – Schulen; Information der Schulbehörden

Übersetzungsverifikation; Information der ausgewählten Schulen;

Stichprobenziehung – Schüler/innen; Druck der Testhefte und Fragebögen

Verpackung der Testmaterialien, Schulung der Testleiter/innen

internationales File-Cleaning und Datenanalyse

Itemauswahl und Erstellung des Stichprobenplans für den Haupttest

Feldtest (FT)

11/2010 bis

08/2011

Abbildung 2.2: Zeitplan für PISA 2012

Das Modell des lebenslangen Lernens

Schüler/innen können nicht alles, was sie im Leben einmal benötigen werden, bereits „auf Vorrat“ in der Schule lernen. Sie müs-sen jedoch umfassende Grundkompeten-zen erwerben, die es ihnen ermöglichen, aktiv und erfolgreich am gesellschaftlichen, beruflichen, kulturellen und politischen Leben teilzunehmen.

Im Zentrum von PISA steht die Frage, in-wieweit 15-/16-jährige Schüler/innen, die sich in den meisten Teilnehmerländern am Ende der Pflichtschulzeit befinden, in drei zentralen Bereichen – Lesen, Mathema-tik und Naturwissenschaft – über solche Grundkompetenzen verfügen. Diese Fra-gestellung beruht auf dem dynamischen Modell des lebenslangen Lernens, das davon ausgeht, dass Kenntnisse und Fertigkeiten kontinuierlich über die gesamte Lebens-spanne hinweg, inner- und außerhalb von Bildungseinrichtungen, erworben werden. Die Voraussetzungen für ein erfolgreiches lebenslanges Lernen werden dabei zu ei-nem wesentlichen Teil in der Schule gelegt. Zum einen müssen die Schüler/innen spe-zifisches Fachwissen sowie Kenntnisse über grundlegende Konzepte erwerben, zum anderen benötigen sie Fähigkeiten, die es ihnen ermöglichen, ihr Wissen in verschie-denen Situationen anzuwenden und sich an veränderte Bedingungen anpassen zu können – sowohl im schulischen Kontext als auch außerhalb.

Da elektronische Medien und Geräte einen immer größeren Stellenwert einnehmen und diese zudem vielfältige neue Lern-möglichkeiten eröffnen, ist die Erfassung der Nutzung von Informations- und Kom-munikationstechnologien sowie der Ein-satz computerbasierter Tests mittlerweile fester Bestandteil von PISA. Die Nutzung von Informations- und Kommunikations-technologien zählt zu den fächerübergrei-

fenden Kompetenzen und wird bei PISA im Rahmen eines internationalen Zusatz-fragebogens erfasst. Als weiterer wichti-ger fächerübergreifender Kompetenzb e- reich wird die allgemeine Problemlöse kom-pet enz der Jugendlichen erachtet. Diese wurde im Rahmen von PISA 2003 mittels gedruckten Testheften und bei PISA 2012 mittels Computertest erfasst. Bei PISA 2012 wurden darüber hinaus computer-basierte Mathematik- und Leseaufgaben eingesetzt. Computerbasierte Testaufgaben gehen über papierbasierte Testaufgaben hinaus, indem sie die Möglichkeit bieten, Aufgabenstellungen zu animieren, mit Pro - blemstellungen zu interagieren und z. B. auch Lösungswege und verschiedene Lö-sungsversuche und Herangehensweisen auf-zu zeichnen.

Mithilfe der (sowohl papier- als auch com-puterbasierten) PISA-Aufgaben sollen Fer-tigkeiten gemessen werden, die in realen Lebenssituationen gefordert sind und die im Hinblick auf das lebenslange Lernen und die konstruktive Teilhabe an der Ge-sellschaft relevant sind. Das Augenmerk der Testinhalte liegt dabei auf dem Ver-ständnis von grundlegenden Konzepten, der Beherrschung von Prozessen sowie auf der Fähigkeit, nachhaltig vernetztes Wissen in unterschiedlichen alltagsbezogenen Si-tuationen bzw. auf realitätsnahe Problem-stellungen anwenden zu können.

Die PISA-Frameworks

Für jeden bei PISA gemessenen Kompe-tenzbereich wird von internationalen Ex-pertinnen und Experten ein Framework ent wickelt. Ein Framework ist ein Experten - curriculum, in dem beschrieben und de-finiert wird, welches Wissen und welche Fähigkeiten für die einzelnen Bereiche re-levant sind und bei PISA getestet werden. Basis für die Entwicklung der Frameworks ist das Modell des lebenslangen Lernens.

3 Was misst PISA?


Die Schüler/innen sollen zeigen, dass sie bestimmte grund-legende Konzepte kennen und verstehen und ihr Wissen darüber in verschiedenen Situationen und Kontexten flexi-bel anwenden können. Die Kompetenzen werden als konti-nuierlich angesehen und in ihrer quantitativen Ausprägung (höhere/niedrigere Kompetenz) erfasst.

Bei der Erstellung der Frameworks werden nationale Lehr-pläne zwar konsultiert, sie spielen jedoch bei der Festlegung der Testinhalte eine untergeordnete Rolle. Eine Konzentra-tion auf Lehrplaninhalte würde bei einer internationalen Vergleichsstudie dazu führen, dass nur solche Aspekte ge-messen werden können, die in den Lehrplänen von allen oder den meisten Ländern enthalten sind. Dies würde zahl-reiche Kompromisse erfordern und die Messungen letzt-endlich zu sehr einschränken (OECD, 2000, S. 9 f.). Die Vorteile eines von Expertinnen und Experten entwickelten Frameworks liegen u. a. darin, dass es ein gemeinsames Ver-ständnis dessen liefert, was als relevant erachtet und daher getestet werden soll. Somit ermöglichen die Frameworks eine präzise Messung der jeweiligen Kompetenzbereiche (OECD, 2013a, S. 15).

Das Framework umfasst für jeden Kompetenzbereich:

�� die Definition des Kompetenzbereichs mit Erläuterungen�� die Organisation des Kompetenzbereichs�� die Aufgabenmerkmale und die Erhebungsstruktur �� einige Beispielaufgaben

Im Folgenden werden die Inhalte der Frameworks für die bei PISA 2012 gemessenen Kompetenzbereiche erläutert. Das Mathematik-Framework basiert auf PISA 2003, der ersten schwerpunktmäßigen Erhebung der Mathematik-kompetenz, und wurde für PISA 2012 aktualisiert und erweitert. Ebenso wurde das Problemlöse-Framework aus PISA 2003 weiterentwickelt. Das aktuelle Framework für den Kompetenzbereich Lesen stammt aus PISA 2009 (der zweiten schwerpunktmäßigen Erfassung) und jenes für Na-turwissenschaft aus PISA 2006.

Mathematikkompetenz (Schwerpunkt 2012)

Mathematisches Grundverständnis und die Anwendung mathematischer Konzepte, Verfahren und Werkzeuge sind im Alltag unverzichtbar. Sei es der Umgang mit Finanzen, der tägliche Einkauf oder das Interpretieren von Statistiken –

all diese Situationen verlangen mathematisches Wissen, um angemessene Entscheidungen treffen zu können.

PISA stellt bei der Definition der Mathematikkompetenz den Aspekt der Anwendung und Nutzung des mathemati-schen Wissens in einer Vielzahl von unterschiedlichen Kon-texten in den Vordergrund und wird wie folgt definiert:

„Mathematikkompetenz ist die Fähigkeit einer Person, Ma-thematik in einer Vielzahl von Kontexten zu formulieren, anzuwenden und zu interpretieren. Dazu gehört mathema-tisches Schlussfolgern sowie die Anwendung mathematischer Konzepte, Verfahren, Fakten und Werkzeuge, um Phänomene zu beschreiben, zu erklären und vorherzusagen. Mathematik-kompetenz hilft jedem/jeder Einzelnen, die Rolle zu erkennen, die Mathematik in der Welt spielt, sowie fundierte Urteile ab-zugeben und gut begründete Entscheidungen zu treffen, wie sie von konstruktiven, engagierten und reflektierenden Bürgerin-nen und Bürgern benötigt werden“ (OECD, 2013a, S. 25; Übersetzung: BIFIE).

Das Modell der Mathematikkompetenz

Das Modell der Mathematikkompetenz gibt einen Über-blick über die wichtigsten Dimensionen des Mathematik-Frameworks und zeigt an, wie sich diese aufeinander bezie-hen (s. Abbildung 3.1). Den äußeren Rahmen des Modells bilden die Kontexte sowie die mathematischen Inhaltsberei-che, in denen ein Problem angesiedelt ist. Um kontextbe-zogene Probleme lösen zu können, müssen Schüler/innen mathematisch denken und handeln. Sie stützen sich dazu auf mathematische Konzepte, Kenntnisse und Fertigkei-ten. Mathematisches Handeln wird im Framework anhand von sieben grundlegenden mathematischen Fähigkeiten charakterisiert. Zur Auseinandersetzung mit dem Problem selbst sind drei mathematische Prozesse gefordert, die diese grundlegenden Fähigkeiten involvieren: Formulieren, An-wenden, Interpretieren/Bewerten.

Die drei Prozesse bilden die Kernelemente des Kreislaufs des mathematischen Modellierens, der im Inneren des Modells in Abbildung 3.1 vereinfacht dargestellt ist. Beim Kreislauf des mathematischen Modellierens müssen die Schüler/in-nen in einem realen Problem ein mathematisches Problem erkennen, dieses mathematisch formulieren und damit in ein mathematisches Problem transformieren. Mithilfe des Anwendens mathematischer Konzepte, Prozeduren und Denkweisen wird eine mathematische Lösung gefunden, die anschließend in eine reale Lösung rückübersetzt wird. Abschließend wird das Ergebnis interpretiert und die Sinn-haftigkeit der realen Lösung in Bezug zum anfänglichen Problem bewertet (OECD, 2013a, S. 25 f.).

Auf Basis dieses Modells können die Mathematikaufgaben bei PISA 2012 drei relevanten Dimensionen zugeordnet werden: Kontexte, mathematische Inhaltsbereiche und mathe-matische Prozesse (vgl. OECD, 2013a, S. 27 f.):

LESEHINWEIS

Das PISA-2012-Framework (OECD, 2013a) kann von der Webseite der OECD kostenlos heruntergela-den werden (http://www.oecd.org/pisa/).

Was misst PISA? 19

�� Kontexte Die bei PISA 2012 zu lösenden Mathematikaufgaben sind in unterschiedlichen Kontexten angesiedelt und decken das persönliche, berufliche, gesellschaftliche oder wissenschaftliche Umfeld ab.

�� Mathematische Inhaltsbereiche Die vier Inhaltsbereiche werden als essenzielle Bestand-teile der Mathematik gesehen. Beim Inhaltsbereich Grö-ßen geht es um Fähigkeiten, numerische Muster zu er-kennen, ein Zahlenverständnis zu entwickeln und Zahlen in unterschiedlichen Kontexten anzuwenden und darzustellen sowie mathematische Operationen einzusetzen. Der Inhaltsbereich Raum & Form beinhal-tet Kenntnisse über Proportionen von Objekten sowie ein Verständnis von Zusammenhängen zwischen räum-lichen und geometrischen Formen. Beim Inhaltsbereich Veränderung & Zusammenhänge geht es um Verände-rungsprozesse, funktionale Zusammenhänge und Ab-hängigkeiten zwischen Variablen. Unsicherheit & Daten umfasst Kenntnisse über das Sammeln, Analysieren und Darstellen von Daten, den Umgang mit Messunsicher-heiten und Wahrscheinlichkeiten sowie das Interpretie-

rungen aus mathematischen Annahmen oder entneh-men mathematische Informationen aus Tabellen und Grafiken.

Der Prozess des Interpretierens erfordert von den Jugend-lichen, mathematische Ergebnisse in Bezug auf die an-fängliche reale Problemstellung zu reflektieren und die Sinnhaftigkeit der mathematischen Lösung in Bezug auf den realen Kontext zu bewerten.

Computerbasierte Erfassung der Mathematikkompetenz

Österreich beteiligte sich bei PISA 2012 neben 31 weiteren Ländern an der internationalen Option zur computerba-sierten Erhebung der Mathematikkompetenz. Ausschlag-gebend für die Entscheidung der OECD, Mathematik bei PISA 2012 auch computerbasiert zu erfassen, waren vor allem zwei Aspekte: Erstens ist die Nutzung von Compu-tern in vielen Bereichen des täglichen Lebens, am Arbeits-platz oder in der Wissenschaft allgegenwärtig. Bezüglich Mathematik bieten Computer eine Reihe an Werkzeugen

Reale Situationen

Kontexte: persönlich, beruflich, gesellschaftlich, wissenschaftlich

Mathematische Inhaltsbereiche: Größen, Raum & Form, Veränderung & Zusammenhänge, Unsicherheit & Daten

Problem in einer realen Situation

mathematisches Problem

mathematische Lösung

realeLösung

Formulieren

Anwenden

Interpretieren

Bewerten

Mathematisches Denken und Handeln

Mathematische Konzepte, Kenntnisse und Fertigkeiten

Grundlegende mathematische Fähigkeiten: Kommunizieren und Repräsentieren; Strategien entwickeln; Mathematisieren; Begründen und Argumentieren; symbolische, formale, technische Sprache und Operationen anwenden; mathematische Werkzeuge verwenden;

Mathematische Prozesse: Formulieren, Anwenden, Interpretieren/Bewerten

Abbildung 3.1: Das Modell der Mathematikkompetenz bei PISA 2012 (vgl. OECD, 2013a, S. 26)

ren von Ergebnissen und das Ziehen von Schlussfolgerungen.

��Mathematische Prozesse Die Mathematikkompetenz bei PISA 2012 wird als die Fähigkeit einer Person beschrie-ben, Mathematik in einer Vielzahl von Kon-texten zu formulieren, anzuwenden und zu interpretieren. Für PISA sind daher vor allem Aufgaben relevant, die reale Problemstellun-gen mit der Mathematik verknüpfen und die den Aspekt der Anwendung und Nutzung des mathematischen Wissens beinhalten. Die Lösung solcher Aufgaben involviert drei zentrale Prozesse:

Der Prozess des Formulierens erfordert von den Jugendlichen, dass sie mathematische Aspekte und Strukturen eines realen Pro-blems erkennen, dieses mathematisch reprä-sentieren und in ein mathematisches Pro-blem übersetzen, damit die Problemstellung anschließend auf mathematischem Weg ana-lysiert und gelöst werden kann.

Der Prozess des Anwendens erfordert von den Schülerinnen und Schülern, dass sie mathe-matische Konzepte, Fakten, Prozeduren und Denkweisen verwenden und Strategien zur Lösung mathematischer Probleme entwi-ckeln, um ein mathematisches Ergebnis zu er-halten. Dabei führen die Schüler/innen z. B. arithmetische Berechnungen durch, lösen Gleichungen, ziehen logische Schlussfolge-


(„Tools“) für Berechnungen, Repräsentationen, Visualisie-rungen, Modifizierungen, und das Erforschen von sowie Experimentieren mit mathematischen Objekten, Phänome-nen und Prozessen. Daher sollte Mathematikkompetenz im 21. Jahrhundert auch die Verwendung des Computers und den Umgang mit elektronischen Werkzeugen beinhalten. Zweitens bieten Computer neue Wege der Erfassung der Mathematikkompetenz, indem Schüler/innen direkt mit einer Problemstellung interagieren können. Die Möglich-keit, Prozesse zu animieren oder dreidimensionale Objekte rotieren zu lassen, kann dazu beitragen, dass Aufgaben bes-ser verstanden werden. Darüber hinaus können am Com-puter neue Aufgaben- und Antwortformate (z. B. „drag and drop“) eingesetzt und das Erscheinungsbild farblich und grafisch ansprechender gestaltet werden.

Eine Herausforderung bei der Umsetzung der computer-basierten Erhebung der Mathematikkompetenz ist es, die benötigten Kenntnisse für die Nutzung des Computers und der zur Verfügung gestellten Tools von den mathematischen Anforderungen der jeweiligen Aufgabe zu unterscheiden. Für jede computerbasierte Mathematikaufgabe werden da-her drei Aspekte festgelegt (OECD, 2013a, S. 43 f.):

�� Die zu testende Mathematikkompetenz, die grundsätz-lich in jeder Umgebung (nicht nur am Computer) be-nötigt wird. Diese wird in allen computerbasierten Test-aufgaben getestet.

�� Kompetenzen, die sowohl die Anwendung der Mathematik als auch Kenntnisse der Computernutzung erfordern, z. B. ein Diagramm auf Basis von Daten erstellen, Informa-tionen effizient sortieren, einen Bildschirmtaschenrech-ner oder ein Bildschirmlineal verwenden; diese Kompe-tenzen werden in einigen Computertestaufgaben ge - testet.

�� Grundlegende informations- und kommunikationstechno-logische Fertigkeiten, z. B. die Verwendung von Hard-ware wie Tastatur und Maus oder Kenntnisse über grundlegende Konventionen wie die Verwendung von Kreis- oder Pfeilschaltflächen oder eines Scroll-Balkens. Die reinen IKT-Fertigkeiten werden bei allen computer-basierten Mathematikaufgaben so gering wie möglich gehalten.

Lesekompetenz

Lesekompetenz gilt als Grundvoraussetzung, um am gesell-schaftlichen Leben aktiv teilhaben und sich im Sinn des le-benslangen Lernens weiterentwickeln zu können.

Lesekompetenz wird bei PISA 2012 wie folgt definiert: „Le-sefähigkeit bedeutet, geschriebene Texte zu verstehen, zu nut-

zen, über sie zu reflektieren und sich mit ihnen auseinander-zusetzen, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen“ (OECD, 2013a, S. 61; Übersetzung: BIFIE).

Diese Definition zeigt deutlich, dass die bei PISA gemessene Lesekompetenz über ein reines Dekodieren von Texten und ein rein wörtliches Textverständnis hinausgeht. Lesen ist ein dynamischer Prozess, bei dem jeder Leser/jede Leserin auf unterschiedliche Art und Weise versucht, den Inhalt des Textes zu verstehen, die Bedeutung zu interpretieren und zu reflektieren.

Die Leseaufgaben bei PISA können nach drei Merkmalen differenziert werden (vgl. OECD, 2013a, S. 62 f.):

�� Situationen Die Situationen beschreiben das Umfeld, aus dem die Texte stammen bzw. in denen Lesen stattfindet. Vier Ar-ten von Situationen werden dabei unterschieden: per-sönlich oder öffentlich (z. B. Briefe, Webseiten), beruflich oder bildungsnah (z. B. Jobangebote oder Lehrbücher).

�� Textklassifikationen Die bei PISA eingesetzten Texte werden anhand von vier Merkmalen klassifiziert: Medium, Textformat, Texttyp und Textumfeld.

Das Medium dient der Unterscheidung von Texten in gedruckter Form (z. B. Magazine oder Bücher) und Tex-ten in elektronischer Form (z. B. Hypertexte mit Navi-gationstools).

Bei der Klassifikation nach Textformat werden vier Formate unterschieden: kontinuierliche, nichtkonti-nuierliche, gemischte und multiple Textformate. Diese sind jeweils anders organisiert und verlangen eine un-terschiedliche Herangehensweise durch den Leser/die Leserin. Kontinuierliche Texte bestehen aus Sätzen und sind in Absätze gegliedert, die wiederum Teil von größe-ren Strukturen wie Abschnitten, Kapiteln oder Büchern sind. Dazu gehören z. B. Erzählungen oder Erläuterun-gen. Nichtkontinuierliche Texte basieren auf einer Kom-bination von Listen, wie z. B. Tabellen, Formulare oder Diagramme. Gemischte Textformate enthalten sowohl kontinuierliche als auch nichtkontinuierliche Textteile und sind häufig in Magazinen oder auf Webseiten zu finden. Multiple Textformate kommen hauptsächlich bei elektronischen Texten vor und ergeben unabhängig voneinander eine Sinneinheit.

Die Klassifikation Texttyp bezieht sich auf den haupt-sächlichen Charakter eines Textes und umfasst sechs Kategorien: Beschreibungen (z. B. Reiseberichte oder Tagebücher), Erzählungen (z. B. Romane oder Kurzge-

Was misst PISA? 21

schichten), Darstellungen (z. B. Formen von Definitio-nen und Erklärungen), Begründungen (z. B. Leserbriefe oder Online-Postings), Anleitungen (z. B. Bedienungs-anleitungen) und Transaktionen (z. B. berufliche Termi-ne organisieren).

Die Klassifikation Textumfeld bezieht sich auf computer-basierte elektronische Texte. Dabei wird unterschieden, ob der Inhalt eines Textes durch den Leser/die Leserin verändert werden kann (z. B. E-Mails oder Online-For-mulare) oder nicht.

�� LeseprozesseDie Leseaufgaben bei PISA involvieren vor allem drei Le-seprozesse: Informationen ermitteln, Kombinieren und Interpretieren, Reflektieren und Bewerten.

Bei Aufgaben mit der Intention Informationen ermit-teln müssen die Schüler/innen einen oder mehrere Informationsinhalt(e) aus dem Text heraussuchen. Die-ser Vorgang setzt sowohl beim gedruckten als auch beim elektronischen Lesen Fähigkeiten wie das Heraussu-chen, Sammeln und Wiederfinden von Informationen voraus. Beim elektronischen Lesen gehört dazu auch das Navigieren im Internet, das Zugreifen auf und das Ab-rufen von Informationen.

Integrieren bedeutet, dass die Schüler/innen ein allge-meines Textverständnis zeigen und z. B. Zusammen-

hänge zwischen benachbarten Sätzen, verschiedenen Absätzen oder über multiple Texte hinweg erkennen können. Beim Interpretieren müssen die Jugendlichen verschiedene Textteile miteinander in Beziehung setzen oder Unterschiede aufzeigen.

Bei den Leseaufgaben zu Reflektieren und Bewerten müs-sen die Schüler/innen zusätzliches Wissen, eigene Ideen und Erfahrungen heranziehen, um entweder über den Inhalt oder die Form des Textes zu reflektieren bzw. diese zu bewerten. Dabei müssen sie die Informationen hinsichtlich ihrer Genauigkeit, Zuverlässigkeit und Ak-tualität evaluieren.

Abbildung 3.2 stellt das Zusammenspiel der Leseprozesse grafisch dar.

Lesen elektronischer Medien

Computer und andere elektronische Geräte werden auch als Lesemedien vielseitig genutzt. Dabei geht es nicht nur um das Lesen von elektronisch aufbereiteten Texten wie Bü-cher, Artikel oder Nachrichten, sondern auch um alltägliche Vorgänge wie das Suchen von spezifischen Informationen im Internet, das Ausfüllen von Online-Formularen, die Teilnahme in sozialen Netzwerken oder die Nutzung von E-Mail. Neben neuen Möglichkeiten der Texterstellung und -gestaltung, die elektronische Medien bieten, verändert

Heraussuchen von Informationen

Entwickeln eines allgemeinen

Verständnisses

primäre Nutzung von Informationen, die im Text enthalten sind

primäres Heranziehen von externem Wissen erforderlich

Entwickeln einer Interpretation

über die Textform reflektieren und diese

bewerten

über den Textinhalt reflektieren und diesen

bewerten

Informationen ermitteln Kombinieren und Interpretieren

Reflektieren und Bewerten

Leseprozesse

Abbildung 3.2: Leseprozesse bei PISA (vgl. OECD, 2013a, S. 67)


sich auch der Vorgang des Lesens selbst und die dazu benö-tigten Fertigkeiten und Kompetenzen. Für Politik, Gesell-schaft und Bildung ist es wichtig, diese Veränderungen zu erkennen und zu verstehen (OECD, 2011, S. 32 f.).

Unterschiede zwischen gedruckten und elektronischen Texten

Elektronische Texte unterscheiden sich in bestimmten Merkmalen hinsichtlich ihrer Erstellung, Darstellung, Or-ganisation und Verknüpfung mit anderen Texten von ge-druckten Texten. Während gedruckte Texte relativ stabil sind, sind elektronische Texte dynamisch und können jeder-zeit verändert oder aktualisiert werden.Unterschiedliche Darstellungsformen ergeben sich bei elek-tronischen Texten durch eine vorgegebene Bildschirmgröße und die Qualität der Anzeige, die sich auf die Lesbarkeit des Textes auswirken. Elektronische Texte präsentieren Infor-mationen häufig fragmentarisch, wobei es die Möglichkeit gibt, sowohl innerhalb einer Seite als auch zwischen ver-schiedenen Seiten zu navigieren (z. B. mittels Bildlaufleiste, Menüs oder Tabs). Darüber hinaus können unterschiedliche Seiten mittels Hyperlinks verknüpft und vernetzte Struktu-ren aufgebaut werden. Die Navigation und Orientierung innerhalb solcher nichtlinearer Strukturen erfordern vom Leser/von der Leserin die Fähigkeit, übergeordnete Struk-turen mental abzubilden, und eine gewisse Vertrautheit im Umgang mit Navigationstools und Hyperlinks.

Ein weiteres wichtiges Unterscheidungsmerkmal gedruckter und elektronischer Texte ist die Verlagerung von autorenbe-stimmten Texten hin zu mitteilungsbasierten Texten, die vor allem zur Kommunikation genutzt werden (z. B. E-Mails, Blogs, Chatrooms oder Web-Foren). Autorenbestimmte Texte haben einen unveränderlichen Inhalt, der vom Leser/von der Leserin nicht beeinflusst werden kann. Bei mittei-lungsbasierten Texten hingegen können Leser/innen Ein-fluss nehmen, indem sie etwas hinzufügen oder den Inhalt verändern (OECD, 2011, S. 33 ff.).

Einfluss elektronischer Medien auf die Lesekompetenz

Eine große Bandbreite an Leseaktivitäten kann sowohl mit-tels gedruckter als auch elektronischer Medien ausgeführt werden. Gängige Beispiele sind das Lesen von Artikeln, Büchern, Nachrichten, Informationstexten, Gebrauchsan-leitungen oder Wegbeschreibungen. Prozesse auf niedriger Stufe, wie das Identifizieren von Wörtern, Phrasen oder Sätzen, sind beim Lesen gedruckter und elektronischer Me-dien sehr ähnlich; ebenso Prozesse, die daran beteiligt sind, den Text mental abzubilden, z. B. um lokale oder globale Zusammenhänge herzustellen. Unterschiede treten eher in Bezug auf Makro-Aspekte des Lesens auf, wie beim Zugreifen auf spezifische Texte, beim Vergleichen oder In-Beziehung-Setzen von Informationen über Texte hinweg oder bei der Beurteilung der Qualität und Glaubwürdigkeit von Texten.

Diese Fähigkeiten sind zwar auch beim Lesen gedruckter Medien erforderlich, jedoch stellen elektronische Medien aus vorab beschriebenen Eigenschaften wie Navigations-möglichkeiten, nichtlinearen Strukturen, ständiger Verän-derbarkeit sowie der großen Informationsmenge komplexere Anforderungen an die Leserschaft. So müssen Leser/innen meist selbst herausfinden, wer einen Text zu welchem Zweck verfasst und veröffentlicht hat und wie vertrauenswürdig bzw. verlässlich die Informationen sind, da Veröffentlichun-gen im Internet nicht reglementiert sind und Quellenanga-ben häufig fehlen (OECD, 2011, S. 36 f.).

Lesekompetenz bei elektronischen Medien beinhaltet dem-nach die Fähigkeit, auf bestimmte Texte zuzugreifen, diese zu verstehen, aufeinander zu beziehen und hinsichtlich ihrer Glaubwürdigkeit und Gültigkeit zu bewerten. Die Zusatz-erhebung zum Lesen elektronischer Medien ist seit 2009 ein wichtiger Bestandteil von PISA und ermöglicht es, den Umgang der Jugendlichen mit elektronischen Texten in ei-ner Bandbreite an Lesekontexten und Aufgaben zu untersu-chen. Österreich beteiligte sich sowohl 2009 (vgl. Schwant-ner & Schreiner, 2011) als auch 2012 daran.

Die Naturwissenschaftskompetenz

Naturwissenschaftskompetenz bei PISA geht davon aus, dass es für Jugendliche im 21. Jahrhundert von zentraler Bedeutung ist, �� naturwissenschaftliche Prozesse und Phänomene sowie

technologische Errungenschaften verstehen zu können,�� Prozesse und Fortschritte eigenständig beurteilen bzw.

deren Folgen und Auswirkungen auf das persönliche, soziale, berufliche und kulturelle Leben einschätzen zu können und�� darauf basierend verantwortungsbewusst zu handeln

und Entscheidungen treffen zu können.

Erfasst wird naturwissenschaftliches Wissen, das für die Lebenssituationen der Jugendlichen relevant ist. Schüler/innen sollen grundlegende naturwissenschaftliche Konzep-te und Theorien verstehen, Methoden der Datengewinnung kennen (z. B. Beobachtung, Experiment) und Daten kri-tisch beurteilen bzw. Schlussfolgerungen ziehen können. Dies wird auch in der Definition der Naturwissenschafts-kompetenz deutlich. Im Sinne von PISA ist Naturwissen-schaftskompetenz definiert als:

das Maß, indem eine Person �� „… naturwissenschaftliches Wissen besitzt und dieses Wis-

sen anwendet, um Fragestellungen zu identifizieren, neue Kenntnisse zu erwerben, naturwissenschaftliche Phänome-ne zu erklären und aus Belegen Schlussfolgerungen in Be-zug auf naturwissenschaftsbezogene Sachverhalte zu ziehen;�� die charakteristischen Eigenschaften der Naturwissenschaf-

ten als eine Form menschlichen Wissens und Forschens ver-steht,

Was misst PISA? 23

�� erkennt, wie Naturwissenschaften und Technologie unsere materielle, intellektuelle und kulturelle Umgebung prägen; �� sich mit naturwissenschaftlichen Themen und Ideen als re-

flektierender Bürger [reflektierende Bürgerin] befasst“ (OECD, 2007, S. 25).

Abbildung 3.3 zeigt die drei Komponenten Kontext, Fähig-keiten und Wissen, die den Kompetenzbereich Naturwissen-schaft strukturieren (vgl. OECD, 2013a, S.101 f.).

�� Naturwissenschaftlicher KontextDer naturwissenschaftliche Kontext stellt den Bezugs-rahmen dar, in dem die Jugendlichen ihr naturwissen-schaftliches Wissen und ihre naturwissenschaftlichen Fähigkeiten zeigen können. Die Naturwissenschaftsauf-gaben sind dabei in lebensnahe Situationen eingebettet, die sich auf persönliche (sich selbst und die Familie), so-ziale (Gesellschaft) und globale Kontexte (Leben auf der ganzen Welt) beziehen.

�� Naturwissenschaftliche FähigkeitenUm naturwissenschaftliche Aufgabenstellungen lösen zu können, müssen Schüler/innen drei zentrale Fähigkeiten zeigen: naturwissenschaftliche Fragestellungen erkennen, Phänomene naturwissenschaftlich erklären und natur-wissenschaftliche Beweise heranziehen. Diese Fähigkeiten wurden ausgewählt, da sie in der naturwissenschaftli-chen Praxis unbedingt erforderlich sind und zudem in Verbindung mit essenziellen kognitiven Fähigkeiten ste-hen, wie z. B. induktivem/deduktivem Schließen, Den-ken in Modellen oder Analysieren von Daten.

�� WissenEine weitere Klassifikation ist die Erfassung des Wissens der Schüler/innen in den Naturwissenschaften („know-ledge of science“) und das Wissen über die Naturwis-senschaften („knowledge about science“). Bei dem As-pekt Wissen in den Naturwissenschaften geht es um das Verständnis grundlegender Konzepte und Theorien in den Hauptgebieten Physik, Chemie, Biologie, Erd- und Weltraumwissenschaft sowie Technologie. Es soll Wissen getestet werden, das für reale Lebenssituationen relevant ist. Für die Erfassung des Wissens über die Naturwissen-schaften sind zwei Komponenten von Bedeutung: natur-

wissenschaftliches Forschen als zentraler Prozess der Na-turwissenschaft (z. B. den Zweck von Untersuchungen erkennen) und naturwissenschaftliche Erklärungen (z. B. Theorien, Hypothesen) als Ergebnisse der Forschung.

Problemlösekompetenz

Problemlösekompetenz ist ein zentrales Bildungsziel in vie-len Ländern. Eine hohe Problemlösekompetenz bietet eine gute Basis dafür, sich an veränderte Bedingungen anzupas-sen und auf neue Gegebenheiten und Herausforderungen flexibel zu reagieren. PISA 2012 erhebt die individuelle Problemlösekompetenz der Schüler/innen. Der Fokus liegt dabei auf grundlegenden kognitiven Prozessen des Problemlö-sens. Fachspezifisches Wissen tritt – weiter als bei den drei Domänen Lesen, Mathematik und Naturwissenschaft – in den Hintergrund. Problemlösekompetenz wird bei PISA 2012 wie folgt definiert:

„Problemlösekompetenz ist die Kapazität eines Individuums, kognitive Prozesse zu nutzen, um Probleme, bei denen die Lö-sungsmethode nicht sofort erkennbar ist, zu verstehen und zu lösen. Sie beinhaltet die Bereitschaft, sich mit solchen Situa-tionen auseinanderzusetzen, um sich als konstruktive/r und reflektierende/r Bürger/in einzubringen“ (OECD, 2013a, S.122; Übersetzung: BIFIE).

Abbildung 3.4 veranschaulicht eine Problemsituation. Die Ausgangssituation repräsentiert das Wissen, das eine Person über ein Problem am Anfang hat. Die Mittel sind zulässige Handlungen, die ausgeführt werden können, um das ange-strebte Ziel unter Hinzunahme von verfügbaren Werkzeu-gen zu erreichen. Hindernisse (z. B. Mangel an Wissen oder Strategien) stehen der Zielerreichung im Weg und müssen überwunden werden. An der Überwindung der Hindernisse (der Transformation der Ausgangssituation in eine Zielsi-tuation) sind sowohl kognitive als auch motivationale und affektive Faktoren (u. a. die Bereitschaft, sich mit Problem-situationen auseinanderzusetzen) beteiligt. Das Ausmaß der Problemlösefähigkeit einer Person (hoch/niedrig) bestimmt, wie schnell eine Lösung gefunden wird und wie effektiv der Lösungsweg ist.

Erklärungstext zur Abbildung

• NaturwissenschaftlicheFragestellungen erkennen

• Phänomene naturwissenschaft-lich erklären

• Naturwissenschaftliche Beweise heranziehen

FähigkeitenKontextelebensnahe Situationenin Verbindung mit NW:

• persönliche,

• soziale und

• globale Kontexte

erfordern beeinflussen• in den Naturwissenschaften

(Physikalische Systeme, Biologische Systeme, Erd- und Weltraumsysteme, Technologische Systeme)

• über die Naturwissenschaften (naturwiss. Forschen und naturwiss. Erklärungen)

Wissen

Abbildung 3.3: Organisation der Domäne Naturwissenschaft (vgl. OECD, 2013a, S. 102)


Erfassung der Problemlösekompetenz bei PISA 2012

Problemlösekompetenz wird bei PISA 2012 ausschließlich computerbasiert erfasst. Dies ermöglicht es, relativ kom-plexe Probleme als Ausgangsbasis zu nehmen, die es den Jugendlichen erlauben, direkt mit der Problemstellung zu interagieren. Die Domäne Problemlösen beinhaltet drei wichtige Di-mensionen (OECD, 2013a, S. 124 ff.):

�� ProblemkontextDie Vertrautheit einer Person mit einem Problemkon-text und das Verständnis für diesen Kontext haben Ein-fluss darauf, wie schwierig es für diese Person ist, das Problem zu lösen. Die Problemkontexte bei PISA kön-nen in technische (z. B. Funktionsweise eines technischen Gerätes) oder nichttechnische (z. B. Planen von Routen oder Entscheidungsfindung) unterschieden werden. Je nach Schwerpunkt ist der Kontext darüber hinaus ent-weder persönlich (Bezug auf sich selbst, die Familie und die Peers) oder sozial (Bezug auf die Gemeinde oder Ge-sellschaft, z. B. Arbeitsplatz oder Weiterbildung). Zum Beispiel: Das Einstellen der Uhrzeit auf einer Digitaluhr würde als technisch und persönlich klassifiziert werden; die Erstellung einer Basketball-Spielerliste würde als nichttechnisch und sozial klassifiziert werden.

�� Beschaffenheit der ProblemsituationDie Problemlösesituationen bei PISA 2012 sind ent-weder interaktiv oder statisch. Interaktiv bedeutet, dass sich die Situation während der Beantwortung verändert. Dies kann automatisch oder durch Eingriff des Schü-lers/der Schülerin passieren (z. B. durch Starten einer Simulation). Statische Problemsituationen verändern sich während der Bearbeitung nicht.

�� ProblemlöseprozesseVier kognitive Prozesse sind hauptsächlich am Problem-lösen beteiligt:

Erforschen und VerstehenZiel beim Erforschen und Verstehen ist es, eine menta-le Repräsentation eines jeden Stückchens an Information,

das in der Problemstellung vorhanden ist, aufzubauen. Erforscht wird die Problemsituation durch Beobachten, Interagieren, Suchen nach Informationen, Einschrän-kungen oder Hindernissen. Alle Informationen (die gegebenen sowie jene, die beim Erforschen entdeckt werden) sowie relevante Konzepte müssen zudem ver-standen werden.

Darstellen und FormulierenZiel dieses Prozesses ist es, eine schlüssige mentale Re-präsentation der gesamten Problemsituation aufzubauen. Um dies zu tun, müssen relevante Informationen aus-gewählt, mental organisiert und mit den einschlägigen Vorkenntnissen kombiniert werden. Darstellen umfasst z. B. eine tabellarische, grafische, symbolische oder ver-bale Darstellung der Problemsituation und das Wech-seln zwischen verschiedenen Repräsentationsformen. Formulieren bezieht sich auf das Formulieren von Hypo-thesen, indem relevante Faktoren des Problems und ihre Zusammenhänge identifiziert werden. Zudem werden die Informationen organisiert und kritisch ausgewertet.

Planen und AusführenPlanen bezieht sich auf das Setzen von Zielen (Klären übergeordneter Ziele und Setzen von Teilzielen) sowie das Ausarbeiten eines Plans oder einer Strategie, ein-schließlich der zu unternehmenden Schritte, zur Errei-chung des Ziels. Ausführen bezieht sich auf die Umset-zung des Plans/der Strategie.

Beobachten und ReflektierenDieser Prozess bezieht sich auf die Überwachung der Fortschritte im Hinblick auf das Ziel, einschließlich der Überprüfung von Zwischen- und Endergebnissen, dem Aufdecken unerwarteter Ereignisse und der Durchfüh-rung von Hilfsmaßnahmen, so diese erforderlich sind. Dabei müssen Lösungen aus verschiedenen Perspekti-ven reflektiert sowie Annahmen und alternative Lösun-gen kritisch ausgewertet werden.

Die Fähigkeiten zum logischen Denken (z. B. deduktives, induktives, quantitatives, zusammenhängendes, kombina-torisches, mehrdimensionales und Analogiedenken), die mit

Ausgangssituation Ziel

Hindernis

Mittel zurÜberwindung

Abbildung 3.4: Problemsituation (vgl. Frensch & Funke, 1995 in OECD, 2013a, S.121)

Was misst PISA? 25

diesen Prozessen verbunden sind, sind in die Problemlöse-aufgaben eingebettet. Für den PISA-Kontext sind sie auch insofern wichtig, da die Fähigkeiten zum logischen Den-ken im Unterricht gelehrt und modelliert werden können (OECD, 2013a, S. 126).

Aufgabenbeispiele

Im Folgenden finden Sie einige der Aufgaben der Haupt-domäne Mathematik aus PISA 2012, die von der OECD für die Öffentlichkeit freigegeben wurden. Ein Großteil der PISA-Aufgaben wird stets für zukünftige Erhebungen zu-rückgehalten, um Vergleiche zwischen den verschiedenen Erhebungszeitpunkten zu ermöglichen.Die Auswahl der Aufgabenbeispiele wurde so getroffen, dass die wesentlichen Aspekte des Mathematik-Frameworks (Kontexte, mathematische Inhaltsbereiche und mathemati-sche Prozesse) abgedeckt sind und leichte sowie schwierige Aufgaben enthalten sind. Zu jeder Aufgabe sind auch die Lösungen bzw. die Richtlinien für die Bewertung der Schü-lerantworten bei offenen Fragen enthalten (s. Kapitel 6). Die Prozent korrekt geben jeweils den Anteil an Schülerin-nen und Schülern in Österreich und im Schnitt der OECD-Länder an, die die Aufgabe vollständig lösen konnten.

PISA-AUFGABENBEISPIELE

Alle bisher freigegebenen Haupttestaufgaben der drei Kompetenzbereiche sind auf der PISA-Webseite des BIFIE als PDF erhältlich (https://www.bifie.at/pisa).

Beispielaufgaben des Computertests für Mathematik, Lesen elektronischer Medien und Problemlösen (in der österreichischen/deutschen Fassung sowie in der englischen Originalfassung) können unter folgenden Links eingesehen bzw. selbst bearbeitet werden:

Über die Webseite der OECD http://www.oecd.org/pisa oder direkt über http://cbasq.acer.edu.au/

Die Zugangsdaten für die Beispielaufgaben sind:Name: public; Password: access


Frage 1: CHARTS

CHARTSIm Jänner kamen die neuen CDs der Bands 4U2Rock und The Kicking Kangaroos heraus. Im Februar folgten die CDs der Bands No One's Darling und The Metalfolkies. Das folgende Diagramm zeigt die CD-Verkaufszahlen der Bands von Jänner bis Juni.

Wie viele CDs hat die Band The Metalfolkies im April verkauft?

A 250B 500C 1000D 1270

CHARTS BEWERTUNG 1ABSICHT DER FRAGE: Ein Balkendiagramm lesen und die Höhe von zwei Balken vergleichen

Full CreditCode 1: B. 500

No CreditCode 0: Andere Antworten.Code 9: Missing

4U2Rock

The Kicking Kangaroos

No One´s Darling

The Metalfolkies

CD-Verkaufszahlen pro Monat

2250

2000

1750

1500

1250

1000

750

500

250

0

Anz

ahl v

erka

ufte

r CD

s pr

o M

onat

MonatJän Feb März Apr Mai Jun

Aufgabenbeispiel CHARTS

Was misst PISA? 27

Frage 2: CHARTS

Der Manager von The Kicking Kangaroos macht sich Sorgen, weil die Anzahl der verkauften CDs von Februar bis Juni gesunken ist.

Wie hoch ist die geschätzte Verkaufszahl für Juli, falls sich dieser negative Trend genauso fortsetzt?

A 70 CDsB 370 CDsC 670 CDsD 1340 CDs

CHARTS BEWERTUNG 2ABSICHT DER FRAGE: Ein Balkendiagramm interpretieren und schätzen, wie viele CDs in Zukunft verkauft werden, unter der Annahme, dass sich der lineare Trend fortsetzt

Full CreditCode 1: B. 370 CDs

No CreditCode 0: Andere Antworten.Code 9: Missing

Informationen zu Frage 1

Absicht der Frage: Ein Balkendiagramm lesen und die Höhe von zwei Balken vergleichen

Kontext: gesellschaftlich

Inhaltsbereich: Unsicherheit & Daten

Prozess: Interpretieren

Format: Einfache Multiple-Choice-Aufgabe

Richtige Antwort: B

Prozent korrekt: Österreich: 85 %, OECD 87 %


Absicht der Frage: Ein Balkendiagramm interpretieren und schätzen, wie viele CDs in Zukunft verkauft werden, unter der Annahme, dass sich der lineare Trend fortsetzt

Kontext: gesellschaftlich

Inhaltsbereich: Unsicherheit & Daten

Prozess: Anwenden

Format: Einfache Multiple-Choice-Aufgabe

Richtige Antwort: B



Aufgabenbeispiel TROPFRATE

TROPFRATEMit Infusionen (oder einem intravenösen Tropf) werden Patientinnen und Patienten mit Flüssigkeiten und Medikamenten versorgt.

Pflegekräfte müssen die Tropfrate D in Tropfen pro Minute für Infusionen berechnen.

Sie verwenden dazu die Formel , wobei gilt:

d ist der Tropffaktor gemessen in Tropfen pro Milliliter (ml) v ist das Volumen der Infusion in ml n ist die Anzahl Stunden, die die Infusion angeschlossen bleiben muss.

Frage 1: TROPFRATE

Eine Pflegekraft möchte die Infusionsdauer verdoppeln.

Beschreibe genau, wie sich D verändert, wenn n verdoppelt wird, aber d und v sich nicht ändern.

......................................................................................................................................

......................................................................................................................................

......................................................................................................................................

TROPFRATE BEWERTUNG 1ABSICHT DER FRAGE: Erklären, welche Auswirkung die Verdoppelung einer Variablen in einer Formel auf das Ergebnis hat, wenn die anderen Variablen konstant gehalten werden

Full CreditCode 2: Die Erklärung beschreibt sowohl die Richtung der Auswirkung als auch deren Größe. • Es halbiert sich • Es ist die Hälfte • D wird 50 % kleiner • D wird halb so groß

Partial CreditCode 1: Eine Antwort, die ENTWEDER die Richtung ODER die Größe der Veränderung richtig angibt, aber nicht BEIDE. • D wird kleiner [keine Größe] • Die Veränderung beträgt 50 % [keine Richtung] • D wird um 50 % größer [falsche Richtung, aber richtige Größe]

No CreditCode 0: Andere Antworten. • D wird sich ebenfalls verdoppeln [Sowohl die Größe als auch die Richtung sind falsch.]

Code 9: Missing.

Was misst PISA? 29


Absicht der Frage: Erklären, welche Auswirkung die Verdoppelung einer Variable in einer Formel auf das Ergebnis hat, wenn die anderen Variablen konstant gehalten werden

Kontext: beru� ich

Inhaltsbereich: Veränderung & Zusammenhänge

Prozess: Anwenden

Format: lange, o� ene Aufgabe

Bewertungsvorschriften: Code 2 (Full Credit): Die Erklärung beschreibt sowohl die Richtung der Auswirkung als auch deren Größe (z. B. „Es halbiert sich.“; „D wird 50 % kleiner.“).Code 1 (Partial Credit): Eine Antwort, die ENTWEDER die Richtung ODER die Größe der Veränderung richtig angibt, aber nicht BEIDE (z. B. „D wird kleiner.“ [keine Größe]; „Die Veränderung beträgt 50 %.“ [keine Richtung]; „D wird um 50 % größer.“ [falsche Richtung, aber richtige Größe]).Code 0 (No Credit): Andere Antworten (z. B. „D wird sich ebenfalls verdoppeln.“ [Sowohl die Größe als auch die Richtung sind falsch.]).



Aufgabenbeispiel WOHNUNGSKAUF

WOHNUNGSKAUFDas ist der Grundriss der Wohnung, die Georgs Eltern von einer Wohnbaugesellschaftkaufen wollen.

Maßstab:1 cm entspricht 1 m

Frage 1: WOHNUNGSKAUF

Um die gesamte Grundfläche der Wohnung (einschließlich der Terrasse und Wände) zu schätzen, kann man die Größe jedes Raumes messen, seine Fläche berechnen und dann alle Flächen addieren.

Es gibt jedoch ein effektiveres Verfahren, bei dem man nur vier Längen messen muss, um die gesamte Grundfläche zu schätzen. Markiere im Grundriss oben die vier Längen, die benötigt werden, um die gesamte Grundfläche der Wohnung zu schätzen.

WOHNUNGSKAUF BEWERTUNG 1ABSICHT DER FRAGE: Beschreibung: Anwenden von räumlichem Denken, um bei einem Grundriss (oder durch eine andere Methode) die niedrigste, be- nötigte Anzahl von Seitenlängen anzugeben, um die Grundfläche zu ermitteln

Full CreditCode 1: Die vier Abmessungen, die zur Schätzung der Grundfläche der Wohnung erforderlich sind, wurden auf dem Grundriss markiert. Es gibt 9 mögliche Lösungen, wie in den Abbildungen unten angezeigt.

• A = (9,7 m ∙ 8,8 m) – (2 m ∙ 4,4 m); A = 76,56 m2 [Verwendung von genau 4 Längen, um die benötigte Fläche zu messen und zu berechnen.]

No CreditCode 0: Andere Antworten.Code 9: Missing.

Was misst PISA? 31


Absicht der Frage: Anwenden von räumlichem Denken, um bei einem Grundriss (oder durch eine andere Methode) die niedrigste, benötigte Anzahl von Seitenlängen anzugeben, um die Grund� äche zu ermitteln

Kontext: persönlich

Inhaltsbereich: Raum & Form

Prozess: Formulieren

Format: lange, o� ene Aufgabe

Bewertungsvorschriften: Code 1 (Full Credit): Die vier Abmessungen, die zur Schätzung der Grund- � äche der Wohnung erforderlich sind, wurden auf dem Grundriss markiert. Es gibt 9 mögliche Lösun- gen, wie in den Abbildungen unten angezeigt. (Z. B. A = (9,7 m ∙ 8,8 m) – (2 m ∙ 4,4 m), A = 76,56 m2 [Verwendung von genau 4 Längen, um die benötigte Fläche zu messen und zu berechnen.])

Code 0 (No Credit): Andere Antworten.



Aufgabenbeispiel SAUCE

Frage 1: SAUCE

Du bereitest dein eigenes Salatdressing zu. Hier ist ein Rezept für 100 Milliliter (ml) Dressing.

Salatöl: 60 ml

Essig: 30 ml

Sojasauce: 10 ml

Wie viele Milliliter (ml) Salatöl brauchst du, um 150 ml dieses Dressings zu machen?

Antwort: ........................... ml

SAUCE BEWERTUNG 1ABSICHT DER FRAGE: Anwenden von Mengenverhältnissen in einer Alltagssituation, um die Menge einer Zutat, die in einem Rezept benötigt wird, auszurechnen

Full CreditCode 1: 90 • 60 + 30

No CreditCode 0: Andere Antworten. • 1,5 Mal mehr

Code 9: Missing.

SAUCE


Absicht der Frage: Anwenden von Mengenverhältnissen in einer Alltagssituation, um die Menge einer Zutat, die in einem Rezept benötigt wird, auszurechnen

Kontext: persönlich

Inhaltsbereich: Größen

Prozess: Formulieren

Format: kurze, o� ene Aufgabe

Bewertungsvorschriften: Code 1 (Full Credit): 90 (z. B. 60 + 30)Code 0 (No Credit): Andere Antworten (z. B. 1,5 Mal mehr).


Die einheitliche Definition der Zielpopula tion sowie die Festlegung bestimmter Regeln für die Größe und Zusammensetzung der Stichprobe sind zentrale Voraussetzungen für die Vergleichbarkeit der PISADaten sowohl zwischen den Teilnehmerländern als auch über die einzelnen Erhebungszeitpunkte hinweg.

Die PISA-Population

Die Definition der Grundgesamtheit bei PISA ist altersbasiert und umfasst nur die beschulte Population des definierten Jahrgangs. Die PISAPopulation bilden alle Schüler/innen, die zum Testzeitpunkt zwischen 15 Jahre und drei Monate und 16 Jahre und zwei Monate alt sind und die mindestens die 7. Schulstufe besuchen (etwa 0,06 % der 15/16jährigen Schüler/innen in Österreich haben die 7. Schulstufe noch nicht erreicht). Für die Testfenster im empfohlenen Zeitraum zwischen März und Mai wird das Alter durch einen vollen Jahrgang, den Altersjahrgang 1996, definiert. Da das Testfenster in Österreich von 11. April bis 23. Mai 2012 festgesetzt wurde, umfasst die Zielpopulation Schüler/innen, die zwischen 1. Jänner 1996 und 31. Dezember 1996 geboren wurden. Jugendliche im Alter von 15/16 Jahren befinden sich in den meisten Teilnehmerländern am Ende der Pflichtschulzeit – eine für die Vergleichbarkeit optimale Bedingung, da PISA somit den kumulativen „Bildungsertrag“ der einzelnen Schulsysteme (aus Grundschule und Sekundarstufe I) erfasst.

Die PISA-Population in Österreich

Die Populationsdefinition für die Erhebung 2012 lautete für Österreich präzise: „Zielpopulation von PISA 2012 sind Schüle-rinnen und Schüler des Altersjahrgangs 1996 ab der 7. Schulstufe.“

In Österreich streuen die rund 89 000 im Jahr 1996 geborenen Schüler/innen über ca. 2 400 Schulen der Sekundarstufe I und II, von den Pflichtschulen (Hauptschulen, Neue Mittelschulen, Sonderschulen, Polytechnische Schulen) über die Berufsschulen und berufsbildenden mittleren Schulen bis zu den allgemeinbildenden und berufsbildenden höheren Schulen.Da PISA die Kompetenzen aller Schüler/innen eines Jahrgangs erfasst, wird auch ein Teil der Schüler/innen der Sekundarstufe I (insbesondere Hauptschulen, Neue Mittelschulen, AHSUnterstufen, Sonderschulen) getestet. Jugendliche, die im Alter von 15/16 Jahren noch eine Hauptschule oder Neue Mittelschule besuchen, weisen meist eine erhebliche Schullaufbahnverzögerung auf (d. h. sie haben mindestens eine Klasse wiederholt). Auch wenn es sich bei diesen Jugendlichen meist um schwächere Schüler/innen handelt, gehören sie doch zum PISAJahrgang und zum Gesamtbild des Leistungsstands der Population.Ebenso gehören Schüler/innen mit besonde-ren Bedürfnissen zur Zielgruppe, die, wenn es möglich, sinnvoll und ethisch vertretbar ist, auch am PISATest teilnehmen. Für sie wurde international eine eigene Testheftform „Testheft 60“ („60“ steht für die Testdauer von 60 Minuten) mit einfacheren Aufgaben und einer kürzeren Bearbeitungszeit zusammengestellt, um die Schüler/innen mit der langen Originaltestform nicht zu überfordern. Mithilfe dieses von Österreich wesentlich initiierten „Testhefts 60“ werden Jugendliche an Sonderschulen getestet sowie Schüler/innen mit besonderen Bedürfnissen, die als Integrationsschüler/innen andere Schulen besuchen (z. B. Hauptschulen oder Neue Mittelschulen in Österreich). Unter bestimmten Voraussetzungen werden stark beeinträchtigte Schüler/innen jedoch von vornherein vom Test ausgenommen. Eine Testung wäre diesen Schülerinnen und Schülern nicht zumutbar und würde auch zu keinen brauchbaren

4 PISA-Population und Stichprobe


Informationen führen. Diese Ausschlüsse geschehen bereits vor der Information der Schüler/innen durch Schulkoordinator/in bzw. Klassenlehrer/in – d. h. Jugendliche, die aufgrund einer Beeinträchtigung ausgeschlossen werden, kommen mit PISATests oder Fragebögen gar nicht in Kontakt.Da PISA unter „Schülerinnen und Schülern“ nicht nur Vollzeit, sondern auch Teilzeitschüler/innen versteht, zählen auch Berufsschulen/Lehrlinge (Schüler/innen im „dualen System“) laut Vorschriften der OECD zur Population. In Österreich entsteht dabei durch lehrgangsmäßig geführte Berufsschulen eine Besonderheit. Zahlreiche Berufsschüler/innen sind zwar Schüler/innen im laufenden Schuljahr, sie sind jedoch während des sechswöchigen Testfensters (im April/Mai) nicht mehr an der Schule anwesend, weil ihr lehrgangsmäßig geblockter Unterricht bereits zu einem früheren Zeitpunkt (z. B. im November/Dezember) stattgefunden hat. Um trotzdem möglichst viele Schüler/innen zu erreichen, wird seit PISA 2003 das Testfenster für lehrgangsmäßig geführte Berufsschulen in Österreich in Absprache mit der OECD ausgeweitet (Beginn 12. März 2012 statt 11. April 2012 für alle anderen Schulen; Dauer für alle Schulen bis 23. Mai 2012). Eine zur Validierung der Berufsschulstichprobe durchgeführte Studie im Rahmen von PISA 2003 zeigt, dass sich die „Herbst/Winter“Schüler/innen in einigen wesentlichen Merkmalen nicht auffällig von den (getesteten) „Frühjahr/Sommer“Berufsschülerinnen und schülern unterscheiden (Reiter, 2004, S. 131 ff.). Zur Gewährleistung der Repräsentativität wird eine exakte Gewichtung durch das internationale Konsortium vorgenommen. Bei PISA 2000 wurde in der ursprünglichen Gewichtung durch die OECD der Anteil der Berufsschüler/innen nicht korrekt abgebildet. Im Nachhinein wurde daher eine Neugewichtung vorgenommen, die jetzt für Trendanalysen herangezogen wird (Neuwirth, 2006).Wie diese Ausführungen zeigen, erfordert die differenzier-te Struktur des österreichischen Schulsystems ein komplexes Stichprobendesign mit sorgfältiger Schichtung (Stratifizierung), damit die einzelnen Schulsparten repräsentativ erfasst werden.

Out-of-School-Population

Der PISAPopulation gehören nur beschulte Jugendliche an. Das hat zur Folge, dass 15/16Jährige, die ihre Schulpflicht zum Testzeitpunkt bereits beendet haben und keine weiterführende Schule mehr besuchen („OutofSchoolPopulation“), nicht erfasst werden. Die Unterschiede hinsichtlich der Größe der „nichtbeschulten“ Population der 15/16Jährigen in den Teilnehmerländern sind beim Vergleich der Mittelwerte zwischen den Schulsystemen zu berücksichtigen. Es ist anzunehmen, dass die nicht erfasste OutofSchoolPopulation leistungsmäßig keine zufällige Gruppe darstellt, sondern großteils aus dem unteren Leistungsbereich stammt. Die Mittelwerte eines Landes mit einer hohen OutofSchoolPopulation sind demnach höher, als sie es bei einer vollständigen Erfassung des gesamten

Jahrgangs wären. Das muss beim Vergleich der Mittelwerte zum Beispiel mit Ländern mit sehr geringer OutofSchoolPopulation berücksichtigt werden.In Österreich ist der Anteil der OutofSchoolPopulation am jeweiligen Geburtsjahrgang der 15/16Jährigen im Ver gleich der OECDLänder relativ groß. Er bewegt sich über die Erhebungszeitpunkte hinweg zwischen 4,8 % und 5,8 % (2012: 4,8 %). Bei PISA 2012 gibt es insgesamt 25 OECDLänder mit einer geringeren OutofSchoolPopulation als in Österreich, darunter alle Nachbarländer, mit der Ausnahme von Italien (6 %). Ebenso einen Anteil von rund 5 % gibt es in Frankreich, Griechenland, Israel und Spanien. Mit Abstand am größten ist die OutofSchoolPopulation im OECDRaum in Mexiko (30 %) und in der Türkei (24 %) (vgl. OECD, 2013b, Anhang A2).

Die Stichprobenziehung in Österreich bei PISA 2012

Die Stichprobenziehung bei PISA verläuft ähnlich wie bei anderen internationalen Vergleichsstudien zweistufig: In einem ersten Schritt wird aus allen Schulen, die von Zielschülerinnen und Zielschülern besucht werden, die erforderliche Anzahl an Schulen zur Teilnahme an der Erhebung zufällig bestimmt. Im zweiten Schritt wird aus diesen Schulen eine Schülerstichprobe gezogen. Die Schülerstichprobe einer Schule umfasst gewöhnlich Schüler/innen unterschiedlicher Klassen und Schulstufen, da sich Schüler/innen des gleichen Geburtsjahrgangs meist in mehreren Klassen und Schulstufen einer Schule befinden. Schüler/innen derselben Klasse sind leistungsmäßig meist etwas homogener als ihre Kolleginnen und Kollegen in der gesamten Schule. Durch die Ziehung einzelner Schüler/innen über die Klassen hinweg bleibt daher der Designeffekt geringer (d. h. die Schätzung der Mittelwerte und Streuungen ist bei gleicher Zahl getesteter Schüler/innen präziser).

Die Stichprobenziehung auf Schulebene (Schritt 1)

Die Stichprobenziehung auf Schulebene wird bei PISA durch einen Partner des internationalen Konsortiums, Westat, vorgenommen. Dies sichert den einheitlichen Ablauf für alle Teilnehmerländer.

Die Grundlage für die Stichprobenziehung in Österreich bildet die offizielle Schuldatenbank der Statistik Austria. Etwa ein halbes Jahr vor der Haupterhebung erhielt das Konsortium vom BIFIE eine Liste mit allen Schulen, die Zielschüler/innen des Jahrgangs 1996 (ca. 2 400 Schulen) aufweisen, sowie einen Stichprobenplan mit genauen Informationen zu den Schulen und zur vorgesehenen Stratifizierung. Bei PISA 2012 wurden 17 Strata verwendet, die die österreichischen Schulformen abbilden (s. Tabelle 4.1). Innerhalb dieser Strata wurden die Schulen nach Schultyp, Bundesland, Anteil der Mädchen und Schulgröße implizit stratifiziert, um eine gute Verteilung der ausgewählten

PISA-Population und Stichprobe 35

Schulen über diese Merkmale zu erreichen. Details zum Stichprobendesign sind im nationalen technischen Bericht zu PISA 2012 beschrieben (Pareiss, 2013a).

Die Stichprobenziehung auf Schülerebene (Schritt 2)

Etwa vier Monate vor der Testdurchführung übermittelte das internationale Konsortium die Liste mit den zufällig ausgewählten Schulen an das BIFIE. Nach einer genauen Prüfung der Schulstichprobe wurden die Landes und Bezirksschulbehörden über die gezogenen Schulen und das weitere Prozedere informiert und die ausgewählten Schulen um ihre Teilnahme und die Zusendung einer Liste mit allen Schülerinnen und Schülern des Zieljahrgangs (1996), ab der 7. Schulstufe, ersucht. Mithilfe einer speziellen Software des Konsortiums wurde auf Basis dieser Listen eine Zufallsstichprobe von max. 35 Schülerinnen und Schülern je Schule für den papierbasierten Test gezogen. Hatte eine Schule weniger als 35 Zielschüler/innen, nahmen alle Schüler/innen des Geburtsjahrgangs 1996 am papierbasierten Test teil. Für den Computertest, der Aufgaben aus den Bereichen Pro

blemlösen, Lesen elektronischer Medien und Mathematik umfasst, wurde aus der Schülerstichprobe eine Teilstichprobe gezogen. Dabei wurden aus den max. 35 Schülerinnen und Schülern, die an jeder Schule für den papierbasierten Test ausgewählt waren, 18 Schüler/innen zufällig bestimmt, die im Anschluss daran den Computertest bearbeiten sollten. Gab es an einer Schule weniger als 18 Schüler/innen des Jahrgangs 1996, nahmen alle Schüler/innen am Computertest teil.

Mögliche Ausschließungsgründe

Ziel von PISA ist es, mithilfe der gezogenen Stichprobe die Leistungen aller Schüler/innen eines Jahrgangs abzubilden, um die Effizienz eines Schulsystems umfassend darzustellen. Daher achtet die OECD streng darauf, dass mögliche Ausschlüsse einzelner Schüler/innen ausschließlich gemäß den internationalen Richtlinien erfolgen. Generell gilt für alle Teilnehmerländer, dass (auf Schul und Schülerebene insgesamt) maximal 5 % der PISA-Population eines Landes vom Test ausgeschlossen werden.

Ausschlüsse auf Schülerebene sind durch sehr strenge Vorgaben der OECD geregelt. Einzelne Schüler/innen können aus einem der in Tabelle 4.2 angeführten Gründe als „nicht geeignet“ für die Teilnahme am Test eingestuft werden.Die Punkte 1 (körperliche/geistige Beeinträchtigung) und 2 (mangelnde Sprachkenntnisse) gelten als Ausschließungsgründe, Punkt 3 bedeutet, dass diese Schüler/innen für die Testung nicht in Frage kommen, weil sie beim Test nicht mehr an der ausgewählten Schule erreichbar sind.Der Ausschluss erfolgt vor der Information der ausgewählten Schüler/innen durch den/die PISASchulkoordinator/in in Zusammenarbeit mit den jeweiligen Klassenvorständen. Der Prozentsatz der so ausgeschlossenen Schüler/innen beträgt bei PISA 2012 in Österreich 3,3 %.

DATENSCHUTZ

Alle bei PISA erhobenen Daten unterliegen den Bestimmungen des Datenschutzes. Es werden nur „indirekt personenbezogene“ Schülerdaten erhoben und verarbeitet, d. h. es werden zu keinem Zeitpunkt Namen von Schülerinnen und Schülern benötigt. Alle Schuldaten werden nach der Erhebung anonymisiert. Im PISADatensatz können weder einzelne Schulen noch einzelne Schüler/innen identifiziert und mit den Leistungsdaten in Verbindung gebracht werden. Bei der Auswertung werden Statistiken großer Gruppen erstellt (z. B. Lesemittelwert aller 15/16jährigen Schüler/innen in Österreich) – individuelle Ergebnisse auf Schul oder Schülerebene sind nicht Gegenstand von Analysen.

Nationale Stratifi zierung bei PISA 2012

Allgemeinbildende Pfl ichtschulen

1 Pfl ichtschulen (Hauptschulen, Neue Mittelschulen und Sonderschulen)

2 Polytechnische Schulen

Allgemeinbildende höhere Schulen (AHS)

3 AHS-Langform

4 AHS-Kurzform

Schulen mit Statut

5 Waldorfschulen

6 Sonstige Schulen mit Statut (z. B. Montessorischulen)

Berufsschulen

7 Berufsschulen (kaufmännisch/gewerblich)

8 Berufsschulen (landwirtschaftlich)

Berufsbildende mittlere Schulen (BMS)

9 BMS (gewerblich)

10 BMS (kaufmännisch)

11 BMS (wirtschaftlich)

12 BMS (landwirtschaftlich)

Berufsbildende höhere Schulen (BHS)

13 BHS (gewerblich)

14 BHS (kaufmännisch)

15 BHS (wirtschaftlich)

16 BHS (landwirtschaftlich)

17 BAKIP

Tabelle 4.1: Stratifizierung der österreichischen PISA-2012-Stichprobe


Stichprobengrößen

Für eine gute Datenqualität ist es wichtig, dass möglichst alle ausgewählten Schulen und Schüler/innen (bei denen kein Ausschließungsgrund vorliegt) am Test teilnehmen. Die internationalen Richtlinien für den Haupttest 2012 sehen in der Regel eine realisierte Stichprobengröße von mindestens 4 500 Schülerinnen und Schülern aus mindestens 150 Schulen vor. Diese Schüler und Schulenzahl soll trotz „natürlicher Ausfälle“ (z. B. fehlende Schüler/innen am Testtag) und einer allfälligen Nichtteilnahme von Schulen erreicht werden – es sei denn, die Population eines Landes ist kleiner (dann muss eine Vollerhebung durchgeführt werden).Zudem schreibt die OECD sehr hohe gewichtete Mindestrücklaufquoten von 85 % auf Schulebene und 80 % auf Schülerebene vor. Können diese Kriterien von einem Land nicht erfüllt werden, werden die betreffenden Daten nicht – oder nur mit einem entsprechenden Verweis – international berichtet (das war bei PISA 2000 bei den Niederlanden sowie 2000 und 2003 bei Großbritannien der Fall).

Rücklauf auf Schulebene 100 %

In Österreich wurden insgesamt 201 Schulen für die Teilnahme an PISA 2012 ausgewählt. An sieben der ausgewählten Schulen befanden sich im Schuljahr 2011/12 keine Schüler/innen des Jahrgangs 1996. Dies kann vorkommen, weil die Datenbasis, die der Stichprobenziehung auf Schulebene zugrunde liegt, auf den Daten der Schulstatistik des jeweils vorhergehenden Schuljahrs beruht und alle Schulen

beinhaltet, an denen es im Schuljahr der Erhebung poten-ziell Schüler/innen des Zieljahrgangs geben kann. An zwei der ausgewählten Schulen befanden sich nur Schüler/innen, die wegen eines der drei Ausschließungsgründe (s. Tabelle 4.2) vom Test ausgenommen werden mussten. Eine Schule war zwischenzeitlich mit einem anderen Schulstandort zusammengelegt worden. An diesen insgesamt zehn Schulen konnte der PISATest nicht durchgeführt werden. Die ver-bleibenden 191 Schulen bilden die Basis für die Berechnung der Teilnahmequote auf Schulebene.Alle 191 für den Test ausgewählten Schulen haben an PISA 2012 teilgenommen. Die internationale Datenbank umfasst damit Daten aus 191 österreichischen Schulen, was einer Teilnahmequote von 100 % entspricht.

Rücklauf auf Schülerebene 95,2 %

Die in Österreich auf Schülerebene realisierte Stichprobe bei PISA 2012 umfasst insgesamt 4 755 Schüler/innen und entspricht allen Vorgaben der OECD (s. Tabelle 4.3).Insgesamt ist in Österreich auf Schülerebene ein Ausfall von 240 Schülerinnen und Schülern (4,8 %), die am Testtag abwesend waren, zu verzeichnen.Diese daraus resultierende ungewichtete Rücklaufquote von 95,2 % (ohne Berücksichtigung der im Testfenster nicht erreichbaren Berufsschüler/innen) entspricht einem von der OECD gewichteten Rücklauf von 91,7 % (bei diesem sind die erwähnten nicht erreichbaren Berufsschüler/innen als beim Test fehlend gewertet).Nicht zur Rücklaufquote zählen jene Schüler/innen, die vor dem Test unter Berücksichtigung eines der drei Ausschließungsgründe ausgenommen wurden (dauernde starke geistige/körperliche Beeinträchtigung oder mangelnde Deutschkenntnisse und Schüler/innen, die zwischen der Erstellung der Schülerliste und dem PISATest die Schule verlassen oder gewechselt haben). Bei PISA 2012 macht der Anteil dieser Jugendlichen in Österreich 3,3 % aus.Bei der Ergebnisinterpretation sind die aufgrund eines der drei Ausschließungsgründe nicht getesteten Schüler/innen sowie die OutofSchoolPopulation besonders zu berücksichtigen. Sie beeinflussen durch ihre Abwesenheit bei PISA nicht nur den Landesmittelwert systematisch (ins Positive), sie beeinflussen z. B. auch die Schätzung der Größe der Risikogruppen. Die österreichischen Leistungsdaten werden durch die relativ große Gruppe der OutofSchoolPopulation merklich begünstigt.

LESEHINWEIS

Detaillierte Informationen zur Stichprobe finden Sie im nationalen technischen Bericht zu PISA 2012 (Schwantner & Schreiner, 2013).

Mögliche Ausschließungsgründe bei PISA

1. Der/die ausgewählte Schüler/in weist eine so schwere dauernde körperliche oder geistige Beeinträchtigung auf, dass eine Teilnahme an der PISA-Erhebung nicht möglich bzw. sinnvoll ist.

2. Der/die ausgewählte Schüler/in ist nichtdeutscher Mutter-sprache, verfügt über mangelnde Deutschkenntnisse und befi ndet sich seit weniger als einem Jahr als ordentlicher Schüler/ordentliche Schülerin in Österreich bzw. hat weniger als ein Jahr lang eine deutschsprachige Schule besucht. Es mangelt ihm/ihr derart an Deutschkenntnis-sen, dass ein Verstehen der Anleitungen und Testauf-gaben nicht möglich ist.

3. Der/die ausgewählte Schüler/in hat zwischen Erstellung der Schülerliste an der teilnehmenden Schule (Jänner/Februar) und der PISA-Testung (April/Mai) an eine andere Schule gewechselt oder die Schule verlassen.

Tabelle 4.2: Mögliche Ausschließungsgründe bei PISA

PISA-Population und Stichprobe 37

Schulspartezu testende Schüler/innen teilgenommen nicht teilgenommen

Anzahl Anzahl Prozent Anzahl Prozent

Allgemeinbildende Pfl ichtschulen:

HS, NMS und Sonderschulen 116 109 94,0 % 7 6,0 %

Polytechnische Schulen 483 459 95,0 % 24 5,0 %

APS gesamt 599 568 94,8 % 31 5,2 %

Allgemeinbildende höhere Schulen:

AHS-Langform 949 898 94,6 % 51 5,4 %

AHS-Kurzform 318 302 95,0 % 16 5,0 %

AHS gesamt 1 267 1 200 94,7 % 67 5,3 %

Schulen mit Statut:

Waldorfschulen 154 147 95,5 % 7 4,5 %

Sonstige Schulen mit Statut 2 2 100,0 % 0 0,0 %

Statutschulen gesamt 156 149 95,5 % 7 4,5 %

Berufsschulen:

BS kaufmännisch/gewerblich 779 740 95,0 % 39 5,0 %

BS landwirtschaftlich 14 14 100,0 % 0 0,0 %

BS gesamt 793 754 95,1 % 39 4,9 %

Berufsbildende mittlere Schulen:

BMS gewerblich 109 106 97,2 % 3 2,8 %

BMS kaufmännisch 90 86 95,6 % 4 4,4 %

BMS wirtschaftlich 150 143 95,3 % 7 4,7 %

BMS landwirtschaftlich 198 187 94,4 % 11 5,6 %

BMS gesamt 547 522 95,4 % 25 4,6 %

Berufsbildende höhere Schulen:

BHS gewerblich 678 644 95,0 % 34 5,0 %

BHS kaufmännisch 480 458 95,4 % 22 4,6 %

BHS wirtschaftlich 302 288 95,4 % 14 4,6 %

BHS landwirtschaftlich 69 69 100,0 % 0 0,0 %

BAKIP 104 103 99,0 % 1 1,0 %

BHS gesamt 1 633 1 562 95,7 % 71 4,3 %

GESAMT 4 995 4 755 95,2 % 240 4,8 %

Tabelle 4.3: Rücklauf auf Schülerebene PISA 2012

Bei PISA kommen als Erhebungsmetho-den gedruckte Tests und Fragebögen sowie computerbasierte Tests zum Einsatz: Bei PISA 2012 wurden die drei Kompetenz-bereiche Lesen, Mathematik und Natur-wissenschaft mittels schriftlicher, gedruckter Tests erfasst. Darüber hinaus beteiligte sich Österreich gemeinsam mit 31 weiteren Län dern an der computerbasierten Erfas-sung der Mathematik- und der Lesekom-petenz sowie der Problemlösekompetenz (an Letzterem beteiligten sich insgesamt 44 Länder).Zur Erfassung zentraler Kontextinforma-tionen wurden Fragebögen für Schüler/in nen und Schulleiter/innen eingesetzt. Die se für alle Länder verbindlichen Frage-bögen wurden in Österreich durch natio-nale Zusatzerhebungen ergänzt.

Die Testinstrumente und ihre Entwicklung

Basis für die Entwicklung der PISA-Testaufgaben sind die Frameworks für die einzelnen Kompetenzbereiche (OECD, 2013a; s. Kapitel 3), die quasi „internatio-nale Bildungsstandards“ für 15-/16-Jährige darstellen. Neue Aufgaben werden jeweils nur für den Bereich entwickelt, der schwer-punktmäßig erfasst wird. In den anderen Kompetenzbereichen werden jeweils Auf-gaben aus den vorangegangenen PISA-Er- hebungen eingesetzt. Diese so genannten Link-Aufgaben gibt es auch für den schwer- punktmäßig erfassten Bereich. Sie haben eine testtheoretisch wichtige Funktion: In-dem diese Aufgaben bei mehreren PISA-Erhebungen in gleicher Weise eingesetzt werden, kann der Schwierigkeitsgrad der Leistungsskala über die Zeit hinweg veran-kert werden (s. Kapitel 8). Dadurch bleiben die Leistungen zwischen den Erhebungs-zeitpunkten vergleichbar.Bei PISA 2012 wurden zur Erfassung der Mathematikkompetenz 109 papierbasierte Aufgaben (74 neue und 35 Link-Aufgaben)

sowie 41 computerbasierte Aufgaben ein-gesetzt (s. Tabelle 5.1). In Lesen wurden 44 papierbasierte Aufgaben aus vorherge-henden Erhebungen sowie 19 computer-basierte Link-Aufgaben (Lesen elektroni-scher Medien aus PISA 2009) verwendet. Der Bereich Naturwissenschaft wurde mit 53 Link-Aufgaben erhoben. Zur Erfassung der Problemlösekompetenz wurden 42 neue Aufgaben eingesetzt.Die Entwicklung von neuen Aufgaben fin-det auf internationaler Ebene im Rahmen eines genau vorgeschriebenen Prozesses statt. Die Aufgaben werden von interna-tionalen Expertinnen und Experten kons-truiert und von den Teilnehmerländern hinsichtlich vorgegebener Kriterien über-prüft, wie z. B. die Übereinstimmung mit dem Lehrplan der 15-/16-Jährigen in dem jeweiligen Land oder ob eine Aufgabe aufgrund einer kulturellen Färbung eine be-stimmte Schülergruppe bevorzugt oder be - nachteiligt. Ebenso können die Teilnehmer-länder Aufgaben einreichen, die dann von den internationalen Aufgabenentwickler-gruppen begutachtet, überarbeitet und übersetzt werden. Bei der nationalen Begut-achtung der neuen Mathematik- und Pro-blemlöseaufgaben kooperierte das BIFIE mit nationalen Fachexpertinnen und -ex-perten (s. Kapitel 2).Alle Aufgaben, die diese Begutachtungs-schleifen positiv bestanden hatten, wurden beim PISA-Feldtest im Jahr 2011 erprobt (s. Kapitel 7). Sorgfältige statistische Ana-lysen der Aufgabeneigenschaften durch das internationale Zentrum bildeten dann die Basis für die Überarbeitung und Auswahl der Aufgaben für den Haupttest. Durch diese Vorgehensweise wird sichergestellt, dass letztlich nur Aufgaben verwendet wer-den, die in allen Teilnehmerländern ein-wandfrei funktionieren. Da die Lese- und Naturwissenschafts-Link- Aufgaben in unveränderter Form aus vorher-gehenden PISA-Erhebungen übernommen wurden, brauchten sie in Österreich kei-nem Feldtest mehr unterzogen zu werden.

5 Die Tests und Fragebögen bei PISA 2012

Die Tests und Fragebögen bei PISA 2012 39

Aufbau der Tests und Bearbeitungszeit

Im Haupttest 2012 wurden insgesamt 206 papierbasierte und 102 computerbasierte Aufgaben eingesetzt. Die Auf-gaben sind in Form von Units organisiert, die jeweils einen thematischen Rahmen für mehrere Testaufgaben bilden. Jede Unit umfasst einen oder mehrere Stimuli (z. B. Texte, Bilder, Diagramme etc.), begleitet von einer oder mehreren darauf bezogenen Aufgabe/n. Innerhalb eines Kompetenz-bereichs werden die einzelnen Units zu Aufgabenblöcken (Cluster) so zusammengefasst, dass Cluster mit einer Bear-beitungszeit von 30 Minuten entstehen. Tabelle 5.1 zeigt die Anzahl der ausgewählten Aufgaben nach Units und Clus- tern für den Haupttest 2012.

Die Testhefte

Die Cluster werden nach einem festgelegten Schema auf 13 Testheftformen verteilt: Ein Testheft besteht dabei jeweils aus vier Clustern, was eine Bearbeitungszeit von zwei Stunden pro Heft bzw. Schüler/in ergibt. Die Cluster werden über die einzelnen Testheftformen „rotiert“, sodass jeder Cluster jeweils an verschiedenen Stellen innerhalb der Testhefte vor-kommt (s. Tabelle 5.2). Dadurch können Positionseffekte vermieden werden. Diese Konstruktionsform hat auch den Vorteil, dass in jedem Kompetenzbereich wesentlich mehr Aufgaben eingesetzt und mehr Informationen gewonnen werden können, als wenn nur eine einheitliche Testheft-form für alle Schüler/innen verwendet werden würde. Die Leistungen der Schüler/innen können dadurch wesentlich breiter erhoben werden, obwohl jede/r Schüler/in nur eine verhältnismäßig geringe Anzahl an Aufgaben bearbeitet. Ein festgelegtes Schema für die Zuordnung der Testhefte zu den Schülerinnen und Schülern stellt sicher, dass alle 13 Testheftformen gleich oft eingesetzt werden.

Wie bereits bei PISA 2009 gab es auch bei PISA 2012 zwei unterschiedliche Testheft-Zusammenstellungen: Das Stan-

dard Booklet Set und das Easier Booklet Set. Das Easier Book-let Set enthält einen etwas größeren Anteil an leichten Auf-gaben als das Standard Booklet Set und steht jenen Ländern optional zur Verfügung, die in Mathematik wahrscheinlich einen Mittelwert von 480 oder weniger auf der PISA-Skala (s. Kapitel 8) erreichen. Mithilfe der größeren Anzahl an leichten Aufgaben ist es möglich, detailliertere Aussagen über die Kompetenzen der Schüler/innen am unteren Ende der Leistungsskala zu treffen.Mehr Informationen zu den Booklet Sets und zum Testde-sign finden sich im internationalen technischen Bericht der OECD (OECD, forthcoming). Für Österreich kommt auf-grund der bisher erzielten mittleren Leistungen das Easier Booklet Set nicht in Frage.

Zusätzlich zu den 13 Testheftformen wurde in Österreich das „Testheft 60“ eingesetzt. Dabei handelt es sich um ein kürzeres Testheft mit einer Bearbeitungszeit von 60 Mi-nuten, das vom internationalen Konsortium für Schüler/innen in Sonderschulen bzw. Integrationsschüler/innen zu - sammengestellt wurde. Dieses kürzere Testheft enthält vor-wiegend leichtere Aufgaben, die dennoch eine exakte Be-stimmung der Leistung ermöglichen.

Der Computertest

Die 102 computerbasierten Testaufgaben wurden zu 10 Clus-tern zu je 20 Minuten Bearbeitungszeit zusammengefasst (4 in Problemlösen, 4 in Mathematik, 2 in Lesen) und wie bei der Erstellung der Testhefte nach einem festgelegten Schema auf 24 verschiedene Computertestformen verteilt. Eine Testform bestand jeweils aus 2 Clustern. Die reine Bearbeitungszeit betrug demnach 40 Minuten, wobei ins-gesamt 60 Minuten für den gesamten Testablauf zur Ver-fügung standen (5 Minuten Vorbereitung, 15 Minuten Instruk tion und Übung). Das Testprogramm wurde di-rekt von einem USB-Stick ausgeführt, auf dem auch die Antwort dateien der Schüler/innen gespeichert wurden. Der Computertest wurde großteils auf Schulcomputern durch-geführt. In Fällen, wo dies nicht möglich war, wurden vom BIFIE Leih laptops zur Verfügung gestellt.

Aufgabenformat und Testcharakteristiken

Bei den PISA-Aufgaben werden verschiedene Formate ein-gesetzt:

�� Multiple-Choice-Aufgaben (zum Ankreuzen): Bei einfa-chen Multiple-Choice-Aufgaben müssen die Schüler/in-nen aus mehreren vorgegebenen Antwortalternativen eine auswählen. Komplexe Multiple-Choice-Aufgaben ent-halten mehrere Antworten, die von den Schülerinnen und Schülern jeweils mit „richtig“ oder „falsch“ (bzw. „ja“ oder „nein“) beantwortet werden müssen (ebenso durch Ankreuzen der richtigen Alternative neben einer Antwort). Sie werden blockweise vorgegeben und be-wertet.

Tabelle 5.1: Aufgaben nach Units und Clustern (PISA 2012)

Testaufgaben PISA 2012

papierbasiert

neu Link Gesamt Units Cluster

Mathematik 74 35 109 46 7

Lesen 0 44 44 13 3

Naturwissenschaft 0 53 53 18 3

Gesamt 74 132 206 77 13

computerbasiert

Problemlösen 42 0 42 16 4

Mathematik 41 0 41 15 4

Lesen 0 19 19 6 2

Gesamt 83 19 102 37 10


�� Aufgaben mit offenem Antwortformat: Diese können lang oder kurz sein – je nachdem, ob sie von den Ju-gendlichen eine längere oder kurze selbst formulierte Ant-wort erfordern. Bei langen, offenen Aufgaben müssen die Schüler/innen die Antwort häufig auch begründen bzw. argumentieren.

Abbildung 5.3 zeigt die Verteilung der Formate für die pa-pierbasierten Aufgaben im Haupttest 2012. Von den 206 Haupttestaufgaben erforderten 52 % eine Antwort durch die Schüler/innen (kurzes und langes offenes Format). Bei etwas weniger als der Hälfte der Aufgaben wählten die Schüler/innen aus mehreren vorgegebenen Antwortalterna-tiven eine aus (Multiple-Choice oder komplexe Multiple-Choice-Aufgabe).

Die Fragebögen

Neben den Leistungsdaten werden bei PISA wichtige Kon-textinformationen auf Schul- und Schülerebene erhoben (z. B. Geschlecht, Bildung der Eltern, sozioökonomischer Status, Migrationshintergrund, Motivation der Schüler/in-nen in Bezug auf den Schwerpunkt Mathematik, Rahmen-

bedingungen für Unterricht und Lernen in Mathematik, Merkmale der Schule etc.). Diese Kontextdaten liefern eine detaillierte Grundlage für Analysen von Zusammenhängen

Booklet Cluster im Standard Booklet Set Cluster im Easier Booklet Set

1 PM5 PS3 PM6A PS2

2 PS3 PR3 PM7A PR2

3 PR3 PM6A PS1 PM3

4 PM6A PM7A PR1 PM4

5 PM7A PS1 PM1 PM5

6 PM1 PM2 PR2 PM6A

7 PM2 PS2 PM3 PM7A

8 PS2 PR2 PM4 PS1 PS2 PR2 PM4 PS1

9 PR2 PM3 PM5 PR1 PR2 PM3 PM5 PR1

10 PM3 PM4 PS3 PM1 PM3 PM4 PS3 PM1

11 PM4 PM5 PR3 PM2 PM4 PM5 PR3 PM2

12 PS1 PR1 PM2 PS3 PS1 PR1 PM2 PS3

13 PR1 PM1 PS2 PR3 PR1 PM1 PS2 PR3

21 PM5 PS3 PM6B PS2

22 PS3 PR3 PM7B PR2

23 PR3 PM6B PS1 PM3

24 PM6B PM7B PR1 PM4

25 PM7B PS1 PM1 PM5

26 PM1 PM2 PR2 PM6B

27 PM2 PS2 PM3 PM7B

PM = paper based Mathematics (Mathematik-Cluster), PR = paper based Reading (Lese-Cluster),PS = paper based Science (Naturwissenschafts-Cluster); A = Standard Cluster, B = Easier Cluster

Tabelle 5.2: Testdesign PISA 2012

Multiple-Choice-Aufgaben

komplexe Multiple-Choice-Aufgaben

lange, offene Aufgaben

kurze, offene Aufgaben

32 %

20 % 17 %

31 %

Abbildung 5.3: Aufgabenformate PISA 2012

Die Tests und Fragebögen bei PISA 2012 41

mit Leistungsdaten (z. B. Einfluss der Bildung der Eltern auf die Mathematikkompetenz, Geschlechterunterschiede in Lesen etc.).Die Fragebögen werden von einer internationalen Exper-tengruppe auf Basis eines theoriegeleiteten Frameworks ent-wickelt. Darüber hinaus werden auch aktuelle bildungspo-litische Interessen der Teilnehmerländer in die Entwicklung einbezogen. Die internationalen Fragebögen werden von den politischen Vertreterinnen und Vertretern aller Teil-nehmerländer (im PISA Governing Board) sowie von den nationalen Zentren begutachtet.

Der internationale Schülerfragebogen bei PISA 2012

Der internationale Schülerfragebogen wird in allen Teilneh-merländern eingesetzt. Die Kernfragen, die sich vor allem auf demografische Daten und den familiären Hintergrund beziehen, sind in allen Erhebungsjahren etwa gleich und werden im Längsschnitt erhoben. Passend zum Bereich, der schwerpunktmäßig erfasst wird, werden jeweils spezifische Fragen gestellt, die – sofern ein Bereich bereits zum zwei-ten Mal getestet wird – ebenso im Längsschnitt fortgeführt werden. Darüber hinaus werden bei jeder Erhebung auch einige neue Fragen eingesetzt, die aktuelle bildungspoliti-sche Themen beleuchten.

Folgende Themen wurden im internationalen Schülerfrage-bogen zu PISA 2012 behandelt:

�� Demografische Daten: Schulstufe, Alter, Geschlecht (Längsschnitt)�� Familiärer Hintergrund: Beruf und Schulbildung der

Eltern, Migrationshintergrund (Längsschnitt)�� Mathematik: Lernen in Mathematik, Motivation und

Selbstwahrnehmung (zum Teil im Längsschnitt aus PISA 2003 fortgeführt), Unterricht in Mathematik, Mat hematikaktivitäten �� Klassen- und Schulklima (zum Teil im Längsschnitt aus

PISA 2003 fortgeführt)�� Erfahrungen im Problemlösen

Zusätzlich wurden in Österreich zwei optionale internatio-nale Fragebögen eingesetzt: der Fragebogen zu Informations- und Kommunikationstechnologien (ICT) und der Edu - ca tional-Career-Fragebogen. Der ICT-Fragebogen wird in Österreich bei allen Erhebungen seit PISA 2003 eingesetzt. 2012 wurde er auf internationaler Ebene erweitert und be-handelte folgende Themen:

�� Nutzung und Verfügbarkeit von Informations- und Kommunikationstechnologien�� Computernutzung der Schüler/innen inner- und außer-

halb der Schule�� Einstellungen zu Computern

Der Educational-Career-Fragebogen wurde bei PISA 2003, 2009 sowie 2012 auf internationaler Ebene und bei PISA

2006 nur in Österreich eingesetzt. Die Fragen, die darin enthalten sind, können frei ausgewählt werden. Sie werden stark national adaptiert, damit sie den jeweiligen Schulsys-temen entsprechen. Folgende Themenbereiche wurden bei PISA 2012 im Rahmen des Educational-Career-Fragebo-gens in Österreich behandelt:

�� Berufsorientierung der Schüler/innen�� Unterstützung beim Lernen der Unterrichtssprache

Der internationale Schülerfragebogen wurde im Haupttest 2012 in drei Formen aufgeteilt, wobei der erste Fragebo-genteil, der hauptsächlich demografische Trendfragen und die Fragen zum familiären Hintergrund beinhaltet, in allen Versionen gleich war und von allen Schülerinnen und Schü-lern beantwortet wurde. Die restlichen Frageblöcke wurden ähnlich wie bei den kognitiven Domänen über die drei For-men rotiert, sodass jeder Themenbereich von 2/3 der Schü-ler/innen beantwortet wurde. Auf diese Weise konnte die Menge der gestellten Fragen um ein Drittel erhöht werden. Eine detaillierte Aufstellung der Themenbereiche nach Fra-gebogenformen findet sich im „PISA 2012 Assessment and Analytical Framework“ (OECD, 2013a, S. 193 f.).

Der internationale Schulfragebogen bei PISA 2012

Der internationale Schulfragebogen richtet sich an Schul-leiter/innen. Die meisten Fragen zu den folgenden Themen aus PISA 2012 wurden dabei im Längsschnitt fortgeführt:

�� Basisdaten zur Schule (Schultyp, Schulgröße, Klassen-zahl, Lehrerzahl etc.)�� Informationen über Schulressourcen und Lernumgebung�� Unterricht, Unterrichtsangebot und Prüfungskultur�� Schulklima�� Richtlinien und Praktiken

Wie bereits bei PISA 2009 wurde die Befragung der Schul-leiter/innen auch 2012 online durchgeführt.

Nationale Zusatzerhebungen

Sowohl der Schul- als auch der Schülerfragebogen wurden durch nationale Zusatzerhebungen ergänzt. Diese sind wich - tig, um das österreichische Schulsystem besser charakteri-sieren zu können und die Effektivität des Systems in Ver-bindung mit den Schülerleistungen darstellen zu können. Dabei werden schwerpunktmäßig relevante Informationen erhoben bzw. einige Themen im Längsschnitt weitergeführt:

�� Spezifische Fragen zum Mathematikunterricht (zum Teil aus PISA 2003; Schülerfragebogen)�� Selbstkonzept der Schüler/innen in Mathematik

(Schülerfragebogen)�� Nutzung von Informationstechnologien innerhalb und

außerhalb der Schule (seit PISA 2000; Schul- und Schülerfragebogen)


�� Qualitätsentwicklungsmaßnahmen an Schulen(seit PISA 2000; Schul- und Schülerfragebogen)�� Zusatzfragen zum Migrationshintergrund

(seit PISA 2006; Schülerfragebogen)�� Zusatzfragen zur Schullaufbahn

(seit PISA 2003; Schülerfragebogen)�� Zusatzfragen zu den Noten der Schüler/innen

(seit PISA 2003; Schülerfragebogen)�� Zusatzfragen zur inneren Differenzierung

(Schulfragebogen)

Die nationalen Zusatzfragen im Schülerfragebogen wurden auf die drei internationalen Fragebogenformen verteilt und somit von ungefähr einem Drittel der Schüler/innen bear-beitet.

Übersetzung der Tests und Fragebögen

Bei PISA werden die Schüler/innen stets in der Unterrichts-sprache des jeweiligen Landes (der jeweiligen Schule) ge-testet und befragt. Daher müssen in jedem Land entspre-chende Versionen der Testinstrumente und Fragebögen in den Unterrichtssprachen der nationalen Stichprobe erstellt werden. Die Übersetzung der Testaufgaben in die jeweilige(n) Lan-dessprache(n) ist dabei ein sehr sensibler Vorgang, da die Eigenschaften der Aufgaben gewahrt bleiben müssen. Es darf bei der Übersetzung z. B. nicht passieren, dass das Ver ständnis des Textes, der Grafiken, Tabellen oder Fragen schwieriger oder einfacher wird. Ebenso muss bei den Fra-gebögen gewährleistet werden, dass sich das zu erfassende Konstrukt nicht verändert. Zur Sicherung der Qualität der Erhebungsinstrumente werden daher vom internationalen Zentrum umfassende Übersetzungsrichtlinien vorgeschrie-ben und deren Umsetzung genau kontrolliert.Die hauptsächliche Übersetzungsarbeit findet vor dem Feld-test statt, da hier alle neu entwickelten Aufgaben und Kon-textfragen erstmals zu übersetzen sind. Für den Haupttest müssen meist keine neuen Übersetzungen mehr vorgenom-men, sondern nur die aus den Feldtestergebnissen resul-tierenden Änderungen in die nationalen Versionen über - tragen werden.Als Basis für die Übersetzung der Testaufgaben werden Quellversionen in englischer und französischer Sprache vom internationalen Konsortium entwickelt und zur Verfügung gestellt. Vorzugsweise soll in jedem Land jeweils eine Über-setzung des englischen und eine des französischen Originals

unabhängig voneinander durchgeführt werden (Double Translation) und diese Texte danach von einer dritten Per-son zusammengeführt werden. Es ist jedoch auch möglich, zwei Übersetzungen von nur einer Quellversion unabhän-gig voneinander zu erstellen und unter Heranziehung des verbleibenden Originals zusammenzuführen.

Übersetzungskooperation

Die Übersetzung der Testaufgaben ins Deutsche erfolgte auch bei PISA 2012 in mittlerweile langjähriger Kooperation zwischen allen deutschsprachigen PISA-Ländern: Deutsch-land, Luxemburg, Österreich und der Schweiz (auch Süd-tirol und die deutschsprachige Gemeinschaft Belgiens pro-fitieren von diesem Verbund). Deutschland übernahm für PISA 2012 die Übersetzung aller neuen Mathematikaufga-ben, Österreich die Übersetzung der Problemlöseaufgaben. Anschließend wurde für beide Kompetenzbereiche eine gemeinsame deutsche Basisversion erarbeitet, von der aus nur in wenigen Passagen, wo es aus regionalen sprachlichen oder kulturellen Gründen notwendig war, weitere nationa-le Adaptionen vorgenommen wurden (klassische Beispiele: „Sackerl“ statt „Tüte“ und „Baustein“ statt „Bauklotz“). Alle so übersetzten und angepassten Testaufgaben wurden dann zur Überprüfung („Verifikation“) an das internatio-nale Zentrum gesendet, wo sie von speziell geschulten Mit-arbeiterinnen und Mitarbeitern kontrolliert und kommen-tiert wurden. Alle Adaptionen müssen formell genehmigt werden. Zudem gibt es von internationaler Seite eine ab-schließende Kontrolle des Layouts der Testheft- und Com - putertestformen. Erst danach dürfen die nationalen Testhef-te in Druck gehen bzw. die USB-Sticks für den Computer-test produziert werden.Außerdem wurden die Übersetzungen der neuen Mathe-matik- und Problemlöseaufgaben in Österreich auch von den Expertinnen und Experten begutachtet, die bereits bei der Erstbegutachtung der neuen Aufgaben involviert waren (s. Kapitel 2). Für die Übersetzung der Fragebögen gelten dieselben stren-gen internationalen Richtlinien wie für die Übersetzung der Aufgaben. Im Zuge der Übersetzungskooperation der deutschsprachigen Länder übernahm die Schweiz für PISA 2012 die Übersetzung der Fragebogen-Basisversionen. Wichtig bei der Übersetzung der Fragebögen ist, dass die Fragen für die Schüler/innen sowie Schulleiter/innen ein-deutig zu verstehen und zu beantworten sind, wobei auf Besonderheiten der nationalen Schulsysteme Rücksicht ge-nommen werden muss. Die Fragebögen erfordern daher oft deutlich umfassendere Adaptionen auf nationaler Ebene als die Testaufgaben. Die internationale Verifikation der Fra-gebögen durch das Konsortium gewährleistet auch hier die Vergleichbarkeit zwischen den Teilnehmerländern.Insgesamt ist die Übersetzung und Adaption der Testauf-gaben und Fragebögen zeitlich und finanziell ein enorm aufwändiger Prozess. Dieser Einsatz ist aber unbedingt not-wendig, um die Qualität der Studie zu sichern, insbesonde-re im Bereich der Ländervergleiche.

LESEHINWEIS

Die internationalen Fragebögen und nationalen Zu-satzerhebungen sind auf der BIFIE-Webseite als PDF erhältlich (www.bifie.at/pisa).

Die unmittelbaren Vorbereitungen für die Datenerhebung im Haupttest beginnen nach Ziehung der Schulstichprobe durch das internationale Konsortium, etwa vier Monate vor der Er hebung. Dieser sensible Prozess der Daten erhebung und -verarbei-tung, der die Kontaktaufnahme mit den zuständigen Behör den und den ausgewähl-ten Schulen, die Ein schulung der Testleiter/innen, die Durch führung der PISA-Tes-tungen und die Erfassung und Bewertung der Schülerantworten beinhaltet, ist für die Qualität der Daten und die internationale Vergleichbarkeit von großer Bedeutung.

Kontaktaufnahme mit den Schulen und Testorganisation bei PISA 2012

Im November 2011 informierte die OECD das BIFIE über die bei der Schulstichpro-benziehung für PISA 2012 ausgewählten Schulen. Das BIFIE informierte anschlie-ßend die zuständigen Schulbehörden: die Landesschulratspräsidenten, die Präsiden-tin des Stadtschulrats für Wien, die Lan-des- und Bezirksschulinspektorinnen und -inspektoren sowie die Berufsschulinspek-torinnen und -inspektoren. Mit Jahresbe-ginn 2012 wurden die Schulleiter/innen der gezogenen Schulen über die Auswahl in Kenntnis gesetzt und um Kooperation gebeten.

Die PISA-Tests wurden in Österreich von schulexternen Testleiterinnen und Testleitern durchgeführt, die großteils Mitarbeiter/in-nen von Pädagogischen Hochschulen oder Lehrer/innen sind. Lehrer/innen werden als Testleiter/innen nur an Schulen eingesetzt, an denen sie nicht selbst unterrichten.

Im Jänner 2012 ernannten die Schulleiter/innen der PISA-Schulen einen Schulkoor-dinator/eine Schulkoordinatorin, der/die als Kontaktperson zwischen der Schule und dem BIFIE fungierte und für die weiteren organisatorischen Tätigkeiten im Rahmen

der Erhebung an der Schule verantwortlich war. Die erste Aufgabe der Schulkoordinatorin-nen und -koordinatoren bestand darin, eine Liste aller Schüler/innen des Geburts-jahrgangs 1996 ab der 7. Schulstufe an der Schule zu erstellen und an das BIFIE zu übermitteln. Das BIFIE konnte auf dieser Basis den zweiten Schritt der Stichproben-ziehung – die Zufallsauswahl der zu testen-den Schüler/innen – durchführen. Mitte März 2012 erhielt der/die Schulko-ordinator/in die PISA-Schülerliste, auf der die ausgewählten Schüler/innen anhand ei-ner laufenden Nummer aufgelistet waren. Laut Stichprobenplan wurden je Schule maximal 35 Schüler/innen zur Teilnahme am papierbasierten Testteil (Testheft und Schülerfragebogen) zufällig bestimmt; ma-ximal 18 dieser Schüler/innen (ebenfalls zufällig ausgewählt) bearbeiteten zusätz-lich den Computertest. Die ausgewählten Schüler/innen und deren Eltern wurden vom/von der Schulkoordinator/in mit einem Folder und einem Schreiben des BIFIE über die PISA-Studie informiert. Darüber hinaus vereinbarte die Schulkoor-dination mit der Testleitung einen Termin für die Testsitzung und reservierte adäqua-te Räume an der Schule. Außerdem prüf-te er/sie, ob die schuleigenen PCs für die Durchführung des Computertests geeignet waren. Der/die Schulkoordinator/in infor-mierte auch die Lehrer/innen der Schule über die teilnehmenden Schüler/innen und den Testtermin.

Vorbereitung und Druck der Testmaterialien

Nach der Übersetzung, nationalen An pas - sung, Layoutierung, Verifikation und fi-nalen Überprüfung der Testhefte und Fra - gebögen gingen diese Mitte Februar 2012 in Druck. Der Computertest wurde nach der finalen Überprüfung auf USB-Sticks vervielfältigt. Anschließend erfolgte am BIFIE eine stich probenartige Qualitäts-kontrolle der fertig produzierten Erhe-

6 Datenerhebung und -verarbeitung


bungsmaterialien; danach wurden die Pakete für die einzel-nen Schulen zusammengestellt.

Schulung der Testleiter/innen und Übergabe der Schulpakete

Die Testleiter/innen lasen als Vorbereitung auf die Testadmi-nistration ein Handbuch durch und nahmen an einer halb-tägigen Testleiterschulung des BIFIE teil. Dabei wurden die Testleiter/innen insbesondere in der standardisierten Test-durchführung geschult. Ein weiterer Fokus der Schulung lag auf der Demonstration des Computertests, um die Test-leiter/innen mit den technischen Anforderungen vertraut zu machen.Im Anschluss an das Training bekamen die Testleiter/innen für jede ihnen zugeteilte Schule ein Schulpaket, in dem alle benötigten Testinstrumente und Unterlagen (Testhefte, Fragebögen, USB-Sticks mit der Computertest-Software, PISA-Schülerliste, Testsitzungsprotokoll usw.) enthalten war en. Bis zum Rückversand der Schulpakete an das BIFIE nach Abschluss der Testsitzungen waren die Testleiter/innen für die Sicherheit der Materialien verantwortlich.

Die Durchführung der PISA-Tests

Die PISA-Testungen müssen entsprechend den Vorgaben der OECD innerhalb eines vorab festgelegten, maximal sechswöchigen Testfensters stattfinden, welches nicht inner-halb der ersten sechs Wochen eines Schuljahrs liegen darf. In Österreich fanden die Tests im Zeitraum von 11. April bis 23. Mai 2012 statt (mit Ausnahme einiger lehrgangsmä-ßig geführter Berufsschulen, an denen schon ab 12. März getestet wurde). Im Haupttest 2012 waren in Österreich 85 Testleiter/innen im Einsatz. Der Ablauf einer PISA-Testsitzung ist in hohem Maße standardisiert und muss an allen beteiligten Schulen und in allen teilnehmenden Ländern gleich sein, um die Ver-gleichbarkeit der Ergebnisse zu gewährleisten. Abbildung 6.1 zeigt den Ablauf des PISA-Tests 2012.

Nach einer kurzen, standardisierten Begrüßung und Ein-leitung durch den/die Testleiter/in bearbeiteten die Schü-ler/innen das PISA-Testheft (s. Kapitel 5). Dazu hatten sie zweimal 60 Minuten Zeit, mit einer 5-minütigen Pause

nach der ersten Hälfte. Nach einer weiteren Pause von 15 Minuten füllten die Jugendlichen den Schülerfragebogen aus (s. Kapitel 5). Für die Bearbeitung des Schülerfragebo-gens – bestehend aus einem internationalen Fragebogenteil und nationalen Zusatzerhebungen – waren insgesamt ca. 50 Minuten vorgesehen.Danach war der PISA-Test für einen Teil der Schüler/innen zu Ende. Für die maximal 18 Schüler/innen pro Schule, die zusätzlich für den Computertest ausgewählt worden waren, folgte eine einstündige Pause, in der die Testleiter/innen die Vorbereitungen für den Computertest trafen. Der compu-terbasierte Testteil begann mit einer kurzen, standardisier-ten Instruktions- und Übungsphase (ca. 20 Minuten), der Test selbst dauerte 40 Minuten.

Um möglichst viele der ausgewählten Schüler/innen testen zu können und um die geforderte Rücklaufquote auf Schü-lerebene zu erreichen (s. Kapitel 4), wurde an Schulen, an denen am Testtag mehr als 15 % der Schüler/innen fehlten, ein Nachtest durchgeführt. Die Notwendigkeit eines Nach-tests wurde separat für den papier- und für den computer-basierten Test bestimmt. Bei PISA 2012 wurden insgesamt 29 Nachtests abgehalten.

Aufgaben der Testleiter/innen

Die Testleiter/innen haben bei der Durchführung der Tests verschiedene Aufgaben: Sie prüfen die Anwesenheit der ausgewählten Schüler/innen, verteilen die Testhefte und Schülerfragebögen, bereiten die PCs oder Leihlaptops für den Computertest vor, verlesen die standardisierten Anlei-tungen, überwachen den Testablauf und nehmen die Ma-terialien nach der Testung wieder mit, damit niemand an der Schule diese einsehen kann. Die Anweisungen an die Schüler/innen zum Bearbeiten der Tests bzw. zum Ausfül-len des Fragebogens müssen von den Testleiterinnen und Testleitern wörtlich vorgelesen werden. Durch diese Vorge-hensweise erhalten Schüler/innen an allen Schulen und in allen Teilnehmerländern die gleichen Instruktionen. Hilfe-stellungen durch die Testleiter/innen zur Lösung der Test-aufgaben sind nicht erlaubt.

Zu jeder Testsitzung vervollständigen die Testleiter/innen zudem ein Testsitzungsprotokoll, in dem die genauen Be-ginn-, Pausen- und Endzeiten festgehalten und besondere Vorkommnisse notiert werden. Die Testleiter/innen sind

während der gesamten Date-nerhebung (vom Zeitpunkt der Ausgabe bis zur Rück-sendung ans BIFIE) für die Sicherheit der Materialien verantwortlich. Dadurch wird sichergestellt, dass die Materi-alien vertraulich gehandhabt werden und keine Materi-alien/Daten verloren gehen.

Abbildung 6.1: Ablauf einer PISA-Testsitzung (PISA 2012)

Testheft Schülerfragebogen Computertest

15 Min

Pause

PISA-Testheft:2 x 60 Min

(mit 5 Min Pause)

Begrüßung und Einleitung durch

Testleiter/in

PISA-Schüler-fragebogen:ca. 50 Min

PISA-Computertest:20 Min Instruktion

und Übung,40 Min Test

60 Min

Pause

Datenerhebung und -verarbeitung 45

Datenerfassung und Bewertung der Schülerantworten auf offene Fragen

Bevor mit der Erfassung der Daten aus den Testheften und Schülerfragebögen begonnen wird, wird eine Rücklaufkon-trolle der Testmaterialien durchgeführt. Diese fand in Ös-ter reich im Mai 2012 statt. Dabei wurde für jede Schule dokumentiert, ob die Materialien vollständig retourniert worden waren. Zusätzlich wurde für jeden/jede Schüler/in notiert, ob die ihm/ihr zugeordneten Testinstrumente bear-beitet oder unbearbeitet retourniert wurden. Die Protokolle aller Testsitzungen wurden gesammelt, kontrolliert und zu einem späteren Zeitpunkt analysiert.

Im nächsten Schritt wurden die Schülerantworten aus den Testheften und Schülerfragebögen elektronisch erfasst. Dies erfolgte bei PISA 2012 größtenteils automatisiert, indem die Testhefte und Fragebögen mithilfe von Scannern und einer Spezialsoftware verarbeitet wurden. Alle Antworten in den Schülerfragebögen, bei denen die Jugendlichen eine Antwort ankreuzen mussten, sowie Antworten auf Multiple-Choice-Fragen (s. Tabelle 6.2) wurden von der Scansoftware automatisch erkannt und erfasst. Konnte das Programm eine Antwort nicht eindeutig lesen, wurde der entsprechende Eintrag von speziell geschulten Personen ma-nuell eingegeben („Verifikation“). Im Vergleich zur manuel-len Dateneingabe sind bei der automatisierten Datenerfas-sung sowohl der zeitliche Aufwand als auch die Fehlerquote geringer.Die Qualität der Daten wurde durch Kontrollen während der Datenerfassung und umfangreiche File-Cleaning-Pro-zeduren auf nationaler und internationaler Ebene im An-schluss an die Datenerfassung sichergestellt.Die frei formulierten Antworten der Schüler/innen auf die offenen Fragen (s. Tabelle 6.2) in den Testheften und im Computertest wurden mithilfe einer Online-Codiersoft-ware des internationalen Konsortiums elektronisch codiert (s. „Coding“).Die restlichen Antwortdaten aus dem Computertest, die keine Bewertung erforderten, lagen bereits in elektronischer Form vor und mussten daher nicht weiter bearbeitet werden.

Die Bewertungsrichtlinien für die offenen Fragen

Um zu gewährleisten, dass die frei formulierten Schülerant-worten in allen Teilnehmerländern einheitlich bewertet („co - diert“) werden, gibt es präzise Coding Guides, in denen die notwendigen Bewertungsrichtlinien für die offenen Fragen im Detail ausgeführt werden. Diese umfangreichen Coding Guides wurden ins Deutsche übersetzt und anschließend wie die Testaufgaben internatio-nal verifiziert. Zusätzlich zu den Richtlinien in den Coding Guides wurde ein internationales Training veranstaltet, bei dem Vertreter/innen aus allen teilnehmenden Ländern an-hand von konkreten Schülerantworten die Anwendung der Codes übten und diskutierten. Ziel der Schulung war es, einen internationalen Konsens zu erreichen, der eine kon-sistente Anwendung der Richtlinien gewährleistete und da-mit den Prozess des Codings standardisierte.

Das Coding

Generell werden bei PISA Schülerantworten auf offene Fra-gen nicht in „richtig“ oder „falsch“ eingeteilt, sondern je nach Qualität des Ergebnisses erhalten die Schüler/innen für ihre Antworten Punkte: Full Credit bedeutet, dass die Schüler/innen alle möglichen Punkte für ihre Antwort erhalten, Par-tial Credit heißt, dass sie einen Teil der Punkte erhalten und bei No Credit wird kein Punkt vergeben bzw. der Code 0. Welche Antworten Full Credit, Partial Credit oder No Credit erhalten, ist in den Coding Guides für jede Aufgabe festge-halten. Dabei werden akzeptable Lösungsansätze und -wege beschrieben sowie gängige Missverständnisse und Fehler er-läutert. Zu jedem Code sind in den Bewertungsrichtlinien auch mehrere Beispiele von Schülerantworten aufgeführt. Die Aufgabenbeispiele in Kapitel 3 beinhalten jeweils die da-zugehörenden Bewertungsrichtlinien.

Single und Multiple Coding

Bei PISA gibt es zwei Coding-Designs: das Single Coding und das Multiple Coding. Als Single Coding wird die „nor-male“ Prozedur des Codings von Schülerantworten bezeich-

Tabelle 6.2 Aufgabenformate und erforderliche Bewertung der Schülerantworten

Aufgabenformat Antworttypen Bewertung

Multiple-Choice-Aufgaben nur eine korrekte Antwort kein Coding erforderlich

komplexe Multiple-Choice-AufgabenSerie von Richtig/Falsch- bzw. Ja/Nein-Antworten

kein Coding erforderlich

kurze, offene Aufgabenkurze, selbst konstruierte verbale/numerische Antwort

teilweise Coding erforderlich; je nach Bewertungsvorschriften

lange, offene Aufgaben längere, selbst konstruierte verbale Antwort Coding laut Bewertungsvorschriften


net, bei der jede Schülerantwort von je einem Coder/einer Coderin bewertet wird. Während des Single Codings kön-nen die Coder/innen Rücksprache mit den Mitarbeiterin-nen und Mitarbeitern des BIFIE, die für das Coding ver-antwortlich sind, halten. Das Multiple Coding ist eine Qualitätssicherungsmaßnahme, bei der eine gewisse Anzahl von Schülerantworten durch vier Coder/innen unabhängig voneinander bewertet wird. Anders als beim Single Coding dürfen die Coder/innen keine Rücksprache halten, sie müs-sen selbstständig entscheiden. Ziel ist die Feststellung der Qualität des Codings, gemessen an der Übereinstimmung zwischen den Coderinnen und Codern.

Das Coding im Online-Coding-System bei PISA 2012

Für die elektronische Codierung der frei formulierten Ant-worten der Schüler/innen wurden die gescannten Bilddatei-en der Schülerantworten bzw. die entsprechenden Antwort-daten aus dem Computertest in das Online-Coding-System des internationalen Konsortiums transferiert.

Das Coding selbst wurde von qualifiziertem, speziell ge-schultem externem Personal, den Coderinnen und Codern, durchgeführt. Geleitet wurde dieser Prozess von den Coding-Verantwortlichen („Coding-Supervisorinnen“) des BIFIE, die das internationale Training für den jeweiligen Kompe-tenzbereich besucht hatten. Die Supervisorinnen wählten die externen Coder/innen auf Basis eines Bewerbungsverfahrens aus. Um sich als Coder/in bewerben zu können, ist als Qualifikation Erfahrung im Umgang mit den Antworten von 15-/16-Jährigen sowie fachliches Wissen über den Schulstoff der entsprechenden Kompetenzbereiche gefordert. Die Coder/innen in Öster-reich sind Lehramtsstudentinnen und -studenten am Ende ihrer Ausbildung (für Hauptschulen oder AHS), Unter-richtspraktikantinnen und -praktikanten oder ausgebildete Lehrer/innen. Für den Schwerpunkt Mathematik wurden im Jahr 2012 insgesamt 16 Coder/innen eingesetzt, für Le-sen, Naturwissenschaft und Problemlösen jeweils vier.

Die Coder/innen wurden intensiv in die Vercodung der PISA-Aufgaben eingeschult, sodass sie die richtige Anwen-dung der Bewertungsrichtlinien beherrschten. Die Bewer-tung der Schülerantworten erfolgte „Item by Item“, das bedeutet, dass die Coder/innen immer alle Antworten, die es zu einer Aufgabe gibt, vollständig bewerteten, ehe sie mit der nächsten begannen. Diese Vorgehensweise gewährleis-tet, dass bei der Bewertung einer Aufgabe durchgehend die gleichen Bewertungsmaßstäbe angewendet werden.

Die Zuteilung der Items zu den Coderinnen und Codern erfolgte automatisch im Online-Coding-System. Antworten, die für die Coder/innen nicht eindeutig waren, konnten markiert und an die Supervisorinnen zum Review gesendet werden. Darüber hinaus unterlag die Arbeit der Coder/in-nen ständigen Qualitätskontrollen. Eine davon ist die stich-probenartige Kontrolle der vergebenen Codes während des

Vercodungsprozesses. Wurden bei diesen Kontrollen syste-matische oder grobe Fehler entdeckt, fand für die jeweils betroffenen Coder/innen eine Nachschulung statt und die bereits vercodeten Schülerantworten mussten nachbearbei-tet werden. Für das Multiple Coding wurden pro Aufgabe des Schwerpunktbereichs Mathematik 100 Schülerantwor-ten mehrfach vercodet und pro Aufgabe aus den anderen Kompetenzbereichen jeweils 50. Nach vollständiger Beant-wortung einer Aufgabe konnte eine Reliabilitäts-Statistik, die Angaben über die Übereinstimmung zwischen den Coderinnnen und Codern beim Multiple Coding enthält, abgerufen werden. In dem Fall, dass die Übereinstim-mung nicht hoch genug war, erhielten die Coder/innen für die betreffende Aufgabe eine Nachschulung und ver-codeten die Aufgaben erneut. Als weitere Qualitätssiche-rungsmaßnahme wurden so genannte Control scripts ein - gesetzt. Das sind Schülerantworten, die vom internatio-nalen Zentrum vorgegeben und in alle Sprachen übersetzt werden. Mithilfe dieser standardisierten Schülerantworten kann kontrolliert werden, ob die Bewertungsrichtlinien von den Coderinnen und Codern in den verschiedenen Teilneh-merländern korrekt und konsistent angewendet werden. Die großen Anstrengungen bei der Qualitätssicherung im Bereich der Bewertung der Schülerantworten wurden un-ternommen, um letztendlich eine objektive Vergleichbar-keit der PISA-Daten gewährleisten zu können.

Die Datenübermittlung

Jedes Teilnehmerland musste „seine“ Daten innerhalb von zwölf Wochen nach dem Ende des Testfensters an das in-ternationale Konsortium übermitteln, um sicherzustellen, dass alle Daten zeitgerecht für die internationale Datenauf-bereitung zur Verfügung standen. Dies war insbesondere für Länder der südlichen Hemisphäre von großer Bedeutung, weil sich deren Testfenster bis Ende August 2012 erstreck-te. Erst wenn die Daten aller Länder beim internationalen Konsortium vorliegen und nochmals auf Unstimmigkeiten hin überprüft worden sind, kann mit der Aufbereitung der Daten für die Ergebnisanalysen begonnen werden (s. Kapi-tel 8). Ein detaillierter Zeitplan, in dem auch die Datener-hebungs- und Verarbeitungsphase dargestellt ist, befindet sich in Kapitel 2.

Der Feldtest, der genau ein Jahr vor der Haupterhebung stattfindet, ist ein sehr wichtiger Bestandteil von PISA und stellt eine zentrale Maßnahme zur Qualitätssiche-rung dar. In erster Linie dient der Feldtest der Erprobung der neuen Aufgaben und Fragebogeninhalte sowie aller wichtigen Prozeduren im Bereich der Stichproben-ziehung, der Testdurchführung, der Da-tenverarbeitung und der Bewertung der Schülerantworten auf offene Fragen.

Die im Feldtest gewonnenen Daten dienen nicht der Leistungsmessung. Sie werden herangezogen, um umfassende Aufgaben-statistiken zu berechnen, die Hinweise auf Verbesserungspotenzial der Aufgaben lie-fern und auf deren Basis die besten Aufga-ben für den Haupttest ausgewählt werden. Zudem werden im Feldtest alle Abläufe, die für den Haupttest vorgesehen sind, erprobt und mithilfe der Rückmeldungen aus den Teilnehmerländern und den Erfahrungen des internationalen Konsortiums für den Haupttest optimiert. Der Feldtest leistet somit einen wichtigen Beitrag zur Quali-tätssicherung bei der Datengewinnung im Haupttest.

Im Feldtest zu PISA 2012 nahm die Vorbe-reitung und Durchführung des Computer-tests (s. Kapitel 5) inklusive der Erprobung der technischen Voraussetzungen an den Schulen eine wichtige Rolle ein. In Öster-reich wurde darüber hinaus die automati-sierte Datenverarbeitung mittels Scanning (s. Kapitel 6) erprobt.

Der Feldtest zu PISA 2012 fand im Früh-jahr 2011 statt. Im Folgenden werden die Stichprobenziehung, die Instrumente so-wie die Datenerhebung und -verarbeitung für den Feldtest näher beschrieben.

Die Stichprobe für den Feldtest zu PISA 2012

Die Feldteststichprobe unterscheidet sich von der Hauptteststichprobe in zwei we-sentlichen Punkten: (1) Sie ist deutlich kleiner und (2) die internationalen Richt-linien für die Stichprobenziehung sind we-niger strikt. Die Feldteststichprobe muss in erster Linie alle wesentlichen Teile der Population enthalten – also Schüler/innen aller relevanten Schulformen und Schul-stufen sowie möglichst aller Regionen. Die Populationsdefinition wird für den Feldtest so angepasst, dass die Schüler/in-nen das entsprechende Alter (15/16 Jahre) aufweisen. In Österreich bildete der Ge-burtsjahrgang 1995 die Zielpopulation für den Feldtest im Jahr 2011.

Die Stichprobe umfasste in Österreich 60 Schulen, die sich auf alle Bundesländer ver-teilten. Mit Ausnahme der Schulen mit ei-genem Statut deckte die Feldteststichprobe alle Schulsparten ab. Statutschulen wurden in Österreich aufgrund ihres sehr gerin-gen Anteils an der Schülerpopulation vom Feldtest ausgenommen.

Ein wichtiger Aspekt des Feldtests zu PISA 2012 war die Erprobung der Stichproben-ziehung auf Schülerebene. An 14 der 60 ausgewählten Schulen wurden zufällig je 35 Schüler/innen für die Teilnahme am pa-pierbasierten Testteil (mit gedruckten Test-heften und Schülerfragebögen) ausge wählt. Aus diesen 35 Schülerinnen und Schü - lern wurden 20 Schüler/innen zufällig be-stimmt, die im Anschluss an den papier-basierten Test zusätzlich den Computertest bearbeiten sollten. An den verbleibenden 46 Schulen wurden je 20 Schüler/innen

7 Der Feldtest zu PISA 2012


sowohl für den papierbasierten Test als auch für den Com-putertest ausgewählt. Insgesamt umfasste die Feldteststichprobe 1 392 Schüler/in-nen. 28 Jugendliche mussten aufgrund von körperlichen/geistigen Beeinträchtigungen oder mangelnden Deutsch-kenntnissen vom Test ausgeschlossen werden. 64 Schüler/innen hatten im Zeitraum zwischen der Ziehung der Schü-lerstichprobe und dem Testtermin die Schule verlassen (44 Schüler/innen) oder gewechselt (20 Schüler/innen). 57 Schüler/innen besuchten lehrgangsmäßig geführte Berufs-schulen und hatten während des Testfensters keinen Un-terricht, wodurch sie für die PISA-Testung nicht in Frage kamen. Diese Schüler/innen zählen international als Nicht-teilnahme. Bei der Berechnung des Rücklaufs auf nationa-ler Ebene werden sie jedoch nicht berücksichtigt, da sie am Test gar nicht teilnehmen hätten können.Dies ergibt 1 243 zu testende Schüler/innen, von denen 87 am Testtag abwesend waren. Mit einer Teilnahmequote von 100 % auf Schulebene und 93 % auf Schülerebene (ohne Berücksichtigung der nicht erreichbaren Berufsschüler/in-nen) lagen schließlich verwendbare Daten von 1 156 Schü-lerinnen und Schülern aus 60 Schulen vor. Tabelle 7.1 zeigt die realisierte Feldteststichprobe für Schulen und Schüler/innen getrennt nach Schulsparten.

Die Testhefte und Schülerfragebögen für den Feldtest

Eine ganz wesentliche Aufgabe des Feldtests ist die Erpro-bung der neu entwickelten Aufgaben. In Mathematik wurde eine große Menge an neuen Aufgaben benötigt (sowohl für den papierbasierten Test als auch für den Computertest), da dieser Bereich bei PISA 2012 schwerpunktmäßig erfasst wurde. Die computerbasierten Mathematikaufgaben wur - den in Österreich im Feldtest nicht eingesetzt, da die Ent-scheidung zur Teilnahme an dieser Option erst nach dem Feldtest getroffen wurde. Die deutschsprachige Version der

Mathematikaufgaben wurde jedoch in Deutschland im Feldtest erprobt und mit nur einigen wenigen Adaptionen in Österreich im Haupttest verwendet. Ebenso wurden neue Aufgaben für den Bereich Problemlösen entwickelt. Die neuen Aufgaben wurden zunächst auf internationaler und nationaler Ebene von Expertinnen und Experten be-gutachtet (s. Kapitel 2). Die als geeignet erachteten Aufga-ben wurden dann im Feldtest erprobt.

Die Analysen der Feldtestdaten sowie die detaillierten Rückmeldungen über die Erfahrungen mit den neuen Auf-gaben aus den Teilnehmerländern (z. B. bei der Bewertung der Schülerantworten) geben Aufschluss darüber, welche Aufgaben gut „funktionieren“ und welche weniger gut für die Kompetenzmessung geeignet sind. Die statistischen In-formationen geben zudem Aufschluss über die Schwierig-keit und die Trennschärfe der Testaufgaben sowie darüber, inwieweit einzelne Aufgaben faire Vergleiche zwischen Län-dern oder zwischen Mädchen und Burschen zulassen. Zu-dem können mithilfe der Analysen etwaige Schwächen der Übersetzung oder der nationalen Anpassungen aufgedeckt werden, die dann bei der Überarbeitung für den Haupttest behoben werden können.Auf Basis dieser Analysen und Rückmeldungen werden die am besten funktionierenden Aufgaben für den Haupttest ausgewählt und, wenn notwendig, überarbeitet. An den Auf - gaben werden nur dann Änderungen vorgenommen, wenn diese dazu beitragen, die Kompetenz präziser zu messen.

Neben den neu entwickelten Testaufgaben werden im Feld-test auch die Kontextfragebögen auf Schul- und Schüler-ebene erprobt. Im internationalen Schülerfragebogen für PISA 2012 (s. Kapitel 5) standen dabei vor allem die neuen Skalen zum Mathematik-Schwerpunkt, zum Problemlö-sen und zur Computernutzung auf dem Prüfstand. Dar-über hinaus wurden neue Frageformate erprobt, wie zum Beispiel „forced choice“, bei dem sich die Schüler/innen zwischen zwei Aussagen entscheiden müssen, oder so ge-

Tabelle 7.1: Die realisierte österreichische Stichprobe im Feldtest zu PISA 2012

Schulen Schüler/innenteilgenommen

Stratum Anzahl Prozent Anzahl Prozent

Allgemeinbildende Pfl ichtschulen 9 15,0 % 131 11,3 %

Schulen mit eigenem Statut 0 0,0 % 0 0,0 %

Allgemeinbildende höhere Schulen 17 28,3 % 355 30,7 %

Berufsschulen 8 13,3 % 137 11,9 %

Berufsbildende mittlere Schulen 10 16,7 % 197 17,0 %

Berufsbildende höhere Schulen 16 26,7 % 336 29,1 %

Teilnahme gesamt 60 100,0 % 1 156 100,0 %

Der Feldtest zu PISA 2012 49

nannte „Anchoring Vignettes“, mit deren Hilfe kulturelle Unterschiede im Antwortverhalten der Schüler/innen in den verschiedenen Teilnehmerländern ausgeglichen werden können (OECD, forthcoming).Ebenso wurden alle für PISA 2012 neu entwickelten natio-nalen Zusatzfragen im Feldtest erprobt.

Datenerhebung und -verarbeitung im Feldtest

Da im Feldtest überprüft wird, ob die für den Haupttest geplanten Abläufe funktionieren, sind die wesentlichen Eckpunkte der Datenerhebung im Feld- und im Haupt-test identisch. Dazu gehören vor allem die Information der Schulbehörden, die Kontaktaufnahme mit den ausgewähl-ten Schulen, die Information der Schüler/innen, die Schu-lung der Testleiter/innen, die Durchführung der Tests, die Datenverarbeitung am BIFIE und die Bewertung der Schü-lerantworten auf offene Fragen.Beim Feldtest zu PISA 2012 lag der Fokus auf der Abwick-lung und der technischen Umsetzung des Computertests einschließlich der Erprobung der Testsoftware und der Übermittlung der Schülerantwortdaten an das BIFIE und an das internationale Zentrum.Zentral war auf nationaler Ebene auch die Erprobung der automatisierten Datenerfassung mittels Scannern und Spe-zialsoftware und des Online-Codings. Die gedruckten Test-hefte und Fragebögen wurden eingescannt, die Schülerant-worten durch eine Spezialsoftware interpretiert sowie frei formulierte Schülerantworten auf offene Fragen (bzw. die entsprechenden Bilddateien) in das Online-Coding-System

transferiert und bewertet (s. Kapitel 6). Alle diese Schritte mussten hinsichtlich ihrer Funktionalität vor dem Einsatz im Haupttest getestet werden.

Die Bewertung der Schülerantworten auf offene Fragen nimmt im Feldtest einen besonderen Stellenwert ein. Ge-rade hier treten oft Schwächen der Aufgaben und/oder Bewertungsvorschriften zutage. Im Feldtest zu PISA 2012 wurden 80 Schülerantworten pro Testaufgabe von mehre-ren Coderinnen und Codern unabhängig voneinander be-wertet (Multiple Coding). Sind sich die Coder/innen bei der Bewertung uneinig, kann dies auf generelle Mängel in der Formulierung der Bewertungsvorschriften in der inter-nationalen Quellversion, auf Probleme bei der Übersetzung dieser Bewertungsvorschriften oder auf Schwächen bei der Coderschulung hinweisen. Die Erfahrungen aus dem Feld-test sowie die Ergebnisse aus den Mehrfachbeurteilungen der Schülerantworten stellen daher eine wesentliche Grund-lage für eventuell notwendige Verbesserungen der Bewer-tungsvorschriften – oder deren Übersetzungen – vor dem Einsatz im Haupttest dar.

Da die Erfahrung der Mitarbeiter/innen enormes Potenzial für eine qualitativ hochwertige Abwicklung des Haupttests birgt, wird im Feld- und im Haupttest – soweit möglich – das gleiche Personal eingesetzt. Dies gilt auch für das exter-ne Personal (Testleiter/innen, Datenerfassungspersonal und Coder/innen). Die beim Feldtest gesammelten Erfahrungen fließen in alle Bereiche der Umsetzung des Haupttests ein. Die Durchführung eines Feldtests an sich stellt damit eine wesentliche Maßnahme zur Qualitätssicherung im Haupt-test dar.

Nachdem die Qualität der Daten aller Teilnehmerländer vom internationalen Konsortium umfassend geprüft worden ist, wird die internationale Datenbasis für die Ergebnisanalysen aufbereitet. Ein zentraler Schritt dabei ist die Skalierung der Leistungsdaten aller teilnehmenden Länder und die Bildung der Kompetenzstufen.

Die PISA-Skala für die Kompetenzbereiche

Die bei PISA gemessenen Kompetenzen werden für jeden Bereich auf einer kontinuierlichen Skala, der PISA-Skala dargestellt. Diese wird anhand eines statistischen Modells auf Basis der Aufgabenschwierigkeit und der Testwerte der Schüler/innen konstruiert (s. „Schülerscore und Aufgabenschwierigkeit“). Die PISASkala für die einzelnen Kompetenzbereiche wurde jeweils zu dem Zeitpunkt festgelegt, als der betreffende Bereich schwerpunktmäßig erfasst wurde (Lesen: PISA 2000, Mathematik: PISA 2003, Naturwissenschaft: PISA 2006). Die Skala wurde jeweils so transformiert, dass sich über alle OECDLänder gerechnet ein Mittelwert von 500 Punkten und eine Standardabweichung von 100 Punkten ergaben. Dadurch weisen im OECDSchnitt etwa 65 % der 15/16jährigen Schüler/innen einen Wert zwischen 400 und 600 Punkten auf. Abbildung 8.1 zeigt den Aufbau einer solchen PISASkala.

Mithilfe der LinkAufgaben (Aufgaben, die bei allen Erhebungszeitpunkten ident verwendet werden, s. Kapitel 5) können die Skalen der jeweiligen Kompetenzbereiche über die Erhebungszeitpunkte hinweg verankert werden. Die Metrik der PISA2012Mathematikskala basiert daher auf der Mathematikskala von PISA 2003, die einen Mittelwert der OECDLänder von 500 Punkten und eine Standardabweichung von 100 Punkten aufweist.

Die bei PISA 2012 eingesetzten Mathematikaufgaben können drei mathematischen Prozessen (Formulieren, Anwenden und Interpretieren) und vier Inhaltsbereichen (Größen, Raum & Form, Veränderung & Zusammenhänge sowie Unsicherheit & Daten) zugeordnet werden. Für jeden die ser Bereiche wird zur Darstellung der Ergebnisse eine eigene Skala gebildet (OECD, 2013b).

8 Datenaufbereitung für die Ergebnisanalysen

Abbildung 8.1: Die PISA-Skala

500

600

400

700

300

OECD-Mittelwert

über

durc

hsch

nitt

liche

Sch

üler

scor

esun

terd

urch

schn

ittlic

he S

chül

ersc

ores

Im Bereich von +/- einer Standardab-weichung (s) liegen ca. 65 % aller Schüler/innen

S

S

Datenaufbereitung für die Ergebnisanalysen 51

Schülerscore und Aufgabenschwierigkeit

Basis für die Datenskalierung sind die Werte (Scores) der Schüler/innen zu den einzelnen Aufgaben (Full Credit, Partial Credit oder No Credit, s. Kapitel 6) sowie die Schwierigkeit der Aufgabe. Im Zuge der Skalierung wird für jeden Schüler/jede Schülerin ein Gesamtwert in jedem Kompetenzbereich berechnet, der mit einem bestimmten Punkt auf der Skala verknüpft ist. Ebenso wird jeder Testaufgabe eine Position auf derselben Skala zugewiesen, die die Schwierigkeit der Aufgabe angibt. Die Skalen sind somit kontinuierlich mit aufsteigender Schwierigkeit und theoretisch nach unten und oben offen. Das bedeutet, dass eine gute Leistung mit einem hohen Schülerscore und eine schlechte Leistung mit einem niedrigen Schülerscore einhergehen. Für die Testaufgaben heißt das, dass schwierige Aufgaben einen hohen Skalenwert (Aufgabenschwierigkeit) und leichte Aufgaben einen niedrigen Skalenwert aufweisen. Abbildung 8.2 zeigt dies exemplarisch für die Mathematikaufgaben aus dem PISA2012Haupttest, die in Kapitel 3 dargestellt sind.

Kompetenzstufen

Damit die Werte der Schüler/innen besser interpretiert werden können, wurden die Skalen mithilfe statistischer Prozeduren in unterschiedliche Kompetenzstufen (Proficiency Levels) unterteilt. Die Kompetenzstufen werden so gebildet, dass die kontinuierliche PISASkala (500, 100) an bestimmten (statistisch sinnvollen und inhaltlich interpretierbaren) Punkten geteilt wird. Dadurch kann jeder Schüler/jede Schülerin entsprechend dem jeweils erreichten Punktwert ei ner Kompetenzstufe zugeordnet werden. Jeder Level enthält somit Schüler/innen, denen ein bestimmtes Wissen und bestimmte Fertigkeiten gemeinsam sind. Da der PISASkala auch die Testaufgaben zugeordnet werden, gehören jeder Kompetenzstufe auch bestimmte Testaufgaben an, wodurch die Fähigkeiten der Schüler/innen, die

500

700

300

600

400

800

200

Full Credit: 489 – mittelSauce − Aufgabe 1

Schwierigkeit 428 – leichtCharts− Aufgabe 2

Score 381Schüler/in C

Score 754Schüler/in A

Score500

Score 500Schüler/in B

Schwierigkeit 348 – leichtCharts − Aufgabe 1

Schwierigkeit 576 – eher schwierigWohnungskauf − Aufgabe 1

Full Credit: 658 – schwierig

Partial Credit: 611

Tropfrate − Aufgabe 1

Abbildung 8.2: Verankerung von Schülerleistung und Aufgabenschwierigkeit an der PISA-Skala am Beispiel von freigegebenen Mathematikaufgaben


für eine erfolgreiche Lösung dieser Aufgaben benötigt werden, anschaulich beschrieben werden können.Für den Bereich Mathematik wurden im Rahmen von PISA 2003 sechs Kompetenzstufen gebildet. Level 1 ist die niedrigste Stufe, die mithilfe der Aufgaben beschrieben werden kann, gefolgt von Level 2, Level 3 und so weiter – bis Level 6, der höchsten Kompetenzstufe. Abbildung 8.3 zeigt, wie die Teilung der Mathematikskala in die Kompetenzstufen erfolgt.

Für den Bereich Naturwissenschaft wurden bei PISA 2006 ebenfalls sechs Kompetenzstufen gebildet (s. Abbildung 8.6). Für Lesen wurden anfänglich (PISA 2000) fünf Kompetenzstufen festgelegt. Im Zuge der zweiten schwerpunktmäßigen Erhebung bei PISA 2009 wurden sowohl mehr leichte als auch mehr schwierige Aufgaben eingesetzt, um die Fähigkeiten der Jugendlichen am unteren und oberen Ende der Skala besser beschreiben zu können (Unterteilung von Level 1 in Level 1b und Level 1a; Unterteilung von Level 5 in Level 5 und Level 6; s. Schwantner & Schreiner, 2010, S. 54). Daraus ergeben sich für Lesen sieben Kompetenzstufen. Für das Lesen elektronischer Medien wurden bei PISA 2009 vier Kompetenzstufen gebildet (s. Schwantner & Schreiner, 2011). Ebenso werden für die beiden anderen computerbasiert getesteten Bereiche Problemlösen und Mathematik Kompetenzstufen erstellt. Diese liegen jedoch zum Zeitpunkt der Erstellung der vorliegenden Studienbeschreibung (Dezember 2013) noch nicht vor. Der erreichte Punktwert eines Schülers/einer Schülerin innerhalb eines Kompetenzbereichs repräsentiert die höchste Schwierigkeit einer Testaufgabe, die die jeweilige Schülerin/der jeweilige Schüler mit bestimmter Wahrscheinlichkeit lösen kann. Von den Schülerinnen und Schülern eines Levels kann erwartet werden, dass sie zumindest die Hälfte der diesem Level zugeordneten Testaufgaben lösen können. Schüler/innen am oberen Ende eines Levels können im Schnitt 70 % der Testaufgaben dieser Stufe lösen. Von Schülerinnen und Schülern am unteren Ende eines Levels kann erwartet werden, dass sie 50 % der Aufgaben des Levels lösen können bzw. für die leichtesten Testaufgaben dieser Stufe eine Lösungswahrscheinlichkeit von 62 % besitzen. Schüler/innen eines bestimmten Levels verfügen sowohl über das Wissen und die Fertigkeiten, durch die diese Stufe charakterisiert ist, als auch über die Fähigkeiten aller niedrigeren Kompetenzstufen.Schüler/innen, von denen auf Basis ihrer Testleistungen nicht erwartet werden kann, dass sie zumindest 50 % der einfachsten PISAAufgaben eines Bereichs lösen können, befinden sich jeweils unter Kompetenzstufe 1 (bzw. 1b in Lesen). Das bedeutet nicht, dass sie keine Kompetenz im jeweiligen Bereich besitzen. Ihre Fähigkeit ist aber mit dem PISATest nicht exakt beschreibbar; es kann

lediglich ausgesagt werden, dass sie nicht in der Lage sind, die bei PISA gemessenen grundlegendsten Fähigkeiten routinemäßig zu zeigen.Schüler/innen auf den obersten Kompetenzstufen werden im Allgemeinen als PISA„Spitzenschüler/innen“ bezeichnet, während Schüler/innen der Stufe 1 und darunter als „Risikoschüler/innen“ gelten – sie verfügen über sehr geringe Grundkompetenzen in diesem Bereich.

Die Abbildungen 8.4 bis 8.6 beschreiben, durch welche Fähigkeiten Schüler/innen der einzelnen Kompetenzstufen in den drei Domänen charakterisiert werden können. Die Grenzwerte der einzelnen Levels sind dem Balken links zu entnehmen. Die Kompetenzstufen der computerbasiert getesteten Bereiche (Problemlösen, Mathematik, Lesen elektronischer Medien) werden in den Ergebnispublikationen zu diesen Bereichen berichtet.

Aufbereitung der Fragebogendaten

Die Daten aus den Kontextfragebögen können zum Teil ohne größere Aufbereitung für Analysen herangezogen werden. Bei einigen Variablen werden von internationaler Seite Rekodierungen durchgeführt – z. B. wird aus den Angaben der Schüler/innen zum eigenen Geburtsort und dem der Eltern die Variable „Migrationsstatus“ generiert. Darüber hinaus müssen die Fragebogenskalen gebildet werden, die mithilfe von einzelnen, inhaltlich zusammengehörenden Fragen erhoben wurden, wie z. B. die Skalen zum mathematischen Selbstkonzept der Schüler/innen oder zum Unterricht in Mathematik. Diese Skalen werden umfangreichen statistischen Prüfungen unterzogen. Dadurch wird sichergestellt, dass sie die entsprechenden Merkmale zuverlässig erheben und zwischen den Ländern vergleichbar sind.

Scores> 669

500

600

400

700

300

Scores546–607

Scores483–545

Scores421–482

Scores359–420

Scores< 359

Scores608–669

unter Stufe 1

Stufe 1

Stufe 2

Stufe 3

Stufe 4

Stufe 5

Stufe 6

Abbildung 8.3: Kompetenzstufen am Beispiel Mathematik


Gewichtung

Wie auch bei anderen sozialwissenschaftlichen Untersuchungen gibt es bei PISA eine bestimmte Anzahl an Stichprobenausfällen (z. B. am Testtag fehlende Schüler/innen). Zudem werden bei PISA bestimmte Teile der Population gezielt über oder untersampelt, d. h. sie sind in der Stichprobe über oder unterrepräsentiert (z. B. werden weniger sehr kleine Schulen in die Stichprobe aufgenommen). Beide Fälle erfordern es, dass die Stichprobe durch adäquate Gewichtungsmethoden nachträglich wieder ausgeglichen

wird. Ansonsten würden die Ausfälle oder das gezielte Unter oder Übersampeln zu Verzerrungen in der Stichprobe und somit auch der Ergebnisse führen. Die Gewichtung stellt sicher, dass die Stichprobe die Population möglichst exakt abbildet. Dies ist für stark differenzierte Schulsysteme, wie das österreichische, schwieriger als für eher „einfache“, in dieser Altersgruppe weniger gegliederte Systeme, wie die angloamerikanischen oder nordischen.Die Gewichtungsmethoden bei PISA sind genau geregelt und werden von der OECD (bzw. dem beauftragten Konsortium) durchgeführt. Eine detaillierte Beschreibung der

Abbildung 8.4: Definition der Kompetenzstufen in Mathematik (PISA 2003, 2006, 2009, 2012)

unter Level 1

Leve

l 6Le

vel 5

Leve

l 4Le

vel 3

Leve

l 2Le

vel 1

669

607

545

482

420

358nied

rige

Mat

hem

atik

kom

pete

nzho

he M

athe

mat

ikko

mpe

tenz

Schüler/innen des sechsten Levels können durch eigenständiges Überprüfen und Modellieren von Problem-lösesituationen Informationen konzeptualisieren, generalisieren und nutzen. Sie können verschiedene Informationsquellen und Repräsentationen verbinden und flexibel zwischen ihnen wechseln. Weiters besitzen diese Schüler/innen Fähigkeiten zum mathematischen Denken und Schlussfolgern auf einem fortgeschritte-nen Niveau. Sie beherrschen symbolische und formale mathematische Operationen.

Auf dem fünften Level sind die Schüler/innen in der Lage, Modelle für komplexe Situationen zu entwickeln und mit ihnen zu arbeiten, geeignete Problemlösestrategien für den Umgang mit komplexen Problemen (die mit diesen Modellen verbunden sind) auszuwählen, zu vergleichen und zu evaluieren sowie mithilfe breit gefächerter, gut entwickelter Denk- und Schlussfolgerungsfähigkeiten strategisch zu arbeiten. Die Schüler/innen reflektieren ihre Handlungen und kommunizieren ihre Interpretationen.

Schüler/innen, die aufgrund ihrer erbrachten Leistungen dem vierten Level zugeordnet werden, sind fähig, effektiv mit expliziten Modellen für komplexe, konkrete Situationen zu arbeiten. Es gelingt ihnen, Repräsentati-onen (u. a. Symbole) mit Situationen der realen Welt zu verknüpfen. Weiters können sie Erklärungen und Argumente basierend auf ihren Interpretationen und Handlungen konstruieren und kommunizieren.

Schüler/innen des dritten Levels können klar beschriebene Prozeduren, auch solche, die sequenzielle Entscheidungen erfordern, ausführen. Sie selektieren und wenden verschiedene einfache Problemlösestrate-gien an. Sie sind in der Lage, Repräsentationen zu konstruieren und zu verwenden, die auf verschiedenen Informationsquellen basieren, und folgern direkt von diesen Repräsentationen. Sie können kurze Kommunika-tionsberichte ihrer Interpretationen, Ergebnisse und Folgerungen entwickeln.

Schüler/innen des zweiten Levels sind in der Lage, Situationen in Kontexten zu interpretieren, die nicht mehr als direkte Schlussfolgerungen erfordern. Sie können die relevante Information aus einer einzelnen Quelle beschaffen und verwenden eine einfache Darstellungsform. Sie verwenden einfache Algorithmen, Formeln oder Prozeduren und können direkte Schlussfolgerungen und wörtliche Interpretationen der Ergebnisse machen.

Auf dem untersten – ersten Level – sind Schüler/innen in der Lage, einfache Fragen zu beantworten, die in einen bekannten Kontext eingebettet sind, in dem alle Informationen vorhanden und die Fragen klar definiert sind. Sie können Informationen identifizieren und Routineprozeduren anhand direkter Instruktionen und in expliziten Situationen ausführen. Weiters können die Schüler/innen Handlungen durchführen, die offensichtlich sind und unmittelbar aus einem gegebenen Stimulus resultieren.


Gewichtungsprozeduren gibt der internationale technische Bericht der OECD (forthcoming). Alle Berechnungen und Ergebnisse von PISA basieren ausschließlich auf gewichteten Daten, wodurch die internationale Vergleichbarkeit der Stichproben gewährleistet wird.Die Verteilung der Schüler/innen auf die Schulsparten und die Bundesländer in Österreich in der gewichteten PISA2012Stichprobe stimmt mit der Verteilung der Schüler/innen in der Schulstatistik des Schuljahres 2011/2012 überein (Pareiss, 2013b).

Schüler/innen des sechsten Levels sind in der Lage, mehrfache Schlussfolgerungen zu ziehen und detaillierte und präzise Vergleiche zu machen. Sie zeigen ein vollständiges und detailliertes Verständnis von einem oder mehreren Texten und können Informationen aus mehreren Texten kombinieren. Die Schüler/innen setzen sich mit ungewohnten Ideen auseinander, auch wenn widersprüchliche Informationen gegeben werden. Sie können Hypothesen über einen komplexen Text mit einem ihnen nicht vertrauten Thema aufstellen oder diesen kritisch bewerten.

Schüler/innen des fünften Levels sind in der Lage, sehr komplexe Leseaufgaben zu lösen und mehrere Informati-onen aus ungewohnten Texten zu lokalisieren und organisieren. Sie können Texte kritisch beurteilen und Hypothe-sen durch Heranziehen von fachspezifischem Wissen aufstellen. Die Jugendlichen zeigen ein detailliertes Textverständnis und können Informationen ableiten, die für die Lösung der Aufgabe relevant sind. Sie können Konzepte miteinander in Einklang bringen, die entgegen den Erwartungen sein können.

Schüler/innen des vierten Levels sind fähig, schwierige Leseaufgaben zu lösen, die Fähigkeiten erfordern wie das Heraussuchen eingebetteter Informationen, die Deutung des Sinns bei sprachlichen Feinheiten und die kritische Bewertung eines Textes. Sie zeigen ein genaues Verständnis von langen oder komplexen Texten, deren Inhalt oder Form unbekannt sein kann.

Schüler/innen des dritten Levels können Leseaufgaben mäßiger Komplexität lösen. Sie sind in der Lage, mehrere Informationen aus einem Text herauszusuchen, Zusammenhänge zwischen Textteilen herzustellen, und Textver-ständnis im Zusammenhang mit vertrautem Alltagswissen zu zeigen. Sie können die Hauptaussage eines Textes identifizieren, Informationen heraussuchen, die im Text nicht leicht ersichtlich sind oder miteinander konkurrieren oder nicht den Erwartungen entsprechen.

Schüler/innen des zweiten Levels können elementare Aufgaben lösen, in denen sie einfache Informationen lokalisieren, einfache Schlussfolgerungen ziehen, die Hauptaussage eines gut gekennzeichneten Textteils erkennen und etwas Allgemeinwissen und persönliche Erfahrung anwenden müssen, um dieses Verständnis zu zeigen. Sie können einzelne Textteile vergleichen oder gegenüberstellen.

Schüler/innen des Levels 1a sind fähig, eindeutig angegebene Informationen aus einem oder mehreren unabhän-gigen Textstücken herauszufinden, das Hauptthema eines Textes über einen vertrauten Gegenstand zu erkennen oder Informationen im Text mit einfachem Alltagwissen zu verknüpfen. Die erforderliche Information ist an einer hervorstechenden Stelle im Text enthalten und es gibt keine konkurrierenden Informationen.

unter Level 1b

Leve

l 6Le

vel 5

Leve

l 4Le

vel 3

Leve

l 2Le

vel 1

b

553

480

407

335

262nied

rige

Lese

kom

pete

nzho

he L

esek

ompe

tenz

Leve

l 1a

698

626

Schüler/innen des Levels 1b sind in der Lage, einzelne, eindeutig angegebene Informationen in einer hervorste-chenden Textstelle aufzufinden. Der Text selbst ist kurz, syntaktisch einfach und steht in einem für Jugendliche geläufigen Kontext.

LESEHINWEIS

Die Skalierung der Testdaten, die Aufbereitung der Fragebogendaten sowie die Gewichtung werden detailliert im internationalen technischen Bericht der OECD (forthcoming) beschrieben.

Abbildung 8.5: Definition der Kompetenzstufen in Lesen (PISA 2009, 2012)


unter Level 1

Leve

l 6Le

vel 5

Leve

l 4Le

vel 3

Leve

l 2Le

vel 1

708

633

559

484

409

335nied

rige

Nat

urw

isse

nsch

afts

kom

pete

nzho

he N

atur

wis

sens

chaf

tsko

mpe

tenz

Schüler/innen auf dem höchsten Level 6 können Wissen in den sowie über die Naturwissenschaften konsistent in einer Vielzahl realitätsnaher Situationen identifizieren, erklären und anwenden, Informationen aus verschiedenen Quellen und Erklärungen verknüpfen und Belege aus diesen Quellen zur Rechtfertigung ihrer Entscheidungen verwenden. Sie zeigen fortgeschrittenes naturwissenschaftliches Denken und Argumentieren und verwenden ihr naturwissenschaftliches Verständnis zur Lösung ungewohnter wissenschaftlicher und technologischer Situationen. Sie verwenden ihr Wissen und entwickeln Argumente zur Unterstützung von Empfehlungen und Entscheidungen, die persönliche, soziale oder globale Situationen betreffen.

Schüler/innen auf Level 5 können naturwissenschaftliche Komponenten in vielen komplexen Situationen des Lebens identifizieren, naturwissenschaftliche Konzepte und Wissen über die Naturwissenschaften auf diese Situationen anwenden und angemessene naturwissenschaftliche Belege für solche Situationen vergleichen, auswählen und bewerten. Sie besitzen gut entwickelte Untersuchungsfähigkeiten, können Wissen angemessen verknüpfen und auch kritische Sichtweisen integrieren. Sie können basierend auf ihrer kritischen Analyse beweis-gestützte Erklärungen und Argumente konstruieren.

Auf Level 4 können Schüler/innen effektiv mit Situationen und Fragestellungen, die bestimmte Phänomene betreffen, umgehen, welche von ihnen verlangen, Rückschlüsse über die Rolle von Naturwissenschaft oder Technologie zu ziehen. Sie können Erklärungen von verschiedenen Bereichen der Naturwissenschaft oder Technologie auswählen, verknüpfen und diese direkt mit lebensnahen Situationen in Verbindung bringen. Sie können über ihre Handlungen reflektieren und Entscheidungen unter Verwendung von naturwissenschaftlichem Wissen und Belegen kommunizieren.

Schüler/innen auf dem dritten Level können klar beschriebene naturwissenschaftliche Sachverhalte in einer Reihe von Kontexten identifizieren, Fakten und Wissen auswählen, um Phänomene zu erklären, und einfache Modelle oder Untersuchungsstrategien anwenden. Sie können naturwissenschaftliche Konzepte aus verschiedenen Bereichen interpretieren und direkt anwenden. Darüber hinaus sind sie fähig, Fakten zu kommunizieren und Entscheidungen basierend auf naturwissenschaftlichem Wissen zu fällen.

Das naturwissenschaftliche Wissen der Schüler/innen auf dem zweiten Level reicht aus, um mögliche Erklärungen in vertrauten Kontexten zu geben und Schlussfolgerungen zu ziehen, die auf einfachen Untersu-chungen basieren. Ihre Schlussfolgerungen und die Interpretation von Ergebnissen naturwissenschaftlicher Untersuchungen oder technologischer Problemlösungen sind direkt.

Schüler/innen auf dem ersten – untersten – Level weisen sehr eingeschränktes naturwissenschaftliches Wissen auf, das sie nur in wenigen, ihnen sehr gut vertrauten Situationen anwenden können. Sie können naturwissenschaftliche Erklärungen geben, die offensichtlich sind und direkt aus vorgegebenen Belegen abgeleitet werden können.

Abbildung 8.6: Definition der Kompetenzstufen in Naturwissenschaft (PISA 2006, 2009, 2012)

In einer weltweit durchgeführten Studie wie PISA wird in allen Phasen der Studie besonderes Augenmerk auf die Qualität und die Sicherung der fairen Vergleichbar-keit gelegt. Um die bestmögliche Daten-qualität gewährleisten zu können, werden sowohl auf internationaler als auch auf nationaler Ebene umfassende Maßnahmen zur Qualitätssicherung umgesetzt.

Während die OECD als Auftraggeber die allgemeinen Zielsetzungen festlegt, ist das internationale Konsortium für das Design und die Richtlinien zur Durchführung der Studie im internationalen Rahmen verant-wortlich. Die nationalen Projektmanager/innen sind mit den nationalen Zentren für die Umsetzung auf nationaler Ebene zu-ständig.

Die OECD hat hierbei – in erster Linie durch das PISA Governing Board (PGB) – die Aufgabe, allgemeine Qualitätsanforde-rungen bzw. -maßstäbe festzusetzen und Entscheidungen in Bezug auf Konsequen-zen des Nicht-Erreichens dieser Maßstäbe zu treffen. Diese Qualitätsstandards sind in den „PISA 2012 – Technical Standards“ for-muliert und für alle Teilnehmerländer ver - bindlich.

In den einzelnen Kapiteln der vorliegenden Studienbeschreibung wurden bereits einige Qualitätssicherungsmaßnahmen beschrie-ben (z. B. im Bereich der Stichprobenzie-hung, bei der Konstruktion der Tests und Fragebögen, bei der Datenverarbeitung, der Feldtest an sich etc.). Im Folgenden wer-den die Qualitätssicherungsmaßnahmen der zentralen Bereiche von PISA zusam-mengefasst dargestellt: die Qualität der Stichproben, die Qualität der Übersetzung, die Qualität der Durchführung und die Qualität der Daten.

Qualität der Stichproben

Die Vergleichbarkeit der Daten der ver-schiedenen Teilnehmerländer wird unter anderem durch die Vergleichbarkeit der Stichproben bestimmt. Deshalb wird be-sonderer Wert auf eine zentrale Stichpro-benziehung und die exakte Einhaltung der vorgeschriebenen Rücklaufquoten gelegt.

Ein wesentlicher Qualitätsaspekt ist dabei die exakte Populationsdefinition. Diese er folgt altersbasiert so, dass die Schüler/innen aller Länder zum jeweiligen Test-zeitpunkt gleich alt sind und jeweils ei-nen Querschnitt eines Altersjahrgangs pro Land abbilden. Für die Vergleichbarkeit ist es wesentlich, Schüler/innen aus allen Teilen des Schulsystems einzubeziehen, in denen Personen des Zielalters zu finden sind. Deshalb sind die Ergebnisse zwischen den Ländern auch dann vergleichbar, wenn die dahinterstehenden Schulsysteme große Unterschiede aufweisen.

Die Ziehung der Schulen erfolgt zentral durch das internationale Konsortium und ein „Sampling Referee“ überprüft, dass die-se korrekt umgesetzt wird.

Die Vorgaben der OECD bezüglich er-forderlicher Rücklaufquoten sind sehr streng. 85 % Rücklauf auf Schulebene und mindestens 80 % auf Schülerebene sind Voraussetzung für die uneingeschränkte Aufnahme der Daten eines Landes in den internationalen Datensatz und die interna-tionale Berichterstattung.

Österreich erfüllt die von der OECD vor-gegebenen Standards mit einem sehr guten Rücklauf auf Schulebene von 100 % und auf Schülerebene von rund 95 % (gewich-tet: rund 92 %). Die Verteilung der Schü-

9 Qualitätssicherung

Qualitätssicherung 57

ler/innen auf die Schultypen entspricht jener der offiziellen Schulstatistik.

Qualität der Übersetzung

Für die Übersetzung der Materialien (Testaufgaben, Frage-bögen und Handbücher) gibt es genaue Richtlinien, die von allen Teilnehmerländern eingehalten werden müssen. Als Basis für die Übersetzungen der Testaufgaben und Fragebö-gen werden Quellversionen in englischer und französischer Sprache vom internationalen Konsortium entwickelt, wobei zwei unabhängige Übersetzungen – vorzugsweise je eine aus jeder Quellsprache – anzufertigen sind, die dann von einer dritten Person zur Endversion zusammengeführt werden. Dies ist ein wichtiger Beitrag zur Optimierung der Qualität.Ein weiterer Qualitätsaspekt ist die Zusammenarbeit der deutschsprachigen Länder bei der Übersetzung: Durch diese Kooperation findet Qualitätskontrolle durch die ge-meinsame Produktion einer deutschen Basisversion der Testaufgaben und Fragebögen statt. Die damit verbunde-nen Rückmeldeprozesse zwischen den Expertinnen und Experten sowie den nationalen PISA-Projektzentren aller deutschsprachigen Länder tragen zu einer hohen Qualität der Übersetzungen bei. Auf internationaler Ebene sichert die „Verifikation“ der Übersetzungen und des Layouts der Testaufgaben und der Fragebögen die hohe Qualität der na-tionalen Versionen, die für die deutschsprachigen Länder vom internationalen Konsortium mehrfach bestätigt wurde.

Qualität der Durchführung der Studie

Die Durchführung des PISA-Tests an den Schulen ist stan-dardisiert und läuft in allen Teilnehmerländern gleich ab. Die PISA-Tests werden von eigens geschulten Personen abgehalten, die pädagogisch versiert sind. Diese Testleiter/innen können nach internationalen Vorgaben schulintern sein – solange sie keine teilnehmenden Schüler/innen selbst unterrichten – oder externe Personen. In Österreich wer-den für die Durchführung des Tests schulexterne Testleiter/innen eingesetzt. Dies ist ein wesentlicher Bestandteil der umfassenden Qualitätssicherungsmaßnahmen bei der Test-durchführung und hat zahlreiche Vorteile:

�� Objektive Testdurchführung Schulexterne Testleiter/innen sind unbefangen und ha-ben kein Interesse an der Beeinflussung der Testergeb-nisse einzelner Schüler/innen bzw. Schulen. Auch wenn schulinterne Testleiter/innen die Schüler/innen selbst nicht unterrichten, steigert der Einsatz von schulexter-nen Testleiterinnen und Testleitern die Durchführungs-objektivität darüber hinaus.

�� Wahrung der Vertraulichkeit Da die externen Testleiter/innen nicht in das Schulge-schehen der jeweiligen Testschule involviert sind, ist der

vertrauliche Umgang des Testleiters/der Testleiterin mit den Schülerantworten gewährleistet. Zudem steigert die Durchführung durch eine schulexterne Person die Be-reitschaft der Schüler/innen, die Fragen offen zu beant-worten und beeinflusst so das Antwortverhalten positiv.

�� Standardisierter und kontrollierter Ablauf der Testsitzung Für die Vergleichbarkeit der Ergebnisse ist es von großer Bedeutung, dass die international vorgegebenen Richt-linien zur Durchführung der PISA-Testsitzungen an den Schulen exakt eingehalten werden. Im Rahmen einer verpflichtenden Schulung wurden die Testleiter/innen ergänzend zum Selbststudium des Test leiter-handbuches vom BIFIE in Hinblick auf die einheitliche administrative Durchführung der Tests instruiert. Bei PISA 2012 wurde auf eine Reihe von pädagogisch er-fahrenen Personen zurückgegriffen, die bereits in vor-hergehenden PISA-Zyklen bzw. im Feldtest 2011 oder im Rahmen an derer internationaler Schülerleistungs-studien als Testleiter/in tätig waren. Der Einsatz ver-sierter Personen, die gezielte Schulung und die in vor-hergehenden Erhebungen gesammelten Erfahrungen unterstützen die Standardisierung des Testablaufs und führen zu einer hohen Durchführungsreliabilität.

�� Minimierung des Aufwands für die Schulen Der Einsatz externer Testleiter/innen führt zu einer Mi-nimierung des organisatorischen Aufwands für die Schu len. Diese sind weder mit der konkreten Testdurch-führung noch mit der Administration der Erhebungs-materialien befasst.

�� Sicherheit der Testmaterialien Die Sicherheit der Testmaterialien ist bei PISA ein sehr wichtiger und sensibler Punkt. Da bei PISA ein Teil der Testaufgaben auch in künftigen Erhebungen eingesetzt wird, dürfen diese nicht an die Öffentlichkeit gelangen. Da die Testleiter/innen mit dem gesamten Testmaterial an die Schule kommen und dieses nach der Durchfüh-rung der Testsitzung wieder mitnehmen, wird sicherge-stellt, dass sich zu keinem Zeitpunkt Material unbeauf-sichtigt an der Schule befindet.

Um zu überprüfen, ob die nationalen Zentren ihre Test-leiter/innen entsprechend in die standardisierte Durch-führung eingewiesen haben und ob sie diese auch korrekt abwickeln, besuchen PISA-Quality-Monitors (PQM) im Auftrag des internationalen Konsortiums einige Testsitzun-gen. Die PQMs kommen am Testtag unangekündigt zur Schule, beobachten und protokollieren die Testdurchfüh-rung und leiten ihre Aufzeichnungen an das internationale Konsortium weiter.

In Österreich war beim Haupttest 2012 ein PISA-Quality- Monitor im Einsatz, der im Auftrag des internationalen Konsortiums sieben Testsitzungen beobachtete und doku-mentierte. Die Ergebnisse der Schulbesuche wurden vom


PQM direkt an das internationale Konsortium übermittelt und werden im internationalen technischen Bericht der OECD zu PISA 2012 publiziert.

Qualität der Daten

Die Qualität der Daten hängt von allen Phasen der Studie ab, von der Entwicklung der theoretischen Rahmenkonzep-te und der Aufgaben, von der Übersetzung und Adaption der Testinstrumente und deren Zusammenstellung bis hin zur Testdurchführung und Datenverarbeitung.

Die automatische Verarbeitung der Test- und Fragebogen daten (konkret das Scannen der Instrumente, die Verifikation nicht eindeutig interpretierbarer Schülerantworten und de-ren manuelle Nachbearbeitung) wurde von speziell geschul-ten Personen durchgeführt, von denen einige bereits über Erfahrung bei der Datenerfassung im Rahmen anderer Stu-dien am BIFIE verfügten. Vor Beginn jedes Arbeitsschritts erfolgte eine Einschulung, die die Datenerfasser/innen auf die neue Aufgabe vorbereitete. Insbesondere bei der Verifi-kation wurde sichergestellt, dass die Codevergaben durch alle Mitarbeiter/innen einheitlich erfolgten. So musste jede Mitarbeiterin/jeder Mitarbeiter vor Beginn der Verifikation eine Probeverifikation positiv absolvieren.

Während der Datenverarbeitung stellt die Bewertung der Schülerantworten auf die offenen Testfragen einen sehr sen-siblen Bereich dar. Die „Coding Guides“, die eine exakte Beschreibung der Bewertungsrichtlinien enthalten, sind da-bei die wichtigste Basis für die Qualitätssicherung. Diese müssen den gleichen Übersetzungs- und Verifikationspro-zess durchlaufen wie die Aufgaben selbst. Dadurch wird sichergestellt, dass in allen Teilnehmerländern die Basis für die Bewertung der offenen Fragen gleich ist.

Folgende Maßnahmen sichern die Qualität des Coding-Prozesses:

�� Stichprobenartige Kontrollen der vergebenen Codes si-chern die korrekte Anwendung der Bewertungsrichtli-nien bereits während des Coding-Prozesses. Wurden bei diesen Kontrollen Fehler entdeckt, fand für die jeweils betroffenen Coder/innen eine Nachschulung statt und die bereits vercodeten Schülerantworten mussten nach-bearbeitet werden.

�� Beim Multiple Coding wurden pro Aufgabe des Schwer-punkts Mathematik 100 Schülerantworten und in je-dem anderen Bereich 50 Antworten mehrfach (von vier verschiedenen Coderinnen bzw. Codern) codiert. Die Antworten wurden durch die Codiersoftware zufällig zugeteilt. Die Vergleiche zwischen den vergebenen Co-des ermöglichen Rückschlüsse auf die Qualität bzw. Übereinstimmung der Coder/innen bei den Bewertun-gen (Interrater-Reliability).

�� Mithilfe der Control scripts (standardisierte Schülerant-worten, die vom internationalen Konsortium vorgege-ben und in alle Sprachen übersetzt werden) ist es mög-lich, die Übereinstimmung zwischen den Coderinnen/Codern auch international zu prüfen (Inter-Country-Rater-Reliability-Study). Zudem werden die national vergebenen Codes für die standardisierten Schülerant-worten mit den vorab vergebenen Expertencodierungen des Konsortiums abgeglichen.

Durch diese Maßnahmen wird sichergestellt, dass die Codes zum einen innerhalb jedes Landes auf vergleichbare Weise vergeben werden und dass zum anderen zwischen den Län-dern keine systematischen Unterschiede darin bestehen, wie strikt die Bewertungsvorschriften angewendet werden. Die Ergebnisse des Multiple Codings und der Inter-Country-Rater-Reliability-Study waren für Österreich bei PISA 2012 unauffällig. Dies zeugt von der hohen Qualität der Beurtei-lung der offenen Fragen durch das BIFIE und den kompe-tenten Coderinnen und Codern.

Zur Feststellung ungünstiger (statistischer) Eigenschaften von Aufgaben auf Länderebene werden zudem vom interna-tionalen Konsortium psychometrische Analysen durchge-führt. Sie bilden einerseits die Grundlage für die Auswahl bzw. Überarbeitung der Aufgaben für den Haupttest, an-dererseits werden auch Aufgaben, die im Haupttest Auffäl-ligkeiten zeigen, aus der Datenbasis ausgenommen. Somit wird gewährleistet, dass letztlich nur jene Aufgaben in die Skalierung der Daten einfließen, die in den jeweiligen Teil-nehmerländern einwandfrei funktionieren.

Ebenso sorgt eine umfassende, abschließende „Data Adjudi-cation“ durch die Technical Advisory Group der OECD für die Sicherung der Qualität der Daten. Dabei wird festgehal-ten, inwieweit die vorab definierten „Technical Standards“ von den Teilnehmerländern eingehalten wurden. Für Öster-reich gab es für PISA 2012 diesbezüglich keine Vermerke, was bedeutet, dass die Qualität der österreichischen PISA-2012-Daten einwandfrei ist. Generell zeugen die Rückmel-dungen des internationalen Konsortiums an das BIFIE von der hohen Zufriedenheit mit der Durchführung des PISA-Tests in Österreich – auch aus internationaler Sicht.

Ein zentrales Produkt von PISA ist die umfassende internationale Datenbasis, anhand derer die Daten über die Schülerleistungen und die damit verbundenen Kontext informationen analysiert und international verglichen werden können. Die Datenbasis enthält die Leistungswerte in den getesteten Kompetenzbereichen, die Antworten der Schüler/innen und Schulleiter/innen aus den Kontextfragebögen sowie die entsprechenden Gewichtungsvariablen. Diese Daten bilden die Grundlage für alle Analysen und Berichte über die Ergebnisse von PISA.

Die internationalen Daten werden nach Publikation der ersten Ergebnisse durch die OECD öffentlich zugänglich gemacht und sind für interessierte Personen auf der ganzen Welt über das Internet kostenlos verfügbar (http://www.oecd.org/pisa).Die OECD veröffentlicht hierbei zwei Versionen: Erstens, eine interaktive Webseite, auf der man (ohne selbst die umfangreiche Datenbasis technisch und statistisch handhaben zu müssen) verschiedenartige Abfragen durchführen kann. Darüber hinaus können über eine zweite WebAnwendung multidimensionale Analysen angefordert werden. Zweitens wird die vollständige Datenmatrix für die zwei großen gängigen Statistikpakete SPSS und SAS zur Verfügung gestellt. Die interaktive Webseite ist dabei auch für Personen gedacht, die keine großen statistischen Erfahrungen besitzen, während die gesamte Datenmatrix interessierten Wissenschafterinnen und Wissenschaftern für umfassende und detaillierte Analysen zur Verfügung steht.

Zudem erstellt das internationale Konsortium eine umfangreiche Dokumentation, die auch als Unterstützung bei der Datenanalyse dient: die PISA-Frameworks, die die Kompetenzbereiche definieren, beschrei

ben und organisieren, das PISA Data Ana-lysis Manual, welches vor allem die Methodik von Skalierung und Gewichtung der PISADaten beschreibt und konkrete Anleitungen zur Verwendung der Datenmatrix gibt, sowie den internationalen Technischen Bericht, der alle Vorgänge der Studie von internationaler Seite genau dokumentiert.

Eine detaillierte Dokumentation speziell der österreichischen Umsetzung der internationalen Richtlinien von PISA 2012 wird im nationalen technischen Bericht publiziert (www.bifie.at/pisa). Dieser liefert Informationen für ein vertieftes methodisches Verständnis der Ergebnisse. Die vorliegende Broschüre ist ebenfalls als – allerdings kurz gefasste – technische Dokumentation der Studie zu verstehen. Ihr Schwerpunkt liegt darauf, alle Informationen übersichtlich zusammenzufassen, die für die Interpretation der Ergebnisse in österreichischen PISA2012Publikationen notwendig sind.

Neben der Dokumentation der Abläufe publiziert die OECD die Ergebnisse von PISA 2012 in verschiedenen Berichten. Die Erstveröffentlichung der Ergebnisse erscheint in sechs Bänden, von denen vier gemeinsam am 3. Dezember 2013 erstveröffentlicht werden. Sie beinhalten neben der Einführung in PISA 2012 eine Betrachtung der ersten Ergebnisse hinsichtlich der folgenden Themen:

�� Band 1: Schülerleistungen bei PISA 2012 – Mathematik, Lesen und Naturwissenschaft im internationalen Vergleich

�� Band 2: Chancengerechtigkeit – Einfluss sozialer Merkmale sowie des Migrationshintergrunds auf die Schülerleistungen

10 Ergebnisse und Produkte von PISA


�� Band 3: Allgemeine individuelle Merkmale der Schüler/innen und mathematikbezogene Faktoren wie Engagement, Motivation, Selbstwahrnehmung, Unterricht

�� Band 4: Schul- und Systemcharakteristiken – Ressourcen, Richtlinien und Praktiken

Die Veröffentlichung des fünften Bandes, der die Ergebnisse zum Kompetenzbereich Problemlösen enthalten wird, ist im Frühjahr 2014 geplant. Band sechs widmet sich dem Bereich Financial Literacy, an dem Österreich nicht teilgenommen hat.

Darüber hinaus plant die OECD die Herausgabe von Berichten mit speziellen inhaltlichen Schwerpunkten sowie die regelmäßig erscheinenden Kurzinformationen, genannt „PISA in Focus“.

Auf nationaler Ebene werden parallel zur internationalen Erstveröffentlichung die ersten PISAErgebnisse aus nationaler Perspektive (Schwantner, Toferer & Schreiner, 2013), die vorliegende Studienbeschreibung und der nationale technische Bericht zu PISA 2012 (Schwantner & Schreiner, 2013) veröffentlicht. Zusätzlich zu diesen offiziell im Auftrag des BMUKK herausgegebenen Publikationen sind auch auf nationaler Ebene weitere Publikationen mit verschiedenen inhaltlichen Schwerpunkten geplant.

Interessierte Wissenschafter/innen und Forschergruppen in Österreich können zudem die Möglichkeit nutzen, die auf der OECDWebseite kostenlos zugänglichen PISADaten zur Bearbeitung eigener wissenschaftlicher Fragestellungen heranzuziehen.

LESEHINWEIS

Die nationalen PISA2012Publikationen sowie Beispielaufgaben zu PISA sind über die Webseite des BIFIE verfügbar: www.bifie.at/pisa

Alle Produkte der OECD von PISA 2012 sind über die Webseite der OECD verfügbar:www.oecd.org/pisa/pisaproducts

Bibliografie

B Bruneforth,M.&Lassnigg,L.(Hrsg.).(2012).Nationaler Bildungsbericht Österreich 2012. Band1.DasSchulsystemimSpiegelvonDatenundIndikatoren.Graz:Leykam.

H Herzog-Punzenberger,B.(Hrsg.).(2012).Nationaler Bildungsbericht Österreich 2012. Band 2.FokussierteAnalysenbildungspolitischerSchwerpunktthemen.Graz:Leykam.

N Neuwirth,E.(2006).PISA 2000: Sample Weight Problems in Austria.OECDEducationWorkingPapers,No.5,OECDPublishing.Zugriffam21.08.2013.Verfügbarunter http://dx.doi.org/10.1787/220456725273

O OECD(2000).Measuring Student Knowledge and Skills. The PISA 2000 Assessment of Reading, Mathematical and Scientific Literacy. Paris:OECD.

OECD(2007).PISA 2006. Schulleistungen im internationalen Vergleich. Naturwissenschaft-liche Kompetenzen für die Welt von morgen. Paris:OECD.

OECD(2011).Students On Line: Digital Technologies and Performance. VolumeVI.Paris:OECD.

OECD(2012).Bildung auf einen Blick 2012. OECD-Indikatoren. Paris:OECD.

OECD(2013a).PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy.Paris:OECDPublishing.Verfügbarunter:http://dx.doi.org/10.1787/9789264190511-en

OECD(2013b).PISA 2012 Results. What Students Know and Can Do: Student Perfor-mance in Mathematics, Reading and Science. Volume I. Paris:OECDPublishing.

OECD(2013c).PISA 2012 Results. Excellence through Equity: Giving Every Student the Chance to Succeed. Volume II. Paris:OECDPublishing.

OECD(2013d).PISA 2012 Results. Ready to Learn: Student Engagement. Volume III. Paris:OECDPublishing.

OECD(2013e).PISA 2012 Results. What Makes a School Successful? Resources, Policies and Practices. Volume IV.Paris:OECDPublishing.

OECD(forthcoming).PISA 2012. Technical Report. Paris:OECD.

P Pareiss,M.(2013a).Sampling-DesignundStichproben.InU.Schwantner&C.Schreiner(Hrsg.),PISA2012. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Zugriffab03.12.2013.Verfügbarunterwww.bifie.at/pisa

Pareiss,M(2013b).Rücklauf,StichprobenausfälleundStichprobengrößenbeiPISA2012.InU.Schwantner&C.Schreiner&(Hrsg.),PISA 2012. Internationaler Vergleich von Schüler-leistungen. Technischer Bericht.Zugriffab03.12.2013.Verfügbarunter:www.bifie.at/pisa

62 PISA2012:DieStudieimÜberblick

R Reiter,C.(2004).Rücklauf,StichprobenausfälleundStichprobengrößen.InC.Reiter,B.Lang&G.Haider(Hrsg.),PISA 2003: Internationaler Vergleich von Schülerleistungen. Technischer Bericht.Zugriffam18.02.2013.Verfügbarunterwww.bifie.at/node/267

S Schwantner,U.&Schreiner,C.(Hrsg.).(2010).PISA 2009. Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Graz:Leykam.

Schwantner,U.&Schreiner,C.(Hrsg.).(2011). PISA 2009. Lesen im elektronischen Zeitalter. Die Ergebnisse im Überblick. Zugriffam13.11.2013.Verfügbarunter: www.bifie.at/pisa

Schwantner,U.&Schreiner,C.(Hrsg.).(2013).PISA 2012. Internationaler Vergleich von Schülerleistungen. Technischer Bericht.Zugriffab03.12.2013.Verfügbarunter: www.bifie.at/pisa

Schwantner,U.,Toferer,B.&Schreiner,C.(Hrsg.).(2013).PISA 2012. Internationaler Vergleich von Schülerleistungen. Erste Ergebnisse. Mathematik, Lesen, Naturwissenschaft. Graz:Leykam.

Leykam [email protected]

ISBN 978-3-7011-7888-9

www.bifie.at

PISA 2012 - BIFIE · PISA 2003 – steht dabei die Mathematikkompetenz im Mittelpunkt. Die...

Documents

Transcript of PISA 2012 - BIFIE · PISA 2003 – steht dabei die Mathematikkompetenz im Mittelpunkt. Die...