PISA 2018. Grundkompetenzen am Ende der Pflichtschulzeit ... · Die OECD-Studie PISA (Programme for...

20 .18

Grundkompetenzenam Ende der Pflichtschulzeitim internationalen Vergleich

PISAHerausgegeben von Birgit Suchań, Iris Höller & Christina Wallner-Paschon

Suchań, B., Höller, I. & Wallner-Paschon, C. (Hrsg.)

PISA 2018Grundkompetenzenam Ende der Pflichtschulzeitim internationalen Vergleich

Leykam

Bundesministerium für Bildung, Wissenschaft und ForschungMinoritenplatz 5, 1010 Wien

Das Bundesministerium hat die Durchführung der OECD-Studie PISA in Österreich beauftragt.

Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121, 5020 Salzburg

www.bifie.at

PISA 2018. Grundkompetenzen am Ende der Pflichtschulzeit im internationalen Vergleich. Suchań, B., Höller, I. & Wallner-Paschon, C. (Hrsg.) Graz: Leykam, 2019DOI: http://doi.org/10.17888/pisa2018-eb ISBN 978-3-7011-8152-0

Coverfoto: lightpoet/shutterstock.com Einbandgestaltung: Die Fliegenden Fische, Salzburg & Hannes Kaschnig-Löbel, Bundesinstitut BIFIE Layout & Satz: Hannes Kaschnig-Löbel Lektorat: Martin Schreiner Druck: Medienfabrik Graz GmbH, 8020 Graz

© Leykam Buchverlagsgesellschaft m. b. H. Nfg. & Co. KG, Graz, 2019

www.leykamverlag.at

Kein Teil des Werks darf in irgendeiner Form (durch Fotografie, Mikrofilm oder ein anderes Verfahren) ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.

https://www.bifie.at

http://doi.org/10.17888/pisa2018-eb

Liebe Leserin, lieber Leser!

Eine umfassende Bildung und der nachhaltige Erwerb grundlegender Kulturtechniken sind für junge Menschen im 21. Jahrhundert unverzichtbares Rüstzeug, um an unserer demokratischen Gesellschaft teilhaben und sie weiterentwickeln zu können und einen erfolgreichen Übergang in die weitere (Aus-)Bildung und letztendlich in das Erwerbsleben zu finden. Bildung ist nicht allein der Schlüssel zu besseren Arbeitsmarktchancen und höheren Einkommen, sondern steht auch im engen Zusammenhang mit persönlichem Wohlbefinden und Gesundheit sowie dem sozialen Zusammenhalt unserer Gesellschaft. Aufgabe unseres Schulsystems ist es, allen Kindern und Jugendlichen die bestmögliche Bildung anzubieten und damit optimale Start-chancen zu eröffnen.

Eine systematische und wissenschaftlich abgesicherte Beobachtung der Ergebnisse und Prozesse an unseren Schulen schafft die notwendige Evidenz, um die Stärken und Schwächen schulischen Lernens in Österreich einschätzen zu können. Dieses Wissen ist unabdingbar für unser kontinuierliches Bemühen, die Qualität von Schule und Ausbildung zu sichern und zu steigern. Eine evidenzbasierte Bildungspolitik muss daher mehrere Bausteine zu einem effizienten Bildungsmonitoring kombinieren. Ein Element dabei ist die landesweite Beobachtung der Ergebnisse aller Schulen in allen Regionen durch die Weiterentwicklung nationaler Kompetenzmessungen im Rahmen des Pädagogik-Pakets. Dieses Wissen zur Ziel-erreichung unserer Schulen bedarf unbedingt der Einordnung durch eine unabhängige und abgesicherte Außenperspektive. Die regelmäßige Teilnahme an internationalen Bildungsstudien als weiterem Baustein einer evidenzbasierten Bildungspolitik erlaubt es, die Ergebnisse öster-reichischer Schulen weltweit zu vergleichen, das Erreichte international einzuordnen und Möglichkeiten für eine Weiterentwicklung von Schule zu erkennen. PISA spielt im öster-reichischen Bildungsmonitoring daher seit nahezu zwei Dekaden im doppelten Sinne eine Schlüsselrolle. PISA gibt aus internationaler Perspektive Aufschluss darüber, inwieweit fünf-zehn- bzw. sechzehnjährige Schülerinnen und Schüler gegen Ende ihrer Schulpflicht über jene grundlegenden Kompetenzen verfügen, die sie für eine Teilnahme am gesellschaftlichen und beruflichen Leben benötigen. Die Teilnahme an PISA ist zudem seit Beginn ein Impuls- und Ideengeber für die Entwicklung von Bildungsforschung und -monitoring in Österreich. Die nun vorgelegten Ergebnisse aus PISA 2018 werden diesen Beitrag von PISA zur Entwicklung in Österreich fortschreiben.

Ich danke allen Mitarbeiterinnen und Mitarbeitern des BIFIE, die die erfolgreiche Planung und Umsetzung von PISA 2018 in Österreich ermöglicht haben, sowie insbesondere allen Schülerinnen und Schülern sowie Schulleitungen und Lehrkräften der beteiligten Schulen für ihre Unterstützung dieser Untersuchung.

Mag.a Dr.in Iris RauskalaBundesministerium für Bildung, Wissenschaft und Forschung

Vorwort

Inhalt

9 1 PISA 2018 – eine Einführung in die aktuelle Studie

9 1.1 Zielsetzung und Organisation von PISA11 1.2 Merkmale und Besonderheiten bei PISA 201813 1.3 Testkonzeption und Testdesign23 1.4 Population und Stichprobe26 1.5 Durchführung von PISA in Österreich 29 1.6 Datenaufbereitung für die Ergebnisanalysen34 1.7 Hinweise zur Interpretation der Ergebnisse von PISA36 1.8 Ergebnisse und Produkte von PISA 2018

39 2 Kompetenzen der Schüler/innen in Lesen

39 2.1 Leistungen der österreichischen Schüler/innen in Lesen im Länder- und Zeitvergleich43 2.2 Lesen: Verteilung der Schüler/innen auf die Kompetenzstufen45 2.3 Lesen: Unterschiede zwischen Mädchen und Burschen

49 3 Kompetenzen der Schüler/innen in Mathematik

49 3.1 Leistungen der österreichischen Schüler/innen in Mathematik im Länder- und Zeitvergleich52 3.2 Mathematik: Verteilung der Schüler/innen auf die Kompetenzstufen54 3.3 Mathematik: Unterschiede zwischen Mädchen und Burschen

57 4 Kompetenzen der Schüler/innen in Naturwissenschaft

57 4.1 Leistungen der österreichischen Schüler/innen in Naturwissenschaft im Länder- und Zeitvergleich59 4.2 Naturwissenschaft: Verteilung der Schüler/innen auf die Kompetenz stufen61 4.3 Naturwissenschaft: Unterschiede zwischen Mädchen und Burschen

65 5 Kompetenzentwicklung im Kontext individueller und familiärer Faktoren

65 5.1 Die Lesefreude und das Leseselbstkonzept71 5.2 Familiärer Hintergrund und Leistung75 5.3 Schüler/innen mit Migrations hintergrund: Lesekompetenz und Charakteristika

81 6 Die Kompetenzen der österreichischen Schüler/innen im Zeitvergleich

81 6.1 Kontinuität und Anpassung: Überlegungen zum Zeitvergleich in internationalen Schulleistungsstudien82 6.2 Änderungen bis PISA 2012 83 6.3 Änderungen ab PISA 201586 6.4 Zwischenfazit86 6.5 Trendanalysen

95 7 PISA 2018: Zusammenfassung der Ergebnisse

95 PISA 2018 – die wichtigsten Informationen zum Design der Studie95 Lesekompetenz im internationalen Vergleich95 Lesekompetenz nach Geschlecht96 Lesekompetenz bei PISA 2015 und PISA 2018 im Vergleich 96 Lesefreude und Leseselbstkonzept96 Mathematikkompetenz im internationalen Vergleich97 Naturwissenschaftskompetenz im internationalen Vergleich97 Familiäre Faktoren

99 Bibliografie

105 Anhang

117 Liste der Autorinnen und Autoren nach Abschnitten

7

Mithilfe von nationalen und internationalen Bestandsaufnahmen werden vielfältige Informa-tionen über das Bildungssystem an wichtigen Schnittstellen gesammelt, um einen Beitrag zu einer forschungs- und datengestützten Bildungspolitik zu leisten. Datengestützte Bestands-aufnahmen im Bildungsbereich beschreiben die Ergebnisse von Bildungsprozessen und zeigen Zusammenhänge zwischen dem Kompetenzerwerb der Schülerinnen und Schüler und ver-schiedenen individuellen, familiären und institutionellen Faktoren auf.

Die OECD-Studie PISA (Programme for International Student Assessment) misst die Leistun gen in den drei Bereichen Lesen, Mathematik und Naturwissenschaft bei den 15-/16-Jährigen, also gegen Ende der Pflichtschulzeit. Seit 2000 findet die PISA-Studie alle drei Jahre statt. Österreich nahm im Jahr 2018 erneut an der OECD-Studie PISA teil. PISA 2018 ist der siebte Durch-gang der Studie, wobei nach PISA 2000 und 2009 zum dritten Mal die Lesekompetenz den Schwerpunkt bildete. In Österreich nahmen 6.802 Schülerinnen und Schüler aus 291 Schulen aller Schulformen, die von 15-/16-Jährigen besucht werden, teil. Wie bereits bei PISA 2015 wurden die Kompetenzen der Jugendlichen ausschließlich computerbasiert erhoben.

Die PISA-Studie ist in Österreich mittlerweile zu einem festen Bestandteil qualitätssichernder Maßnahmen im Bildungsbereich geworden. PISA ermöglicht ein internationales Benchmarking im Vergleich mit den OECD- und Partnerstaaten sowie Trendanalysen durch die wiederholte Messung der Kompetenzen im Drei-Jahres-Rhythmus. Der vorliegende erste Berichtband zielt primär auf die Beschreibung der Kompetenzen der österreichischen Schülerinnen und Schüler im internationalen Vergleich und auf die Analyse der Veränderungen der Leistungen ab. Im Kapitel 6 finden Sie Darstellungen der Kompetenzen der österreichischen Schülerinnen und Schüler im Zeitvergleich von PISA 2000 bis PISA 2018.

Zum Gelingen eines solchen Projekts leisten viele Personen einen wesentlichen Beitrag. Ich bedanke mich bei den Autorinnen und Autoren sowie bei allen Mitarbeiterinnen und Mit-arbeitern des BIFIE, deren engagierte Mitarbeit diese Publikation ermöglicht hat, und bei Mark Német für die gute Kooperation zwischen BIFIE und BMBWF. Einen wichtigen Beitrag zur Qualität dieser Publikation haben Ulrike Kipman mit der Kontrolle und Unterstützung bei den statistischen Analysen sowie Gerda Hagenauer und Ferdinand Eder als externe Reviewer geleistet. Aufgrund der speziellen Expertise der Testleiterinnen und Testleiter für die computer-basierte Testdurchführung konnte eine hervorragende Datenqualität erzielt werden.

Mein besonderer Dank geht an alle Schülerinnen und Schüler sowie deren Eltern und an die Schulleitungen und Lehrkräfte der beteiligten Schulen. Ohne ihre Teilnahmebereitschaft und ihren Einsatz wären die Durchführung der Studie und die hohe Datenqualität, die wir erreichen konnten, nicht möglich gewesen.

November, 2019

Angela WeilgunyDirektorin des BIFIE

Liebe Leserin, lieber Leser!

PISA 2018. Grundkompetenzen am Ende der Pflichtschulzeit im internationalen Vergleich 9

1 PISA 2018 – eine Einführung in die aktuelle Studie Birgit Suchań, Iris Höller

Dieses Kapitel1 führt in die Zielsetzung und das Design von PISA ein, erläutert wesentliche Neuerungen bei PISA 2018 und gibt einen Überblick über die Durchführung von PISA in Österreich. Abschließend werden Hinweise zur Interpretation der Daten gegeben und die Publikationen und Produkte zu PISA 2018 vorgestellt.

1 Dieser Text basiert auf dem Einleitungskapitel im ersten Ergebnisbericht zu PISA 2015 (Suchań & Breit, 2016a). Textteile für Bereiche, die sich im Ver-gleich zu PISA 2015 nicht geändert haben, wurden unverändert aus dem Bericht des Jahres 2015 übernommen.

2 In einem Großteil der OECD-Länder endet die Schulpflicht im Alter von 15 bzw. 16 Jahren.

1.1 Zielsetzung und Organisation von PISA

Das Programme for International Student Assessment (PISA) wurde 2018 zum siebten Mal erfolgreich durchgeführt. Seit-dem die OECD (Organisation für wirtschaftliche Zusam-men arbeit und Entwicklung) im Jahr 2000 die PISA-Studien ins Leben gerufen hat, bearbeiten weltweit alle drei Jahre 15-/16-jährige Schüler/innen ein umfangreiches Erhebungs-programm, das aus Tests und Fragebögen besteht. So werden durch die Schülerleistungsstudie PISA regelmäßig Daten über die Kompetenzen und Fähigkeiten der Jugendlichen am Ende der Pflichtschulzeit sowie über die Effektivität der Bildungs-systeme in den OECD- und teilnehmenden Partnerländern erhoben.

Ziele von PISA

PISA erfasst die Kompetenzen von 15-/16-jährigen Schüle-rinnen und Schülern in Lesen, Mathematik und Naturwissen-schaft im Abstand von drei Jahren. Zu jedem Erhebungs-zeitpunkt wird einer dieser drei Bereiche schwerpunkt-mäßig (d. h. mit mehr Testaufgaben als in anderen beiden Kompetenzbereichen) erfasst. Mit PISA 2018 beginnt der ins-gesamt dritte Studien-Zyklus, bei dem nach den Jahren 2000 und 2009 erneut die Lesekompetenz im Vordergrund stand. Mathematik und Naturwissenschaft bildeten die Neben-domänen und werden 2024 bzw. in der darauffolgenden Erhebung wieder vertiefend getestet. Global Competence war bei PISA 2018 eine vierte (innovative) Testdomäne. Da sich Österreich nicht an der Erhebung in diesem vierten Testbereich beteiligt hat, wird in der hier vorliegenden Publikation nicht weiter darauf eingegangen.

Hauptziel von PISA ist es festzustellen, inwieweit das Schul-system eines Landes die Schüler/innen bis zum Ende ihrer Schulpflicht2 auf die Herausforderungen für das Leben nach der Schule vorbereitet und die notwendigen Voraussetzungen für ein lebenslanges Lernen schafft. PISA soll beispiels-weise Antworten auf folgende Fragen liefern: Können die

Schüler/innen Texte sinnerfassend lesen? Sind sie in der Lage, ihre in der Schule erworbenen mathematischen Fähigkeiten in alltäglichen Situationen umzusetzen und anzuwenden? Verfügen die Jugendlichen über ausreichende naturwissen-schaftliche Kenntnisse, um in einer durch Wissenschaft und Technik im Wandel begriffenen Welt verantwortungsbewusst handeln und entscheiden zu können?

Auch wenn Lesen, Mathematik und Naturwissenschaft nur ein Teil der Fächer ist, die in der Schule gelehrt werden, sind Kompetenzen in diesen drei Bereichen eine wesent-liche Voraussetzung für den individuellen Erfolg in beruf-lichen, gesellschaftlichen, sozialen und privaten Kontexten. Die PISA-Daten und die daraus abgeleiteten Indikatoren zur Effektivität, Gerechtigkeit und Wirksamkeit von Schul-systemen dienen den politischen Entscheidungsträgerinnen und -trägern eines Landes, Stärken und Schwächen des jeweiligen Systems im internationalen Vergleich zu erkennen und zu analysieren.

Da der Kompetenzerwerb von verschiedensten Rahmen-bedingungen abhängig ist bzw. beeinflusst wird, werden bei PISA neben den kognitiven Fähigkeiten auch Kontext-merkmale auf Schüler- und Schulebene erhoben, die mit der Leistung in Zusammenhang stehen können. Dazu zählen beispielsweise Aspekte von Bildungseinrichtungen, die die Schüler/innen im Laufe ihrer Schulzeit besuchen (z. B. Schulart, verfügbare Ressourcen an der Schule, Unterrichts-gestaltung), aber auch familiäre und individuelle Faktoren (z. B. Bildung und Beruf der Eltern, Migrationshintergrund, Motivation).

Aufgrund der regelmäßigen Durchführung von PISA im Abstand von drei Jahren können die Entwicklungen der Kompetenzen und deren Zusammenhänge mit den Rahmen-bedingungen über die Zeit analysiert werden. PISA liefert somit insgesamt drei Indikatorenbündel, die für Bildungs-steuerung hilfreich sind, da sie die Qualität und Effektivität der Bildungssysteme in den teilnehmenden Ländern beschreiben:

10 1 – PISA 2018 – eine Einführung in die aktuelle Studie

1. Die Kompetenzen der Schüler/innen in den Bereichen Lesen, Mathematik und Naturwissenschaft bilden die Basis- oder Leistungsindikatoren. Der direkte Vergleich mit den Leistungen anderer Teilnehmerländer ermög-licht die Identifizierung von Stärken und Schwächen der nationalen Bildungssysteme.

2. Die mittels Fragebögen für Schüler/innen und Schul-leiter/innen erhobenen Kontextindikatoren ermöglichen eine Analyse der Zusammenhänge zwischen demografi-schen, sozioökonomischen oder allgemeinen pädago-gischen Faktoren und der Leistung.

3. Die regelmäßige standardisierte Erfassung der Kompe-tenzen und Kontextmerkmale ermöglicht einen Vergleich der Ergebnisse über die Zeit und somit die Bildung von Trendindikatoren. Dadurch kann die Dynamik der Ent-wicklung erfasst werden. Zugleich können Konsequenzen zwischenzeitlich eingeleiteter Maßnahmen im System sichtbar gemacht werden.

PISA als Baustein des österreichischen Bildungsmonitorings

Für Österreich ist die Teilnahme an PISA einer von mehreren Bestandteilen des nationalen Bildungsmonitorings. Neben PISA werden mit PIRLS (Progress in International Reading Literacy Study) und TIMSS (Trends in International Mathe-matics and Science Study) die Lesekompetenzen sowie die Mathematik- und Naturwissenschaftskompetenzen in der 4. Schulstufe regelmäßig erfasst und international verglichen. Die internationalen Studien geben somit einen Einblick, inwiefern die bis zum Ende der Schulpflicht erworbenen Kompetenzen über die Landesgrenzen hinaus „wettbewerbs-fähig“ sind. Für Österreich liefern diese Studien regelmäßig wesentliche Daten zur Qualität, Effizienz und zu Ent-wicklungsfeldern des Schulsystems, die u. a. im Nationalen Bildungsbericht für Österreich (vgl. z. B. Oberwimmer, Vogtenhuber, Lassnigg & Schreiner, 2019; Breit, Eder, Krainer, Schreiner, Seel & Spiel, 2019) für Bildungsverant-wortliche aufbereitet sowie der breiten Öffentlichkeit zu-gänglich gemacht werden.

Internationale Projektstruktur

Die Managementverantwortung für das gesamte PISA-Projekt trägt das OECD-Sekretariat in Paris. Grundlegen-de Entscheidungen werden im PISA Governing Board (PGB) getroffen, in dem alle PISA-Teilnehmerländer auf politischer Ebene vertreten sind. Das PGB legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten für PISA fest und überwacht deren Einhaltung im Verlauf der Implementierung.

Für das Design und die Implementierung von PISA 2018 innerhalb des vom PGB gesteckten Rahmens waren vier inter-

nationale Vertragspartner der OECD für unterschiedliche Aufgaben im Projekt verantwortlich:

� Educational Testing Service (ETS): Projekt-Management, Erstellung des Testdesigns, Entwicklung der Testinstru-mente und der elektronischen Testplattform, Aufberei-tung der Daten für die Analysen, Skalierung der Daten und Durchführung von Datenanalysen; gemein sam mit dem Deutschen Institut für Internationale Päda go gische Forschung (DIPF): Entwicklung der Items für die Frage-bögen� Pearson: Erstellung der Frameworks � WESTAT: Stichprobenziehung und Erstellung der Samp-

ling-Richtlinien für die Durchführung der Testun gen an den Schulen� cApStAn Linguistic Quality Control: linguistische Quali-

tätssicherung der Übersetzungen

Um die wissenschaftliche Expertise und das praktische Know - how aus allen PISA-Teilnehmerstaaten und den nationalen Projektzentren einzubinden, werden für jeden Kompetenz-bereich sowie für die Fragebögen internationale Experten-gruppen gebildet. Bei PISA 2018 gab es für Lesen, Mathe-matik, Naturwissenschaft und Global Competence sowie für die Fragebögen je eine so genannte Subject Matter Expert Group (SMEG). Aufgabe der SMEGs ist es, die inter-nationalen Vertragspartner bei der Entwicklung der Test-instrumente (Testaufgaben und Fragebögen) zu unterstützen und zu gewährleisten, dass PISA mit der größtmöglichen international verfügbaren fachwissenschaftlichen und ver-fahrenstechnischen Kompetenz umgesetzt wird.

Die Technical Advisory Group (TAG), der renommierte inter-nationale Sozialwissenschaftler/innen und Methodiker/innen angehören, gewährleistet höchste technische Qualität des Projekts (z. B. im Hinblick auf das Studiendesign, die Um-setzung der technischen Standards oder bezüglich sämtlicher Analysen). Sie überprüft unter anderem die Einhaltung der von der OECD festgelegten Qualitätsstandards, die für alle Teilnehmerländer verbindlich sind.

Nationale Verantwortlichkeiten

In Österreich wird die Beteiligung an PISA vom Bildungs-ministerium in Auftrag gegeben und finanziert. Die praktische Umsetzung internationaler Schülerleistungsstudien gehört zu den Kernaufgaben des BIFIE (Bundesinstitut für Bildungs-forschung, Innovation & Entwicklung des österreichischen Schulwesens), das auch für die Durchführung von PISA 2018 in Österreich verantwortlich zeichnet.

In Zusammenarbeit mit den internationalen Vertragspart-nern und anderen nationalen PISA-Projektzentren – ins-besondere in Kooperation mit den deutschsprachigen Teil-nehmerländern Deutschland, der Schweiz und Luxemburg – wird von den BIFIE-Mitarbeiterinnen und -Mitarbeitern


die PISA-Studie in Österreich umgesetzt. Dazu werden das Untersuchungsdesign auf die nationalen Gegebenheiten ab-gestimmt, die Testaufgaben und Fragebögen mitentwickelt, übersetzt und angepasst, die Erhebungen durchgeführt und die Daten verarbeitet, analysiert und berichtet.

Um den PISA-Test bestmöglich an die Gegebenheiten in Österreich anzupassen, kooperiert das BIFIE bei der Begut-achtung der Frameworks und der Testaufgaben mit nationalen Fachexpertinnen und -experten.

Bei Tätigkeiten im Rahmen der Datenerhebung und Daten-verarbeitung werden die Mitarbeiter/innen des BIFIE von ex-ternen Personen unterstützt (z. B. Testleiter/innen zur Durch-führung der Testsitzungen, Coder/innen zur Bewertung der offenen Schülerantworten).

Teilnehmerländer

Die Anzahl der Teilnehmerländer steigt von Erhebung zu Erhebung. Während an PISA 2000 32 Länder teilgenommen haben, hat sich die Anzahl bei PISA 2018 mehr als ver-doppelt. An der aktuellen Erhebung beteiligten sich ins-gesamt 79 Länder (siehe Abbildung 1.1.1), darunter alle 37 OECD-Mitgliedsstaaten sowie 42 OECD-Partnerländer.

1.2 Merkmale und Besonderheiten bei PISA 2018

Computerbasierte Erhebung

Eine wesentliche Neuerung, die bereits bei PISA 2015 ein geführt und 2018 fortgeführt wurde, ist eine voll-ständige computerbasierte Testadministration. Es gab also im Vergleich zu den Erhebungen bis inklusive PISA 2012 keine gedruckten Testhefte mehr, sondern ein Testsystem auf USB-Sticks mit sämtlichen Testaufgaben und Frage-bögen. Zur Testdurchführung sollte primär die technische Infrastruktur der Schulen genutzt werden, nur bei Bedarf wurden vom BIFIE Laptops zur Verfügung gestellt (vgl. Abschnitt 1.5). Vonseiten der OECD wurden technische Mindestanforderungen festgelegt. Beispielsweise be-nötigten die Computer ein Windows-Betriebssystem (mind. Windows 7) und eine Prozessorgeschwindigkeit von mind. 1500 MHz. Der Bildschirm musste mind. eine Auflösung von 1024 Pixel mal 768 Pixel haben. Am PC musste die Software Visual C++ installiert sein und genügend Speicher-platz verfügbar sein. Eine Internetverbindung war für den Test nicht erforderlich.

3 In folgenden Ländern wurde PISA 2018 papierbasiert durchgeführt: Argentinien, Nordmazedonien, Libanon, Moldawien, Rumänien, Saudi-Arabien, Ukraine, Jordanien und Vietnam.

Die Umstellung auf einen computerbasierten Test entspricht zweifelsohne einem zeitgemäßen Vorgehen und stellt eine sinnvolle Weiterentwicklung von PISA dar. Dies ermöglicht beipielsweise den Einsatz neu entwickelter Aufgabenformate (z. B. interaktive Aufgaben zur Simulation von Experimen-ten) oder die Analyse von Verhaltensmustern bei der Test-bearbeitung (z. B. die Verweildauer bei einer Aufgabe). Ab-gesehen von diesen Vorteilen bringt ein solcher Wechsel im Testmodus (von papierbasiert auf computerbasiert) eine Reihe von Implikationen mit sich, die beispielsweise die Organisation der Testdurchführung (siehe Abschnitt 1.5) betreffen, aber auch die Interpretation der Daten – vor allem im Hinblick auf die Trendanalysen mit früheren Erhebungs-zeitpunkten (siehe Kapitel 6).

Länder, für die der Umstieg zum computerbasierten Testen aus technischen oder finanziellen Gründen nicht möglich war, konnten PISA 2018 wie gewohnt als „Papier-und-Blei-stift-Test“ durchführen. Neun OECD-Partnerländer3 ent-schieden sich für diese Form der Testadministration. Dies hatte zur Folge, dass in diesen Ländern nur Aufgaben aus den Erhebungen bis 2012 eingesetzt werden konnten, da sämtliche neu entwickelten Aufgaben für 2015 und 2018 aus-schließlich für den Computertest konzipiert worden waren.

Adaptives Testen

Der Umstieg auf eine computerbasierte Testung ermöglicht die Einführung eines so genannten adaptiven Testdesigns. Bei PISA 2018 wurde ein derartiges Design erstmals in der Hauptdomäne Lesen eingesetzt. Im Gegensatz zum her-kömmlichen Testen, bei dem alle Schüler/innen innerhalb einer bestimmten Testform immer die gleichen Aufgaben er-halten, werden beim adaptiven Testen bestimmte Antworten der Schüler/innen während des Tests automatisch bewertet. Basierend auf der Leistung der Schüler/innen und eines Zu-fallsprinzips werden die Schüler/innen dann zu einem spezi-fischen Aufgabenset weitergeleitet. Durch die Einführung des adaptiven Testdesigns ist es möglich, die Kompetenzen der Schüler/innen am oberen und unteren Ende der Leistungs-skala genauer zu erfassen (siehe Abschnitt 1.3 für weitere Informationen zum Testdesign).

Erweiterung der Messung der Lesekompetenz – Reading Fluency

Um bei PISA den unteren Leistungsbereich der Lesekompe-tenz besser erfassen und detaillierte Informationen über die Lesefertigkeiten der Schüler/innen zur Verfügung stellen zu können, wurde bei der Erhebung im Jahr 2018 erstmals die Leseflüssigkeit (Reading Fluency) erfasst. Dazu musste jede Schülerin/jeder Schüler zu Beginn des Aufgabenblocks mit


OECD-Länder PISA 2018

Australien (AUS)

Griechenland (GRC)

Vereinigte Staaten von Amerika (USA)Portugal (PRT)

Polen (POL)

Österreich (AUT)

Norwegen (NOR)

Niederlande (NLD)

Neuseeland (NZL)

Mexiko (MEX)

Luxemburg (LUX)

Korea (KOR)

Kanada (CAN)

Japan (JPN)

Italien (ITA)

Irland (IRL)

Island (ISL)

Frankreich (FRA)

Finnland (FIN)

Deutschland (DEU)

Dänemark (DNK)

Chile (CHL)

Belgien (BEL)

Ungarn (HUN)

Tschechische Republik (CZE)

Spanien (ESP)

Slowakei (SVK)

Schweiz (CHE)

Schweden (SWE)

Vereinigtes Königreich (GBR)

OECD-Partnerländer PISA 2018

Indonesien (IDN)

Lettland (LVA)

Kroatien (HRV)

Katar (QAT)

Kolumbien¹ (COL)

Kasachstan (KAZ)

Nordmazedonien (MKD)

Moldawien (MDA)Jordanien (JOR)

Israel (ISR)

Albanien (ALB)

Argentinien (ARG)

Estland (EST)

Hongkong4 (HKG)

Bulgarien (BGR)

Brasilien (BRA)

Russische Föderation (RUS)

Rumänien (ROU)

Peru (PER)

Macau4 (MAC)

Litauen (LTU)

Uruguay (URY)

Thailand (THA)

Taiwan (ChinesischesTaipei) (TWN)

Slowenien (SVN)

Singapur (SGP)

Georgien (GEO)

Chin. Provinzen³ (BSJZ)

¹ Kolumbien war zum Zeitpunkt der PISA-Erhebung im Frühjahr 2018 kein Mitglieder der OECD. Aufgrund der laufenden Mitgliedsverhand-lungen zwischen Kolumbien und der OECD (Stand September 2019) wird Kolumbien von der OECD im Internationalen Ergebnisbericht zu PISA 2018 als OECD-Land geführt. Im vorliegenden Nationalen Ergebnisbericht wird diese Entscheidung der OECD übernommen.

² Baku wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.

³ Provinzen Chinas (Peking, Schanghai, Jiangsu, Zhejiang): werden bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.4 Sonderverwaltungszone Chinas: wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.5 In der vorliegenden Publikation werden keine Daten zu Zypern berichtet, da diese im internationalen Datensatz nicht verfügbar sind.

DominikanischeRepublik (DOM)

Zypern5 (CYP)

Costa Rica (CRI)

Malaysia (MYS)

Montenegro (MNE)

Vietnam (VNM)

Vereinigte Arabische Emirate (ARE)

Malta (MLT)

Kosovo (XKX)

Libanon (LBN)

Ukraine (UKR)

Türkei (TUR)

Baku² (Aserbaidschan) (AZE)

Bosnien und Herzegowina (BIH)

Belarus (BLR)

Brunei Darussalam (BRN)

Marokko (MAR)

Panama (PAN)

Philippinen (PHL)

Serbien (SRB)

Saudi-Arabien (SAU)

EU-Länder fett hervorgehoben

Abbildung 1.2.1: Teilnehmerländer von PISA 2018

Quelle: OECD, 2019c.


den Leseaufgaben kurze Sätze lesen und beurteilen, ob der Inhalt richtig oder falsch ist (z. B. „Sechs Vögel flogen über die Bäume.“ oder „Das Fenster sang das Lied laut.“). Dieser Teil der Messung der Lesekompetenz im Rahmen von PISA gibt Auskunft über die Leichtigkeit und Effizienz, mit der ein Textteil gelesen und verstanden wird.

1.3 Testkonzeption und Testdesign

Frameworks

Die theoretische Basis für die Kompetenzmessung bei PISA bilden die sogenannten Frameworks. Diese beschreiben unter anderem für jede Domäne, was erfasst und gemessen werden soll und legen damit, ähnlich wie ein Lehrplan oder Bildungsstandards, Ziele fest. Die nationalen Lehr-pläne der jeweiligen Teilnehmerländer spielen bei der Fest-legung der Testinhalte eine untergeordnete Rolle. Würde man bei einer internationalen Vergleichsstudie wie PISA nur jene Inhalte testen, die in allen Teilnehmerländern im Lehrplan enthalten sind, würde ein vergleichsweise kleiner Ausschnitt „gemeinsamer Inhalte“ übrig bleiben und die Bandbreite der vom Test umfassten Kompetenzen wäre schnell erschöpft.

Zu Beginn jedes Testdurchgangs wird für den jeweiligen Schwerpunktbereich (bei PISA 2018 Lesen) das bereits vor-handene Framework der vergangenen Erhebung zunächst überprüft und weiterentwickelt, um die Kompetenzen der Schüler/innen so differenziert wie möglich erfassen zu können. So wurde für PISA 2018 das Leseframework von 2009 bzw. 20154 überarbeitet und erweitert; die Frameworks für Mathematik und Naturwissenschaft wurden hingegen nur geringfügig angepasst.

Die Frameworks beschreiben die der Erhebung zugrunde-liegende Theorie und skizzieren (1) die inhaltlichen Wissens-bereiche, die die Schüler/innen am Ende der Pflichtschule er-worben haben sollten, (2) die Prozesse, die die Schüler/innen zu leisten imstande sein müssen sowie (3) die Kontexte, in denen das Wissen und die Fertigkeiten im Rahmen von PISA angewendet werden müssen. Die theoretische Begründung und genaue Festlegung der Testinhalte in den PISA-Frame-works ermöglicht eine präzise und valide Messung der einzel-nen Kompetenzbereiche.

Im Folgenden werden die Inhalte der Frameworks für die bei PISA 2018 gemessenen Kompetenzbereiche kurz erläutert (eine ausführlichere Beschreibung findet sich in Höller & Toferer, 2019).

4 Für die Umstellung auf die erste computerbasierte Erhebung von PISA im Jahr 2015 musste das Leseframework aus dem Jahr 2009 (damals war Lesen die Hauptdomäne) bereits angepasst werden. Für PISA 2018 wurde das Leseframework gänzlich überarbeitet.

LESEHINWEIS

Das Framework zu PISA 2018 (OECD, 2019b) steht auf der Webseite der OECD unter https://www.oecd.org/pisa/pisaproducts/ zur Verfügung.

Alle computerbasierten freigegebenen Aufgaben finden sich auf http://www.oecd.org/pisa/test/

Aufgaben aus früheren papierbasierten Erhebungen, die freigegeben wurden, stehen unter https://www.bifie.at/node/264 zur Verfügung.

Lesekompetenz

Lesen war bei PISA 2018 nach 2000 und 2009 zum dritten Mal Hauptdomäne. Wie schon 2009 wurde das Leseframe-work für PISA 2018 zum zweiten Mal grundlegend über-arbeitet (Details zu den Änderungen im Framework siehe Kapitel 6). Lesekompetenz („reading literacy“) wird bei PISA 2018 wie folgt definiert:

„Lesekompetenz bedeutet, Texte zu verstehen, zu nutzen, zu be-werten, über sie zu reflektieren und sich mit ihnen auseinander-zusetzen, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen“ (OECD, 2019b, S. 28; Übersetzung: BIFIE).

Die Erfassung der Lesekompetenz basiert auf drei Haupt-merkmalen: Prozessen, Texten und Szenarien. Innerhalb von Szenarien gibt es Aufgaben. Im Folgenden werden diese drei Merkmale näher beschrieben.

� Prozesse: Für PISA 2018 wurden zwei große Kategorien von Leseprozessen definiert: Texte verarbeiten und Aufgaben-management (siehe Abbildung 1.3.1).

Im Bereich Texte verarbeiten werden vier Kategorien von Leseprozessen unterschieden. (1) Flüssiges Lesen ist die Fähigkeit, Wörter und Texte richtig und automatisiert zu lesen und diese entsprechend zu verarbeiten, um die allgemeine Bedeutung des Texts zu verstehen. Beim Lese-prozess (2) Informationen finden werden zwei Prozesse unterschieden: Durchsuchen und Informationen finden (einzelne Textabschnitte durchsuchen, um Informationen, die aus wenigen Wörtern, Phrasen oder Zahlenwerten be-stehen, zu finden) und Relevante Textstellen suchen und auswählen (entscheiden, welcher der verfügbaren Texte oder Textteile der wichtigste oder relevanteste bzw. welcher

https://www.oecd.org/pisa/pisaproducts/

https://www.oecd.org/pisa/pisaproducts/

http://www.oecd.org/pisa/test/

https://www.bifie.at/node/264

https://www.bifie.at/node/264


richtig oder wahrheitsgemäß ist). Bei der Kategorie (3) Verstehen geht es um die Analyse und die Integration von längeren Textpassagen, um die Bedeutung dieser Passagen zu erfassen. Auch hier wird zwischen zwei Prozessen unter-schieden: Wörtliche Bedeutung wiedergeben und Schluss-folgerungen ziehen und berücksichtigen. In der Kategorie (4) Bewerten und Reflektieren geht es darum, über die wört-liche Bedeutung eines Texts hinaus zu argumentieren. Hier werden drei Prozesse unterschieden: Qualität und Glaubwürdigkeit bewerten, über Inhalt und Textform reflektieren und Widersprüche erkennen und damit umgehen.

Beim Aufgabenmanagement handelt es sich um eine andere, metakognitive Verarbeitungsebene. Im Kontext eines Lesetests, aber auch in vielen alltäglichen Lese-situationen, befassen sich die Leser/innen mit Texten, weil sie eine Aufgabe gestellt bekommen oder eine Auf-forderung erhalten. Lesekompetenz beinhaltet die Fähig-keit, den Lesebedarf einer bestimmten Situation genau anzupassen, sich aufgabenrelevante Leseziele zu setzen und den Fortschritt zur Erreichung dieser Ziele laufend zu beobachten. Aufgabenorientierte Ziele verstärken die Suche der Leser/innen nach aufgabenrelevanten Texten und/oder Textpassagen.

� Texte:Im Framework zu PISA 2018 werden vier Dimensionen von Texten definiert. In der Dimension (1) Quelle wird zwischen Texten aus einer Quelle und Texten aus multiplen Quellen unterschieden. Die Dimension (2) Organisations- und Navigationsstruktur von Texten bezieht sich ins-besondere auf digitale Texte, die eine Reihe von Werk-

zeugen haben, mit denen die Nutzer/innen auf bestimmte Passagen zugreifen und diese anzeigen können. Diese Werkzeuge beinhalten etwa Bildlaufleisten und Register-karten. Das Framework unterscheidet dabei zwischen statischen Texten mit einer einfachen Organisations- und Navigationsstruktur (normalerweise eine oder mehrere Bildschirmseiten, die linear angeordnet sind), und dynamischen Texten, die eine komplexere, nichtlineare Organisations- und Navigationsstruktur haben. In der Dimension (3) Format werden drei Textformate unter-schieden: kontinuierliche Texte (z. B. Zeitungsartikel, Essays, Romane, Kurzgeschichten), nichtkontinuierliche Texte (z. B. Listen, Tabellen, Grafiken oder Diagramme) und gemischte Texte, die sowohl kontinuierliche als auch nichtkontinuierliche Textteile enthalten. In der Dimension (4) Typ kategorisiert PISA Texte nach sechs Texttypen, basierend auf den vorherrschenden Merkmalen eines Texts. Beschreibungen (z. B. die Darstellung eines bestimmten Orts in einem Reisebericht, eine geografische Karte), Erzählungen (z. B. Romane, Kurzgeschichten, Zeitungs-berichte), Darstellungen (z. B. wissenschaftliche Aufsätze), Begründungen (z. B. Leserbriefe, Plakatwerbung, Beiträge in einem Onlineforum), Anleitungen (z. B. Rezepte oder eine Reihe von Diagrammen, die Richtlinien für den Be-trieb von digitaler Software zeigen) und Transaktionen (z. B. Austausch von E-Mails und Textnachrichten, um Vereinbarungen zu treffen).

� Szenarien und Aufgaben:In PISA 2018 werden Szenarien eingesetzt. Diese be-stehen aus mehreren thematisch verwandten Texten, die von den Schülerinnen und Schülern gelesen werden

Texte verarbeiten

Aufgaben-management

Informationen finden– Durchsuchen und Informationen finden – Relevante Textstellen suchen und auswählen

Verstehen– Wörtliche Bedeutung wiedergeben – Schlussfolgerungen ziehen und berücksichtigen

Bewerten und Reflektieren – Qualität und Glaubwürdigkeit bewerten– Über Inhalt und Textform reflektieren – Widersprüche erkennen und damit umgehen

flüss

ig le

sen

Ziele undPläne

entwickeln

Beobachten,steuern

Abbildung 1.3.1: Die Leseprozesse bei PISA 2018

Quelle: OECD, 2019b, S. 33.


müssen, um eine einleitend vorgegebene, übergreifende Aufgabenstellung zu bearbeiten. Die verwendeten Texte können dabei vielfältig sein und eine Auswahl aus der Literatur, Lehrbüchern, E-Mails, Blogs, Websites, Richt-liniendokumenten oder historischen Dokumenten um-fassen. Zu jedem Text eines gesamten Szenarios werden eine oder mehrere Aufgaben gestellt. Jede Aufgabe kann einem der im Framework definierten Prozesse (siehe Abb. 1.3.1) zugeordnet werden. In diesem Sinne ent-sprechen die Szenarien und Aufgaben in PISA 2018 den Units und Items in früheren PISA-Erhebungen, die in Form von Trenditems nach wie vor auch bei PISA 2018 eingesetzt wurden. Daneben werden weiterhin von-einander unabhängige Leseeinheiten eingesetzt.

Die Abbildungen 1.3.2 und 1.3.3 zeigen freigegebene Lese-aufgaben aus PISA 2018.

Mathematikkompetenz

Bei der Mathematikkompetenz steht bei PISA die Anwen-dung und Nutzung des mathematischen Wissens in einer Vielzahl von unterschiedlichen Kontexten im Vordergrund. Sie wird wie folgt definiert:

„Mathematikkompetenz ist die Fähigkeit einer Person, Mathe-matik in einer Vielzahl von Kontexten zu formulieren, anzu-wenden und zu interpretieren. Dazu gehört mathematisches Schlussfolgern sowie die Anwendung mathematischer Konzepte, Verfahren, Fakten und Werkzeuge, um Phänomene zu be-schreiben, zu erklären und vorherzusagen. Mathematik-kompetenz hilft jeder/jedem Einzelnen, die Rolle zu erkennen, die Mathematik in der Welt spielt, sowie fundierte Urteile ab-zugeben und gut begründete Entscheidungen zu treffen, wie sie von konstruktiven, engagierten und reflektierenden Bürgerinnen und Bürgern benötigt werden“ (OECD, 2019b, S. 75; Übersetzung: BIFIE).

Folgende drei Aspekte spielen bei der Erfassung der Mathe-matikkompetenz bei PISA eine wesentliche Rolle:

� Kontexte: Die Kontexte, in denen die Mathematikaufgaben an-gesiedelt sind, stammen entweder aus einem (1) persön-lichen, (2) beruflichen, (3) öffentlichen oder aus einem (4) wissenschaftlichen Umfeld.

� Inhaltsbereiche: Sämtliche PISA-Mathematikaufgaben beziehen sich auf einen der folgenden Inhaltsbereiche: (1) Größen (z. B. Erkennen numerischer Muster), (2) Raum und Form (z. B. Verstehen von Zusammenhängen zwischen räum-lichen und geometrischen Formen), (3) Veränderung und Zusammenhänge (z. B. funktionale Zusammenhänge zwischen Variablen) und (4) Unsicherheit und Daten (z. B. Kenntnisse über das Sammeln, Analysieren und

Darstellen von Daten, Umgang mit Messunsicherheiten und Wahrscheinlichkeiten).

� Prozesse: Mathematische Prozesse konkretisieren die grundlegen-den mathematischen Aktivitäten, die die Schüler/innen beim Lösen einer Aufgabe anwenden: (1) Situationen mathematisch formulieren; (2) mathematische Konzepte, Fakten, Prozeduren und Denkweisen anwenden; (3) mathematische Ergebnisse in Bezug auf die reale Problem-stellung reflektieren und bewerten.

Naturwissenschaftskompetenz

Wie die Mathematikkompetenz war auch der naturwissen-schaftliche Bereich bei PISA 2018 eine Nebendomäne. Die Definition der Naturwissenschaftskompetenz bei PISA 2018 lautet:

Naturwissenschaftskompetenz ist die Fähigkeit, sich als reflektie-rende Bürgerin/reflektierender Bürger mit naturwissenschaft-lichen Themen und mit den Grundideen der Naturwissenschaft auseinanderzusetzen. Dabei ist es wichtig, sich auf einen gut begründeten Diskurs über Naturwissenschaft und Technologie einzulassen, wozu folgende Kompetenzen erforderlich sind:

� Phänomene naturwissenschaftlich erklären: Erkennen, An-bieten und Bewerten von Erklärungen für eine Reihe unter-schiedlicher naturwissenschaftlicher und technologischer Ereignisse.

� Naturwissenschaftliche Untersuchungen planen und evalu-ieren: Beschreiben und Einschätzen von naturwissenschaft-lichen Untersuchungen und Möglichkeiten finden, um natur-wissenschaftliche Fragen zu klären.

� Daten und Belege naturwissenschaftlich interpretieren: Analysieren und Evaluieren von Daten, Aussagen und Argumentationen in einer Vielzahl von unterschiedlichen Darstellungsarten und Ziehen von angemessenen natur-wissenschaftlichen Schlussfolgerungen.

(OECD, 2019b, S. 100 f.; Übersetzung: BIFIE).

Folgende Aspekte der Naturwissenschaftskompetenz werden bei PISA 2018 erfasst:

� Kontexte: Die Naturwissenschaftsaufgaben von PISA sind in Situationen eingebettet, die sich auf (1) persönliche Kontexte (die eigene Person, die Familie und Peergroups), (2) lokale und nationale Kontexte (Gesellschaft) und (3) auf globale Kontexte (Leben auf der ganzen Welt) beziehen.

� Fähigkeiten: Dabei handelt es sich um jene drei natur-wissenschaftlichen Fähigkeiten, die bereits in der oben stehenden Definition angeführt wurden: (1) Phänomene naturwissenschaftlich erklären, (2) Planen und Evaluieren von naturwissenschaftlichen Untersuchungen und (3) Daten und Belege naturwissenschaftlich interpretieren.


Aufgabenbeispiel DIE OSTERINSEL

Im Szenario zu der Unit „Die Osterinsel“ bereiten sich die Schüler/innen auf einen Vortrag einer Professorin über ihre Feldforschung auf der Osterinsel vor. Die Unit besteht aus drei Texten: einer Webseite aus dem Blog einer Professorin, einer Buchbesprechung und einem Nach-richtenartikel aus einem Online-Wissenschaftsmagazin. Anfänglich sehen Schüler/innen nur den Blogbeitrag, zu dessen Inhalt mehrere Fragen gestellt werden. Sobald diese Fragen beantwortet sind, erhalten die Schüler/innen den zweiten Text, die Buchbesprechung, und eine Frage, die sich ausschließlich auf die Buchbesprechung bezieht. Dann sehen die Schüler/innen den dritten Text, den Artikel aus dem Online-Wissen-schaftsmagazin. Nachdem die Schüler/innen zuerst Fragen erhalten, die sich nur auf den Artikel fokussieren, beantworten sie anschließend Fragen, bei denen die Informationen aus allen drei Texten miteinander verknüpft werden müssen.

Informationen zu Frage 6 (rechts oben)

Kognitiver Prozess Schlussfolgerungen ziehen und berück sichtigen

Textstruktur Texte aus multiplen Quellen

Lösung

Alle drei Felder müssen richtig befüllt werden: Ursache (Jared Diamond): Menschen fällten Bäume, um Land für die Landwirtschaft und andere Zwecke zu gewinnen. Ursache (Carl Lipo und Terry Hunt): Polynesische Ratten fraßen Baumsamen und folglich konnten keine neuen Bäume wachsen. Wirkung (gemeinsam): Die großen Bäume sind von der Osterinsel verschwunden.

Kompetenzstufe 5

Schwierigkeit 665 Punkte

Informationen zu Frage 7 (rechts unten)

Kognitiver Prozess Widersprüche erkennen und damit umgehen


Lösung

Die Schüler/innen müssen mithilfe der Informatio-nen aus allen drei Texten entscheiden, welche der beiden Theorien sie unterstützen. Dazu müssen sie die Theorien verstehen und erkennen, dass sie im Widerspruch zueinander stehen. Eine richtige Antwort muss sich auf eine der beiden Theorien be-ziehen und Informationen aus den Texten enthalten, um die eigene Meinung zu stützen, oder sich darauf beziehen, dass keiner der Theorien zugestimmt wird und noch weitere Forschung nötig ist.

Kompetenzstufe 4


Abbildung 1.3.2: Stimulus und Items der freigegebenen Unit „Die Osterinsel“


Aufgabenbeispiel KUHMILCH

In diesem Szenario sehen drei Schüler/innen in den USA ein Schild in einem Café, das besagt, dass das Café keine Kuhmilch mehr anbietet und stattdessen einen Sojaersatz verwendet. Die drei Schüler/innen sind neugierig, suchen auf ihrem Smartphone nach Informationen über Kuhmilch und diskutieren die Ergebnisse. Der Text in dieser Unit besteht aus zwei Webseiten. Zu Beginn wird den Schülerinnen und Schülern nur die Webseite „Hofmolkerei“ zur Verfügung gestellt, zu der verschiedene Fragen gestellt werden. Anschließend wird eine Aktualisierung des Szenarios vorgestellt und die Schüler/innen sehen die zweite Webseite, zu der sie ebenfalls eine Reihe von Fragen beantworten müssen. Anschließend erhalten die Schüler/innen Fragen, für deren Beantwortung sie Informationen von beiden Webseiten verknüpfen müssen.

Informationen zu Frage 2 (rechts oben)

Kognitiver Prozess Über Inhalt und Textform reflektieren


LösungDie Verwendung der Produkte der Hof molkerei zu fördern.

Kompetenzstufe 2


Informationen zu Frage 6 (rechts unten)

Kognitiver Prozess Wörtliche Bedeutung wiedergeben


Lösung

Die Schüler/innen müssen eines der im Text ge-nannten Forschungsergebnisse nennen:

1. Weibliche Milchtrinker erlitten mehr Knochen-brüche.

2. Bei männlichen und weiblichen Milchtrinkern war die Wahrscheinlichkeit für Herzkrankheiten und Krebserkrankungen höher.

Kompetenzstufe 3


Abbildung 1.3.3: Stimulus und Item der freigegebenen Unit „Kuhmilch“


� Wissensarten: Das Verständnis von wesentlichen Fakten, Konzepten und erklärenden Theorien bildet die Basis für ein naturwissenschaftliches Wissen. Dieses Wissen wird bei PISA in folgende Bereiche gegliedert: � Deklaratives Wissen über die Welt und über techno-

logische Erkenntnisse in den Bereichen physikalische Systeme, lebende (biologische) Systeme sowie Erd- und Weltraumsysteme.

� Prozedurales Wissen bezieht sich auf Konzepte und Prozeduren, die für wissenschaftliche Lösungsansätze im Rahmen einer empirischen Untersuchung not-wendig sind (z. B. Kenntnisse über das Konzept von abhängigen, unabhängigen und Kontrollvariablen in einer Untersuchung).

� Epistemisches Wissen bezeichnet das Wissen über die Strukturen und Grundmerkmale, die für den Prozess der Wissensbildung in Naturwissenschaft notwendig sind (z. B. die Unterscheidung zwischen einer wissen-schaftlichen Theorie und einer Hypothese oder das Wissen darüber, wie wissenschaftliche Annahmen durch Daten und Schlussfolgerungen gestützt werden).

Test und Fragebogenentwicklung

Kognitive Testaufgaben

Zur Erfassung der Schülerleistungen werden bei PISA einer-seits neue Testaufgaben entwickelt und andererseits Aufgaben aus früheren Erhebungen eingesetzt. Neue Aufgaben werden jeweils nur für jenen Bereich entwickelt, der schwerpunkt-mäßig erfasst wird bzw. der als innovative Domäne die drei Kernkompetenzen ergänzt. Für PISA 2018 wurden folglich nur für Lesen und Global Competence neue Items kreiert. In Mathematik und Naturwissenschaft wurden ausschließ-lich Aufgaben aus vorangegangenen PISA-Erhebungen – so-genannte Trenditems (Linkitems) – eingesetzt. Aber auch im Schwerpunktbereich Lesen kamen Trendaufgaben zum Einsatz. Mithilfe der Trendaufgaben ist es möglich, die Leistungen der Schüler/innen über alle Messzeitpunkte hinweg (von PISA 2000 bis PISA 2018) zu vergleichen.

Basis für die Entwicklung neuer Testaufgaben sind die (zuvor beschriebenen) Frameworks, die gewissermaßen die „internationalen Bildungsstandards“ für 15-/16-Jährige dar-stellen. Für die Entwicklung der neuen Aufgaben wurden für jeden Kompetenzbereich internationale Experten-gruppen zusammengestellt, die in Workshops anhand der international vorgegebenen Kriterien dafür sorgten, dass für den Feldtest ausreichend viele Aufgaben zur Leistungs-messung zur Verfügung standen. Auch die Teilnehmerländer wurden aufgefordert, Aufgaben einzureichen, die von den internationalen Expertengruppen begutachtet wurden. Im Anschluss evaluierte jedes Teilnehmerland den gesamten Aufgabenpool anhand international definierter Kriterien

(z. B. wie interessant die Aufgabe für 15-/16-Jährige ist, ob die Aufgaben kultur- und/oder geschlechtssensibel sind).

Alle Aufgaben, die diese Begutachtungsphase positiv durch-laufen haben, sowie alle Trendaufgaben wurden beim PISA-Feldtest erprobt. Anhand statistischer Itemanalysen der internationalen Vertragspartner fand die Auswahl und Über-arbeitung der neu entwickelten Aufgaben für den Haupttest statt. Durch diese Vorgehensweise soll sichergestellt werden, dass letztlich nur Aufgaben zur Leistungsmessung im Haupt-test eingesetzt werden, die in allen Teilnehmerländern ein-wandfrei funktionieren bzw. die weiterhin den Vergleich der Leistung mit früheren Erhebungen ermöglichen.

Die so entwickelten Szenarien für Lesen bzw. Units für Mathe matik und Naturwissenschaft werden innerhalb der Kompetenzbereiche zu Clustern (Aufgabenblöcken) mit einer Bearbeitungszeit von jeweils 30 Minuten zusammengefasst. Tabelle 1.3.1 kann entnommen werden, wie viele neu ent-wickelte Aufgaben und Trendaufgaben im Haupttest PISA 2018 (exklusive der Domäne Global Competence) eingesetzt wurden sowie zu wie vielen Units und Clustern sie gruppiert wurden.

Tabelle 1.3.1: Anzahl der Testaufgaben, Units und Cluster

Testaufgaben PISA 2018(ohne Global Competence)

Neu Trend Gesamt Units Cluster

Lesen 173 72 245 50 15*

Mathematik 0 83 83 45 6

Naturwissenschaft 0 115 115 34 6

GESAMT 175 270 443 129

Anmerkungen: * Die Leseaufgaben entsprechen etwa 15 Clustern. Aufgrund des adaptiven Testdesigns sind diese allerdings nicht in Clustern gruppiert, sondern werden variabel zu Testlets zusammen-gefasst.Quelle: PISA 2018.

Die Fragebögen

Um neben den Kompetenzen der Schüler/innen auch deren Lernumgebungen zu beschreiben und Zusammenhänge mit den Leistungen zu analysieren, werden bei PISA sowohl Schü ler/innen als auch Schulleiter/innen zu verschiedenen Themen im Zusammenhang mit dem Kompetenzerwerb be-fragt. Der Einsatz dieser beiden Fragebögen ist für alle Teil-nehmerländer verpflichtend. Darüber hinaus können sich die Länder auch an optional zur Verfügung gestellten Fragebögen beteiligen. Bei PISA 2018 gab es folgende Optionen: Eltern-fragebogen, Lehrerfragebogen, Schülerfragebögen zum (1) Wohlbefinden, zu (2) Informations- und Kommunikations-technologien (IKT) sowie zur (3) Schullaufbahn.


Die Kontextfragebögen werden wie die Testitems auf Basis eines Frameworks konzipiert (OECD, 2019b, S. 217 ff.). In Abstimmung mit dem PISA Governing Board wurden für PISA 2018 insgesamt 16 Themenblöcke (Module) definiert, die mithilfe der Fragebögen erfasst werden.

Einige Themen sind in allen PISA-Erhebungen Bestand-teil des Schulleiter- und/oder Schülerfragebogens, während domänenspezifische Themen, je nachdem welcher Kompe-tenz bereich schwerpunktmäßig erfasst wird, wechseln. Jene Inhalte, die bereits seit Beginn der Studie in den Fragebögen erhoben werden, liefern für die Länder nach mittlerweile 18 Jahren wertvolle Trenddaten, um innerhalb des eigenen Landes die Entwicklungen (z. B. hinsichtlich des Wohl-befindens der Schüler/innen oder der an der Schule zur Ver-fügung stehenden Ressourcen) beobachten zu können.

In Anlehnung an die Module im Framework umfasst der Schüler fragebogen zu PISA 2018 Fragen zu folgenden Themen:

� Demografische Daten: z. B. Alter, Geschlecht � Familiärer Hintergrund: z. B. Beruf und Schulbildung

der Eltern, Migrationshintergrund, zu Hause gesprochene Sprache, zu Hause verfügbare Gegenstände wie beispiels-weise Bücher, Handys etc., elterliche Unterstützung im schulischen Alltag � Schullaufbahn: z. B. Schuleintrittsalter, Klassenwieder-

holungen, Schulstufe� Allgemeine Einstellungen und Erwartungen: z. B. erwar-

teter Schulabschluss und späterer Beruf, Selbsteinschät-zung in Bezug auf die eigene Zielstrebigkeit� Klassen- und Schulklima: z. B. Gefühl der Zugehörigkeit,

Umgang der Lehrkräfte mit den Schülerinnen und Schülern, Zusammenhalt in der Klasse� Stundenplan und Lernzeit: z. B. Anzahl Unterrichtsein-

heiten in diversen Schulfächern sowie die zusätzliche Lernzeit� Deutschunterricht: z. B. Unterstützung durch die Lehr-

kraft, Arbeiten mit Texten und die gemeinsame Diskussion darüber bzw. damit zusammenhängende Arbeitsaufträge � Einstellungen hinsichtlich Lesen: z. B. Lesefreude, Lese-

häufigkeit, Lesemedien, Selbsteinschätzung der Lese-kompetenz

Zusätzlich zum international verpflichtenden Schülerfrage-bogen wurde in Österreich als internationale Option der Fragebogen zu Informations- und Kommunikationstechno-logien (IKT) und zur Schullaufbahn eingesetzt. Der IKT-Fragebogen wird seit PISA 2003 durchgehend verwendet. 2018 umfasste er folgende Themen:

� Nutzung und Verfügbarkeit von Informations- und Kom-munikationstechnologien zu Hause und in der Schule� Einsatz digitaler Geräte im Unterricht� Freude und Versiertheit bei der Nutzung von digitalen

Geräten und Medien

Die Kernthemen des Fragebogens zur Schullaufbahn waren:

� Aktivitäten der Schüler/innen hinsichtlich Berufsmöglich-keiten (z. B. Besuch einer Berufsinformationsmesse)� Entscheidungskriterien für spätere Berufswahl (z. B.

Talente, Noten, zu erwartendes Gehalt)� Erworbene Kompetenzen hinsichtlich Berufswelt (z. B.

wissen, wie man nach einem Job sucht)

Der internationale Schulfragebogen erfasste folgende Hinter-grundinformationen:

� Basisdaten zur Schule: z. B. Schultyp, Schul- und Klassen-größe, Anzahl der Lehrkräfte, Computerausstattung � Schulmanagement: z. B. Verantwortlichkeiten für be-

stimmte Aufgaben, Aufnahmekriterien, Schulressourcen und Lernumgebung� Lehrkörper: z. B. Ausbildung und Fachkenntnisse, Fort-

bildungen� Beurteilungspraxis und Evaluation: z. B. Unterrichts-

beobachtungen und Feedbackkultur, (standardisierte) Tests und Schularbeiten, Maßnahmen zur Qualitäts-sicherung und -entwicklung� Leistungsdifferenzierung im Unterricht� Schulklima: z. B. Faktoren, die den Unterricht ein-

schränken, Einbindung der Eltern

LESEHINWEIS

Die österreichische Version der Fragebögen von PISA 2018 ist unter https://www.bifie.at/material/inter-nationale-studien/pisa/pisa-2018/ als PDF verfügbar. Dieses PDF wurde aus der computerbasierten Version der Fragebögen generiert. Das im PDF vorliegende Layout entspricht aus diesem Grund nicht der An-sicht der Fragebögen aus Sicht der Schüler/innen bzw. Schulleiter/innen.

Übersetzung der Test und Fragebogenitems

Die für PISA ausgewählten Schüler/innen werden in jedem Teilnehmerland in der jeweiligen Unterrichtssprache getestet. Daher müssen in jedem Land die Testaufgaben und Frage-bögen in die jeweilige(n) Landessprache(n) übersetzt werden.

Bei der Übersetzung der Testaufgaben ist die sprachliche Gleichwertigkeit aller Materialien von zentraler Bedeutung, d. h. die Eigenschaften der Aufgaben müssen gewahrt bleiben. Es darf bei der Übersetzung z. B. nicht dazu kommen, dass Texte, Grafiken, Tabellen oder Fragen schwerer oder leichter verständlich werden. Ebenso muss bei den Fragebögen ge-währleistet werden, dass sich das zu erfassende Merkmal (z. B.

https://www.bifie.at/material/internationale-studien/pisa/pisa-2018/



Lesedauer pro Woche) nicht verändert. Zur Sicherung der Qualität der Erhebungsinstrumente werden daher vom inter-nationalen Zentrum umfassende Übersetzungsrichtlinien vorgeschrieben und deren Umsetzung genau kontrolliert.

Die hauptsächliche Übersetzungsarbeit findet vor dem Feldtest statt, da hier alle neu entwickelten Aufgaben und Kontextfragen erstmals zu übersetzen sind. Für den Haupttest sind meist keine neuen Übersetzungen mehr vorzunehmen, da die Instrumente auf Basis der Ergebnisse aus dem Feldtest lediglich überarbeitet werden.

Als Basis für die Übersetzung der Testaufgaben werden Quell-versionen in englischer und französischer Sprache von inter-nationaler Seite zur Verfügung gestellt. In jedem Land müssen zunächst von jeder Aufgabe zwei unabhängige Übersetzungen (Double Translation) erstellt und danach von einer dritten Person zusammengeführt werden. Für die Double Translation können entweder beide Quellversionen oder nur eine der beiden Quellversionen herangezogen werden.

Die Übersetzung der Testaufgaben ins Deutsche erfolgte bei PISA 2018 in mittlerweile langjähriger Kooperation zwischen allen deutschsprachigen PISA-Ländern: Deutsch-land, Luxemburg, Österreich und der Schweiz. Deutsch-land übernahm die Übersetzung aller neuen Leseaufgaben (für die Nebendomänen Mathematik und Naturwissen-schaft wurden keine neuen Testaufgaben entwickelt), die Schweiz übersetzte die neuen Items in den Fragebögen und Österreich war gemeinsam mit Luxemburg für die Über-setzung der Coding Guides (Coding-Anweisungen für die Be-wertung der offenen Schülerantworten) verantwortlich. Mit der Übersetzung wurden im jeweiligen Land professionelle Übersetzerinnen und Übersetzer betraut. Auf Basis der Über-setzungen von Deutschland für den Kompetenzbereich Lesen sowie von der Schweiz für den Schulleiter- und Schülerfrage-bogen erarbeiteten alle deutschsprachigen Länder gemeinsam eine deutschsprachige Version der Testinstrumente. Diese wurde zur Verifikation beim internationalen Vertragspartner cApStAn eingereicht, wo sie von speziell geschulten Über-setzerinnen und Übersetzern kontrolliert und kommentiert wurden. In einem weiteren Schritt wurden in Österreich, Luxemburg und in der Schweiz nationale Adaptionen (aus regionalen sprachlichen oder kulturellen Gründen) an der gemeinsamen deutschen Version vorgenommen, um so die Landes-Version der Testinstrumente zu erstellen. Sämtliche Anpassungen wurden dokumentiert und erneut zur Veri-fikation eingereicht (dabei wurden allerdings nur mehr die nationalen Anpassungen überprüft).

Bei der Übersetzung der Fragebögen wird besonders darauf geachtet, dass die Fragen für die Schüler/innen sowie Schul-leiter/innen eindeutig zu verstehen und zu beantworten sind, wobei auf Besonderheiten der nationalen Schulsysteme Rück-sicht genommen werden muss. Die Fragebögen erfordern

daher oft deutlich umfassendere Adaptionen auf nationaler Ebene als die Testaufgaben. Die international verpflichtende Verifikation der Fragebögen gewährleistet auch hier die Vergleichbarkeit zwischen den Teilnehmerländern.

Testdesign

Beim PISA-Haupttest 2018 wurden die in Tabelle 1.3.1 ge-listeten Cluster zu 36 verschiedenen Testformen kombiniert. Eine Testform setzt sich jeweils aus vier Clustern (á 30 Minuten Bearbeitungszeit) zusammen, wobei jede der 36 Testformen einen einstündigen Testblock (2 Cluster) mit Leseaufgaben beinhaltet. Die restlichen beiden Cluster be-inhalten entweder Aufgaben aus einer oder aus beiden Neben-domänen.

In 24 der 36 Formen wurden jeweils zwei der drei Kompe-tenzbereiche kombiniert (12 Testformen mit Lesen und Mathematik; 12 Testformen mit Lesen und Naturwissen-schaft) und in weitern 12 Formen waren jeweils alle drei Domäen vorhanden.

Zusätzlich zu den 36 regulären Testformen wurde in Öster-reich auch eine eigene, verkürzte Testform für Schüler/innen mit besonderen Bedürfnissen (die UH-Testform; „une heure“ – „eine Stunde“) eingesetzt.

Für die Einführung des adaptiven Testens bei PISA 2018 wurde das Verfahren Multistage Adaptive Test (MAT) mit drei Phasen gewählt: (1) Core, (2) Stage 1 und (3) Stage 2. Nach der Bearbeitung von etwa 7 bis 10 Aufgaben in der Phase Core wurde der Großteil der Antworten der Schüler/innen automatisch bewertet (mindestens 80 %; dazu wurden nur die Antworten auf Multiple-Choice-Aufgaben sowie Aufgaben mit kurzen offenen Antworten herangezogen). In Abhängigkeit von der Anzahl der richtigen Antworten wurden die Schüler/innen in folgende Gruppen eingeteilt: (1) niedrig, (2) mittel und (3) hoch. Mithilfe dieser Ein-teilung, kombiniert mit einer Zufallsauswahl, wurden die Schüler/innen anhand vordefinierter Regeln an ein be-stimmtes Aufgabenset in der Phase Stage 1 (Low oder High Testlet) weitergeleitet. So wurden Schüler/innen mit mittleren Leistungen in der Core-Phase mit gleicher Wahrscheinlichkeit zu einem low (leichten) oder einem high (schweren) Testlet in Phase 1 weitergeleitet. Schüler/innen mit niedriger Leistung wurden hingegen mit 90%iger Wahrscheinlichkeit einem leichten und mit den restlichen 10 % einem schweren Testlet zugeordnet; mit den Schülerinnen und Schülern der Kate-gorie „hoch“ verhielt es sich genau umgekehrt. Und auch beim Übergang von Stage 1 auf Stage 2 entschied die Leistung der Schüler/innen und eine Zufallsnummer, welches Aufgabenset sie in weiterer Folge erhielten. Genauere Informationen zum adaptiven Testdesign für die Hauptdomäne Lesen finden sich im internationalen Ergebnisbericht (OECD, 2019c) sowie im Technischen Bericht der OECD (in preparation).


1.4 Population und Stichprobe

Definition der PISAPopulation und die Umsetzung in Österreich

Die einheitliche Definition der Zielpopulation sowie die Fest-legung bestimmter Regeln für die Größe und Zusammen-setzung der Stichprobe sind zentrale Voraussetzungen für die Vergleichbarkeit der PISA-Daten sowohl zwischen den Teilnehmerländern als auch über die einzelnen Erhebungs-zeitpunkte hinweg.

Die Definition der Grundgesamtheit bei PISA ist altersbasiert und umfasst nur die beschulte Population der definierten Alters-gruppe. Die PISA-Population besteht aus allen Schülerinnen und Schülern, die zum Testzeitpunkt zwischen 15 Jahre und drei Monate und 16 Jahre und zwei Monate alt sind und die mindestens die 7. Schulstufe besuchen5. In Österreich wurde das Testfenster bei PISA 2018 auf den Zeitraum von 9. April bis 18. Mai 2018 festgesetzt (an lehrgangsmäßig geführten Berufsschulen durfte bereits ab 12. März 2018 getestet werden, wenn dadurch mehr Schüler/innen erreicht werden konnten) und somit lautete die Populationsdefinition für die PISA-Erhebung 2018 für Österreich präzise: „Ziel-population von PISA 2018 sind Schülerinnen und Schüler des Jahrgangs 2002 ab der 7. Schulstufe.“

Jugendliche im Alter von 15/16 Jahren befinden sich in einem Großteil der OECD-Länder am Ende der Pflichtschulzeit – eine für die Vergleichbarkeit optimale Bedingung, da PISA somit den kumulativen „Bildungsertrag“ der einzelnen Schul-systeme (aus Grundschule und Sekundarstufe I) erfasst.

In Österreich befinden sich die rund 80.000 Schüler/innen der Zielpopulation in Schulen der Sekundarstufe I und II, von den Pflichtschulen (Neue Mittelschulen, Sonderschulen, Polytechnische Schulen) über die Berufsschulen und berufs-bildenden mittleren Schulen bis zu den allgemeinbildenden und berufsbildenden höheren Schulen.

Jugendliche, die im Alter von 15/16 Jahren noch eine Neue Mittelschule (ehemals Hauptschule), AHS-Unterstufe oder Sonderschule besuchen, weisen meist eine erhebliche Schul-laufbahnverzögerung auf (d. h. sie haben mindestens eine Klasse wiederholt). Auch wenn es sich bei diesen Jugend-lichen meist um schwächere Schüler/innen handelt, gehören sie zur PISA-Zielgruppe und zum Gesamtbild des Leistungs-stands der Population.

Ebenso gehören Schüler/innen mit besonderen Bedürfnissen zur Zielgruppe, die, wenn es möglich, sinnvoll und ethisch vertretbar ist, auch am PISA-Test teilnehmen. Für sie wurde

5 Anhand der Datenbasis für die Stichprobenziehung für den Haupttest zu PISA 2018 hatten in Österreich etwa 0,09 % der 15-/16-jährigen Schüler/innen die 7. Schulstufe noch nicht erreicht.

international eine eigene „Testform UH“ mit einer kürzeren Bearbeitungszeit (60 Minuten) zusammengestellt. Mithilfe dieses ursprünglich von Österreich wesentlich initiierten „UH-Tests“ werden Jugendliche an Sonderschulen getestet sowie Schüler/innen mit besonderen Bedürfnissen, die als Integrationsschüler/innen Neue Mittelschulen besuchen. Unter bestimmten Voraussetzungen werden stark beein-trächtigte Schüler/innen jedoch vom Test ausgenommen, wenn eine Testung nicht zumutbar wäre und auch zu keinen brauchbaren Informationen führen würde.

Da PISA unter „Schülerinnen und Schülern“ nicht nur Voll-zeit-, sondern auch Teilzeitschüler/innen versteht, zählen auch Berufsschülerinnen und -schüler (Schüler/innen im „dualen System“) laut Vorschriften der OECD zur Population. In Österreich entsteht dabei durch lehrgangsmäßig geführte Berufsschulen eine Besonderheit. Zahlreiche Berufsschüler/innen sind zwar Schüler/innen im laufenden Schuljahr, sie sind jedoch während des regulären sechswöchigen Testfensters wegen des lehrgangsmäßigen geblockten Unterrichts nur ein-geschränkt anwesend. Um trotzdem möglichst viele Berufs-schüler/innen zu erreichen, wird seit PISA 2003 das Testfenster für lehrgangsmäßig geführte Berufsschulen in Österreich in Absprache mit der OECD ausgeweitet: Bei PISA 2018 wurden in Berufsschulen bereits ab dem 12. März 2018 Tests durch-geführt; dies entspricht einer Erweiterung des Testfensters von knapp drei Wochen vor Beginn des regulären Testzeitraums in Österreich. Zur Gewährleistung der Repräsentativität wird eine exakte Gewichtung der Berufsschüler/innen durch die internationalen Vertragspartner der OECD vorgenommen.

Der PISA-Population gehören nur beschulte Jugendliche an. Das hat zur Folge, dass 15-/16-Jährige, die ihre Schulpflicht zum Testzeitpunkt bereits beendet haben und keine weiter-führende Schule besuchen („Out-of-School-Population“), nicht erfasst werden. Die Unterschiede hinsichtlich der Größe der nicht beschulten Population der 15-/16-Jährigen in den Teilnehmerländern sind beim Vergleich der Mittelwerte zwischen den Schulsystemen zu berücksichtigen. Es ist an-zunehmen, dass die nicht erfasste Out-of-School-Population leistungsmäßig keine zufällige Gruppe darstellt, sondern großteils aus dem unteren Leistungsbereich stammt. Die Mittelwerte eines Landes mit einer hohen Out-of-School-Population sind demnach höher, als sie es bei einer voll-ständigen Erfassung aller Jugendlichen des Zielalters wären.

In Österreich beträgt der Anteil der 15-/16-Jährigen, der keine Schule mehr besucht (bzw. sich noch nicht in der 7. Schulstufe befindet), 5 %. Im OECD-Vergleich ist dieser Anteil (abgesehen von Kolumbien, Mexiko, Türkei, Italien und Chile) vergleichsweise hoch (vgl. OECD, 2019c, An-hang A2).


Die Stichprobenziehung in Österreich bei PISA 2018

Die Vergleichbarkeit der Daten der verschiedenen Teilnehmer-länder wird unter anderem durch die Vergleichbarkeit der Stichproben bestimmt. Deshalb legt die OECD großes Augenmerk auf eine zentrale Stichprobenziehung und die Einhaltung der vorgeschriebenen Rücklaufquoten.

Die Stichprobenziehung bei PISA verläuft zweistufig: In einem ersten Schritt wird aus allen Schulen, die von Ziel-schülerinnen und Zielschülern besucht werden, die erforder-liche Anzahl an Schulen zur Teilnahme an der Erhebung zu-fällig bestimmt. Im zweiten Schritt wird aus diesen Schulen eine Schülerstichprobe gezogen. Die Schülerstichprobe einer Schule umfasst gewöhnlich Schüler/innen unterschiedlicher Klassen und Schulstufen, da sich Schüler/innen des gleichen Zielalters meist in unterschiedlichen Klassen und Schulstufen einer Schule befinden. Im Folgenden wird auf den Haupt-test 2018 eingegangen, Informationen zu Population und Stichprobe im Rahmen des Feldtests finden sich bei Glaeser & Pareiss (2019).

Die Stichprobenziehung auf Schulebene (Schritt 1)

Die Stichprobenziehung auf Schulebene wird bei PISA durch den internationalen Vertragspartner WESTAT vorgenom-men. Dies sichert gleiche Qualitätsstandards für alle Teil-nehmerländer.

Die Grundlage für die Stichprobenziehung in Österreich bilden die offiziellen Daten aus der Bildungsdokumentation der Statistik Austria. Etwa ein Jahr vor der Haupterhebung erhielt WESTAT vom BIFIE eine Liste mit allen Schulen, die Schüler/innen des Zielalters unterrichten, sowie einen Stichprobenplan mit genauen Informationen zu den Schulen und zur vorgesehenen Stratifizierung. Die österreichischen Schulformen können durch 17 Strata abgebildet werden. Im Rahmen von PISA 2018 beauftragte das Land Ober-österreich eine erweiterte Stichprobe, um valide Schätzungen auf Bundeslandebene zu erhalten. Um die dafür notwendige Erweiterung der Stichprobengröße (40 zusätzliche Schulen) auf Oberösterreich beschränken zu können, wurden die oberösterreichischen Schulen mithilfe von acht zusätzlichen Strata gesondert abgebildet (siehe Tabelle 1.4.1). Innerhalb der resultierenden 25 Strata wurden die Schulen nach Schul-typ (nur im Stratum Pflichtschulen), Bundesland und Anteil der Mädchen implizit stratifiziert (d. h. sortiert), um eine gute Verteilung der ausgewählten Schulen über diese Merkmale zu erreichen. Details zum Stichprobendesign sind im nationalen technischen Bericht zu PISA 2018 beschrieben (Glaeser & Pareiss, 2019, und Pareiss, 2019).

Die Stichprobenziehung auf Schülerebene (Schritt 2)

Nach Übermittlung der Liste mit den zufällig ausgewählten Schulen durch WESTAT an das BIFIE wurde die Schulstich-

probe zunächst geprüft. Dann wurden die Schulbehörden über die gezogenen Schulen und das weitere Prozedere infor-miert, die ausgewählten Schulen zur Teilnahme eingeladen und um die Übermittlung einer Liste mit allen Schülerinnen und Schülern des Zielalters ab der 7. Schulstufe ersucht. Mit-hilfe einer international zur Verfügung gestellten speziellen Software wurde auf Basis dieser Listen eine Zufallsstichprobe von max. 36 Schülerinnen und Schülern je Schule gezogen. Hatte eine Schule weniger als 36 Zielschüler/innen, nahmen alle aufgelisteten Schüler/innen am Test teil.

Tabelle 1.4.1: Stratifizierung der österreichischen PISA-Stichprobe

Nationale Stratifizierung bei PISA 2018

AUT OÖ Schulformen (Strata)

Allgemeinbildende Pflichtschulen

1 18Pflichtschulen (Hauptschulen, Neue Mittelschulen und Sonderschulen)

2 19 Polytechnische Schulen

Allgemeinbildende höhere Schulen

320

AHS-Langform

4 AHS-Kurzform

Schulen mit Statut

5 21 Waldorfschulen

6 22 Sonstige Schulen mit Statut

Berufsschulen

723

Berufsschulen kaufmännisch/gewerblich

8 Berufsschulen landwirtschaftlich

Berufsbildende mittlere Schulen

9

24

BMS gewerblich

10 BMS kaufmännisch

11 BMS wirtschaftlich

12 BMS landwirtschaftlich

Berufsbildende höhere Schulen

13

25

BHS gewerblich

14 BHS kaufmännisch

15 BHS wirtschaftlich

16 BHS landwirtschaftlich

17 BAfEP/BASOP

Quelle: Glaeser & Pareiss, 2019.


DATENSCHUTZ

Die Datenerhebung im Rahmen von PISA 2018 er-folgte nach den Bestimmungen des Datenschutzgeset zes 2000 in der gültigen Fassung. Es wurden ausschließ-lich pseudonyme Daten erhoben und verarbeitet, d. h., es wurden zu keinem Zeitpunkt Namen von Schülerinnen und Schülern an das BIFIE übermittelt. Sämtliche Schüler- und Schuldaten wurden nach der Erhebung in den Analysefiles anonymisiert. Im PISA-Datensatz können weder einzelne Schulen noch einzel-ne Schüler/innen identifiziert oder mit den Leistungs-daten in Verbindung gebracht werden.

Mögliche Ausschlussgründe

Ziel von PISA ist es, mithilfe der gezogenen Stichprobe die Leis tungen aller Schüler/innen einer bestimmten Alters-gruppe abzubilden, um die Effizienz eines Schulsystems um-fassend darzustellen. Daher achtet die OECD streng darauf, dass mögliche Ausschlüsse einzelner Schüler/innen aus-

6 Diese Vorgabe gilt für alle Teilnehmerländer der computerbasierten Testadministration, die sich nicht an der innovativen Domäne „Global Competence“ beteiligen; mit der Teilnahme an Global Competence muss die realisierte Stichprobe mindesten 6.300 Schüler/innen aus mindestens 150 Schulen umfassen.

schließlich gemäß den internationalen Richtlinien erfolgen. Generell gilt für alle Teilnehmerländer, dass (auf Schul- und Schülerebene insgesamt) maximal 5 % der PISA-Population eines Landes vom Test ausgeschlossen werden dürfen.

Ausschlüsse auf Schülerebene sind durch strenge Vorgaben der OECD geregelt. Einzelne Schüler/innen können aus einem der in Tabelle 1.4.2 angeführten Gründe von der Teilnahme am Test ausgenommen werden.

Der Prozentsatz der aufgrund dieser Kriterien ausgenom menen Schüler/innen beträgt bei PISA 2018 in Österreich 1,6 %.

Stichprobengrößen

Für eine gute Datenqualität ist es wichtig, dass möglichst alle ausgewählten Schulen und Schüler/innen (bei denen kein Ausschlussgrund vorliegt) am Test teilnehmen. Die internationalen Richtlinien für den Haupttest 2018 sehen eine realisierte Stichprobengröße von mindestens 5.250 Schülerinnen und Schülern aus mindestens 150 Schulen vor6. Diese Schüler- und Schulzahl soll trotz „natürlicher Aus-fälle“ (z. B. fehlende Schüler/innen am Testtag) und einer

Tabelle 1.4.2: Mögliche Ausschlussgründe für eine Testsitzung

Quelle: Perner, 2019.

Art der Beeinträchtigung

Schüler/innen, die AUSGESCHLOSSEN werden können

Schüler/innen, die TEILNEHMEN müssen

Körperliche Beeinträchtigung oder Sinnesbeeinträchtigung

Die Schülerin/der Schüler weist eine so schwere dauerhafte körperliche Beeinträchtigung oder Sinnesbeeinträchtigung auf, dass eine Teilnahme am PISA-Test nicht möglich ist.

Körperlich beeinträchtigte oder sinnesbeeinträch-tigte Schüler/innen, die den Test mit allen zur Ver-fügung stehenden technischen Hilfsmitteln, jedoch ohne Erweiterung der vorgegebenen Testzeit bearbeiten können, dürfen NICHT ausgeschlossen werden.

Kognitive oder emotionale Beeinträchtigung oder Verhaltensauffälligkeit

Die Schülerin/der Schüler weist eine so schwere kognitive oder emotionale Beeinträchtigung oder Verhaltensauffälligkeit auf, dass nach professioneller Einschätzung von Fachpersonal eine Teilnahme am PISA-Test nicht möglich ist. Dies inkludiert Schüler/innen, die kognitiv oder emotional nicht in der Lage sind, auch nur den allgemeinen An-weisungen in der Testsitzung zu folgen.

Schüler/innen, die den Test bearbeiten können, dürfen NICHT ausgeschlossen werden. Schüler/innen, die nur schlechte Leistungen er-bringen oder disziplinäre Probleme haben, dürfen NICHT ausgeschlossen werden.

Unzureichende Sprachkenntnisse in Deutsch

Die Schülerin/der Schüler erfüllt ALLE der folgenden Kriterien.

Die Schülerin/der Schüler ...� ist nichtdeutscher Muttersprache,� hat nur eingeschränkte Sprachkenntnisse in

Deutsch UND� wurde weniger als ein Jahr lang in deutscher

Sprache unterrichtet.

Erfüllt die Schülerin/der Schüler nur ein oder zwei der links genannten Kriterien (z. B. die Schülerin/der Schüler wurde bereits länger als ein Jahr in deutscher Sprache unterrichtet) darf sie/er NICHT ausgeschlossen werden.


allfälligen Nichtteilnahme von Schulen erreicht werden. Ist die Population eines Landes kleiner als die international vorgegebene realisierte Stichprobengröße, muss eine Voll-erhebung durchgeführt werden.

Zudem schreibt die OECD sehr hohe gewichtete Mindest-rücklaufquoten von 85 % auf Schulebene und 80 % auf Schülerebene vor. Können diese Kriterien von einem Land nicht erfüllt werden, werden die betreffenden Daten nicht – oder nur mit einem entsprechenden Verweis – international berichtet.

Teilnahmequoten

Rücklauf auf Schulebene

In Österreich wurden insgesamt 315 Schulen für die Teil-nahme an PISA 2018 ausgewählt. Von diesen Schulen befanden sich an 293 Schulen Schüler/innen der Ziel-population, die am PISA-Test teilnehmen konnten und nicht ausgenommen werden mussten. Diese bilden die Basis für die Berechnung der Teilnahmequote auf Schulebene. Ob-wohl sich alle 293 Schulen zur Teilnahme an PISA 2018 bereit erklärt haben, war an zwei Schulen die Teilnahmerate der Schüler/innen unter 25 % – derartige Schulen werden nach internationalen Vorgaben als „nicht teilgenommen“ gewertet. Somit reduziert sich die Anzahl der international als teilgenommen gewerteten Schulen auf 291, was einer ungewichteten Teilnahmequote von 99,3 % und einer ge-wichteten Teilnahmequote von 99,9 % entspricht.

Rücklauf auf Schülerebene

Die in Österreich auf Schülerebene realisierte Stichprobe bei PISA 2018 umfasst insgesamt 6.802 Schüler/innen (siehe Tabelle 1.4.3) und entspricht allen Vorgaben der OECD.

Insgesamt ist in Österreich auf Schülerebene ein Ausfall von 329 Schülerinnen und Schülern (4,6 %), die am Testtag ab-wesend waren, zu verzeichnen.

Die ungewichtete Rücklaufquote von 95,4 % (ohne Berücksich-tigung der im Testfenster nicht erreichbaren Berufsschüler/innen) entspricht einem von der OECD gewichteten Rücklauf von 92,5 % – dabei wurden die im Testfenster nicht erreich-baren Berufsschüler/innen beim Test als fehlend gewertet.

In der Rücklaufquote nicht berücksichtigt sind jene Schüler/innen, die wegen Vorliegens eines der drei Ausschlussgründe bereits vor dem Test wegen schwerer dauerhafter geistiger/körperlicher Beeinträchtigung oder unzureichender Deutsch-kenntnisse ausgenommen wurden (1,6 %) bzw. Schüler/innen, die zwischen der Erstellung der Schülerliste und dem PISA-Test die Schule verlassen oder gewechselt haben (3,1 %). Somit wurden von den im Schritt 2 ausgewählten und im Testfenster erreichbaren Schülerinnen und Schülern insgesamt 4,7 % vom Test ausgenommen.

Bei der Ergebnisinterpretation sind die von der Testung aus -genommenen Schüler/innen sowie die Out-of-School-Popu-lation besonders zu berücksichtigen. Durch die Abwesen-heit dieser Schüler/innen bei PISA wird beispielsweise der Landesmittelwert systematisch (ins Positive) verzerrt. Darüber hinaus beeinflussen diese Schüler/innen aber auch die Schätzung der Größe der Risikogruppen. So muss davon ausgegangen werden, dass auch die Daten von Österreich im vorliegenden Bericht durch das Nichterfassen von 5 % der Population (Out-of-School-Population) begünstigt sind.

1.5 Durchführung von PISA in Österreich

An der erfolgreichen Durchführung von PISA ist neben den internationalen und nationalen Projektverantwortlichen eine Vielzahl von Personen in unterschiedlichster Weise beteiligt. Die gute Kooperation mit den Schulbehörden und mit den ausgewählten Schulen im Rahmen der Testvorbereitung sowie die Beteiligung möglichst aller ausgewählten Schüler/innen sind für die Qualität der Daten von großer Bedeutung. Auch die Testleiter/innen, die die Testsitzungen an den Schulen ad-ministrieren, sowie die Coder/innen, die die offenen Schüler-antworten anhand international vorgegebener Richtlinien bewerten, tragen zu einer erfolgreichen Umsetzung der einzel-nen Projektphasen bei.

Testorganisation in Österreich

Die Schulstichprobe für Österreich wurde im Sommer 2017 von WESTAT gezogen, die Schulbehörden und Schulen wurden im November/Dezember 2017 über die Auswahl informiert. In einem ersten Schritt wurden die Schulleiter/innen gebeten, an der Schule eine Schulkoordinatorin/einen Schulkoordinator für PISA zu ernennen. Diese/dieser fungierte als Kontaktperson zwischen der Schule und dem BIFIE und war für organisatorische Tätigkeiten im Rahmen der Erhebung an der Schule verantwortlich.

Die Schulkoordinatorinnen und -koordinatoren wurden im ersten Anschreiben im Dezember 2017 gebeten, die Schul-computer einer vom internationalen Zentrum entwickelten PISA-Systemdiagnose zu unterziehen. Damit wurde fest-gestellt, wie viele Computer an der Schule die Voraus-setzungen für die Durchführung des PISA-Tests erfüllen. Gegebenenfalls wurden den Schulen vom BIFIE Laptops für den jeweiligen Testtag zur Verfügung gestellt.

Im Jänner 2018 wurden die Schulkoordinatorinnen und -koordinatoren aufgefordert, eine Liste aller Schüler/innen des Jahrgangs 2002 (ab der 7. Schulstufe) der Schule zu erstellen und ohne Schülernamen an das BIFIE zu über-mitteln. Am BIFIE wurde auf Basis dieser Liste für jede Schule eine Schülerstichprobe ermittelt, wobei maximal 36 der aufgelisteten Schüler/innen zufällig für die Teil-


nahme am PISA-Test ausgewählt wurden. Ende Februar 2018 erhielt die Schulkoordinatorin/der Schulkoordinator die PISA-Schülerliste, auf der nur die ausgewählten Schüler/innen anhand einer laufenden Nummer angeführt waren. Die ausgewählten Schüler/innen und deren Eltern wurden schriftlich von der Schule über die Teilnahme an PISA informiert. Darüber hinaus vereinbarte die Schul-koordinatorin/der Schulkoordinator mit der für die Schule zuständigen Testleiterin/dem zuständigen Testleiter (in der Regel zwei) Testtermine zur Durchführung von PISA.

Parallel zum Schulkontakt wurden die Testinstrumente und das nationale PISA-Testsystem finalisiert. Dazu muss die

Verifikation der Testinstrumente von internationaler Seite her abgeschlossen werden. Sämtliche Testaufgaben sowie der Schülerfragebogen werden in weiterer Folge in das öster-reichische PISA-Testsystem übertragen. Dieses wurde in einer ersten Version umfangreich getestet (Richtigkeit der Reihen-folge der Testaufgaben, Richtigkeit der Darstellung sämt-licher Inhalte der Testaufgaben etc.). Nach der Korrektur diverser Fehler seitens des internationalen Zentrums wurde die zweite finale Version des Testsystems an Österreich über-mittelt. Die finale Version wurde am BIFIE erneut umfang-reichen Prüfungen unterzogen, bevor die „Master-Version“ des Testsystems für alle PISA-Schüler/innen auf USB-Sticks kopiert wurde. Im Anschluss an diesen Schritt gab es eine

Tabelle 1.4.3: Rücklauf auf Schülerebene nach Strata

Quelle: Glaeser & Pareiss, 2019.

StratumSchüler/innen

zu testen getestet – Anzahl getestet – Prozent

1 Pflichtschulen 192 171 89,1 %

2 Polytechnische Schulen 316 302 95,6 %

3 AHS-Langform 978 943 96,4 %

4 AHS-Kurzform 387 367 94,8 %

5 Schulen mit Statut – Waldorfschulen 156 151 96,8 %

6 Schulen mit Statut – Sonstige 13 12 92,3 %

7 Berufsschulen kaufmännisch/gewerblich 481 462 96,0 %

8 Berufsschulen landwirtschaftlich 19 19 100,0 %

9 BMS gewerblich 199 187 94,0 %

10 BMS kaufmännisch 144 134 93,1 %

11 BMS wirtschaftlich 122 114 93,4 %

12 BMS landwirtschaftlich 224 219 97,8 %

13 BHS gewerblich 686 653 95,2 %

14 BHS kaufmännisch 423 410 96,9 %

15 BHS wirtschaftlich 305 290 95,1 %

16 BHS landwirtschaftlich 60 56 93,3 %

17 BAfEP/BASOP 107 104 97,2 %

18 OOE – Pflichtschulen 160 147 91,9 %

19 OOE – Polytechnische Schulen 214 198 92,5 %

20 OOE – AHS 446 428 96,0 %

21 OOE – Schulen mit Statut – Waldorfschulen 17 16 94,1 %

22 OOE – Schulen mit Statut – Sonstige 5 5 100,0 %

23 OOE – Berufsschulen 398 390 98,0 %

24 OOE – BMS 226 216 95,6 %

25 OOE – BHS 853 808 94,7 %

GESAMT 7.131 6.802 95,4 %


weitere ausführliche Qualitätsprüfung am BIFIE, bevor die USB-Sticks gemeinsam mit allen anderen für den Test not-wendigen Materialien für jede teilnehmende Schule verpackt wurden. Diese Schulpakete wurden direkt bei der Testleiter-schulung an die Testleiter/innen übergeben.

Die Testleiter/innen führten im Auftrag des BIFIE an den ausgewählten Schulen die Erhebung durch. Es handelt sich um schulfremde Personen mit pädagogischer Qualifikation, die für diese Tätigkeit von BIFIE-Mitarbeiterinnen speziell geschult wurden. Zur Vorbereitung auf die Schulung er-hielten die Testleiter/innen im Vorfeld ein Handbuch sowie einen USB-Stick, um sich mit dem Testsystem und dessen Ablauf vertraut machen zu können. Bei der Schulung selbst wurden die Testleiter/innen insbesondere darin geschult, wie der Test nach internationalen Vorgaben standardisiert ablaufen muss. Darüber hinaus wurde die Bearbeitung ver-schiedener Listen und Protokolle sowie die Arbeit mit dem PISA-Testsystem geübt.

Testdurchführung

Die Testsitzungen sind in hohem Maße standardisiert und müssen an allen beteiligten Schulen und in allen teilnehmen-den Ländern ident ablaufen, um die Vergleichbarkeit der Er-gebnisse zu gewährleisten. Abbildung 1.5.1 zeigt den Ablauf des Tests an den Schulen.

Nach einer kurzen, standardisierten Begrüßung und Ein-leitung durch die Testleiterin bzw. den Testleiter bearbeiteten die 15-/16-Jährigen die PISA-Testaufgaben am Computer.

Dazu hatten sie zweimal 60 Minuten (mit einer 5-minütigen Pause nach der ersten Hälfte) Zeit. Nach einer weiteren Pause von 15 Minuten füllten die Jugendlichen den Schülerfrage-bogen aus. Dafür waren ca. 50 Minuten vorgesehen.

Um möglichst viele der ausgewählten Schüler/innen tatsäch-lich testen zu können und um die international geforderte Rücklaufquote auf Schülerebene zu erreichen, wurde an Schulen, an denen am Testtag mindestens 14 % der Schü-ler/innen gefehlt haben, ein Nachtest durchgeführt.

Datenerfassung und Bewertung der Schülerantworten auf offene Fragen

Nachdem die Testleiter/innen alle Testunterlagen wieder an das BIFIE retourniert hatten, wurde eine Rücklaufkontrolle aller Materialien durchgeführt. Im nächsten Schritt wurden die Daten der Schüler/innen von den USB-Sticks ausgelesen und für die Bewertung der Schülerantworten auf offene Fragen aufbereitet. Die Antworten auf Multiple-Choice-Aufgaben sowie auf kurze, offene Antworten (z. B. Zahlen als Ergebnis einer Berechnung) wurden automatisch bewertet (codiert).

Durch die Umstellung auf die computerbasierte Testung ab PISA 2015 bietet sich nun auch die Möglichkeit, ein auto-matisiertes Codingsystem zu entwickeln. Ziel des auto-matisierten Codings ist es, den zeitlichen und finanziellen Coding-Aufwand zu minimieren und gleichzeitig die Coding-Qualität zu maximieren. Dazu fand mit den Daten aus PISA 2015 eine erste Pilotstudie in sieben Ländern statt (Yamamoto, He, Jeong Shin & von Davier, 2017). Im Rahmen dieser Studie wurde die Vercodung von 13 Leseitems, die eine kurze, selbst konstruierte oder numerische Antwort verlangten (z. B. 15 km, 15km, 15 Kilometer), automatisch vorgenommen und mit dem Coding durch Expertinnen und Experten verglichen. Im Rahmen von PISA 2018 kamen weitere Items hinzu, deren automatische Vercodung ebenfalls geprüft wurde.

Um zu gewährleisten, dass die frei formulierten (und nicht automatisch vercodeten) Schülerantworten auf offene Fragen in allen Teilnehmerländern einheitlich bewertet werden, gibt es sogenannte Coding Guides, in denen die Bewertungsricht-linien für die offenen Fragen im Detail aus geführt werden. Diese wurden ins Deutsche übersetzt und anschließend wie die Test- und Fragebogenitems international verifiziert. Zu-sätzlich zu den Richtlinien in den Coding Guides wurde eine Schulung abgehalten, bei der Vertreter/innen aus allen teil-nehmenden Ländern mit Schülerantworten die Anwendung der Codes übten und diskutierten. Das Ziel der Schulung war es, eine einheitliche Anwendung der Richtlinien zu gewähr-leisten und damit den Prozess des Codings zu standardisieren.

Jene Testaufgaben, die eine manuelle Bewertung der Schüler-antworten erfordern, wurden in ein Online-Coding-System übertragen und von qualifiziertem, speziell geschultem ex-

Abbildung 1.5.1: Ablauf einer PISA-Testsitzung

01Begrüßung und Einleitung durchTestleiter/in

Pause(5 min)

Pause(15 min)

PISA-Schüler-fragebogen

(50 min)

02

0305

06

04

Testablauf

PISA-TestTeil 1 (60 min)

PISA-TestTeil 2 (60 min)

Quelle: PISA 2018.


ternem Personal (Coder/innen) bewertet. Geleitet und kon-trolliert wurde dieser Prozess von BIFIE-Mitarbeiterinnen, die das internationale Coder-Training besucht haben.

Die Arbeit der Coder/innen wurde durch folgende Maß-nahmen ständigen Qualitätskontrollen unterzogen:

� Stichprobenartige Kontrollen der vergebenen Codes sichern die korrekte Anwendung der Bewertungsrichtlinien bereits während des Coding-Prozesses. Wurden bei diesen Kon-trollen Fehler entdeckt, fand für die jeweils betroffenen Coder/innen eine Nachschulung statt und die bereits vercodeten Schülerantworten mussten nachbearbeitet werden.� Multiple Coding: eine gewisse Anzahl an Schülerantworten

wurde von bis zu vier Coderinnen und Codern unab-hängig voneinander bewertet und deren Übereinstimmung berechnet. Bei mangelnder Übereinstimmung fand eben-falls eine Nachschulung statt und die Antworten mussten neu bewertet werden. � Doppelte Vercodung englischsprachiger Antworten: Dabei

wurden vom internationalen Vertragspartner englisch-sprachige Schülerantworten vorgegeben, die in jedem Teil-nehmerland von zwei Coderinnen/Codern bewertet werden mussten. Damit war es möglich, die Beurteilerüberein-stimmung über alle Teilnehmerländer hinweg zu berechnen.

Durch diese Maßnahmen wird sichergestellt, dass die Codes zum einen innerhalb jedes Landes auf vergleichbare Weise vergeben werden und dass zum anderen zwischen den Ländern keine systematischen Unterschiede darin bestehen, wie strikt die Bewertungsvorschriften angewendet werden.

1.6 Datenaufbereitung für die Ergebnis-analysen

Die bei PISA gemessenen Kompetenzen werden für jeden Bereich auf einer kontinuierlichen Skala, der PISA-Skala, dar-gestellt. Diese Skala wird für jeden Kompetenzbereich getrennt gebildet und ermöglicht die Abbildung der individuellen Leistungswerte der Schüler/innen sowie die Abbildung der Schwierigkeit der Testitems (siehe Abbildung 1.6.1). Für die Schüler/innen bedeutet dies, dass ein hoher Anteil an richtig gelösten Aufgaben mit einem hohen Kompetenzwert einher-geht. Für die Items hingegen heißt das, dass Aufgaben, die selten gelöst wurden (schwierige Aufgaben), einen hohen Skalenwert aufweisen. Aus dem Modell leitet sich außerdem die Wahrscheinlichkeit einer Schülerin/eines Schülers ab, eine bestimmte Aufgabe richtig zu lösen.

Die Schwierigkeit eines Items ergibt sich aus dem Anteil der Schüler/innen, der dieses Item richtig beantwortet hat. Der von einer bestimmten Schülerin/von einem bestimmten Schüler erreichte Kompetenzwert (z. B. Schüler/in B in Ab-

bildung 1.6.1) repräsentiert die schwierigste Testaufgabe, die diese Schülerin/dieser Schüler mit einer bestimmten Wahrscheinlichkeit lösen kann. Diese Wahrscheinlichkeit wurde bei PISA mit 62 % definiert. Das bedeutet, dass eine Schülerin/ein Schüler mit einer Kompetenz von beispiels-weise 500 Punkten auf der Leseskala mit 62%iger Wahr-scheinlichkeit eine Testaufgabe dieser Schwierigkeitsstufe

500

700

300

600

400

800

200

Schüler/in Cmit relativ niedrigen

Kompetenzen

Schüler/in Amit relativ hohen Kompetenzen

Schüler/in Bmit

durchschnittlichen Kompetenzen

Items mit relativ hoher Schwierigkeit

Items mit durchschnittlicher

Schwierigkeit

Items mit relativ niedrigerSchwierigkeit

Item 6

Item 5

Item 4

Item 3

Item 2

Item 1

Abbildung 1.6.1: Zusammenhang zwischen Kompetenzen der Schüler/innen und Aufgabenschwierigkeit auf den Leistungsskalen

Quelle: OECD, 2019c.


(500) lösen kann. Es wird somit erwartet, dass Schüler/innen jene Aufgaben erfolgreich lösen können, die auf oder unter dem Schwierigkeitsbereich liegen, der ihrer eigenen Position auf der Skala entspricht. Umgekehrt ist es vergleichsweise unwahrscheinlich, dass Schüler/innen Aufgaben lösen, deren Schwierigkeitslevel höher liegen als ihre Kompetenzen auf der Skala (beispielsweise, dass Schüler/in B das Item 5 in Abbildung 1.6.1 löst).

Für jeden Kompetenzbereich wurde die Leistungsskala zu jenem Zeitpunkt gebildet und für alle weiteren Erhebungen „festgelegt“, zu dem der entsprechende Kompetenzbereich zum ersten Mal schwerpunktmäßig erfasst wurde (Lesen: 2000, Mathematik: 2003 und Naturwissenschaft: 2006). Dazu wurde der Mittelwert der Leistungsskala auf Basis der damaligen OECD-Länder auf 500 (mit einer Standardab-weichung von 100 Punkten) transformiert. Um Trendver-gleiche zu ermöglichen, werden die Leistungsdaten aller folgenden PISA-Erhebungen stets auf derselben Skala be-richtet. Dies wird durch den Einsatz so genannter Trenditems ermöglicht – Items aus früheren Erhebungsjahren, die bei der jeweils aktuellen Erhebung wieder zur Leistungsmessung verwendet werden.

Um die von den Schülerinnen und Schülern erbrachten Leistungen inhaltlich interpretieren zu können, wurde die nach oben und unten offene Leistungsskala an bestimmten Schnittpunkten geteilt, um Kompetenzstufen zu bilden. Dadurch kann jede Schülerin/jeder Schüler entsprechend dem jeweils erreichten Punktwert einer Kompetenzstufe (einem Level) zugeordnet werden. Jedes Level enthält somit Schüler/innen, denen bestimmte Kompetenzen gemeinsam sind. Da der Skala auch die Testaufgaben zugeordnet werden können, gehören jeder Kompetenzstufe auch bestimmte Test-aufgaben an, wodurch die Fähigkeiten, die Schüler/innen einer bestimmten Kompetenzstufe besitzen, veranschau-licht werden können. Zwischen den einzelnen Kompetenz-stufen liegen jeweils rund 70 PISA-Leistungspunkte. Eine Beschreibung der Kompetenzstufen für jeden Kompetenz-bereich findet sich in den nachfolgenden Abschnitten.

Die Leseskala

Die Leseskala wurde erstmals bei PISA 2000 gebildet und basiert auf dem Mittelwert der damals 27 beteiligten OECD-Staaten. Dieser Mittelwert wurde auf 500 Punkte bei einer Standardabweichung von 100 Punkten transformiert.

Für die inhaltliche Interpretation der Schülerleistungen wurde die Leseskala bei PISA 2000 in fünf Kompetenz-stufen geteilt. Diese wurden bei PISA 2009 (beim neuer-lichen Schwerpunkt in Lesen) um zwei Stufen erweitert: die Stufe 1 wurde unterteilt in 1a und 1b und am oberen Ende der Skala wurde Stufe 6 eingeführt. Mit der Einführung des adaptiven Testens bei PISA 2018 und der damit möglichen exakteren Erfassung der Lesekompetenz wurden diese um

zwei Stufen im unteren Leistungsbereich erweitert. Bei PISA 2018 können somit für Lesen insgesamt neun Kompetenz-stufen unterschieden werden (OECD, 2019c). Abbildung 1.6.2 zeigt die Unterteilung der Leseskala von PISA 2018 in die neun Kompetenzstufen und umfasst eine Beschreibung der Fähigkeiten der Schüler/innen auf der jeweiligen Stufe.

Da die Lesekompetenz der Schüler/innen bei PISA 2018 mit einer vielfältigen Bandbreite an Aufgaben schwerpunktmäßig erfasst wurde, können die Leistungen der Schüler/innen nicht nur für Lesen insgesamt analysiert werden, sondern auch ge-trennt nach unterschiedlichen Aspekten, die im Framework beschrieben sind. Dabei wird unterschieden zwischen:

Subskalen im Hinblick auf kognitive Prozesse, die beim Lösen der Aufgaben bewältigt werden müssen:

� Informationen finden: Schüler/innen müssen relevante Infor mationen im Text auffinden und bei mehreren Text-quellen die relevanteste selektieren und darauf zugreifen.� Verstehen: Schüler/innen müssen die wörtliche Be-

deutung von Texten wiedergeben, Informationen aus mehreren Textquellen vernetzen und Schlussfolgerungen ziehen.� Bewerten und Reflektieren: Schüler/innen müssen die

Qualität und Vertrauenswürdigkeit von Informationen bewerten, über den Inhalt und die Form eines Textes reflektieren sowie Widersprüchlichkeiten innerhalb und zwischen Texten erkennen und damit umgehen.

Subskalen im Hinblick auf die Struktur der im Test eingesetz-ten Texte:

� Texte aus einer Quelle: Schüler/innen beziehen sich bei der Beantwortung der Fragen auf nur eine Textquelle.� Texte aus multiplen Quellen: Schüler/innen müssen bei

der Beantwortung der Fragen auf mehrere Textquellen zurückgreifen.

Die Mathematikskala

Mathematik war bei PISA 2003 erstmals die Hauptdomäne (sowie in weiterer Folge bei PISA 2012). Die Leistungsskala mit einem Mittelwert von 500 und einer Standardabweichung von 100 wurde demnach erstmals 2003 gebildet. 2018 wurden ausschließlich Trendaufgaben eingesetzt, da Mathematik nur als Nebendomäne erfasst wurde. Die Leistungen der Schü ler/innen können somit für Mathematik nur auf einer Gesamtskala (und nicht differenziert nach Subskalen) beschrieben werden. Zur Interpretationshilfe wurde auch die Mathematikskala in insgesamt sieben Leistungsstufen aufgeteilt, die jene Arten von Aufgaben charakterisieren, die die Schüler/innen auf der jeweiligen Stufe erfolgreich lösen können. Die Beschreibung der Kompetenzstufen für 2018 (siehe Abbildung 1.6.3) beruht auf jener für PISA 2012, wo sie zuletzt (weil Mathematik der Schwerpunktbereich war) überarbeitet wurden.


Schüler/innen des sechsten Levels können längere und abstrakte Texte verstehen, in denen die zu suchenden Infor-mationen nicht leicht zu finden sind und nur einen indirekten Bezug zur Aufgabe aufweisen. Sie können Informationen vergleichen, gegenüberstellen und verknüpfen, die verschiedene, möglicherweise widersprüchliche Standpunkte widerspiegeln, indem sie mehrere Kriterien berücksichtigen. Sie sind in der Lage, über das Verhältnis von Quelle und Inhalt eines Textes zu reflektieren, Informationen aus verschiedenen Texten zu vergleichen und gegenüberzustellen und bestehende Diskrepanzen und Widersprüche zwischen Texten zu erkennen. Die Schüler/innen müssen für Aufgaben dieses Levels in der Regel durchdachte Strategien entwickeln, mehrere Kriterien berücksichtigen und Schlüsse ziehen.

Schüler/innen des fünften Levels können längere Texte verstehen und ermitteln, welche Informationen im Text relevant sind, selbst wenn diese leicht zu übersehen sind. Sie besitzen ein Detailverständnis von längeren Texten und können dadurch kausale oder andere Überlegungen anstellen. Bei komplexen oder abstrakten Aussagen können sie zwischen Inhalt und Intention sowie zwischen Fakten und Meinungen unterscheiden. Die Aufgaben dieses Levels erfordern den Umgang mit abstrakten oder kontraintuitiven Konzepten und mehrere Lösungsschritte. Sie umfassen mehrere längere Texte, zwischen denen hin- und hergesprungen werden muss.

Schüler/innen des vierten Levels sind fähig, längere Einzeltexte oder Textzusammenstellungen zu verstehen. Sie können mehrere im Text eingebettete Informationen finden und miteinander verknüpfen, wenn falsche Antwortalternativen präsentiert werden, die plausibel erscheinen. Weiters können sie beurteilen, inwieweit zwischen bestimmten Aussagen und der Grundeinstellung oder Schlussfolgerung einer Person zu einem Thema ein Zusammenhang besteht. Sie sind in der Lage, explizite Aussagen mehrerer Texte zu vergleichen und gegenüberzustellen und die Zuverlässigkeit von Quellen anhand relevanter Kriterien zu beurteilen.

Schüler/innen des dritten Levels können die wörtliche Bedeutung eines oder mehrerer Texte ohne explizite Hilfestellungen zu Inhalt und Struktur wiedergeben. Sie sind in der Lage, Inhalte zu verknüpfen, einfache und komplexere Schlüsse zu ziehen, verschiedene Teile eines Textes gedanklich zu verbinden, um dessen Hauptaussage zu erfassen, einen Zusammen-hang zu begreifen oder die Bedeutung eines Wortes oder Satzes aus dem Kontext zu erschließen, wenn die dazu nötigen Informationen auf einer Seite zu finden sind. Die Schüler/innen müssen für Aufgaben dieses Levels bei Vergleichen, Gegenüberstellungen und Kategorisierungen von Informationen eine Vielzahl von Merkmalen berücksichtigen.

Schüler/innen des zweiten Levels können die Hauptaussage eines mittellangen Textes erkennen. Sie können durch Schlussfolgerungen Zusammenhänge verstehen oder die Bedeutung eines Textabschnitts erfassen, wenn die gesuchten Informationen nicht unmittelbar ersichtlich sind und/oder Texte ablenkende Informationen beinhalten. Sie sind in der Lage, Behauptungen in kurzen, expliziten Aussagen zu vergleichen und die jeweiligen Begründungen zu beurteilen. Die Schüler/innen müssen für Aufgaben dieses Levels Vergleiche und Gegenüberstellungen anhand eines Textmerkmals vornehmen.

Schüler/innen des Levels 1a können die wörtliche Bedeutung von Sätzen oder kurzen Textabschnitten erfassen. Zudem können sie in einem Text zu einem vertrauten Sachgebiet das Hauptthema des Textes erkennen und einen einfachen Bezug zwischen mehreren nebeneinanderstehenden Informationen oder zwischen einer Information und ihrem eigenen Vorwissen herstellen. Sie sind in der Lage, in kurzen Texten eine oder mehrere voneinander unabhängige Informationen zu finden. Die meisten Aufgaben auf diesem Level beinhalten explizite Anweisungen, was getan werden muss und worauf im Text das Hauptaugenmerk gerichtet werden soll.

Schüler/innen des Levels 1c können die wörtliche Bedeutung kurzer, syntaktisch einfacher Sätze erfassen und bestätigen und in einem begrenzten Zeitraum mit einer klaren und einfachen Zielvorgabe lesen. Die Aufgaben auf diesem Level sind durch einen einfachen Wortschatz und einfache syntaktische Strukturen gekennzeichnet.

unter Level 1c

Leve

l 6Le

vel 5

Leve

l 4Le

vel 3

Leve

l 2Le

vel 1

b

553

480

407

335

Leve

l 1c

262

189nied

rige

Lese

kom

pete

nzho

he L

esek

ompe

tenz

Leve

l 1a

698

626

Schüler/innen des Levels 1b sind in der Lage, die wörtliche Bedeutung einfacher Sätze zu bewerten. Sie können auch die wörtliche Bedeutung von Texten erfassen, indem sie einfache Bezüge zwischen nebeneinanderstehenden Informationen in der Frage und/oder im Text herstellen. Die Schüler/innen dieses Levels lesen selektiv und können eine offensichtliche und explizite Information in einem Satz, einem kurzen Text oder einer einfachen Liste finden. Die Texte dieses Levels sind kurz und enthalten in der Regel Hilfestellungen, wie Wiederholungen oder Abbildungen.

Abbildung 1.6.2: Definition der Kompetenzstufen in Lesen

Anmerkung: Der Text in Abbildung 1.6.2 beruht auf einer Zusammenfassung der im internationalen Ergebnisbericht der OECD beschriebenen Kompetenzstufen (OECD, 2019c).Quelle: OECD, 2019c.


unter Level 1

Leve

l 6Le

vel 5

Leve

l 4Le

vel 3

Leve

l 2Le

vel 1

669

607

545

482

420

358nied

rige

Mat

hem

atik

kom

pete

nzho

he M

athe

mat

ikko

mpe

tenz

Schüler/innen des sechsten Levels können durch eigenständiges Überprüfen und Modellieren von Problemlösesituationen Informationen konzeptualisieren, generalisieren und nutzen. Sie können verschiedene Informationsquellen und Repräsen-tationen verbinden und flexibel zwischen ihnen wechseln. Weiters besitzen diese Schüler/innen Fähigkeiten zum mathe-matischen Denken und Schlussfolgern auf einem fortgeschrittenen Niveau. Sie beherrschen symbolische und formale mathematische Operationen.

Auf dem fünften Level sind die Schüler/innen in der Lage, Modelle für komplexe Situationen zu entwickeln und mit ihnen zu arbeiten, geeignete Problemlösestrategien für den Umgang mit komplexen Problemen (die mit diesen Modellen verbunden sind) auszuwählen, zu vergleichen und zu evaluieren sowie mithilfe breit gefächerter, gut entwickelter Denk- und Schlussfolgerungsfähigkeiten strategisch zu arbeiten. Die Schüler/innen reflektieren ihre Handlungen und kommuni-zieren ihre Interpretationen.

Schüler/innen, die aufgrund ihrer erbrachten Leistungen dem vierten Level zugeordnet werden, sind fähig, effektiv mit expliziten Modellen für komplexe, konkrete Situationen zu arbeiten. Es gelingt ihnen, Repräsentationen (u. a. Symbole) mit Situationen der realen Welt zu verknüpfen. Weiters können sie Erklärungen und Argumente basierend auf ihren Interpretationen und Handlungen konstruieren und kommunizieren.

Schüler/innen des dritten Levels können klar beschriebene Prozeduren, auch solche, die sequenzielle Entscheidungen erfordern, ausführen. Sie selektieren und wenden verschiedene einfache Problemlösestrategien an. Sie sind in der Lage, Repräsentationen zu konstruieren und zu verwenden, die auf verschiedenen Informationsquellen basieren, und folgern direkt von diesen Repräsentationen. Sie können kurze Kommunikationsberichte ihrer Interpretationen, Ergeb-nisse und Folgerungen entwickeln.

Schüler/innen des zweiten Levels sind in der Lage, Situationen in Kontexten zu interpretieren, die nicht mehr als direkte Schlussfolgerungen erfordern. Sie können die relevante Information aus einer einzelnen Quelle beschaffen und ver-wenden eine einfache Darstellungsform. Sie verwenden einfache Algorithmen, Formeln oder Prozeduren und können direkte Schlussfolgerungen und wörtliche Interpretationen der Ergebnisse machen.

Auf dem untersten – ersten Level – sind Schüler/innen in der Lage, einfache Fragen zu beantworten, die in einen be-kannten Kontext eingebettet sind, in dem alle Informationen vorhanden und die Fragen klar definiert sind. Sie können Informationen identifizieren und Routineprozeduren anhand direkter Instruktionen und in expliziten Situationen ausführen. Weiters können die Schüler/innen Handlungen durchführen, die offensichtlich sind und unmittelbar aus einem gegeben-en Stimulus resultieren.

Abbildung 1.6.3: Definition der Kompetenzstufen in Mathematik



Abbildung 1.6.4: Definition der Kompetenzstufen in Naturwissenschaft


Leve

l 6Le

vel 5

Leve

l 4Le

vel 3

Leve

l 2Le

vel 1

aLe

vel 1

b

708

633

559

484

410

335

261nied

rige

Nat

urw

isse

nsch

afts

kom

pete

nzho

he N

atur

wis

sens

chaf

tsko

mpe

tenz

Schüler/innen auf dem höchsten Level 6 können sich auf eine Bandbreite von zusammenhängenden wissenschaftlichen Konzepten (Physik, Biologie, Erd- und Weltraumwissenschaften) stützen sowie inhaltliches, prozedurales und episte-misches Wissen nutzen, um Erklärungsansätze zu neuen wissenschaftlichen Phänomenen, Eregnissen und Prozessen zu liefern und um Vorhersagen zu treffen. Bei der Interpretation von Daten sowie von wissenschaftlichen Beweisen können sie relevante von irrelevanter Information unterscheiden und auf Wissen außerhalb des normalen Lehrplans zurückgreifen. Sie können zwischen Argumenten unterscheiden, die auf wissenschaftlichen Evidenzen und Theorien basieren und solchen, die auf anderen Überlegungen beruhen. Schüler/innen auf Level 6 können konkurrierende Designs komplexer wissenschaftlicher Experimente, Feldstudien und Simulationen evaluieren und ihre Entscheidung für ein Design begründen.

Schüler/innen auf Level 5 können abstrakte wissenschaftliche Konzepte heranziehen, um unbekannte und komplexe Phänomene, Ereignisse und Prozesse, die verschiedene Kausalzusammenhänge haben, zu erklären. Sie sind fähig, anspruchsvolles epistemisches Wissen anzuwenden, um alternative Experimentaldesigns zu evaluieren und ihre Entscheidungen zu begründen; und sie verwenden theoretisches Wissen, um Informationen zu interpretieren oder um Entscheidungen zu treffen. Die Schüler/innen auf dieser Kompetenzstufe sind in der Lage, verschiedene Arten zu evaluieren, wie man eine Frage wissenschaftlich exploriert und sie identifizieren Beschränkungen in der Interpetation von Datensets, die Quellen und Effekte von Unsicherheiten beinhalten.

Auf Level 4 können Schüler/innen komplexes und abstraktes inhaltliches Wissen anwenden, das entweder im Stimulus geliefert wird oder selbst abgerufen werden muss, um Erklärungen für komplexe oder weniger bekannte Ereignisse und Prozesse zu liefern. Sie können Experimente in einem eingeschränkten Kontext durchführen, die zwei oder mehr un-abhängige Variablen beinhalten. Darüber hinaus können sie Untersuchungsdesigns begründen und sich auf Elemente des prozeduralen und epistemischen Wissens stützen. Die Schüler/innen können Daten interpretieren, die aus einem moderat komplexen Datenset oder aus weniger bekannten Kontexten stammen und sie ziehen angemessene Folge-rungen, die über die Daten hinausgehen, und liefern Begründungen für ihre Entscheidungen.

Schüler/innen auf Level 3 können sich auf moderat komplexes inhaltliches Wissen stützen, um Erklärungen von be-kannten Phänomenen zu erkennen oder zu konstruieren. In weniger bekannten komplexen Situationen können sie Erklärungen dann geben, wenn sie ein „Stichwort“ bzw. Unterstützung erhalten. Sie können sich auf Elemente des prozeduralen oder epistemischen Wissens beziehen, um ein einfaches Experiment in einem beschränkten Kontext durchzuführen. Level-3-Schüler/innen sind fähig, zwischen wissenschaftlichen und nichtwissenschaftlichen Belangen zu unterschieden und sie erkennen Beweise, die wissenschaftliche Annahmen stützen.

Schüler/innen auf Level 2 sind fähig, alltägliches inhaltliches Wissen sowie basales prozedurales Wissen zu nutzen, um eine angemessene wissenschaftliche Erklärung zu erkennen, um Daten zu interpretieren und um die Fragen zu identifizieren, die in einem einfachen wissenschaftlichen Experimentaldesign behandelt werden. Sie können basales oder alltägliches wissenschaftliches Wissen nutzen, um eine valide Folgerung aus einem einfachen Datenset abzuleiten. Die Schüler/innen zeigen ein basales epistemisches Wissen, indem sie Fragen, die wissenschaftlich untersucht werden können, identifizieren.

Schüler/innen auf Level 1a sind in der Lage, basales oder alltägliches inhaltliches und prozedurales Wissen zu verwenden, um einfache wissenschaftliche Phänomene zu erklären bzw. zu erkennen. Mit Unterstützung können sie strukturierte wissenschaftliche Untersuchungen mit maximal zwei Variablen durchführen. Sie können einfache kausale oder zusammen-hängende Beziehungen identifizieren sowie grafische und visuelle Daten, die kognitive Anforderungen auf einem niedrigen Level stellen, interpretieren. Die Schüler/innen können die beste wissenschaftliche Erklärung für bestimmte Daten in bekannten, persönlichen, lokalen und globalen Kontexten auswählen.

Schüler/innen auf Level 1b können basales oder alltägliches wissenschaftliches Wissen nutzen, um Aspekte von bekannten oder einfachen Phänomenen zu erkennen. Sie sind fähig, einfache Muster in Daten zu identifizieren, basale wissenschaftliche Begriffe zu erkennen und folgen expliziten Anleitungen, um ein wissenschaftliches Verfahren durchzu-führen.

unter Level 1b


Die Naturwissenschaftsskala

Die Leistungsskala für Naturwissenschaft wurde bei PISA 2006 auf Basis der damals teilnehmenden 30 OECD-Länder gebildet (Mittelwert 500; Standardabweichung 100). Der jeweilige OECD-Mittelwert der Erhebungen ist ein wesent-licher Referenzwert für die Ländervergleiche.

Im Zuge der Überarbeitung des Frameworks für PISA 2015 (Naturwissenschaft als Hauptdomäne) wurden die Kompetenzstufen auf acht erweitert. Diese wurden für PISA 2018 beibehalten. Abbildung 1.6.4 zeigt die Unter-teilung der Naturwissenschaftsskala von PISA 2018 in die acht Kompetenzstufen und umfasst eine Beschreibung der Fähigkeiten der Schüler/innen auf der jeweiligen Stufe. Ana-log zu Mathematik war auch Naturwissenschaft eine Neben-domäne beim aktuellen Erhebungsdurchgang von PISA, somit können die Kompetenzen nur auf einer Gesamtskala dargestellt werden.

Aufarbeitung der Fragebogendaten

Die Daten aus den Kontextfragebögen können zum Teil ohne größere Aufbereitung für Analysen herangezogen werden. Bei einigen Variablen werden von internationaler Seite Re-kodierungen durchgeführt – z. B. wird aus den Angaben der Schüler/innen zum eigenen Geburtsland und dem der Eltern die Variable „Migrationsstatus“ generiert. Darüber hinaus müssen die Fragebogenskalen gebildet werden, die mithilfe von mehreren inhaltlich zusammengehörenden Fragen er-hoben wurden, wie z. B. die Skalen zum Leseselbstkonzept der Schüler/innen oder zur Lesefreude. Diese Skalen werden umfangreichen statistischen Prüfungen unterzogen. Dadurch wird sichergestellt, dass sie die entsprechenden Merkmale zuverlässig erheben und zwischen den Ländern vergleich-bar sind. Genauere Informationen zu diesen Skalen finden sich im internationalen technischen Bericht (OECD, in preperation).

Gewichtung

Wie auch bei anderen sozialwissenschaftlichen Studien gibt es bei PISA eine bestimmte Anzahl an Stichprobenausfällen (z. B. am Testtag fehlende Schüler/innen). Zudem werden bei PISA bestimmte Teile der Population gezielt über- oder untersampelt, d. h. sie sind in der Stichprobe über- oder unterrepräsentiert (z. B. werden weniger sehr kleine Schulen in die Stichprobe aufgenommen). Beide Fälle erfordern es, dass die Stichprobe durch adäquate Gewichtungsmethoden nachträglich wieder ausgeglichen wird. Ansonsten würden die Ausfälle oder das gezielte Unter- oder Übersampeln zu Verzerrungen in der Stichprobe und somit auch der Ergeb-nisse führen. Die Gewichtung stellt sicher, dass die Stich-probe die Population möglichst exakt abbildet. Dies ist für

stark differenzierte Schulsysteme, wie das österreichische, schwieriger als für eher „einfache“, in dieser Altersgruppe weniger gegliederte Systeme, wie die angloamerikanischen oder nordischen.

Die Gewichtungsmethoden bei PISA sind genau geregelt und werden von der OECD (bzw. dem beauftragten inter-nationalen Vertragspartner) durchgeführt. Eine detaillierte Beschreibung der Gewichtungsprozeduren enthält der inter-nationale technische Bericht der OECD (in preparation). Alle Berechnungen und Ergebnisse von PISA basieren ausschließ-lich auf gewichteten Daten, wodurch die internationale Vergleichbarkeit der Stichproben gewährleistet wird.

LESEHINWEIS

Die Skalierung der Daten, die Aufbereitung der Frage-bogendaten sowie die Gewichtung werden detailliert im internationalen technischen Bericht der OECD (in preparation) beschrieben.

1.7 Hinweise zur Interpretation der Ergebnisse von PISA

Interpretation von Trenddaten

Ein wesentliches Ziel von PISA ist es, die Leistungen der Schüler/innen über die Erhebungszeitpunkte hinweg zu be-obachten. Ab PISA 2015 ist die Vergleichbarkeit der Ergeb-nisse mit vorangegangenen PISA-Erhebungen jedoch nur mehr eingeschränkt möglich, weil es Änderungen in der Durchführungsmodalität (Computer statt Papier), in der Skalierung (PISA 2015) sowie im Testdesign (PISA 2018) gab. Aus diesem Grund werden in den Kapiteln 2–5 aus-schließlich Trenddaten mit PISA 2015 berichtet. In Kapitel 6 in diesem Band, das die Schülerleistungen im Zeitvergleich für alle Domänen behandelt, werden diese Änderungen sowie die sich daraus ergebenden Limitationen bei der Inter-pretation der Zeitreihenanalysen vertiefend dargestellt.

Für Österreich werden im internationalen Ergebnisbericht der OECD bei Trendanalysen keine Werte zu PISA 2009 berichtet. Dies ist eine Reaktion auf einen Boykottaufruf der Schülervertretung in der ersten Testwoche der damaligen Erhebung. Da die Daten bereinigt wurden, sodass sie den Standards von PISA 2009 entsprachen und deshalb in den OECD-Bericht zu PISA 2009 aufgenommen wurden, werden sie abweichend von der Vorgehensweise der OECD im vorliegenden nationalen Ergebnisbericht auch in der Zeit-reihe dargestellt.


Vergleichsländer

In der vorliegenden Publikation wird Österreich mit jenen 40 teilnehmenden OECD- sowie EU-Ländern verglichen, in denen PISA 2018 wie in Österreich computerbasiert ad-ministriert wurde. Da im EU-Land Rumänien bei PISA 2018 keine Umstellung auf den Computertest und damit die Kompetenzmessung mit einem kleineren Itempool erfolgte, wurde Rumänien in der Vergleichsgruppe der OECD-/EU-Länder im vorliegenden Bericht nicht berücksichtigt. Am Beginn jedes Kompetenzbereichs werden darüber hinaus die Mittelwerte aller 70 an der computerbasierten Erhebung teil-nehmenden Länder (OECD-, EU- und Partnerländer der OECD) in Tabellenform angeführt.

Zypern ist in Abbildung 1.1.1 als teilnehmendes Land auf-gelistet, allerdings können in der vorliegenden Publikation keine Ergebnisse berichtet werden. Dies liegt daran, dass auf-grund einer Sondervereinbarung Zyperns mit der OECD die Daten von Zypern zwar im internationalen Bericht der OECD dargestellt werden, diese allerdings im internationalen Datenfile für die Länder nicht verfügbar sind.

Von Spanien werden – analog zum Ergebnisbericht der OECD – ausschließlich Daten zum Kompetenzbereich Mathematik und Naturwissenschaft berichtet. Der in dieser Publikation berichtete Mittelwert der OECD-Länder bezieht sich daher für alle Analysen zum Kompetenzbereich Lesen auf 36 OECD-Länder; für Analysen in Mathematik und Natur-wissenschaft hingegen auf 37 OECD-Länder.

Einige Analysen dieses nationalen Berichts beschränken sich auf Österreich und 15 ausgewählte Vergleichsländer (VL-16). Diese bestehen aus den 10 EU-Ländern mit dem höchsten BIP pro Kopf (kaufkraftbereinigt aus 2018; Quelle: WKÖ7), ergänzt durch die restlichen an PISA teilnehmenden Nach-barländer Österreichs.

Statistischmethodische Hinweise

Da bei PISA, wie bei Large-Scale-Assessments üblich, nicht alle Schüler/innen des Zieljahrgangs eines Landes getestet werden, sondern eine Stichprobe, muss bei der Interpretation der Daten Folgendes beachtet werden:

� Die aus den Daten resultierenden statistischen Kenn-zahlen (z. B. Mittelwerte) sind Punktschätzungen der tatsächlichen Populationswerte. Sie sind aufgrund der Testung einer Stichprobe mit einem gewissen statistischen Messfehler – dem Standardfehler (SE) – behaftet. Dieser wird unter anderem dafür verwendet, einen Wertebereich

7 http://wko.at/statistik/eu/europa-BIPjeEinwohner.pdf (Zugriff am 28.8.2019)8 Das Konfidenzintervall errechnet sich damit aus dem Wert der Punktschätzung (z. B. Mittelwert) ±1,96 x SE.

(Konfidenzintervall) zu berechnen, innerhalb dessen sich der tatsächliche Populationskennwert mit einer be-stimmten Wahrscheinlichkeit befindet. Für die vor-liegende Publikation wurde diese Wahrscheinlichkeit mit 95 %, (d. h. p < .05) festgelegt8. Das heißt, die Werte der Population liegen mit 95-prozentiger Wahrscheinlichkeit innerhalb der berichteten Konfidenzintervalle.

� Die aufgrund des Standardfehlers berechneten Konfidenz-intervalle für die Leistungsmittelwerte der Länder wirken sich auch auf die Bestimmung von Rangplätzen aus. Möchte man die Länder in einem Kompetenzbereich nach ihren erreichten Mittelwerten reihen, muss berücksichtigt werden, dass sehr kleine Unterschiede in diesen Mittel-werten im Bereich von Zufallsschwankungen liegen. Daraus resultieren geteilte Rangplätze. Diese werden aus Mittelwert und Standardfehler – und nicht über den Umweg von paarweisen Mittelwertvergleichen – ermittelt. Daher müssen Angaben über die Rangplätze mit der Be-stimmung von signifikanten Mittelwertunterschieden zu anderen Ländern nicht unbedingt identisch sein.

� Der Standardfehler spielt auch bei statistischen Tests eine Rolle, etwa, wenn man die Ergebnisse zweier Gruppen miteinander vergleicht (z. B. Mädchen und Burschen). Alle Signifikanzprüfungen in dieser Publikation erfolgen, falls nicht explizit anders vermerkt, zweiseitig auf dem 5%igen Niveau.

� In jenen Abschnitten, in denen die Ländermittelwerte für Lesen, Mathematik und Naturwissenschaft dargestellt werden, wird die Standardabweichung (SD) als Maß für die Streuung berichtet. Die Standardabweichung gibt an, wie weit die Leistungswerte der Schüler/innen innerhalb eines Landes rund um den jeweiligen Mittelwert streuen und liefert damit eine Information, wie homogen oder heterogen die Kompetenzen der Schüler/innen in einem Land sind.

� Für die Analyse der Leistungsstreuung in Österreich werden zusätzlich Perzentile berichtet. Diese zeigen Leis-tungswerte für einen bestimmten Schüleranteil. So gibt beispielsweise das 25. Perzentil jenen Leistungswert an, unterhalb dessen sich 25 % der Schüler/innen befinden. Oberhalb des 25. Perzentils befinden sich 75 % der Schüler/innen. Darüber hinaus kann man mithilfe der Perzentile auch Wertebereiche (Streuungen) für einen bestimmten Anteil der Schüler/innen ablesen. So lässt sich beispielsweise ableiten, in welchem Wertebereich die Leistungen der mittleren 50 % der Schüler/innen, also jene zwischen dem 25. und 75. Perzentil, liegen.

http://wko.at/statistik/eu/europa-BIPjeEinwohner.pdf


� OECD-Schnitt: Der OECD-Schnitt entspricht dem Mittelwert aller OECD-Länder, wobei in die Berechnung nicht die absolute Populationsgröße jedes OECD-Landes eingeht, sondern alle OECD-Länder zu einem gleichen Anteil einfließen. Das bedeutet, dass der Beitrag eines kleinen Landes, z. B. Luxemburg, äquivalent zu jenem eines großen Landes, z. B. USA, ist.

� Da es sich bei PISA um sehr große Stichproben pro Teil-nehmerland handelt, können teilweise auch sehr kleine Unterschiede (beispielsweise zwischen Mädchen und Burschen) als statistisch signifikant nachgewiesen werden. Das heißt, dass die Unterschiede mit großer Wahrschein-lichkeit in der betreffenden Population existieren, aber relativ klein sein können, sodass sie in praktischer Hin-sicht nicht relevant sind. Einige Ergebnisdarstellungen beinhalten daher Angaben zur Effektstärke eines Unter-schieds9. Damit wird zusätzlich zur statistischen Signi-fikanz auch die Größenordnung von Unterschieden quantifiziert. Eine grobe Faustregel für die Einschätzung der Größenordnung sind die Richtwerte nach Cohen (1988), nach denen Effektstärken ab 0.2 als kleine, ab 0.5 als mittlere und ab 0.8 als große Unterschiede ein-gestuft werden. Demnach kann ab einer Effektstärke von 0.2 (d. h., der Unterschied macht 20 % der Standard-abweichung aus) zusätzlich zu einer statistischen Signi-fikanz auch von einer praktischen Relevanz ausgegangen werden.

� Darüber hinaus wird darauf hingewiesen, dass es sich bei den angegebenen Kennwerten (Mittelwerte, Standard-fehler, Prozentangaben etc.) um gerundete Werte handelt. Die Werte (inkl. jener in Tabellen und Abbildungen) werden zuerst – unter Berücksichtigung entsprechender Nachkommastellen – berechnet und dann gerundet. Es kann daher vorkommen, dass beispielsweise die Summe von gerundeten Prozentangaben nicht exakt 100 ergibt oder Summen und Differenzen von Werten geringfügig inkonsistent erscheinen.

LESEHINWEIS

Alle Abbildungen und Tabellen in dieser Publikation beruhen auf Berechnungen, die auf Basis des inter-nationalen PISA-2018-Datenfiles durchgeführt wurden, das den nationalen Zentren vorab zur Verfügung gestellt wurde. Für diese internationale Datenbasis zeichnet die OECD verantwortlich. Allfällige Änderungen in dieser Datenbasis konnten bis einschließlich 8. November 2019 berücksichtigt werden.

9 Das hier verwendete Effektstärkenmaß für Mittelwertunterschiede (Cohen’s d) wird nach folgender Formel berechnet:

LESEHINWEIS

Die Texte in dieser Publikation basieren zum Teil auf Texten aus früheren PISA-Ergebnisberichten (Suchań & Breit, 2016a; Schwantner, Toferer & Schreiner, 2013; Schwantner & Schreiner, 2010; Schreiner, 2007; Haider & Reiter, 2004). Textteile für Bereiche, die sich im Ver-gleich zu früheren Ergebnisberichten nicht geändert haben, wurden unverändert übernommen bzw. nur geringfügig adaptiert.

1.8 Ergebnisse und Produkte von PISA 2018

Nach der Publikation der ersten Ergebnisse durch die OECD ist die Datenbasis unter www.oecd.org/pisa zugänglich. Darüber hinaus veröffentlicht die OECD gemeinsam mit dem internationalen Bericht unter http://www.oecd.org/pisa/data/ den so genannten „PISA-Data-Explorer“. Damit können die PISA-Daten der Teilnehmerländer webbasiert analysiert und Grafiken erzeugt werden.

Weitere Publikationen zu PISA 2018

In Österreich wurde neben dem vorliegenden Ergebnisbericht auch ein technischer Bericht zu PISA 2018 publiziert:

� Suchań, B. (Hrsg.). (2019). PISA 2018. Technischer Bericht. Verfügbar unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2018/

Die Berichterstattung der OECD umfasst mehrere Publi ka-tionen, die zeitlich versetzt erscheinen. Sämtliche Publi ka-tionen der OECD werden auf https://www.oecd.org/pisa/publications/ zur Verfügung stehen.

Das Framework zu PISA 2018 ist bereits auf dieser Internet-seite verfügbar:

� OECD (2019b). PISA 2018 Assessment and Analy tical Framework. OECD Publishing: Paris.

Die ersten drei Ergebnisbände, die am 3. Dezember 2019 veröffentlicht werden, widmen sich folgenden zentralen Er-gebnissen der aktuellen Studie:

� Volume I: What Students Know and Can Do� Volume II: Where All Students Can Succeed� Volume III: What School Life Means for Student’s Lives

www.oecd.org/pisa

http://www.oecd.org/pisa/data/

http://www.oecd.org/pisa/data/

https://www.oecd.org/pisa/publications/

https://www.oecd.org/pisa/publications/


2020 wird die OECD drei weitere Ergebnisberichte zu fol-genden Themen publizieren:

� Volume IV: School Organisation � Volume V: Financial Literacy� Volume VI: Global Competence

Darüber hinaus wird 2020 auch der technische Bericht zu PISA 2018 auf der OECD-Homepage veröffentlicht werden:

� OECD (in preparation). PISA 2018. Technical Report. Paris: OECD Publishing.


2 Kompetenzen der Schüler/innen in Lesen Juliane Schmich, Lisa Wiesinger, Anna Glaeser, Birgit Suchań, Magdalena Rölz, Iris Höller

Die Sprache ist das wichtigste Medium des Lernens. Zuhören und Sprechen, Lesen und Schreiben sind die Grund-ausstattung für erfolgreiches Lernen in allen Unterrichtsfächern in der Schule. Die Bedeutung von Sprache und der Fähigkeit, Lesen zu können, geht jedoch über erfolgreiches Lernen in der Schule hinaus. Texte sinnerfassend lesen zu können, gilt als Grundvoraussetzung für eine Teilnahme am gesellschaftlichen Leben und für eine persönliche Weiterentwicklung im Sinne des lebenslangen Lernens.

Mit der Erhebung 2018 wird bei PISA die Lesekompetenz zum dritten Mal als Hauptdomäne erfasst (1. Mal: 2000; 2. Mal: 2009). Lesen wird dabei als dynamischer Prozess definiert, der neben dem Heraussuchen von Informa-tionen auch das Entwickeln eines allgemeinen Verständnisses sowie die Reflexion und Bewertung von geschriebenen Informationen in unterschiedlichen Situationen und Kontexten umfasst.

In diesem Kapitel erfolgt zu Beginn die Darstellung der Leseleistung der österreichischen Schüler/innen im inter-nationalen Vergleich anhand der Mittelwerte. Um die Leistungswerte der Schüler/innen auch inhaltlich einordnen zu können, wird im Anschluss gezeigt, welche konkreten Kompetenzen Schüler/innen auf den höchsten Kompe-tenzstufen (Spitzengruppe) besitzen und welche Kompetenzen im Vergleich dazu leistungsschwache Schüler/innen (Risikogruppe) aufweisen. Im internationalen Vergleich wird dargestellt, wie groß die Spitzen- bzw. Risikogruppen in Lesen sind. Das Kapitel zur Lesekompetenz schließt mit einer Analyse der Leistungsunterschiede zwischen Mädchen und Burschen hinsichtlich ihrer Mittelwerte sowie ihrer Anteile an der Risikogruppe.

1 Analog zur Berichterstattung der OECD werden die Daten von Spanien für den Kompetenzbereich Lesen in der vorliegenden Publikation nicht dargestellt. Die Anzahl der OECD-/EU-Länder unterscheidet sich daher von jener in den Kompetenzbereichen Mathematik und Naturwissenschaft.

2.1 Leistungen der österreichischen Schüler/innen in Lesen im Länder- und Zeitvergleich

In diesem Abschnitt werden die Lesemittelwerte im inter-nationalen Vergleich dargestellt und die Leseleistung mit PISA 2015 verglichen. Abbildung 2.1.1 zeigt die Mittelwerte der 391 OECD-/EU-Länder in Lesen in absteigender Reihen-folge. Die Mittelwerte sind als dunkelrote horizontale Linien eingezeichnet. Die roten Balken geben jenen Wertebereich an, in dem der Mittelwert aller 15-/16-jährigen Schüler/innen eines Landes mit 95%iger Wahrscheinlichkeit liegt (Konfidenzintervall). Der OECD-Schnitt in Lesen beträgt bei PISA 2018 487 Punkte und wird als blaue Linie dar-gestellt. Die Mittelwerte und Standardabweichungen (als Maß für die Leistungsstreuung) aller 68 Länder, die an der computerbasierten Testung teilgenommen haben, werden in Tabelle 2.1.1 angegeben.

Lesemittelwerte im internationalen Vergleich

Österreichs Jugendliche erreichen bei PISA 2018 in Lesen einen Mittelwert von 484 Punkten. Damit liegt Österreich unter den 39 OECD-/EU-Ländern auf Platz 22, was unter Einbezug des Konfidenzintervalls einem geteilten Rangplatz zwischen 21 und 23 entspricht.

Die besten Leseleistungen innerhalb der OECD werden von Jugendlichen aus Estland (523 Punkte) erbracht, gefolgt von Kanada und Finnland mit 520 Punkten. Irland, Korea und Polen weisen mit Mittelwerten zwischen 518 und 512 Punkten ebenfalls hohe Leistungen im Lesen auf. Alle Länder von Estland bis einschließlich Portugal liegen signifikant über dem OECD-Schnitt. Ebenso wie Österreich unter-scheiden sich sowohl die zwei Nachbarländer Tschechische Republik und die Schweiz als auch die Niederlande nicht signifikant vom OECD-Schnitt. Kroatien und alle nach-gereihten Länder zeigen Leseleistungen signifikant unter dem OECD-Schnitt. Der Leistungsabstand zwischen dem besten und dem schlechtesten OECD-Land beträgt 111 Punkte.

Neben den Jugendlichen aus der Tschechischen Republik, den Niederlanden und der Schweiz erbringen auch die 15-/16-Jährigen aus Kroatien und Lettland mit Mittelwerten zwischen 490 und 479 Punkten ähnliche Leistungen wie die österreichischen Schüler/innen (siehe hellgraue Schattierung in Abbildung 2.1.1). Signifikant bessere Leseleistungen weisen unter anderem die Jugendlichen der Nachbarländer Deutschland (498 Punkte) und Slowenien (495 Punkte) auf. Schüler/innen aus den anderen Nachbarländern – Italien, Ungarn und Slowakei – schneiden mit Werten zwischen 458 und 476 Punkten signifikant schlechter ab als die öster-reichischen Jugendlichen.

40 2 – Kompetenzen der Schüler/innen in Lesen

Anmerkung: 39 OECD-/EU-Länder absteigend nach dem Mittelwert in Lesen gereiht.Quelle: PISA 2018.

Anmerkung: 68 Teilnehmerländer, die den Test computerbasiert administriert haben, absteigend nach dem Mittelwert in Lesen gereiht. Grau hinterlegt sind Länder, deren Mittelwert sich nicht signifikant von Österreich unterscheidet.Quelle: PISA 2018.

Tabelle 2.1.1: Lesen: Mittelwerte und Standardabweichungen

Abbildung 2.1.1: Lesen: Mittelwerte und Konfidenzintervalle

350

400

450

500

550

600

Lese

kom

pete

nz

hoch

nied

rig

signifikant besser als AUTkein signifikanter

Unterschied zu AUT signifikant schlechter als AUT

OECD-Schnitt (487)

ES

TC

AN

FIN

IRL

KO

RP

OL

SW

EN

ZLU

SA

GB

RJP

NA

US

DN

KN

OR

DE

US

VN

BE

LFR

AP

RT

CZE

NLD

CH

EH

RV

LVA

ITA

HU

N

LTU

ISL

ISR

LUX

TUR

SV

KG

RC

CH

LM

LTM

EXB

GR

CO

L

AU

T

Mittelwert Konfidenzintervall (+/– 1,96 SE)}

EU-Länder

OECD-Länder

Lesen: Mittelwerte und Standardabweichungen aller Teilnehmerländer

BSJZ 555 (87) SWE 506 (108) SVN 495 (94) RUS 479 (93) GRC 457 (97) MYS 415 (85) KAZ 387 (77)

SGP 549 (109) NZL 506 (106) BEL 493 (103) ITA 476 (97) CHL 452 (92) BRA 413 (100) GEO 380 (84)

MAC 525 (92) USA 505 (108) FRA 493 (101) HUN 476 (98) MLT 448 (113) COL 412 (89) PAN 377 (88)

HKG 524 (99) GBR 504 (100) PRT 492 (96) LTU 476 (94) SRB 439 (96) BRN 408 (97) IDN 371 (75)

EST 523 (93) JPN 504 (97) CZE 490 (97) ISL 474 (105) ARE 432 (113) QAT 407 (110) MAR 359 (75)

CAN 520 (100) AUS 503 (109) NLD 485 (105) BLR 474 (89) URY 427 (96) ALB 405 (80) XKX 353 (68)

FIN 520 (100) TWN 503 (102) AUT 484 (99) ISR 470 (124) CRI 426 (81) BIH 403 (79) DOM 342 (82)

IRL 518 (91) DNK 501 (92) CHE 484 (103) LUX 470 (108) MNE 421 (86) PER 401 (92) PHL 340 (80)

KOR 514 (102) NOR 499 (106) HRV 479 (89) TUR 466 (88) MEX 420 (84) THA 393 (79)

POL 512 (97) DEU 498 (106) LVA 479 (90) SVK 458 (100) BGR 420 (101) AZE 389 (74)


Unter allen 68 Ländern, in denen der Test computerbasiert administriert wurde (siehe Tabelle 2.1.1), führen vier asiatische Länder das Spitzenfeld an: die chinesischen Provinzen Peking, Schanghai, Jiangsu und Zhejiang (555 Punkte), Singapur (549 Punkte), Macau (525 Punkte) und Hongkong (524 Punkte). Dahinter reiht sich der europäische Spitzenreiter Estland mit einer Leseleistung von 523 Punkten ein und mit einem Ab-stand von drei Punkten folgen Kanada und Finnland.

Die Streuung der Leseleistungen

Die Standardabweichung (siehe Tabelle 2.1.1) ist ein Maß für die Streuung der Schülerleistungen innerhalb eines Landes. Rund um den Mittelwert befinden sich im Abstand von je einer Standardabweichung nach oben und unten die Leistungen von zwei Drittel der Schüler/innen. Das Ideal einer hohen Leistung bei geringer Streuung gelingt den chinesischen Provinzen mit einem Mittelwert von 555 Punkten und einer Standardabweichung von 87 Punkten am besten. Die Kombination aus hohem Leistungsniveau in Verbindung mit einer homogenen Verteilung findet sich auch in Macau (525/92), Estland (523/93) und Irland (518/91).

Österreich weist bei einem Mittelwert von 484 Punkten eine Streuung von 99 Punkten auf, was bedeutet, dass zwei Drittel der österreichischen Jugendlichen Leseleistungen im Bereich zwischen 385 und 584 Punkten erbringen. Die Standard-abweichung ist in Österreich um vier Punkte größer als im internationalen Schnitt (95 Punkte). Vergleicht man Öster-reich mit den OECD-Ländern, so liegen die Streuungsmaße genau im OECD-Schnitt (99 Punkte).

In den Nachbarländern Tschechische Republik (490/97), Italien (476/97) und Ungarn (476/98) ist die Leseleistung der Jugendlichen ähnlich wie in Österreich verteilt. Slowenien zeigt im Gegensatz dazu die homogenste (94) und Deutsch-land die heterogenste (106) Leseleistung mit vergleichsweise hohen Mittelwerten (495 Punkte in Slowenien bzw. 498 Punkte in Deutschland).

Von den 68 Ländern, die computerbasiert getestet haben, weist der Kosovo mit 68 Punkten die geringste Streuung auf, jedoch geht damit ein Mittelwert deutlich unter dem OECD-Schnitt einher (353 Punkte). Die heterogenste Leistungsver-teilung mit 124 Punkten findet sich in Israel.

Lesekompetenz bei PISA 2015 und PISA 2018 im Ländervergleich

PISA 2018 wurde nach 2015 zum zweiten Mal computer-basiert durchgeführt. In weiterer Folge werden die Unter-schiede in der Lesekompetenz für jene 37 Länder analysiert (siehe Abbildung 2.1.2), die sich zu beiden Zeitpunkten an der computerbasierten Erhebung beteiligt haben. Die Anordnung der Länder erfolgt absteigend nach dem Leistungszuwachs in Lesen. Signifikante Differenzen sind fett hervorgehoben.

Auffallend ist, dass sich die Lesekompetenz der Jugendlichen in mehr Ländern verschlechtert als verbessert hat. OECD-weit wurden 2018 durchschnittlich drei Punkte (p > .05) weniger erreicht als 2015 (vgl. blaue Linie in Abbildung 2.1.2). Den mit Abstand größten Leistungszuwachs ver-zeichnet die Türkei mit einem Plus von 37 Punkten im Ver-gleich zur Erhebung 2015. Trotz des signifikanten Leistungs-zuwachses liegt die Türkei mit 466 Punkten im Lesen deutlich unter dem OECD-Schnitt. Signifikante Leistungsrückgänge ergeben sich für die Länder Lettland (–9), Slowenien (–10), Luxemburg (–11), Japan (–12), Norwegen (–14) und die Niederlande (–18).

Österreich weist bei PISA 2018 (484 Punkte) eine ähnliche Leseleistung wie bei PISA 2015 (485 Punkte) auf. Trotz gleichbleibender Leistungswerte verbessert sich Österreich im Vergleich mit den angegebenen Ländern von Platz 25 auf Platz 22. Betrachtet man die österreichischen Nachbar-länder Ungarn, die Slowakei, die Tschechische Republik, die Schweiz, Italien sowie Deutschland, so zeigen sich in der Leseleistung von PISA 2015 auf PISA 2018 ebenfalls keine signifikanten Unterschiede.

Lesekompetenz bei PISA 2015 und PISA 2018 in Österreich im Vergleich

Abbildung 2.1.3 zeigt für Österreich, wie sich die Leistungen der Schüler/innen im Vergleich zwischen PISA 2015 und PISA 2018 entwickelt haben. Dazu sind zum einen die Mittel-werte (rote Rauten) sowie die Streuung der Kompetenzen in Form des Perzentilabstands dargestellt. Jeder Balken bildet den Leistungsbereich ab, in dem sich die mittleren 90 % der Schüler/innen befinden, also das 5. bis 95. Perzentil. Der Wertebereich, in dem sich die mittleren 50 % befinden, ist hellgrau dargestellt.

Der Vergleich der Leseleistung zwischen 2015 und 2018 zeigt zum einen, dass sich der Mittelwert zwischen PISA 2015 (485 Punkte) und PISA 2018 (484 Punkte) nicht signifikant ver-ändert hat. Aufgrund des gesunkenen OECD-Schnitts liegt Österreich nun im OECD-Schnitt, während es 2015 noch signifikant darunter lag. Zudem zeigt sich, dass sich der Werte-bereich der mittleren 90 % der Schüler/innen zwischen 2015 und 2018 von 333 auf 323 Punkte verkleinert hat. Dabei hat sich die Grenze des 95. Perzentils allerdings nicht verändert (2015 und 2018 bei jeweils 641 Punkten), während die Grenze des 5. Perzentils von 308 auf 318 Punkte gestiegen ist, wenn-gleich dieser Anstieg statistisch nicht signifikant ist. Somit erreichen die unteren 5 % der österreichischen Jugendlichen etwas höhere Werte als noch 2015, während die Leistungen der besten 5 % gleichgeblieben sind, was bedeutet, dass die Leistungen der schwächsten Jugendlichen tendenziell homo-gener geworden sind. Ein Vergleich der Lesekompetenz über alle Erhebungszeitpunkte von PISA 2000 bis PISA 2018 findet sich in Kapitel 6. Die Ergebnisse für alle Perzentile ab PISA 2000 können Anhangstabelle A4 entnommen werden.


Ländermittelwert Lesen Mittelwertdifferenz zwischen PISA 2018 und 2015

LandPISA 2015MW (SE)

PISA 2018MW (SE)

PISA 2018 –PISA 2015

TUR 428 (4,0) 466 (2,2) 37 (6,0)

USA 497 (3,4) 505 (3,6) 8 (6,3)

HUN 470 (2,7) 476 (2,3) 6 (5,3)

POL 506 (2,5) 512 (2,7) 6 (5,4)

GBR 498 (2,8) 504 (2,6) 6 (5,5)

SWE 500 (3,5) 506 (3,0) 6 (6,1)

SVK 453 (2,8) 458 (2,2) 5 (5,3)

EST 519 (2,2) 523 (1,8) 4 (4,9)

LTU 472 (2,7) 476 (1,5) 3 (5,0)

CZE 487 (2,6) 490 (2,5) 3 (5,4)

DNK 500 (2,5) 501 (1,8) 1 (5,0)

AUS 503 (1,7) 503 (1,6) 0 (4,6)

AUT 485 (2,8) 484 (2,7) 0 (5,5)

IRL 521 (2,5) 518 (2,2) –3 (5,2)

MEX 423 (2,6) 420 (2,7) –3 (5,4)

KOR 517 (3,5) 514 (2,9) –3 (6,0)

NZL 509 (2,4) 506 (2,0) –4 (5,0)

BEL 499 (2,4) 493 (2,3) –6 (5,2)

CHL 459 (2,6) 452 (2,6) –6 (5,4)

PRT 498 (2,7) 492 (2,4) –6 (5,3)

FIN 526 (2,5) 520 (2,3) –6 (5,2)

CAN 527 (2,3) 520 (1,8) –7 (4,9)

FRA 499 (2,5) 493 (2,3) –7 (5,2)

ISL 482 (2,0) 474 (1,7) –8 (4,7)

HRV 487 (2,7) 479 (2,7) –8 (5,5)

CHE 492 (3,0) 484 (3,1) –8 (5,9)

ITA 485 (2,7) 476 (2,4) –8 (5,3)

ISR 479 (3,8) 470 (3,7) –9 (6,6)

LVA 488 (1,8) 479 (1,6) –9 (4,6)

GRC 467 (4,3) 457 (3,6) –10 (6,9)

SVN 505 (1,5) 495 (1,2) –10 (4,4)

DEU 509 (3,0) 498 (3,0) –11 (5,8)

LUX 481 (1,4) 470 (1,1) –11 (4,3)

BGR 432 (5,0) 420 (3,9) –12 (7,5)

JPN 516 (3,2) 504 (2,7) –12 (5,7)

NOR 513 (2,5) 499 (2,2) –14 (5,1)

NLD 503 (2,4) 485 (2,7) –18 (5,3)

Mittelwertdifferenz ist signifi kant (p < .05) Mittelwertdifferenz ist nicht signifi kant

OE

CD

-Sch

nitt

(–3)

–20–30 –10 0 10–40 20 30 40

VerbesserungVerschlechterung

Abbildung 2.1.2: Lesekompetenz im Länder- und Zeitvergleich

Anmerkungen: 37 OECD-/EU-Länder, die sowohl an PISA 2015 als auch an PISA 2018 an der computerbasierten Erhebung teilgenommen haben; Länder absteigend nach ihrem Punktezuwachs gereiht. Signifikante Differenzen sind fett hervorgehoben. Quellen: PISA 2015 und 2018.


Abbildung 2.1.3: Vergleich der Lesekompetenz in Österreich

Quellen: PISA 2015 und 2018.

2.2 Lesen: Verteilung der Schüler/innen auf die Kompetenzstufen

Die PISA-Skala für Lesen bildet den Ausgangspunkt für die Beschreibung der Schülerleistungen mithilfe von Kompetenz-stufen. Kompetenzstufen ermöglichen eine inhaltliche Be-schreibung der erbrachten Leistungen.

Alle PISA-Testaufgaben können je nach ihrer Schwierigkeit und Komplexität auf der PISA-Skala verortet und in der Folge den nach aufsteigender Schwierigkeit gereihten Kompetenz-stufen zugeordnet werden. Auch jede Schülerin/jeder Schüler kann entsprechend den erreichten Punkten einer Kompetenz-stufe zugeordnet werden. Da die Kompetenzstufen auf-einander aufbauen, verfügen die Schüler/innen der jeweiligen Stufe auch über die Fähigkeiten der niedrigeren Stufe(n). Schüler/innen, die eine der beiden höchsten Kompetenz-stufen 5 oder 6 erreichen, werden zur „Spitzengruppe“ zu-sammengefasst. Alle Schüler/innen, deren Leseleistungen auf Kompetenzstufe unter 1c, 1c, 1b oder 1a einzustufen sind, werden zur „Risikogruppe“ zusammengefasst. 1c stellt die

2 Anhangstabelle A1 enthält die Prozentwerte für alle neun Stufen.3 Analog zur Berichterstattung der OECD werden die Daten von Spanien für den Kompetenzbereich Lesen in der vorliegenden Publikation nicht dargestellt.

Die Anzahl der OECD-/EU-Länder unterscheidet sich daher von jener in den Kompetenzbereichen Mathematik und Naturwissenschaft.

niedrigste Kompetenzstufe dar, während sich Kompetenzen unter 1c anhand von PISA nicht exakt beschreiben lassen.

Die anfänglich für PISA 2000 festgelegten fünf Kompetenz-stufen (kurz: „Levels“) wurden im Laufe der Zeit erweitert, um die Fähigkeiten der Jugendlichen am unteren Ende (unter 1c, 1c, 1b, 1a) bzw. am oberen Ende (5, 6) der Skala detaillierter beschreiben zu können. Die Schwellenwerte der dazwischen-liegenden Levels haben sich dadurch nicht geändert.

Bildungspolitisches Ziel eines Landes könnte es sein, dass möglichst alle Jugendlichen hohe Kompetenzstufen er-reichen, wodurch sich große Anteile in der Spitzengruppe und möglichst kleine Anteile in der Risikogruppe ergeben würden. Abbildung 2.2.1 zeigt die Verteilung der Schüler/innen auf die zwei Lese-Spitzengruppen und vier Lese-Risiko-gruppen2 (absteigend sortiert nach den Ländermittelwerten in Lesen) für die 39 teilnehmenden OECD-/EU-Länder3.

Die LeseSpitzengruppe

Um die zweithöchste Kompetenzstufe, Level 5, zu erreichen, müssen die Schüler/innen zwischen 626 und 698 Punkte erzielen. Leser/innen auf Stufe 5 können längere Texte ver-stehen und aufgrund ihres Detailverständnisses kausale oder andere Überlegungen anstellen. Sie können ermitteln, welche Informationen im Text relevant sind, selbst wenn diese leicht zu übersehen sind. Sie können bei komplexen oder abstrakten Aussagen zwischen Inhalt und Intention sowie zwischen Fakten und Meinungen unterscheiden und ermitteln, wie vertrauenswürdig die in einem Text enthaltenen Aussagen oder Schlussfolgerungen sind. Aufgaben der Stufe 5 erfordern im Allgemeinen in allen Teilbereichen der Lesekompetenz den Umgang mit abstrakten oder kontraintuitiven Konzepten und mehrere Lösungsschritte. Darüber hinaus müssen die Leser/innen für Aufgaben auf dieser Stufe möglicherweise mit mehreren längeren Texten arbeiten und zwischen ihnen hin- und herspringen, um Informationen zu vergleichen und gegenüberzustellen. Sie verfügen auch über die Kompetenzen aller niedrigeren Kompetenzstufen (1c bis 4).

Schüler/innen auf der höchsten Kompetenzstufe, Level 6, können längere und abstrakte Texte verstehen, in denen die zu suchenden Informationen nicht leicht zu finden sind und nur einen indirekten Bezug zur Aufgabe aufweisen. Bei den Informationen, die gesucht werden sollen, kann es sich um nicht unmittelbar ersichtliche Details in einem oder mehreren Texten handeln, die u. U. durch konkurrierende Informationen verdeckt werden. Sie können Informationen vergleichen, gegenüberstellen und verknüpfen, die ver-schiedene, möglicherweise widersprüchliche Standpunkte

350

300

400

450

500

550

600

650

700

5. 50. 75. 95.25.

Perzentile (%)

Lese

kom

pete

nzho

chni

edrig

Mittelwert

2502015 2018


widerspiegeln. Leser/innen auf Stufe 6 sind in der Lage, über das Verhältnis von Quelle und Inhalt eines Textes zu reflektieren. Durch Schlussfolgerungen können sie den Wahr-heitsgehalt der Informationen in Bezug auf die Informations-quellen, die expliziten oder impliziten Interessen sowie andere Anhaltspunkte klären. Für die höchste Kompetenzstufe, Level 6, sind mindestens 698 Punkte notwendig.

Im OECD-Schnitt zählen 9 % der Jugendlichen zur Lese-Spitzengruppe, im OECD-/EU-Schnitt sind es 8 %. Die größten Spitzengruppen in Lesen gibt es in Kanada (15 %), Finnland, Estland und den USA (je rund 14 %). Etwa jede siebte Schülerin/jeder siebte Schüler in diesen Ländern verfügt über die oben beschriebenen Kompetenzen von mindestens Level 5. Eine kleine Gruppe davon (2 bis 3 %) zeigt auch Kompetenzen auf Level 6. Die kleinsten Lese-Spitzengruppen gibt es Mexiko, Kolumbien (je rund 1 %) und Bulgarien (2 %). Das bedeutet beispielsweise für Bulgarien, das jede 50. Schülerin bzw. jeder 50. Schüler über Lesekompetenzen auf Level 5 oder höher verfügt.

In Österreich beträgt der Anteil leistungsstarker Leser/innen rund 7 % (6,7 % auf Level 5; 0,7 % auf Level 6) und ist damit fast gleich groß wie im OECD-Schnitt oder anders ausgedrückt, jede 14. Schülerin/jeder 14. Schüler verfügt über Lesekompetenzen von mindestens Level 5. Damit ist die österreichische Lese-Spitzengruppe etwa um die Hälfte kleiner als die der führenden Länder. Die Spitzengruppen des deutschsprachigen Nachbarlands Deutschland und die der Schweiz belaufen sich auf 11 % bzw. 8 %. Für die weiteren Nachbarländer Österreichs lassen sich zwischen 8 % und 5 % leistungsstarke Leser/innen feststellen.

Die LeseRisikogruppe

Schüler/innen, die in Lesen weniger als 407 Punkte erreichen und damit unter Kompetenzstufe 2 liegen, zählen zur Risiko-gruppe.

Schüler/innen auf Level 1a sind fähig, die wörtliche Be-deutung von Sätzen oder kurzen Textabschnitten zu erfassen.

Abbildung 2.2.1: Anteile der Schüler/innen in den Lese-Spitzen- und -Risikogruppen im internationalen Vergleich

Anmerkungen: 39 OECD-/EU-Länder absteigend nach dem Mittelwert in Lesen gereiht; Angaben in Prozentwerten; Werte unter 2 % in den Balken nicht eingetragen.Quelle: PISA 2018.

60

50

40

30

20

10

0

0

10

20

OECD-S

chnitt

Level 1aLevel 1bunter Level 1c Level 5 Level 6Level 1c

Risikoschüler/innen (Anteile in Prozent)

Spitzenschüler/innen (Anteile in Prozent)

ES

TC

AN

FIN

IRL

KO

RP

OL

SW

E

NZL

US

AG

BR

JPN

AU

S

DN

K

NO

RD

EU

SV

N

BE

L

FRA

PR

T

CZE

NLD

CH

E

HR

VLV

AIT

AH

UN

LTU

ISL

ISR

LUX

TUR

SV

KG

RC

CH

LM

LTM

EX

BG

RC

OL

9

211

10

3

14

9

3

14

9

2

12

10

4

15

11

3

15

12

5

18

13

5

19

13

5

19

12

4

17

12

4

17

13

6

20

12

4

16

12

6

19

14

6

21

13

4

18

14

6

21

14

6

21

14

5

20

15

5

21

15

6

23

16

7

24

16

6

24

15

7

24

16

5

22

17

5

22

15

7

23

17

7

25

17

6

24

16

8

26

15

10

31

18

9

29

19

6

26

20

9

31

19

9

31

21

9

32

19

12

36

29

13

45

25

17

47

30

16

50

11

14

12

15

12

14

10

12

11

13

10

12

11

13

11

13

11

14

9

11

9

10

10

13

7

8

10

11

10

11

7

8

8

10

8

9

6

7

7

8

7

9

8

9

7

7

7

8

4

5

4

5

5

5

5

6

5

5

6

7

8

10

6

8

3

34

5

3

4

23

4

5

1 22

1

OE

CD

AU

T

2

22

5 22 2

5

2 5

4

3 3 2 2 2 2 2 32 3

2


Zudem können sie in einem Text zu einem Sachgebiet, mit dem sie vertraut sind, das Hauptthema des Textes oder die Absicht der Autorin/des Autors erkennen und einen ein-fachen Bezug zwischen mehreren nebeneinanderstehenden Informationen oder zwischen einer Information und ihrem eigenen Vorwissen herstellen. Sie können in kurzen Texten eine oder mehrere voneinander unabhängige Informationen finden. Schüler/innen auf Level 1a erreichen zwischen 335 und 407 Punkten.

Schüler/innen des Levels 1b können die wörtliche Bedeutung einfacher Sätze bewerten und die wörtliche Bedeutung von Texten erfassen, indem sie einfache Bezüge zwischen neben-einanderstehenden Informationen in der Frage und/oder im Text herstellen. Auf dieser Stufe können Leser selektiv lesen und eine offensichtliche und explizite Information in einem Satz, einem kurzen Text oder einer einfachen Liste finden. Schüler/innen auf Level 1b erreichen zwischen 262 und 335 Punkten.

Schüler/innen auf Level 1c sind in der Lage, die wörtliche Bedeutung kurzer, syntaktisch einfacher Sätze zu erfassen und zu bestätigen. Sie können in einem begrenzten Zeitraum mit einer klaren und einfachen Zielvorgabe lesen. Die Aufgaben auf dieser Stufe sind durch einen einfachen Wortschatz und einfache syntaktische Strukturen gekennzeichnet. Schüler/innen auf Level 1c erreichen zwischen 189 und 262 Punkten.

Die Fähigkeiten von Jugendlichen unter Level 1c lassen sich anhand von PISA nicht exakt beschreiben; es kann lediglich gesagt werden, dass sie nicht in der Lage sind, die bei PISA gemessenen grundlegendsten Fähigkeiten routinemäßig zu zeigen.

Im OECD-Schnitt gehören 23 % der Jugendlichen zur Lese-Risikogruppe, im OECD-/EU-Schnitt sind es 24 %. Die kleinsten Anteile an Schülerinnen und Schülern in den Lese-Risikogruppen gibt es in Estland (11 %), Irland (12 %) und Finnland bzw. Kanada (je rund 14 %). Die Länder mit den größten Anteilen an schwachen Leserinnen und Lesern sind Kolumbien (50 %), Bulgarien (47 %) und Mexiko (45 %).

In Österreich befinden sich 24 % der Jugendlichen in der Lese-Risikogruppe (16,3 % auf Level 1a; 6,4 % auf Level 1b; 0,9 % auf Level 1c; 0,03 % unter Level 1c). Damit ist die österreichische Lese-Risikogruppe rund doppelt so groß wie jene der führenden Länder. Von Österreichs Nachbarländern weist Slowenien die kleinste Risikogruppe auf (18 %). In Deutschland und in der Tschechischen Republik beläuft sich die Risikogruppe auf je rund 21 %. In der Schweiz befinden sich 24 % der Jugendlichen in der Lese-Risikogruppe, in der Slowakei sind es 31 %.

4 Analog zur Berichterstattung der OECD werden die Daten von Spanien für den Kompetenzbereich Lesen in der vorliegenden Publikation nicht dargestellt. Die Anzahl der OECD-/EU-Länder unterscheidet sich daher von jener in den Kompetenzbereichen Mathematik und Naturwissenschaft.

Bezieht man sich nur auf den Anteil der Jugendlichen, die nicht zur Lese-Risikogruppe zählen, sondern zu einem der Levels 2 bis 6, ergibt sich für Österreich, dass rund drei von vier Jugendlichen (76 %) über Lesekompetenzen verfügen, die mindestens auf Level 2 (oder höher) liegen. Ab Level 2 beginnen Jugendliche zu zeigen, dass sie ihre Lesekompetenz einsetzen können, um Wissen zu erwerben und eine Viel-zahl praktischer Probleme zu lösen. Bei unvertrauten Texten von moderater Länge und Komplexität sind Hinweise und Anweisungen notwendig, damit der Text bearbeitet werden kann.

Die Risiko und Spitzengruppe bei PISA 2015 und PISA 2018 in Österreich im Vergleich

Wie eingangs in diesem Abschnitt bereits erwähnt, wäre es eine positive Entwicklung für ein Land, wenn sich der Anteil der Schüler/innen in der Spitzengruppe im Laufe der Zeit vergrößern und jener der Risikogruppe verkleinern würde.

Zu den Lese-Spitzenschülerinnen und -schülern gehörten im Jahr 2015 7 % der österreichischen Jugendlichen. Bei der aktuellen Erhebung 2018 sind es wieder 7 % . Die Größe der Risikogruppe belief sich 2015 auf 23 %, im Jahr 2018 zeigen mit 24 % ungefähr gleich viele österreichische Jugendliche grobe Mängel beim Leseverständnis. Für Österreich kann daher die erwähnte positive Entwicklung für die Vergleichs-zeitpunkte 2015 und 2018 nicht festgestellt werden.

2.3 Lesen: Unterschiede zwischen Mädchen und Burschen

Ein über all die Jahre hinweg konsistenter Befund von PISA ist, dass die Mädchen bessere Leseleistungen erbringen als die Burschen. Dementsprechend zeigten sich auch im Jahr 2015 in allen 38 teilnehmenden OECD- und EU-Ländern signifikante Leistungsunterschiede zugunsten der Mädchen. Sie übertrafen ihre Alterskollegen um bis zu 47 Punkte. In Österreich war der Vorsprung der Mädchen mit 20 Punkten im internationalen Vergleich moderat ausgeprägt. Bei PISA 2018 zeigt sich ein ähnliches Bild.

Geschlechterdifferenzen im internationalen Vergleich

Abbildung 2.3.1 zeigt die Mittelwertdifferenzen der Lese-leistung zwischen Mädchen und Burschen in allen 39 teilnehmenden OECD- und EU-Ländern4 bei PISA 2018. Neben den Werten zur Größe des Unterschieds ist in Klammer auch die jeweilige Effektstärke eingetragen. Die Länder sind ab-steigend nach dem Mittelwert der Lesekompetenz sortiert.


Abbildung 2.3.1: Leistungsunterschiede zwischen Mädchen und Burschen in Lesen (Mittelwert differenzen und Effektstärken)

Abbildung 2.3.2: Größe der Risikogruppe in Lesen nach Geschlecht

Anmerkung: 39 OECD-/EU-Länder absteigend nach dem Mittelwert in Lesen gereiht.Quelle: PISA 2018.

Mädchen besser

EST

CAN

FIN

IRL

KOR

POL

SWE

NZL

USA

GBR

JPN

AUS

DNK

NOR

DEU

SVN

BEL

FRA

PRT

CZE

NLD

AUT

CHE

HRV

LVA

ITA

HUN

LTU

ISL

ISR

LUX

TUR

SVK

GRC

CHL

MLT

MEX

BGR

COL

Risikogruppe (Anteile in Prozent)

EST 8/14

CAN 10/18

FIN 7/20

IRL 9/15

KOR 11/19

POL 10/20

SWE 14/23

NZL 14/23

USA 15/23

GBR 14/21

JPN 13/21

AUS 15/24

DNK 11/21

NOR 12/26

DEU 16/24

SVN 11/25

BEL 18/25

FRA 16/25

PRT 16/24

CZE 15/26

NLD 19/29

AUT 18/29

CHE 18/28

HRV 15/28

LVA 16/29

ITA 19/28

HUN 21/30

LTU 17/32

ISL 19/34

ISR 23/40

LUX 24/34

TUR 21/32

SVK 25/38

GRC 22/39

CHL 27/36

MLT 26/45

MEX 42/48

BGR 38/55

COL 48/52

2030 10 04060 50 30 40 50200% 10 7060 M/B

31 (0.33)

29 (0.29)

52 (0.54)

23 (0.26)

24 (0.23)

33 (0.34)

34 (0.32)

29 (0.27)

24 (0.22)

20 (0.20)

20 (0.21)

31 (0.29)

29 (0.32)

47 (0.46)

26 (0.25)

42 (0.46)

22 (0.21)

25 (0.25)

24 (0.25)

33 (0.35)

29 (0.28)

28 (0.29)

31 (0.30)

33 (0.37)

33 (0.37)

25 (0.26)

26 (0.27)

39 (0.42)

41 (0.40)

48 (0.39)

29 (0.27)

25 (0.29)

34 (0.35)

42 (0.44)

20 (0.22)

49 (0.44)

11 (0.13)

40 (0.41)

10 (0.12)

Mittelwert-differenzen

n. s.sign. (p < .05)

OECD-Schnitt

Größe der Risikogruppe (Schüler/innen unter Level 2)

signifikante Differenzen bei den Anteilen M/B fett hervorgehoben

Mädchen (M)Burschen (B)

OECD-Schnitt MädchenOECD-Schnitt Burschen


Wie bereits in vorausgehenden PISA-Erhebungen zeigt sich, dass die Mädchen in allen Teilnehmerländern eine signifikant bessere Leseleistung als die Burschen erbringen, wobei die Größe der Unterschiede zwischen den Ländern variiert. Zum besseren Verständnis der Größenordnung dieser Unterschiede sei an dieser Stelle erwähnt, dass jeweils rund 70 Punkte zwischen den einzelnen Kompetenzstufen liegen (siehe Ab-schnitt 1.6 in Kapitel 1). Im OECD-Schnitt übertreffen die Mädchen die Burschen um 30 Punkte. In Finnland ist der Vorsprung der Mädchen mit 52 Punkten am stärksten aus-geprägt, gefolgt von Malta (49 Punkte), Israel (48 Punkte) und Norwegen (47 Punkte). Die Effektstärke liegt in diesen Ländern zwischen 0.54 und 0.39. Anhand der Kategorisierung nach Cohen (siehe Kapitel 1, Abschnitt 1.7) entspricht dies lediglich in Finnland (d = 0.53) einem mittleren Effekt, in den anderen drei Ländern einem kleinen Effekt. Kolumbien und Mexiko sind mit 10 bzw. 11 Punkten Differenz jene Länder mit den geringsten Unterschieden zwischen den Geschlechtern. Auch wenn diese Differenzen signifikant sind, zeigen die entsprechenden Effektstärken (Cohen’s d jeweils < 0.20), dass Unterschiede dieser Größenordnung keine praktische Relevanz besitzen.

Ein Zusammenhang hinsichtlich der Größe der Leistungs-unterschiede und des Landesmittelwerts in Lesen lässt sich nicht erkennen. Sowohl unter den führenden Ländern im Kompetenzbereich Lesen gibt es Länder mit stark bzw. weniger stark ausgeprägten Geschlechterdifferenzen. Und auch unter den Ländern am unteren Ende der Leistungsskala schwankt die Größe der Geschlechterunterschiede (beispiels-weise 10 Punkte in Kolumbien vs. 40 Punkte in Bulgarien).

Geschlechterdifferenzen in Österreich

Der Mittelwert der österreichischen Mädchen beträgt bei PISA 2018 im Schnitt 499 Punkte. Sie übertreffen damit ihre Alterskollegen, die im Schnitt 471 Punkte erreichen, um 28 Punkte. Im OECD-/EU-Vergleich befindet sich Österreich damit im Mittelfeld und die Effektstärke von 0.29 deutet auf eine kleine praktische Relevanz dieses Unterschieds hin. In den Nachbarländern Österreichs liegt der Leistungsvor-sprung der Mädchen zwischen 25 Punkten in Italien und 42 Punkten in Slowenien. In Deutschland trennen Mädchen und Burschen 26 Leistungspunkte.

Vergleicht man die Mittelwerte der österreichischen Schü-lerinnen und Schüler im Trend mit PISA 2015, so zeigt sich, dass weder die Zunahme im Mittelwert der Mädchen von 495 auf 499 Punkte noch der Rückgang des Mittelwerts der Burschen von 475 auf 471 Punkte statistisch bedeut-sam ist. Die Leistungen der Mädchen und Burschen haben sich von PISA 2015 auf PISA 2018 somit nicht signifikant verändert. Insgesamt hat sich die Geschlechterdifferenz von 20 Punkten im Jahr 2015 auf 28 Punkte im aktuellen Er-hebungsdurchgang leicht, wenngleich statistisch nicht signi-

fikant, erhöht. Ein Vergleich der Geschlechterdifferenzen über alle Erhebungszeitpunkte von PISA 2000 bis PISA 2018 findet sich in Kapitel 6. Die jeweiligen Mittelwerte der öster-reichischen Mädchen und Burschen ab PISA 2000 können Anhangstabelle A5 entnommen werden.

Anteil der Mädchen und Burschen in der Risikogruppe

Abbildung 2.3.2 zeigt für die teilnehmenden OECD- und EU-Länder, wie hoch der Anteil der Mädchen und jener der Burschen ist, die aufgrund ihrer bei PISA 2018 erbrachten Leistung unter Kompetenzstufe 2 liegen. Kompetenzstufe 2 wird international als jene Schwelle beschrieben, ab der die Schüler/innen beginnen, ihre Lesefähigkeiten zu nutzen, um Wissen zu erwerben und um eine Bandbreite von praktischen Problemen zu lösen (OECD, 2019b, Chapter 5). Schüler/innen, die diese Schwelle nicht erreichen, haben oft Schwierigkeiten, wenn sie mit ihnen unbekannten Lese-materialien konfrontiert werden oder wenn diese Materialien von moderater Länge oder Komplexität sind. Diese Schüler/innen unter Kompetenzstufe 2 werden in weiterer Folge als „Risikoschüler/innen“ bezeichnet (siehe dazu auch Abschnitt 2.2 in diesem Kapitel). Die Balken in Abbildung 2.3.2 stellen die Anteile der Mädchen und Burschen, die sich in Lesen in der Risikogruppe befinden, grafisch dar. Die Werte am rechten Rand geben die Größe der jeweiligen Risikogruppe in Prozent an.

Die Unterschiede in der Größe der Risikogruppe spiegeln in erster Linie die Mittelwertdifferenzen zwischen Mädchen und Burschen aus Abbildung 2.3.1 wider: Generell ist in allen Teilnehmerländern die Risikogruppe der Burschen signifikant größer als jene der Mädchen. Darüber hinaus zählen Länder mit den größten Geschlechterunterschieden hinsichtlich des Mittelwerts auch zu jenen Ländern mit ver-gleichsweise großen geschlechterbezogenen Unterschieden in der Risikogruppe.

Unter allen in Abbildung 2.3.2 dargestellten Ländern erreichen zwischen 14 % (Estland) und 55 % (Bulgarien) der Burschen die Kompetenzstufe 2 nicht. Bei den Mädchen liegen die Anteile zwischen 7 % in Finnland und 48 % in Kolumbien. Erwartungsgemäß ist der Anteil der Risikoschüler/innen in den leistungsschwachen Ländern vergleichsweise hoch. So befinden sich in Kolumbien und Mexiko zwischen 42 % und 52 % der Mädchen und Burschen unter Kompetenzstufe 2. Im OECD-Schnitt erreichen 28 % der Burschen einen Leistungswert unter Kompetenzstufe 2 – bei den Mädchen sind es im Vergleich dazu 18 %. Besonders ausgeprägt ist die Differenz zwischen der Größe der Risikogruppen der Mädchen und Burschen mit bis zu 19 Prozentpunkten Unterschied in Malta, Griechenland, Israel und Bulgarien. Die geringsten Unterschiede zwischen den Risikogruppen finden sich in Kolumbien (4 Prozentpunkte), in Mexiko und im Vereinigten Königreich (jeweils 6 Prozent punkte).


In Österreich zählt etwas mehr als jeder vierte Schüler (29 %) zur Risikogruppe, während der Anteil mit 18 % bei den Mädchen deutlich geringer ist. Dieser Abstand von knapp 11 Prozentpunkten ist signifikant. Bei PISA 2015 betrug

der Abstand 7 Prozentpunkte (26 % Burschen vs. 19 % Mädchen); die Zunahme (von 7 auf 11 Prozentpunkte) ist statistisch nicht signifikant.


3 Kompetenzen der Schüler/innen in Mathematik Anna Glaeser, Magdalena Rölz, Birgit Suchań, Juliane Schmich, Lisa Wiesinger, Iris Höller

In einer zunehmend technisierten Welt gehören mathematische Kenntnisse mehr denn je zu jenen grundsätzlichen Basiskompetenzen, die junge Menschen im Zuge ihrer schulischen Bildung erwerben müssen. Insbesondere mathe-matikintensive Berufe sind charakterisiert durch spezifische Anforderungsprofile und Kenntnisse, die weit über die im Rahmen der Pflichtschulzeit erworbenen mathematischen Kompetenzen hinausgehen. Die mathematische Grundbildung im Rahmen der Pflichtschulzeit muss die Schüler/innen daher mit einem ausbaufähigen Basiswissen für alle ausstatten und sollte Mädchen wie Burschen zu einer Vertiefung dieser Kenntnisse in der Sekundarstufe 2 sowie zu lebenslangem Lernen motivieren (Salchegger, Glaeser, Widauer & Bitesnich, 2017).

Bei PISA 2018 wird die Mathematikkompetenz als Nebendomäne erfasst. Die Inhalte der Testaufgaben in Mathe-matik basieren auf dem Framework von PISA 2012, als Mathematik zuletzt die Hauptdomäne war. Erfasst wird die funktionelle Anwendung, Nutzung und Interpretation mathematischen Wissens in einer Vielzahl von unter-schiedlichen Kontexten und Situationen. Es soll festgestellt werden, ob junge Menschen am Ende ihrer Schulpflicht die nötigen mathematischen Kompetenzen besitzen, um Anforderungen des privaten, beruflichen oder öffentlichen Alltags zu bewältigen und als konstruktive, engagierte und reflektierte Bürger/innen fundierte Entscheidungen zu treffen (OECD, 2016c, 27 ff.).

Zu Beginn dieses Kapitels werden die internationalen Ländermittelwerte für Mathematik miteinander verglichen. Im Anschluss ermöglicht die Klassifizierung der Mathematikleistung in sechs verschiedene Kompetenzstufen Aussagen darüber, auf welchem mathematischen Niveau sich die bei PISA erbrachten Leistungen der Schüler/innen einordnen lassen und über welche konkreten Fähigkeiten die Schüler/innen verfügen. Dabei liegt der Fokus insbesondere auf der Größe der Risiko- und Spitzengruppe im internationalen Vergleich. Zuletzt werden geschlechtsspezifische Unterschiede hinsichtlich der Mathematikleistung sowie der Anteile an der Risikogruppe dargestellt. Die Werte für Österreich werden zu PISA 2015 in Relation gesetzt.

3.1 Leistungen der österreichischen Schüler/innen in Mathematik im Länder- und Zeitvergleich

In folgendem Abschnitt werden die internationalen Länder-mittelwerte für Mathematik dargestellt und die Mathematik-kompetenz in Österreich mit PISA 2015 verglichen. Abbildung 3.1.1 zeigt die Mathematikmittelwerte (dunkelrote Linien) für die 40 OECD-/EU-Länder sowie das Konfidenzintervall in Form von roten Balken. Das Konfidenzintervall gibt den Be-reich an, in dem der Mittelwert der 15-/16-jährigen Schüler/innen mit 95%iger Wahrscheinlichkeit liegt. Der OECD-Schnitt (blaue Linie) bei PISA 2018 beträgt 489 Punkte. In Tabelle 3.1.1 werden die Mittelwerte und Standardab-weichungen (als Maß für die Leistungsstreuung) aller 69 Länder, die an der computerbasierten Testung teilgenommen haben, angegeben. In beiden Darstellungen sind die Länder absteigend nach ihrem Mathematikmittelwert gereiht.

Mathematikmittelwerte im internationalen Vergleich

Österreichs Jugendliche erzielen bei PISA 2018 in Mathe-matik einen Gesamtmittelwert von 499 Punkten und liegen signifikant über dem OECD-Schnitt von 489 Punkten. Unter

den 40 OECD-/EU-Ländern bedeutet das Position 18 bzw. unter Berücksichtigung des Konfidenzintervalls einen ge-teilten Rangplatz zwischen 12 und 22.

Die besten Mathematikleistungen im OECD-Raum er-bringen die Schüler/innen aus Japan mit einem Mittelwert von 527 Punkten, gefolgt von Korea (526 Punkte). Auf Position drei und vier befinden sich die EU-Länder Estland (523 Punkte) und Niederlande (519 Punkte).

Alle Länder von Japan über Österreich bis einschließlich Neuseeland liegen signifikant über dem OECD-Schnitt. Portugal, Australien, Italien und die Slowakei weisen mittlere Leistungen im Bereich des OECD-Schnitts auf. Alle nach-folgenden Länder ab einschließlich Luxemburg liegen signi-fikant unter dem OECD-Schnitt. Die Leistungsdifferenz in Mathematik zwischen dem besten OECD-Land Japan und dem letztgereihten OECD-Land Kolumbien beträgt 136 Punkte.

In insgesamt elf OECD-Ländern unterscheiden sich die Er-gebnisse der Schüler/innen nicht signifikant von Österreich (siehe hellgraue Schattierung in Abbildung 3.1.1). Darunter befinden sich auch die Nachbarländer Deutschland (500

50 3 – Kompetenzen der Schüler/innen in Mathematik

Anmerkung: 40 OECD-/EU-Länder absteigend nach dem Mittelwert in Mathematik gereiht.Quelle: PISA 2018.

Anmerkung: 69 Teilnehmerländer, die den Test computerbasiert administriert haben, absteigend nach dem Mittelwert in Mathematik gereiht. Grau hinterlegt sind Länder, deren Mittelwert sich nicht signifikant von Österreich unterscheidet.Quelle: PISA 2018.

Tabelle 3.1.1: Mathematik: Mittelwerte und Standardabweichungen

Abbildung 3.1.1: Mathematik: Mittelwerte und Konfidenzintervalle

350

400

450

500

550

600

signifikant besser als AUT kein signifikanter Unterschied zu AUT signifikant schlechter als AUT

Mat

hem

atik

kom

pete

nz

hoch

nied

rig

OECD-Schnitt (489)

JPN

KO

RE

ST

NLD

PO

LC

HE

CA

ND

NK

SV

NB

EL

FIN

SW

EG

BR

NO

RD

EU

IRL

CZE

LVA

FRA

ISL

NZL

PR

TA

US

ITA

SV

KLU

XE

SP

LTU

HU

NU

SA

MLT

HR

VIS

RTU

RG

RC

BG

RC

HL

ME

XC

OL

AU

T


EU-Länder

OECD-Länder

Mathematik: Mittelwerte und Standardabweichungen aller Teilnehmerländer

BSJZ 591 (80) CHE 515 (94) IRL 500 (78) ITA 487 (94) ISR 463 (108) KAZ 423 (87) GEO 398 (88)

SGP 569 (94) CAN 512 (92) CZE 499 (93) SVK 486 (100) TUR 454 (88) AZE 420 (89) COL 391 (81)

MAC 558 (81) DNK 509 (82) AUT 499 (93) LUX 483 (98) GRC 451 (89) THA 419 (88) BRA 384 (88)

HKG 551 (94) SVN 509 (89) LVA 496 (80) ESP 481 (88) SRB 448 (97) URY 418 (85) IDN 379 (79)

TWN 531 (100) BEL 508 (95) FRA 495 (93) LTU 481 (91) MYS 440 (83) CHL 417 (85) MAR 368 (76)

JPN 527 (86) FIN 507 (82) ISL 495 (90) HUN 481 (91) ALB 437 (83) QAT 414 (98) XKX 366 (77)

KOR 526 (100) SWE 502 (91) NZL 494 (93) USA 478 (92) BGR 436 (97) MEX 409 (78) PAN 353 (77)

EST 523 (82) GBR 502 (93) PRT 492 (96) BLR 472 (93) ARE 435 (106) BIH 406 (82) PHL 353 (78)

NLD 519 (93) NOR 501 (90) AUS 491 (92) MLT 472 (102) BRN 430 (91) CRI 402 (75) DOM 325 (71)

POL 516 (90) DEU 500 (95) RUS 488 (86) HRV 464 (87) MNE 430 (83) PER 400 (84)


Punkte) und die Tschechische Republik (499 Punkte), welche in Mathematik ähnliche Mittelwerte wie Österreich erzielen. Sowohl die Schweiz (515 Punkte) als auch Slowenien (509 Punkte) weisen signifikant höhere Mittelwerte als Österreich auf, während Italien (487 Punkte), die Slowakei (486 Punkte) und Ungarn (481 Punkte) signifikant schlechter als Öster-reich abschneiden.

Unter allen 69 Teilnehmerländern, welche die Testung com-puter basiert durchgeführt haben, ist vor allem in Mathe-matik auffallend, dass die sieben besten Länder aus Asien stammen. Wie auch in Lesen und Naturwissenschaft nehmen in Mathematik die chinesischen Provinzen Peking, Schanghai, Jiangsu und Zhejiang die Spitzenposition ein. Die Schüler/innen erreichen einen Mittelwert von 591 Punkten und liegen damit 22 Punkte vor dem zweitplatzierten Land Singapur. Dahinter folgen Macau (558 Punkte), Hongkong (551 Punkte) und Taiwan (531 Punkte). Das beste EU-Land Estland liegt hinter den asiatischen Ländern an achter Position und weist eine Differenz von 68 Punkten zum Spitzenreiter auf. Österreich trennen 92 Punkte von den chinesischen Provinzen.

Die Streuung der Mathematikleistungen

Die Streuung (in Form der Standardabweichung) zeigt, wie homogen die Leistungen in Mathematik innerhalb eines Landes sind. Rund um den Mittelwert befinden sich im Abstand von je einer Standardabweichung die Leistungen von zwei Drittel der Schüler/innen. Tabelle 3.1.1 zeigt den Landesmittelwert und die jeweilige Standardabweichung als Ergänzung in Klammern. Den Jugendlichen aus den chinesischen Provinzen gelingt mit einem Mittelwert von 591 Punkten nicht nur in Bezug auf die Leistung die Spitzen-position, gleichzeitig weisen sie mit einer Standardab-weichung von 80 Punkten eine sehr homogene Mathematik-leistung auf. Neben den chinesischen Provinzen erreicht auch Macau (558/81) eine hohe Leistung bei geringer Streuung. Die homogenste Mathematikleistung findet man in der Dominikanischen Republik (71), wobei das Land gleich-zeitig den niedrigsten Mittelwert (325) aufweist. Große Leistungsstreuungen sind in Israel (108) und den Vereinigten Arabischen Emiraten (106) zu beobachten.

In Österreich beträgt die Streuung in Mathematik 93 Punkte und unterscheidet sich damit um vier Punkte vom Schnitt der 69 Teilnehmerländer (89 Punkte). In Kombination mit einem Mittelwert von 499 Punkten bedeutet dies für Österreich, dass etwa zwei Drittel aller Schüler/innen in Mathematik Leistungen im Bereich zwischen 405 und 592 Punkten er-bringen. Unter den Nachbarländern weist die Tschechische Republik ebenso wie Österreich eine Standardabweichung von 91 Punkten bei gleichem Mittelwert auf. In vergleichbarem Ausmaß (+/-2 Punkte) streuen außerdem die Leistungen der Länder Schweiz, Deutschland, Italien und Ungarn. Unter den Nachbarländern Österreichs erzielen Slowenien bei gleich-

zeitig hohem Mittelwert von 509 Punkten die homogenste (89 Punkte) und die Slowakei mit einem Mittelwert von 486 Punkten die heterogenste Leistungsverteilung (100 Punkte).

Mathematikkompetenz bei PISA 2015 und PISA 2018 in Österreich im Vergleich

In Abbildung 3.1.2 sind für PISA 2015 und PISA 2018 die Mittelwerte sowie die Streuung der Kompetenzen der österreichischen Schüler/innen in Mathematik in Form des Perzentilabstands dargestellt. Dabei bildet jeder Balken den Leistungsbereich ab, in dem sich die mittleren 90 % der Schüler/innen befinden, also das 5. bis 95. Perzentil. Der Wertebereich, in dem sich die mittleren 50 % der Schüler/innen befinden, ist hellgrau dargestellt.

Abbildung 3.1.2: Vergleich der Mathematikkompetenz in Österreich


Der Vergleich zwischen den beiden letzten PISA-Erhebungen zeigt, dass sich der Mittelwert in Mathematik kaum verändert hat. Während die österreichischen Jugendlichen im Jahr 2015 im Schnitt 497 Punkte erreichten, ist dieser Wert bei PISA 2018 leicht, aber statistisch nicht signifikant auf 499 Punkte angestiegen. Österreich liegt damit, wie auch 2015, signi-fikant über dem OECD-Schnitt. Auch bei den Ergebnissen in den einzelnen Perzentilen zeigen sich keine signifikanten Unterschiede in den Punktwerten zwischen 2015 und 2018. Im Jahr 2015 lag der Wertebereich der mittleren 90 % der Schüler/innen bei 311 Punkten, bei PISA 2018 waren es 305.

350

300

400

450

500

550

600

650

700

5. 50. 75. 95.25.

Perzentile (%)

Mat

hem

atik

kom

pete

nzho

chni

edrig

Mittelwert

2502015 2018


Tendenziell ist die Mathematikleistung 2018 damit homo-gener als 2015. Ein Vergleich der Mathematikkompetenz von PISA 2003 bis PISA 2018 findet sich in Kapitel 6. Die Ergebnisse für alle Perzentile ab PISA 2003 können Anhangs-tabelle A4 entnommen werden.

3.2 Mathematik: Verteilung der Schüler/innen auf die Kompetenzstufen

Der Landesmittelwert (siehe Abschnitt 3.1) gibt einen Ein-blick in die durchschnittlichen Leistungen der Schüler/innen. Eine Möglichkeit, diese Leistungen genauer zu beschreiben, ist, die Verteilung auf Kompetenzstufen zu analysieren.

Die Mathematikkompetenz wird seit PISA 2003 mit sieben aufeinander aufbauenden Kompetenzstufen beschrieben. Alle PISA-Aufgaben können je nach Schwierigkeit und Komplexi-tät auf der PISA-Skala verortet und in der Folge den nach aufsteigender Schwierigkeit gereihten Kompetenzstufen zu-geordnet werden. Jede Schülerin/jeder Schüler kann ent-sprechend den erreichten Punkten einer Kompetenzstufe zugeordnet werden. Schüler/innen, die eine der beiden höchsten Kompetenzstufen 5 oder 6 erreichen, werden zur „Spitzengruppe“ zusammengefasst. Schüler/innen, deren Leistungen auf Kompetenzstufe 1 oder darunter liegen, zählen zur „Risikogruppe“1.

Abbildung 3.2.1 enthält die Verteilung der Schüler/innen auf die zwei Mathematik-Spitzengruppen und die zwei Mathematik-Risikogruppen (absteigend sortiert nach den Landesmittelwerten in Mathematik).

Die MathematikSpitzengruppe

Um die zweithöchste Kompetenzstufe, Level 5, zu erreichen, müssen die Jugendlichen mindestens 607 Punkte erzielen. Schüler/innen auf diesem Level sind z. B. in der Lage, Modelle für komplexe Situationen zu bilden und geeignete Problem-lösestrategien im Umgang mit komplexen Problemen aus-zuwählen, zu vergleichen und zu evaluieren. Sie beherrschen auch die Kompetenzen aller niedrigeren Kompetenzstufen (Levels 1 bis 4).

Schüler/innen auf der höchsten Kompetenzstufe, Level 6, verfügen darüber hinaus z. B. über Fähigkeiten zum mathematischen Denken und Folgern auf einem fort-geschrittenen Niveau und beherrschen symbolische und formale Operationen. Sie können durch eigenständiges Überprüfen und Modellieren von Problemlösesituationen Informationen konzeptualisieren, generalisieren und nutzen. Für Level 6 sind mindestens 669 Punkte notwendig.

1 Anhangstabelle A6 sind die Prozentwerte für alle sieben Kompetenzstufen in Mathematik zu entnehmen.

Im OECD-Schnitt befinden sich 11 % der Schüler/innen in der Mathematik-Spitzengruppe; im OECD-/EU-Schnitt sind es ebenfalls 11 %. Das bedeutet, dass etwa jede zehnte Schülerin/jeder zehnte Schüler Kompetenzen auf mindestens Level 5 hat. Besonders große Spitzengruppen finden sich erwartungsgemäß in jenen Ländern, die auch hohe Mittel-werte erzielt haben. Die größten Spitzengruppen ergeben sich für Korea (21 %), was bedeutet, dass dort rund jede fünfte Schülerin/jeder fünfte Schüler mathematische Leistungen auf mindestens Level 5 erbringt, gefolgt von den Niederlanden sowie Japan (jeweils 18 %). Korea fällt zusätzlich durch einen hohen Anteil an Jugendlichen auf Level 6 auf (7 %). Die kleinsten Spitzengruppen zeigen sich aufgrund des niedrigen Landesmittelwerts erwartungsgemäß in Mexiko, Kolumbien und Chile (je 1 %).

Die österreichische Mathematik-Spitzengruppe macht rund 13 % aus (10,0 % auf Level 5; 2,5 % auf Level 6). Mit Blick auf die Nachbarländer Österreichs finden sich in Deutschland und der Tschechischen Republik ebenfalls rund 13 % Spitzenschüler/innen in Mathematik. Die Schweiz als weiteres Nachbarland Österreichs hat 17 % Schüler/innen auf mindestens Level 5.

Die MathematikRisikogruppe

Schüler/innen, die in Mathematik weniger als 420 Punkte erreichen und damit unter Kompetenzstufe 2 liegen, zählen zur Risikogruppe.

Schüler/innen auf Level 1 können nur die einfachsten Mathematikaufgaben des PISA-Tests lösen. Solche Aufgaben stammen aus bekannten Kontexten, alle Informationen zur Aufgabenbeantwortung sind explizit angegeben und die Jugendlichen müssen Routineprozeduren anwenden. Jugend-liche auf Level 1 müssen mind. 358 Punkte in Mathematik erzielen. Schüler/innen, die derartige Aufgaben nicht lösen können, befinden sich unter Level 1 – die Kompetenzen dieser Jugendlichen können mit dem PISA-Test nicht näher beschrieben werden.

Im OECD-Schnitt gibt es rund 24 % Risikoschüler/innen in Mathematik; im OECD-/EU-Schnitt sind es 25 %. Das bedeutet, dass etwa jede vierte/jeder vierte Jugendliche mathematische Kompetenzen auf oder unter Level 1 hat. Die kleinsten Risikogruppen gibt es in Estland (10 %), Japan (11 %) sowie Dänemark und Finnland (je 15 %). Die größten Risikogruppen finden sich in Kolumbien (65 %), Mexiko (56 %) und Chile (52 %).

In Österreich befinden sich 21 % der Jugendlichen in der Mathematik-Risikogruppe (13,8 % auf Level 1; 7,3 % unter Level 1), also rund jede fünfte Schülerin/jeder fünfte


Schüler. Von Österreichs Nachbarländern befinden sich 16 % der Jugendlichen in Slowenien in der Risikogruppe, in der Schweiz 17 %, in der Tschechischen Republik sind es 20 % und in Deutschland 21 %. 24 % der italienischen Jugend-lichen gehören der Risikogruppe an, in der Slowakei sind es 25 % und in Ungarn 26 %.

Bezieht man sich des Weiteren nur auf den Anteil der Jugend-lichen, die nicht zur Risikogruppe zählen, sondern zu einem der Levels 2 bis 6, ergibt sich für Österreich, dass vier von fünf Jugendlichen (79 %) über mathematische Kompetenzen verfügen, die mindestens auf Level 2 (oder höher) liegen. Ab Level 2 zeigen Jugendliche, dass sie Mathematik in einfachen Lebenssituationen anwenden können, z. B. die Entfernung von zwei alternativen Routen berechnen und vergleichen oder das Umrechnen von Preisen in eine andere Währung. Jugendliche, die über Kompetenzen auf mindestens Level 2 verfügen, sind in der Lage, relevante Informationen aus

einer einzigen Quelle zu entnehmen oder Situationen in Kontexten zu erkennen und zu interpretieren, die nur direkte Schlussfolgerungen erfordern. Schüler/innen auf höheren Kompetenzstufen (Levels 3 bis 6) verfügen über darüber hinausgehende Kompetenzen.


Zu den Spitzenschülerinnen und -schülern in Mathematik ge-hörten im Jahr 2015 12 % der österreichischen Jugendlichen; sie lösten die anspruchsvollsten PISA-Mathematikaufgaben. Bei der aktuellen Erhebung 2018 gelingt dies 13 %. Die Größe der Risikogruppe belief sich 2015 auf 22 %, im Jahr 2018 zeigen 21 % der österreichischen Jugendlichen grobe Mängel in ihrer Mathematikkompetenz. Für Österreich kann daher keine Veränderung für die Vergleichszeitpunkte 2015 und 2018 festgestellt werden.

0

0

70

60

50

40

30

20

10

10

20

30



OECD-S

chnitt

Level 1unter Level 1 Level 5 Level 6

ES

T

JPN

DN

K

PO

L

FIN

KO

R

IRL

NLD

CA

N

SV

N

CH

E

LVA

SW

E

NO

RG

BR

BE

L

CZE ISL

DE

U

FRA

NZL

AU

SP

RT

ITA

ES

P

SV

K

LTU

HU

NU

SA

LUX

MLT

HR

VIS

R

GR

CTU

R

BG

RC

HL

ME

XC

OL

AU

T

OE

CD

8

2

12

4

15

10

9

3

14

4

18

11

11

4

10

212

15

11

4

12

4

16

15

11

4

9

11

15

10

5

14

7

21

15

12

4

7

8

16

11

5

14

4

18

16

11

5

11

415

16

12

5

11

314

16

12

5

12

5

17

17

13

4

7

8

17

13

6

10

313

19

12

6

10

212

19

13

6

10

313

19

13

7

12

316

20

14

7

10

313

21

14

7

10

3

13

20

13

7

8

10

21

14

8

11

313

21

13

8

9

11

21

14

8

9

312

22

15

8

8

210

22

14

9

9

212

23

15

9

8

210

24

15

9

9

211

24

16

9

6

7

25

14

11

8

211

25

16

9

7

8

26

16

10

7

8

26

17

10

7

8

27

16

11

9

211

27

16

14

7

8

30

20

11

4

5

31

16

18

7

9

34

21

15

3

4

36

23

14

4

5

37

22

22

3

4

44

27

25

1

52

30

26

1

56

30

36

1

65

Anmerkungen: 40 OECD-/EU-Länder absteigend nach dem Mittelwert in Mathematik gereiht; Angaben in Prozentwerten; Werte unter 2 % in den Balken nicht eingetragen.Quelle: PISA 2018.

Abbildung 3.2.1: Anteile der Schüler/innen in den Mathematik-Spitzen- und -Risikogruppen im internationalen Vergleich


3.3 Mathematik: Unterschiede zwischen Mädchen und Burschen

Während sich im Kompetenzbereich Lesen in allen teil-nehmenden OECD-/EU-Ländern über alle Erhebungszeit-punkte hinweg konsistent zeigt, dass die Mädchen bessere Leistungen erzielen als die Burschen, lässt sich in Mathematik seit dem Beginn von PISA im Jahr 2000 kein derartig konsistenter Vorsprung der Mädchen oder Burschen über alle Länder hinweg erkennen, der beispielsweise die Vermutung nahe legen würde, dass Burschen eine höhere Begabung in Mathematik aufweisen. Ein Blick auf PISA 2015 zeigt, dass die Schülerinnen und Schüler aus 18 von 38 Ländern vergleichbare Mathematikleistungen erzielten; unter jenen 20 Ländern mit signifikanten Geschlechterdifferenzen lagen die Mädchen lediglich in Finnland (um 8 Punkte) vor ihren Alterskollegen, in den übrigen 19 Ländern zeigte sich ein signifikanter Vorsprung der Burschen. In Österreich war der Leistungsunterschied in Mathematik mit 27 Punkten unter diesen 38 Ländern am höchsten. Die Ergebnisse von 2018 zeigen ein etwas anderes Bild.


In Abbildung 3.3.1 sind die Leistungsunterschiede zwischen Mädchen und Burschen in Mathematik für alle 40 teil-nehmenden OECD- und EU-Länder bei PISA 2018 dar-gestellt. Neben den Werten zur Größe der Differenz ist in Klammer auch die jeweilige Effektstärke eingetragen. Die Länder sind absteigend nach dem Mittelwert der Mathematikkompetenz sortiert. Länder, deren Balken rechts der Null-Linie liegt, sind jene, in denen die Burschen bessere Leistungen erbringen; nach links zeigende Balken bedeuten, dass die Mädchen einen höheren Mittelwert erreicht haben. Bei statistisch signifikanten Unterschieden sind die Balken dunkel eingefärbt.

Generell fällt für den Kompetenzbereich Mathematik auf, dass sich die Leistungsunterschiede zwischen den Mädchen und Burschen auf einem deutlich niedrigeren Niveau bewegen, als dies für Lesen der Fall ist. Über alle Länder hinweg schwanken die Differenzen zwischen 0 und 20 Punkten. Im OECD-Schnitt liegen die Burschen in Mathematik vor ihren Alters-kolleginnen; ihr Leistungsvorsprung ist mit fünf Punkten zwar deutlich geringer als jener der Mädchen im Bereich Lesen (30 Punkte), aber ebenso statistisch signifikant. In 14 der 40 dargestellten Länder unterscheidet sich die durch-schnittliche Mathematikleistung der Mädchen nicht signi-fikant von jener der Burschen (helle Färbung der Balken). In 22 Ländern liegt der Mittelwert der Burschen signifikant über jenem der Mädchen und in vier Ländern übertreffen die Mädchen die Burschen statistisch bedeutsam. Mit Aus-nahme von Kolumbien, mit einer Differenz von 20 Punkten

2 Die OECD bezieht bei ihren Analysen dabei auch jene Länder mit ein, die den Test papierbasiert durchgeführt haben.

zugunsten der Burschen, sind die Geschlechterdifferenzen mit Ausnahme von Kolumbien allerdings in keinem Land von praktischer Relevanz (Cohen’s d < 0.20). Unter dem Aspekt der Größe der Unterschiede folgt nach Kolumbien Italien und an dritter Stelle Österreich mit 16 bzw. 13 Punkten Unter-schied zugunsten der Burschen. Malta verzeichnet ebenfalls 13 Differenzpunkte, hier zeigt sich allerdings ein Vorsprung der Mädchen. Weitere Länder, in denen die Mädchen ihre Alters-kollegen übertreffen, sind Island, Norwegen und Finnland.

Auch in Mathematik zeigt sich kein einheitliches Muster hinsichtlich der Größe der Geschlechterdifferenzen und der Länderreihung nach dem Mittelwert. Es gibt sowohl unter den führenden als auch unter den im mittleren und im unteren Bereich der Leistungsskala gereihten Ländern signi-fikante Geschlechterdifferenzen.

Die OECD verweist im internationalen Ergebnisbericht (OECD, 2019c, Chapter 7) auf einen interessanten Befund im Zusammenhang mit den Geschlechterunterschieden: Unter allen PISA-Teilnehmerländern2 lässt sich beobachten, dass jene Länder mit den größten Geschlechterdifferenzen in Lesen (zugunsten der Mädchen) gleichzeitig auch jene Länder sind, in denen die Mädchen bessere Mathematikleistungen erbringen. In Ländern mit sehr geringen Differenzen in Lesen zeigt sich, dass der Leistungsvorsprung der Burschen in Mathematik größer als im OECD-Schnitt ist.


Der Mittelwert der österreichischen Mädchen beträgt bei PISA 2018 in Mathematik im Schnitt 492 Punkte. Sie liegen damit um 13 Punkte hinter ihren Alterskollegen (505 Punkte). Im OECD-/EU-Vergleich ist Österreich damit nach Kolumbien und Italien das Land mit der dritt-größten Geschlechterdifferenz zugunsten der Burschen. Obwohl statistisch signifikant, ist die Effektstärke allerdings auch in Österreich unter jener Schwelle, ab der man von einer praktischen Relevanz ausgehen kann (Cohen’s d = 0.14). Unter den Nachbarländern Österreichs zeigen sich in Italien, in Ungarn, in der Schweiz sowie in Deutschland ebenfalls statistisch signifikante, aber praktisch nicht bedeut-same Geschlechterdifferenzen zugunsten der Burschen; in den restlichen Nachbarländern unterscheiden sich die Leistungen nicht signifikant voneinander.

Im Vergleich zu PISA 2015 hat sich der Mittelwert der Mädchen von 483 auf 492 Punkte erhöht; dieser Anstieg ist allerdings nicht signifikant. Bei den Burschen zeigt sich ein leichter (ebenfalls statistisch nicht bedeutsamer) Rückgang um fünf Leistungspunkte (von 510 auf 505). Zusammengefasst bedeutet dies, dass die Mathematikleistungen der Mädchen und jene der Burschen zwischen PISA 2015 und 2018 – wie


Abbildung 3.3.1: Leistungsunterschiede zwischen Mädchen und Burschen in Mathematik (Mittelwertdifferenzen und Effektstärken)

Abbildung 3.3.2: Größe der Risikogruppe in Mathematik nach Geschlecht

Anmerkung: 40 OECD-/EU-Länder absteigend nach dem Mittelwert in Mathematik gereiht.Quelle: PISA 2018.

Mädchen besser Burschen besser

JPN

KOR

EST

NLD

POL

CHE

CAN

DNK

SVN

BEL

FIN

SWE

GBR

NOR

DEU

IRL

CZE

AUT

LVA

FRA

ISL

NZL

PRT

AUS

ITA

SVK

LUX

ESP

LTU

HUN

USA

MLT

HRV

ISR

TUR

GRC

BGR

CHL

MEX

COL


JPN 11/12

KOR 14/16

EST 10/10

NLD 15/16

POL 14/15

CHE 17/16

CAN 16/16

DNK 14/15

SVN 16/17

BEL 21/18

FIN 13/17

SWE 18/19

GBR 20/18

NOR 17/21

DEU 21/21

IRL 16/16

CZE 20/21

AUT 22/21

LVA 17/17

FRA 21/21

ISL 18/23

NZL 22/21

PRT 23/23

AUS 23/22

ITA 25/23

SVK 25/25

LUX 28/26

ESP 25/25

LTU 24/27

HUN 26/25

USA 28/26

MLT 26/34

HRV 32/30

ISR 31/37

TUR 38/36

GRC 35/37

BGR 44/45

CHL 54/50

MEX 59/53

COL 70/60

100 15 20515 10 5 30 40 50200% 10 7060 M/B

10 (0.12)

4 (0.04)

8 (0.10)

1 (0.01)

1 (0.01)

1 (0.02)

7 (0.07)

5 (0.05)

4 (0.05)

12 (0.13)

6 (0.07)

1(0.01)

12 (0.13)

7 (0.08)

7 (0.07)

6 (0.08)

4 (0.04)

13 (0.14)

7 (0.08)

6 (0.07)

10 (0.11)

9 (0.10)

9 (0.09)

6 (0.07)

16 (0.17)

5 (0.05)

7 (0.08)

6 (0.07)

2 (0.03)

9 (0.10)

9 (0.09)

13 (0.13)

9 (0.10)

9 (0.08)

5 (0.06)

0 (0.00)

2 (0.02)

7 (0.09)

12 (0.15)

20 (0.24)


n. s.sign. (p < .05)

OECD-Schnitt






auch in der Domäne Lesen – jeweils für sich genommen stabil geblieben sind. Insgesamt hat sich die Geschlechter-differenz von 27 Punkten im Jahr 2015 auf 13 Punkte im Jahr 2018 reduziert, wenngleich dieser Rückgang statistisch nicht signifikant ist. Ein Vergleich der Geschlechterdifferenzen für Österreich über alle Erhebungszeitpunkte von PISA 2000 bis PISA 2018 findet sich in Kapitel 6. Die jeweiligen Mittel-werte der österreichischen Mädchen und Burschen ab PISA 2000 können Anhangstabelle A5 entnommen werden.


Abbildung 3.3.2 zeigt für die teilnehmenden 40 OECD- und EU-Länder, wie hoch jeweils der Anteil unter den Mädchen und Burschen ist, die aufgrund ihrer erbrachten Leistung bei den Mathematikaufgaben unter Kompetenzstufe 2 liegen. Wie in der Domäne Lesen werden Schüler/innen unter Kompetenzstufe 2 auch in Mathematik als „Risiko-schüler/innen“ bezeichnet. Im Vergleich zu Schülerinnen und Schülern auf Kompetenzstufe 2 bzw. darüber können Risikoschüler/innen mathematische Fragen ausschließlich in bekannten Kontexten beantworten und Routineprozeduren nur anhand direkter Instruktionen ausführen. Die Balken in Abbildung 3.3.2 stellen die Anteile der Burschen und Mädchen unter Kompetenzstufe 2 in Mathematik grafisch dar. Die Werte am rechten Rand geben die Größe der jeweiligen Risikogruppe in Prozent an und sind für all jene Länder in fetter Schrift hervorgehoben, in denen der Unter-schied zwischen dem Anteil der Mädchen und der Burschen an der Risikogruppe signifikant ist.

Erwartungsgemäß zeichnen sich jene Länder am unteren Ende der Leistungsskala durch vergleichsweise hohe Anteile an Risikoschülerinnen und -schülern aus – sowohl unter den

Mädchen als auch unter den Burschen. In Kolumbien zählen beispielsweise mehr als zwei Drittel aller Schülerinnen zu dieser leistungsschwachen Gruppe.

Auch bei dieser Art der Analyse fällt auf, dass die leistungs-bezogenen Unterschiede zwischen Mädchen und Burschen in Mathematik geringer ausfallen als in Lesen. Im OECD-Schnitt ist der Anteil der Schülerinnen und Schüler unter Kompetenzstufe 2 gleich hoch und beträgt jeweils rund 24 %. Unter allen in Abbildung 3.3.2 dargestellten Ländern ist die Differenz zwischen der Größe der Risikogruppe der Mädchen und jener der Burschen in nur rund einem Viertel der Länder statistisch bedeutsam. Davon ist in sechs Ländern der Schüleranteil an der Risikogruppe unter den Burschen höher als jener unter den Mädchen: Malta, Israel, Island, Norwegen, Finnland und Litauen. Die Unterschiede liegen zwischen acht Prozentpunkten in Malta und vier Prozent-punkten in Litauen. In Kolumbien, Mexiko und Belgien verhält es sich hingegen umgekehrt – unter den Mädchen finden sich signifikant mehr in der Risikogruppe als unter den Burschen. Die Unterschiede liegen zwischen zehn Pro-zentpunkten in Kolumbien und drei Prozentpunkten in Belgien.

In Österreich zählt etwa jede fünfte Schülerin (22 %) und etwa jeder fünfte Schüler (21 %) zu den leistungsschwachen Schülerinnen und Schülern in Mathematik. Während bei PISA 2015 noch signifikant mehr Mädchen als Burschen in Mathematik zur Risikogruppe zählten (25 % Mädchen und 19 % Burschen), haben sich die Anteile der Mädchen und Burschen drei Jahre später angenähert, wenngleich nicht zu übersehen ist, dass der Anteil an Risikoschülerinnen und -schülern insgesamt bei PISA 2018 in Mathematik mit etwa 20 % relativ hoch ausgeprägt ist.


4 Kompetenzen der Schüler/innen in Naturwissenschaft

Birgit Suchań, Juliane Schmich, Anna Glaeser, Magdalena Rölz, Lisa Wiesinger, Silvia Salchegger, Iris Höller

Naturwissenschaft ist neben Lesen und Mathematik der dritte Kompetenzbereich bei PISA, der im Abstand von drei Jahren getestet wird. In einer durch Wissenschaft und Technik im Wandel befindlichen Welt spielen naturwissen-schaftliche Kompetenzen eine zentrale Rolle. PISA untersucht, inwieweit die Schüler/innen das in der Schule er-worbene naturwissenschaftliche Wissen in alltagsbezogenen Aufgabenstellungen anwenden können und fokussiert nicht darauf, gelernte Fakten wiederzugeben. Folgende naturwissenschaftliche Fähigkeiten werden mit den PISA-Aufgaben erhoben: (1) Phänomene naturwissenschaftlich erklären, (2) naturwissenschaftliche Untersuchungen planen und evaluieren und (3) Daten und Fakten naturwissenschaftlich interpretieren.

Bei den Erhebungsdurchgängen im Jahr 2006 sowie 2015 wurde der Kompetenzbereich Naturwissenschaft als Hauptdomäne erfasst, bei PISA 2018 ist Naturwissenschaft eine der beiden Nebendomänen.

Dieses Kapitel widmet sich den naturwissenschaftlichen Kenntnissen der österreichischen Schüler/innen im inter-nationalen Vergleich. Zunächst werden die Leistungen in Naturwissenschaft insgesamt in Form von Ländermittel-werten berichtet. Im zweiten Abschnitt folgt die Darstellung eines Kompetenzprofils, in dem die Leistungen der Schüler/innen in den obersten („Spitzenschüler/innen“) und untersten Kompetenzstufen („Risikoschüler/innen“) beschrieben und die Anteile der Schüler/innen auf den jeweiligen Kompetenzstufen gezeigt werden. Den Abschluss bildet die Analyse der Leistungsunterschiede zwischen Mädchen und Burschen. Die Ergebnisse von Österreich werden – wie auch in den vorangegangenen Kapiteln – in Relation zu den Ergebnissen der OECD-/EU-Länder gesetzt sowie zur PISA-Erhebung im Jahr 2015.

4.1 Leistungen der österreichischen Schüler/innen in Naturwissenschaft im Länder- und Zeitvergleich

In diesem Abschnitt werden die internationalen Länder-mittelwerte für Naturwissenschaft dargestellt sowie die Naturwissenschaftskompetenz in Österreich mit PISA 2015 verglichen. Abbildung 4.1.1 zeigt die Mittelwerte in Naturwissenschaft (dunkelrote Linien) und die Konfidenz-intervalle (rote Balken) der 40 OECD-/EU-Länder in ab-steigender Reihenfolge. OECD-Partnerländer aus der EU sind in hellem Rot dargestellt. Der Naturwissenschafts-mittelwert der OECD-Länder beträgt bei PISA 2018 489 Punkte und ist als blaue Linie abgebildet. In Tabelle 4.1.1 sind ergänzend die Mittelwerte und Standard abweichungen jener 69 Teilnehmerländer, in denen die Testung computer-basiert durchgeführt wurde, in absteigender Reihenfolge auf-gelistet.

Naturwissenschaftsmittelwerte im internationalen Vergleich

Österreichs Schüler/innen erreichen bei PISA 2018 in Natur-wissenschaft einen Mittelwert von 490 Punkten und unter-scheiden sich damit nicht signifikant vom OECD-Schnitt.

Damit liegt Österreich unter den 40 OECD-/EU-Ländern auf Platz 23, was unter Berücksichtigung des Konfidenzintervalls einem geteilten Rangplatz zwischen 19 und 24 entspricht.

Die besten Naturwissenschaftsleistungen innerhalb der OECD erbringen die 15-/16-Jährigen aus Estland mit durch-schnittlich 530 Punkten, gefolgt von Japan (529 Punkte) und Finnland (522 Punkte). Ebenfalls hohe Kompetenzen in Naturwissenschaft weisen Schüler/innen aus Korea und Kanada (519 bzw. 518 Punkte) auf. Alle Länder von Estland bis einschließlich der Schweiz sowie Dänemark liegen signi-fikant über dem OCED-Schnitt von 489 Punkten. Ebenso wie Österreich erbringen auch Frankreich, Portugal, Norwegen und Lettland mittlere Leistungen und unterscheiden sich nicht vom OECD-Schnitt. Alle Länder ab einschließ-lich Spanien erzielen Ergebnisse, die signifikant unter dem OECD-Schnitt liegen. Der Leistungsabstand zwischen dem besten und schlechtesten OECD-Land beträgt 117 Punkte.

Schüler/innen in acht Ländern, darunter die Nachbarländer Tschechische Republik und die Schweiz, erbringen ähnliche Leistungen wie Österreich mit Mittelwerten von 487 bis 497 Punkten (siehe hellgraue Schattierung in Abbildung 4.1.1). Signifikant besser schneiden die Jugendlichen der beiden Nachbarländer Slowenien (507 Punkte) und Deutschland

58 4 – Kompetenzen der Schüler/innen in Naturwissenschaft

350

400

450

500

550

600

signifikant besser als AUT kein signifikanter Unterschied zu AUT signifikant schlechter als AUT

Nat

urw

isse

nsch

afts

kom

pete

nz

hoch

nied

rig

OECD-Schnitt (489)

ES

TJP

NFI

NK

OR

CA

NP

OL

NZL

SV

NG

BR

NLD

DE

UA

US

US

AS

WE

BE

LC

ZE IRL

CH

EFR

AD

NK

PR

TN

OR

LVA

ES

PLT

UH

UN

LUX

ISL

HR

VTU

RIT

AS

VK

ISR

MLT

GR

CC

HL

BG

RM

EX

CO

L

AU

T


EU-Länder

OECD-Länder

Anmerkung: 40 OECD-/EU-Länder absteigend nach dem Mittelwert in Naturwissenschaft gereiht.Quelle: PISA 2018.

Anmerkung: 69 Teilnehmerländer, die den Test computerbasiert administriert haben, absteigend nach dem Mittelwert in Naturwissenschaft gereiht. Grau hinterlegt sind Länder, deren Mittelwert sich nicht signifikant von Österreich unterscheidet.Quelle: PISA 2018.

Tabelle 4.1.1: Naturwissenschaft: Mittelwerte und Standardabweichungen

Abbildung 4.1.1: Naturwissenschaft: Mittelwerte und Konfidenzintervalle

Naturwissenschaft: Mittelwerte und Standardabweichungen aller Teilnehmerländer

BSJZ 590 (83) POL 511 (92) CZE 497 (94) LTU 482 (90) ISR 462 (111) BGR 424 (95) AZE 398 (74)

SGP 551 (97) NZL 508 (102) IRL 496 (88) HUN 481 (94) MLT 457 (107) MEX 419 (74) KAZ 397 (76)

MAC 544 (83) SVN 507 (88) CHE 495 (97) RUS 478 (84) GRC 452 (86) QAT 419 (103) IDN 396 (69)

EST 530 (88) GBR 505 (99) FRA 493 (96) LUX 477 (98) CHL 444 (83) ALB 417 (74) GEO 383 (81)

JPN 529 (92) NLD 503 (104) DNK 493 (91) ISL 475 (91) SRB 440 (92) CRI 416 (73) MAR 377 (67)

FIN 522 (96) DEU 503 (103) PRT 492 (92) HRV 472 (90) MYS 438 (77) MNE 415 (81) XKX 365 (65)

KOR 519 (98) AUS 503 (101) NOR 490 (98) BLR 471 (85) ARE 434 (103) COL 413 (82) PAN 365 (85)

CAN 518 (96) USA 502 (99) AUT 490 (96) TUR 468 (84) BRN 431 (96) PER 404 (80) PHL 357 (75)

HKG 517 (86) SWE 499 (98) LVA 487 (84) ITA 468 (90) THA 426 (82) BRA 404 (90) DOM 336 (71)

TWN 516 (99) BEL 499 (99) ESP 483 (89) SVK 464 (96) URY 426 (87) BIH 398 (77)


(503 Punkte) ab; die Schüler/innen der anderen Nach-barländer Ungarn (481 Punkte), Italien (468 Punkte) und Slowakei (464 Punkte) zeigen signifikant schlechtere Leistungen als in Österreich.

Die Spitzenpositionen unter allen 69 Teilnehmerländern, die den Test computerbasiert durchgeführt haben (siehe Tabelle 4.1.1), nehmen wie auch in Lesen und Mathematik die chinesischen Provinzen Peking, Schanghai, Jiangsu und Zhejiang (590 Punkte), Singapur (551 Punkte) und Macau (544 Punkte) ein. Dahinter folgen der europäische Spitzen-reiter Estland, Japan und Finnland.

Die Streuung der Naturwissenschaftsleistungen

Die Standardabweichung (siehe Tabelle 4.1.1; Werte in Klammern) liefert Informationen über die Streuung der Leistungen innerhalb der einzelnen Länder. Niedrige Standard-abweichungen bedeuten homogene Schülerleistungen inner-halb eines Landes und hohe Standardabweichungen weisen auf eine heterogene Leistungsverteilung hin. Das Ziel eines Landes sollte ein möglichst hohes Leistungsniveau (hoher Mittelwert) bei gleichzeitig geringer Standardabweichung sein. Die chinesischen Provinzen (590/83), Macau (544/83) und Hongkong (517/86) kommen im Vergleich zu den anderen Ländern diesem Ziel am nächsten. Innerhalb der OECD-Länder gelingt dies Estland (530/88) und Slowenien (507/88) am besten. International beträgt die durchschnitt-liche Standardabweichung in Naturwissenschaft 89 Punkte. Die heterogensten Leistungen gibt es in Israel (111), Malta (107), in den Niederlanden (104) sowie in Deutschland, in den Vereinigten Arabischen Emiraten und Katar mit einer Streuung von je 103 Punkten. Die niedrigsten Streuungsmaße zeigen sich im Kosovo, in Marokko und in Indonesien, allerdings liegen die Mittelwerte dieser Länder zwischen 396 und 365 Punkten und somit deutlich unter dem OECD-Schnitt.

In Österreich beträgt die Streuung bei den Naturwissen-schaftsleistungen 96 Punkte bei einem Mittelwert von 490 Punkten. Das heißt, dass zwei Drittel der österreichischen Schüler/innen Leistungen zwischen 394 und 585 Punkten erbringen. Eine ähnlich hohe Streuung weisen die Nachbar-länder Schweiz (97), Slowakei (96), Tschechische Republik und Ungarn (je 94) auf.

Naturwissenschaftskompetenz bei PISA 2015 und PISA 2018 in Österreich im Vergleich

Abbildung 4.1.2 zeigt, wie sich die Leistungen der öster-reichischen Jugendlichen im Vergleich zwischen PISA 2015 und PISA 2018 entwickelt haben. Dazu sind die Mittelwerte sowie die Streuung der Kompetenzen in Form des Perzentil-abstands dargestellt. Jeder Balken bildet den Leistungsbereich ab, in dem sich die mittleren 90 % der Schüler/innen be-finden, also das 5. bis 95. Perzentil. Der Wertebereich, in dem sich die mittleren 50 % befinden, ist hellgrau dargestellt.

Die Leistungen in Naturwissenschaften haben sich zwischen PISA 2015 und PISA 2018 um 5 Punkte verringert, wobei diese Differenz statistisch nicht signifikant ist. Österreich liegt damit – wie auch schon im Jahr 2015 – im OECD-Schnitt. Der Wertebereich der mittleren 90 % hat sich im selben Zeit-raum von 317 auf 310 Punkte verringert. Dabei hat sich die Grenze des 95. Perzentils ebenfalls, wenngleich statistisch nicht signifikant, verringert (2015 652 Punkte und 2018 642 Punkte), während die Grenze des 5. Perzentils mit 332 bzw. 335 Punkten relativ konstant geblieben ist. Insgesamt ist die Naturwissenschaftsleistung im oberen Leistungsbereich damit im Jahr 2018 tendenziell etwas homogener als 2015. Ein Vergleich der Naturwissenschaftskompetenz von PISA 2006 bis PISA 2018 findet sich in Kapitel 6. Die Ergebnisse für alle Perzentile ab PISA 2006 können Anhangstabelle A4 entnommen werden.

4.2 Naturwissenschaft: Verteilung der Schüler/innen auf die Kompetenz stufen

Seit PISA 2015 werden die Naturwissenschaftsleistungen der Schüler/innen durch acht Kompetenzstufen charakterisiert (unter 1b, 1b, 1a, 2, 3, 4, 5, 6). Die bei PISA 2015 ein-geführte weitere Differenzierung von Kompetenzstufe 1 sollte vor allem leistungsschwachen Ländern profundere

Abbildung 4.1.2: Vergleich der Naturwissenschafts-kompetenz in Österreich


350

300

400

450

500

550

600

650

700

5. 50. 75. 95.25.

Perzentile (%)

Nat

urw

isse

nsch

afts

kom

pete

nzho

chni

edrig

Mittelwert

2502015 2018


Informationen über die Leistungen ihrer Schüler/innen zur Verfügung stellen. Wie schon in vorhergehenden PISA-Er-hebungen werden Schüler/innen unter Stufe 2 zur Risiko-gruppe gezählt, jene über Stufe 4 zur Spitzengruppe. Ab-bildung 4.2.1 zeigt die Größe der Risiko- und Spitzengruppen im internationalen Vergleich (absteigend sortiert nach den Landesmittelwerten in Naturwissenschaft). Anhangstabelle A7 zeigt detailliert, wie viele Schüler/innen sich auf jeder einzelnen der acht Kompetenzstufen befinden.

Die NaturwissenschaftsSpitzengruppe

Spitzenschüler/innen im Bereich Naturwissenschaft erreichen mindestens 633 Punkte auf der PISA-Leistungsskala und sind in der Lage, Aufgaben mit sehr hohen Anforderungen zu lösen. Schüler/innen auf Kompetenzstufe 5 erkennen beispielsweise naturwissenschaftliche Fragestellungen in komplexen Situationen und wissen, wie sie diese mithilfe ihrer naturwissenschaftlichen Kenntnisse lösen können (Hypothesen bilden, Experimente durchführen, Ergebnisse

auswerten). Jugendliche, die Kompetenzstufe 6 erreichen, können zudem naturwissenschaftliche Problemstellungen lösen, die in ungewohnte Situationen eingebettet sind und sind fähig, kritische Analysen sowie beweisgestützte Argu-mente und Entscheidungen zu erbringen. Natürlich ver-fügen die Spitzenschüler/innen auch über die Fähigkeiten aller niedrigeren Kompetenzstufen.

Im OECD-Schnitt befinden sich 7 % der Schüler/innen in der Naturwissenschafts-Spitzengruppe. Besonders große Spitzengruppen finden sich erwartungsgemäß in jenen Ländern, die auch hohe Mittelwerte erzielt haben. Die größten Spitzengruppen ergeben sich für Japan, Finnland, Estland und Korea mit 12 bis 13 %. Auch Kanada, Neu-seeland und die Niederlande erreichen Spitzenschüleranteile von über 10 %. Doch selbst in diesen besten Ländern er-reichen nicht mehr als 2 % der 15-/16-Jährigen die höchste Natur wissen schafts-Kompetenzstufe 6. Die kleinsten Spitzen gruppen – aufgrund des niedrigen Landesmittelwerts erwartungsgemäß – zeigen sich für Mexiko und Kolumbien

Abbildung 4.2.1: Anteile der Schüler/innen in den Naturwissenschafts-Spitzen- und -Risikogruppen im internationalen Vergleich

Anmerkungen: 40 OECD-/EU-Länder absteigend nach dem Mittelwert in Naturwissenschaft gereiht; Angaben in Prozentwerten; Werte unter 2 % in den Balken nicht eingetragen.Quelle: PISA 2018.

60

50

40

30

20

10

0

0

10

20

ES

TJP

NFI

NK

OR

CA

NP

OL

NZL

SV

NG

BR

NLD

DE

UA

US

US

AS

WE

BE

LC

ZE IRL

CH

EFR

AD

NK

PR

TN

OR

LVA

ES

PLT

UH

UN

LUX

ISL

HR

VTU

RIT

AS

VK

ISR

MLT

GR

CC

HL

BG

RM

EX

CO

L

AU

TO

EC

D



OECD-S

chnitt

Level 1aLevel 1bunter Level 1b Level 5 Level 6

22

8

26

9

34

12

28

15

3

33

15

2

11

3

8

12

2

7

13

4

8

14

5

9

14

4

8

14

5

7

14

5

7

14

4

7

13

3

5

15

5

7

15

5

6

14

4

5

15

4

5

14

6

6

16

5

6

16

5

6

15

3

3

16

5

4

17

5

4

18

6

4

19

7

5

19

6

4

19

6

3

20

5

2

18

7

3

20

8

3

19

11

3

5

19

11

3

4

8

10

9

11

10

3

10

11

3

10

10

3

10

13

4

10

14

5

9

14

4

8

911

1314 13 14

18

1517

20 20 19 19 19 20 1917

20 2019

20 21 22 22

1821 22

2427

25 25 25 26

2933 34

32

35

47 47

50

12 13 12 12 119

11

710 11 10 9 9 8 8 8

68 7 6 6

7 6 74 4 4 5 5 4 4 2 3 4

64

1 1 20 0


(jeweils unter 0,5 %). Das EU-Land mit der kleinsten Natur-wissenschafts-Spitzengruppe ist Griechenland (1 %), gefolgt von Bulgarien (2 %).

Der Anteil der Naturwissenschafts-Spitzengruppe in Öster-reich beläuft sich auf rund 6 % (5,8 % auf Stufe 5; 0,5 % auf Stufe 6) und ist damit fast gleich groß wie im OECD-Schnitt. Ähnlich viele Spitzenschüler/innen in Naturwissen-schaft finden sich in Irland, Frankreich, Dänemark, Portugal, Norwegen, Luxemburg und Israel. Von Österreichs Nach-barländern verfügt Deutschland mit 10 % über die größte Spitzengruppe. Etwas größere Spitzengruppen als in Öster-reich ergeben sich zudem für die Schweiz, die Tschechische Republik und Slowenien (7–8 %). Etwas kleinere Spitzen-gruppen als Österreich haben die Nachbarländer Italien, die Slowakei sowie Ungarn (3–5 %).

Die NaturwissenschaftsRisikogruppe

Schüler/innen, die in Naturwissenschaft weniger als 410 Punkte erreichen und damit unter Kompetenzstufe 2 liegen, zählen zur Risikogruppe. Schüler/innen auf Kompetenz-stufe 1a erreichen zwischen 335 und 410 Punkten und können beispielsweise mit Unterstützung vorstrukturierte naturwissenschaftliche Untersuchungen mit maximal zwei Variablen durchführen. Schüler/innen auf Kompetenzstufe 1b (zwischen 335 und 261 Punkten) können ein naturwissen-schaftliches Verfahren nur auf Basis expliziter Anleitungen durchführen. Sind die Jugendlichen nicht in der Lage, auch diese einfachsten Aufgaben mit ausreichender Sicherheit zu beantworten, so liegen sie mit ihren Leistungen unter Kompetenzstufe 1b (unter 261 Punkten).

Im OECD-Schnitt gibt es rund 22 % Risikoschüler/innen in Naturwissenschaft. Die kleinsten Risikogruppen gibt es in den Spitzenländern Estland (9 %) und Japan (11 %). Die größten Risikogruppen finden sich in Kolumbien (50 %), Mexiko und Bulgarien (jeweils 47 %).

Der Anteil der Naturwissenschafts-Risikogruppe in Öster-reich ist gleich groß wie im OECD-Schnitt und macht 22 % aus (16,5 % auf Level 1a, 4,8 % auf Level 1b; 0,6 % unter Level 1b). Im Vergleich zu den Nachbarländern sind die Risikoschüleranteile in Slowenien (15 %), der Tschechischen Republik (19 %), Deutschland (20 %) und der Schweiz (20 %) um zwei bis sieben Prozentpunkte kleiner als in Öster-reich. In Ungarn (24 %), Italien (26 %) und der Slowakei (29 %) sind die Risikoschüleranteile dagegen um zwei bis sieben Prozentpunkte größer als in Österreich.


Im Jahr 2015 zählten 8 % der österreichischen Schüler/innen zur Spitzengruppe und 21 % zur Risikogruppe in Natur-wissenschaft, 2018 zählten 6 % zur Spitzengruppe und 22 %

zur Risikogruppe. Insbesondere bei der Spitzengruppe lässt sich damit ein nicht signifikanter Rückgang um zwei Prozent-punkte feststellen.

4.3 Naturwissenschaft: Unterschiede zwischen Mädchen und Burschen

Analog zu Mathematik waren die Geschlechterdifferenzen im Bereich Naturwissenschaft bei bisherigen PISA-Erhebungen weder konsistent zugunsten von Mädchen oder Burschen noch waren die Unterschiede so groß, wie das in Lesen der Fall ist. So zeigten sich beispielsweise bei PISA 2015 in 21 der insgesamt 38 teilnehmenden OECD-/EU-Länder signi-fikante Geschlechterdifferenzen – in sechs Ländern zugunsten der Mädchen und in 15 Ländern zugunsten der Burschen. Österreich war im Jahr 2015 jenes OECD-/EU-Land mit dem am stärksten ausgeprägten Unterschied zugunsten der Burschen (19 Punkte Differenz). Auch 2018 zeigt sich kein einheitliches Bild über die Länder hinweg.


Abbildung 4.3.1 zeigt die Mittelwertdifferenzen der Natur-wissenschaftsleistung zwischen Mädchen und Burschen in allen 40 teilnehmenden OECD- und EU-Ländern bei PISA 2018. Neben den Werten zur Größe des Unterschieds ist in Klammer auch die jeweilige Effektstärke eingetragen. Die Länder sind absteigend nach dem Mittelwert der Natur-wissenschaftskompetenz gereiht. Rechts der Null-Linie liegen die Balken jener Länder, in denen die Burschen bessere Leistungen erbringen; nach links zeigende Balken bedeuten, dass die Mädchen einen höheren Mittelwert erreicht haben. Bei statistisch signifikanten Unterschieden sind die Balken dunkel eingefärbt.

Im OECD-Schnitt liegen die Naturwissenschaftsleistungen der Mädchen um zwei Punkte über jenen der Burschen (aufgrund der großen Stichprobe ist dieser geringe Unter-schied bereits statistisch signifikant). In insgesamt 23 der 40 dargestellten Länder lassen sich keine Unterschiede im Mittelwert in der Naturwissenschaftsleistung von Mädchen und Burschen feststellen; in zwei Ländern besteht ein signi-fikanter Vorteil zugunsten der Burschen und in 15 Ländern zugunsten der Mädchen. Ein Blick auf die Effektstärken und damit auf die praktische Relevanz der Unterschiede zeigt allerdings, dass lediglich in Finnland – mit einer um 24 Punkte höheren Naturwissenschaftskompetenz der Mädchen – von einer kleinen praktischen Relevanz ausgegangen werden kann (Cohen’s d = 0.25). Unter jenen Ländern, in denen die Mädchen vor den Burschen liegen, folgen nach Finnland Malta (21 Punkte Differenz) und Israel (19 Punkte Differenz). Jene zwei Länder, in denen die Burschen signifikant höhere Naturwissenschaftsleistungen erbringen sind Kolumbien (12 Punkte) und Mexiko (9 Punkte). In keinem der Nachbar-


Abbildung 4.3.1: Leistungsunterschiede zwischen Mädchen und Burschen in Naturwissenschaft (Mittelwertdifferenzen und Effektstärken)

Abbildung 4.3.2: Größe der Risikogruppe in Naturwissenschaft nach Geschlecht

Anmerkung: 40 OECD-/EU-Länder absteigend nach dem Mittelwert in Naturwissenschaft gereiht.Quelle: PISA 2018.

Mädchen besser Burschen besser

EST

JPN

FIN

KOR

CAN

POL

NZL

SVN

GBR

NLD

DEU

AUS

USA

SWE

BEL

CZE

IRL

CHE

FRA

DNK

PRT

NOR

AUT

LVA

ESP

LTU

HUN

LUX

ISL

HRV

TUR

ITA

SVK

ISR

MLT

GRC

CHL

BGR

MEX

COL


EST 8/10

JPN 10/12

FIN 9/17

KOR 14/15

CAN 12/15

POL 13/15

NZL 17/19

SVN 12/17

GBR 17/17

NLD 18/22

DEU 18/21

AUS 18/20

USA 18/19

SWE 17/21

BEL 20/20

CZE 18/19

IRL 16/18

CHE 19/21

FRA 19/22

DNK 17/20

PRT 19/20

NOR 18/24

AUT 21/23

LVA 16/21

ESP 21/22

LTU 20/25

HUN 25/24

LUX 26/28

ISL 22/28

HRV 24/27

TUR 23/27

ITA 26/26

SVK 28/31

ISR 28/39

MLT 28/38

GRC 29/35

CHL 35/35

BGR 42/50

MEX 49/45

COL 53/47

55 10 151025 15 020 30 40 50200% 10 7060 M/B

5 (0.06)

3 (0.03)

24 (0.25)

4 (0.04)

3 (0.03)

0 (0.00)

2 (0.02)

10 (0.11)

2 (0.02)

8 (0.08)

1 (0.01)

2 (0.02)

1 (0.01)

8 (0.08)

5 (0.05)

2 (0.02)

1 (0.02)

0 (0.00)

1 (0.01)

2 (0.02)

5 (0.06)

11 (0.11)

2 (0.02)

8 (0.10)

2 (0.03)

6 (0.07)

6 (0.07)

5 (0.05)

8 (0.09)

4 (0.04)

7 (0.09)

3 (0.04)

6 (0.06)

19 (0.17)

21 (0.20)

11 (0.13)

3 (0.04)

15 (0.16)

9 (0.13)

12 (0.15)


n. s.sign. (p < .05)

OECD-Schnitt






länder Österreichs zeigen sich statistisch signifikante Unter-schiede in den Mittelwerten der beiden Geschlechter.


Während Österreich 2015 noch den am stärksten aus-geprägten Mittelwertunterschied (zugunsten der Burschen) in Naturwissenschaft zu verzeichnen hatte, haben sich die Leistungen der Mädchen und Burschen bei PISA 2018 an-genähert, sodass aktuell kein signifikanter Geschlechterunter-schied besteht: Der Mittelwert der Mädchen liegt bei 489 und jener der Burschen bei 491 Punkten. Der Rückgang in den Leistungsunterschieden zwischen Mädchen und Burschen von 19 Punkten Differenz im Jahr 2015 auf zwei Punkte im Jahr 2018 ist statistisch bedeutsam.

Die Annäherung der Naturwissenschaftsleistung der Mädchen und Burschen bei PISA 2018 im Vergleich zu 2015 lässt sich auf den signifikanten Leistungsrückgang unter den öster-reichischen Burschen zurückführen. Lag der Mittelwert der Burschen in Naturwissenschaft bei PISA 2015 noch bei 504 Punkten, so liegt er aktuell im Jahr 2018 13 Punkte darunter (491 Punkte). Die Leistungen der Mädchen sind in diesem Zeitraum stabil geblieben (486 Punkte im Jahr 2015 vs. 489 Punkte im Jahr 2018). Ein Vergleich der Geschlechter-differenzen für Österreich über alle Erhebungszeitpunkte von PISA 2000 bis PISA 2018 findet sich in Kapitel 6. Die jeweiligen Mittelwerte der österreichischen Mädchen und Burschen ab PISA 2000 können Anhangstabelle A5 ent-nommen werden.


Abbildung 4.3.2 zeigt, wie viel Prozent der Schülerinnen und Schüler aufgrund ihres Abschneidens bei den Naturwissen-schaftsaufgaben unter Kompetenzstufe 2 liegen. Diese Stufe repräsentiert jene Grenze, an der die Schüler/innen beginnen, naturwissenschaftliche Kompetenzen zu zeigen, die es ihnen ermöglichen, bei Diskussionen über Naturwissenschaft und

Technik begründete und überlegte Beiträge zu leisten (OECD 2018, S. 72). Schüler/innen auf Stufe 2 weisen ein grund-legendes alltägliches naturwissenschaftliches Wissen und Verständnis hinsichtlich wissenschaftlicher Untersuchungen auf, das sie hauptsächlich in bekannten Kontexten anwenden können. Wie auch in den anderen Kompetenzbereichen werden Schüler/innen unter Kompetenzstufe 2 in weiterer Folge als „Risikoschüler/innen“ bezeichnet.

Die Balken in Abbildung 4.3.2 repräsentieren die Anteile der Schülerinnen und Schüler unter Kompetenzstufe 2. Die Werte am rechten Rand geben die Größe der jeweiligen Risikogruppe in Prozent an und sind für all jene Länder in fetter Schrift hervorgehoben, in denen der Unterschied zwischen dem Anteil der Mädchen und jenem der Burschen an der Risikogruppe signifikant ist.

Zunächst zeigt sich auch in Naturwissenschaft, dass die Länder am unteren Ende der Leistungsskala erwartungsgemäß einen höheren Anteil an Risikoschülerinnen und -schülern zu ver-zeichnen haben. Diese liegen in Mexiko und Kolumbien für die beiden Geschlechter zwischen 45 und 53 %.

Wie auch in Mathematik sind die Unterschiede hinsicht-lich der geschlechtsspezifischen Anteile in der Risikogruppe geringer ausgeprägt, als dies in Lesen der Fall ist, und diese sind nur in etwa der Hälfte der dargestellten Länder (21 von 40) statistisch signifikant. Darunter überwiegt ledig-lich in Kolumbien und Mexiko der Mädchenanteil; in allen anderen Ländern gibt es deutlich mehr Risikoschüler als -schülerinnen. Die höchsten Differenzen zeigen sich mit jeweils zehn Prozentpunkten in Israel und Malta. Am geringsten, aber dennoch signifikant ist der Unterschied in Polen mit zwei Prozentpunkten.

In Österreich zählen 21 % der Mädchen und 23 % der Burschen zur Risikogruppe in Naturwissenschaft. Dieser Unterschied ist – wie auch bei PISA 2015 (damals drei Prozent punkte) – nicht signifikant.


5 Kompetenzentwicklung im Kontext individueller und familiärer Faktoren

Iris Höller, Romana Lindemann, Christina Wallner-Paschon, Victoria Schaubmair

Ziel von PISA ist es nicht nur, die Kompetenzen der Schüler/innen zu erheben, sondern auch jene individuellen, familiären und schulischen Faktoren zu betrachten, die mit den Kompetenzen in Zusammenhang stehen und diese beeinflussen. Daher erhebt PISA neben den Schülerleistungen in Lesen, Mathematik und Naturwissenschaft anhand mehrerer Fragebögen auch zahlreiche Kontextindikatoren. Einige dieser Faktoren werden in diesem Kapitel näher behandelt.

Abschnitt 5.1 befasst sich mit der Lesefreude und dem Leseselbstkonzept. Diese beiden motivationalen Merkmale stehen sowohl untereinander im Zusammenhang, beeinflussen in weiterer Folge aber auch die Lesekompetenz. Die Abschnitte 5.2 und 5.3 behandeln Aspekte zum Thema Chancengerechtigkeit, nämlich den familiären Hintergrund (sozioökonomischer Status und Bildung der Eltern) sowie Migrationshintergrund und die zu Hause gesprochene Sprache. Auch diese Aspekte stehen in Zusammenhang mit den Kompetenzen der Schüler/innen und sind damit von zen tralem Interesse bei PISA.

1 Die Vergleichsländer bestehen aus den 10 EU-Ländern mit dem höchsten BIP pro Kopf, ergänzt durch die restlichen an PISA teilnehmenden Nachbar-länder (siehe Abschnitt 1.7).

2 Die Lesefreude wurde bereits bei PISA 2000 und 2009 erfasst (zu diesen Zeitpunkten war Lesen die Hauptdomäne). Die bei PISA 2018 eingesetzten fünf Items (Aussagen) zur Messung der Lesefreude waren bereits in diesen beiden früheren PISA-Erhebungen, gemeinsam mit weiteren Items, ein Bestandteil der Skala „Lesefreude“. Dadurch ist es möglich, Ergebnisse zu diesen Einzelaussagen im Trend für PISA 2000, 2009 und 2018 zu berichten.

3 Die prozentuelle Zustimmung für alle 16 Vergleichsländer (inkl. der zugehörigen Standardfehler) können der Anhangstabelle A8 entnommen werden.

5.1 Die Lesefreude und das Leseselbst-konzept

Neben dem Erwerb von Kompetenzen gilt es auch motiva-tionale Merkmale wie beispielsweise die Freude am Lesen oder die Wahrnehmung der eigenen Lesekompetenz (kurz: Lese-selbstkonzept) zu fördern. Diese Merkmale stehen sowohl im Zusammenhang miteinander und der Leistung, sind aber auch als eigenständige Zielkriterien schulischer Bildung zu betrachten (Hascher & Hagenauer, 2018). Die Zusammen-hänge zwischen Leistung und motivationalen Merkmalen sind reziprok (Helmke, 2015), was bedeutet, dass motivierte Schüler/innen bessere Leistungen zeigen und bessere Leistungen wiederum zu höherer Motivation führen. Ziel der PISA-Studie ist es deshalb, nicht nur Leistungsdaten zu erheben, sondern diese auch mit Merkmalen zu verknüpfen, die sich direkt und indirekt in der Lesekompetenz nieder-schlagen. In diesem Abschnitt werden (1) die Lesefreude sowie (2) das Leseselbstkonzept (Wahrnehmung der eigenen Lesekompetenz und die Wahrnehmung von Problemen beim Lesen) betrachtet.

Lesefreude

Die Lesefreude der 15-/16-Jährigen wird bei PISA durch Aussagen über das Lesen wie beispielsweise „Lesen ist eines

meiner liebsten Hobbys.“ oder „Ich lese nur, wenn ich muss.“ erhoben. Die Antwortmöglichkeiten reichen auf einer 4-stufigen Skala von „stimme gar nicht zu“, „stimme eher nicht zu“, „stimme eher zu“ bis hin zu „stimme ganz zu“. Abbildung 5.1.1 zeigt die prozentuelle Zustimmung (stimme eher zu/stimme ganz zu) zu den einzelnen Aussagen für Österreich und den Durchschnittswert der 16 Vergleichs-länder (VL-16)1 bei PISA 2018 (Balken). Die Zustimmungen im Trend (PISA 2000 und 2009)2 sind für Österreich jeweils durch ein Symbol (Raute für PISA 2009, Viereck für PISA 2000) dargestellt und die Werte dazu befinden sich auf der rechten Seite der Abbildung.3

In Österreich gibt etwa jede zweite/jeder zweite Jugendliche an, nur zu lesen, wenn es sein muss oder um Informationen zu bekommen. Jede/jeder Dritte unter den 15-/16-Jährigen empfindet Lesen als Zeitverschwendung. Etwa ein Viertel der 15-/16-Jährigen in Österreich stimmt zu, dass das Lesen zu den liebsten Hobbys zählt und dass gerne mit anderen Personen über Bücher geredet wird. Stellt man die österreichischen Ergebnisse dem Durchschnittswert der 16 Vergleichsländer gegenüber, zeigen sich mit Ausnahme der Aussage „Ich rede gern mit anderen Leuten über Bücher“ keine signifikanten Unterschiede zum VL-16-Schnitt. In den Vergleichsländern sind es um durchschnittlich 4,5 Prozentpunkte mehr Jugend-liche, die gerne mit anderen Leuten über Bücher reden.

66 5 – Kompetenzentwicklung im Kontext individueller und familiärer Faktoren

Die Fragen zur Lesefreude sind in Österreich über die drei Erhebungszeitpunkte hinweg relativ stabil. Bei zwei Aus-sagen hat die Zustimmung der 15-/16-Jährigen jedoch signi-fikant zugenommen. Während im Jahr 2000 etwa jede/jeder vierte Jugendliche Lesen für Zeitverschwendung hielt (28 %), war es 2009 und 2018 bereits jede/jeder Dritte (35 %). Ein kontinuierlicher Negativtrend zeigt sich bei der Aussage „Ich lese nur, wenn ich muss.“. Während im Jahr 2000 41 % der österreichischen Jugendlichen dieser Aussage zugestimmt haben, waren es 2018 bereits über 50 %.

Die in Abbildung 5.1.1 dargestellten fünf Aussagen zum Lesen stellen die Basis für die internationale Skala zur Lesefreude dar. Dafür wurden die Schülerantworten zu den einzelnen Aussagen so codiert und summiert, dass

4 Dabei wurde das Generalised-Partial-Credit-Modell (GPCM) eingesetzt. Details zur Skalierung der Merkmale bei PISA sind im internationalen technischen Bericht (OECD, 2017, S. 290–291) dokumentiert.

eine höhere Merkmalsausprägung einem höheren Punkt-wert entspricht (inkl. der Berücksichtigung von positiv und negativ formulierten Items). Die Skala wurde nach der Item-Response-Theorie (IRT) konstruiert4 und die Werte auf Basis aller OECD-Teilnehmerländer z-standardisiert, d. h., der OECD-Mittelwert ist 0 und die Standardabweichung 1. Werte im positiven Bereich liegen über dem OECD-Schnitt und zeigen eine höhere Ausprägung des Merkmals an. Negative Werte (unter dem OECD-Schnitt) kennzeichnen eine geringere Ausprägung. Die Skala Lesefreude wurde bereits in PISA 2009 eingesetzt und aktuell so skaliert, dass Trendvergleiche möglich sind. Dabei wurden die Skalenwerte bei der Berechnung auf der PISA-Skala 2009 verankert. Das bedeutet, dass der Wert 0 dem OECD-Skalenmittelwert bei PISA 2009 entspricht.

AUT 2000

AUT 2009

AUT 2018

Lesen ist eines meiner liebsten Hobbys.

30 27 28

Ich rede gern mit anderen Leuten über Bücher.a 26 27 26

Ich lese nur, wenn ich muss.

41b 49b 53

Für mich ist Lesen Zeitverschwendung.

28b 35 35

Ich lese nur, um Infor-mationen zu bekommen,

die ich brauche.52 53 53

28

26

53

35

53

28

31

52

34

52

0 10 20 30

Zustimmung (stimme eher zu/stimme ganz zu) in %

40 50 60% %

AUT 2000

AUT 2009signifikante

DifferenzVL-16-Schnitt 2018AUT 2018

Abbildung 5.1.1: Aussagen zur Lesefreude der Schüler/innen

Anmerkungen: Die Items zur Lesefreude umfassen die vier Antwortkategorien stimme gar nicht zu/stimme eher nicht zu/stimme eher zu/stimme ganz zu.a = Unterschied zwischen AUT 2018 und VL-16-Schnitt 2018 statistisch signifikant (p < .05). b = Unterschied zu PISA 2018 statistisch signifikant (p < .05).Quellen: PISA 2000, 2009, 2018.


In Abbildung 5.1.2 ist die durchschnittliche Lesefreude der Mädchen und Burschen in Österreich und den Vergleichs-ländern5 bei PISA 2018 dargestellt. Die Länder sind auf-steigend nach der Höhe der Geschlechterunterschiede ge-reiht. Im rechten Teil ist die durchschnittliche Lesefreude mit den zugehörigen Konfidenzintervallen für die öster-reichischen Schulsparten6 abgebildet.

In allen Teilnehmerländern (die hier dargestellten Ver-gleichsländer miteingeschlossen) haben die Mädchen deut-lich mehr Freude am Lesen als ihre männlichen Alters-kollegen. Die Höhe dieser Geschlechterunterschiede variiert jedoch zwischen den Ländern. Österreich gehört zu jenen Ländern mit relativ hohen Geschlechterdifferenzen bei der Lesefreude. Gemeinsam mit Deutschland, Italien, Ungarn,

5 Aus der Forschung ist mittlerweile bekannt, dass Selbsteinschätzungen vor ihrem jeweiligen kulturellen Hintergrund getroffen werden. Dies kann zu unterschiedlichem Antwortverhalten führen und den Ländervergleich beeinträchtigen. In diesem Abschnitt wird deshalb bei der Interpretation der Lese-freude und des Leseselbstkonzepts auf einen direkten Ländervergleich in Bezug auf die Skalenmittelwerte verzichtet.

6 AHS: Allgemeinbildende höhere Schulen, BHS: Berufsbildende höhere Schulen, BMS: Berufsbildende mittlere Schulen, BS: Berufsschulen.7 Bei den Paarvergleichen in Bezug auf die österreichischen Schulsparten wurde die Irrtumswahrscheinlichkeit an die Zahl der sechs Einzelvergleiche an-

gepasst bzw. herabgesetzt und somit korrigiert (Bonferroni-Korrektur).

der Tschechischen Republik und der Slowakei sind die Geschlechterunterschiede signifikant höher als im Durch-schnitt der Vergleichsländer. In Schweden, Dänemark, Großbritannien, Irland sowie Belgien sind die Unterschiede zwischen Mädchen und Burschen vergleichsweise niedrig (signifikant geringer als im VL-16-Schnitt). In allen Ver-gleichsländern ist der Zusammenhang mit der Lesekompetenz positiv: Jugendliche mit höherer Lesekompetenz zeigen mehr Lesefreude als Jugendliche mit geringer Kompetenz. Die Zu-sammenhänge reichen von r = .28 in Schweden bis zu r = .44 in Irland (siehe Tabelle A9 im Anhang).

Signifikante Unterschiede zeigen sich auch zwischen allen vier österreichischen Schulsparten.7 In der AHS ist die Lese-freude der Jugendlichen am höchsten. Die AHS-Schüler/

Abbildung 5.1.2: Lesefreude – Unterschiede zwischen Mädchen und Burschen sowie zwischen den österreichischen Schul-sparten

Anmerkungen: Die Länder sind aufsteigend nach der Höhe der Geschlechterunterschiede bei der Lesefreude gereiht; Länder innerhalb der grau schraffierten Fläche weisen keine signifikanten Geschlechterunterschiede zum VL-16-Schnitt auf.Quelle: PISA 2018.

unte

r O

EC

D-S

chni

ttüb

er O

EC

D-S

chni

tt

–0.6

–0.4

–0.2

0.0

0.2

0.4

0.6

–0.8

–1.0

0.8

1.0

SW

E

DN

K

GB

R

IRL

BE

L

LUX

NLD

VL-

16-

Sch

nitt

SV

N

CH

E

FIN

SV

K

CZE

HU

N

DE

U

ITA

AU

T

signifikant geringereGeschlechterunterschiede

als im VL-16-Schnitt

signifikant größereGeschlechterunterschiede


keine signifikantenGeschlechterunterschiede

zum VL-16-Schnitt

BH

S

BS

AH

S

BM

S

Mittelwert Burschen

Mittelwert der 16 Vergleichsländer

Mittelwert Mädchen

Landesmittelwertsignifikante

Geschlechter-differenz



innen äußern damit insgesamt signifikant mehr Freude am Lesen als die 15-/16-Jährigen der anderen Schulsparten. Mit Abstand die geringste Lesefreude ist bei den Jugendlichen in den Berufsschulen zu verzeichnen.

Leseselbstkonzept

Das Leseselbstkonzept der 15-/16-Jährigen wird bei PISA durch den Grad der Zustimmung zu Aussagen wie beispiels-weise „Ich bin ein guter Leser/eine gute Leserin.“ oder „Ich muss einen Text mehrmals lesen, bevor ich ihn vollständig verstehe.“ erhoben. Bei PISA 2018 wird dabei zwischen der Wahrnehmung der eigenen Lesekompetenz sowie der Wahr-nehmung von Schwierigkeiten beim Lesen unterschieden. Dazu wurden die Jugendlichen gefragt, wie sehr sie be-stimmten Aussagen zum Lesen zustimmen. Die Antwort-möglichkeiten reichen auf einer 4-stufigen Skala von „stimme gar nicht zu“, „stimme eher nicht zu“, „stimme eher zu“ bis hin zu „stimme ganz zu“.

Wahrnehmung der Lesekompetenz

Abbildung 5.1.3 zeigt die prozentuelle Zustimmung (stimme eher zu/stimme ganz zu) zu den einzelnen Aussagen für Öster-reich und den Durchschnittswert der 16 Vergleichsländer bei PISA 2018 für die Einschätzung der Lesefähigkeit.

In Österreich stimmen über 80 % der 15-/16-Jährigen zu, dass sie gute Leser/innen sind und flüssig lesen. Über 70 % der österreichischen Jugendlichen geben an, schwierige Texte zu verstehen. Damit liegt Österreich bei allen drei Aussagen signifikant über dem Durchschnittswert der 16 Vergleichs-länder. Am größten ist die Differenz zwischen Österreich und

dem VL-16-Schnitt bei der Einschätzung der Jugendlichen, ob sie gute Leser/innen sind (über 10 Prozentpunkte mehr Zustimmung in Österreich).

Die in Abbildung 5.1.3 dargestellten drei Aussagen zum Lesen stellen die Basis für die internationale Skala zur „Wahrnehmung der Lesekompetenz“ dar. Dafür wurden die Schülerantworten zu den einzelnen Aussagen so kodiert und summiert, dass eine höhere (positivere) Merkmalsaus-prägung einem höheren Punktwert entspricht. Analog zur Lesefreude handelt es sich um eine internationale Skala, die nach der Item-Response-Theorie (IRT) konstruiert wurde und deren Werte auf Basis aller OECD-Teilnehmerländer z-standardisiert sind. In Abbildung 5.1.4 ist das durch-schnittliche Leseselbstkonzept zur „Wahrnehmung der Lesekompetenz“ der Mädchen und Burschen in Österreich und den 15 Vergleichsländern dargestellt. Die Länder sind wiederum aufsteigend nach der Höhe der Geschlechterunter-schiede gereiht. Im rechten Teil der Abbildung ist jeweils das durchschnittliche Leseselbstkonzept mit den zugehörigen Konfidenzintervallen für die österreichischen Schulsparten dargestellt.

In Dänemark, Großbritannien und Irland gibt es hinsicht-lich der subjektiven Einschätzung der Lesefähigkeit keine signifikanten Geschlechterunterschiede. In allen anderen Ver-gleichsländern schätzen die Mädchen ihre Lesefähigkeiten höher ein als ihre männlichen Alterskollegen. Auch in Öster-reich ist die Zuversicht der Mädchen in ihre Lesefähigkeit signifikant höher als die der Burschen und liegt dabei im VL-16-Schnitt. In Italien, Ungarn und der Slowakei sind die Geschlechterunterschiede hingegen signifikant höher als in Österreich und liegen auch deutlich über dem Durchschnitts-

Abbildung 5.1.3: Aussagen zur Wahrnehmung der Lesekompetenz

Anmerkungen: Die Items zum Leseselbstkonzept umfassen die vier Antwortkategorien stimme gar nicht zu/stimme eher nicht zu/stimme eher zu/stimme ganz zu; * = Unterschied zwischen AUT 2018 und VL-16-Schnitt 2018 statistisch signifikant (p < .05).Quelle: PISA 2018.

0 10 20 30 40 50


60 70 80 90 100 %

Ich bin ein guter Leser/eine gute Leserin.*

Ich kann schwierige Texte verstehen.*

Ich lese flüssig.*

%

81

72

84

70

69

79

VL-16-Schnitt 2018AUT 2018


wert der 16 Vergleichsländer. In allen Vergleichsländern geht eine positive Wahrnehmung der eigenen Lesefähigkeiten mit einer durchschnittlichen höheren Lesekompetenz bei den Jugendlichen einher. Die Zusammenhänge reichen von r = .30 in Belgien bis zu r = .49 in Irland (siehe Tabelle A9 im Anhang).

Signifikante Unterschiede zeigen sich auch zwischen den österreichischen Schulsparten. Die Überzeugung in ihre Lesefähigkeiten ist bei den Jugendlichen in der AHS deut-lich höher als bei den 15-/16-Jährigen der anderen Schul-sparten. Die Jugendlichen in der BMS und der BS schätzen ihre Lesefähigkeiten vergleichbar hoch ein und liegen mit ihrem diesbezüglichen Leseselbstkonzept im VL-16-Schnitt.

Wahrnehmung von Schwierigkeiten beim Lesen

Die prozentuelle Zustimmung der Jugendlichen zu den einzelnen Aussagen in Bezug auf ihre Schwierigkeiten beim Lesen ist in Abbildung 5.1.5 dargestellt. Dabei zeigt sich für Österreich, dass etwa jede/jeder dritte Jugendliche an-gibt, einen Text mehrmals lesen zu müssen, um ihn zu ver-stehen. Für etwa jede Fünfte bzw. jeden Fünften unter den

15-/16-Jährigen ist es nach eigenen Angaben schwierig, Fragen zu einem Text zu beantworten. Und etwa jede/jeder siebte Jugendliche in Österreich gibt an, schon immer Schwierig-keiten mit dem Lesen gehabt zu haben. Ein ähnliches Muster zeigt sich auch beim Durchschnittswert aller 16 Vergleichs-länder, wobei die Zustimmungen um 4–8 Prozentpunkte signifikant höher ausfallen als in Österreich.

Die in Abbildung 5.1.5 dargestellten drei Aussagen zum Lesen stellen die Basis für die internationale Skala zur „Wahr-nehmung von Schwierigkeiten beim Lesen“ dar. Dafür wurden die Schülerantworten zu den einzelnen Aussagen so codiert und summiert, dass eine höhere Wahrnehmung von Leseschwierigkeiten einem höheren Punktwert entspricht. Analog zu den beiden anderen Skalen handelt es sich um eine internationale Skala, die nach der Item-Response-Theorie (IRT) konstruiert wurde und deren Werte auf Basis aller OECD-Teilnehmerländer z-standardisiert sind.

Interessant sind die Ergebnisse zu den Geschlechterunter-schieden bei der durchschnittlichen „Wahrnehmung von Leseschwierigkeiten“ (siehe Abbildung 5.1.6). In sechs der 16 Vergleichsländer nehmen Mädchen häufiger Schwierig-

Abbildung 5.1.4: Wahrnehmung der Lesefähigkeit – Unterschiede zwischen Mädchen und Burschen sowie zwischen den österreichischen Schulsparten

Anmerkungen: Die Länder sind aufsteigend nach der Höhe der Geschlechterunterschiede bei der subjektiven Einschätzung der Lesefähigkeit gereiht; Länder innerhalb der grau schraffierten Fläche weisen keine signifikanten Geschlechterunterschiede zum VL-16-Schnitt auf.Quelle: PISA 2018.

unte

r O

EC

D-S

chni

ttüb

er O

EC

D-S

chni

tt

–0.6

–0.4

–0.2

0.0

0.2

0.4

0.6

–0.8

–1.0

0.8

1.0

AU

T

signifikantgeringere

Geschlechter-unterschiede


signifikant größere




zum VL-16-Schnitt

BH

S

BS

AH

S

BM

S

DN

K

GB

R

IRL

BE

L

SW

E

LUX

FIN

NLD

CH

E

SV

N

DE

U

CZE

SV

K

HU

N

ITA

VL-

16-

Sch

nitt


Mittelwert Burschen


Mittelwert Mädchen




Abbildung 5.1.5: Aussagen zur Wahrnehmung von Leseschwierigkeiten

Abbildung 5.1.6: Wahrnehmung von Leseschwierigkeiten – Unterschiede zwischen Mädchen und Burschen sowie zwischen den österreichischen Schulsparten

Anmerkungen: Die Items zum Leseselbstkonzept umfassen die vier Antwortkategorien stimme gar nicht zu/stimme eher nicht zu/stimme eher zu/stimme ganz zu; * = Unterschied zwischen AUT 2018 und VL-16-Schnitt 2018 statistisch signifikant (p < .05).Quelle: PISA 2018.

0 10 20 30 40 50


60 70 80 90 100 %

Ich hatte schon immer Schwierigkeitenmit dem Lesen.*

Ich muss einen Text mehrmals lesen,bevor ich ihn vollständig verstehe.*

Ich finde es schwierig, Fragen zu einem Text zu beantworten.*

%

VL-16-Schnitt 2018AUT 2018

14

32

19

18

39

24

unte

r O

EC

D-S

chni

ttüb

er O

EC

D-S

chni

tt

–0.6

–0.4

–0.2

0.0

0.2

0.4

0.6

–0.8

–1.0

0.8

1.0

AU

T

signifikantgeringere



signifikant größere




zum VL-16-Schnitt

BH

S

BS

AH

S

BM

S

HU

N

ITA

SV

K

CZE

CH

E

SW

E

LUX

SV

N

DE

U

GB

R

DN

K

BE

L

NLD IR

L

FIN

VL-

16-

Sch

nitt

Mittelwert Konfidenzintervall (+/– 1.96 SE)}

Mittelwert Burschen


Mittelwert Mädchen



Anmerkungen: Die Länder sind aufsteigend nach der Höhe der Geschlechterunterschiede bei der Wahrnehmung von Leseschwierigkeiten gereiht; Länder innerhalb der grau schraffierten Fläche weisen keine signifikanten Geschlechterunterschiede zum VL-16-Schnitt auf.Quelle: PISA 2018.


keiten beim Lesen wahr als die Burschen. Am größten sind diese Geschlechterdifferenzen in Finnland, Irland und den Niederlanden. Bei einem Großteil der 16 Vergleichsländer zeigen sich keine Geschlechterunterschiede. In Österreich, der Slowakei, Italien und Ungarn sind die Geschlechterunter-schiede am geringsten. In allen Vergleichsländern ist der Zu-sammenhang mit der Lesekompetenz erwartungskonform negativ: Eine hohe Selbstwahrnehmung von Leseschwierig-keiten geht mit einer geringeren Lesekompetenz bei den Jugendlichen einher und vice versa. Die Zusammenhänge reichen von r = –.22 in der Schweiz bis zu r = –.39 in Irland (siehe Tabelle A9 im Anhang).

Die Wahrnehmung von Schwierigkeiten beim Lesen ist bei den Jugendlichen in der AHS deutlich geringer als bei den 15-/16-Jährigen der anderen Schulsparten. Die Jugendlichen in der BMS und der BS sind sich in ihrer Einschätzung von Leseschwierigkeiten sehr ähnlich, liegen aber dennoch signi-fikant über dem Durchschnittswert der BHS.

5.2 Familiärer Hintergrund und Leistung

Chancengerechtigkeit bedeutet, dass alle Kinder und Jugend-lichen ungeachtet ihrer sozialen Herkunft dieselben Chancen im Kompetenzerwerb haben. Die Daten aus internationalen Studien wie PISA, PIRLS oder TIMSS zeigen allerdings bereits seit vielen Jahren, dass in Österreich ein starker Zu-sammenhang zwischen dem sozioökonomischen Status bzw. den Bildungsabschlüssen der Eltern und den Leistungen der Schüler/innen besteht (z. B. Haider, 2002; Breit & Schreiner, 2006; Schreiner, 2012; Salchegger, Wallner-Paschon, Schmich & Höller, 2016; Salchegger, Höller, Pareiss & Lindemann, 2017). Der internationale Vergleich zeigt allerdings auch, dass sich die Leistungsvarianz nicht in allen Ländern gleich stark durch die soziale Herkunft der Eltern erklären lässt (z. B. Müller & Ehmke, 2016). Im folgenden Abschnitt werden zum einen der Zusammenhang zwischen sozio-ökonomischem Status der Eltern und den Leistungen der Schüler/innen im internationalen Vergleich und zum anderen der Zusammenhang zwischen der Bildung der Eltern und den Schülerleistungen in Österreich dargestellt.

Sozioökonomischer Status und Leistung im inter nationalen Vergleich

Zunächst wird für Österreich und die 40 OECD-/EU-Länder gezeigt, wie stark die Leistungen der Schüler/innen in Lesen,

8 Der SES beruht auf den Angaben zum Beruf der Eltern, die zuerst nach dem ISCO-Schema (International Standard Classification of Occupations) ver-kodet und dann nach Ganzeboom (2010a; 2010b) in die ISEI-Skala transformiert werden. Seit PISA 2012 wird die aktualisierte Fassung aus dem Jahr 2008 eingesetzt (ISCO-08; vgl. OECD, 2019c, Annex A1).

9 Analog zur Berichterstattung der OECD werden die Daten von Spanien für den Kompetenzbereich Lesen in der vorliegenden Publikation nicht dargestellt. Die Anzahl der OECD-/EU-Länder unterscheidet sich daher von jenen in den Kompetenzbereichen Mathematik und Naturwissenschaft.

Mathematik und Naturwissenschaft vom sozioökonomischen Status der Familie abhängen. In der Regel wird der sozioöko-nomische Status (SES; engl. „socio-economic status“) über den Beruf, das Einkommen und das Bildungsniveau definiert (Ditton & Maaz, 2011). Ein Instrument zur Messung des SES bietet der ISEI (International Socioeconomic Index) nach Ganzeboom, de Graaf und Treimann (1992, in der aktualisierten Fassung Ganzeboom, 2010a, 2010b8). Der ISEI wird vor allem in international vergleichenden Schul-leistungsstudien verwendet und geht von der Annahme aus, dass jeder Beruf einen bestimmten Bildungsstand erfordert und damit auch bestimmte Chancen eröffnet (Ditton & Maaz, 2011). Die ISEI-08-Skala reicht von 10 bis 89 Punkten (Ganzeboom, 2010b). Die Werte spiegeln die zur Ausübung des jeweiligen Berufs nötige Ausbildung und die Höhe des durchschnittlichen Einkommens wider. Niedrige Werte repräsentieren einen geringen sozioökonomischen Status, also Berufe, die im Allgemeinen mit eher geringem Einkommen verbunden sind und für deren Ausübung verhältnismäßig geringe Formalabschlüsse notwendig sind. Ein hoher Wert bedeutet einen hohen Sozialstatus. So entsprechen z. B. der Wert von 89 einer Ärztin/einem Arzt und der Wert von 10 einer Küchengehilfin/einem Küchengehilfen (Ganzeboom, 2010b). Für die Analysen dieses Abschnitts wird der höchste ISEI (highest ISEI = HISEI) der Eltern der Schüler/innen herangezogen. Zu beachten ist, dass die Berufe der Eltern auf Basis der Angaben der Schüler/innen im Schülerfrage-bogen erfasst wurden.

Der Zusammenhang zwischen SES und Leistung wird im Folgenden mithilfe von Regressionen analysiert. Die Ergeb-nisse der Regressionen sind in Tabelle 5.2.1 für die 39 bzw. 40 OECD-/EU-Länder9 für alle drei Kompetenzbereiche dargestellt.

Abbildung 5.2.1 zeigt den Zusammenhang zwischen dem SES der Eltern und der Lesekompetenz der Schüler/innen in Form von Gradienten. Zur besseren Übersicht beschränkt sich die Abbildung neben Österreich auf einige ausgewählte Länder, darunter die beiden Nachbarländer Deutschland und die Schweiz. Zusätzlich werden einerseits die Länder mit dem geringsten Zusammenhang zwischen dem sozioöko-nomischen Status der Eltern und der Leistung (Korea und Japan bzw. Island als europäisches Land mit dem geringsten Zusammenhang) und andererseits jene beiden Länder mit dem stärksten Zusammenhang (Luxemburg und Ungarn) dargestellt. Die Regressionsgradienten liefern dabei zwei Informationen. Die vertikale Position des Gradienten wird durch den Landesmittelwert in Lesen bestimmt und zeigt,


Tabelle 5.2.1: Durch sozioökonomischen Status erklärte Leistungsvarianz in Lesen, Mathematik und Naturwissenschaft

LandHISEI

MSD

Lesen Mathematik Naturwissenschaft

erklärte Varianz (R2)

Steigung(b)


Steigung(b)


Steigung(b)

LUX 51,4 22,7 18,7 20,2 19,4 18,7 21,0 19,6

HUN 50,7 21,6 17,7 18,7 19,3 18,2 18,3 18,4

BGRm 48,9 22,9 15,7 17,2 13,8 15,6 16,4 16,5

BEL 52,4 22,2 15,6 17,9 19,6 18,7 17,7 18,4

FRA 51,5 22,0 14,2 16,8 16,4 16,7 15,6 16,8ISRm 60,5 21,9 14,2 20,1 13,7 17,3 14,0 17,8PRT 49,5 23,1 13,8 15,3 15,4 16,4 15,4 15,6

CHE 52,6 21,7 13,6 16,9 13,4 15,6 13,8 16,2

DEUm 51,8 21,0 13,4 17,9 13,7 16,6 13,4 17,7

CZE 49,1 20,1 12,6 16,9 13,6 16,9 13,5 17,1

AUT 50,8 21,3 12,3 15,8 12,7 15,2 13,3 15,9

SVK 48,6 21,5 12,3 16,0 14,6 17,3 13,6 16,2

CHLm 43,9 22,5 11,0 13,4 12,8 13,4 12,1 12,9

MEXm 40,8 20,9 11,0 13,4 8,7 11,1 9,7 11,3

TUR 37,7 22,6 10,9 12,8 11,1 13,0 10,8 12,1

SVN 52,3 21,4 10,8 14,1 13,5 15,2 11,5 13,8

NZL 56,2 20,9 10,8 16,3 10,6 14,4 11,2 16,1

HRV 47,3 21,2 10,7 13,6 11,9 14,0 10,5 13,6

LTUm 53,1 23,2 10,5 12,8 10,7 12,6 9,9 12,0

GRC 50,1 22,9 10,1 13,2 10,2 12,2 9,8 11,5

COL 41,6 22,8 9,7 12,2 8,8 10,6 8,3 10,5

POL 49,8 21,8 9,2 13,3 11,0 13,5 9,8 13,0

USA 55,7 21,3 8,8 14,6 10,7 13,9 8,8 13,4

MLT 52,8 21,6 8,2 14,5 10,2 14,4 9,7 14,8

NLD 55,2 20,2 8,1 14,3 9,8 14,1 9,5 15,5

ITA 47,3 21,3 8,0 12,7 8,6 12,8 7,6 11,6

DNK 60,0 20,7 7,5 12,0 8,0 11,2 8,6 12,8

AUSm 55,8 21,1 7,5 13,9 7,9 12,3 7,3 12,8

IRL 52,7 21,9 7,2 10,9 7,6 9,6 7,6 10,9

GBRm 58,0 21,5 7,2 12,3 8,3 12,3 7,8 12,7

EST 53,5 21,0 7,2 11,7 8,5 11,2 8,0 11,7

NOR 61,6 19,6 7,1 14,1 7,6 12,5 7,9 13,9

SWE 59,5 20,8 7,1 13,2 9,0 12,7 8,0 13,0

FIN 55,8 22,0 7,0 11,5 8,7 10,8 7,8 11,9

LVAm 53,5 22,2 6,9 10,4 8,9 10,6 7,1 9,9

ISL 60,6 20,0 5,9 12,3 6,6 11,4 7,1 11,9

CANm 57,5 21,3 5,8 11,1 6,6 11,0 5,6 10,4

KOR 52,5 19,5 5,0 11,4 5,9 12,4 4,8 10,8

JPN 52,2 19,7 3,8 9,3 4,3 8,8 3,5 8,5

ESP 48,6 23,0 – – 10,1 12,1 8,1 11,0

m Werte fehlen von ≥ 10 % der Schüler/innen

Anmerkungen: Länder absteigend nach der erklärten Varianz (R2) in der Leseleistung gereiht. Steigung: Änderung der Leistung je 10 Punkte mehr auf der ISEI-Skala (b x 10); HISEI M: mittlerer sozioökonomischer Status.Quelle: PISA 2018.


wie hoch die Leistungen insgesamt sind; d. h., je höher das mittlere Leistungsniveau eines Landes ist, desto höher liegt der Gradient. Die Steigung des Gradienten wiederum gibt Auskunft über die Größe des Zusammenhangs zwischen SES und Leseleistung; d. h., je steiler der Gradient ist, desto stärker ist der Einfluss des sozioökonomischen Status auf die Leistung. Diese Information ist auch in Tabelle 5.2.1 für alle 39 bzw. 40 OECD-/EU-Länder für Lesen, Mathematik und Naturwissenschaft dargestellt. Die Spalte „Steigung (b)“ zeigt, wie viele Punkte mehr auf der Lese-, Mathematik- oder Naturwissenschaftsskala im Schnitt mit einem um zehn Punkte höheren SES einhergehen. Die zehn Punkte Unterschied wurden zur besseren Veranschaulichung ge-wählt. Zehn Punkte Unterschied auf der ISEI-Skala liegen z. B. zwischen Apothekerinnen/Apothekern (69 Punkte) und Sozialarbeiterinnen/Sozialarbeitern (59 Punkte).

Die Spalte „erklärte Varianz (R2)“ gibt an, wie hoch die Leis-tungsvarianz in Prozent ist, die durch den SES erklärt wird. Je höher die erklärte Varianz ist, desto weniger streuen die einzel-nen Werte um die Regressionsgerade und desto stärker ist der Zusammenhang zwischen Leistung und SES. Zusätzlich ist in der Spalte „HISEI M“ der mittlere sozioökonomische Status des jeweiligen Landes eingetragen. In Österreich liegt er bei 50,8 Punkten. Einen ähnlichen mittleren sozioökonomischen Status weisen etwa Deutschland, Luxemburg oder Frank-reich auf. In der Spalte „SD“ zeigt die Standardabweichung die Streuung des sozioökonomischen Status an. So zeigt sich etwa in Korea, Japan oder Norwegen eine vergleichsweise homo gene Verteilung des SES.

Wie in Abbildung 5.2.1 ersichtlich, weisen Korea und Japan einen eher flachen und hoch liegenden Gradienten auf, was be-deutet, dass in diesen Ländern neben einem hohen Leistungs-niveau auch eine hohe Chancengerechtigkeit gegeben ist. Bei Island hingegen zeigt sich ein flacher Gradient, also ein eher geringer Zusammenhang zwischen SES und Leistung, gepaart mit einem vergleichsweise niedrigen Leistungsniveau. In Luxemburg und Ungarn wiederum ist der Zusammenhang zwischen SES und Leistung hoch und der Gradient liegt im unteren Leistungsbereich. In Deutschland und der Schweiz zeigt sich ebenfalls ein hoher Zusammenhang zwischen SES und Leistung, was in den steilen Gradienten und in den hohen Werten bei der Steigung in Tabelle 5.2.1 ersichtlich ist. Auch in Österreich hat der sozioökonomische Status einen relativ großen Einfluss auf die Leistung der Schüler/innen: Die Leistungsvarianz, die durch den SES erklärt wird (R²), beträgt in Österreich für Lesen rund 12 % und für Mathematik und Naturwissenschaft je rund 13 %.

Eine sehr niedrige Varianzerklärung durch den SES (jeweils unter 7 % im Kompetenzbereich Lesen) zeigen neben Korea und Japan auch Kanada, Island und Lettland. In diesen Ländern herrscht somit eine vergleichsweise hohe Chancengerechtigkeit. In Japan ist der Leistungszuwachs, der mit einem um zehn Punkte höheren SES einhergeht, mit weniger als zehn Punkten in allen drei Kompetenz-bereichen sehr gering. Am oberen Ende der Tabelle finden sich Luxemburg, Ungarn, Bulgarien und Belgien, wo der Einfluss des sozioökonomischen Status auf die Leistungen in Lesen, Mathematik und Naturwissenschaft vergleichsweise groß ist. In Luxemburg etwa gehen in den drei Domänen jeweils rund 19 bis 20 Punkte Leistungszuwachs mit 10 Punkten mehr auf der ISEI-Skala einher. In Österreich be-trägt der Leistungszuwachs rund 16 Punkte in Lesen und Naturwissenschaft und rund 15 Punkte in Mathematik.

Bildung der Eltern und Schülerleistungen in Österreich

Wie bereits erwähnt, ist der sozioökonomische Status eng mit dem Bildungsniveau verknüpft, da davon ausgegangen werden kann, dass eine formal höhere Bildung auch eine höhere berufliche Position und damit einen höheren sozioöko-nomischen Status mit sich bringt. Im Folgenden werden nun für Österreich die höchsten Bildungsabschlüsse der Eltern der Schüler/innen sowie der Zusammenhang zwischen Bildungs-abschluss der Eltern und Leistung der Schüler/innen in Lesen, Mathematik und Naturwissenschaft betrachtet. Dazu wurden die Angaben der Schüler/innen zu den Bildungsabschlüssen der Eltern in vier Gruppen zusammengefasst:

(1) maximal Pflichtschulabschluss (2) Lehre/BMS/Meister: Lehre und ev. Meisterprüfung,

Abschluss einer berufsbildenden mittleren Schule oder Schule für Gesundheits- und Krankenpflege bzw. Schule für den medizinisch-technischen Fachdienst

Abbildung 5.2.1: Zusammenhang zwischen sozio ökono-mischem Status und Lesekompetenz

Quelle: PISA 2018.

Leve

l 2Le

vel 3

Leve

l 4Le

vel 1

20 30 40 50 60 70 80 90350

400

450

500

550

600

Lese

kom

pete

nz

hoch

nied

rig

sozioökonomischer Status

hochniedrig

AUTDEU

LUX

CHEHUN

JPN

KOR

ISL


(3) Matura(4) Tertiäre Ausbildung: Universitäts- oder Fachhochschul-

abschluss, Pädagogische Hochschule/Akademie, Sozial-akademie oder sonstige tertiäre Ausbildung10

Zur Berechnung des höchsten Bildungsabschlusses der Eltern wird der jeweils höhere Bildungsabschluss herangezogen. Dabei haben bei rund 55 % der Schüler/innen beide Eltern-teile einen formal gleichwertigen Abschluss, bei 20 % hat der Vater einen höheren Abschluss und bei 25 % die Mutter.

Die Angaben der Schüler/innen der PISA-Population zeichnen bezüglich der höchsten Bildungsabschlüsse ihrer Eltern folgendes Bild: 7 % der Schüler/innen haben Eltern, die maximal einen Pflichtschulabschluss aufweisen. 35 % der Eltern sind der Kategorie Lehre/BMS/Meister zuzuordnen, wobei sich diese Gruppe in 12 % Eltern mit Meisterprüfung und 23 % mit Lehrabschluss oder einem Abschluss einer berufsbildenden mittleren Schule aufteilt. 21 % der Schüler/innen haben Eltern, die maximal eine Matura abgeschlossen haben, und bei 36 % der Schüler/innen hat zumindest ein Elternteil eine tertiäre Ausbildung abgeschlossen.

10 Zu dieser nationalen Kategorisierung ist anzumerken, dass diese die Besonderheiten des österreichischen Bildungssystems, u. a. die Gegenüberstellung von dualer Berufsbildung einerseits und schulischer Bildung andererseits, abbilden soll und deshalb nicht in allen Bereichen mit der internationalen Standardklassifikation im Bildungswesen (ISCED 2011; vgl. OECD/EUROSTAT/UNESCO Institute for Statistics, 2015) übereinstimmt.

11 Betrachtet man die Leistungen der Schüler/innen mit Eltern in der Kategorie Lehre/BMS/Meister getrennt nach Meisterprüfung und Lehre/BMS, zeigt sich, dass sich die mittleren Leistungen der Schüler/innen in diesen beiden Gruppen in allen drei Domänen nur geringfügig und statistisch nicht signi-fikant voneinander unterscheiden.

Abbildung 5.2.2 zeigt die Mittelwerte in Lesen, Mathematik und Naturwissenschaft abhängig vom höchsten Bildungs-abschluss der Eltern. Alle drei Diagramme machen deut-lich, dass Jugendliche, deren Eltern einen höheren Bildungs-abschluss aufweisen, im Mittel höhere Leistungen erbringen als Schüler/innen, deren Eltern niedrigere Abschlüsse haben. Die Unterschiede sind in allen drei Domänen zwischen allen vier Gruppen statistisch signifikant. In Lesen erreichen Jugend-liche, die zumindest einen Elternteil mit einem tertiären Ab-schluss haben, im Schnitt 509 Punkte. In der Gruppe der Eltern mit Matura sind es im Schnitt 491 Punkte und bei den Schülerinnen und Schülern mit Eltern in der Kategorie Lehre/BMS/Meister 473 Punkte11. Jugendliche, deren Eltern maximal einen Pflichtschulabschluss aufweisen, erreichen einen Mittel-wert von 420 Punkten. Der Unterschied zwischen den beiden Gruppen mit der höchsten bzw. niedrigsten Formalquali-fikation beträgt rund 89 Punkte und ist statistisch signifikant. In Mathematik (91 Punkte Unterschied) und Naturwissen-schaft (95 Punkte) zeigt sich ein sehr ähnliches Bild. Diese Differenz entspricht somit mehr als einer Kompetenzstufe, da zwischen den einzelnen Stufen jeweils rund 70 Punkte liegen (siehe Abschnitt 1.6 in Kapitel 1).

Abbildung 5.2.2: Lese-, Mathematik- und Naturwissenschaftskompetenz und Bildung der Eltern

Quelle: PISA 2018.

Pfli

chts

chul

-ab

schl

uss

Lehr

e/B

MS

/Mei

ster

Lehr

e/B

MS

/Mei

ster

Lehr

e/B

MS

/Mei

ster

Mat

ura

tert

iäre

Aus

bild

ung

Pfli

chts

chul

-ab

schl

uss

Mat

ura

Pfli

chts

chul

-ab

schl

uss

Mat

ura

Kom

pete

nz

hoch

nied

rig

tert

iäre

Aus

bild

ung

tert

iäre

Aus

bild

ung

Mathematik

400

450

500

550Lesen Naturwissenschaft

432

487

507

523

420

473

491

509

420

479

496

515


Vergleicht man diese Ergebnisse mit jenen aus PISA 2015, zeigt sich, dass die Leistungsunterschiede zwischen den beiden Gruppen mit formal hohem bzw. niedrigem Bildungs-niveau zurückgegangen sind (ohne Abbildung), wenngleich der Rückgang in keiner der drei Domänen statistisch signi-fikant ist. Bei PISA 2015 betrug die Differenz zwischen Schülerinnen und Schülern, deren Eltern maximal einen Pflichtschulabschluss, und jenen, deren Eltern einen tertiären Abschluss als höchsten Bildungsabschluss aufweisen, in Lesen rund 100 Punkte, in Mathematik 99 Punkte und in Naturwissenschaft 102 Punkte. Der Rückgang der Differenz zwischen den beiden Gruppen ist in Lesen und Naturwissen-schaft darauf zurückzuführen, dass die Gruppe der Schüler/innen mit Eltern mit tertiärer Bildung bei PISA 2018 signi-fikant geringere Leistungen als 2015 erbringt, während die Leistungen der Jugendlichen der formal niedrigsten Gruppe gleichgeblieben sind.

5.3 Schüler/innen mit Migrations-hintergrund: Lesekompetenz und Charakteristika

Bereits aus vorangegangenen internationalen Schülerleistungs-studien ist ersichtlich, dass zwischen Schülerinnen und Schülern mit und ohne Migrationshintergrund in Öster-reich eine Kluft bezüglich ihrer Kompetenzniveaus besteht (Bergmüller & Herzog-Punzenberger, 2012; Salchegger, Herzog-Punzenberger & Filzmoser, 2015; Salchegger, Wallner-Paschon, Schmich & Höller, 2016). Die Ergeb-nisse von PISA 2018 zur Lesekompetenz von Schülerinnen und Schülern mit Migrationshintergrund (zur Erklärung des Begriffs „Migrationshintergrund“ siehe Lesehinweis) werden in diesem Abschnitt präsentiert.

Schüler/innen mit Migrationshintergrund im Ländervergleich

Die Tabelle 5.3.1 zeigt jene 26 OECD-/EU-Länder, die mehr als 5 % Schüler/innen mit Migrationshintergrund haben12. Wie bereits in den letzten Zyklen weist Luxemburg mit über 50 % den höchsten Anteil an Schülerinnen und Schülern mit Migrationshintergrund auf. Österreich folgt nach der

12 Bei den 26 OECD-/EU-Ländern wurde Spanien ausgeschlossen, obwohl in diesem Land mehr als 5 % der Schüler/innen einen Migrationshintergrund aufweisen. Grund dafür ist, dass im internationalen sowie im nationalen Erstbericht die Ergebnisse von Spanien in Bezug auf Lesekompetenz nicht be-richtet werden (siehe Abschnitt 1.7).

13 Die Definition des Begriffs „Migrationshintergrund“ beruht auf der international für PISA verwendeten Definition der OECD (OECD, 2016b; OECD, 2019a; OECD, 2019c).

14 Schulen, an denen ausschließlich in einer anderen Sprache als Deutsch unterrichtet wird, wurden in Österreich von PISA ausgeschlossen. Dies betraf bei PISA 2018 elf Schulen (0,42 % der Zielpopulation; Pareiss, 2019).

Schweiz mit 23 % an dritter Stelle der europäischen Länder und liegt innerhalb aller OECD-/EU-Länder an siebter Position. In Österreich stieg der Anteil an Schülerinnen und Schülern mit Migrationshintergrund seit der ersten PISA-Erhebung kontinuierlich an und hat sich von 11 % bei PISA 2000 auf 23 % bei PISA 2018 mehr als verdoppelt. Im Vergleich zwischen PISA 2015 und 2018 erhöhte sich der Gesamtanteil an Jugendlichen mit Migrationshinter-grund in Österreich um zwei Prozentpunkte. Darüber hinaus ist wie bereits bei PISA 2015 der Anteil der zweiten Generation (15 %) beinahe doppelt so groß wie jener der ersten Generation (8 %).13

Migrationshintergrund und Sprache

Migration ist oft damit verbunden, dass Schüler/innen mit mehreren Sprachen konfrontiert werden, meist zumindest mit der Muttersprache und der Sprache des Aufnahmelandes. Bei Schülerinnen und Schülern der zweiten Generation ist davon auszugehen, dass zu Hause tendenziell häufiger die Testsprache14 gesprochen wird als in Haushalten von Schülerinnen und Schülern der ersten Generation, da diese selbst noch im Ausland geboren wurden. In den vorliegenden Analysen ist zu berücksichtigen, dass die Schüler/innen (oder deren Eltern), die in einem anderen deutschsprachigen Land (beispielsweise Deutschland) geboren sind, nach der bei PISA verwendeten Definition zu den Schülerinnen und Schülern mit Migrationshintergrund zählen.

LESEHINWEIS

Schüler/innen ohne Migrationshintergrund:Mindestens ein Elternteil im Inland geboren; unabhängig vom Geburtsland des Kindes.

Schüler/innen mit Migrationshintergrund:Erste Generation: Sowohl Schüler/in als auch beide Elternteile im Ausland geboren.

Zweite Generation: Schüler/in im Inland, aber beide Elternteile im Ausland geboren.13


Tabelle 5.3.1: Anteil an Schülerinnen und Schülern mit Migrationshintergrund

Land 2. Generation 1. Generation Gesamt

LUX 30,4 24,5 54,9

CAN 17,9 17,1 35,0

CHE 21,8 12,0 33,9

AUSm 13,5 14,2 27,7

NZL 11,7 14,8 26,5

USA 17,1 5,9 23,0

AUT 14,9 7,8 22,7

DEUm 15,7 6,5 22,2

SWE 10,9 9,6 20,5

GBR 11,3 8,4 19,8

BEL 10,2 7,8 18,1

IRL 8,0 9,8 17,9

ISR 12,4 4,0 16,4

FRA 9,6 4,7 14,3

NLD 11,0 2,7 13,8

NOR 6,2 6,2 12,4

GRC 8,5 3,2 11,7

DNK 8,4 2,2 10,7

EST 9,6 0,7 10,4

ITA 5,5 4,6 10,0

HRV 7,7 1,3 9,1

SVN 3,6 5,2 8,9

MLT 2,1 6,6 8,8

PRT 4,0 3,0 7,0

FIN 2,5 3,3 5,8

ISL 2,5 3,1 5,6

m Werte fehlen von ≥ 10 % der Schüler/innen.

Anmerkung: 26 OECD-/EU-Länder mit mehr als 5 % Schüler/innen mit Migrationshintergrund absteigend nach dem Land mit dem höchsten Gesamtanteil an Jugendlichen mit Migrationshintergrund (Summe aus erster und zweiter Generation) gereiht.Quelle: PISA 2018.

In Tabelle 5.3.2 wird ein Überblick über den Sprachgebrauch jener Schüler/innen aus den 26 OECD-/EU-Ländern ge-geben, in denen der Anteil an Schülerinnen und Schülern mit Migrationshintergrund mehr als 5 % beträgt. Kroatien ist jenes Land, in dem die Schüler/innen mit Migrations-hintergrund am häufigsten zu Hause überwiegend die Test-sprache sprechen. Bemerkenswert ist, dass dies dort auf neun von zehn Schülerinnen und Schülern (92 %) zutrifft, ge-folgt von Estland mit einem ähnlich hohen Gesamtanteil von 87 %. In Österreich spricht gut ein Viertel (26 %) der Jugendlichen mit Migrationshintergrund zu Hause über-

wiegend Deutsch. Im Vergleich dazu geben in Deutschland 38 % der Schüler/innen mit Migrationshintergrund an, sich zu Hause vorwiegend in Deutsch zu verständigen. Wie zuvor angenommen, sprechen im Großteil der Länder signifikant mehr Jugendliche mit Migrationshintergrund der zweiten Generation als der ersten Generation die Testsprache auch zu Hause. Ausnahmen stellen Österreich und Malta dar; in diesen Ländern unterscheiden sich die erste und zweite Generation hinsichtlich der Verwendung der Testsprache zu Hause nicht signifikant.

Tabelle 5.3.2: Anteil an Schülerinnen und Schülern mit Migrationshintergrund, die zu Hause überwiegend die Testsprache sprechen

Land 2. Generation 1. Generation Gesamt

HRV 93,9 79,3 91,8

EST 89,5 59,1 87,3

PRT 76,5 66,8 72,4

AUSm 67,2 53,0 59,9

GRC 67,0 37,6 59,1

NZL 62,7 48,3 54,7

FRA 64,4 34,1 54,5

GBR 67,4 30,6 51,7

IRL 73,0 32,2 50,6

DNK 55,7 24,4 49,1

ISR 56,0 25,6 48,8

CAN 62,8 33,1 48,3

NLD 49,5 25,9 44,9

BEL 44,3 36,0 40,7

USA 45,5 24,4 40,1

ITA 44,6 29,6 37,8

DEUm 47,1 14,0 37,5

NOR 56,3 17,8 37,1

CHE 39,5 29,3 35,9

MLT 43,4 32,0 34,8

SWE 44,1 18,1 31,9

AUT 27,6 23,7 26,2

FIN 37,2 18,0 26,1

LUX 22,8 26,4 24,4

SVN 42,9 7,2 21,9

ISL 30,3 9,1 18,5

m Werte fehlen von ≥ 10 % der Schüler/innen.

Anmerkung: 26 OECD-/EU-Länder mit mehr als 5 % Schülerinnen und Schülern mit Migrationshintergrund absteigend nach dem Land mit dem höchsten Gesamtanteil an Jugendlichen mit Migra-tionshintergrund (erste und zweite Generation), die zu Hause vor-wiegend die Testsprache sprechen, gereiht.Quelle: PISA 2018.


Migrationshintergrund und Lesekompetenz

In Bezug auf die Lesekompetenz von Jugendlichen mit und ohne Migrationshintergrund zeigt sich für Österreich, dass sowohl die erste als auch die zweite Generation eine signifikant niedrigere Lesekompetenz aufweisen als die einheimischen Schüler/innen (siehe Abbildung 5.3.1 sowie Anhangstabelle A10). Im Vergleich mit den hier analysierten 26 OECD-/EU-Ländern liegt Österreich mit den Ergebnissen der Lese-kompetenz der Schüler/innen mit Migrationshintergrund im unteren Drittel. 13 Länder, darunter auch die Nachbarländer Slowenien, Deutschland und Italien, weisen eine vergleich-bare (nicht signfikant verschiedene) Lesekompetenz auf wie Schüler/innen der ersten Generation in Österreich. Die niedrigste Lesekompetenz in der Gruppe von Schülerinnen und Schülern der ersten Generation findet sich in Griechen-land, womit es sich signifikant von Österreich unterscheidet. In den weiteren elf Vergleichsländern erreichen Jugendliche der ersten Generation eine signifikant bessere Leseleistung als jene der ersten Generation in Österreich. Bei den Jugend-lichen der zweiten Generation zeigt sich ein ähnliches Bild. In Italien, Dänemark, Malta, Luxemburg, Finnland, Schweiz und den Niederlanden erzielen diese Schüler/innen eine ähn-

lich niedrige Lesekompetenz wie jene der zweiten Generation in Österreich. Signifikant niedriger als in Österreich ist die Lesekompetenz dieser Schülergruppe in Griechenland und Island. In den übrigen 16 Ländern weisen Schüler/innen der zweiten Generation eine signifikant bessere Lesekompetenz als in Österreich auf.

Innerhalb von Österreich wird deutlich, dass sich Schüler/innen der ersten Generation signifikant von jenen der zweiten Generation in ihrer Lesekompetenz unterscheiden. Schüler/innen, die bereits in Österreich geboren wurden (zweite Generation), verfügen über eine höhere Lesekompetenz als jene, die nach ihrer Geburt zugewandert sind (erste Generation). Dasselbe gilt für 16 weitere Vergleichsländer, darunter befinden sich auch die Nachbarländer Deutschland und Slowenien. In den neun verbleibenden Ländern unterscheiden sich die Schüler/innen der ersten und der zweiten Generation in ihrer Lesekompetenz nicht signifikant. Zu diesen Ländern zählen die beiden Nachbarländer Italien und die Schweiz.

In Abbildung 5.3.2 ist die Differenz der Lesekompetenz von Schülerinnen und Schülern ohne und mit Migrations-hintergrund (erste und zweite Generation zusammengefasst)

350

400

450

500

550

Lese

kom

pete

nz

hoch

nied

rig

AU

T

ES

T

CA

N

FIN

IRL

SW

E

NZL

US

A

GB

R

AU

Sm

DN

K

NO

R

DE

Um

SV

N

BE

L

FRA

PR

T

NLD

CH

E

HR

V

ITA

ISL

ISR

LUX

GR

C

MLT

ohne Migrationshintergrunderste Generation (im Ausland geboren)zweite Generation (im Testland geboren)

Mittelwertm Werte fehlen von ≥ 10 % der Schüler/innen.

Konfidenzintervall (+/– 1,96 SE)}

Abbildung 5.3.1: Lesemittelwerte von Schülerinnen und Schülern mit und ohne Migrationshintergrund

Anmerkung: 26 OECD-/EU-Länder mit mehr als 5 % Jugendlichen mit Migrationshintergrund absteigend nach dem Mittelwert in Lesen gereiht.Quelle: PISA 2018.


für die einzelnen Länder in Form von grauen Balken dar-gestellt. Die roten Balken entsprechen der Mittelwert-differenz der Lesekompetenz derselben Vergleichsgruppen von Jugendlichen, jedoch wird der sozioökonomische Status (SES) statistisch kontrolliert. Das bedeutet, dass der sozio-ökonomische Status für jedes Land bei der Differenz der Lesekompetenz der Schüler/innen mit und ohne Migrations-hintergrund berücksichtigt wurde. In 20 der 26 Vergleichs-länder weisen Schüler/innen mit Migrationshintergrund eine signifikant niedrigere Lesekompetenz als Schüler/innen ohne Migrationshintergrund auf. Australien ist das einzige Ver-gleichsland, in dem Schüler/innen mit Migrationshinter-grund signifikant besser abschneiden als jene ohne. Die größte Differenz der Leseleistung hinsichtlich der beiden Gruppen weist mit 92 Punkten Finnland auf, gefolgt von

Schweden, Island und den Niederlanden mit jeweils zwischen 83 und 72 Differenzpunkten. Länder, in denen sich Schüler/innen mit und ohne Migrationshintergrund in Bezug auf die Lesekompetenz nicht signifikant voneinander unter-scheiden, sind Israel, Kroatien, die USA, Kanada, Neuseeland und Malta. Wird der sozioökonomische Status der Schüler/innen mit und ohne Migrationshintergrund betrachtet (siehe Anhangstabelle A11), zeigt sich, dass beinahe in allen Vergleichsländern Jugendliche mit Migrationshintergrund einen niedrigeren sozioökonomischen Status haben als Ein-heimische. In zwei der zuvor angeführten Staaten, Malta und Neuseeland, ist das Gegenteil erkennbar. Jugendliche mit Migrationshintergrund weisen einen ähnlichen oder signi-fikant höheren sozioökonomischen Status auf als jene ohne Migrationshintergrund.

80

100

20

40

60

20

0

Diff

eren

z in

der

Les

ekom

pete

nz

ohn

e M

igra

tions

hint

ergr

und

bess

erm

it M

igr.

bess

er

AU

T

4

1

MLT

31

51

GR

C

11

35

LUX

8

11

ISR

42

74

ISL

21

43

ITA

1

10

HR

V

29

52

CH

E

37

63

49

72

NLD

24

32

PR

T

28

52

FRA

37

61

BE

L

40

63

SV

N

33

63

DE

Um

34

52

NO

R

43

65

DN

K

98

AU

Sm

9

20

GB

R

7

7

US

A

12

NZL

63

83

SW

E

9

14

IRL

69

92FI

N

1

3

CA

N

33

39

ES

T

Differenz in der Lesekompetenz zwischen Jugendlichen mit und ohne Migrationshintergrund

unter Konstanthaltung des SESabsolut

Eine helle Schattierung zeigt an, dass die Differenz nicht statistisch signifikant ist (p ≥ .05). m Angaben zum Migrationshintergrund fehlen von ≥ 10 % der Schüler/innen.

Abbildung 5.3.2: Mittelwertunterschiede in Lesen zwischen Jugendlichen mit und ohne Migrationshintergrund (absolut und unter Konstanthaltung des sozioökonomischen Status)

Anmerkung: 26 OECD-/EU-Länder mit mehr als 5 % Jugendlichen mit Migrationshintergrund absteigend nach dem Mittelwert in Lesen gereiht.Quelle: PISA 2018.


In allen Vergleichsländern, in denen Schüler/innen mit Migrationshintergrund eine signifikant schwächere Lese-kompetenz aufweisen als jene ohne Migrationshintergrund, kann dieser Leistungsnachteil zum Teil durch einen eben-falls signifikant schlechteren sozioökonomischen Status der Jugendlichen mit Migrationshintergrund erklärt werden. Dies gilt auch für Österreich: Wenn der sozioöko-nomische Status statistisch kontrolliert wird, reduziert sich die Leistungsdifferenz in Österreich von 63 auf 37 Punkte (siehe rote Balken in Abbildung 5.3.2). Damit erbringen in Österreich Schüler/innen mit Migrationshintergrund auch unter Berücksichtigung ihres niedrigeren sozioökonomischen Status eine signifikant geringere Leseleistung als jene ohne Migrationshintergrund. Auch nach der Kontrolle des sozio-ökonomischen Status bleibt Finnland das Vergleichsland mit der höchsten Leistungsdifferenz und auch Österreich ist weiterhin unter den Ländern mit den größten Leistungs-unterschieden.

Lesekompetenz von Schülerinnen und Schülern mit und ohne Migrationshintergrund bei PISA 2015 und PISA 2018 in Österreich im Vergleich

In diesem Abschnitt werden die Leistungen von Schülerinnen und Schülern mit und ohne Migrationshintergrund für Öster-reich für die Erhebungsjahre 2015 und 2018 dargestellt, um direkte Vergleiche der Leistungspunkte sowie Veränderungen der Lesekompetenz erläutern zu können.

Wie in Abbildung 5.3.3 ersichtlich ist, hat sich die Leistungs-differenz der Schüler/innen mit und ohne Migrationshinter-grund in der Domäne Lesen von 2015 auf 2018 um einen Punkt verringert (nicht signifikant). Diese beiden Gruppen unterscheiden sich in ihrer Lesekompetenz innerhalb der beiden Erhebungsjahre (2015 und 2018) daher nach wie vor signifikant. Darüber hinaus kann festgestellt werden, dass sich die Leseleistung seit 2015 bei den Schülerinnen und Schülern ohne Migrationshintergrund um einen Punkt und bei jenen mit Migrationshintergrund um zwei Punkte erhöht (nicht signifikant) hat. Nach Konstanthaltung des

sozioökonomischen Status (SES) zeigt sich im Vergleich zu 2015, dass 2018 eine geringere Leistungsdifferenz zwischen Jugendlichen mit und ohne Migrationshintergrund vorliegt. Ein Vergleich der Lesekompetenz für Schüler/innen mit und ohne Migrationshintergrund über alle Erhebungszeitpunkte von PISA 2000 bis PISA 2018 ist in Kapitel 6 zu finden. Die Mittelwerte für die Schüler/innen mit und ohne Migrations-hintergrund ab PISA 2000 können der Anhangstabelle A12 entnommen werden.

mit Migrationshintergrund

2015

absolut

Erhebungsjahr

unter Konstant-haltung des SES

2018

Lese

kom

pete

nzho

chni

edrig

Leistungsdifferenz(ohne Mig. – mit Mig.):

64*

41*

63*

37*

ohne Migrationshintergrund

* Differenz zwischen den beiden Gruppen je Erhebung statistisch signifikant (p < .05)


400

450

500

550

Abbildung 5.3.3: Zeitvergleich der Lesekompetenz von Schülerinnen und Schülern mit und ohne Migrations-hintergrund



6 Die Kompetenzen der österreichischen Schüler/innen im Zeitvergleich

Michael Bruneforth, Iris Höller

Ein zentrales Ziel von PISA ist es, Schülerkompetenzen im Zeitverlauf zu erheben und damit Trendvergleiche anzustellen. Seit der ersten PISA-Erhebung im Jahr 2000 sind beinahe 20 Jahre vergangen, in denen es zu tief-greifenden gesellschaftlichen Veränderungen, etwa im Bereich der Informations- und Kommunikationstechnologien, aber auch zu neuen Entwicklungen in Theorie und Praxis in den Bereichen Schule, Lernen und Bildungsforschung kam. PISA hat auf diese Veränderungen reagiert und einige Neuerungen in Testdesign, Erhebungsmodus und Mess-design implementiert. Diese sinnvollen und notwendigen Änderungen haben allerdings zur Folge, dass die Daten aus den Erhebungen ab PISA 2015 nur mehr eingeschränkt mit jenen aus PISA 2000 bis 2012 vergleichbar sind. Im vorliegenden Kapitel werden deshalb zuerst die wesentlichen Änderungen und Besonderheiten in der Durch-führung von PISA in Österreich seit 2000 dargestellt und sich daraus ergebende Hinweise zur Interpretation der Zeitreihen gegeben. Danach werden im zweiten Teil des Kapitels die Ergebnisse der Trendanalysen in den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft präsentiert.

6.1 Kontinuität und Anpassung: Überlegungen zum Zeitvergleich in internationalen Schulleistungsstudien

International vergleichende Schulleistungsstudien existieren bereits seit den 1960er Jahren. Für die frühen Studien war der Vergleich zwischen Ländern zu einem gegebenen Zeitpunkt der zentrale Aspekt des Studiendesigns, während die Möglich-keit von Vergleichen über die Zeit eher auf der nationalen Ebene ermöglicht werden sollte (z. B. Elley, 1992, S. 3). Der Anspruch, dass internationale Ländervergleiche sowohl länderübergreifend als auch über die Zeit hinweg vergleich-bare Kompetenzmessungen ermöglichen sollen, etablierte sich mit den Studien TIMSS 1999 (Martin, Gregory & Stemler, 2000) und PISA 2000 (OECD, 1999).

Mit diesem erweiterten Anspruch ändern sich die Notwendig-keiten des Studiendesigns. Das Ziel des aktuellen Länder-vergleichs muss nun bei gleichzeitiger Beachtung zweier weiterer Ziele verfolgt werden: der Beobachtung der Trends innerhalb einzelner Länder und dem Ziel der Vergleichbar-keit dieser Trends über Länder hinweg. Damit geht ein er-heblicher Zuwachs in der Komplexität des Studiendesigns und große Herausforderungen an die methodischen Ansätze der Skalierung der Leistungsdaten einher, die nicht ohne Kompromisse zwischen Zielen erreicht werden können. Das Ziel der Trendberichterstattung im internationalen Vergleich ist mit dem Anspruch verbunden, Testmaterial zu entwickeln, das über Länder und über die Zeit hinweg Kompetenzen jeweils auf gleiche Art misst. Sollen Veränderungen in den Ländern beobachtet werden, sollten die Beobachtungs-instrumente tunlichst nicht verändert werden. John Tukey

und Albert E. Beaton formulieren diesen Anspruch als Prä-misse für Trendstudien: „If you want to measure change, do not change the measure“ (zitiert nach Mullis, Cotter, Fishbein & Centurino, 2016, 1.1). Allerdings steht dieser statische Anspruch in starkem Konflikt mit der Notwendig-keit, Bildungsstudien an die sich ändernden Bedingungen von Schule und Lernen anzupassen (Mullis et al., 2016). Mit jeder neuen Runde einer internationalen Vergleichsstudie stellt sich somit die Frage, inwieweit die Balance zwischen Kontinuität der Messung und Innovation des Studiendesigns gefunden werden konnte und inwieweit Daten über die Zeit hinweg vergleichbar sind.

PISA wird in je neunjährigen Zyklen durchgeführt, wobei innerhalb eines Zyklus alle drei Jahre ein anderes der ge-testeten Fächer (Lesen, Mathematik, Naturwissenschaft) als Schwerpunkt erhoben wird. Mit PISA 2018 begann der ins-gesamt dritte Erhebungszyklus. Die Entwicklung der Inhalte von PISA ist spätestens seit Beginn des zweiten Zyklus (2009) durch das Bestreben motiviert, sowohl Vergleichbarkeit im Längsschnitt zu sichern als auch in den Konzepten inhalt-liche und methodische Neuentwicklungen und Änderungen der Informationsbedürfnisse der PISA-Stakeholder zu be-rücksichtigen (OECD, 2010a, S. 20). Dies schlägt sich in kontinuierlicher Weiterentwicklung der zu messenden Konstrukte und in Änderungen der Testadministration, Methodik und der Inhalte der Kontextbefragungen nieder. Einige Innovationen in PISA können in gesonderten Er-hebungen umgesetzt werden, ohne großen Einfluss auf die Vergleichbarkeit. Dies betrifft z. B. die Erweiterung von PISA um innovative Domänen wie das kollaborative Problemlösen (Suchań & Itzlinger-Bruneforth, 2017).

82 6 – Die Kompetenzen der österreichischen Schüler/innen im Zeitvergleich

6.2 Änderungen bis PISA 2012

PISA strebt eine kontinuierliche Weiterentwicklung der Definition von Kompetenzen, d. h. der zu messenden Konstrukte, an. Dies schlägt sich seit Beginn des zweiten PISA-Zyklus in der regelmäßigen Überarbeitung der Frameworks (Rahmenkonzepte) nieder (OECD, 2010a, 2013). So wurden für PISA 2009 mit der Überarbeitung des Frameworks Veränderungen bei der Analyse der Lese-gewohnheiten berücksichtigt und die Tests erweitert: „Bei PISA 2000 wurde untersucht, wie gut die Schülerinnen und Schüler Informationen ermitteln. PISA 2009 prüfte zudem, wie gut sie Informationen suchen und extrahieren können. PISA 2000 untersuchte, wie gut die Schüler das Gelesene interpretieren können. PISA 2009 fragte zudem, wie gut sie es gedanklich kombinieren können. Wie bereits in PISA 2000 wurde auch in PISA 2009 untersucht, wie die Schülerinnen und Schüler über das Gelesene reflektieren und es bewerten“ (OECD, 2010b, S. 21). Auf ähnliche Weise wurden die Rahmenkonzepte für Mathematik und Natur-wissenschaft aktualisiert. Aus Sicht der Studienverantwort-lichen wird jedoch nicht angenommen, dass die Anpassung der Rahmenkonzepte die Vergleichbarkeit der Kompetenzen zwischen dem ersten und zweiten PISA-Zyklus signifikant be-einträchtigt. Die weitere Entwicklung des Lese-Frameworks bis 2018 wird in Abschnitt 6.3 beschrieben.

Ab PISA 2009 begann die OECD zusätzlich zu den Papier-und-Bleistift-Tests die Verwendung computerbasierter Test-umgebungen zu erproben. Dies war zuerst notwendig, um im Lesen die sich wandelnden Lesebedingungen und die damit steigende Bedeutung elektronischen Lesens abzubilden und die im überarbeiteten Rahmenkonzept entsprechend er-weiterten Kompetenzen zu erfassen. In PISA 2009 wurde die Haupterhebung in einigen Ländern, darunter Österreich, mit einer gesonderten Testung des elektronischen Lesens ergänzt, sodass der eigentliche Lesetest noch in Kontinuität zu den Prozessen seit PISA 2000 fortgeführt wurde (OECD, 2011).

In PISA 2009 wurden im Rahmen einer Teilstichprobe 2.662 Schüler/innen sowohl im Lesen gedruckter Texte als auch im elektronischen Lesen getestet. Dabei zeigten Österreichs Schüler/innen im elektronischen Lesen signifikant schlechtere Leistungen als im Lesen gedruckter Texte. Während sich im Schnitt der 16 teilnehmenden OECD-Länder elektronisches und herkömmliches Lesen nicht unterschied, lag die Punkt-zahl der Schüler/innen in Österreich im elektronischen Lesen um 11 Punkte unter der Leistung im herkömmlichen PISA-Lesetest (Schwantner & Schreiner, 2011). Auch wenn sich die Umstände des elektronischen Lesens und Testens seit 2009 erheblich geändert haben, mitunter auch wegen der ge-wachsenen Vertrautheit der Schüler/innen mit elektronischen Geräten und Medien, ist PISA 2009 ein Indiz dafür, dass Effekte der Testdurchführung (elektronisch vs. Papier) deut-lich sein können und dass diese Effekte im Ländervergleich unterschiedlich stark ausgeprägt sein können.

Mit PISA 2012 wurde die explorative Arbeit mit computer-gestützten Tests für Mathematik fortgeführt und die für die Lesekompetenz wiederholt (OECD, 2014). Hier bestätigte sich der 2009 für Österreich beobachtete Leistungsunter-schied zwischen dem elektronischen und dem papierbasierten Lesen. Allerdings zeigte sich im Bereich Mathematik kein signifikanter Unterschied zwischen Papier- und Computer-tests (OECD, 2014, Anhang B3). Für Österreich sind die Ergebnisse dieser Erhebung ein deutliches Indiz, dass die Einflüsse der Testadministration auf die Ergebnisse nicht un-abhängig von den Kompetenzbereichen sind und zwischen teilnehmenden Ländern stark divergieren. Die computer-basierten PISA-Testungen 2009 und 2012 hatten allerdings nicht zum Ziel, zu untersuchen, inwieweit unterschiedliche Arten der Testdurchführung bei sonst gleichen Testinhalten die Messungen beeinflussen und ersetzen somit keine Mode-Effect-Studien. Es wurden in diesen computerbasierten Er-gänzungen ausdrücklich Aufgaben verwendet, die Möglich-keiten des elektronischen Testens ausnutzen und sich in ihrer Natur von papierbasierten Aufgaben unterscheiden. Eine Mode-Effect-Studie müsste Aufgaben verwenden, die für den Einsatz in gedruckten Heften und elektronischen Testumgebungen gleichermaßen geeignet sind. Trotzdem sind die Ergebnisse der Studie ein Indiz, dass Österreichs Schüler/innen beim Lesen am PC 2009 andere Leistungs-muster zeigen als auf dem Papier.

Zusätzlich zu den genannten Änderungen und Fortent-wicklungen der PISA-Studie haben auch Umstände der konkreten Umsetzung der PISA-Studie Einfluss auf die Vergleichbarkeit der Ergebnisse über die Zeit. Für Öster-reich sind zwei Beispiele zu nennen.

Zwischen PISA 2000 und PISA 2003 wurden die Stich-probendefinition für Österreich angepasst und die Regeln der OECD präzisiert, um mangelnde Repräsentativität der Stichprobe im Bereich der Berufsschulen zu korrigieren (Lang, Reiter, Schwantner & Bergmüller, 2004, S. 21). Die Korrekturen hatten deutlichen Einfluss auf den Vergleich der Ergebnisse der Jahre 2000 und 2003 (Neuwirth, 2006). Die entstandenen Probleme der Vergleichbarkeit konnten durch eine neue Gewichtung der Datensätze korrigiert werden und haben in der Berichterstattung seit 2006 keinen Einfluss mehr auf die Vergleichbarkeit der Daten. Im Rahmen der Analysen zu PISA 2003 wurde allerdings deutlich, dass die verbesserte Stratifizierung der Stichprobe 2003 noch nicht sicherstellen konnte, dass die Stichprobe im Hinblick auf die Geschlechterverteilung repräsentativ ist (Bacher & Paseka, 2006), worauf nach PISA 2003 die Prozesse der Stichproben-ziehung weiter verbessert wurden.

Zur Zeit der PISA-2009-Erhebung kam es infolge einer Auseinandersetzung zwischen der Lehrergewerkschaft und dem Unterrichtsministerium zu einem Boykott-Auf-ruf, worauf an einigen Schulen einzelne Schüler/innen (ca. 220) die Testungen verweigert oder gestört haben. Für die


Interpretation der PISA-2009-Daten stellt sich die Frage, wie groß der Einfluss der Ereignisse auf die Ergebnisse und somit Messung von Trends ist. Während einige Gutachten die Nutzbarkeit der Daten für entsprechende Veröffent-lichungen als gegeben ansehen (Verstralen & Béguin, 2010; Carstensen, 2010) und aufzeigen, dass die bereinigte Stich-probe repräsentativ ist (Bacher, 2012), nimmt die OECD eine konservative Position ein. Sie sieht die Vergleichbar-keit der Erhebungsdaten des Jahres 2009 mit denen anderer PISA-Erhebungen als nicht gewährleistet an und schließt die österreichischen Daten aus den Trendvergleichen aus, ob-wohl die objektiven Qualitätsstandards erfüllt sind (OECD, 2010b, 2010c, S. 26).

Als Zwischenfazit kann festgehalten werden, dass es bei den PISA-Testungen von 2000 bis 2012 einige Änderungen und Entwicklungen gab, die bei der Interpretation der Trends zu beachten sind, aber kein starker Bruch in der Zeitreihe festgestellt werden kann. Die verwendeten Methoden der Testadministration und die grundlegenden Testkonstrukte waren über die Zeit in den wesentlichen Punkten vergleich-bar, etwaige Einschränkungen der Vergleichbarkeit durch konkrete Besonderheiten in der Implementation in Öster-reich konnten entweder durch methodische Korrekturen ausgeglichen werden (PISA 2000) oder wurden hinreichend untersucht und können als weitestgehend hinnehmbar an-gesehen werden (PISA 2009).

6.3 Änderungen ab PISA 2015

Umstellung von papierbasierter auf computerbasierte Erhebung

Die vermutlich folgenreichste Änderung in der Durch-führung von PISA ist die Umstellung der gesamten Erhebung (kognitive Testaufgaben und Fragebögen) von einer papier-basierten Durchführung auf eine computerbasierte Durch-führung. Seit 2015 werden die PISA-Erhebungen computer-basiert durchgeführt. Nur neun Länder nutzen 2018 die Option, weiterhin papierbasiert zu testen, allerdings unter Anwendung des veralteten Frameworks von PISA 2009 und reduzierter Vergleichbarkeit mit anderen Ländern (OECD, 2019b). Eine ausführlichere Darstellung dazu bieten Suchań & Breit (2016a). Die Umstellung auf computerbasierte Ver-fahren mit den verbundenen Vor- und Nachteilen wird aktuell bei allen großen internationalen Kompetenztests vollzogen, wie bei den Studien Programme for the International Assess-ment of Adult Competencies (PIAAC 2012), Trends in Inter-national Mathematics and Science Study (TIMSS 2019) und aktuell Progress in International Reading Literacy Study mit digitalPIRLS 2021.

Eine computerbasierte Durchführung ermöglicht auch den Einsatz neu entwickelter Aufgabenformate (z. B. interaktive

Aufgaben zur Simulation von Experimenten), ein Potenzial, das 2015 noch nicht voll ausgeschöpft werden konnte und mit der graduellen Anpassung der Frameworks (Lesen 2018, Mathematik 2021) stärker genutzt werden soll (vgl. weiter unten zum Lese-Framework). Frühere computerbasierte Sondererhebungen (siehe Abschnitt 6.2) haben die Um-stellung vorbereitet und bereits darauf hingedeutet, dass computerbasierte Durchführungen mit Verschiebungen in den Leistungsmustern zwischen Teilgruppen und Ländern einhergehen können. Dies zeigt, dass diese Umstellung eine Reihe von Implikationen und Auswirkungen auf die Inter-pretation der Daten und Zeitreihen mit sich bringt. Um zu überprüfen, ob und welche Auswirkung ein Umstieg auf eine computerbasierte Testung auf die Vergleichbarkeit der Ergebnisse hat, wurde von der OECD im Rahmen des Feldtests zu PISA 2015 eine Mode-Effect-Studie für die ver-schiedenen Domänen von PISA durchgeführt (OECD, 2017, S. 155–162). Diese zeigte auf länderübergreifende Ebene, d. h. im Schnitt der Länder, keine Einflüsse, die in ihrem Ausmaß über Zufallsschwankungen beim internationalen Vergleich hinausgingen. Die OECD weist somit darauf hin, dass die Ergebnisse zwischen den beiden Erhebungsmodi auf internationaler Ebene (bei Betrachtung aller PISA-Teil-nehmerländer) vergleichbar sind. Die von der OECD be-richteten Ergebnisse der Mode-Effect-Studie sind allerdings mit der Einschränkung verbunden, dass durch das Design dieser Studie lediglich Aussagen über die Schüler/innen aller Teilnehmerländer hinweg möglich sind, aber keine aussagekräftigen Rückschlüsse für einzelne Länder. Bedeut-same Mode-Effects einzelner Länder werden nicht sichtbar, wenn sich diese im Schnitt der Länder ausmitteln. Jerrim, Micklewright, Heine, Salzer & McKeown (2018) zeigen am Beispiel von drei Ländern, dass der Mode-Effect bei PISA 2015 für einzelne Länder sehr wohl bedeutsam sein kann. Sie kommen jedoch zu dem Schluss, dass die Ad-justierungen der Leistungsskalen, wie von der OECD vor-gesehen, die Folgen des Mode-Effects erfolgreich auch für einzelne Länder reduzieren können. Dazu wurden Items mit länderspezifischem Mode-Effect bei der Verlinkung der Tests über die Zeit für einzelne Länder ausgeschlossen bzw. mit eigens berechneten Parametern verwendet. Anhand von Daten des Feldtests zu PISA 2015 in Deutschland belegen Robitzsch et al. (2016) Verzerrungen der Trendschätzung für Deutschland aufgrund der Umstellung auf computerbasierte Testadministration. Auch Sälzer & Reiss (2016) finden auf Basis derselben Daten für Deutschland Hinweise auf einen bedeutsamen Mode-Effect in Deutschland, welcher bei den Naturwissenschaftsitems am größten und bei den Leseitems am geringsten aufscheint. Auch für die Schweiz deuten Feld-testanalysen auf einen bedeutsamen Mode-Effect hin, sodass die Schweiz für PISA 2015 auf die Darstellung von Leistungs-veränderungen über die Zeit verzichtet hat (Konsortium PISA.ch, 2018). Leider konnten in Österreich aufgrund des von der damaligen Bildungsministerin verfügten Erhebungs-stopps in der Feldtestphase zu PISA 2015 keine Daten er-hoben werden, die einen direkten Vergleich von computer-


basierten Testaufgaben mit Papier-und-Bleistift-Test erlauben (Suchań & Breit, 2016a, S. 13). Für Österreich gibt es also aus dem Feldtest 2015 keine Möglichkeit, den Mode-Effect abzuschätzen, die Ergebnisse aus PISA 2009 können nur Indizien liefern.

Methodische Änderungen in der Skalierung

Zeitgleich mit der Umstellung der PISA-Erhebung auf computerbasierte Testungen wurde auch das auf der Item-Response-Theory (IRT) basierende Skalierungsverfahren von PISA umgestellt (OECD, 2017; Suchań & Breit, 2016a). Das vorher verwendete Ein-Parameter-IRT-Modell wurde durch ein Zwei-Parameter-IRT-Modell ersetzt. Dabei wurden Itemschwierigkeiten nun auf Basis der kombinierten Er-hebungsdaten von 2009 bis 2018 berechnet, anstatt wie bisher nur auf Basis der aktuellen Erhebung. Dadurch wurden Trendschätzungen stabiler und weniger abhängig von Schwankungen einzelner Erhebungen. Zusätzlich wurde die Behandlung nicht bearbeiteter Items geändert, wobei nicht bearbeitete Items von nun an nicht als falsch gewertet, sondern nicht berücksichtigt werden und die Zahl der nicht bearbeiteten Items in das Hintergrundmodell der Skalierung einfließt.

Adaptives Testen

Mit PISA 2018 wurde die computerbasierte Administration der Erhebung weiterentwickelt und erstmals für Lesen ein adaptives Testformat verwendet, ein sogenanntes Multistage Design (Multistage Adaptive Tests, MAT) (Yan, von Davier & Lewis, 2014). Wurden bisher den Schülerinnen und Schülern vorbestimmt zufällige Aufgaben aus allen Schwierigkeits-niveaus zugewiesen, werden beim computeradaptiven Testen (CAT) Aufgaben während der Testdurchführung auf Basis der vorherigen Antworten ausgewählt, die etwa dem bis dahin gezeigten Können der getesteten Person entsprechen. Somit erhöht man bei gleicher Testdauer die Messgenauigkeit in dem Fähigkeitsbereich, in dem die Schülerin/der Schüler vermutlich liegt, und erhält mehr relevante Informationen.

Wenn Ergebnisse von Tests auf Individualebene rückgemeldet werden, d. h., die Rückmeldung an einzelne Individuen im Fokus der Testung/Messung steht, werden solche CAT-Modelle eingesetzt, die nach jeder einzelnen Aufgabe ent-scheiden, welche Aufgabe als Nächstes folgt. Bei Schul-leistungsstudien interessieren die Ergebnisse auf Ebene von Gruppen und dem System als Ganzes. Dafür gilt das MAT-Design als geeigneterer Ansatz zur Umsetzung von CAT (Yamamoto, Shin, & Khorramdel, 2018). Die OECD hat diesen Ansatz mit der an PISA angelehnten Kompetenzstudie PIAAC 2012 bei Erwachsenen erstmals eingesetzt und auf den Erfahrungen aufbauend Design-Prozesse zum Einsatz von MAT für PISA 2018 entwickelt (Yamamoto et al., 2018).

Für die Anwendung des MAT-Designs liegen die Testauf-gaben in einer großen Anzahl von Item-Blöcken unterschied-licher Schwierigkeit vor. Aus diesen vorgefertigten Blöcken werden den Testpersonen jeweils in Schritten Blöcke zu-gewiesen. Ab dem zweiten Schritt wird den Testpersonen ein Block entsprechend ihrer bisherigen Leistung zugewiesen. Bei PISA 2018 wurde ein MAT-Design mit 3 Schritten eingesetzt (Yamamoto et al., 2018; OECD, 2019c). Für den ersten Schritt (Core) stehen 8 Item-Blöcke gleicher Schwierigkeit zur Wahl, für die beiden Folgeschritte stehen jeweils 8 ein-fache und 8 schwierige Item-Blöcke zur Zuordnung bereit. Im ersten Schritt (Core) wird jeder Schülerin/jedem Schüler ein zufälliger Block zugewiesen. Nachdem die Schülerin/der Schüler alle Items innerhalb ihres/seines Blocks be-arbeitet hat, wird ihre/seine Leistung geschätzt. Anschließend wird ihr/ihm ein Block aus Stage 1 zugewiesen. Der so zu-gewiesene Block hängt von der Performanz der Schülerin/des Schülers ab. Nach Abschluss des Item-Blocks aus dem zweiten Schritt (Stage 1) wird das Können erneut geschätzt und es wird ein weiterer passender Block zufällig zugewiesen. Dies geschieht in Abhängigkeit der Performanz aller bisher bearbeiteter Items. Bei dem in PISA verwendeten Design wird die leistungsbedingte Zuordnung der Aufgaben für einige Schüler/innen nach dem Zufallsprinzip durchbrochen, d. h., manchmal werden leistungsstarken Personen doch leichte Item-Blöcke zugewiesen und leistungsschwachen Personen doch schwere Item-Blöcke. So wird sichergestellt, dass alle Aufgaben, leichte wie schwere, auch von einer Minimalanzahl von Schülerinnen und Schülern aller Leistungsniveaus be-arbeitet werden (Yamamoto et al., 2018).

Mit der Anwendung des adaptiven Testens geht die Er-wartung einher, dass die Effizienz der Leistungsmessungen, d. h. die Messgenauigkeiten bei gleicher Anzahl der ver-wendeten Items, steigen. Yamamoto et al. (2018) zeigen für PIAAC 2012 einen Effizienzgewinn in der Messung zum Lesen von 10 % bis 30 %, wobei der Genauigkeitszuwachs wie erwünscht bei relativ schwachen und starken Leserinnen und Lesern stärker ausfällt und somit ein Ausgleich dafür eintritt, dass Kompetenztests häufig in den Randbereichen weniger gut messen. Bei Leserinnen und Lesern im mittleren Kompetenzbereich ist der Genauigkeitszuwachs geringer. Für PISA 2018 deuten ihre Berechnungen auf Basis des Feldtests allerdings auf deutlich geringere Effizienzgewinne von 4,5 % bis 7 % hin (Yamamoto et al., 2018).

Ein Umstieg auf adaptives Testen bedeutet auch, Ein-schränkungen in Kauf zu nehmen. Zum Beispiel kann die Schülerin/der Schüler bei fortschreitender Bearbeitung des Tests nicht mehr zurück zu vorherigen abgeschlossenen Auf-gaben springen und Antworten revidieren (OECD, 2019c). Dies kann im Zusammenhang mit Prüfungsstrategien der Schüler/innen einen Einfluss auf deren gezeigte Leistungen haben (Parshall, Spray & Kalohn, 2002).


Verschiebung des Testfensters bei PISA 2015 in Österreich

Im Zuge des von der damaligen Bildungsministerin verfügten Erhebungsstopps im Jahr 2014 wurde der Zeitplan für PISA 2015 geändert. Eine Vereinbarung zwischen Ministerium und OECD erlaubte es, den Feldtest zu PISA 2015 im Früh-ling 2015 (dem eigentlichen Termin des Haupttests) und die Haupterhebung im Herbst 2015 durchzuführen. Dies stellt im Vergleich zu den ersten fünf PISA-Runden eine wesentliche Veränderung der österreichischen Projektimplementierung dar, ermöglichte aber insgesamt eine Beteiligung Österreichs an PISA 2015, nachdem der Erhebungsstopp aufgehoben worden war (Suchań & Breit 2016a, S. 13). Mit PISA 2018 kehrt Österreich zur üblichen Projektimplementierung zurück. Eine Anpassung der Zielgruppendefinition erlaubte es auch in PISA 2015, die internationalen Vorgaben der Stich-probendefinition zu erfüllen. Diese internationale Vorgabe sieht vor, dass die PISA-Population aus allen Schülerinnen und Schülern besteht, die zum Testzeitpunkt zwischen 15 Jahre und drei Monate und 16 Jahre und zwei Monate alt sind und mindestens die 7. Schulstufe besuchen. Für PISA 2015 bezog sich diese Definition auf einen Zeitraum am Ende des Schuljahres, für alle anderen PISA-Jahre, also auch für die aktuelle Studie PISA 2018, bezieht sich diese Definition auf einen Zeitraum zu Beginn des Schuljahrs. Die einmalige Ver-legung des Testfensters 2015 auf den Herbst geht einher mit einer Änderung der Struktur der Stichprobe. Diese Änderung zeigt sich unter anderem in einer Verschiebung bei den Schul-stufen: Etwas über 70 % der Schüler/innen waren 2015 in der 10. Schulstufe und nur etwa 20 % in der 9. Schulstufe; in der Erhebung 2018 hingegen waren knapp 50 % in der 10. Schulstufe und etwa 45 % in der 9. Schulstufe. Um-gerechnet auf „Lernmonate“, die die Schüler/innen zum Test-zeitpunkt „absolviert“ haben, ergibt sich kein Unterschied, allerdings gab es mehr Schüler/innen, die schon vergleichs-weise längere Zeit in der beruflichen Bildung nach einem fachsegregierten Curriculum unterrichtet wurden. Da die Schul- und Fachwahl in der Sekundarstufe II stark mit dem Geschlecht zusammenhängt, hat diese veränderte Struktur der Stichprobe vermutlich Einfluss auf die Ergebnisse von PISA 2015 zum Geschlechterunterschied, wie es sich schon 2003 bei ähnlichen auf die Schulsparten bezogenen Stich-probenverzerrungen gezeigt hat (Bacher & Paseka, 2006). Auch ging die Verschiebung des Testfensters in den Herbst 2015 damit einher, dass die Out-of-School-Population, d. h. die Anzahl der Jugendlichen, die nicht mehr in die Schule gingen und somit nicht Teil der PISA-Stichprobe waren, mit 6,1 % um einen Prozentpunkt höher lag als in anderen PISA -Erhebungen. Dadurch waren viele leistungsschwache Jugendliche nicht in der Zielpopulation, die bei den üblicher-weise im Frühjahr durchgeführten PISA-Erhebungen noch die Schule besuchen und Teil der Zielpopulation sind. Diese

1 Der folgende Abschnitt beruht auf dem Text zum PISA-2018-Framework (OECD 2019b). Vgl. auch Höller & Toferer, 2019.

Verschiebung der Zielpopulation hat auch Auswirkungen auf die Geschlechterunterschiede (Salchegger & Suchań, 2017).

Änderungen im LeseFramework bei PISA 20181

Bei PISA wird für jeden der drei Kompetenzbereiche – Lesen, Mathematik und Naturwissenschaft – zu Beginn jedes Er-hebungsdurchgangs eine Rahmenkonzeption entwickelt, die sogenannten Frameworks, die die theoretische Basis für die Kompetenzbereiche bilden. In jedem Zyklus wird eine der drei Hauptdomänen schwerpunktmäßig erfasst und auch das jeweilige Framework grundlegend überarbeitet. Lesen war bei PISA 2018 nach PISA 2000 und 2009 zum dritten Mal Hauptdomäne. Das ursprüngliche Lese-Framework wurde für den PISA-2000-Zyklus (OECD, 1999) entwickelt. Das Wesentliche dieses Frameworks wurde für PISA 2009 bei-behalten, um einem der zentralen Ziele von PISA, dem Erfassen und Berichten von Trends über Leistungen in Lesen, Mathematik und Naturwissenschaft, Rechnung zu tragen. Die PISA-Frameworks sind jedoch darauf ausgelegt, Dokumente zu entwickeln, die sich an neue Entwicklungen in Theorie und Praxis anpassen und diese integrieren. Des-halb wurde das Lese-Framework nach PISA 2009 (OECD, 2010a) auch für PISA 2018 (OECD, 2019b) erneut über-arbeitet. Eine solche Überarbeitung ist notwendig, da sich sowohl die Definition von Lesekompetenz als auch die Zusammenhänge, in denen Lesen im täglichen Leben der Menschen angewendet wird, geändert haben. Neue Techno-logien haben die Art und Weise, wie Menschen lesen und Informationen austauschen, verändert, sowohl zu Hause als auch am Arbeitsplatz. Eine Folge der zunehmenden Ver-breitung von Informations- und Kommunikationstechno-logien (IKT) ist die Verlagerung des Lesens von gedruckten zu digitalen Texten. Die Menschen müssen heute in dem, was sie lesen, selektiv sein, während sie gleichzeitig mehr, öfter und für vielfältigere Zwecke lesen. Darüber hinaus müssen Leser/innen im digitalen Zeitalter auch einige neue Fähigkeiten beherrschen. So müssen sie zumindest minimale IKT-Kenntnisse haben, um Geräte und Anwendungen zu verstehen und zu bedienen. In vielen Teilen der Welt ist daher die digitale Lesekompetenz der Schlüssel dazu, die eigenen Ziele zu erreichen und an der Gesellschaft teilzuhaben. In der Vergangenheit war das Hauptinteresse bei der Bewertung der Lesekompetenz die Fähigkeit, einzelne Texte zu verstehen, zu interpretieren und zu reflektieren. Obwohl diese Fähig-keiten wichtig bleiben, erfordert das stärkere Augenmerk auf die Integration von Informationstechnologien in das Sozial- und Arbeitsleben der Bürger/innen, dass die Definition der Lesekompetenz aktualisiert und erweitert wird. Sie muss das breite Spektrum neuer Fähigkeiten widerspiegeln, die für Lesekompetenz im 21. Jahrhundert erforderlich sind. Für PISA 2018 wurde das Framework in Bezug auf die folgenden Aspekte erweitert bzw. überarbeitet:


� Das Framework integriert das Lesen im traditionellen Sinne in die neuen Formen des Lesens, die in den letzten Jahrzehnten durch die Verbreitung digitaler Geräte und digitaler Texte entstanden sind.

� Das Framework enthält Konstrukte, die an grundlegen-den Leseprozessen beteiligt sind. Diese Konstrukte, wie etwa fließendes Lesen, wörtliche Interpretation, Satz-integration, Extraktion der zentralen Themen und das Ziehen von Schlussfolgerungen sind entscheidende Fähig-keiten für die Bearbeitung komplexer Texte.

� Die Organisation der Domäne wurde überarbeitet, um Lesevorgänge wie die Bewertung des Wahrheitsgehalts von Texten, die Suche nach Informationen, Lesen aus mehreren Quellen und Integrieren/Synthetisieren von Informationen aus mehreren Quellen miteinzubeziehen.

� Die Überarbeitung berücksichtigt, wie neue Technologien und die Verwendung von Szenarien in gedruckten und digitalen Texten genutzt werden können, um eine zuver-lässigere Erfassung der Lesekompetenz zu erzielen.

6.4 Zwischenfazit

PISA versucht in der Weiterentwicklung zwischen den je-weiligen Erhebungszyklen eine Balance zwischen notwendigen Änderungen und Modernisierungen einerseits und Kontinui-tät und Stabilität der Messungen andererseits zu finden. Allerdings bringen alle Änderungen in den Messungen, also auch kleine Anpassungen, Störungen in Zeitreihen mit sich, deren Ausmaß nicht genau quantifiziert werden kann. Somit bleibt die Frage, wann in der erhebungsübergreifenden Bericht-erstattung die Zeitreihe explizit als gebrochen berichtet werden sollte. In diesem Bericht wurde entschieden, die Zeitreihe sowohl für die Periode von 2000 bis 2012 als auch für 2015 bis 2018 als jeweils kontinuierlich zu berichten. Im Hauptteil des Berichts werden nur Analysen zu Ergebnissen der computer-basierten Testungen 2015 und 2018 präsentiert. Im Folgenden zweiten Teil dieses Kapitels wird der langfristige Trend aus PISA von 2000 bis 2018 zusammengefasst, allerdings mit klarer Betonung der Unsicherheit im Übergang von 2012 auf 2015. Dabei wird in den Abbildungen der Bruch der Zeitreihe zwischen 2012 und 2015 graphisch hervorgehoben. Damit sollen die Leser/innen bei der Interpretation der Ergebnisse im Übergang von papierbasierter auf computerbasierte Testung für die teilweise nicht abschließend beurteilbaren Einflüsse der Änderungen der Testadministration sensibilisiert werden. Da weder Verschiebungen der Skalen aufgrund eventueller Mode-Effects korrekt eingerechnet werden können noch die in dieser Analyse verwendeten Signifikanztests Linking-Fehler berücksichtigen, wird bei Vergleichen zwischen Jahren von Erhebungen vor 2015 mit 2015 oder 2018 von Signifikanz-tests abgesehen.

6.5 Trendanalysen

Vor dem Hintergrund der oben dargelegten Änderungen und deren Auswirkungen erfolgen in diesem Abschnitt die Analysen im Zeitverlauf von PISA 2000 bis PISA 2018, d. h., über den Bruch in der Zeitreihe hinausgreifend. Aus diesem Grund werden in den folgenden Abschnitten direkte Leistungsvergleiche nur bis einschließlich PISA 2012 und ab PISA 2015 durchgeführt.

Grundsätzlich sind bei PISA Trendvergleiche zwischen den einzelnen Erhebungen ab jenem Erhebungszeitpunkt mög-lich, ab dem die jeweilige Domäne erstmals schwerpunkt-mäßig erfasst wurde. Für Lesen ist das PISA 2000, für Mathe-matik PISA 2003 und für Naturwissenschaft PISA 2006.

Kompetenzen der österreichischen Schüler/innen in Lesen, Mathematik und Naturwissenschaft im Zeitvergleich

Im Folgenden wird dargestellt, wie sich die Leistungen der österreichischen Schüler/innen in den drei Bereichen Lesen, Mathematik und Naturwissenschaft entwickelt haben. Ab-bildung 6.5.1 zeigt für Österreich für die drei Kompetenz-bereiche die Entwicklung der Mittelwerte (rote Raute) sowie der Streuungen der Kompetenzen in Form des Perzentil-abstands. Dabei bildet jeder Balken den Leistungsbereich ab, in dem sich die mittleren 90 % der Schüler/innen be-finden, also das 5. bis 95. Perzentil. Der Wertebereich, in dem sich die mittleren 50 % befinden, ist hellgrau dargestellt. So wird neben den Veränderungen im Landesmittelwert ge-zeigt, wie sich der Leistungsabstand zwischen den besten und den schwächsten Schülerinnen und Schülern in Österreich verändert hat. Die Ergebnisse für alle Perzentile können An-hangstabelle A4 entnommen werden.

Für Lesen zeigt sich in Bezug auf die Mittelwerte im Zeitraum von 2000 bis 2012, dass diese mit Ausnahme von 2009 relativ konstant zwischen 490 und 492 Punkten liegen und sich die Ergebnisse der einzelnen Erhebungen damit statistisch nicht signifikant unterscheiden. Im Jahr 2009 allerdings liegt die Leseleistung deutlich und signifikant (20 Punkte) unter den anderen Jahren, wobei dieser Abfall möglicherweise zum Teil auf den Boykott 2009 zurückzuführen ist (siehe Abschnitt 6.2). Der Vergleich der Leseleistung zwischen den beiden Erhebungszeitpunkten 2015 und 2018 ergibt ein ähnliches Bild: Im Jahr 2015 beträgt der Mittelwert 485 Punkte, bei PISA 2018 sind es 484 Punkte. Die Differenz von weniger als einem Punkt ist statistisch nicht signifikant. Zudem zeigt sich, dass die Spanne zwischen den lesestärksten und lese-schwächsten Schülerinnen und Schülern, d. h. die Spann-breite der mittleren 90 % der Schüler/innen, zwischen 2015 und 2018 kleiner geworden ist und nun mit 323 Punkten wieder auf einem ähnlichen Niveau wie im Jahr 2000 liegt. Im Jahr 2012 ist die Spannbreite der mittleren 90 % mit 300 Punkten am kleinsten, im Jahr 2006 mit 353 Punkten


am größten. Bei PISA 2018 zeigt sich, dass die Grenze des 5. Perzentils von 308 auf 318 Punkte gestiegen ist, wenngleich dieser Anstieg statistisch nicht signifikant ist. Damit erzielen die unteren 5 % der österreichischen Jugendlichen etwas höhere Werte als noch 2015. Insgesamt sind die Leistungen der Jugendlichen tendenziell homogener geworden, die Leistungsunterschiede haben sich verringert.

Auch im Bereich Mathematik sind die Mittelwerte seit PISA 2003 relativ konstant. Für Mathematik liegen die Österreich-Mittelwerte für 2003, 2006 und 2012 immer gleich bei 505 bzw. 506 Punkten. Wie im Lesen zeigen sich bei PISA 2009 auch in Mathematik schwächere Ergebnisse, wobei dieser Abfall mit nur 10 Punkten deutlich geringer als in Lesen ist. Zwischen den letzten beiden Erhebungen hat sich der Mathematikmittelwert statistisch nicht signifikant von 497 Punkten (PISA 2015) auf 499 Punkte (PISA 2018) erhöht. Betrachtet man für Mathematik die Leistungsbereiche der mittleren 90 % der Schüler/innen (5. bis 95. Perzentil), zeigt sich, dass die Leistungen 2006 am stärksten streuen (319 Punkte Differenz zwischen dem 5. und 95. Perzentil). Bei PISA 2003 (305 Punkte Differenz) und 2012 (301 Punkte) sind die Mathematikleistungen etwas homogener. Im Jahr 2015 liegen die mittleren 90 % der Schüler/innen bei 311 Punkten, bei PISA 2018 sind es 305, womit die Streuung wieder auf demselben Niveau wie bei PISA 2003 liegt und etwas homogener als noch im Jahr 2015 ist.

Im Bereich Naturwissenschaft zeigt der Vergleich der Mittel-werte zwischen PISA 2006 und PISA 2012 einen leichten, statistisch nicht signifikanten Rückgang von 511 auf 506 Punkte. Zwischen PISA 2015 und PISA 2018 haben sich die Leistungen in Naturwissenschaft wiederum verringert, wobei diese Differenz ebenfalls statistisch nicht signifikant ist. Die Leistungsstreuung der mittleren 90 % der Schüler/innen hat sich im Zeitraum von 2006 bis 2012 von 321 auf 300 Punkte verringert, was andeutet, dass die Naturwissenschafts-leistung insgesamt homogener geworden ist. Mit der Um-stellung auf die computerbasierte Testung im Jahr 2015 steigt die Spanne auf 317 Punkte, während sich der mittlere Leistungsbereich zwischen PISA 2015 und PISA 2018 schließ-lich wieder auf 310 Punkte verringert hat. Dabei hat sich die Grenze des 95. Perzentils ebenfalls, wenngleich statistisch nicht signifikant, verringert (2015 652 Punkte und 2018 642 Punkte), während die Grenze des 5. Perzentils mit 332 bzw. 335 Punkten relativ konstant geblieben ist. Insgesamt ist die Naturwissenschaftsleistung im oberen Leistungsbereich damit im Jahr 2018 tendenziell etwas homogener als 2015.

Kompetenzen der Schüler/innen in Lesen, Mathematik und Naturwissenschaft im internationalen Zeitvergleich

Das primäre Anliegen von PISA ist es, Ländern die Beurteilung der Kompetenzen ihrer Schüler/innen im standardisierten Ver-gleich mit anderen Ländern zu erlauben. Diese Perspektive ist

350

300

400

450

500

550

600

650

700

00

Kom

pete

nzho

chni

edrig

250

03 06 09 12 15 18

MathematikLesen Naturwissenschaft

Erhebungs-jahr

03 06 09 12 15 18 06 09 12 15 18

5. 50. 75. 95.25.

Perzentile (%)

Mittelwert

Abbildung 6.5.1: Veränderung der Kompetenzen in Lesen, Mathematik und Naturwissenschaft in Österreich

Quellen: PISA 2000–2018.


auch bei der Analyse der zeitlichen Veränderungen von großem Interesse. Dabei ist auch bei der Gruppe der Vergleichsländer darauf zu achten, inwieweit sich die Kompetenzen über ver-schiedene Erhebungen hinweg verändern. Seit den Anfängen von PISA im Jahr 2000 hat sich sowohl die Gruppe der OECD-Länder als auch die der EU-Länder stetig ausgeweitet. So hat sich mit PISA 2018 die Gruppe der Länder, die von der OECD beim OECD-Mittelwert eingerechnet werden, im Vergleich zu PISA 2015 um Litauen und um Kolumbien erweitertet. Zusätzlich sind bei Auswertungen der OECD jeweils nur jene Länder im Vergleich enthalten, für die Daten vorliegen bzw. die Daten als valide angesehen werden. So schließt die OECD Österreich in Vergleichen zu PISA 2009 aus (siehe oben).

Daher ist es notwendig, erhebungsübergreifend idente Gruppen von Vergleichsländern zu betrachten, um zeitliche Veränderungen der Mittelwerte im Vergleich zu Referenz-gruppen interpretieren zu können. Bei OECD-Berichten wird jeweils versucht, die Anzahl der Länder zu maximieren und es wird teilweise eine Vielzahl von ähnlichen Ländermittelwerten berichtet. Bei der Berichterstattung zu PISA 2015 wurden so sechs verschiedene Ländergruppierungen zur Berechnung des OECD-Durchschnitts verwendet (OECD, 2016, S. 24). Auch in den vorherigen Kapiteln dieses Berichts wurden für die aktuelle Berichterstattung geeignete Gruppierungen von Vergleichsländern gebildet (siehe Abschnitt 1.7. in Kapitel 1).

Für die Analyse der Zeitreihe im internationalen Vergleich verbietet es sich aufgrund der oben dargestellten Probleme, früher veröffentlichte Ländervergleiche und Vergleiche mit etwaigen publizierten OECD-Mittelwerten zusammenzu-fassen. Für die in Abbildung 6.5.2 dargestellte Entwicklung Österreichs relativ zu anderen Ländergruppen wurden daher Ländermittelwerte rückwirkend neu berechnet. In den folgenden Berechnungen werden Länder berücksichtigt, die 2015 und 2018 computerbasiert getestet und in allen PISA-Erhebungen seit 2006 vollständige Datenreihen haben.

Es werden drei Gruppen von Vergleichsländern betrachtet:

� VL-15-Ländermittel: Die in Abschnitt 5.2 herangezo-genen Vergleichsländer, d. h. die 10 EU-Länder mit dem höchsten BIP je Einwohner, ergänzt durch die restlichen an PISA teilnehmenden Nachbarländer Österreichs. Allerdings wird hier der Mittelwert nur für die 15 anderen Länder, d. h. ohne Österreich, berechnet, um den Ver-gleich mit Österreich zu forcieren.� EU-20-Ländermittel: Die 20 EU-Länder (Stand 2018,

einschließlich Österreichs), die 2015 und 2018 computer-basiert getestet und an allen PISA-Erhebungen 2006 bis 2018 teilgenommen haben.2

2 Ausgeschlossen wurden aufgrund partiell fehlender Daten nach 2003 Bulgarien, Spanien, Estland, Kroatien, Litauen und Malta.3 Ausgeschlossen wurden Australien, Spanien, Estland, Litauen und die Vereinigten Staaten von Amerika.

� OECD-31-Ländermittel: Die 31 OECD-Länder (Stand 2018, einschließlich Österreichs), die 2015 und 2018 computerbasiert getestet und an allen PISA-Erhebungen 2006 bis 2018 teilgenommen haben.3

Es ist zu beachten, dass die im Folgenden dargestellten, über die Erhebungen vergleichbaren Mittelwerte der Ländergruppen aufgrund der angepassten Länderauswahl von in anderen Kapiteln dieses Berichts und in früheren Publikationen be-richteten Ländermittelwerten abweichen können.

Abbildung 6.5.2 zeigt für Lesen, Mathematik und Naturwissen-schaft die langfristigen Trends für die drei Vergleichsgruppen und für Österreich im Überblick über die papierbasierten PISA-Erhebungen bis 2012 und die beiden computerbasierten Erhebungen ab 2015. Für alle drei Vergleichsgruppen zeichnet sich in Lesen und Mathematik im Mittel der Länder ein Trend ab, der den Übergang zum computerbasierten Testen ohne Bruch überdauert. In Naturwissenschaft hingegen zeigt sich am Übergang zum computerbasierten Testen in allen Gruppen ein deutlicher Leistungsabfall, der um ein Mehrfaches stärker ausfällt als alle Veränderungen zwischen anderen PISA-Er-hebungen. In Österreich hingegen zeigt sich beim Übergang vom papierbasierten Testen bei PISA 2012 auf computer-basiertes Testen 2015 in allen Bereichen ein Rückgang der beobachteten Testleistungen.

Von den drei gewählten Ländergruppen ist die Vergleichs-gruppe VL-15 in allen Bereichen und Jahren jeweils die Gruppe mit den höchsten Mittelwerten. Im Vergleich dazu ist die größere und heterogenere Gruppe der EU-20-Länder durchwegs etwas schwächer. In der Gruppe der OECD-31-Länder, welche noch diverser ist und auch Länder geringerer ökonomischer Leistungskraft umfasst, liegen die Leistungen im Ländermittel am geringsten. Auffällig ist, dass für die jeweiligen Vergleichsgruppen nur geringe Veränderungen in den mittleren Kompetenzen beobachtet werden konnten. Obwohl die inter-nationale Gemeinschaft und die OECD mit dem vielfach betonten Wechsel zur Output-Orientierung (OECD 2001, S. 3) seit einem Vierteljahrhundert, also spätestens seit der Ver-öffentlichung der Ergebnisse zu TIMSS 95 (OECD, 1996, S. 198), größtes Augenmerk auf die Förderung der Kompetenzen legt, gelang es der Gruppe der Länder im Schnitt nicht, Ver-besserungen in den durch PISA beobachteten Kompetenzen der Schüler/innen zu erzielen.

Beim Vergleich der Österreichwerte von 2000 bis 2018 mit den Gruppenmittelwerten der Ländergruppen muss be-achtet werden, dass der vergleichsweise sprunghafte Verlauf der Österreichwerte für Einzelländer typisch ist, während größere Ländergruppen eher glatte Verläufe aufweisen, da


sich gegenläufige Veränderungen mehrerer Einzelländer in der Mittelung ausgleichen. 4

Österreich liegt in den Lesekompetenzen seit der Erhebung 2009 immer signifikant unter dem Mittelwert der Gruppe VL-15-Ländermittel und der EU-21-Länder. Während Öster-reich in den ersten drei PISA-Erhebungen am Schnitt der OECD-31-Länder lag, liegen die Werte seit 2009 leicht darunter, allerdings 2012 und 2018 nicht signifikant.

In Mathematik unterscheidet sich Österreich in den Er-hebungen 2015 und 2018 nicht signifikant von der Gruppe

4 Die Länderdaten für die PISA-Erhebungen 2000 bis 2015 wurden der OECD-Indikatorensammlung unter data.oecd.org entnommen. Lesen: https://data.oecd.org/pisa/reading-performance-pisa.htm; Mathematik: https://data.oecd.org/pisa/mathematics-performance-pisa.htm und Naturwissenschaft: https://data.oecd.org/pisa/science-performance-pisa.htm. Daten für Österreich zu PISA 2009 wurden ergänzt aus Schwantner und Schreiner (2010). Daten zu 2018 finden sich im Anhang A1 (Lesen), A6 (Mathematik), A7 (Naturwissenschaft) in diesem Bericht.

Für die Periode von 2006 bis 2018 liegen für die Ländergruppen vollständige Daten vor. Für die PISA-Erhebungen 2003 und 2000 wurden für die Länder Chile, Vereinigtes Königreich, Israel, Luxemburg, die Niederlande, die Slowakei, Slowenien und die Türkei partiell fehlende Daten linear ergänzt. Dazu wurden entweder für das Jahr 2003 die Mittelwerte der jeweiligen Länder aus 2000 und 2006 gebildet oder es wurden Werte aus nachfolgenden Erhebungen eingesetzt, allerdings adjustiert um die mittlere Änderung der anderen Länder. Grundlage für die Adjustierung ist die Gruppe der verwen-deten OECD-Länder. Berechnet wurden ungewichtete Mittelwerte der jeweiligen Ländermittelwerte.

der VL-15-Ländermittel bzw. der EU-21-Länder. In PISA 2012 lag der Wert signifikant über den Ländermittelwerten aller drei Ländergruppen dieses Vergleichs. In den letzten beiden Erhebungen liegt Österreich signifikant über dem OECD-31-Schnitt und geringfügig, aber nicht signifikant über den beiden anderen Gruppen.

Österreich liegt in Naturwissenschaft bei PISA 2018 und PISA 2015 im OECD-31-Ländermittel wie auch im Schnitt der VL-15-Ländermittel und der EU-21-Gruppe. 2006 und 2012 lag die Naturwissenschaftskompetenz in Österreich signifikant über dem OECD-31-Schnitt.

Abbildung 6.5.2: Leistungsmittelwerte in Lesen, Mathematik und Naturwissenschaft im Länder- und Zeitvergleich

Anmerkungen: Ausgefüllte, hervorgehobene Datenpunkte zeigen Ländermittelwerte, für die der Österreichwert sich signifikant von dieser Gruppe unterscheidet. Für alle anderen Punkte liegt jeweils kein signifikanter Unterschied zwischen der Gruppe und Österreich vor. Die Signi fikanz wurde auf einem 95-%-Niveau unter Verwendung des Konfidenzintervalls für Österreich getestet. Die Signifikanzprüfung ist somit konservativer, als es der Einsatz eines Zweistichproben-t-Test unter Verwendung der deutlich kleineren Standardfehler der Ländermittelwerte ergeben hätte. D. h., die Anzahl signifikanter Abweichungen wird leicht unterschätzt.Quellen: PISA 2000–2018.4

460

470

480

490

500

510

520

530

Kom

pete

nz

hoch

nied

rig

MathematikLesen Naturwissenschaft

00 03 06 09 12 15 18 03 06 09 12 15 18 06 09 12 15 18

15 Vergleichsländer EU-21 OECD-31 Österreich

Hervorgehobene Ländergruppenmittelwerte: signifikant verschieden von Österreich

Erhebungs-jahr

data.oecd.org

https://data.oecd.org/pisa/reading-performance-pisa.htm

https://data.oecd.org/pisa/reading-performance-pisa.htm

https://data.oecd.org/pisa/mathematics-performance-pisa.htm

https://data.oecd.org/pisa/science-performance-pisa.htm


Insgesamt sind die Abweichungen zwischen Ländergruppen bzw. Österreich und den Ländergruppen relativ zu Streuung der Kompetenzen innerhalb der Länder zu bewerten. Selbst signifikante Abweichungen zu den Ländergruppen sind mit relativ kleinen Effekten verbunden.

Geschlechterdifferenzen in Lesen, Mathematik und Naturwissenschaft im Zeitvergleich

Während in den Abschnitten 2.3, 3.3. und 4.3 die Ergeb-nisse zu den Geschlechterdifferenzen bei PISA 2018 im internationalen Vergleich sowie ein Vergleich zwischen PISA 2015 und PISA 2018 im Mittelpunkt standen, werden im folgenden Abschnitt nun die Ergebnisse der Trend-analysen ab PISA 2000 dargestellt. Die Abbildungen 6.5.3 bis 6.5.5 zeigen jeweils die Geschlechterdifferenzen in den drei Domänen Lesen, Mathematik und Naturwissenschaft im Zeitvergleich. Die Mittelwerte der Mädchen und Burschen können Anhangstabelle A5 entnommen werden. Auch hier gilt, dass Trendvergleiche erst ab jenem Erhebungszeitpunkt möglich sind, in dem die jeweilige Domäne schwerpunkt-mäßig erfasst wurde (Lesen: 2000; Mathematik: 2003; Natur-wissenschaft: 2006).

Für den Bereich Lesen zeigt sich zu allen Erhebungszeit-punkten dasselbe Muster: Die Mädchen erreichen im Schnitt einen signifikant höheren Mittelwert als die Burschen (siehe Abbildung 6.5.3).

Von PISA 2000 bis PISA 2012 betrug der Vorsprung der Mädchen immer mindestens 30 Punkte. Auffällig sind vor allem PISA 2003 und 2006 mit besonders hohen Geschlech-ter differenzen von 47 bzw. 45 Punkten. Bei PISA 2015 hat sich die Geschlechterdifferenz auf 20 Punkte verringert, allerdings erfolgt bei der aktuellen Erhebung wieder eine Vergrößerung der Geschlechterdifferenz auf 28 Punkte zu-

gunsten der Mädchen. Dabei hat sich bei PISA 2018 der Mittelwert der Mädchen leicht erhöht, während der Mittel-wert der Burschen etwas gesunken ist. Allerdings sind beide Veränderungen statistisch nicht signifikant. Möglicherweise stehen die Ergebnisse 2015 in Zusammenhang mit der Ver-schiebung des Testfensters.

In Mathematik findet sich im Vergleich zu Lesen das um-gekehrte Bild (Abbildung 6.5.4). Hier erreichen die Mädchen seit PISA 2006 im Schnitt immer signifikant niedrigere Mittelwerte als die Burschen.

Die vergleichsweise niedrige, statistisch nicht signifikante Differenz von acht Punkten bei PISA 2003 muss im Zu-sammenhang mit der Verzerrung der Stichprobe inter-pretiert werden (siehe Abschnitt 6.2). Korrigiert man die Gewichtung der Stichprobe, ergibt sich eine Differenz von 13 Punkten (Bacher & Paseka, 2006). Ab PISA 2006 be-trägt der Vorsprung der Burschen gegenüber den Mädchen jeweils mindestens 20 Punkte. Bei PISA 2015 wurde mit einer Differenz von 27 Punkten der bisher größte Geschlechter-unterschied zugunsten der Burschen festgestellt. Allerdings muss für 2015 berücksichtigt werden, dass die Verschiebung des Testfensters vermutlich Einfluss auf die beobachteten Geschlechterunterschiede hat (siehe oben). Bei der aktuellen Erhebung hat sich die Differenz zwar mehr als halbiert und beträgt nun 13 Punkte, ist aber nach wie vor statistisch signi-fikant. Wie im Bereich Lesen zeigt sich auch in Mathematik, dass sich der Mittelwert bei den Mädchen leicht erhöht hat, während er bei den Burschen etwas zurückgegangen ist, wenngleich beide Veränderungen statistisch nicht signi-fikant sind.

Abbildung 6.5.5 zeigt die Veränderungen in den Geschlechter-differenzen im Zeitverlauf für den Bereich Naturwissenschaft seit dem Jahr 2006.


Abbildung 6.5.3: Veränderung der Geschlechterdifferenzen in Lesen in Österreich

550

500

450

400

Lese

kom

pete

nz

200320032000 2006 2009 2012 2015 2018

hoch

nied

rig Burschen

Mädchen

Abbildung 6.5.4: Veränderung der Geschlechterdifferenzen in Mathematik in Österreich


550

500

450

400

Mat

hem

atik

kom

pete

nz

2003 2006 2009 2012 2015 2018

hoch

nied

rig Burschen

Mädchen


Von PISA 2006 bis PISA 2012 betrug der Unterschied zwischen Mädchen und Burschen jeweils nur rund 8–9 Punkte und war statistisch nicht signifikant. Bei PISA 2015 hingegen war Österreich mit einer Geschlechterdifferenz von rund 19 Punkten zugunsten der Burschen jenes Land unter den OECD-/EU-Ländern mit der größten Leistungsdifferenz zwischen Mädchen und Burschen. Bei PISA 2018 hat sich die Geschlechterdifferenz jedoch wieder auf zwei Punkte ver-ringert und ist damit nicht mehr statistisch signifikant. Ein Blick auf die Erhebungen 2015 und 2018 zeigt, dass sich bei PISA 2018 die Leistungen der Burschen von 504 Punkten im Jahr 2015 auf 491 Punkte im Jahr 2018 signifikant ver-schlechtert haben, während der Mittelwert der Mädchen im selben Zeitraum annähernd gleichgeblieben ist. Der nicht mehr signifikante Geschlechterunterschied bei der aktuellen PISA-Erhebung ist somit auf den Leistungsrückgang bei den Burschen zurückzuführen.

Risiko und Spitzenschüler/innen in Lesen, Mathematik und Naturwissenschaft im Zeitvergleich

Die Kompetenzstufen bei PISA ermöglichen es, die Leistungs-verteilung innerhalb eines Landes zu beschreiben und sind damit eine Ergänzung zur Darstellung der Mittelwerte. Zur Bildung der Kompetenzstufen wird die Punkteskala jedes Kompetenzbereichs an bestimmten Schnittpunkten geteilt. So kann sowohl jede Schülerin/jeder Schüler einer Kompetenzstufe zugeordnet werden als auch jede Testauf-gabe (vgl. dazu ausführlich Kapitel 1 sowie für eine genaue Beschreibung der Verteilung der Schüler/innen auf den Kompetenzstufen für Lesen Abschnitt 2.2, für Mathematik Abschnitt 3.2. sowie für Naturwissenschaft Abschnitt 4.2). Von besonderem Interesse sind jene Schüler/innen, die am unteren bzw. am oberen Ende der Kompetenzstufen zu finden sind, die sogenannten Spitzen- und Risikoschüler/innen. Schüler/innen, die die Kompetenzstufen 5 oder 6 erreichen,

gehören zur „Spitzengruppe“, Jugendliche mit Leistungen unter Kompetenzstufe 2 zur „Risikogruppe“. Grundsätzlich ist es für ein Land wünschenswert, wenn die Spitzengruppe möglichst groß ist und sich im Laufe der Zeit vergrößert, während umgekehrt eine möglichst kleine bzw. im Zeitverlauf kleiner werdende Risikogruppe erstrebenswert ist.

Die Abbildungen 6.5.6 bis 6.5.8 zeigen die Größe der Spitzen- und Risikogruppe in Österreich für die drei Bereiche Lesen, Mathematik und Naturwissenschaft im Zeitverlauf in Prozent. Die Anhangstabellen A1, A6 und A7 enthalten die Werte für alle Kompetenzstufen.

Im Bereich Lesen (Abbildung 6.5.6) gehören im Zeitraum zwischen PISA 2000 und PISA 2012 (mit Ausnahme von PISA 2009) immer rund 19 bis 22 % der österreichischen Jugendlichen zu den Risikoschülerinnen und -schülern. In den Jahren 2015 und 2018 ist die Risikogruppe mit 23 bzw. 24 % ähnlich groß. Der Anteil der Spitzenschüler/innen be-trug in den Jahren 2000 bis 2012 5 bis 9 %, bei PISA 2015 und PISA 2018 jeweils 7 %.

Ein ähnliches Bild zeigt sich im Bereich Mathematik (Ab-bildung 6.5.7). Auch hier liegt die Größe der Risikogruppe zwischen PISA 2000 und PISA 2018 relativ konstant zwischen 19 und 23 %. Allerdings ist die Spitzengruppe – im Vergleich zu Lesen – im Bereich Mathematik größer. Im Zeitverlauf gehören je rund 12 bis 16 % der österreichischen

Abbildung 6.5.6: Veränderungen in den Spitzen- und Risikogruppen in Lesen in Österreich


2012

2015

2018

2003

2000

2009

2006

Spitzenschüler/innen (Anteile in Prozent)10 20 30 40 50% %0

2012

2015

2018

2003

2000

2009

2006

Risikoschüler/innen (Anteile in Prozent)10 20 30 40 50% %0

7

8

9

5

5

6

7

Level 6Levels

Level 5

Levelsunter 1c1c1b1a

2

2

7

7

8

8

5

7

6

12

13

13

17

14

14

16

Abbildung 6.5.5: Veränderung der Geschlechterdifferenzen in Naturwissenschaft in Österreich


550

500

450

400

Nat

urw

isse

nsch

afts

kom

pete

nz

2006 2009 2012 2015 2018

hoch

nied

rig Burschen

Mädchen


Jugendlichen zu den Risikoschülerinnen und -schülern in Mathematik. Der Vergleich zwischen den beiden letzten Er-hebungen zeigt keine signifikanten Veränderungen in der Risiko- und Spitzengruppe.

Im Bereich Naturwissenschaft (siehe Abbildung 6.5.8) liegt die Größe der Risikogruppe im Zeitraum zwischen 2006 und 2012 zwischen 16 und 21 %, währen sich die Größe der Spitzengruppe auf 7 bis 8 % beläuft. Im Vergleich zwischen PISA 2015 und PISA 2018 zeigen sich keine signifikanten Veränderungen der Risiko- und Spitzengruppe.

Somit kann abschließend festgehalten werden, dass es in Österreich für keine der drei Domänen gelungen ist, die Risikogruppe im Zeitverlauf zu verkleinern bzw. die Spitzen-gruppe zu vergrößern.

Lesekompetenz bei Jugendlichen mit und ohne Migrationshintergrund im Zeitvergleich

Im Folgenden wird behandelt, wie sich die Lesekompetenz der österreichischen Schüler/innen mit und ohne Migrations-hintergrund seit der ersten PISA-Erhebung im Jahr 2000 entwickelt hat (für die Definitionen von Migrationshinter-grund bei PISA sowie detaillierte Ergebnisse zum Migrations-hintergrund bei PISA 2018 siehe Abschnitt 5.3 und Anhangs-tabellen A10, A11 und A12).

In Abbildung 6.5.9 ist zum einen ersichtlich, dass der Anteil der Schüler/innen mit Migrationshintergrund von 11 % bei PISA 2000 auf rund 23 % bei PISA 2018 angestiegen ist und dass die Lesekompetenz der einheimischen Schüler/innen zu allen Erhebungszeitpunkten signifikant höher ist als jene der Schüler/innen mit Migrationshintergrund. Zum anderen zeigt sich jedoch, dass sich die absolute Leistungs-differenz zwischen den einheimischen Schülerinnen/Schülern und den Jugendlichen mit Migrationshintergrund im Zeit-raum von PISA 2000 bis PISA 2012 von 93 auf 51 Punkte statistisch signifikant verringert hat. Dabei hat sich die Lese-kompetenz der Schüler/innen mit Migrationshintergrund von 409 auf 449 Punkte signifikant erhöht, während sich die Lesekompetenz der einheimischen Schüler/innen in diesem Zeitraum nicht signifikant verändert hat. Bei PISA 2015 ist die Differenz zwischen den beiden Gruppen hin-gegen wieder größer geworden und beträgt 64 Punkte. Bei der aktuellen Erhebung ist der Leistungsunterschied von 63 Punkten ähnlich hoch wie im Jahr 2015. Die Zahlen in der letzten Zeile der Tabelle unter der Abbildung zeigen, dass sich die Leistungsdifferenz zwischen Schülerinnen und Schülern mit und ohne Migrationshintergrund zu allen Erhebungszeit-punkten reduziert, wenn der sozioökonomische Status (SES) statistisch kontrolliert wird. Darüber hinaus zeigen auch diese Daten einen Rückgang der Leistungsunterschiede zwischen PISA 2000 und 2012. Die Veränderung zwischen 2015 und 2018 ist auch hier statistisch nicht signifikant.

2012

2015

2018

2009

2006


2012

2015

2018

2009

2006


Level 6Levels

Level 5

6 Levelsunter Level 1bLevel 1bLevel 1a

9

7

7

7

6

4

7

4

5

5

12

14

12

16

16


Abbildung 6.5.8: Veränderungen in den Spitzen- und Risikogruppen in Naturwissenschaft in Österreich

2012

2015

2018

2003

2009

2006


2012

2015

2018

2003

2009

2006


4

3

3

3

3

3

11

12

10

11

10

10

Level 6Levels

Level 5

6

7

8

6

8

7

13

13

15

13

14

14

Levelsunter Level 1Level 1


Abbildung 6.5.7: Veränderungen in den Spitzen- und Risikogruppen in Mathematik in Österreich


Abbildung 6.5.9: Veränderung der Lesekompetenz von Schülerinnen und Schülern mit und ohne Migrationshintergrund in Österreich


Lese

kom

pete

nzho

chni

edrig

Anteil Schüler/innen mitMigrationshintergrund 11,0 % 13,0 % 13,2 % 15,2 % 16,5 % 20,3 % 22,7 %

Leistungsdifferenz(ohne Mig. – mit Mig.):

93* 76* 61* 68* 51* 64* 63*

unter Konstant-haltung des SES

absolut

67* 53* 40* 45* 31* 41* 37*

mit Migrationshintergrundohne Migrationshintergrund

* Differenz zwischen den beiden Gruppen je Erhebungsdurchgang statistisch signifikant (p < .05)


350

400

450

500

550

2000 2003 2006 2009 2012 2015 2018


7 PISA 2018: Zusammenfassung der Ergebnisse Christina Wallner-Paschon

Das Programme for International Student Assessment (PISA) liefert seit nunmehr 18 Jahren regelmäßig empirische Daten zum internationalen Vergleich von Bildungssystemen. Im Abstand von drei Jahren nehmen Schüler/innen aus mittlerweile 79 Ländern an PISA teil und zeigen, ob sie ihr schulisches Wissen und Können in alltagsnahen Problemstellungen anwenden können. PISA misst und vergleicht dazu die Grundkompetenzen in Lesen, Mathe-matik und Naturwissenschaft und erhebt zentrale Kontextbedingungen, die mit dem Kompetenzerwerb im Zu-sammenhang stehen. Da Schüler/innen im Alter von 15 bzw. 16 Jahren an PISA teilnehmen und in vielen Ländern dieses Alter mit dem Ende der Schulpflicht einhergeht, wird dadurch der kumulative Lernertrag gegen Ende der Pflichtschulzeit erfasst.

PISA 2018 – die wichtigsten Informationen zum Design der Studie

PISA 2018 ist der siebte Durchgang der Studie, wobei nach PISA 2000 und 2009 zum dritten Mal die Lesekompetenz den Schwerpunkt bildet. Mathematik und Naturwissen-schaft wurden 2018 als Nebendomänen erfasst. In Öster-reich nahmen 6.802 Schüler/innen aus 291 Schulen aller Schulformen, die von 15-/16-Jährigen besucht werden, teil. Die Haupterhebung fand in einem 6-wöchigen Testfenster im Frühjahr 2018 statt.

Eine wesentliche Neuerung bei PISA 2018 ist die Einführung eines adaptiven Testdesigns für die Hauptdomäne Lesen. Im Gegensatz zum herkömmlichen Testen (Schüler/innen er-halten eine festgelegte Menge an Testaufgaben in einer festen Reihenfolge), bekommen die Schüler/innen auf Basis ihrer Testleistung unterschiedlich schwierige Aufgaben. Diese Änderung im Testdesign muss bei der Interpretation der Daten – vor allem bei Zeitreihenanalysen der Lesekompetenz – berücksichtigt werden. Eine weitere Neuerung bei PISA 2018 ist die Erfassung der Leseflüssigkeit zu Testbeginn. Dabei lesen die Schüler/innen kurze Sätze und beurteilen, ob der Inhalt richtig ist. Die Einführung des adaptiven Testdesigns sowie die Erfassung der Leseflüssigkeit bei PISA 2018 zielen darauf ab, die Lesekompetenzen der Schüler/innen am oberen und unteren Ende der Leistungsskala genauer zu erfassen.

Lesekompetenz im internationalen Vergleich

Die österreichischen Schüler/innen erzielen einen Mittelwert von 484 Punkten und unterscheiden sich damit nicht signi-fikant vom OECD-Schnitt, der 487 Punkte beträgt. Unter den 39 OECD-/EU-Ländern bedeutet dies einen geteilten Rangplatz zwischen 21 und 23.

Im OECD-Raum zeigen die Schüler/innen aus Estland (523), Kanada und Finnland (520) die höchsten Leseleistungen. Weltweite Spitzenreiter sind die chinesischen Provinzen Peking, Schanghai, Jiangsu und Zhejiang (555 Punkte). In Österreichs Nachbarländern Deutschland (498) und Slowenien (495) erbringen Jugendliche im Schnitt signi-fikant bessere Leseleistungen als jene in Österreich. Schüler/innen aus den Nachbarländern Italien und Ungarn (476) sowie der Slowakei (458), schneiden signifikant schlechter ab als die österreichischen Jugendlichen. In der Tschechischen Republik sowie der Schweiz ist die Lesekompetenz ähnlich hoch wie in Österreich.

In Lesen werden bei PISA 2018 neun Kompetenzstufen unterschieden. Österreich hat eine Spitzengruppe von 7 % und unterscheidet sich um 2 Prozentpunkte signifikant vom OECD-Schnitt (9 %). Die größten Spitzengruppen unter den OECD-/EU-Ländern gibt es in Kanada (15 %) sowie in Finnland, Estland und den USA mit jeweils rund 14 %.

Risikoschüler/innen weisen eine sehr geringe Lesekompetenz auf. Dies trifft in Österreich auf fast ein Viertel der Jugend-lichen (24 %) zu; im OECD-Schnitt beträgt der Anteil der Risikogruppe 23 % und unterscheidet sich damit nicht signi-fikant von Österreich. Am kleinsten fallen die Leserisiko-gruppen in Estland (11 %), Irland (12 %), Finnland und Kanada (je 14 %) aus.

Lesekompetenz nach Geschlecht

Seit Beginn von PISA erzielen die Mädchen in allen Teil-nehmerländern deutlich bessere Leseleistungen als ihre männ-lichen Alterskollegen – so auch bei PISA 2018. Im OECD-Schnitt beträgt die Geschlechterdifferenz 30 Punkte zu-gunsten der Mädchen. In Finnland ist die Differenz zwischen

96 7 – PISA 2018: Zusammenfassung der Ergebnisse

Mädchen und Burschen mit 52 Punkten am stärksten aus-geprägt (d = 0.54)1. In Österreich erzielen Mädchen einen Lesemittelwert von 499 Punkten und liegen 28 Punkte vor ihren Alterskollegen, die im Schnitt 471 Punkte erreichen (d = 0.29). Die Risikogruppe der österreichischen Burschen ist mit 29 % deutlich größer als die Leserisikogruppe der Mädchen mit 18 %.

Lesekompetenz bei PISA 2015 und PISA 2018 im Vergleich

Im OECD-Schnitt hat sich die Lesekompetenz von 2015 auf 2018 nicht signifikant verändert – tendenziell gab es einen Rückgang um durchschnittlich drei Punkte. In Öster-reich ist der Punkterückgang zwischen 2015 und 2018 mit einem Punkt minimal. Aufgrund des gesunkenen OECD-Schnitts liegt Österreich aktuell im OECD-Schnitt, während es 2015 noch signifikant darunterlag. In der Länderrangreihe zeigt sich eine Positionsveränderung nach oben: Unter den 37 OECD-/EU-Ländern, die an beiden PISA-Erhebungen teilgenommen haben, nahm Österreich im Jahr 2015 den 25. Rang ein, im Jahr 2018 ist es Rang 22. Zur Spitzen-gruppe in Lesen gehören sowohl 2015 als auch 2018 7 % der Schüler/innen. Die österreichische Risikogruppe machte 2015 einen Anteil von 23 % aus, aktuell weisen mit 24 % ähnlich viele Jugendliche am Ende der Pflichtschule ein sehr geringes Leseverständnis auf.

Lesefreude und Leseselbstkonzept

In allen PISA-Teilnehmerländern haben die Mädchen deut-lich mehr Freude am Lesen als die Burschen. In Österreich sind diese Geschlechterunterschiede im Ländervergleich be-sonders hoch. Auch zwischen den österreichischen Schul-sparten zeigen sich deutliche Unterschiede. Am höchsten ist die Lesefreude der Jugendlichen in der AHS. Mit Abstand die geringste Lesefreude haben die Jugendlichen in den Berufs-schulen. Jede/jeder zweite 15-/16-Jährige in Österreich gibt an, nur zu lesen, wenn es sein muss (53 %). Bei PISA 2000 waren es signifikant weniger Jugendliche (41 %). 2018 gibt es auch signifikant mehr Jugendliche, für die Lesen Zeitver-schwendung ist (35 %), als im Jahr 2000 (28 %).

In Österreich ist das Leseselbstkonzept der Jugendlichen vergleichsweise hoch und die Geschlechterunterschiede im Ländervergleich gering (im VL-16-Schnitt bzw. darunter). Erwartungsgemäß haben Jugendliche in den Schulsparten, in denen sich viele leistungsstarke Jugendliche befinden (vor allem in der AHS), ein hohes Vertrauen in ihre Leseleistung.

1 Effektstärke nach Cohen’s d (im Detail siehe Abschnitt 1.7).

Mathematikkompetenz im internationalen Vergleich

In Mathematik erreichen die österreichischen Schüler/innen 2018 499 Punkte und liegen damit signifikant über dem OECD-Schnitt von 489 Punkten. Unter den 40 OECD-/EU-Ländern bedeutet dies die geteilten Rangplätze 12 bis 22. Die höchsten Mathematikleistungen zeigen die Jugend-lichen aus Japan (527), Korea (526) sowie die EU-Länder Estland (523) und die Niederlande (519). Weltweit absoluter Spitzenreiter sind wie in Lesen und Naturwissenschaft die chinesischen Provinzen. Neben der Schweiz (515) zeigen unter Österreichs Nachbarländern auch die Jugendlichen in Slowenien (509) signifikant bessere Mathematikleistungen als die 15-/16-Jährigen in Österreich, während Italien (487 Punkte), die Slowakei (486 Punkte) und Ungarn (481 Punkte) signifikant schlechter als Österreich abschneiden. In der Tschechischen Republik (499) sowie in Deutschland (500 Punkte) ist die Mathematikkompetenz ähnlich hoch wie in Österreich.

In Mathematik werden sieben Kompetenzstufen unterschie-den. Leistungsstarke Schüler/innen (auf Kompe tenz stufen 5 und 6) machen in Österreich einen Anteil von 13 % aus, im OECD-Schnitt zeigen 11 % der Jugendlichen sehr hohe Mathematikkompetenzen. Mit Blick auf die Nach-barländer Österreichs finden sich in Deutschland und der Tschechischen Republik ebenfalls rund 13 % Spitzenschüler/innen in Mathematik; in der Schweiz sind es 17 %. Die größten Mathematik-Spitzengruppen ergeben sich für Korea (21 %), gefolgt von den Niederlanden und Japan (jeweils 18 %). Schüler/innen mit sehr geringen mathematischen Kompetenzen werden als Risikogruppe bezeichnet – in Österreich umfasst diese Gruppe 21 %, und im OECD-Schnitt zeigen 24 % der Jugendlichen mangelnde Grund-kompetenzen im Fach Mathematik. Die kleinsten Risiko-gruppen finden sich in Estland (10 %) und Japan (11 %) sowie Dänemark und Finnland (je 15 %).

In 14 der 40 OECD-/EU-Länder unterscheiden sich die Mathematikleistungen der Mädchen und Burschen nicht voneinander. Im OECD-Schnitt beträgt die Geschlechter-differenz fünf Punkte zugunsten der Burschen. In 22 Ländern gibt es statistisch bedeutsame Unterschiede zugunsten der Burschen und in vier Ländern zugunsten der Mädchen. Die größten Geschlechterunterschiede gibt es in Kolumbien (20 Punkte, d = 0.24), Italien (16 Punkte, d = 0.17) und Öster-reich (13 Punkte, d = 0.14) – hier zeigen jeweils die Burschen bessere Leistungen.

Bei PISA 2015 lag Österreich mit einem Mathematikmittel-wert von 497 Punkten signifikant über dem OECD-Schnitt. 2018 erreichen Österreichs Jugendliche in Mathematik


durchschnittlich 499 Punkte und liegen damit ebenfalls signifikant über dem OECD-Schnitt. Zur Spitzengruppe in Mathematik gehörten 2015 12 % der österreichischen Jugendlichen, bei PISA 2018 zeigen 13 % der Schüler/innen sehr hohe Mathematikkompetenzen. Die Risikogruppe um-fasste 2015 22 % der Jugendlichen Österreichs; 2018 zeigen 21 % am Ende der Pflichtschulzeit Schwächen in der all-tagsnahen Anwendung ihrer mathematischen Fähigkeiten. Der Vorsprung der österreichischen Burschen betrug 2015 27 Punkte. Bei PISA 2018 schneiden in Österreich die Burschen mit 13 Punkten Vorsprung signifikant besser ab als die Mädchen. Diese Reduktion der Geschlechterdifferenz von 2015 auf 2018 in Österreich ist jedoch nicht signifikant.

Naturwissenschaftskompetenz im internationalen Vergleich

Die österreichischen Schüler/innen erzielen in Naturwissen-schaft einen Mittelwert von 490 Punkten und unterscheiden sich damit nicht signifikant vom OECD-Schnitt, der 489 Punkte beträgt. Unter den 40 OECD-/EU-Ländern be-deutet dies einen geteilten Rangplatz zwischen 19 und 24. Im OECD-Raum erbringen die Schüler/innen aus Estland (530), Japan (529) und Finnland (522) die höchsten Natur-wissenschaftsleistungen. Weltweit absoluter Spitzenreiter sind wie bereits auch in Lesen und Mathematik die chinesischen Provinzen Peking, Schanghai, Jiangsu und Zhejiang (590 Punkte), Singapur (551 Punkte) und Macau (544 Punkte). In den Nachbarländern Slowenien (507) und Deutschland (503) weisen Jugendliche im Schnitt signifikant bessere Naturwissenschaftsleistungen auf als jene in Österreich. In acht Ländern, darunter auch die Tschechische Republik und die Schweiz, erbringen die Schüler/innen ähnliche Leistungen wie in Österreich.

In Naturwissenschaft werden bei PISA acht Kompetenzstufen unterschieden. Österreich hat eine Spitzengruppe von 6 % und liegt damit nahe dem OECD-Schnitt (7 %). Die größten Spitzengruppen gibt es unter den OECD-/EU-Ländern mit 12 bis 13 % in Japan, Finnland, Estland und Korea. Unter den Nachbarländern haben Deutschland (10 %) sowie die Schweiz, die Tschechische Republik und Slowenien (7 bis 8 %) etwas größere Spitzengruppen als Österreich. Etwas kleinere Spitzengruppen als Österreich haben die Nachbar-länder Italien, die Slowakei sowie Ungarn (3 bis 5 %).

Risikoschüler/innen liegen am unteren Ende des Kompetenz-spektrums und weisen ein sehr basales naturwissenschaftliches Wissen auf. Der Anteil der Risikoschüler/innen liegt in Öster-reich bei 22 % und ist gleich groß wie im OECD-Schnitt. Am kleinsten fallen die Naturwissenschaftsrisikogruppen in Estland (9 %) und Japan (11 %) aus. In den Nachbarländern Slowenien, Tschechische Republik, Deutschland und der Schweiz sind diese um 2 bis 7 Prozentpunkte kleiner als in

Österreich. In Ungarn, Italien und der Slowakei sind die Risikoschüleranteile um zwei bis sieben Prozentpunkte größer als in Österreich.

In 23 der 40 teilnehmenden OECD-/EU-Länder gibt es in Naturwissenschaft keine Leistungsunterschiede zwischen Mädchen und Burschen, in zwei Ländern (Mexiko, Kolumbien) schneiden die Burschen signifikant besser ab und in 15 Ländern die Mädchen. Im OECD-Schnitt zeigen sich geringe Geschlechterunterschiede zugunsten der Mädchen (2 Punkte, d = 0.02). In keinem der Nachbarländer Österreichs zeigen sich statistisch signifikante Geschlechterdifferenzen. Den größten Unterschied (zugunsten der Mädchen) gibt es in Finnland (24 Punkte, d = 0.25).

In Österreich hat sich die Naturwissenschaftsleistung zwischen PISA 2015 und PISA 2018 nicht signifikant verringert und liegt – wie auch schon im Jahr 2015 – im OECD-Schnitt. Die Naturwissenschafts-Spitzengruppe in Österreich umfasste 2015 8 %, bei PISA 2018 zeigen 6 % der Jugendlichen sehr hohe Naturwissenschaftskompetenzen. Die österreichische Risikogruppe machte 2015 einen Anteil von 21 % aus, bei PISA 2018 sind es 22 % der 15-/16-Jährigen. In Österreich war 2015 der Mittelwertunterschied zugunsten der Burschen mit 19 Punkten statistisch signifikant; 2018 lassen sich keine signifikanten Geschlechterunterschiede mehr feststellen.

Familiäre Faktoren

Es gibt zwar in allen Ländern einen Zusammenhang zwischen dem sozioökonomischen Status der Familie und den Leistungen der Jugendlichen, das Ausmaß des Zusammen-hangs variiert jedoch zwischen den Ländern. In Österreich erklärt der sozioökonomische Status einen relativ großen An-teil der Leistungsunterschiede zwischen den Jugendlichen in allen drei Domänen – diese Tatsache ist seit PISA 2000 quasi unverändert und zeigt sich erneut bei PISA 2018. Geringere Zusammenhänge zwischen Leseleistung und sozio-ökonomischem Status und damit vergleichsweise gerechtere Chancen haben Kinder und Jugendliche in Korea, Japan sowie in den europäischen Ländern Island, Lettland, Finn-land, Schweden und Norwegen. Ein möglicher Hinweis auf die Weitergabe von Bildungseigenschaften über Generationen hinweg sind die deutlichen Zusammenhänge zwischen dem Bildungsniveau der Eltern und den Leistungen der Schüler/innen: So beträgt der Unterschied zwischen Jugendlichen, deren Eltern einen tertiären Abschluss haben, und Jugend-lichen, deren Eltern niedrige Formalqualifikationen haben, durchschnittlich etwa 90 Punkte.

Österreich zählt außerdem zu den Ländern mit den größten Leistungsnachteilen von Jugendlichen mit Migrationshinter-grund – in Lesen macht der Mittelwertunterschied zwischen Einheimischen und Jugendlichen der zweiten Generation

98 7 – PISA 2018: Zusammenfassung der Ergebnisse

54 Punkte aus, zwischen Einheimischen und Jugendlichen der ersten Generation sogar 79 Punkte. Kontrolliert man die Leseleistung um den sozioökonomischen Status, so zeigen sich kleinere, aber weiterhin deutliche Unterschiede zwischen Einheimischen und Jugendlichen mit Migrations-hintergrund.

Ein wesentliches Ziel von PISA ist es, die Leistungen der Schüler/innen über die Erhebungszeitpunkte hinweg zu be-obachten. Ab PISA 2015 ist die Vergleichbarkeit der Ergeb-

nisse mit vorangegangenen PISA-Erhebungen jedoch nur mehr eingeschränkt möglich, da es Änderungen in der Durch-führungsmodalität (Computer statt Papier), in der Skalierung sowie im Testdesign gab. Aus diesem Grund werden in den Kapiteln 2–5 ausschließlich Trenddaten mit PISA 2015 be-richtet. In Kapitel 6 werden diese Änderungen sowie die sich daraus ergebenden Limitationen bei der Interpretation der Trenddaten vertiefend dargestellt und im Anschluss die Trend-Analysen in den drei Kompetenzbereichen über alle Erhebungszeitpunkte hinweg zusammenfassend dargestellt.


Bibliografie

B Bacher, J. (2012). Repräsentativität der PISA2009-Erhebung. In F. Eder (Hrsg.), PISA 2009. Nationale Zusatz-analysen (S. 483–503). Münster, New York, NY, München, Berlin: Waxmann.

Bacher, J. & Paseka, A. (2006). Leistungsdifferenzen von Mädchen und Buben. In G. Haider und C. Schreiner (Hrsg.), Die PISA-Studie. Österreichs Schulsystem im internationalen Wettbewerb (S. 220–228). Wien: Böhlau.

Bergmüller, S. & Herzog-Punzenberger, B. (2012). Kompetenzen und Charakteristika von Kindern mit und ohne Migrationshintergrund im Zeitvergleich. In B. Suchań, C. Wallner-Paschon, S. Bergmüller & C. Schreiner (Hrsg.), PIRLS & TIMSS 2011. Schülerleistung in Lesen, Mathematik und Naturwissenschaft in der Grundschule. Erste Ergebnisse (S. 52–53). Graz: Leykam.

Breit, S., Eder, F., Krainer, K., Schreiner, C., Seel, A. & Spiel, C. (Hrsg.). (2019). Nationaler Bildungsbericht Öster-reich 2018. Band 2. Fokussierte Analysen und Zukunftsperspektiven für das Bildungswesen. Graz: Leykam. http://doi.org/10.17888/nbb2018-2

Breit, S. & Schreiner, C. (2006). Sozioökonomische Herkunft und Schulleistung. In G. Haider & C. Schreiner (Hrsg.), Die PISA-Studie. Österreichs Schulsystem im internationalen Wettbewerb (S. 195–210). Wien: Böhlau.

C Carstensen, C. H. (2010). The Identification of students boycotting PISA 2009 in Austria. Review of a report of the Bundesinstitut für Bildungsforschung, Innovation und Entwicklung (BIFIE). Unpublished manuscript, University of Bamberg, Germany.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum.

D Ditton, H. & Maaz, K. (2011). Sozioökonomischer Status und soziale Ungleichheit. In H. Reinders, H. Ditton, C. Gräsel & B. Gniewosz (Hrsg.), Empirische Bildungsforschung. Gegenstandsbereiche (S. 229–244). Wiesbaden: VS Verlag für Sozialwissenschaften.

E Elley, W. B. (1992). How in the world do students read? IEA study of reading literacy. Hamburg: IEA. Verfügbar unter http://eric.ed.gov/?id=ED360613

G Ganzeboom, H. B. G., de Graaf, P. & Treiman, D. J. (1992). A Standard International Socio-Economic Index of Occupational Status. Social Science Research, 21, 1–56.

Ganzeboom, H. B. G. (2010a). A new international socio-economic index [ISEI] of occupational status for the International Standard Classification of Occupation 2008 [ISCO-08] constructed with data from the ISSP 2002–2007; with an analysis of quality of occupational measurement in ISSP. Paper presented at Annual Conference of International Social Survey Programme, Lisbon, May 1, 2010. Verfügbar unter http://www.harryganzeboom.nl/Pdf/2010%20-%20Ganzeboom-ISEI08-ISSP-Lisbon-(paper).pdf

Ganzeboom, H. B. G. (2010b). International Standard Classification of occupations. ISCO-08 with ISEI-08 scores. Verfügbar unter http://www.harryganzeboom.nl/isco08/isco08_with_isei.pdf

http://doi.org/10.17888/nbb2018-2

http://eric.ed.gov/?id=ED360613

http://www.harryganzeboom.nl/Pdf/2010%20-%20Ganzeboom-ISEI08-ISSP-Lisbon-(paper).pdf

http://www.harryganzeboom.nl/Pdf/2010%20-%20Ganzeboom-ISEI08-ISSP-Lisbon-(paper).pdf

http://www.harryganzeboom.nl/isco08/isco08_with_isei.pdf

100 Bibliografie

Glaeser, A. & Pareiss, M. (2019). Rücklauf, Stichprobenausfälle und Stichprobengrößen bei PISA 2018. In B. Suchań (Hrsg.), PISA 2018. Technischer Bericht. (S. 65–78). Verfügbar unter https://www.bifie.at/material/internationale -studien/pisa/pisa-2018/

H Haider, G. (2002). LOW10 – Analyse der unteren 10 %. In C. Reiter & G. Haider (Hrsg.), PISA 2000. Lernen für das Leben. Österreichische Perspektiven des internationalen Vergleichs (S. 47–54). Innsbruck: Studienverlag.

Haider, G. & Reiter, C. (Hrsg.). (2004). PISA 2003. Internationaler Vergleich von Schülerleistungen. Nationaler Bericht. Graz: Leykam.

Hascher, T. & Hagenauer, G. (2018). Die Bedeutung von Qualitätsfaktoren des Unterrichts und Lernemotionen für das Wohlbefinden in der Schule. In G. Hagenauer & T. Hascher (Hrsg.), Emotionen und Emotionsregulation in Schule und Hochschule (S. 103–119). Münster: Waxmann.

Helmke, A. (2015). Unterrichtsqualität und Lehrerprofessionalität. Diagnose, Evaluation und Verbesserung des Unterrichts (6. Aufl.). Seelze: Klett-Kallmeyer.

Höller, I. & Toferer, B. (2019). Die getesteten Kompetenzbereiche. In B. Suchań (Hrsg.), PISA 2018. Technischer Bericht (S. 13–23). Verfügbar unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2018/

J Jerrim, J., Micklewright, J., Heine, J., Salzer, Ch. & McKeown, C. (2018). PISA 2015. How big is the ‘mode effect’ and what has been done about it? Oxford Review of Education, 44, 476–493. http://doi.org/10.1080/03054985. 2018.1430025

K Konsortium PISA.ch (2018). PISA 2015: Schülerinnen und Schüler der Schweiz im internationalen Vergleich. Bern, Genf: SBFI/EDK. Verfügbar unter https://www.sbfi.admin.ch/dam/sbfi/de/dokumente/2018/11/pisa-15-national.pdf. download.pdf/pisa2015_nationaler-bericht_d.pdf

L Lang, B., Reiter, C., Schwantner, U. & Bergmüller, S. (2004). Die OECD/PISA-Studie. In G. Haider und C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schulleistungen (S. 18–43). Graz: Leykam.

M Martin, M. O., Gregory, K. D. & Stemler S. E. (Hrsg.). (2000). TIMSS 1999 Technical Report. Chestnut Hill: Interna-tional Study Center/Lynch School of Education/Boston College. Verfügbar unter https://timssandpirls.bc.edu/timss1999i/pdf/T99_TR.book.pdf

Müller, K. & Ehmke, T. (2016). Soziale Herkunft und Kompetenzerwerb. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 285–316). Münster: Waxmann.

Mullis, I. V. S., Cotter, K., Fishbein, B. & Centurino, V. (2016). Developing the TIMSS 2015 Achievement Items. In M. O. Martin, I. V. S. Mullis & M. Hooper (Hrsg.), Methods and Procedures in TIMSS 2015 (S. 1.1–1.22). Chestnut Hill: TIMSS & PIRLS International Study Center/Lynch School of Education/Boston College/International Association for the Evaluation of Educational Achievement (IEA). Verfügbar unter http://timss.bc.edu/publications/timss/2015- methods/chapter-1.html




http://doi.org/10.1080/03054985.2018.1430025

http://doi.org/10.1080/03054985.2018.1430025

https://www.sbfi.admin.ch/dam/sbfi/de/dokumente/2018/11/pisa-15-national.pdf.download.pdf/pisa2015_nationaler-bericht_d.pdf

https://www.sbfi.admin.ch/dam/sbfi/de/dokumente/2018/11/pisa-15-national.pdf.download.pdf/pisa2015_nationaler-bericht_d.pdf

https://timssandpirls.bc.edu/timss1999i/pdf/T99_TR.book.pdf

https://timssandpirls.bc.edu/timss1999i/pdf/T99_TR.book.pdf

http://timss.bc.edu/publications/timss/2015-methods/chapter-1.html

http://timss.bc.edu/publications/timss/2015-methods/chapter-1.html


N Neuwirth, E. (2006). PISA 2000 Sample Weight Problems in Austria. (Education Working Paper, No. 5). Verfügbar unter http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=EDU/WKP(2006)1&docLanguage=En

O Oberwimmer, K., Vogtenhuber, S., Lassnigg, L. & Schreiner, C. (Hrsg.). (2019). Nationaler Bildungsbericht Öster-reich 2018. Band 1. Das Schulsystem im Spiegel von Daten und Indikatoren. Graz: Leykam. http://doi.org/ 10.17888/nbb2018-1.4

OECD (1996). Bildung auf einen Blick 1996. OECD-Indikatoren. Paris: OECD Publishing.

OECD (1999). Measuring Student Knowledge and Skills. A New Framework for Assessment. Paris: OECD Publishing. Verfügbar unter http://www.oecd.org/education/school/programmeforinternationalstudentassessment-pisa/33693997.pdf

OECD (2001). Lernen für das Leben. Erste Ergebnisse von PISA 2000. Paris: OECD Publishing.

OECD (2010a). PISA 2009 Assessment Framework: Key Competencies in Reading, Mathematics and Science. Paris: OECD Publishing.

OECD (2010b). PISA 2009 Ergebnisse: Was Schülerinnen und Schüler wissen und können. Schülerleistungen in Lesekompetenz, Mathematik und Naturwissenschaften (Band I). Bielefeld: W. Bertelsmann Verlag.

OECD (2010c). PISA 2009 Ergebnisse: Lernfortschritte im globalen Wettbewerb. Veränderungen bei den Schüler-leistungen seit 2000 (Band V). Paris: OECD Publishing.

OECD (2011). PISA 2009 Results: Students On Line: Digital Technologies and Performance (Volume VI). Paris: OECD Publishing. Verfügbar unter http://www.oecd.org/pisa/pisaproducts/48270093.pdf

OECD (2013). PISA 2012 Assessment and Analytical Framework. Paris: OECD Publishing.

OECD (2014). PISA 2012 Ergebnisse: Was Schülerinnen und Schüler wissen und können (Band I). Bielefeld: W. Bertelsmann Verlag.

OECD (2016a). PISA 2015 Ergebnisse (Band I). Exzellenz und Chancengerechtigkeit in der Bildung. Bielefeld: W. Bertelsmann Verlag.

OECD (2016b). PISA 2015 Results (Volume I): Excellence and equity in education. Paris: OECD Publishing.

OECD (2016c). PISA 2015 Results (Volume II): Policies and Practices for Successful Schools. Paris: OECD Publishing. http://doi.org/10.1787/9789264267510-en

OECD (2017). PISA 2015 Technical Report. Paris: OECD Publishing. Verfügbar unter http://www.oecd.org/pisa/sitedocument/PISA-2015-technical-report-final.pdf

OECD (2018). PISA for Development Science Framework. In OECD (Hrsg.). PISA for Development Assessment and Analytical Framework: Reading, Mathematics and Science (S. 71–97). Paris: OECD Publishing. https://doi.org/10.1787/9789264305274-6-en

OECD (2019a). Bildung auf einen Blick 2019. OECD-Indikatoren. Paris: OECD Publishing.

OECD (2019b). PISA 2018 Assessment and Analytical Framework. Paris: OECD-Publishing. https://doi.org/ 10.1787/b25efab8-en

OECD (2019c). PISA 2018 Results (Volume I). What Students Know and Can Do. Paris: OECD Publishing.

http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=EDU/WKP(2006)1&docLanguage=En

http://doi.org/10.17888/nbb2018-1.4

http://doi.org/10.17888/nbb2018-1.4

http://www.oecd.org/education/school/programmeforinternationalstudentassessmentpisa/33693997.pdf

http://www.oecd.org/education/school/programmeforinternationalstudentassessmentpisa/33693997.pdf

http://www.oecd.org/pisa/pisaproducts/48270093.pdf

http://doi.org/10.1787/9789264267510-en

http://www.oecd.org/pisa/sitedocument/PISA-2015-technical-report-final.pdf

http://www.oecd.org/pisa/sitedocument/PISA-2015-technical-report-final.pdf

https://doi.org/10.1787/9789264305274-6-en

https://doi.org/10.1787/b25efab8-en

https://doi.org/10.1787/b25efab8-en

102 Bibliografie

OECD (in preparation). PISA 2018. Technical Report. Paris: OECD Publishing.

OECD/Eurostat/UNESCO Institute for Statistics (2015). ISCED 2011 Operational Manual: Guidelines for Classifying National Education Programmes and Related Qualifications. Paris: OECD Publishing.

P Pareiss, M. (2019). Sampling-Design und Stichproben. In B. Suchań (Hrsg.), PISA 2018. Technischer Bericht (S. 35–48). Verfügbar unter https://www.bifie.at/material/internationale -studien/pisa/pisa-2018/

Parshall, C., Spray, J. & Kalohn, J. (2002). Practical Considerations in Computer-Based Testing. New York: Springer. http://doi.org/10.1007/978-1-4613-0083-0

Perner, N. (2019). Testorganisation und -durchführung. In B. Suchań (Hrsg.), PISA 2018. Technischer Bericht (S. 49–63). Verfügbar unter https://www.bifie.at/material/internationale -studien/pisa/pisa-2018/

R Robitzsch, A., Lüdtke, O., Köller, O., Kröhne, U., Goldhammer, F. & Heine, J. (2016). Herausforderungen bei der Schätzung von Trends in Schulleistungsstudien. Diagnostica, 63, 148–165. http://doi.org/10.1026/0012-1924/a000177

S Salchegger, S., Glaeser, A., Widauer, K. & Bitesnich, H. (2017). Warum besuchen Mädchen mit Spitzenleistungen in Mathematik so selten eine höhere technische Lehranstalt? Ursachen und Folgen von Geschlechterunterschieden bei der Schulwahl. In P. Schlögl, M. Stock, D. Moser, K. Schmid & F. Gramlinger (Hrsg.), Berufsbildung, eine Renaissance? Motor für Innovation, Beschäftigung, Teilhabe, Aufstieg, Wohlstand, ... (S. 172–183). Bielefeld: W. Bertelsmann Verlag. https://doi.org/10.3278/6004552w

Salchegger, S. & Herzog-Punzenberger, B. (2017). Lesekompetenz und sozioökonomischer Status von Jugend-lichen mit Migrationshintergrund: Entwicklungen seit dem Jahr 2000 in Österreich, der Schweiz und Deutschland. Zeitschrift für Bildungsforschung, 7, 79–100.

Salchegger, S., Herzog-Punzenberger, B. & Filzmoser, S. (2015). Migrationshintergrund und Lesekompetenz: Entwicklung seit dem Jahr 2000. In B. Suchań, C. Wallner-Paschon & C. Schreiner (Hrsg.), PIRLS & TIMSS 2011. Die Kompetenzen in Lesen, Mathematik und Naturwissenschaft am Ende der Volksschule. Österreichischer Expertenbericht (S. 67–84). Graz: Leykam.

Salchegger, S., Höller, I., Pareiss, M. & Lindemann, R. (2017). Kompetenzentwicklung im Kontext familiärer Faktoren. In C. Wallner-Paschon, U. Itzlinger-Bruneforth & C. Schreiner (Hrsg.), PIRLS 2016. Erste Ergebnisse. Die Lesekompetenz am Ende der Volksschule (S. 67–82). Graz: Leykam.

Salchegger, S. & Suchań, B. (2017). Was bedeutet es für den Geschlechterunterschied in der Mathematikkompe-tenz bei PISA, wenn dem Schulsystem leistungsschwache Jungen verloren gehen? Zeitschrift für Bildungsfor-schung, 8, 81–99. https://doi.org/10.1007/s35834-017-0190-7

Salchegger, S., Wallner-Paschon, C., Schmich, J. & Höller, I. (2016). Kompetenzentwicklung im Kontext individuel-ler, schulischer und familiärer Faktoren. In B. Suchań & S. Breit (Hrsg.), PISA 2015. Grundkompetenzen am Ende der Pflichtschulzeit im internationalen Vergleich (S. 77–100). Graz: Leykam.

Sälzer, C. & Reiss, K. (2016). PISA 2015 – die aktuelle Studie. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 13–42). Münster: Waxmann.

Schreiner, C. (Hrsg.). (2007). PISA 2006. Internationaler Vergleich von Schülerleistungen. Erste Ergebnisse. Graz: Leykam.


http://doi.org/10.1007/978-1-4613-0083-0


http://doi.org/10.1026/0012-1924/a000177

http://doi.org/10.1026/0012-1924/a000177

https://doi.org/10.3278/6004552w


Schreiner, C. (2012). Bildung der Eltern und Schülerleistungen in Österreich. In: B. Suchań, C. Wallner-Paschon, S. Bergmüller & C. Schreiner (Hrsg.), PIRLS & TIMSS 2011. Schülerleistungen in Lesen, Mathematik und Natur-wissenschaft in der Grundschule. Erste Ergebnisse (S. 48–49). Graz: Leykam. Verfügbar unter https://www.bifie.at/material/internationale-studien/pirls/pirls-2011/

Schwantner, U. & Schreiner, C. (Hrsg.). (2010). PISA 2009 – Internationaler Vergleich von Schülerleistungen. Erste Ergebnisse Lesen, Mathematik, Naturwissenschaften. Graz: Leykam. Verfügbar unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2009/

Schwantner, U. & Schreiner, C. (2011). PISA 2009 – Lesen im elektronischen Zeitalter. Die Ergebnisse im Überblick. Verfügbar unter https://www.bifie.at/wp-content/uploads/2017/05/PISA-2009_era-erste-ergebnisse_2011-06-28.pdf

Schwantner, U., Toferer, B. & Schreiner, C. (Hrsg.). (2013). PISA 2012. Internationaler Vergleich von Schülerleistun-gen. Erste Ergebnisse Mathematik, Lesen, Naturwissenschaft. Graz: Leykam. Verfügbar unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2012/

Suchań, B. & Breit, S. (Hrsg.). (2016a). PISA 2015. Grundkompetenzen am Ende der Pflichtschulzeit im inter-nationalen Vergleich. Graz: Leykam. Verfügbar unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2015/

Suchań, B. & Breit, S. (Hrsg.). (2016b). PISA 2015. Technischer Bericht. Verfügbar unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2015/

Suchań, B. & Itzlinger-Bruneforth, U. (Hrsg.). (2017). PISA 2015. Kollaboratives Problemlösen. Verfügbar unter https://www.bifie.at/wp-content/uploads/2017/11/PISA15_Kollaboratives-Problemloesen_final.pdf

V Verstralen, H. & Béguin, A. (2010). Recommendation on the Austrian PISA analysis. Verfügbar unter https://www.bifie.at/wp-content/uploads/2017/05/PISA-2009_recommendation-cito_2010-12-07.pdf

Y Yamamoto, K., He, Q., Jeong Shin, H. & von Davier, M. (2017). Developing a Machine-Supported Coding System for Constructed-Response Items in PISA. ETS Research Report. No. RR-174a–47. https://doi.org/10.1002/ets2.12169

Yamamoto, K., Shin, H. J. & Khorramdel, L. (2018). Multistage Adaptive Testing Design in International Large-Scale Assessments. Educational Measurement Issues and Practice, 37, 16–27. https://doi.org/10.1111/emip.12226

Yan, D., von Davier, A. & Lewis, C. (2014). Computerized Multistage Testing: Theory and Applications. New York: CRC.

https://www.bifie.at/material/internationale-studien/pirls/pirls-2011/

https://www.bifie.at/material/internationale-studien/pirls/pirls-2011/



https://www.bifie.at/wp-content/uploads/2017/05/PISA-2009_era-erste-ergebnisse_2011-06-28.pdf







https://www.bifie.at/wp-content/uploads/2017/11/PISA15_Kollaboratives-Problemloesen_final.pdf

https://www.bifie.at/wp-content/uploads/2017/05/PISA-2009_recommendation-cito_2010-12-07.pdf

https://doi.org/10.1002/ets2.12169

https://doi.org/10.1002/ets2.12169

https://doi.org/10.1111/emip.12226


Anhang

Tabelle A1: Lesen im internationalen Vergleich (PISA 2018)

Land

Lese

nM

W (

SE

)

Per

zent

ile95

.–5.

P

er-

zent

il

Mäd

chen

M

W (S

E)

Bur

sche

n M

W (S

E)

Ges

chle

chte

r-d

iffer

enz

(SE

)

Ko

mp

eten

zstu

fen

5.25

.50

.75

.95

.un

ter

Stu

fe

1c

Stu

fe

1cS

tufe

1b

Stu

fe

1aS

tufe

2

Stu

fe

3S

tufe

4

Stu

fe

5S

tufe

6

AU

S50

3(1

,6)

315

429

507

580

673

359

519

(2,0

)48

7(2

,2)

–31

(2,6

)0

16

1321

2521

103

AU

T48

4(2

,7)

318

413

488

558

641

323

499

(3,7

)47

1(3

,7)

–28

(5,2

)0

16

1623

2619

71

BE

L49

3(2

,3)

317

421

498

568

653

336

504

(2,8

)48

2(2

,9)

–22

(3,2

)0

16

1422

2620

81

BG

R42

0(3

,9)

263

344

416

491

594

331

441

(4,1

)40

1(4

,8)

–40

(4,6

)0

517

2525

178

20

CA

N52

0(1

,8)

349

452

524

592

677

327

535

(2,0

)50

6(2

,1)

–29

(2,1

)0

13

1020

2724

123

CH

E48

4(3

,1)

308

413

488

558

647

339

500

(3,2

)46

9(3

,4)

–31

(2,9

)0

17

1523

2619

71

CH

L45

2(2

,6)

298

389

453

517

602

304

462

(2,9

)44

2(3

,4)

–20

(3,6

)0

29

2129

2412

20

CO

L41

2(3

,3)

272

350

408

472

566

294

417

(3,3

)40

7(4

,0)

–10

(3,3

)0

416

3028

166

10

CZE

490

(2,5

)32

842

249

256

064

731

950

7(2

,9)

474

(3,1

)–3

3(3

,1)

01

515

2527

197

1D

EU

498

(3,0

)31

642

450

457

666

334

651

2(3

,2)

486

(3,4

)–2

6(3

,0)

01

614

2125

2110

2D

NK

501

(1,8

)34

443

950

456

664

730

351

6(2

,3)

486

(2,3

)–2

9(3

,0)

01

412

2430

227

1E

SP

––

––

––

––

––

––

––

––

––

––

––

–E

ST

523

(1,8

)36

746

052

458

767

630

953

8(2

,2)

508

(2,4

)–3

1(2

,6)

00

29

2130

2411

3FI

N52

0(2

,3)

345

455

527

591

672

327

546

(2,3

)49

5(2

,9)

–52

(2,7

)0

13

919

2825

122

FRA

493

(2,3

)31

942

349

756

765

133

150

5(2

,8)

480

(2,8

)–2

5(3

,1)

01

614

2327

208

1G

BR

504

(2,6

)33

443

550

657

566

433

051

4(3

,1)

494

(3,2

)–2

0(3

,6)

01

412

2327

219

2G

RC

457

(3,6

)29

239

046

052

661

432

247

9(3

,7)

437

(4,2

)–4

2(3

,5)

02

919

2725

133

0H

RV

479

(2,7

)32

941

848

054

262

329

449

5(2

,9)

462

(3,3

)–3

3(3

,7)

01

516

2829

164

0H

UN

476

(2,3

)31

140

747

954

763

131

948

9(3

,2)

463

(2,8

)–2

6(4

,1)

01

717

2526

185

1IR

L51

8(2

,2)

364

456

520

583

663

299

530

(2,5

)50

6(3

,0)

–23

(3,3

)0

02

922

3024

102

ISL

474

(1,7

)29

340

247

754

964

034

749

4(2

,6)

454

(2,5

)–4

1(3

,8)

02

816

2525

176

1IS

R47

0(3

,7)

256

381

479

563

663

407

493

(3,7

)44

5(5

,6)

–48

(5,8

)1

510

1519

2218

82

ITA

476

(2,4

)30

641

348

154

562

832

248

9(2

,7)

464

(3,1

)–2

5(3

,1)

02

715

2628

175

0JP

N50

4(2

,7)

337

438

508

572

657

320

514

(3,0

)49

3(3

,8)

–20

(4,3

)0

14

1222

2922

92

KO

R51

4(2

,9)

329

449

522

585

669

341

526

(3,6

)50

3(4

,0)

–24

(4,9

)0

14

1020

2825

112

LTU

476

(1,5

)31

641

047

954

362

531

049

6(1

,8)

457

(1,8

)–3

9(2

,2)

01

617

2628

175

0LU

X47

0(1

,1)

291

392

472

548

646

355

485

(1,6

)45

6(1

,5)

–29

(2,2

)0

29

1824

2316

61

LVA

479

(1,6

)32

841

548

054

262

429

649

5(2

,0)

462

(2,2

)–3

3(2

,7)

01

517

2729

174

0M

EX

420

(2,7

)28

636

241

947

656

227

642

6(3

,0)

415

(3,1

)–1

1(2

,5)

02

1329

3217

51

0M

LT44

8(1

,7)

258

369

452

529

628

371

474

(2,4

)42

5(2

,4)

–49

(3,3

)1

512

1924

2213

41

NLD

485

(2,7

)30

941

048

656

265

134

249

9(2

,6)

470

(3,5

)–2

9(3

,2)

01

716

2424

198

1N

OR

499

(2,2

)31

043

050

657

666

135

152

3(2

,6)

476

(2,6

)–4

7(2

,9)

02

612

2126

2210

2N

ZL50

6(2

,0)

322

432

511

584

671

348

520

(2,7

)49

1(2

,7)

–29

(3,7

)0

15

1321

2523

112

PO

L51

2(2

,7)

347

446

515

581

667

320

528

(2,9

)49

5(3

,0)

–33

(2,6

)0

13

1122

2823

102

PR

T49

2(2

,4)

327

425

497

562

640

313

504

(2,9

)48

0(2

,8)

–24

(2,8

)0

15

1423

2821

61

SV

K45

8(2

,2)

291

388

458

529

623

331

475

(3,0

)44

1(2

,7)

–34

(3,4

)0

29

2027

2414

40

SV

N49

5(1

,2)

335

431

499

561

644

309

517

(1,9

)47

5(1

,7)

–42

(2,6

)0

14

1325

3020

71

SW

E50

6(3

,0)

317

434

512

583

672

355

523

(3,4

)48

9(3

,2)

–34

(2,8

)0

15

1221

2522

112

TUR

466

(2,2

)32

140

446

652

761

028

947

8(2

,7)

453

(3,0

)–2

5(3

,8)

01

619

3027

133

0

US

A50

5(3

,6)

321

430

510

584

676

354

517

(3,6

)49

4(4

,2)

–24

(3,5

)0

15

1321

2521

113

MW

= M

ittel

wer

t, S

E =

Sta

ndar

dfeh

ler,

Ges

chle

chte

rdiff

eren

z =

MW

Mäd

chen

– M

W B

ursc

hen

106 Anhang

Tabelle A2: Lese-Subskala „Kognitive Prozesse“ im internationalen Vergleich (PISA 2018)

Land

Informationen fi nden Verstehen Bewerten und Refl ektieren

MW (SE) MädchenMW (SE)

BurschenMW (SE) MW (SE) Mädchen

MW (SE)BurschenMW (SE) MW (SE) Mädchen

MW (SE)BurschenMW (SE)

AUS 499 (2,2) 514 (2,7) 485 (3,0) 502 (1,7) 517 (2,0) 487 (2,4) 513 (2,1) 528 (2,7) 498 (2,8)AUT 480 (2,9) 495 (3,9) 465 (3,9) 481 (2,7) 496 (3,9) 466 (3,8) 483 (3,1) 492 (4,4) 474 (4,2)BEL 498 (2,6) 509 (3,4) 488 (3,1) 492 (2,3) 502 (2,8) 481 (2,8) 497 (2,8) 508 (3,6) 486 (3,4)BGR 413 (4,3) 434 (4,5) 394 (5,2) 415 (4,2) 437 (4,4) 395 (5,1) 416 (4,2) 434 (4,5) 400 (5,0)CAN 517 (2,3) 531 (2,6) 503 (2,8) 520 (1,9) 534 (2,2) 506 (2,4) 527 (2,2) 541 (2,5) 514 (2,8)CHE 483 (3,4) 499 (3,6) 468 (4,0) 483 (3,2) 500 (3,4) 468 (3,5) 482 (3,4) 496 (3,4) 471 (3,9)CHL 441 (3,2) 450 (3,7) 432 (3,9) 450 (2,8) 460 (3,0) 440 (3,6) 456 (3,4) 463 (3,5) 448 (4,5)COL 404 (3,6) 409 (3,9) 398 (4,4) 413 (3,3) 418 (3,2) 407 (4,1) 417 (3,7) 419 (3,8) 415 (4,7)CZE 492 (2,9) 510 (3,6) 476 (3,4) 488 (2,8) 506 (3,2) 471 (3,3) 489 (2,8) 503 (3,2) 476 (3,4)DEU 498 (3,4) 514 (3,8) 484 (3,8) 494 (3,0) 509 (3,3) 482 (3,4) 497 (3,3) 509 (3,7) 486 (3,7)DNK 501 (2,3) 516 (2,9) 485 (2,7) 497 (2,0) 512 (2,3) 483 (2,6) 505 (2,1) 518 (2,8) 492 (2,6)ESP – – – – – – – – – – – – – – – – – –EST 529 (2,2) 542 (2,6) 515 (2,7) 526 (1,9) 542 (2,1) 509 (2,3) 521 (2,4) 534 (3,1) 508 (2,9)FIN 526 (2,5) 553 (2,6) 500 (3,2) 518 (2,4) 545 (2,5) 492 (2,9) 517 (2,5) 541 (2,8) 494 (3,1)FRA 496 (2,9) 509 (3,5) 483 (3,3) 490 (2,5) 503 (3,1) 477 (3,0) 491 (2,9) 502 (3,5) 479 (3,4)GBR 507 (3,0) 515 (4,2) 497 (3,5) 498 (2,7) 508 (3,3) 489 (3,4) 511 (2,9) 519 (3,5) 502 (3,7)GRC 458 (3,8) 481 (3,7) 436 (4,6) 457 (3,7) 479 (3,6) 436 (4,4) 462 (4,0) 482 (4,1) 442 (4,7)HRV 478 (3,0) 494 (3,3) 461 (3,8) 478 (2,7) 494 (2,8) 462 (3,4) 474 (2,9) 489 (3,3) 458 (3,9)HUN 471 (2,4) 482 (3,5) 459 (3,0) 479 (2,4) 492 (3,4) 466 (3,0) 477 (2,6) 487 (3,6) 468 (3,2)IRL 521 (2,3) 533 (3,1) 509 (3,0) 510 (2,4) 522 (2,7) 498 (3,3) 519 (2,5) 529 (2,9) 510 (3,4)ISL 482 (1,9) 504 (2,8) 459 (2,8) 480 (1,8) 500 (2,6) 460 (2,5) 475 (2,0) 491 (2,7) 458 (3,0)ISR 461 (4,1) 485 (4,5) 435 (5,9) 469 (3,8) 492 (3,8) 443 (5,8) 481 (4,2) 502 (4,2) 458 (6,1)ITA 470 (2,9) 482 (3,2) 458 (3,7) 478 (2,6) 490 (2,8) 467 (3,4) 482 (2,7) 495 (2,8) 470 (3,5)JPN 499 (2,8) 510 (3,0) 489 (4,0) 505 (2,8) 514 (3,1) 495 (4,1) 502 (3,0) 511 (3,6) 493 (4,3)KOR 521 (3,1) 532 (4,2) 510 (4,0) 522 (3,0) 533 (3,7) 512 (4,1) 522 (3,5) 532 (4,4) 512 (4,5)LTU 474 (2,0) 493 (2,5) 455 (2,5) 475 (1,7) 497 (2,1) 454 (2,1) 474 (2,0) 492 (2,5) 458 (2,3)LUX 470 (1,5) 485 (2,0) 456 (2,1) 470 (1,2) 484 (1,9) 455 (1,6) 468 (1,4) 479 (1,8) 457 (2,5)LVA 483 (2,4) 501 (2,8) 464 (2,8) 482 (1,7) 498 (2,2) 466 (2,2) 477 (1,7) 491 (2,7) 464 (2,4)MEX 416 (3,1) 423 (3,3) 408 (3,4) 417 (2,8) 423 (3,0) 412 (3,2) 426 (3,1) 429 (3,3) 422 (3,7)MLT 453 (2,2) 478 (2,9) 429 (3,1) 441 (1,9) 467 (2,5) 418 (2,5) 448 (1,9) 470 (2,6) 428 (2,7)NLD 500 (3,0) 515 (3,3) 486 (3,7) 484 (2,7) 499 (2,6) 470 (3,6) 476 (3,7) 489 (3,5) 462 (4,9)NOR 503 (2,6) 526 (3,4) 480 (2,7) 498 (2,3) 523 (2,8) 475 (2,7) 502 (2,6) 522 (3,0) 483 (3,2)NZL 506 (2,5) 520 (3,3) 492 (3,1) 506 (2,1) 520 (2,8) 492 (2,7) 509 (2,6) 522 (3,4) 495 (3,2)POL 514 (2,8) 530 (3,0) 497 (3,3) 514 (2,8) 531 (3,0) 497 (3,2) 514 (2,9) 527 (3,3) 501 (3,3)PRT 489 (2,9) 498 (3,3) 481 (3,5) 489 (2,6) 501 (3,2) 477 (3,1) 494 (2,6) 506 (3,4) 483 (3,3)SVK 461 (2,6) 476 (3,3) 445 (3,3) 458 (2,5) 475 (3,2) 440 (2,9) 457 (2,6) 472 (3,5) 443 (3,1)SVN 498 (1,6) 522 (2,4) 475 (1,9) 496 (1,2) 517 (1,9) 475 (1,6) 494 (1,5) 513 (2,4) 477 (2,1)SWE 511 (3,1) 529 (3,6) 493 (3,4) 504 (3,1) 520 (3,5) 488 (3,3) 512 (3,4) 528 (3,9) 495 (3,6)TUR 463 (2,4) 473 (2,7) 452 (3,6) 474 (2,2) 487 (2,6) 461 (2,9) 475 (2,5) 489 (3,1) 460 (3,3)USA 501 (3,5) 514 (3,7) 489 (4,2) 501 (3,7) 513 (3,7) 489 (4,3) 511 (4,2) 521 (4,3) 500 (4,9)

MW = Mittelwert, SE = Standardfehler


Tabelle A3: Lese-Subskala „Textstruktur“ im internationalen Vergleich (PISA 2018)


Land

Texte aus einer Quelle Texte aus multiplen Quellen

MW (SE) MädchenMW (SE)

BurschenMW (SE) MW (SE) Mädchen

MW (SE)BurschenMW (SE)

AUS 502 (1,8) 518 (2,3) 487 (2,5) 507 (1,8) 522 (2,3) 493 (2,3)AUT 478 (2,7) 493 (3,8) 463 (3,9) 484 (2,7) 496 (3,8) 473 (3,7)BEL 491 (2,4) 503 (2,9) 479 (2,9) 500 (2,4) 510 (2,7) 491 (3,0)BGR 413 (4,2) 435 (4,5) 394 (5,1) 417 (4,2) 438 (4,5) 398 (5,1)CAN 521 (1,9) 536 (2,2) 505 (2,4) 522 (2,0) 535 (2,1) 509 (2,4)CHE 477 (3,2) 495 (3,3) 460 (3,6) 489 (3,2) 502 (3,3) 477 (3,6)CHL 449 (2,8) 460 (3,1) 438 (3,8) 451 (2,8) 459 (3,0) 443 (3,7)COL 411 (3,4) 417 (3,3) 406 (4,3) 412 (3,4) 416 (3,4) 408 (4,2)CZE 484 (2,8) 502 (3,2) 466 (3,3) 494 (2,7) 509 (3,2) 480 (3,2)DEU 494 (3,2) 510 (3,3) 481 (3,7) 497 (3,2) 510 (3,5) 486 (3,6)DNK 496 (2,0) 512 (2,6) 480 (2,4) 503 (1,8) 517 (2,4) 489 (2,4)ESP – – – – – – – – – – – –EST 522 (1,9) 538 (2,4) 505 (2,4) 529 (1,9) 542 (2,4) 515 (2,4)FIN 518 (2,5) 546 (2,6) 491 (3,2) 520 (2,4) 544 (2,4) 497 (2,9)FRA 486 (2,6) 502 (3,1) 471 (3,2) 495 (2,5) 505 (3,0) 485 (3,0)GBR 498 (2,7) 508 (3,3) 488 (3,4) 508 (2,7) 516 (3,3) 499 (3,3)GRC 459 (3,8) 482 (3,8) 437 (4,5) 458 (3,6) 478 (3,6) 438 (4,3)HRV 475 (2,7) 492 (2,9) 458 (3,5) 478 (2,8) 493 (3,0) 464 (3,5)HUN 474 (2,3) 486 (3,3) 461 (2,9) 480 (2,6) 491 (3,5) 468 (3,1)IRL 513 (2,5) 526 (2,9) 499 (3,2) 517 (2,4) 526 (2,8) 507 (3,1)ISL 479 (1,8) 500 (2,7) 458 (2,6) 479 (1,7) 497 (2,5) 462 (2,5)ISR 469 (3,9) 494 (3,9) 443 (5,8) 471 (4,0) 493 (4,2) 447 (5,8)ITA 474 (2,6) 487 (2,9) 462 (3,4) 481 (2,6) 492 (2,8) 471 (3,4)JPN 499 (2,8) 508 (3,2) 489 (3,9) 506 (2,8) 516 (3,2) 497 (4,0)KOR 518 (3,1) 530 (3,9) 507 (4,1) 525 (3,1) 536 (3,8) 516 (4,2)LTU 474 (1,7) 496 (2,0) 452 (2,1) 475 (1,7) 494 (2,1) 456 (2,0)LUX 464 (1,2) 479 (1,8) 449 (1,8) 475 (1,4) 488 (2,1) 462 (2,0)LVA 479 (1,6) 496 (2,2) 461 (2,2) 483 (1,7) 498 (2,2) 467 (2,2)MEX 419 (2,9) 426 (3,2) 412 (3,3) 419 (2,8) 424 (3,0) 414 (3,1)MLT 443 (2,0) 469 (2,7) 419 (2,8) 448 (1,9) 472 (2,5) 426 (2,5)NLD 488 (2,8) 504 (2,7) 472 (3,6) 495 (2,5) 506 (2,5) 485 (3,3)NOR 498 (2,4) 524 (2,8) 473 (2,8) 502 (2,3) 523 (2,7) 482 (2,8)NZL 504 (2,2) 518 (2,8) 489 (2,7) 509 (2,1) 522 (2,7) 497 (2,7)POL 512 (2,8) 530 (3,0) 494 (3,3) 514 (2,7) 528 (2,9) 500 (3,1)PRT 487 (2,6) 501 (3,1) 474 (3,0) 494 (2,5) 504 (3,1) 484 (2,8)SVK 453 (2,3) 470 (3,1) 435 (2,9) 465 (2,2) 481 (2,9) 450 (2,7)SVN 495 (1,2) 517 (1,9) 473 (1,8) 497 (1,5) 516 (2,2) 479 (1,8)SWE 503 (3,1) 521 (3,6) 485 (3,3) 511 (3,1) 526 (3,6) 497 (3,3)TUR 473 (2,3) 486 (2,7) 460 (3,0) 471 (2,4) 484 (2,8) 458 (3,2)USA 502 (3,7) 514 (3,9) 490 (4,4) 505 (3,7) 517 (3,7) 493 (4,3)

108 Anhang

Tabelle A4: Veränderung der Kompetenzen in Lesen, Mathematik und Naturwissenschaft in Österreich nach Perzentilen (PISA 2000, PISA 2003, PISA 2006, PISA 2009, PISA 2015, PISA 2018)

Lese

nM

athe

mat

ikN

atur

wis

sens

chaf

t

Jahr

MW

(S

E)

Per

zent

ile95

.–5.

P

erze

ntil

MW

(S

E)

Per

zent

ile95

.–5.

P

erze

ntil

MW

(S

E)

Per

zent

ile95

.–5.

P

erze

ntil

5.25

.50

.75

.95

.5.

25.

50.

75.

95.

5.25

.50

.75

.95

.

2000

492

(2,7

)31

842

849

956

364

132

4–

––

––

––

––

––

––

––

–

2003

491

(3,8

)31

342

349

956

564

633

350

6(3

,3)

353

439

506

571

658

305

––

––

––

––

2006

490

(4,1

)29

842

149

956

865

135

350

5(3

,7)

338

438

511

577

657

319

511

(3,9

)34

144

351

658

266

332

1

2009

470

(2,9

)29

939

947

654

562

532

649

6(2

,7)

338

425

497

566

650

312

494

(3,2

)32

142

449

956

965

333

2

2012

490

(2,8

)32

942

749

655

762

930

050

6(2

,7)

353

440

506

572

654

301

506

(2,7

)35

044

251

057

165

030

0

2015

485

(2,8

)30

841

749

155

964

133

349

7(2

,9)

337

431

501

564

648

311

495

(2,4

)33

542

449

856

565

231

7

2018

484

(2,7

)31

841

348

855

864

132

349

9(3

,0)

341

433

503

566

646

305

490

(2,8

)33

242

049

356

064

231

0

MW

= M

ittel

wer

t, S

E =

Sta

ndar

dfeh

ler

Mat

hem

atik

war

200

3 er

stm

als

die

Hau

ptdo

män

e un

d N

atur

wis

sens

chaf

t 200

6, d

aher

sin

d in

die

sen

Dom

änen

kei

ne V

ergl

eich

e m

it frü

here

n Er

hebu

ngsz

eitp

unkt

en m

öglic

h.


Tabelle A5: Mittelwerte von Mädchen und Burschen in Lesen, Mathematik und Naturwissenschaft im Trend (PISA 2000, PISA 2003, PISA 2006, PISA 2009, PISA 2015, PISA 2018)

Lesen Mathematik Naturwissenschaft

Jahr MädchenMW (SE)

BurschenMW (SE)

MädchenMW (SE)

BurschenMW (SE)

MädchenMW (SE)

BurschenMW (SE)

2000 509 (4,0) 476 (3,6) – – – – – – – –

2003 514 (4,2) 467 (4,5) 502 (4,0) 509 (4,0) – – – –

2006 513 (5,5) 468 (4,9) 494 (4,1) 517 (4,4) 507 (4,9) 515 (4,2)

2009 490 (4,0) 449 (3,8) 486 (4,0) 506 (3,4) 490 (4,4) 498 (4,2)

2012 508 (3,4) 471 (4,0) 494 (3,3) 517 (3,9) 501 (3,4) 510 (3,9)

2015 495 (3,7) 475 (4,3) 483 (3,6) 510 (3,8) 486 (3,1) 504 (3,6)

2018 499 (3,7) 471 (3,7) 492 (3,8) 505 (3,9) 489 (3,6) 491 (3,8)


110 Anhang

Tabelle A6: Mathematik im internationalen Vergleich (PISA 2018)

Land

Mat

hem

atik

MW

(S

E)

Per

zent

ile95

.–5.

P

er-

zent

il

Mäd

chen

MW

(SE

)B

ursc

hen

MW

(SE

)G

esch

lech

ter-

diff

eren

z (S

E)

Ko

mp

eten

zstu

fen

5.25

.50

.75

.95

.un

ter

Stu

fe 1

Stu

fe 1

Stu

fe 2

Stu

fe 3

Stu

fe 4

Stu

fe 5

Stu

fe 6

AU

S49

1(1

,9)

339

428

492

555

641

302

488

(2,5

)49

4(2

,4)

6(3

,0)

815

2326

188

2A

UT

499

(3,0

)34

143

350

356

664

630

549

2(3

,8)

505

(3,9

)13

(5,1

)7

1421

2521

103

BE

L50

8(2

,3)

344

440

514

579

656

312

502

(2,7

)51

4(2

,9)

12(3

,3)

713

1924

2212

3B

GR

436

(3,8

)28

036

843

450

359

931

943

7(3

,9)

435

(4,9

)–2

(4,5

)22

2224

189

31

CA

N51

2(2

,4)

358

449

513

576

661

303

510

(2,7

)51

4(2

,5)

5(2

,3)

511

2126

2211

4C

HE

515

(2,9

)36

044

851

858

266

830

951

2(3

,5)

519

(3,0

)7

(2,9

)5

1220

2422

125

CH

L41

7(2

,4)

282

359

416

475

559

276

414

(2,7

)42

1(3

,3)

7(3

,6)

2527

2616

61

0C

OL

391

(3,0

)26

233

538

744

553

126

938

1(3

,1)

401

(3,8

)20

(3,5

)36

3021

103

00

CZE

499

(2,5

)34

543

550

156

465

030

549

8(3

,2)

501

(2,9

)4

(3,6

)7

1422

2520

103

DE

U50

0(2

,6)

337

433

504

570

650

313

496

(3,1

)50

3(3

,0)

7(2

,9)

814

2124

2111

3D

NK

509

(1,7

)37

045

451

256

764

027

050

7(2

,3)

511

(2,3

)4

(2,9

)4

1122

2923

102

ES

P48

1(1

,5)

331

421

484

544

621

290

478

(1,5

)48

5(2

,1)

6(2

,1)

916

2426

186

1E

ST

523

(1,7

)39

046

852

457

965

726

751

9(2

,0)

528

(2,2

)8

(2,5

)2

821

2925

124

FIN

507

(2,0

)36

845

151

056

563

927

151

0(2

,2)

504

(2,5

)–6

(2,6

)4

1122

2923

92

FRA

495

(2,3

)33

343

350

256

263

830

549

2(2

,8)

499

(2,7

)6

(2,9

)8

1321

2621

92

GB

R50

2(2

,6)

346

439

504

567

651

305

496

(3,0

)50

8(3

,2)

12(3

,6)

613

2225

2010

3G

RC

451

(3,1

)30

239

145

451

359

529

445

1(3

,2)

452

(3,9

)(3

,6)

1521

2722

113

1H

RV

464

(2,5

)32

340

546

352

360

828

546

0(3

,4)

469

(3,0

)9

(3,8

)11

2027

2313

41

HU

N48

1(2

,3)

328

418

484

546

626

298

477

(3,2

)48

6(3

,0)

9(4

,1)

1016

2425

187

1IR

L50

0(2

,2)

367

447

502

554

625

258

497

(2,7

)50

3(2

,9)

6(3

,4)

412

2531

217

1IS

L49

5(2

,0)

340

434

499

559

638

298

500

(2,9

)49

0(2

,5)

–10

(3,7

)7

1322

2720

82

ISR

463

(3,5

)27

638

846

854

263

235

646

7(3

,5)

458

(5,2

)–9

(5,4

)18

1621

2115

72

ITA

487

(2,8

)32

742

349

055

263

530

847

9(3

,1)

494

(3,3

)16

(3,5

)9

1523

2618

82

JPN

527

(2,5

)38

046

853

058

966

428

352

2(2

,9)

532

(3,4

)10

(3,9

)3

919

2625

144

KO

R52

6(3

,1)

354

460

530

596

684

330

524

(4,0

)52

8(4

,1)

4(5

,3)

510

1723

2314

7LT

U48

1(2

,0)

330

418

483

545

630

300

482

(2,7

)48

0(2

,4)

–2(3

,3)

916

2425

177

2LU

X48

3(1

,1)

321

413

485

555

641

320

480

(1,7

)48

7(1

,5)

7(2

,3)

1116

2223

189

2LV

A49

6(2

,0)

363

441

497

551

628

265

493

(2,5

)50

0(2

,2)

7(2

,6)

413

2629

197

1M

EX

409

(2,5

)28

435

640

846

153

925

540

3(2

,7)

415

(2,9

)12

(2,6

)26

3026

134

00

MLT

472

(1,9

)29

740

147

854

563

033

347

8(2

,7)

466

(2,4

)–1

3(3

,5)

1416

2223

177

2N

LD51

9(2

,6)

362

453

524

588

664

302

519

(2,7

)52

0(3

,5)

1(3

,3)

511

1923

2414

4N

OR

501

(2,2

)34

544

150

456

564

529

950

5(2

,6)

497

(2,5

)–7

(2,6

)6

1222

2621

102

NZL

494

(1,7

)33

943

049

656

064

530

649

0(2

,3)

499

(2,5

)9

(3,3

)8

1423

2519

93

PO

L51

6(2

,6)

366

455

517

578

661

295

515

(3,1

)51

6(2

,9)

1(3

,0)

411

2127

2212

4P

RT

492

(2,7

)32

742

649

756

264

331

648

8(3

,1)

497

(3,0

)9

(3,1

)9

1421

2420

92

SV

K48

6(2

,6)

315

420

492

556

640

326

484

(3,2

)48

8(3

,2)

5(3

,9)

1114

2124

198

2S

VN

509

(1,4

)36

044

851

157

165

229

250

9(1

,8)

509

(1,9

)1

(2,5

)5

1222

2622

113

SW

E50

2(2

,7)

348

441

505

567

647

299

503

(3,1

)50

2(3

,1)

–1(3

,1)

613

2226

2110

3TU

R45

4(2

,3)

314

392

450

512

605

290

451

(2,9

)45

6(3

,2)

5(4

,0)

1423

2720

114

1

US

A47

8(3

,2)

326

414

479

543

629

303

474

(3,3

)48

2(3

,9)

9(3

,2)

1017

2424

167

1

MW

= M

ittel

wer

t, S

E =

Sta

ndar

dfeh

ler,

Ges

chle

chte

rdiff

eren

z =

MW

Mäd

chen

– M

W B

ursc

hen


Tabelle A7: Naturwissenschaft im internationalen Vergleich (PISA 2018)

MW

= M

ittel

wer

t, S

E =

Sta

ndar

dfeh

ler,

Ges

chle

chte

rdiff

eren

z =

MW

Mäd

chen

– M

W B

ursc

hen

Land

Nat

ur–

wis

sens

chaf

tM

W (

SE

)

Per

zent

ile95

.–5.

P

er-

zent

il

Mäd

chen

MW

(SE

)B

ursc

hen

MW

(SE

)G

esch

lech

ter-

diff

eren

z (S

E)

Ko

mp

eten

zstu

fen

5.25

.50

.75

.95

.un

ter

Stu

fe 1

bS

tufe

1b

Stu

fe

1aS

tufe

2S

tufe

3S

tufe

4S

tufe

5S

tufe

6

AU

S50

3(1

,8)

334

432

506

575

664

330

502

(2,0

)50

4(2

,4)

2(2

,6)

14

1423

2721

82

AU

T49

0(2

,8)

332

420

493

560

642

310

489

(3,6

)49

1(3

,8)

2(5

,0)

15

1625

2819

60

BE

L49

9(2

,2)

328

428

505

571

652

324

496

(2,7

)50

1(2

,6)

5(3

,0)

15

1422

2821

71

BG

R42

4(3

,6)

279

355

418

490

587

309

432

(3,8

)41

7(4

,5)

–15

(4,3

)3

1528

2718

71

0C

AN

518

(2,2

)35

745

352

058

667

131

452

0(2

,5)

516

(2,7

)–3

(2,9

)0

310

2229

2410

2C

HE

495

(3,0

)33

542

649

756

565

131

749

5(3

,3)

495

(3,3

)(2

,8)

05

1525

2819

71

CH

L44

4(2

,4)

309

385

442

502

584

275

442

(2,6

)44

5(3

,2)

3(3

,3)

19

2633

238

10

CO

L41

3(3

,1)

287

355

409

469

555

269

407

(2,9

)42

0(3

,8)

12(2

,9)

215

3330

154

00

CZE

497

(2,5

)34

143

049

756

465

131

049

8(3

,1)

496

(3,2

)–2

(3,7

)0

414

2629

197

1D

EU

503

(2,9

)32

843

050

857

766

533

750

4(3

,3)

502

(3,2

)–1

(3,0

)1

514

2227

219

1D

NK

493

(1,9

)33

743

149

655

863

730

049

4(2

,2)

492

(2,5

)–2

(2,8

)1

414

2730

195

1E

SP

483

(1,6

)33

442

148

554

762

729

348

2(1

,8)

484

(1,9

)2

(2,1

)1

516

2829

174

0E

ST

530

(1,9

)38

446

953

159

167

428

953

3(2

,3)

528

(2,3

)–5

(2,5

)0

18

2232

2510

2FI

N52

2(2

,5)

356

458

526

590

673

317

534

(2,9

)51

0(2

,9)

–24

(3,0

)0

310

2129

2510

2FR

A49

3(2

,2)

330

425

497

563

644

314

493

(2,8

)49

3(2

,7)

–1(3

,1)

15

1525

2820

61

GB

R50

5(2

,6)

340

437

507

575

664

324

503

(3,2

)50

6(3

,1)

2(3

,6)

14

1324

2821

81

GR

C45

2(3

,1)

309

392

453

513

591

282

457

(3,2

)44

6(3

,8)

–11

(3,3

)1

822

3226

91

0H

RV

472

(2,8

)32

740

947

153

662

229

547

4(3

,4)

470

(3,5

)–4

(4,0

)1

619

3027

143

0H

UN

481

(2,3

)32

541

248

454

963

130

647

8(3

,1)

484

(3,1

)6

(4,0

)1

618

2628

174

0IR

L49

6(2

,2)

348

435

498

558

639

292

497

(2,6

)49

5(3

,0)

–1(3

,4)

03

1327

3119

50

ISL

475

(1,8

)32

541

047

654

062

329

847

9(2

,8)

471

(2,3

)–8

(3,6

)0

619

2828

154

0IS

R46

2(3

,6)

279

381

464

544

640

361

471

(3,5

)45

2(5

,3)

–19

(5,3

)3

1119

2323

155

1IT

A46

8(2

,4)

316

407

470

532

612

296

466

(2,6

)47

0(3

,0)

3(2

,9)

17

1830

2813

30

JPN

529

(2,6

)37

146

653

459

567

330

252

8(3

,0)

531

(3,5

)3

(4,0

)0

29

2030

2711

2K

OR

519

(2,8

)35

245

352

458

967

232

051

7(3

,6)

521

(3,9

)4

(5,0

)0

311

2129

2410

2LT

U48

2(1

,6)

334

418

483

546

629

295

485

(2,1

)47

9(2

,3)

–6(3

,0)

05

1728

2916

40

LUX

477

(1,2

)31

740

447

754

963

732

047

9(1

,7)

475

(1,7

)–5

(2,3

)1

719

2626

175

1LV

A48

7(1

,8)

347

429

489

546

623

276

491

(2,4

)48

3(2

,2)

–8(3

,0)

03

1529

3117

30

ME

X41

9(2

,6)

303

367

416

469

548

246

415

(2,9

)42

4(2

,8)

9(2

,4)

112

3434

154

00

MLT

457

(1,9

)27

838

046

053

462

835

046

8(2

,5)

447

(2,4

)–2

1(3

,2)

311

1925

2413

40

NLD

503

(2,8

)32

942

850

858

166

633

650

8(3

,1)

499

(3,6

)–8

(3,6

)1

514

2225

229

2N

OR

490

(2,3

)32

142

449

556

064

532

449

6(2

,8)

485

(2,6

)–1

1(2

,9)

16

1425

2919

61

NZL

508

(2,1

)33

643

751

258

267

033

450

8(2

,8)

509

(2,9

)2

(3,9

)1

413

2227

2210

2P

OL

511

(2,6

)35

944

851

157

666

030

151

1(3

,1)

511

(2,8

)(2

,7)

03

1125

3022

81

PR

T49

2(2

,8)

336

427

494

558

638

301

489

(3,3

)49

4(3

,0)

5(3

,1)

04

1526

2919

50

SV

K46

4(2

,3)

307

397

464

531

622

314

467

(3,0

)46

1(2

,8)

–6(3

,7)

18

2029

2513

30

SV

N50

7(1

,3)

359

447

510

569

648

289

512

(2,0

)50

2(1

,6)

–10

(2,6

)0

212

2532

227

1S

WE

499

(3,1

)33

343

150

357

065

532

250

3(3

,7)

496

(3,2

)–8

(3,1

)1

514

2428

217

1TU

R46

8(2

,0)

335

409

466

526

608

273

472

(2,5

)46

5(2

,9)

–7(3

,6)

05

2033

2712

20

US

A50

2(3

,3)

336

433

505

574

660

324

502

(3,5

)50

3(3

,9)

1(3

,3)

14

1424

2821

81

112 Anhang

Tabelle A8: Häufigkeiten einzelner Ausprägungen der Fragen zu den Skalen Lesefreude und Leseselbstkonzept (PISA 2018)

Lesefreude

Wie sehr stimmst du den folgenden Aussagen zu? Stimme gar nicht zu, stimme eher nicht zu, stimme eher zu, stimme ganz zu

PISA2000

PISA2009 PISA 2018

AUT AUT AUT BEL CHE CZE DEU DNK FIN GBR HUN IRL ITA LUX NLD SVK SVN SWEVL-16-Schnitt

Ich lese nur, wenn ich muss.% 41 49 53 58 53 49 50 57 51 54 40 52 38 53 63 45 57 57 52

(SE) (1,10) (0,94) (0,81) (0,65) (0,90) (0,81) (0,84) (0,77) (0,84) (0,72) (0,93) (0,93) (0,84) (0,65) (0,8) (0,84) (0,75) (0,79) (0,20)

Lesen ist eines meiner liebsten Hobbys.

% 30 27 28 22 26 37 26 17 25 27 35 31 39 27 18 41 26 24 28

(SE) (1,17) (0,82) (0,69) (0,59) (0,68) (0,85) (0,77) (0,58) (0,65) (0,65) (0,92) (0,63) (0,71) (0,63) (0,68) (0,79) (0,62) (0,71) (0,18)

Ich rede gern mit anderen Leuten über Bücher.

% 26 27 26 26 27 39 24 29 31 31 35 33 41 28 19 39 34 32 31

(SE) (1,08) (0,92) (0,76) (0,61) (0,83) (0,84) (0,79) (0,80) (0,80) (0,71) (0,93) (0,72) (0,79) (0,65) (0,68) (0,86) (0,75) (0,84) (0,19)

Für mich ist Lesen Zeitver-schwendung.

% 28 35 35 42 36 38 34 31 38 31 30 27 26 34 43 28 37 38 34

(SE) (1,02) (0,74) (0,74) (0,76) (0,86) (0,76) (0,76) (0,72) (0,88) (0,66) (0,95) (0,79) (0,76) (0,7) (0,85) (0,81) (0,73) (0,84) (0,20)

Ich lese nur, um Informationen zu bekommen, die ich brauche.

% 52 53 53 55 53 46 54 54 52 57 49 52 48 49 59 47 53 57 52

SE (1,36) (1,06) (0,83) (0,68) (0,91) (0,82) (0,88) (0,92) (0,85) (0,71) (0,93) (0,93) (0,73) (0,60) (0,90) (0,95) (0,73) (0,87) (0,21)

Leseselbstkonzept – Wahrnehmung der Lesekompetenz


AUT BEL CHE CZE DEU DNK FIN GBR HUN IRL ITA LUX NLD SVK SVN SWEVL-16-Schnitt

Ich bin ein guter Leser/eine gute Leserin.

% 81 64 72 64 76 85 74 82 57 80 52 70 67 39 77 85 70

(SE) (0,58) (0,72) (0,67) (0,78) (0,74) (0,54) (0,66) (0,56) (0,9) (0,54) (0,75) (0,6) (0,81) (0,82) (0,65) (0,52) (0,17)

Ich kann schwierige Texte verstehen.% 72 57 68 60 70 82 70 75 68 73 63 72 72 55 72 78 69

(SE) (0,55) (0,67) (0,65) (0,63) (0,89) (0,65) (0,69) (0,6) (0,82) (0,64) (0,60) (0,63) (0,77) (0,65) (0,74) (0,72) (0,17)

Ich lese fl üssig.% 84 75 81 77 80 84 85 78 85 74 70 80 74 80 86 79 79

SE (0,57) (0,66) (0,63) (0,68) (0,71) (0,54) (0,48) (0,73) (0,59) (0,59) (0,76) (0,53) (0,64) (0,73) (0,55) (0,54) (0,16)

Leseselbstkonzept – Wahrnehmung von Leseschwierigkeiten


AUT BEL CHE CZE DEU DNK FIN GBR HUN IRL ITA LUX NLD SVK SVN SWEVL-16-Schnitt

Ich hatte schon immer Schwierig-keiten mit dem Lesen.

% 14 21 18 18 21 19 17 20 12 18 15 15 25 15 13 19 18

(SE) (0,48) (0,58) (0,62) (0,51) (0,77) (0,63) (0,54) (0,5) (0,58) (0,55) (0,6) (0,52) (0,65) (0,59) (0,46) (0,59) (0,14)

Ich muss einen Text mehrmals lesen, bevor ich ihn vollständig verstehe.

% 32 41 38 47 39 32 34 45 34 41 39 35 38 47 46 39 39

(SE) (0,62) (0,64) (0,71) (0,69) (0,97) (0,74) (0,63) (0,8) (0,76) (0,71) (0,62) (0,75) (1,01) (0,91) (0,76) (0,72) (0,19)

Ich fi nde es schwierig, Fragen zu einem Text zu beantworten.

% 19 34 26 33 17 18 25 30 15 25 16 20 33 30 24 26 24

SE (0,53) (0,7) (0,73) (0,75) (0,71) (0,6) (0,76) (0,62) (0,64) (0,67) (0,59) (0,61) (0,85) (0,64) (0,69) (0,79) (0,17)

16 Vergleichsländer (VL-16) alphabethisch gereiht; Angaben in Prozent der Schüler/innen, die die Antwortkategorien „stimme eher zu“ und „stimme ganz zu“ angekreuzt haben.


Tabelle A9: Korrelationen der Skalen zu den motivationalen Merkmalen und der Lesekompetenz (PISA 2018)

Eingetragen sind Pearson-Korrelationskoeffizienten; * p < .05, ** p < .01, *** p < .001.

Korrelation zwischen motivationalen Merkmalen und Lesekompetenz – Österreich–Koeffi zient

LesefreudeLeseselbstkonzept – Wahrnehmung der

Lesekompetenz

Leseselbstkonzept – Wahrnehmung von

LeseschwierigkeitenLesekompetenz

Lesefreude 1.00*** .32*** –.20*** .36***

Leseselbstkonzept – Wahrnehmung der Lesekompetenz 1.00*** –.48*** .40***

Leseselbstkonzept – Wahrnehmung von Leseschwierigkeiten 1.00*** –.30***

Lesekompetenz 1.00***

Korrelation zwischen motivationalen Merkmalen und Lesekompetenz – VL–16–Koeffi zient

LesefreudeLeseselbstkonzept – Wahrnehmung der

Lesekompetenz


LeseschwierigkeitenLesekompetenz

Lesefreude 1.00*** .40*** –.21*** .35***

Leseselbstkonzept – Wahrnehmung der Lesekompetenz 1.00*** –.46*** .37***

Leseselbstkonzept – Wahrnehmung von Leseschwierigkeiten 1.00*** –.29***

Lesekompetenz 1.00***

Korrelation zwischen Lesekompetenz der 16 Vergleichsländer und der motivationalen Merkmale

Lesekompetenz LesefreudeLeseselbstkonzept – Wahrnehmung der

Lesekompetenz


Leseschwierigkeiten

AUT .36*** .40*** –.30***

BEL .30*** .30*** –.24***

CHE .39*** .31*** –.22***

CZE .37*** .37*** –.28***

DEU .36*** .37*** –.34***

DNK .30*** .38*** –.35***

FIN .43*** .42*** –.32***

GBR .33*** .41*** –.33***

HUN .38*** .42*** –.30***

IRL .44*** .49*** –.39***

ITA .25*** .37*** –.28***

LUX .34*** .38*** –.24***

NLD .36*** .31*** –.19***

SVK .35*** .35*** –.26***

SVN .35*** .34*** –.24***

SWE .28*** .34*** –.34***

VL-16-Schnitt .35*** .37*** –.29***

114 Anhang

Tabelle A10: Kompetenzen von Jugendlichen mit und ohne Migrationshintergrund in Lesen (PISA 2018)

MW = Mittelwert, SE = Standardfehler;m Werte fehlen von ≥ 10 % der Schüler/innen.

Eingetragen sind jene 26 OECD-/EU-Länder, in denen zumindest 5 % der Schüler/innen einen Migrationshintergrund haben.

Lesen

ohne Migrations-hintergrund

mit Migrationshintergrund

Land Zweite Generation Erste Generation

MW (SE) MW (SE) MW (SE)

AUSm 504 (1,95) 523 (4,48) 501 (3,86)AUT 500 (2,56) 446 (4,34) 421 (5,54)BEL 506 (2,40) 459 (4,70) 427 (5,22)CAN 525 (1,63) 535 (3,87) 508 (3,62)CHE 503 (3,16) 453 (4,59) 448 (6,29)DEUm 519 (3,32) 477 (6,62) 405 (11,75)DNK 509 (1,88) 447 (3,74) 435 (7,43)EST 528 (1,89) 492 (4,88) 453 (16,83)FIN 527 (2,07) 456 (10,28) 420 (8,96)FRA 502 (2,70) 461 (5,73) 425 (7,48)GBR 511 (2,67) 493 (5,71) 488 (6,93)GRC 465 (3,43) 420 (6,91) 397 (9,20)HRV 481 (2,61) 473 (5,72) 464 (11,79)IRL 522 (2,26) 509 (5,26) 508 (5,29)ISL 481 (1,85) 412 (10,85) 402 (9,52)ISR 481 (3,50) 493 (6,13) 398 (10,44)ITA 482 (2,60) 445 (5,86) 433 (7,14)LUX 491 (1,91) 450 (2,86) 461 (2,87)MLT 452 (1,80) 433 (16,33) 457 (8,29)NLD 498 (2,92) 433 (6,66) 399 (13,03)NOR 509 (2,13) 463 (6,97) 451 (5,51)NZL 510 (2,29) 518 (5,29) 500 (3,98)PRT 495 (2,60) 483 (10,13) 436 (9,07)SVN 502 (1,31) 464 (7,34) 422 (8,21)SWE 525 (2,72) 471 (6,35) 410 (6,90)USA 510 (3,58) 512 (6,06) 479 (8,32)


Tabelle A11: Sozioökonomischer Status (in HISEI-Punkten) von Jugendlichen mit und ohne Migrationshintergrund (PISA 2018)

HISEI

Landohne Migrations-

hintergrundmit Migrations-

hintergrundDifferenz ohne – mit

Migrations hintergrund

MW (SE) MW (SE) MW (SE)

AUSm 56 (0,32) 56 (0,67) 0 (0,75)AUT 54 (0,37) 40 (0,66) 14 (0,68)BEL 55 (0,38) 41 (0,87) 13 (0,89)CANm 58 (0,33) 56 (0,65) 2 (0,67)CHE 57 (0,62) 44 (0,93) 14 (0,85)DEUm 55 (0,53) 40 (0,84) 15 (0,91)DNK 62 (0,39) 45 (0,86) 16 (0,97)EST 54 (0,42) 51 (0,98) 2 (1,00)FIN 56 (0,52) 46 (1,59) 10 (1,75)FRA 53 (0,51) 42 (1,06) 11 (1,08)GBRm 59 (0,53) 54 (0,98) 5 (0,92)GRC 52 (0,62) 36 (0,88) 16 (1,08)HRV 48 (0,40) 41 (0,90) 7 (0,97)IRL 53 (0,56) 51 (0,93) 2 (0,88)ISL 62 (0,31) 43 (1,83) 19 (1,87)ISRm 61 (0,53) 57 (1,16) 4 (1,14)ITA 49 (0,47) 34 (0,90) 15 (1,05)LUXm 57 (0,43) 47 (0,38) 11 (0,58)MLT 53 (0,34) 56 (1,35) –3 (1,37)NLD 57 (0,47) 45 (0,97) 11 (1,10)NOR 63 (0,41) 53 (0,94) 10 (1,02)NZL 56 (0,43) 56 (0,71) 0 (0,88)PRT 50 (0,67) 45 (1,92) 5 (1,89)SVN 54 (0,38) 39 (1,17) 15 (1,29)SWE 61 (0,51) 51 (0,96) 10 (1,01)USAm 58 (0,62) 50 (1,55) 8 (1,50)

HISEI = Highest International Socio-Economic Index of Occupational Status; MW = Mittelwert; SE = Standardfehler; DIFF = Mittelwertdifferenz;

Statistisch signifikante Differenzen (p < .05) sind fett gedruckt.m Werte fehlen von ≥ 10 % der Schüler/innen.

Eingetragen sind jene 26 OECD-/EU-Länder, in denen zumindest 5 % der Schüler/innen einen Migrationshintergrund haben.

116 Anhang

Tabelle A12: Kompetenzen von Jugendlichen mit und ohne Migrationshintergrund in Lesen im Zeitvergleich (PISA 2000, PISA 2003, PISA 2006, PISA 2009, PISA 2012, PISA 2015, PISA 2018)

Lese

kom

pet

enz

PIS

A 2

000

PIS

A 2

003

PIS

A 2

006

PIS

A 2

009

PIS

A 2

012

PIS

A 2

015

PIS

A 2

018

MW

(SE

)M

W(S

E)

MW

(SE

)M

W(S

E)

MW

(SE

)M

W(S

E)

MW

(SE

)

ohne

Mig

ratio

nshi

nter

grun

d 50

2(2

,80)

501

(3,8

0)49

9(3

,45)

482

(2,9

0)49

9(2

,70)

499

(2,6

9)50

0(2

,56)

mit

Mig

ratio

nshi

nter

grun

d 40

9(7

,20)

426

(8,1

0)43

8(1

3,93

)41

4(6

,20)

449

(5,7

0)43

5(5

,98)

437

(4,2

3)

Leis

tung

sdiff

eren

z ab

solu

t93

(7,8

9)76

(8,4

7)61

(13,

90)

68(6

,75)

51(5

,78)

64(6

,28)

63(4

,54)

Leis

tung

sdiff

eren

z un

ter

Kon

stan

thal

tung

de

s so

zioö

kono

mis

chen

Sta

tus

67(7

,03)

53(7

,50)

40(1

1,38

)45

(6,6

3)31

(5,5

1)41

(5,8

4)37

(4,6

9)

MW

= M

ittel

wer

t, S

E =

Sta

ndar

dfeh

ler,

Diff

eren

z =

MW

ohn

e M

igra

tions

hint

ergr

und

– M

W m

it M

igra

tions

hint

ergr

und


Liste der Autorinnen und Autoren nach Abschnitten

1 PISA 2018 – eine Einführung in die aktuelle Studie Birgit Suchań, Iris Höller

2 Kompetenzen der Schüler/innen in Lesen

2.1 Leistungen der österreichischen Schüler/innen in Lesen im Länder- und Zeitvergleich Lisa Wiesinger, Magdalena Rölz, Iris Höller2.2 Lesen: Verteilung der Schüler/innen auf die Kompetenzstufen Juliane Schmich2.3 Lesen: Unterschiede zwischen Mädchen und Burschen Anna Glaeser, Birgit Suchań

3 Kompetenzen der Schüler/innen in Mathematik

3.1 Leistungen der österreichischen Schüler/innen in Mathematik im Länder- und Zeitvergleich Magdalena Rölz, Lisa Wiesinger, Iris Höller3.2 Mathematik: Verteilung der Schüler/innen auf die Kompetenzstufen Juliane Schmich3.3 Mathematik: Unterschiede zwischen Mädchen und Burschen Anna Glaeser, Birgit Suchań

4 Kompetenzen der Schüler/innen in Naturwissenschaft

4.1 Leistungen der österreichischen Schüler/innen in Naturwissenschaft im Länder- und Zeitvergleich Magdalena Rölz, Lisa Wiesinger, Iris Höller4.2 Naturwissenschaft: Verteilung der Schüler/innen auf die Kompetenzstufen Silvia Salchegger, Juliane Schmich4.3 Naturwissenschaft: Unterschiede zwischen Mädchen und Burschen Birgit Suchań, Anna Glaeser

5 Kompetenzentwicklung im Kontext individueller und familiärer Faktoren

5.1 Die Lesefreude und das Leseselbstkonzept Christina Wallner-Paschon5.2 Familiärer Hintergrund und Leistung Iris Höller, Romana Lindemann5.3 Schüler/innen mit Migrationshintergrund: Lesekompetenz und Charakteristika Victoria Schaubmair, Romana Lindemann

6 Die Kompetenzen der österreichischen Schüler/innen im Zeitvergleich Michael Bruneforth, Iris Höller

7 PISA 2018: Zusammenfassung der Ergebnisse Christina Wallner-Paschon

www.bifie.atwww.bifie.atISBN 978-3-7011-8152-0

Leykam [email protected]

PISA 2018. Grundkompetenzen am Ende der Pflichtschulzeit ... · Die OECD-Studie PISA (Programme for...

Documents

Transcript of PISA 2018. Grundkompetenzen am Ende der Pflichtschulzeit ... · Die OECD-Studie PISA (Programme for...