Die PISA-Studie: Konzepte und...

Institut für Statistik der LMU München

Dozenten: Prof. Dr. Thomas Augustin, Julia Kopf, Gero Walter, Andrea Wiencierz

Seminar: Statistische Herausforderungen sozialwissenschaftlicher Studien

Die PISA-Studie: Konzepte und Methodik

(Vorbereitungsmaterial)

Referent: Johann Obermeier

Betreuung: Julia Kopf

Datum: 31. März 2011

Vorschau

1. Konzeption von PISA

2. Framework

3. Stichprobendesign

4. Durchführung und Rücklauf

5. Coding und Aufbereitung

6. Erste Ergebnisse von PISA 2009

7. Statistische Herausforderungen

8. Literaturverzeichnis

# 2


2. Framework







# 3


# 4

Informationen zu PISA

- Programme for International Student Assessment

- Initiator: OECD (Organisation for Economic Co-operation and Development)

- 65 Teilnehmerländer bei PISA 2009: 34 OECD-Staaten und 31 OECD-Partnerländer

Abbildung 1: Übersicht über PISA-Staaten (OECD 2009a, S. 2)


# 5

PISA-Studie

- 3 Basiskompetenzen: Kompetenz in Lesen, Mathematik und Naturwissenschaft

- Schwerpunkte: PISA 2000 und 2009 -> Lesekompetenz

PISA 2003 und 2012 -> Mathematik

PISA 2006 und 2015 -> Naturwissenschaft

- Population von PISA 2009: 15-jährige Schüler (Altersjahrgang: 1993)

- Zeitraum: 2 Testtage (1. Tag: internationale Testung; 2. Tag: Ländervergleichstests)

- Testzeitdauer: 2 Stunden (detaillierter: siehe Kapitel 4)

- Zusätzliche Fragebögen zum Schüler- und Schulkontext

- „pencil-and-paper assessments“ (OECD 2009c, S. 22)


# 6

Zweck von PISA

- Vergleichende Daten über Ressourcenausstattung

- Vergleichende Daten über individuellen Ressourcennutzung

- Vergleichende Daten über die Funktions- und Leistungsfähigkeit der

Bildungssysteme

Quelle: Deutsches PISA-Konsortium 2001, S. 15


# 7

Ziele von PISA

- Kompetenzmessung und Vergleiche (Basisindikatoren)

- Hintergrund (Kontextindikatoren)

- Entwicklung der Schülerleistungen (Trendindikatoren)

Quelle: Haider / Schreiner / Schwantner 2010, Folie1


2. Framework







# 8

2. Framework

# 9

Kompetenzen

- PISA 2009 Assessment Framework:

gibt den konzeptioneller Rahmen für PISA 2009 vor,

insb. Kompetenzen.

- Bsp.: mathematische Kompetenzen

• Thinking and reasoning

• Argumentation

• Communication

• Modelling

• Problem posing and solving

• Representation

• Using symbolic, formal and technical language and operations

• Use of aids and tools

Quelle: OECD 2009b, S.106-108


2. Framework







# 10


# 11

Stichprobenziehung

- Zweistufige Ziehung:

1. Schulstichprobe (PPS-Samplingverfahren)

2. Schülerstichprobe (Systematische Ziehung)

- Beispiel: Österreich (PISA 2009)

Abbildung 2: Vorgang der PISA 2009-Stichprobenziehung

in Österreich


Praktische Umsetzung (1) Schulstichprobe

1. Samplingplan

National definierte Zielpopulation durch das nationale Projektzentrum.

2. Sampling –Frame

- Erstellung einer Schulliste (Sampling-Frame) mit 15-jährigen Schülern

- Zweck: Zuordnung der Schule zu einem expliziten und impliziten Stratum.

3. Bestimmung der Populationsanteile in den expliziten Strata

- Bestimmung der Anzahl von Schulen in jedem Stratum

- Ziel: Stichprobe von über 4000 Schülern pro Teilnehmerland

# 12


# 13

Praktische Umsetzung (2) Schulstichprobe

4. Ziehung der Schulstichprobe

- Sortierung der Schulen durch ein PPS (probabilities proportional to size)-

Samplingverfahren

- Auswahl: durch Westat Inc.

- Vorteil: international einheitliches Ziehungsverfahren

5. Verifikation der Schulstichprobe durch das nationale Projektzentrum

Quelle: Schreiner / Haider 2007, S. 85


# 14

Praktische Umsetzung (3) Schülerstichprobe

- PISA-Schulen erheben Schülerlisten (gemäß der Populationsdefinition)

- Ziehung der Schülerstichprobe durch das PISA-Zentrum:

i) „Vollerhebung“ bei Schulen mit weniger als 35 Schülern aus der Zielpopulation

(keine Stichprobenziehung)

ii) Zufällige Ziehung von jeweils (maximal) 35 Schülern

- Verfahren: Systematische Stichprobenziehung

Computergestützte Ziehung mit Programm KeyQuest

Quelle: Schreiner / Haider 2007, S. 86


2. Framework







# 15


# 16

Testdurchführung

- Grafische Darstellung für den internationalen Test (Testtag 1)

Abbildung 3: Ablauf einer PISA 2009-Testsitzung (Schwantner / Schreiner 2010, S.43)


# 17

Rücklaufquoten (1)

Abbildung 4: Standards für Rücklaufquoten auf Schulebene

(Schreiner / Haider 2007, S.49)

Schulebene


# 18

Schülerebene

Abbildung 5: Mögliche Gründe für Ausschlüsse auf Schülerebene (Schreiner / Haider

2007, S.83)

Rücklaufquoten (2)


2. Framework







# 19


# 20

Tabelle1: Aufgabenformate und erforderliche Bewertung der Schülerantworten (Schwantner / Schreiner 2010, S.44)

- Coding: Beurteilen der Antworten auf offene Fragen (durch qualifiziertes Personal)

- „Coding Guides“ mit Bewertungsrichtlinien für offenen Fragen

- Punkte für offene Fragen: Full Credit, Partial Credit oder No Credit


# 21

Abbildung 6: PISA-Skala (vergl. Schwantner / Schreiner 2010, S.52)

Skalentransformation:

Mittelwert von 500 Punkten

und Standardabweichung von 100 Punkten

(vergl. auch Frey, A. et al. 2008, S.388)


# 22

Abbildung 7: Lesekompetenzstufen bei PISA 2009 (Schwantner / Schreiner 2010, S.54)

Teilung der Skala für die Lesekompetenz in Kompetenzstufen

(zu den Kompetenzstufen: vergl. auch Frey, A. et al. 2008, S.389)


2. Framework







# 23

6. Ergebnisse: Lesekompetenz (2009)

# 24

Lesekompetenz:

Deutschland im

Mittelfeld

Abbildung 8: Perzentilbänder für Lesekompetenz (Klieme et al. 2010, S. 37)

6. Ergebnisse: Mathematische Kompetenz

# 25

Ergebnisse(PISA 2009):

Weniger Schüler „unter I“,

mehr über

Kompetenzstufe V

Abbildung 9: Prozentuale Anteile der Schüler in Deutschland auf den Stufen mathematischer

Kompetenz bei PISA 2003, PISA 2006 und PISA 2009 im Vergleich (Klieme et al. 2010, S. 171)

6. Ergebnisse: Naturwissenschaftliche K.

Kompetenz

# 26

Naturwissenschaftliche

Kompetenz (PISA 2009):

Deutschland „signifikant

über dem OECD-

Durchschnitt“

Tabelle 2: Naturwissenschaftliche Kompetenz der OECD-Staaten (Klieme et al. 2010, S. 184)


2. Framework







# 27


# 28

Herausforderungen für die Statistik

1. Ist die Schwierigkeit der Aufgabe angemessen?

2. Decken die Aufgaben das Leistungsspektrum in angemessener Weise ab?

3. Ist die Aufgabe im Sinne des Rasch-Modells skaliert?

4. Sind die relativen Schwierigkeiten der Items in den Teilnehmerstaaten vergleichbar?

5. Sind die relativen Schwierigkeiten der Items für Mädchen und Jungen sowie für Gruppen mit

unterschiedlichem sozioökonomischem Hintergrund vergleichbar?

Quelle: Leitzke, F. / Riedlberger, M. 2007, F. 23


2. Framework







# 29


# 30

• Deutsches PISA-Konsortium (Hrsg.) (2001): PISA 2000. Basiskompetenzen von Schülerinnen und Schülern im

internationalen Vergleich, Opladen.

• Frey, A. / Carstensen, C. H. / Walter, O. / Rönnebeck, S. / Gomolka, J. (2008): Methodische Grundlagen des

Ländervergleichs. In: Prenzel, M. / Artelt, C. / Baumert, J. / Blum, W. / Hammann, M. / Klieme, E. / Pekrun, R. (Hrsg.): PISA

2006 in Deutschland: Die Kompetenzen der Jugendlichen im dritten Ländervergleich (S. 375-397). Münster: Waxmann.

• Haider, G. / Schreiner, C. / Schwantner, U. (2010): PISA 2009: Fakten – Ergebnisse – Schlussfolgerungen, online abrufbar

unter: http://www.bifie.at/veranstaltungen/2010-12-09 [letzter Abruf: 25.03.2011].

• Klieme, E. et al. (Hrsg.) (2010): PISA 2009 - Bilanz nach einem Jahrzehnt, Waxmann.

• Leitzke, F. / Riedlberger, M. (2007): PISA: Gegenstand, Grundlagen und Durchführung der Studie, online abrufbar unter:

[PDF-Datei] www.gp.tu-berlin.de/sozialpsychologie/download/Schuelereigenschaften/PISA.pdf [letzter Abruf: 25.03.2011].

• OECD (2009a): "What is PISA?". In: OECD (2009): Highlights from Education at a Glance 2008, OECD Publishing, online

abrufbar unter: http://www.oecd-ilibrary.org/education/highlights-from-education-at-a-glance-2008/what-is-

pisa_eag_highlights-2008-33-en [letzter Abruf: 25.03.2011].

• OECD (2009b): PISA 2009 Assessment framework: Key competencies in reading, mathematics and science, OECD

Publishing. Online abrufbar unter: [PDF-Datei] http://www.oecd.org/dataoecd/11/40/44455820.pdf [letzter Abruf: 25.03.2011].

• OECD (2009c): PISA 2006 Technical Report, Paris: OECD Publishing.

• Schreiner, C. / Haider, G. (Hrsg.) (2007): PISA 2006. Internationaler Vergleich von Schülerleistungen. Technischer Bericht,

Salzburg.

• Schwantner, U. / Schreiner, C. (Hrsg.) (2010): PISA 2009. Internationaler Vergleich von Schülerleistungen. Die Studie im

Überblick, Graz: Leykam.

http://www.bifie.at/veranstaltungen/2010-12-09





http://www.gp.tu-berlin.de/sozialpsychologie/download/Schuelereigenschaften/PISA.pdf



http://www.oecd-ilibrary.org/education/highlights-from-education-at-a-glance-2008/what-is-pisa_eag_highlights-2008-33-en

























http://www.oecd.org/dataoecd/11/40/44455820.pdf

Die PISA-Studie: Konzepte und...

Documents

Transcript of Die PISA-Studie: Konzepte und...