Buch TR06 - BIFIE...2007/12/04 · Seite 8 I. PISA – Schulsysteme im internaionalen Vergleich Das...

PISA 2006INTERNATIONALER VERGLEICH

VON SCHÜLERLEISTUNGEN

Claudia Schreiner,Günter Haider (Hrsg.)

TECHNISCHER BERICHT

NaturwissenschaftMathematik

Lesen

ZVB

Österreichisches Projektzentrum für Vergleichende Bildungsforschung

Die Verwendung dieses Werkes in anderen Publikationen ist nur unter Angabe der Quelle erlaubt.

Das Bundesministerium hat die Errichtung des Projektzentrums für Vergleichende Bildungsforschung an der Uni-versität Salzburg initiiert und finanziert. Das Projektzentrum ist vom Bundesministerium mit der Durchführung der OECD-Studie PISA in Österreich beauftragt. Die Kosten der österreichischen Teilnahme an PISA insgesamt werden vom Bundesministerium getragen.

Universität Salzburg Fachbereich Erziehungswissenschaft 5020 Salzburg Akademiestr. 26

Projektzentrum für Vergleichende Bildungsforschung

Leiter: DDr. Günter Haider

Bundesministerium für Unterricht, Kunst und Kultur 1014 Wien Minoritenplatz 5

PISA 2006. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Claudia Schreiner, Günter Haider (Hrsg.). (2007).

Satz: Ursula Schwantner, ZVB

Seite 3 Inhalt

INHALT

I. PISA – Schulsysteme im internationalen Vergleich ..................................................................................... 6Günter Haider

1. Die Qualität von Unterricht, Schulen und Schulsystemen ...............................................................................112. PISA – Steuerungsinformation für die Bildungspolitik ....................................................................................143. Resümee .......................................................................................................................................................16

II. Grundkonzeption, Ziele und Organisation von PISA ............................................................................. 19Simone Breit

1. Die PISA-Studie und ihre Bedeutung für Österreich .......................................................................................202. Die internationale Organisation von PISA .....................................................................................................233. Die Organisation innerhalb Österreichs .........................................................................................................26

III. Testinstrumente ..................................................................................................................................... 31Ursula Schwantner

1. Die Frameworks ...........................................................................................................................................322. Testdesign .....................................................................................................................................................413. Itementwicklung ...........................................................................................................................................434. Übersetzung und Verifi kation ........................................................................................................................485. Qualitätssicherung im Bereich Testinstrumente ...............................................................................................52

IV. Kontextfragebögen ................................................................................................................................. 55Ursula Schwantner

1. Konzeption der Kontextfragebögen – das Kontext-Framework ..........................................................................562. Entwicklung der internationalen Fragebögen ..................................................................................................603. Der internationale Schülerfragebogen im Haupttest 2006 ...............................................................................624. Der internationale Schulfragebogen im Haupttest 2006 ..................................................................................635. Nationale Optionen ......................................................................................................................................646. Qualitätssicherung im Bereich Kontextfragebögen ...........................................................................................68

V. Sampling-Design und Stichproben .......................................................................................................... 71Simone Breit & Claudia Schreiner

1. Die Zielgruppe von PISA ..............................................................................................................................722. Von der allgemeinen Defi nition zum konkreten Stichprobenplan ......................................................................743. Das allgemeine Sampling-Design ...................................................................................................................754. Vorgaben bezüglich der zu erzielenden Rücklaufquoten ...................................................................................795. Die österreichische Stichprobe im Feldtest 2005 ..............................................................................................806. Die österreichische Stichprobe im Haupttest 2006 ...........................................................................................827. Qualitätssicherung ........................................................................................................................................88

VI. Testorganisation und Durchführung ..................................................................................................... 89Simone Breit

1. Chronologischer Überblick über den Ablauf der Testorganisation .....................................................................902. Kooperation mit Schulen und Schulbehörden ..................................................................................................903. Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK) .......................................................................914. Druck, Vorbereitung und Rücklauf der Erhebungsinstrumente .........................................................................935. Aufgaben der Testleiter/innen (TL) ................................................................................................................946. Qualitätssicherung bei der Testorganisation und -durchführung .....................................................................102

VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen ...................................................................... 107Simone Breit & Claudia Schreiner

1. Rücklauf im PISA-Feldtest 2005 .................................................................................................................1082. Rücklauf im PISA-Haupttest 2006 ..............................................................................................................1143. Qualitätssicherung in Bezug auf Rücklauf und Stichprobenziehung ...............................................................131

Seite 4 Inhalt

VIII. Coding .............................................................................................................................................. 133Simone Breit & Andrea Grafendorfer

1. Was ist „Coding“? .......................................................................................................................................1342. Grundlegende Prinzipien zur Diff erenzierung von Schülerantworten .............................................................1353. Aufbau der Coding-Instrumente ..................................................................................................................1374. Internationale Umsetzungsrichtlinien ..........................................................................................................1415. Ablauf des Codings im Haupttest 2006 ........................................................................................................1446. Maßnahmen zur Sicherung der Qualität im Coding-Prozess .........................................................................147

IX. Berufsklassifi kation ............................................................................................................................. 151Ursula Schwantner

1. Berufsklassifi kation nach ISCO .....................................................................................................................522. Die ISCO-Codierung bei PISA 2006 ..........................................................................................................1563. Qualitätssicherung bei der ISCO-Codierung ................................................................................................164

X. Dateneingabe ....................................................................................................................................... 167Martin Pointinger

1. Der zeitliche und organisatorische Ablauf der Dateneingabe ..........................................................................1682. Software KeyQuest© ...................................................................................................................................1693. Dateneingabe nach Instrumenten ................................................................................................................1694. Qualitätssicherung bei der Dateneingabe ......................................................................................................1715. Data Submission – Übermittlung der Daten an das internationale Zentrum ..................................................174

XI. Web-Based Assessment ......................................................................................................................... 177Simone Breit & Andrea Grafendorfer

1. Ziele von CBAS ..........................................................................................................................................1782. Stichprobe ..................................................................................................................................................1783. Testinstrumente ...........................................................................................................................................1834. Technische Voraussetzungen .........................................................................................................................1835. Testorgabnisation und -durchführung ...........................................................................................................1866. Datenverarbeitung ......................................................................................................................................1877. Qualitätssicherung und -kontrolle bei CBAS ................................................................................................1878. Erkenntnisse aus der Machbarkeitsstudie ......................................................................................................188

XII. Qualitätssicherung bei PISA .............................................................................................................. 191Claudia Schreiner

1. Einleitung ..................................................................................................................................................1922. Qualitätssicherung in der Vorbereitungsphase ................................................................................................1963. Qualitätssicherungsmaßnahmen während der Datenerhebung .......................................................................2074. Qualitätssicherungsmaßnahmen bei der Datenverarbeitung ...........................................................................213

Einleitung Technischer Bericht PISA 2006

Periodische Bestandsaufnahmen von Ergebnissen, wichtigen Fakten und langfristigen Eff ekten eines Bildungssystems dienen als Basis für Steuerungs- und Entwicklungsentscheidungen in der Bildungspolitik. Ein Schwerpunkt eines solchen Informationssystems liegt auf den Resultaten der schulischen Prozesse – dem Output. Durch eine regelmäßige Erfassung des Outputs können Entwicklungen verfolgt, Stärken und Schwächen identifi ziert und Fehlentscheidungen rechtzeitig entdeckt werden. Outputmessungen objek-tivieren die pädagogischen Leistungen und machen sie für die Öff entlichkeit sichtbarer.International vergleichende Studien wie OECD/PISA oder PIRLS und TIMSS der IEA, ermöglichen regelmäßige standardisierte Leistungsmessungen, die dem Aufbau eines Informationsbestands über Entwicklungstrends im Kompetenzbereich der Schüler/innen dienen. Darüber hinaus werden verlässli-che Qualitätsindikatoren gewonnen, wodurch eine detaillierte Rückmeldung an die Verantwortlichen der Bildungssysteme erfolgen kann.

Die vorliegende aktuelle Studie PISA 2006 – zu der dieser Technische Bericht verfasst wurde – soll ei-nen weiteren Baustein bilden, eine Ausweitung unseres Wissens über Schülerleistungen, ihre Evidenz und ihre Abhängigkeiten. Die Erhebung des „Ist-Zustands der Schülerleistungen“ ist wichtig, damit die Verantwortlichen im Bildungssystem wissen, wo wir stehen – absolut in der Erreichung unserer Ziele, relativ gesehen zu unseren Nachbarstaaten, EU- und OECD-Partnern.

Der Technische Bericht des österreichischen PISA-Projektzentrums ist die Dokumentation der bei PISA angewandten Methoden. Er wendet sich in dieser Detailliertheit in erster Linie an nationale Wissen-schafter/in nen und interessierte Laien, die genau nachvollziehen wollen, wie die Daten und Ergebnisse der Studie zustande kommen. Bereits der erste Bericht (Haider [2001]. PISA 2000. Technischer Bericht. Innsbruck:Studienverlag) war eine sehr umfangreiche Beschreibung der Instrumente und Abläufe bei OECD/PISA. Ebenso der zweite nationale Technische Bericht zu PISA 2003.Beide Publikationen sowie die vorliegende können als PDF auf www.pisa-austria.at heruntergeladen wer-den.Für jene, die an der Methodik, den Zielen und der Organisation von PISA interessiert sind, jedoch weni-ger „technische“ Details bevorzugen, ist die Studienbeschreibung PISA 2006 zu empfehlen (Schreiner et al. [2007]. PISA 2006. Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Graz:Leykam).

Über die inzwischen existierenden Technischen PISA Dokumentationen des österreichischen Projektzentrums hinaus, wird Anfang 2008 ein sehr umfangreicher PISA-International Technical Report der OECD zur Verfügung stehen (Download von der OECD Homepage; www.pisa.oecd.org).Wenn Sie darüber hinaus technische Fragen haben, die durch das Studium dieser Unterlagen nicht zu beantworten sind, kontaktieren Sie bitte das Nationale PISA-Projektzentrum.

Ursula Schwantner

Projektzentrum für Vergleichende Bildungsforschung (PISA-PIRLS-TIMSS)Fachbereich ErziehungswissenschaftUniversität SalzburgA-5020 Salzburg, Akademiestraße 260662/8044-4280offi [email protected]

II

1. Die Qualität von Unterricht, Schule und Schulsystem1.1 Qualität, empirisch defi niert1.2 PISA-Daten: aggregiert und kumuliert

2. PISA – Steuerungsinformation für die Bildungspolitik2.1 Schulsystem: Steuerung a priori vs. autonom und outputorientiert2.2 Auf dem Weg zur „Output“-Steuerung

3. Resümee

Günter Haider

PISA-SCHULSYSTEME IM INTERNATIONALEN VERGLEICH

Dieser Text basiert auf Kapitel 1 in Haider & Schreiner, 2006.

Seite 8 I. PISA – Schulsysteme im internaionalen Vergleich

Das Bildungswesen und seine Entwicklung sind Bestandteil gesellschaftlicher und ökonomischer Prozesse und tief in diese eingebettet. Sie haben erhebliche Auswirkungen auf das Bildungswesen und müssen dort berücksichtigt bzw. „aufgearbeitet“ werden und die Ergebnisse des Bildungssystems haben wiederum wesentlichen Einfluss auf Wirtschaft, Politik und Kultur.Wir befinden uns am Beginn des neuen Millenniums in einer dynamischen Entwicklung von Technologie und Wissenschaft, in Wirtschafts- und Gesellschaftssystemen. Die Globalisierung, die weltweite Vernetzung als ein neues komplexes Phänomen, das inzwischen seine ursprünglich rein wirtschaftliche Interpretation deutlich übersteigt, wirft neue Fragen und Herausforderungen für alle Gesellschaftsbereiche auf. Auf Grund der hohen Lohnkosten sind entwickelte Länder – wie Österreich bzw. die gesamte EU – mit ungelernter oder wenig qualifizierter Arbeit im klassischen Produktionsgewerbe auf den glo-balisierten Märkten nicht mehr konkurrenzfähig. Der Rückfall in der Wachstumsdynamik Europas, vor allem im Verhältnis zu den USA, aber auch gegenüber Asien und den neuen Wirtschaftsgroßmächten China und Indien wirft ernste Zweifel auf, ob das europäische sozioökonomische Modell geeignet ist, unter den neuen und kommenden Bedingungen zu bestehen. Betrachtet man aber beispielsweise den Erfolg der nordischen Wohlfahrtsstaaten, so gibt dies Hoffnung auf Konkurrenzfähigkeit, auf eine aussichtsreiche qualitative und quantitati-ve Wachstumsstrategie – zeigt aber auch deutlich auf, wo der Veränderungs-, Verbesserungs- und Reformbedarf hierzulande besteht (vgl. dazu die sorgfältige Analyse von Aiginger, 2006, S. 25f.). Denn ihr Erfolg beruht auf drei Säulen: dem privaten und öffentlichen Kostenbewusstsein und der Reform der Institutionen, der Reform des Arbeitsmarktes (mehr Flexibilität für Firmen, mehr Sicherheit, Qualifikation und Beratung für Arbeitnehmer) und vor allem der Forcierung der Zukunftsinvestitionen Wissenschaft, Forschung, Technologie, Qualität von Bildung, Ausbildung und Weiterbildung (Aiginger, 2006, S. 40). Nicht von ungefähr ist es ein nordisches Land (Finnland), das trotz widriger wirtschaftlicher Ausgangslage in den 80er-Jahren nun alle Innovationsstatistiken des Jahres 2006 anführt. Enorm hohe Abschlussquoten bei Maturant/innen und Akademiker/innen (fast doppelt so hoch wie in Österreich) und das hervorra-gende Abschneiden der Schüler/innen bei allen internationalen Vergleichstests des PISA-Typs zeigen den Erfolg jener Bemühungen auf dem Bildungssektor, die Ende der 80er-Jahre in Angriff genommen wur-den.

Auf dem Weg zur Wissensgesellschaft

Wir können mit großer Sicherheit von einer weiter steigenden Abhängigkeit der individuellen und unternehmerischen Wettbewerbsfähigkeit und des wirtschaftlichen Gesamterfolgs von einem Vorsprung an Wissen und Qualifikationen ausgehen. Erfolg (und Arbeitsplätze) versprechen vor allem Wirtschaftszweige, die mit ihren Mitarbeiter/innen Leistungen erbringen, die an Innovationsvorsprünge oder technologische Weiterentwicklungen gekoppelt sind. „Ein höheres Pro-Kopf-Einkommen ist länger-fristig ... mit höherer Forschung, Ausbildung, Weiterbildung und moderner Infrastruktur [zu erreichen]“ (Aiginger, 2006, S. 32).Analog dazu wird es für Individuen heute zunehmend schwieriger, ohne qualifizierte Bildung auf dem Arbeitsmarkt zu bestehen; der Zusammenhang zwischen formaler Bildung und individuellen Lebenschancen besteht unvermindert weiter und verschärft sich noch (Haider, 2006, S. 61f.).Die Industriegesellschaft des 20. Jahrhunderts transformiert sich am Beginn des 21. Jahrhunderts über eine Informations- in eine globalisierte Wissensgesellschaft – allerdings werden beide Strukturen noch län-gere Zeit nebeneinander bestehen. „Wissen“ wird dabei zum wichtigsten Produktionsfaktor gegenüber Arbeit, Kapital und Bodenschätzen. Der gesamte Sektor Bildungssystem, Wissenschaft, Forschung und Entwicklung sowie die dazugehörende Infrastruktur, Logistik und Qualitätssicherung erhalten eine her-ausragende Bedeutung. „Wissen“ und erfolgreiches lebensbegleitendes Lernen wachsen jedoch auch in der zentralen Bedeutung in der Biografie der Bürgerinnen und Bürger – die erworbene Bildung bestimmt über die sozial, ökono-

Seite 9 I. PISA – Schulsysteme im internationalen Vergleich

misch und demokratisch befriedigende Teilhabe jedes Bürgers und jeder Bürgerin am gesellschaftlichen Leben.Bildung ist die wichtigste Ressource, die wir als Österreicher, auch als Europäer, im Wettbewerb vorteil-haft einsetzen können. Der Erfolg in diesen Bereichen wird entscheiden, ob die bisher geschaffenen Werte erhalten, das Land weiterentwickelt und die hohe Lebensqualität zumindest bewahrt, vielleicht noch gesteigert werden kann.

Wettbewerb im Bildungsbereich

Die Bedeutung von Bildungserfolgen nimmt daher weiter zu: Die Qualität des Wissens (der erworbe-nen Kompetenzen) und die Höhe der Bildungsabschlüsse sind dabei ausschlaggebende Faktoren. Die Schulsysteme in den entwickelten Ländern befinden sich somit in einer zunehmend schärfer werdenden Wettbewerbssituation, genauso wie die Universitäten, die Forschungs- und die Erwachsenenbildungseinrichtungen. Mit der Lissabon-Strategie der EU (2000), die die Entwicklung zum „wettbewerbsfähigsten und dyna-mischsten wissensbasierten Wirtschaftsraum bis 2010“1 sichern sollte, hat diese Überzeugung eine gewis-se Verbreitung gefunden. Die Lissabon-Ziele und die Lissabon-Strategie der EU stellen einen globalen Führungsanspruch Europas bis 2010 im Bereich der „Wissensgesellschaft“ – im schulischen Bereich z. B. durch verlässliche Absicherung hoher Grundkompetenzen beim Lesen, und durch die gezielte Förderung des lebenslangen Lernens. Folgerichtig gehören Bildungsstand- und Leistungsdaten auch zu den zentralen Indikatoren, die die EU-Kommission zur Beurteilung des Fortschritts heranzieht.2 Damit ist knapp umrissen, was mit der Entwicklung hin zur globalen „Wissensgesellschaft“ gemeint ist: Diese ist wesentlich darauf angewiesen, höchstmögliche Qualität im Bildungssystem, für Aus- und Weiterbildung bereitzustellen, um gleichermaßen wirtschaftlich wettbewerbsfähig zu bleiben und den Bürger/innen optimale Lebenschancen zu eröffnen. Das ver-langt nach einer „pro-aktiven Wachstumspolitik“ (Aiginger), einer Forcierung der zukunftsträchtigen Faktoren.Unter diesem Gesichtspunkt gesehen ist das Bildungssystem permanent reformbedürftig: Die Verantwortlichen sind herausgefordert, ständig zu prüfen, ob die Kenntnisse, Kompetenzen und Qualifikationen, die wir vermitteln (wollen), noch den Anforderungen der Zeit entsprechen, ob wir tatsächlich alle Heranwachsenden mit unserem schulischen Angebot erreichen und welche nachhaltigen Ergebnisse wir damit tatsächlich erzielen (Haider et al., 2003, S. 11).Die operative Aufgabe besteht dann darin, durch wirksame Steuerungsentscheidungen im Bildungsmanagement möglichst optimale Gesamtqualität herzustellen: • Strategie 1: die notwendigen Verbesserungen hinsichtlich der entdeckten Schwächen oder Defizite

umzusetzen (Kompensation) und/oder • Strategie 2: eine allgemeine Qualitätssteigerung herbeizuführen, bei der man sich einerseits an Bench-

marks, also an den Methoden der Besten, orientiert und andererseits neue Erkenntnisse der Grund-lagenwissenschaften (Psychologie, Unterrichtsforschung) anwendet. Denn die Entwicklung der letz-ten Jahre eröffnet auch eine Reihe neuer Chancen, z. B. durch neue technologische Möglichkeiten.

Beide Strategien streben eine Erhöhung der Gesamtqualität des Systems an, wobei es eine em-pirisch entscheidbare Frage ist, bei welcher Strategie das Verhältnis von Innovationskosten zur erzielten Gesamtleistung am günstigsten ist (Terhart, 2002, S. 59). Jedenfalls ist ein Höchstmaß an Qualität mit einem ebenso hohen Maß an Effizienz zu verbinden (Haider et al., 2003, S. 11f.).

Bildungsforschung und PISA

Um die gewünschte optimale Qualität im Bildungssystem entwickeln zu können, ist die Bildungsforschung in drei Bereichen gefordert:


1. in der Grundlagenforschung (Terhart [2002] bezeichnet sie in diesem Zusammenhang als „Problemerschließende Forschung“, S. 136), klassische Beispiele sind theoriegeleitete Unterrichts- und Lernforschung;

2. im Rahmen der Praxisforschung (Praxisentwicklung, Handlungsforschung) zur vorläufigen Erprobung und Evaluation neuer Entwicklungen bzw. Modelle, und

3. in der „externen“ Systembeobachtung, einer möglichst objektiven und kritischen Überprüfung der Prozesse und Wirkungen in den Bildungsinstitutionen – „extern“ deswegen, weil sie sich vom „inter-nen“ Berichtswesen unterscheidet (die Teil des Systems ist) und von selbstständigen bzw. möglichst unabhängigen Wissenschaftern betrieben werden sollte.

Internationale Leistungsvergleiche wie PISA fallen zum größten Teil in diesen dritten Bereich, die Systembeobachtung. Analog zu allen großen Organisationen in Gesellschaft und Wirtschaft be-nötigt auch das Bildungssystem Managementinformationen als Entscheidungsgrundlage. Im Zentrum steht – analog dem jährlichen Geschäftsbericht einer Wirtschaftsorganisation – ein perio-discher nationaler Bildungsbericht, der alle wesentlichen nationalen Qualitätsinformationen enthält. Ein solcher Bildungsbericht wird in vielen Staaten (USA, Kanada, Frankreich, England u. a. m.) seit Jahren vorgelegt, seit 2006 auch in Deutschland („Bildung in Deutschland“ Konsortium Bildungsberichterstattung, 2006). „Er soll in regelmäßigen Abständen einer möglichst breiten Öffentlichkeit darüber Auskunft geben, ob es dem Bildungswesen als einem komplexen Institutionengefüge gelingt, die an es gestellten gesellschaft-lichen Anforderungen zu erfüllen. Darüber hinaus soll ein solcher Bericht zumindest erste Informationen dafür liefern, wo für die Bildungspolitik Veränderungsbedarf und Gestaltungsmöglichkeiten zu lokalisieren sind“ (Rürup, 2003, S. 1). In Österreich befindet sich ein Bildungsbericht derzeit noch im Planungsstadium3.

Die PISA-Studie liefert zu einem solchen nationalen Bildungsbericht im 3-Jahres-Rhythmus sowohl Informationen zum IST-Zustand im Bereich Schülerleistungen als auch die interessante Möglichkeit des Benchmarkings (Vergleich mit den Besten). PISA zeigt die kombinierte Wirkung der Bildungseinrichtungen und Sozialsysteme am erreichten Leistungsstand der 15-/16-Jährigen, gibt Hinweise auf den relativen Stand des Bildungserfolgs im Vergleich mit anderen Schulsystemen und liefert wichtige Steuerungsinformationen und Entscheidungsgrundlagen für operative Maßnahmen zur Qualitätsverbesserung. Ohne solche sorgfältig gewonnenen empirischen Informationen könnten bildungspolitische Entscheidungen rasch in die Gefahr des „Blindflugs“ geraten – ohne Studien wie PISA verhindern „blin-de Flecken“ die freie Sicht auf den tatsächlichen Zustand und ohne brauchbare Informationen kann auch keine gezielte Weiterentwicklung stattfinden.

Exkurs: Stand der „systembeobachtenden“ Bildungsforschung

Die Makroebene von Schule, d. h. die unterschiedlichen Systemstrukturen und die jeweiligen Entwicklungen auf nationaler Ebene, geriet erst nach dem Zweiten Weltkrieg stärker in das Blickfeld wissenschaftlicher Forschung. Ausschlaggebend waren dafür politisch definierte Anforderungen (z. B. die systematische Verbesserung der Schulsysteme, etwa in den USA nach dem Sputnik-Schock 1957), wis-senschaftliche Entwicklungen (wie das Entstehen der Evaluationsforschung) sowie verbesserte praktische und methodische Rahmenbedingungen, z. B. die modernen Reise- und Kommunikationsmöglichkeiten und die zunehmende internationale Verflechtung und Kooperation (UNO, UNESCO, OECD, EU etc.) sowie später die Möglichkeit der elektronischen Verarbeitung großer Datenmengen. Aus zwei wissenschaftlichen Entwicklungssträngen hat sich in den letzten Jahrzehnten ein selbstständiger und rasch wachsender Zweig der Erziehungswissenschaft herausgebildet, der auf die Systembeobachtung spezialisiert ist:• Die ältere Vergleichende Erziehungswissenschaft (comparative education), die in der Beschreibung der

verschiedenen Schulsysteme, ihrer Strukturen und deren (historischer) Entwicklung ihren Schwerpunkt hat, und diese mit politischen, soziologischen oder wirtschaftlichen Faktoren in Zusammenhang


bringt bzw. zu erklären versucht. Im Vordergrund standen ursprünglich hermeneutische Verfahren und keine eigenen empirischen Erhebungen.

Ein hervorragendes (Basis-)Produkt, das die Weiterentwicklung in diesem Bereich zeigt, bietet EURYBASE, Teil des Eurydice-Informationsnetzes über Bildung in Europa (www.eurydice.org). Es enthält die mit Abstand größte Datenbank zu Merkmalen der Bildungssysteme Europas.

• Strikt empirisch-quantitativ ausgerichtet sind dagegen neuere erziehungswissenschaftliche Evaluationsstudien der Vergleichenden Bildungsforschung (large scale assessments). Im Zentrum stehen Surveys und Tests, die Input-, Prozess- und vor allem Outputvariablen erfassen und mit Kriterien (Standards) in Verbindung bringen, um Hinweise auf die Qualität zu erhalten: Studien der nationalen Evaluation von Schulqualität (educational evaluation, USA ab 1965 durch NAEP – National Assessment of Educational Progress) d. h. dem Vergleich von Ziel und Ergebnis auf nationaler bzw. regionaler Ebene zur Verbesserung der Qualität (typische Produkte: nationa-le Standard-Überprüfungen und nationale Bildungsberichte), Studien des internationalen (über-regionalen) Vergleichs wichtiger Systemvariablen – wie z. B. die Weiterentwicklung der OECD-Bildungsindikatoren. Jedes Jahr veröffentlicht die OECD die beiden Bände „Bildung auf einen Blick“ (Education at a Glance) und „Bildungspolitische Analyse“ (Education Policy Analysis, zuletzt 2005) mit einem umfassenden Vergleich von Qualitätsindikatoren. In diese Kategorie fallen auch alle inter-nationalen Schülerleistungsvergleiche der IEA und OECD wie PISA, PIRLS, TIMSS u. a.4

Der gesamte wissenschaftliche und administrative Prozess dieser regelmäßigen Untersuchungen wird häufig als (Schul-)System-Monitoring bezeichnet – es objektiviert die pädagogischen Leistungen und macht sie für die Öffentlichkeit sichtbarer. Viele Regierungen bzw. Schulbehörden weltweit lassen da-her die Leistungen ihrer Schülerinnen und Schüler und andere wichtige Qualitätsindikatoren regelmä-ßig von der Vergleichenden Bildungsforschung untersuchen – auch um Rechenschaft abzulegen und Fortschritte zu dokumentieren. Nützlich ist auch die Analyse der gewonnenen Ergebnisse im Hinblick auf die Identifikation erfolgreicher Merkmale von Unterricht, Schule und Schulsystem (Ursachen- bzw. Wirkungsforschung). Das führt zu Hypothesen, die dann meist von der Schulqualitätsforschung im en-geren Sinne weiterbearbeitet werden, der „problemerschließenden Forschung“.

1. Die Qualität von Unterricht, Schule und Schulsystem„Die eindeutigen Vorteile, die dem Einzelnen, der Volkswirtschaft und der Gesellschaft aus einer Anhebung des Bildungsniveaus erwachsen, sind der Beweggrund für das Bestreben der Regierungen, die Qualität der Bildungsdienstleistungen zu verbessern. Der Wohlstand der OECD-Länder leitet sich heute großteils von ihrem Humankapital und den Möglichkeiten ihrer Staatsbürger ab, Wissen und Qualifikationen zu erwerben, die ihnen das nötige Rüstzeug für einen Prozess des lebenslangen Lernens an die Hand geben“ (OECD, 2002, S. 3).Bei der Bewältigung der Herausforderungen der globalisierten Wissensgesellschaft richtet sich der Fokus auf vermehrte Anstrengungen im Bereich des Schulsystems, auf eine Optimierung des großteils staatlichen Bildungsangebots in Umfang, Struktur und Inhalt vom Kindergarten bis zur Matura, von den 4-Jährigen bis zu den 18-Jährigen. Im Mittelpunkt steht dabei die Steigerung der „Qualität der Schule“, der Beitrag der Schule (inklusive der Frühförderung) für die Entwicklung und Sicherung der allgemeinen Grundkompetenzen, zum Einstieg in das lebensbegleitende Lernen und in die berufliche Bildung. Ziel ist die möglichst opti-male Ausschöpfung des Potenzials an Begabungen, von wo aus das Land in allen Bereichen weiterentwickelt und die hohe Lebensqualität gesichert und weiter verbessert werden soll.

1.1 Qualität, empirisch definiert

Die Frage der Qualität wird hier versucht empirisch zu bestimmen: Erfasst werden sollen die tatsächlichen Wirkungen bzw. Erfolge von Bildungseinrichtungen – und diese erfassten Wirkungen werden auf zwei Arten in Beziehung gebracht:


• in absolute Beziehung zu den (normativ gesetzten) Zielen bzw. zum Auftrag dieser Einrichtungen – Qualität als empirisch feststellbares Ausmaß der Zielerreichung, und

• in relative Beziehung zu den Erfolgen vergleichbarer Einheiten (Systeme) – Qualität im Vergleich zu den Benchmarks im Feld.

„Empirische Bestimmungsversuche erfassen die angestrebten Ziele, die eingesetzten Ressourcen, die ver-wendeten Programme und die eingetretenen Wirkungen und versuchen dann, auf der Basis des Vergleichs von Absicht, Ressourcenverbrauch und Wirkung das Verhältnis von Aufwand und Ertrag zu bestim-men. Es handelt sich also um eine Wirkungskontrolle mit dem Ziel, wirkungsstarke von wirkungsarmen Einrichtungen und Prozessen zu unterscheiden, wobei die jeweils unterschiedliche Ausgangslage sowie auch der jeweils unterschiedliche Aufwand mit berücksichtigt werden“ (Terhart, 2002, S. 55f ).

Wichtig ist hier anzumerken, dass für Schulsysteme andere Qualitätskriterien anzulegen sind als für einzelne Schulen – und wieder andere Kriterien gelten für guten Unterricht (in der Klasse). Diese Unterscheidung ist bei einer Diskussion von Qualitätsfragen, bei der Zuschreibung von Verantwortung und bei der Erörterung von möglichen Steuerungsentscheidungen sinnvoll.Einige Beispiele für Qualitätskriterien auf den drei Ebenen eines Schulsystems:

Unterrichtsqualität (die Qualität von Lehre in der Klasse) „Guter Unterricht“ bedeutet unter anderem, dass relevante, bedeutsame Themen behandelt werden, Unterricht sich konsequent am Schüler/an der Schülerin orientiert (Individualisierung) und in einem positiven sozialen Klima und einer konstruktiven, belastungsarmen Atmosphäre stattfindet, Inhalte über-zeugend und verständlich dargestellt und erarbeitet werden, Unterrichten ergebnisorientiert ist, d. h. Erfolg und Misserfolg an den langfristigen Lernergebnissen gemessen wird (Nachhaltigkeit) und dass man Schüler/innen zu selbstständigen, aktiven Wissenskonstrukteuren macht (Haider et al., 2003, S. 38).Die professionelle Verantwortung für die Qualität von Unterricht trägt zuallererst der jeweilige Lehrer, die jeweilige Lehrerin – allerdings ist diese Qualität auch von Rahmenbedingungen an der jeweiligen Schule abhängig, von der Qualität der Lehrer/innen-Bildung und (in geringerem Maße) von allgemeinen, syste-mischen Randbedingungen und Ressourcen.

Schulqualität (die Qualität in einer bestimmten Schule) Darüber sagen Eder et al. (2002): „ ‚Gute‘ Schulen sind – abgesehen davon, dass sie gute Lehrer/innen ha-ben – charakterisiert durch eine ausgeprägte Schulkultur, ein positives Klima, ein reichhaltiges Schulleben mit vielfältigen Anreizen zur Partizipation sowie durch aktive Beziehungen zum lokalen Umfeld. ... Gute Schulen sind wirksame Schulen. Sie sind gekennzeichnet durch aktive Beteiligung aller Betroffenen am Unterricht und am Schulleben, durch eine positive Befindlichkeit von Schülern, Eltern und Lehrern, sie fördern den Erwerb von Leistungshaltungen und Leistungen und regen die Persönlichkeitsentwicklung an“ (S. 24).Solche Schulqualität entsteht im Zusammenwirken aller Schulpartner (Schüler/innen – Lehrer/innen – Eltern), die größte Verantwortung tragen und den größten Einfluss dabei haben jedoch die Lehrer/innen und die Führungskräfte (Schulleiter/innen).

(Schul-)SystemqualitätBestimmte Qualitätskriterien für ein Schulsystem lassen sich sowohl aus individuellen Rechten der Bür-ger/innen als auch aus allgemeinen Verpflichtungen der Gesellschaft ableiten:

1) Zu den wesentlichen individuellen Rechten gehören• aus gesetzlichen Vereinbarungen wie der UN-Menschenrechtskonvention (speziell dem Sozialpakt;

Motakef, 2006), der Europäischen Menschenrechtskonvention (EMRK), der österreichischen


Verfassung (z. B. Art. 14 Abs. 5a5) oder dem SCHOG (Schulorganisationsgesetz, z. B. §26) abge-leitete Rechte, wie die allgemeine Verfügbarkeit von Bildung; die freie (vor allem diskriminierungs-freie) Zugänglichkeit ohne Ansehen der Hautfarbe, Sprache, Religion, der ethnischen oder sozia-len Herkunft; die obligatorische und unentgeltliche Grundbildung für alle; die Annehmbarkeit der Inhalte, die relevant, kulturell angemessen und hochwertig sein sollen; die Adaptierbarkeit und Flexibilität hinsichtlich der sich verändernden Gesellschaften und Bedürfnisse der Schüler/innen; die Sicherung und Weiterentwicklung bestmöglicher Qualität für ein höchstmögliches Bildungsniveau u. a. m.;

• spezielle Postulate der kulturellen und politischen Teilhabe und sozialen Identität, der individuel-len Chance auf Berufsfähigkeit und das Recht auf eine selbstständige, auf eigener Anstrengung und Qualifikation basierenden Lebensplanung (Fend, 2006, S. 53f.).

2) Zu den gesellschaftlichen Verpflichtungen rechnet Fend (2006, S. 49f.) die Aufgabe des Staates zur Enkulturation der Schüler/innen (Beherrschung von Sprache und Schrift, Internalisierung grundlegender Wertorientierungen), zu ihrer Qualifikation (Erwerb grundlegender und berufsbildender Kompetenzen zur Ausübung „konkreter“ Arbeit), zur Allokation (Zuordnung von bestimmten Personen mit bestimm-ten Qualifikationen zu weiteren Aufgaben mit bestimmten Anforderungen – i. A. zur weiteren Bildungs- und Berufslaufbahn) und zur Förderung der sozialen Integration und politischen Teilhabe.Eder et al. (2002; Weißbuch zur Qualitätsentwicklung und Qualitätssicherung, erstellt im Auftrag des BMBWK) kommen zu ähnlichen, weiteren und detaillierteren Kriterien: „Auf der Ebene des Gesamtsystems bedeutet Qualität die Gewährleistung gesellschaftlicher Ansprüche an das Bildungswesen, die Bereitstellung ausreichender Ressourcen für die einzelnen Teilsysteme so-wie die Vorsorge für die Weiterentwicklung des Systems im Hinblick auf den sozialen Wandel“ (S. 25).Obwohl jede Ebene ihre eigenen Qualitätskriterien hat, sind alle drei – die Mikro-Ebene des Unterrichts, die Meso-Ebene der Schule am Standort und die Makro-Ebene des Gesamtsystems – miteinander erheb-lich verzahnt. Zur Erreichung bestimmter aggregierter Systemziele (z. B. möglichst viel problemlöseori-entiertes, nachhaltiges Wissen bei den Schüler/innen) tragen Maßnahmen auf allen Ebenen wesentlich bei. Für die strategische Analyse und die Planung und Umsetzung von Qualitätsverbesserungen ist der systemische Zusammenhang enorm wichtig, also die Interdependenz der meisten Variablen auf derselben Ebene und das Verhältnis der verschiedenen Ebenen zueinander. Politische Zielsetzungen oder adminis-trative Maßnahmen, die dieses komplexe Gefüge mit ihren Zusammenhängen und Wechselwirkungen zuwenig beachten, stehen in großer Gefahr zu scheitern.

1.2 PISA-Daten: aggregiert und kumuliert

Die Informationen, die Bildungsforschungsstudien wie PISA in Form von Qualitätsindikatoren liefern, sind (mehr oder weniger)• „aggregiert“, d. h. über Wirkungen bzw. Effekte auf allen drei Ebenen hinweg summiert (Beispiel: Die

erreichten Punkte der österreichischen Schüler/innen in PISA-Lesen spiegeln den Ertrag der Arbeit bzw. deren Qualität auf allen drei Ebenen, Unterricht – Schule – Systemorganisation, wider),

• und „kumuliert“, d. h. sie sind die Summe der Einwirkungen aller Elemente im Feld (von der Selbst-organisation des Schülers/der Schülerin über die Unterstützung der Eltern, die Kompetenz des Lehrers, das soziale Klima in der Klasse und den Einfluss von Mitschüler/innen bis zur Wirkung von Medien).

Damit sind evaluative Studien vom PISA-Typ zwar prinzipiell zum Monitoring gut geeignet, also um den Zustand von Qualitätsmerkmalen wie die erworbenen Kompetenzen relativ präzise zu beschreiben. Sie sind jedoch weniger gut geeignet, die vielfältig aggregierten und kumulierten Wirkungen kausal „aufzu-spalten“ und die entscheidenden Faktoren für Erfolg und Misserfolg zu identifizieren bzw. ihren Einfluss größenmäßig zu bestimmen.


Es ist also möglich, die offensichtliche Wirkungsstärke des finnischen oder kanadischen Schulsystems mit PISA festzustellen (im Vergleich zu den anderen), es ist jedoch ungleich schwieriger, jene Merkmale auf den unterschiedlichen Ebenen zu identifizieren, die maßgeblich zu diesem Erfolg beitragen.So wird die Kernaufgabe von PISA – das Benchmarking der Leistungen – stets begleitet vom zweck-mäßigen Versuch, mit moderner Analytik wie Pfadanalysen, Strukturgleichungsmodellen oder Mehrebenenanalysen bestimmte Zusammenhänge zwischen Leistungen und Merkmalen auf ver-schiedenen Ebenen zu entdecken. Zusammenhänge, die zum Verständnis der Wirkungen bei-tragen können (etwa die Korrelation zwischen sozioökonomischem Status der Eltern und dem Leseverständnis der Schüler/innen) oder zumindest zu neuen Hypothesen mit der Chance auf mög-liche neue Einsichten führen. Für solche Analysen werden in PISA umfangreich Schüler/innen und Schulleiter/innen über bestimmte pädagogisch relevante Hintergrundvariablen befragt, demografische Daten gesammelt und Systeminformationen aus anderen Erhebungen (z. B. der OECD-Indikatoren) beigefügt.

2. PISA – Steuerungsinformation für die Bildungspolitik

Ergebnisse und Analysen aus Systembeobachtungsstudien des PISA-Typs richten sich an die Verantwortlichen eines Schulsystems, an die Politik und an die Schulbehörden („Bildungsmanagement“). An ihnen liegt es, diese Informationen zu bewerten und gegebenenfalls entsprechende Qualitätsent-wicklungsmaßnahmen im System in Gang zu setzen bzw. zu veranlassen, um eine bessere Bewältigung der übertragenen Sozialisationsaufgabe zu gewährleisten. Richtet sich ein Bildungsmanagement bei sei-nen bildungspolitischen und administrativen Maßnahmen auf diese Weise stärker an den beobachteten Ergebnissen (Output) aus, so spricht man von „Output-orientierter“ Steuerung.

2.1 Schulsystem: Steuerung a priori vs. autonom und outputorientiert

Schule ist ein soziales Feld, dessen Funktion in der „gesellschaftlich kontrollierten und veranstalteten Sozialisation“ liegt (Fend, 1981, S. 2). Schulsysteme sind formal strukturierte, komplexe Organisationen zur Bewältigung dieser Sozialisationsaufgabe, ihr Hauptziel ist die „Veranstaltung von absichtlichen und kontrollierten erzieherischen Kommunikationsprozessen“ (Szaday, Büeler & Favre, 1996, S. 89). Jedes Schulsystem verfügt dazu über eine bestimmte „Raumstruktur“. Diese besteht aus hierarchisch angeordneten Elementen unterschiedlicher Komplexitätsgrade (z. B. Personal, Schulen, Lehrpläne, Schulbehörden, Infrastruktur) sowie ihren Beziehungsmustern untereinander zu einem bestimmten Beobachtungszeitpunkt. Außerdem existiert eine bestimmte Prozessstruktur – die Elemente und ihre Beziehungen sowie die Abläufe entwickeln und verändern sich mit der Zeit. Ein solch kompliziertes Super-System, dessen wichtigste Elemente ja selbst wieder teils komplexe Systeme sind (z. B. Schulen, Lehrerausbildung – siehe Abbildung 1.1), erfolgreich in eine gewünschte Richtung zu steuern bzw. zu „kontrollieren“ (wie Fend, 1981, und Szaday, Büeler & Favre, 1996, es bezeichnen) ist keine einfache Aufgabe. Die bisher in Mitteleuropa vorherrschende Methode könnte man als „A-priori-Steuerung“ (Von Saldern, 1997, S. 58) bezeichnen: Der Staat bzw. die Politiker/innen definieren durch Gesetze praktisch die gesamte Raumstruktur, d. h. legen die Organisation (z. B. Schularten), die Systemelemente und ihre Eigenschaften bzw. die Handlungsspielräume fest und versuchen, durch systematische Beeinflussung die-ser Rahmenbedingungen/Ressourcen auch die gewünschten Prozesse anzustoßen, auf dass sie zu den angezielten Ergebnissen führen mögen (eine Art von „system-engineering“-Ansatz).Diese Art der Steuerung beruht implizit auf der Annahme, die Bildungspolitik kenne den IST-Stand der Bildungsergebnisse, verfüge über die Kenntnis der Zusammenhänge und Wechselwirkungen aller wesentlichen Systemelemente und könnte die „systemische“ Wirkung der Maßnahmen auf allen Ebenen einigermaßen präzise vorhersagen und auch herstellen.


Das Vorliegen der Annahmen darf in etlichen Fällen durchgeführter Maßnahmen ernsthaft bezweifelt werden, insbesondere wenn etwa die Bildungspolitik verabsäumt, sich entsprechende Informationen über eine entsprechend dotierte Bildungsforschung zu „besorgen“ bzw. wenn aus Mangel an „proble-merschließender“ Forschung kein adäquates systemisches Modell vorhanden und kein zusammenhän-gender strategischer Plan möglich ist. Dann folgen manche Bildungspolitiker stark vereinfachten kau-salen Attributionen oder die Maßnahmen werden gleich „aus dem Bauch heraus“ begründet – wenn sie nicht ohnehin einflussreichen Lobby-Interessen folgen, mit den entsprechend langfristig negativen Konsequenzen für die Systemwirkung.Wie in vielen anderen (mittel-)europäischen Schulsystemen sind auch im österreichischen die be-stimmenden Elemente als Teil der zentralen staatlichen Bürokratie organisiert (im angloamerikani-schen Raum ist das z. B. aus historischen Gründen anders). Wir Österreicher verdanken diese Form der Schule, die zentrale Gesetzgebung und die sehr komplexen Verschachtelungen der Durchführung und Verantwortung ganz wesentlich der Tradition in der Habsburgermonarchie. Über Bundes- und Landesgesetze, Verordnungen der Schulbehörden auf Bundes-, Landes- und Bezirksebene und allgemein verbindliche Verwaltungsvorschriften des Staates werden das gesamte System und seine Relationen bis heute „a priori“ und sehr detailliert festgelegt.Das Gegenteil von strikter „A-priori-Steuerung“ wäre aus der Sicht der Bildungspolitik weitge-hende Autonomie der regionalen und peripheren Einheiten (d. h. der Schulen und der regionalen Bildungsverwaltung) mit einer Verpflichtung zur Outputkontrolle und entsprechender Rechenschaftslegung. In einem solchen System hoher Schulautonomie („Subsidiarität“ – wie es in manchen angloamerikani-schen oder skandinavischen Ländern der Fall ist) kümmert sich die Bildungspolitik nur mehr um die Kernaufgaben (gerechte Ressourcenverteilung, Bildungsorganisation, Lehrerbildung, Qualitätskontrolle/ -entwicklung, Unterstützungssystem und Bildungsforschung), der überwiegende Teil der pädagogischen Entscheidungen wird subsidiär, „vor Ort“, in der Region bzw. an den autonomen Schulen getroffen.„Output-“ bzw. „Ergebnis-Orientierung“ ist dann ein zentrales Element in einem solchen System – denn die Qualität der Ergebnisse (auf Schulebene und aggregiert auf Systemebene), insbesondere der Schülerleistungen, bestimmen sehr stark mit, in welche Richtung sich Entwicklungen, Qualitätsver-

besserungsprozesse bzw. Ressourcen in und zwischen den Einheiten verlagern. Für die brauchbare und hand-lungsrelevante Erfassung dieses Outputs sind al-lerdings Schulrecherchen bzw. Selbstevaluation an den Schulen sowie die regelmäßige überregio-nale Überprüfung von Bildungsstandards samt Rückmeldung an die Schulen notwendig. Die PISA-Studie gibt Auskunft über die agg-regierte und kumulierte Gesamtleistung des Systems und ist ein wichtiges Element einer output-orientier-ten Systemsteuerung. Auf Grund des Studiendesigns

Abbildung 1.1: Ein einfaches Modell der wichtigsten Elemente unseres Schulsystems (nach Ideen von Terhart, 2003)

SCHULBEHÖRDEN Ministerium, Landes- & Bezirksbehörden

BILDUNGSPOLITIK

NATIONALRAT – LANDTAGE

Gesetze zu Organisation, Rahmen- bedingungen & Ressorucen

Lehrer- und Erzieherbildung

Grundlagenforschung – Systembeobachtung Praxisentwicklung

Schulen

Lehrer/innenSchüler/innen

Eltern

BILDUNGS- PRAXIS

Unterricht BILDUNGS-FORSCHUNG

UNIVERSITÄTEN

AUS- UND FORT-BILDUNGSINSTITUTE

BILDUNGS-ADMINISTRATION


kann PISA allerdings nicht zur Beurteilung der detaillierten Leistung einzelner Schulen oder Schüler/in-nen eines Landes herangezogen werden, regionale oder bundesländerbezogene Auswertungen sind wegen der Größe der Teilstichproben nicht möglich.

2.2 Auf dem Weg zur „Output“-Steuerung

Lange Zeit glaubte man in Österreich, auf umfassende und systematische Evaluationen der Ergebnisse des Bildungswesens (den „Output“) verzichten zu können. Die Bildungspolitik legte durchwegs – im falschen Bewusstsein, alles über „System-Engineering per Erlass“ regeln zu können – keinen großen Wert auf die Kontrollpflicht bezüglich der tatsächlichen Ergebnisse. Ich denke, die Erfahrungen und Entwicklungen der letzten 10 Jahre mit TIMSS und PISA zeigen inzwi-schen deutlich, dass – neben der Forcierung der Qualitätsentwicklung in den Schulen selbst – eine re-gelmäßige externe Qualitätsevaluation des gesamten Systems unbedingt notwendig ist. Der Entscheidung über den Erfolg des Systems, der Bestimmung seiner Stärken und Schwächen und der Entscheidung über die notwendigen Maßnahmen sollten umfangreiche, periodisch erhobene Daten über die tatsächlichen Bildungserfolge der Schüler/innen zu Grunde gelegt werden.PISA erfüllt hier (gemeinsam mit PIRLS und TIMSS) die wichtige Funktion der internationalen Anbindung österreichischer Qualitätsindikatoren und des Benchmarkings. Genauso wichtig wird jedoch künftig die umfassende Prüfung von Bildungsstandards an den Schnittstellen des Systems – Bildungsstandards, die an den nationalen Zielen und an gültigen Kompetenzmodellen ausgerichtet sind. Gemeinsam mit den jährlichen schulstatistischen Daten sollen die Ergebnisse von PISA & Co. und die Resultate der Bildungsstandard-Tests in einen Nationalen Bildungsbericht einfließen und die Leistungen und Entwicklungen im Schulsystem verlässlich abbilden – als Basis für bildungspolitische Entscheidungen. Ansonsten besteht die Gefahr, dass die Wünsche und Absichten der jeweils Verantwortlichen bereits au-tomatisch für Realität gehalten werden.

3. Resümee

Um wirtschaftlich wettbewerbsfähig zu bleiben und den Bürgern und Bürgerinnen optimale Lebens-chancen zu eröffnen, ist es in einem modernen Staat notwendig, höchstmögliche Qualität im Bildungssystem, für Grund-, Aus- und Weiterbildung, bereitzustellen.Bildungspolitik und Schulbehörden als Verantwortliche für das Schulsystem sind herausgefordert, stän-dig zu prüfen, ob die Kompetenzen und Qualifikationen, die vermittelt werden (sollen), noch den Anforderungen der Zeit entsprechen, ob tatsächlich alle Heranwachsenden mit dem schulischen Angebot erreicht und welche nachhaltigen Ergebnisse damit tatsächlich erzielt werden. Systembeobachtungen dieser Art liefert die Vergleichende Bildungsforschung (durch System-Monitoring). Dazu gehören u. a. nationale und internationale Assessments – Tests und Vergleiche der von Schülerinnen und Schülern erworbenen Kompetenzen. Sie geben Aufschluss über die Wirkungen des Systems und be-gründen Handlungsprioritäten („Handlungsbedarf“). Als OECD-Studie stellt PISA den größten internationalen Leistungsvergleich dar. Untersucht werden die Beherrschung des Kulturwerkzeugs Lesen sowie die Grundkompetenzen in den Bereichen Mathematik und Naturwissenschaft. Die Erfolge bei der beruflichen Bildung und der Einstieg in das lebenslange Lernen hängen ganz wesentlich von der nachhaltigen Qualität dieses Fundaments ab.Studien vom PISA-Typ sind über alle Ebenen des Systems aggregiert und enthalten die kumulierten Effekte vieler Faktoren – damit können zwar die „Wirkungsstärken“ verschiedener Systeme festgestellt werden, sie sind jedoch weniger gut geeignet, die entscheidenden Wirkungsfaktoren eindeutig zu identifizieren bzw. ihren Einfluss größenmäßig zu bestimmen.Ergebnisse und Analysen aus Systembeobachtungsstudien des PISA-Typs richten sich an die Verantwortlichen eines Schulsystems, an die Politik und an die Schulbehörden („Bildungsmanagement“). An ihnen liegt es, diese Informationen zu bewerten und gegebenenfalls entsprechende Qualitätsent-


wicklungsmaßnahmen im System in Gang zu setzen, um eine bessere Bewältigung der übertragenen Sozialisationsaufgabe zu gewährleisten.

Bibliografie:Aiginger, K. (2006). Die Zukunft Europas. In H. Androsch, H. Krejci & P. Weiser (Hrsg.), Das Neue Österreich. Denkanstöße

(S. 25–60). Wien: Carl Gerold’s Sohn Verlagsbuchhandlung.Eder F., Posch P., Schratz M., Specht W. & Thonhauser J. (2002). Qualitätsentwicklung und Qualitätssicherung im österreichischen

Schulwesen. Innsbruck: StudienVerlag.Fend, H. (1981). Theorie der Schule. München: Urban & Schwarzenberg.Fend, H. (2006). Neue Theorie der Schule. Einführung in das Verstehen von Bildungssystemen.Wiesbaden: Verlag für

SozialwissenschaftenHaider G., Eder F., Specht W. & Spiel C. (2003). zukunft:schule, Reformkonzept der österreichischen Zukunftskommission. Strate-

gien und Maßnahmen zur Qualitätsentwicklung. Wien: bm:bwk. Haider G., Eder, F., Specht, W., Spiel, C. & Wimmer, M. (2005). Abschlussbericht der Zukunftskommissionan Frau Bundesminis-

terin Elisabeth Gehrer. Wien: bmbkw.Haider, G. & Schreiner, C. (Hrsg.). (2006). Die PISA-Studie. Österreichs Schulsystem im internationalen Wettbewerb. Wien: Böh-

lauKonsortium Bildungsberichterstattung (2006). Bildung in Deutschland. Ein indikatorengestützter Bericht mit einer Analyse zu

Bildung und Migration. Im Auftrag der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland und des Bundesministeriums für Bildung und Forschung. Bielefeld: Bertelsmann.

Motakef, M. (2006). Das Menschenrecht auf Bildung und der Schutz vor Diskriminierung. Exklusionsrisiken und Inklusionschancen. Berlin: Deutsches Institut für Menschenrechte.

OECD (Hrsg.).(2002). Lesen kann die Welt verändern. Leistung und Engagement im Ländervergleich. Ergebnisse von PISA 2000. OECD: Paris.

Rürup, M. (2003). Ausländische und internationale Bildungsberichte – als Orientierung für die nationale Bildungsberichterstattung in Deutschland. TiBi Nr. 7.

Saldern, M. Von (1997). Evaluation von Schulsystemen – neue Aufgaben für die empirische Pädagogik. In J. Thonhauser & F. Rif-fert, Evaluation heute – zwölf Antworten auf aktuelle Fragen (Band 36, S. 57–68). Braunschweig: Braunschweiger Studien zur Erziehungs- und Sozialwissenschaft.

Szaday, C., Büeler, X. & Favre, B. (1996). Schulqualitäts- und Schulentwicklungsforschung: Trends, Synthese und Zukunftsperspek-tiven. Schweizerische Koordinationsstelle für Bildungsforschung.

Terhart, E. (2002). Nach PISA. Bildungsqualität entwickeln. Hamburg: Europäische Verlagsanstalt.

1 Die Lissabon-Strategie ist ein Programm, das auf einem Sondergipfel der europäischen Staats- und Regierungschefs im März 2000 in Lissabon verabschiedet wurde. Mit dieser Strategie will die EU „im Rahmen des globalen Ziels der nachhaltigen Entwicklung ein Vorbild für den wirtschaftlichen, sozialen und ökologischen Fortschritt in der Welt sein“ (Europäischer Rat [Lissabon] – Schlussfolgerungen des Vorsitzes 23. und 24. März 2000, S. 3).2 Leider zeigen die bisherigen Zwischenergebnisse des Lissabon-Prozesses, dass es in der ersten Hälfte des Jahrzehnts der EU nicht gelungen ist, die gewünschte Dynamik in der Bildungsentwicklung tatsächlich zu erzeugen und messbare Fortschritte gegenüber anderen großen Wirtschaftsräumen wie Nordamerika oder Ostasien zu erzielen. Was unter anderem auch an der Tatsache liegt, dass die tatsächlichen Entscheidungen und die Finanzierung auf nationaler Basis bleiben und in vielen Staaten Fortschritte im Bildungssystem nur in sehr langen Zeiträumen passieren und der politische und wirtschaftliche Ertrag nur langfristig „geerntet“ werden kann.3 Ein erster (von den Kammern unterstützter) Versuch wurde aber bereits 1997 von einer Gruppe von Wissenschaftern unter-nommen („Indikatoren zum Bildungssystem“, Haider,1997).4 Österreich hat bisher an folgenden Leistungsvergleichen teilgenommen: COMPED (Computers in Education 1989/91, Hai-der, 1994), TIMSS 1995 (Third International Mathematics and Science Study, u. a. Haider, 1996) und PISA (2000, 2003). Im Zeitraum 1960 bis 2005 haben aber mehr als 20 solcher internationaler Vergleiche stattgefunden – Österreichs Beteiligung an nur drei solcher Studien in vier Jahrzehnten bedeutet das Schlusslicht innerhalb der EU (Übersicht dazu siehe Haider, 2001, S. 29).5 Ausschnitt aus Art. 14 Abs. 5a BVG: „Demokratie, Humanität, Solidarität, Friede und Gerechtigkeit sowie Offenheit und Toleranz gegenüber den Menschen sind Grundwerte der Schule, auf deren Grundlage sie der gesamten Bevölkerung, unabhän-


gig von Herkunft, sozialer Lage und finanziellem Hintergrund, unter steter Sicherung und Weiterentwicklung bestmöglicher Qualität ein höchstmögliches Bildungsniveau sichert. ...“6 Ausschnitt zu SCHOG § 2. (1) „Die österreichische Schule hat die Aufgabe, an der Entwicklung der Anlagen der Jugend nach den sittlichen, religiösen und sozialen Werten sowie nach den Werten des Wahren, Guten und Schönen durch einen ihrer Entwicklungsstufe und ihrem Bildungsweg entsprechenden Unterricht mitzuwirken. Sie hat die Jugend mit dem für das Leben und den künftigen Beruf erforderlichen Wissen und Können auszustatten und zum selbsttätigen Bildungserwerb zu erziehen. ...“

IIII

1. Die PISA-Studie und ihre Bedeutung für Österreich1.1 Was ist PISA?1.2 Ziele und Forschungsfragen1.3 Die Bedeutung von PISA für Österreich

2. Die internationale Organisation von PISA2.1 PISA im Kontext der OECD2.2 Das OECD-Sekretariat und das PISA Governing Board2.3 Das internationale Konsortium2.4 Internationale Expertengruppen

3. Die Organisation innerhalb Österreichs3.1 Auftraggeber und beteiligte Arbeitsgruppen3.2 Das österreichische PISA-Projektzentrum

Simone Breit

GRUNDKONZEPTION, ZIELE UND ORGANISATION VON PISA

Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Lang, 2001) und PISA 2003 (Bergmüller & Lang, 2004). Die Autorin dieses Kapitels dankt Silvia Bergmüller und Birgit Lang für die Bereitstellung der Texte.

Seite 20 II. Grundkonzeption, Ziele und Organisation

Dieses Kapitel umfasst einen kurzen Überblick über PISA (Programme for International Student Assessment) und beschreibt die Ziele dieser Schülerleistungsstudie. Anschließend wird die internationale und nationale Organisation von PISA dargestellt.

1. Die PISA-Studie und ihre Bedeutung für Österreich

1.1 Was ist PISA?

PISA (Programme for International Student Assessment) ist eine von der OECD (Organisation for Economic Cooperation and Development) initiierte, internationale Schülerleistungsstudie. Zielpopulation von PISA sind 15-/16-jährige Schüler/innen, wobei in jedem Teilnehmerland so viele Schüler/innen getes-tet werden müssen, dass von mindestens 4500 Schülerinnen und Schülern auswertbare Daten vorliegen. An PISA 2006 nehmen 57 Staaten, darunter alle 30 OECD-Mitgliedsstaaten, teil (vgl. Abbildung II.1), was bedeutet, dass insgesamt die Leistungen von über 260.000 Schülerinnen und Schülern erhoben wer-den. Die österreichischen Daten für PISA 2006 stammen von ca. 4900 Jugendlichen aus 200 Schulen.

1.1.1 Erfasste Kompetenzbereiche

Im Rahmen der Leistungstests von PISA 2006 werden drei inhaltliche Bereiche (Domänen) erfasst: Naturwissenschafts-Kompetenz, Mathematik-Kompetenz und Lese-Kompetenz. Die Aufgaben der PISA-Tests beruhen auf dem dynamischen Modell des lebenslangen Lernens. Dieses geht davon aus, dass Kenntnisse und Fähigkeiten, die für eine erfolgreiche Anpassung an veränderte Gegebenheiten erfor-derlich sind, kontinuierlich über die gesamte Lebensspanne hinweg erworben werden. Den Annahmen dieses Modells entsprechend fokussiert PISA nicht die Überprüfung von Lehrplan-Wissen, sondern die Erhebung allgemeiner Basiskompetenzen, die die Voraussetzung für zukünftigen Wissenserwerb bilden.

* OECD-Partnerländer

Teilnehmerländer bei PISA 2006Argentinien* Japan Qatar*Aserbaidschan* Jordanien* Montenegro*Australien Kanada Rumänien*Belgien Kirgisische Republik* Russland*Brasilien* Kolumbien* SchwedenBulgarien* Korea SchweizChile* Kroatien* Serbische Republik*Dänemark Lettland* Slowakische RepublikDeutschland Liechtenstein* Slowenien*Estland* Litauen* SpanienFinnland Luxemburg Taipei*Frankreich Macao-China* Thailand*Griechenland Mexiko Tschechische RepublikHong Kong-China* Neuseeland Tunesien*Indonesien* Niederlande TürkeiIrland Norwegen UngarnIsland Österreich Uruguay*Israel* Polen Vereinigte StaatenItalien Portugal Vereinigtes Königreich

Abbildung II.1: Teilnehmerländer bei PISA 2006


Ausgehend vom Modell des lebenslangen Lernens werden die PISA-Frameworks (vgl. Abschnitt 1 in Kapitel III) entwickelt. Diese können als „PISA-Lehrpläne“ verstanden werden, in denen für jede PISA-Domäne die allgemeinen Fähigkeiten, die für das lebenslange Lernen notwendig sind, festgelegt und definiert werden. Die Frameworks stellen wiederum die Grundlage für die Entwicklung der konkreten Testaufgaben dar. Hierdurch wird sichergestellt, dass alle PISA-Aufgaben dem Modell des lebenslangen Lernens gerecht werden.1.1.2 MethodenDie Leistungsmessung erfolgt bei PISA mittels Papier-und-Bleistift-Tests, wobei die Testzeit pro Schüler/in genau zwei Stunden beträgt. Die Tests bestehen aus einer Mischung von Multiple-Choice-Aufgaben und Fragen, für die die Schüler/innen selbstständig Antworten formulieren müssen. Die einzelnen Fragen sind zu Gruppen (Units) zusammengefasst, die sich in der Regel auf einen realitätsnahen Kontext beziehen. Insgesamt werden über 180 verschiedene Fragen eingesetzt, von denen die getesteten Schüler/innen aber jeweils nur unterschiedliche Teil-Kombinationen (Cluster) bearbeiten. Die Schüler/innen beantworten außerdem einen Schülerfragebogen, der international vorgegebene Kontextinformationen wie den sozio-ökonomischen Hintergrund oder Einstellungen zu Naturwissenschaft erfasst und darüber hinaus natio-nale Ergänzungsteile (z. B. einen Fragebogen zum Befinden in der Schule) enthält. Weiters beantwor-ten die Schulleiter/innen einen Fragebogen, mit dem Informationen zur Schule (z. B. Schulressourcen, Struktur und Organisation der Schule) erhoben werden.1.1.3 ErhebungszyklusDie Erhebungen erfolgen bei PISA in einem Dreijahreszyklus (2000 – 2003 – 2006 usw.). Bei jeder Erhebung fungiert eine der drei Kerndomänen (Lesen, Mathematik, Naturwissenschaft) als Hauptdomäne. Da der jeweiligen Hauptdomäne zwei Drittel der Testzeit gewidmet sind, kann diese sehr ausführlich er-hoben werden. In den Nebendomänen werden weniger differenzierte Leistungsprofile erhoben. Im Jahr 2000 war die Hauptdomäne Lese-Kompetenz, bei PISA 2003 war es die Mathematik-Kompetenz und bei der aktuellen Erhebung von 2006 liegt das Hauptaugenmerk auf der Naturwissenschafts-Kompetenz. Bei der nächsten Erhebung im Jahr 2009 steht die Lese-Kompetenz erneut im Mittelpunkt des Interesses, so dass neunjährige Trendanalysen möglich werden.

1.2 Ziele und Forschungsfragen

Ziel von PISA ist es, die Qualität von nationalen Bildungssystemen zu erfassen und Informationen über qualitätsrelevante Merkmale, sowohl auf kollektiver Ebene (System und Schule) als auch auf individu-eller Ebene (einzelne Schüler/innen), bereitzustellen. Dies geschieht bei PISA durch die regelmäßige und international standardisierte Messung von Schülerleistungen und durch die Erhebung von Merkmalen, von denen angenommen wird, dass sie die Leistung der Schüler/innen beeinflussen. Durch die Ergebnisse dieser Erhebungen lassen sich Basis-, Kontext- und Trendindikatoren gewinnen sowie eine systematische Datenbasis aufbauen.1.2.1 Erhebung von BasisindikatorenBasisindikatoren sind die Ergebnisse der PISA-Leistungsmessung in Lesen, Mathematik und Naturwissenschaft, welche mittels standardisierter Tests erhoben werden. Diese Leistungsdaten lie-fern Informationen über das Wissen, die Fähigkeiten und Kompetenzen der Schüler/innen gegen Ende der Pflichtschulzeit. Der direkte Vergleich dieser Ergebnisse mit den Leistungsdaten der übri-gen Teilnehmerländer ermöglicht die Identifizierung von Stärken und Schwächen im österreichischen Bildungssystem und unterstützt damit die Qualitätsentwicklung auf Systemebene.1.2.2 Erhebung von KontextindikatorenBei den Kontextindikatoren handelt es sich um Merkmale, von denen angenommen wird, dass sie mit der Kompetenz der Schüler/innen in Zusammenhang stehen und somit einen wichtigen Erklärungsbeitrag für Unterschiede bei den Leistungen liefern. Die Kontextindikatoren werden im Rahmen von PISA durch


die Schüler- und Schulfragebögen erhoben und beinhalten Informationen über demografische, soziale, ökonomische und pädagogisch-psychologische Merkmale (vgl. Abschnitt 3 und Abschnitt 4 in Kapitel IV). Über die verpflichtende Erhebung der von internationaler Seite vorgegebenen Kontextvariablen hi-naus hat jedes Teilnehmerland die Möglichkeit, auf freiwilliger Basis an internationalen Optionen teilzu-nehmen. Wie bereits bei PISA 2003 setzt Österreich auch in PISA 2006 den internationalen Fragebogen über Informations- und Kommunikationstechnologien (ICT) ein (vgl. Abschnitt 3 in Kapitel IV). Zudem besteht für jedes Land die Möglichkeit, weitere Kontextinformationen auf nationaler Ebene zu erheben (vgl. Abschnitt 5 in Kapitel IV).Auf internationaler Ebene können zusätzlich spezifische Merkmale der unterschiedlichen Schulsysteme als Kontextvariablen herangezogen werden. Diese Merkmale, wie z. B. Ausgaben für das Schulwesen, Zahl der gemeldeten Schüler/innen, Zahl der Schüler/innen, die einen bestimmten Abschluss machen, Differenzierung innerhalb des Schulwesens, Ausbildung der Lehrkräfte etc., werden von der OECD re-gelmäßig erhoben und berichtet. Durch die gemeinsame Analyse der PISA-Leistungsdaten mit den durch PISA sowie durch andere OECD-Programme erhobenen Kontextindikatoren, wird ermöglicht:• Unterschiede in Schülerleistungen mit Unterschieden zwischen Bildungssystemen und Unterrichts-

kontexten zu vergleichen;• Unterschiede in Schülerleistungen mit Unterschieden zwischen Lehrplänen und pädagogischen Pro-

zessen zu vergleichen;• Beziehungen zwischen Schülerleistungen und bestimmten schulbezogenen Faktoren wie Größe und

Ressourcen zu untersuchen sowie länderspezifische Unterschiede hinsichtlich dieser Beziehungen zu betrachten;

• Unterschiede zwischen den einzelnen Ländern hinsichtlich der Frage zu untersuchen, inwieweit Schulen jenen Einfluss verringern oder verstärken, den Hintergrundmerkmale von Schülerinnen und Schülern auf ihre Leistung haben;

• Unterschiede zwischen Bildungssystemen und nationalen Kontexten zu betrachten, die mit Unter-schieden in Schülerleistungen zusammenhängen.

1.2.3 Erhebung von TrendindikatorenPISA ist ein zyklisches Programm, das alle drei Jahre die Leistungen der Schüler/innen am Ende ih-rer Pflichtschulzeit erhebt. Langfristig wird damit ein Bestand an Informationen aufgebaut, der eine Beobachtung von Entwicklungstrends im Wissens- und Kompetenzbestand von Schülerinnen und Schülern aus verschiedenen Ländern und aus verschiedenen demografischen Untergruppen erlaubt. Durch den Vergleich der Ergebnisse über die Zeit kann die Dynamik der Entwicklung erfasst und gleichzeitig sichtbar gemacht werden, welche Konsequenzen zwischenzeitliche Änderungen im System haben. Wichtig ist hierbei nicht bloß die isolierte Betrachtung von Änderungen in den Basis- bzw. Kontextindikatoren, sondern auch die Untersuchung von Veränderungen in den Zusammenhängen zwischen Leistungs- und Hintergrundvariablen.1.2.4 Systematischer Aufbau einer DatenbasisDurch die regelmäßige Erfassung der Schülerleistungen kann systematisch eine Datenbasis aufgebaut werden, die alle erhobenen Informationen im Zusammenhang berücksichtigt und eine weitgehende und fundierte bildungspolitische Analyse erlaubt, u. a. im Hinblick auf die Effektivität der Schulsysteme. Bildungspolitiker/innen und -forscher/innen können diese Datenbasis für viele wichtige Zwecke nutzen: z. B. um den erreichten Bildungsstand zu prüfen und zu vergleichen, um den Fortschritt der Schüler/innen zu beobachten oder um relative Stärken und Schwächen zu identifizieren. Darüber hinaus fördert eine sol-che internationale Datenbasis den Austausch von Informationen und Ideen, und es ist für die Beteiligten möglich, sich durch Gespräche, Diskussionen und/oder gemeinsame Aktionen mit den führenden Wissenschafterinnen und Wissenschaftern sowie Expertinnen und Experten neue, wertvolle Sichtweisen und Methoden anzueignen.


1.2.5 Publikation von InformationenEin wesentliches Ziel von PISA ist, die Ergebnisse der Analysen zu den Forschungsfragen so aufzube-reiten, dass sie möglichst vielen Personen zugänglich sind und Verbesserungsmaßnahmen für die Schul- und Systemebene abgeleitet werden können. PISA legt daher sowohl auf nationaler als auch auf inter-nationaler Ebene besonderes Augenmerk auf die Publikation von verständlichen und praxisrelevanten Forschungsberichten. Die internationalen Berichte erscheinen nicht nur in Buchform, sondern können auch kostenlos aus dem Internet heruntergeladen werden (www.pisa.oecd.org). Auf der österreichischen Web-Seite www.pisa-austria.at können darüber hinaus Broschüren bezogen und ein Newsletter abonniert werden sowie Beispielaufgaben angesehen werden.

1.3 Die Bedeutung von PISA für Österreich

PISA liefert Verantwortlichen in Politik und Schule Informationen über die Leistungen österreichi-scher Schüler/innen im internationalen Vergleich und zeigt, welche Faktoren mit Schulleistung zu-sammenhängen. Die Ergebnisse von PISA sind daher ein zentraler Ansatzpunkt für Maßnahmen zur Qualitätsverbesserung auf Schul- und Systemebene. Detaillierter betrachtet erfüllt PISA auf nationaler Ebene unter anderem die folgenden wichtigen Funktionen:• PISA liefert wichtige Anhaltspunkte und Daten für wesentliche Bereiche von Schulqualität.• Durch die langfristige kontinuierliche Messung können die Effekte von neuen Maßnahmen/Refor-

men im Schulwesen auf die Schulleistung und damit zusammenhängenden Hintergrundmerkmalen gemessen und beurteilt werden.

• PISA bietet zentrale Anknüpfungspunkte für zusätzliche, österreichspezifische Forschungsprojekte, vor allem im Bereich der Bildungsforschung.

• PISA erlaubt österreichischen Bildungsforscherinnen und -forschern durch die Beteiligung an State-of-the-Art-Projekten ihre Kompetenz und ihre Kenntnisse einzubringen und zu erweitern.

• PISA fördert in den beteiligten Schulen und in der Öffentlichkeit das Verständnis für Schülerleis-tungserhebungen und Schülerleistungsvergleiche und macht deren Wert für das Bildungswesen trans-parent.

2. Die internationale Organisation von PISA

Für die internationale Projektorganisation und die Sicherstellung der Qualität der Studie sind mehrere Einrichtungen zuständig. Die übergeordnete Projektverantwortung trägt die OECD, die zugleich Initiator von PISA ist.

2.1 PISA im Kontext der OECD

Die Organisation for Economic Cooperation and Development (OECD) ist eine weltweite Organisation mit derzeit 30 Mitgliedsländern und über 70 Partnerländern. Vorrangiges Ziel der OECD – laut Artikel 1 der OECD-Konvention (OECD, 1960) – ist es, „eine nachhaltige Wirtschaftsentwicklung und Beschäftigung sowie einen steigenden Lebensstandard in den Mitgliedsländern unter Wahrung der finanziellen Stabilität zu erreichen, um zur Entwicklung der Weltwirtschaft beizutragen“. Auf Grund der Tatsache, dass die wirtschaftliche Entwicklung eines Landes sehr eng mit dem Bildungsstand seiner Bevölkerung verknüpft ist, hat sich die OECD dazu entschlossen, internationale Bildungsstudien durch-zuführen. Diese sollen das Bildungsniveau der Bevölkerung in den Mitgliedsstaaten systematisch erheben und Stärken-Schwächen-Analysen der einzelnen Bildungssysteme ermöglichen. Auf dieser Grundlage sol-len Anstrengungen zur Verbesserung der Ausbildung der Bürger/innen unternommen werden, so dass über längere Sicht auch ein höheres Wirtschaftswachstum und steigender Wohlstand in den Mitgliedsländern und den assoziierten Staaten erreicht wird. Organisatorisch betrachtet ist PISA Teil des OECD-Indikatorenprogramms INES (Indicators of Education Systems). Ziel von INES ist es, international vergleichbare Bildungssystemdaten zur Verfügung zu stellen.


PISA trägt zur Umsetzung dieses Programms bei, indem es unterschiedliche Arten von Systemindikatoren (vgl. Abschnitt 1.2 in diesem Kapitel [idK.]) international standardisiert erhebt. INES gliedert sich in mehrere Netzwerke mit unterschiedlichen Aufgaben. Von besonderer Bedeutung für PISA ist das INES-Netzwerk A, da dieses die folgenden Aufgaben hat1:• Bereitstellung von Indikatoren über Bildungsergebnisse und die Auswirkungen des Lernens;• Langfristige Entwicklung und Evaluation von PISA durch Sicherung der Kohärenz der Studie über

die Zeit, ihre Anpassung an wachsende Bedürfnisse und an methodische Innovationen in der Date-nerhebung;

• Entwicklung von Methoden zur Erhebung von fächerübergreifenden Kompetenzen (Cross-Curricu-lar-Competencies wie Problemlösen, Selbstreguliertes Lernen etc.);

• Entwicklung von Instrumenten zur Erfassung von Kompetenzen im Umgang mit neuen Kommuni-kations- und Informationstechnologien (ICT skills);

• Fachliche Bewertung von Datenskalierung, Auswertungen und Berichten, Identifizierung verbesserter Wege der Datenanalyse sowie Präsentation von Indikatoren in der Art, dass die gesammelte Informa-tion den größtmöglichen Nutzen für die Bildungspolitik bereitstellt.

In den folgenden Abschnitten werden die an der Organisation von PISA beteiligten internationalen Einrichtungen beschrieben. Wie diese Instanzen zusammenwirken, wird in Abbildung II.2 dargestellt.

2.2 Das OECD-Sekretariat und das PISA Governing Board

Das OECD-Sekretariat (PISA-Gesamtkoordination: Dr. Andreas Schleicher) hat die übergreifende Managementverantwortung für das Programm und verfolgt dessen praktische Umsetzung. Die OECD hat die Aufgabe – in Absprache mit dem PISA Governing Board (PGB – siehe unten) Vertragsbedingungen für jeden Zyklus vorzubereiten und einen internationalen Vertragspartner für die praktische Umsetzung von PISA zu finden (vgl. Abschnitt 2.3 idK.). Das Sekretariat ist auch verantwortlich für die Konsensbildung zwischen den teilnehmenden Ländern und dient als Ansprechpartner auf politischer Ebene. Weiters fungiert das OECD-Sekretariat als Schnittstelle zwischen dem PISA Governing Board und dem inter-nationalen Vertragspartner. Das OECD-Sekretariat erstellt auch die Indikatoren, analysiert und arbei-tet die internationalen Berichte und Veröffentlichungen in Zusammenarbeit mit dem internationalen Auftragnehmer und in Abstimmung mit den Teilnehmerländern aus. Die wichtigsten Entscheidungen fallen im PISA Governing Board (PGB), in dem alle PISA-Teilnehmerländer auf politischer Ebene vertreten, aber nur OECD-Mitgliedsländer stimmberechtigt sind. Österreich wird im PGB durch OR Mag. Jürgen Horschinegg aus dem Unterrichtsministerium (BMUKK) vertreten. Das PGB legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten für OECD/PISA fest und überwacht deren Einhaltung im Verlauf der Implementierung des Programms. Dies betrifft die Auswahl von Indikatoren, die Entwicklung von Messinstrumenten und die Berichterstattung über die Ergebnisse.

2.3 Das internationale Konsortium

Verantwortlich für das Design und die Implementierung der Erhebung innerhalb des vom PGB abge-steckten Rahmens ist ein internationales Konsortium, das so genannte PISA-Konsortium. Im Konsortium arbeiten unter der Führung des Australian Council for Educational Research (A.C.E.R.), folgende Forschungseinrichtungen zusammen: das „Netherlands National Institute for Educational Measurement“ (Citogroep) in den Niederlanden, das „National Institute for Educational Research“ (NIER) in Japan und „WESTAT“ in den USA.Das PISA-Konsortium übernimmt die Verantwortung für die Operationalisierung des Projektdesigns sowie für die Implementierung des Projekts innerhalb der Vertragsbedingungen. Weiters muss das Konsortium umfangreiche Qualitätssicherungsmaßnahmen gewährleisten. Während der Durchführung des Projekts muss das internationale Konsortium sicherstellen, dass:


• für Belange, wo dies nötig ist, bereichsspezifische Expertinnen und Experten in das Projekt einbezo-gen werden (z. B. durch Sub-Vertragspartner),

• die beteiligten Länder aktiv an der Entwicklung der Instrumente (Tests, Fragebögen) durch Experten-gruppen eingebunden werden und

• Konsens der teilnehmenden Länder auf dem operationalen und technischen Niveau erreicht wird.

PISA Governing

Board (PGB)

INESNetzwerk A

OECD-SEKRETARIAT

Internationales Konsortiumunter der Leitung von

A.C.E.R.

TechnicalAdvisory Group

(TAG)

Subject MatterExpert Groups

(SMEGs)

Nationale Projektmanager(NPMs)

Unterrichtsministerium

INES-Steuergruppe

Abbildung II.2: Organisation von PISA auf internationaler Ebene


2.4 Internationale Expertengruppen

Für jeden der bei PISA 2006 getesteten Kompetenzbereiche gibt es eine Arbeitsgruppe (Subject Matter Expert Group; SMEG), die sich aus international führenden Expertinnen und Experten zusammen-setzt. Dies soll gewährleisten, dass die politischen Zielsetzungen von PISA mit der größtmöglichen inter-national verfügbaren fachwissenschaftlichen und verfahrenstechnischen Kompetenz umgesetzt werden. Aufgabe der SMEGs ist es, die in PISA verwendeten Materialien (Tests, Fragebögen) zu entwickeln und dabei sicherzustellen, dass• die Instrumente international valide sind und den kulturellen und curricularen Kontext der OECD-

Mitgliedsstaaten berücksichtigen,• die Testmaterialien sehr gute messtechnische Eigenschaften aufweisen und • die Instrumente sowohl authentisch als auch bildungspolitisch relevant sind.Jedes PISA-Teilnehmerland hat die Möglichkeit selbst nationale Expertinnen und Experten zu entsenden, die in einem nach der Hauptdomäne wechselnden Forum zusammenarbeiten und sich regelmäßig tref-fen. Diese Expertinnen und Experten spielen eine wichtige Rolle bei der Begutachtung der von den inter-nationalen SMEGs ausgearbeiteten Frameworks und Aufgaben und stellen sicher, dass in diesen Belangen die nationalen Interessen gewahrt werden. Insbesondere achten die Mitglieder des Forums darauf, dass die Aufgaben nicht in unterschiedlichen kulturellen Kontexten unterschiedliche Schwierigkeitsniveaus aufweisen. Da bei PISA 2006 Naturwissenschaft die Hauptdomäne ist, ist das Science Forum von be-sonderer Bedeutung. Als Vertreter/innen Österreichs gehören Mitglieder der PISA Science Expert Group (siehe unten) dem Forum an.Eine weitere wichtige Expertengruppe auf internationaler Ebene ist die Technical Advisory Group (TAG). Diese stellt sicher, dass alle in PISA angewandten Prozeduren dem aktuellen wissenschaftlichen Stand ent-sprechen und trägt dadurch wesentlich zu einer hohen technischen Qualität der Studie bei. Die TAG ver-eint Personen, die eine führende Rolle bei der Durchführung von PISA spielen, mit externen Expertinnen und Experten.

3. Die Organisation innerhalb ÖsterreichsIm folgenden Abschnitt wird die Umsetzung von PISA auf der nationalen Ebene beschrieben. Abbildung II.3 gibt einen Überblick über die in Österreich beteiligten Instanzen sowie deren Zusammenarbeit mit dem internationalen Konsortium, dem PGB und den internationalen Expertengruppen.

3.1 Auftraggeber und beteiligte Arbeitsgruppen

Die Umsetzung von PISA wird in Österreich durch das Unterrichtsministerium in Auftrag gegeben, finanziert und beaufsichtigt. Den Auftrag für PISA 2006 erteilte die damalige Frau BM Elisabeth Gehrer. Auf Grund der Neustrukturierung der Ministerien nach den Wahlen im Herbst 2006 wurde das Bundesministerium für Bildung, Wissenschaft und Kultur (BMBWK) mit 1. März 2007 aufgelöst und die Agenden werden seither vom Bundesministerium für Unterricht, Kunst und Kultur (BMUKK) und vom Bundesministerium für Wissenschaft und Forschung (BMWF) wahrgenommen. Für PISA ist seither das BMUKK unter Frau BM Claudia Schmied verantwortlich2.Die Interessen des Auftraggebers vertritt die Stabstelle internationale Assessments am BMUKK unter der Leitung von OR Mag. Jürgen Horschinegg. Diese Stabstelle entsendet auch die österreichische Vertretung in das PGB.Wichtige Unterstützung für PISA auf nationaler Ebene kommt vom National Committee, einer Expertenrunde, die bei Bedarf einberufen wird. Dem National Commitee gehören Schüler-, Eltern- und Lehrervertreter/innen, Mitglieder der regionalen Schulbehörden und der Schulaufsicht sowie Wissen-schafter/innen an und es wird von SektChef. Dr. Anton Dobart geleitet. Die Aufgabe des National Committees ist es, das Projekt zu unterstützen und sicherzustellen, dass nationale Interessen gewahrt bleiben. Gemeinsam mit dem National Project Manager (NPM) werden in den Sitzungen Fortschritte analysiert sowie Prozeduren und Ergebnisse des Projekts diskutiert.


Um sicherzustellen, dass die beteiligten Länder aktiv an der Entwicklung der Instrumente beteiligt sind, implementierte die Stabstelle am BMUKK nationale Expertengruppen zu Mathematik (PISA Mathematics Expert Group Austria) und Naturwissenschaft (PISA Science Expert Group Austria). Diese bestehen aus nationalen Expertinnen und Experten (Wissenschafterinnen und Wissenschaftern, Didaktikerinnen und Didaktikern, Testentwicklerinnen und -entwicklern) für den jeweiligen Kompetenzbereich. In PISA 2006 ist vor allem die Science Expert Group unter der Leitung von HR Dir.i.R. Mag. Dr. Christa

Bundesministerium für Unterricht,Kunst und Kultur (BMUKK)

verantwortlich für die nationale Implementation von PISA sowie

die Kooperation mit deutschspr. Ländern, internationale und nationale Optionen

Mathematik-und Naturwissen-

schaftsexper-tinnen und -experten

NationalCommitee

(NC)

Stabstelle internationale Assessmentsam BMUKK

Forum

Subject MatterExpert Groups

(SMEGs)

internationales Konsortiumunter der Leitung von

A.C.E.R.

Vertretung imPGB (PISAGoverning

Board)

Nationale Projektmanager(NPM)

OECD-Sekretariat

Projektzentrum für VergleichendeBildungsforschung (ZVB)

Abbildung II.3: Organisation von PISA auf nationaler Ebene


Koenne zum Einsatz gekommen, weil Naturwissenschaft die Hauptdomäne ist und deshalb viele neue Testaufgaben für diesen Kompetenzbereich entwickelt wurden. Die PISA Science Expert Group hatte folgende Hauptaufgaben: • Begutachtung des von der internationalen Science Expert Group ausgearbeiteten Frameworks aus

fachtheoretischer bzw. fachdidaktischer Sicht – unter Berücksichtigung des nationalen Hintergrunds (Lehrplan, Bildungsziele);

• Erstellung von Naturwissenschafts-Testmaterialien (Texte, Testaufgaben) als nationaler Beitrag zu den internationalen Testinstrumenten von PISA;

• Begutachtung der von der internationalen Science Expert Group ausgearbeiteten Naturwissenschafts-Testinstrumente und Verfassung einer österreichischen Stellungnahme zu den Item-Bundles aus fach-theoretischer bzw. fachdidaktischer Sicht;

• Vertretung Österreichs beim Science-Forum.

3.2 Das österreichische PISA-Projektzentrum

3.2.1 Projektzentrum für Vergleichende BildungsforschungIn Österreich ist das Projektzentrum für Vergleichende Bildungsforschung (ZVB) mit der Durchführung von PISA 2006 beauftragt. Das ZVB ist an der Universität Salzburg am Fachbereich Erziehungswissenschaft angesiedelt und neben PISA auch für die IEA-Studien PIRLS (Progress in Reading Literacy) und TIMSS (Trends in Mathematics and Science Study) sowie die OECD Lehrerbegfragungsstudie TALIS (Teaching and Learning International Survey) verantwortlich. Leiter des Zentrums ist Ass.Prof. DDr. Günter Haider.Als nationale Projektmanager für PISA 2006 sind DDr. Günter Haider und Mag. Dr. Claudia Schreiner für die Koordination aller beteiligten nationalen Institutionen und Expertinnen und Experten sowie für die Planung, Durchführung und Auswertung der PISA-Studie in Österreich verantwortlich. Seit Jahresbeginn 2007 wird diese Funktion ausschließlich von Mag. Dr. Schreiner wahrgenommen.3.2.3 Nationale ZusatzerhebungenZusätzlich zum internationalen Projekt gibt es österreichische Zusatzstudien, die ausgewählte Fragen der Bildungsforschung detailliert untersuchen. Im Rahmen der nationalen Zusatzerhebungen von PISA 2006 werden fünf Themenbereiche genauer erforscht, wobei in jedem Bereich eine Expertin/ein Experte bei der Konstruktion der Instrumente, der Durchführung der Datenauswertung und der Erstellung der Berichte beteiligt ist. Im Folgenden sind die nationalen Zusatzprojekte und die dafür Verantwortlichen angeführt (für eine detaillierte Beschreibung vgl. Abschnitt 5 in Kapitel IV):• Nutzung von Informationstechnologien (Claudia Schreiner)• Lesegewohnheiten (Margit Böck)• Belastung in der Schule (Silvia Bergmüller)• Befindlichkeit und Schulerfolg (Ferdinand Eder)• Qualität in Schulen (Günter Haider)3.2.4 Externe Mitarbeiter/innenDa die Mitarbeiter/innen des ZVB den mit der Durchführung der Studie verbundenen Arbeitsaufwand nicht alleine bewältigen können, werden für die folgenden Tätigkeiten externe Mitarbeiter/innen rekru-tiert und eingeschult:• Materialkontrolle und -etikettierung: Die Kontrolle der Testhefte und Fragebögen auf Druckfehler

sowie das Etikettieren und Verpacken der Testmaterialien wird von Studierenden übernommen (vgl. Kapitel VI).

• Testdurchführung: Die Durchführung der PISA-Tests an den Schulen erfolgt durch erfahrene Lehr-personen bzw. durch Mitglieder der Pädagogischen Institute, den so genannten Testleiterinnen und Testleitern (vgl. Kapitel VI).


• Coding: Die Bewertung der offenen Fragen der PISA-Leistungstests übernehmen Personen, die mit dem Umgang von Schülerantworten vertraut sind und speziell für diese Aufgabe geschult werden (vgl. Kapitel VIII).

• ISCO-Codierung: Die Vercodung von Beruf und Ausbildung der Eltern nach einem internationalen Klassifikationsschema führen speziell geschulte Personen durch (vgl. Kapitel IX).

• Dateneingabe: Die elektronische Erfassung der Antworten zu den Fragen der Testhefte und Fragebö-gen erfolgt durch eingeschulte Studierende (vgl. Kapitel X).

BibliografieBergmüller, S. & Lang, B. (2004). Grundkonzeption, Ziele und Organisation von PISA. In G. Haider & C. Reiter (Hrsg.), PISA

2003. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs: 22.05.2007]

Lang, B. (2001). Ziele, Forschungsfragen und Organisation. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts (S. 39–51). Innsbruck: StudienVerlag.

OECD (1960). Convention on the Organisation for Economic Co-operation and Development. [WWW Dokument ] Verfügbar un-ter: http://www.oecd.org/document/7/0,2340,en_2649_34483_1915847_1_1_1_1,00.html. [Datum des Zugriffs: 23.0.07]

1 vgl. [WWW Dokument] Verfügbar unter:http://nces.ed.gov/surveys/international/ines/index.asp?INESSection=A&SubSection=3 [Datum des Zugriffs: 23.05.07]2 Aus diesem Grund wird in dieser Publikation durchgängig die Bezeichnung BMUKK für das Unterrichtsministerium ver-wendet.

IIIUrsula Schwantner

TESTINSTRUMENTE

III

1. Die Frameworks1.1 Naturwissenschafts-Kompetenz 1.2 Mathematik-Kompetenz1.3 Lese-Kompetenz

2. Testdesign2.1 Organisation der Aufgaben, Testzusammenstellung und Bearbeitungszeit2.2 Aufgabenformat und Testcharakteristiken

3. Itementwicklung3.1 Itementwicklung und Erprobung im Feldtest3.2 Die Itemauswahl für den Haupttest

4. Übersetzung und Verifi kation4.1 Übersetzungsrichtlinien4.2 Übersetzungskooperation deutschsprachiger Länder bei PISA 20064.3 Internationale Verifi kation und nationale Adaptionen

5. Qualitätssicherung im Bereich Testinstrumente

Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Lang, 2001) und PISA 2003 (Lang, 2004). Die Autorin dieses Kapitels dankt Birgit Lang für die Bereitstellung der Texte sowie Andrea Grafendorfer für die Unterstützung bei der Beschreibung der Naturwissenschafts-Kompetenz.

Seite 32 III. Testinstrumente

Wie bereits bei PISA 2000 und PISA 2003 werden die 15-/16-jährigen Schüler/innen auch in PISA 2006 in den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft getestet. Im Erhebungsjahr 2006 liegt der Fokus auf dem Bereich Naturwissenschaft (2000 Lesen, 2003 Mathematik), womit der erste vollständige PISA-Zyklus seinen Abschluss findet. 2009 startet ein „neuer“ Testzyklus, wiederum mit dem Kompetenzbereich Lesen als Hauptdomäne. In diesem Kapitel wird die Entwicklung der Testinstrumente, anhand derer die Kompetenzen der Schüler/innen erfasst werden, beschrieben. Eingegangen wird dabei auf die theoretische Konzeption der Tests, das Testdesign und wesentliche Aufgabencharakteristiken, die Itementwicklung sowie die Übersetzung und Adaption der einzelnen Testaufgaben.

1. Die Frameworks

Das Hauptziel von PISA ist es, die Grundkompetenzen der Schüler/innen in den Teilnehmerländern am Ende ihrer Pflichtschulzeit in den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft zu erfassen. Es gilt festzustellen, in welchem Ausmaß die Jugendlichen jene Fähigkeiten erworben haben, die sie in ihrem weiteren Leben benötigen. Diese Fragestellung beruht auf dem Modell des lebenslangen Lernens, bei dem davon ausgegangen wird, dass Kenntnisse und Fähigkeiten kontinuierlich über die ge-samte Lebensspanne hinweg erworben werden. Die Voraussetzungen für ein erfolgreiches lebenslanges Lernen werden dabei u. a. in der Schule gelegt: einerseits durch den spezifischen Wissenserwerb, anderer-seits durch den Erwerb breit gefächerter Konzepte und Fähigkeiten (z. B. Denkprozesse, Lernstrategien und -methoden), welche es den Schülerinnen und Schülern ermöglichen, ihr Wissen in verschiedenen Situationen anzuwenden und sich an veränderte Gegebenheiten anzupassen.Als theoretische Basis für die Erhebung der Grundkompetenzen in PISA werden – ausgehend vom Modell des lebenslangen Lernens – von internationalen Expertinnen und Experten für die drei Kompetenzbereiche Lesen, Mathematik und Naturwissenschaft so genannte Frameworks entwickelt. Darin wird beschrieben und definiert, welches Wissen und welche Fähigkeiten für die einzelnen Kompetenzbereiche relevant sind und in PISA erfasst werden sollen. Die Inhalte der Frameworks stammen dabei nicht aus den unterschied-lichen Lehrplänen der Teilnehmerländer, da dies den Fokus der Studie zu sehr auf Inhalte beschränken würde, die in allen oder den meisten Ländern gleich sind. Darüber hinaus bestehen Lehrpläne großteils aus Informationen über und Beschreibungen von Techniken, welche die Schüler/innen erwerben sollen, wobei jedoch nicht auf die Entwicklung jener Fähigkeiten eingegangen wird, die eine Anwendung des Wissens bzw. einen Transfer ermöglichen und welche für PISA relevant sind. Im Framework werden auch Kompetenzen berücksichtigt, die fächerübergreifend ausgebildet werden (z. B. Problemlösen, Situationen erfassen, Modelle bilden). Weitere Vorteile liegen laut OECD (2006) darin, dass bei der Entwicklung der Frameworks der Zweck der Erhebung und die Kompetenzbereiche diskutiert werden, was wiederum zur Konsensfindung rund um das Framework und die Ziele der Messung beiträgt. Die Frameworks liefern eine gemeinsame Sprache dessen, was gemessen werden soll. Somit ermöglichen die Konstruktion und Validierung der Frameworks eine präzise Messung der einzelnen Kompetenzbereiche.Neben der Beschreibung und Definition der Kompetenzbereiche werden in den Frameworks die Strukturen und Dimensionen der Tests dargestellt, die zu erreichenden Kompetenzniveaus beschrieben und der Anteil an verschiedenen Aufgabentypen festgelegt (Lang, 2004).Im Folgenden werden die Frameworks für die Kompetenzbereiche von PISA 2006 dargestellt. Das Framework in Naturwissenschaft wurde im Vergleich zu PISA 2000 und 2003 erweitert, da die Naturwissenschafts-Kompetenz im Erhebungsjahr 2006 die Hauptdomäne darstellt, und wird daher im Folgenden auch detaillierter beschrieben als die beiden Nebendomänen. Für die Kompetenzbereiche Lesen und Mathematik werden die Beschreibungen aus dem Technischen Bericht 2003 (Lang, 2004) in gekürzter Form übernommen, da diese Frameworks weitgehend unverändert geblieben sind.

Eine Sammlung sämtlicher PISA-Beispielaufgaben aus den verschiedenen Kompetenzbereichen finden Sie hier (PDF).

Seite 33III. Testinstrumente

1.1 Naturwissenschafts-Kompetenz

1.1.1 DefinitionGrundannahme des Konzepts der „Scientific-Literacy“ in PISA 2006 ist, dass wir im 21. Jahrhundert in einer von (natur-) wissenschaftlichen und technologischen Fortschritten geprägten und zunehmend globalisierten Gesellschaft leben. Damit Jugendliche in diese Gesellschaft kompetent hineinwachsen können ist es von zentraler Bedeutung, dass sie naturwissenschaftliche Prozesse und Phänomene so-wie technologische Errungenschaften deuten und verstehen lernen. Ein umfassendes „Verständnis“ von Naturwissenschaft und Technologie ermöglicht es den Jugendlichen, Prozesse und Fortschritte eigen-ständig zu beurteilen bzw. deren Folgen und Auswirkungen auf das persönliche, soziale, berufliche und kulturelle Leben einzuschätzen und somit verantwortungsbewusst zu handeln und zu entscheiden.Grundlage für die Naturwissenschafts-Kompetenz in PISA 2006 ist ein multidimensionales Modell, das sowohl Wissen und Fähigkeiten der Schüler/innen beinhaltet als auch deren Einstellungen gegenüber Naturwissenschaft einbezieht. Die Definition der Naturwissenschafts-Kompetenz wurde in PISA 2006 im Vergleich zu PISA 2000 und 2003 erweitert. Dies bezieht sich insbesondere auf jene Aspekte, die das Wissen der Schüler/innen über die charakteristischen Merkmale von Naturwissenschaft hervorkehren. Weiters wird in dieser Version der enge Zusammenhang von Naturwissenschaft und Technologie, der bei der vorhergehenden Definition nur implizit vorhanden war, durch Einbezug des Terminus „Technologie“ explizit gemacht. Zusätzlich werden in diese Definition einstellungsbezogene Aspekte der Schüler/innen hinsichtlicht naturwissenschaftlicher und technologischer Themen einbezogen.

Naturwissenschafts-Kompetenz ist definiert als ...• „...naturwissenschaftliches Wissen und die Anwendung dieses Wissens, um Fragestellungen zu iden-

tifizieren, neue Kenntnisse zu erwerben, naturwissenschaftliche Phänomene zu erklären und aus Be-legen Schlussfolgerungen in Bezug auf naturwissenschaftsbezogene Sachverhalte zu ziehen, sowie

• das Verständnis der charakteristischen Eigenschaften der Naturwissenschaften als eine Form mensch-lichen Wissens und Forschens,

• die Fähigkeit zu erkennen, wie Naturwissenschaften und Technologie unsere materielle, intellektuelle und kulturelle Umgebung prägen und

• die Bereitschaft, sich mit naturwissenschaftlichen Themen und Ideen als reflektierender Bürger [re-flektierende Bürgerin] auseinanderzusetzen.“

(OECD, 2006a, S. 23; Übersetzung der OECD)

In dieser Definition von Naturwissenschafts-Kompetenz wird deutlich, dass es um die Erfassung von Wissen geht, das für die Lebenssituationen der Schüler/innen relevant ist. „Naturwissenschaftliches Wissen“ bedeutet in diesem Zusammenhang weit mehr als das bloße Reproduzieren von Informationen, Fakten oder Namen. Vielmehr geht es um ein Verständnis grundlegender naturwissenschaftlicher Konzepte und Theorien sowie darum, das Wesen der Naturwissenschaft als Form menschlichen Handelns zu begreifen und die Macht, aber auch die Begrenztheit naturwissenschaftlichen Wissens zu erkennen. Dies schließt Kenntnisse darüber mit ein, wie Wissenschafter/innen Daten generieren (z. B. durch Beobachtungen oder Experimente), wie sie zu Erkenntnissen kommen und welche Arten von Erklärungen erwartet wer-den können. Damit Jugendliche „aus Belegen Schlussfolgerungen ziehen“ können, müssen sie relevante Informationen und Daten kennen und in der Lage sein, daraus auszuwählen, diese kritisch zu hinterfra-gen und im Hinblick auf die Schlussfolgerung zu beurteilen. Dazu gehört auch, dass Jugendliche sich neues Wissen durch die Nutzung von Informationsquellen aneignen können (z. B. indem sie im Internet oder in Büchern bzw. in einer Bibliothek nach Informationen suchen).Jugendliche, die sich mit naturwissenschaftsbezogenen Themen auseinandersetzen, zeigen ein anhal-tendes Interesse an naturwissenschaftlichen Themen und bilden sich eine Meinung darüber. Sich mit den „Vorstellungen von Naturwissenschaft“ auseinanderzusetzen bezieht sich auf die unterschiedlichen


Einstellungen und Werthaltungen gegenüber Naturwissenschaft. Die „reflektierende Bürgerin“/der „re-flektierende Bürger“ interessiert sich für naturwissenschaftliche Themen, denkt über naturwissenschafts-bezogene „Streitfragen“ nach, befasst sich mit Fragen der Technologie, der Ressourcen und der Umwelt und erwägt die Wichtigkeit der Naturwissenschaft aus persönlicher und sozialer Perspektive.

1.1.2 Organisation der Domäne NaturwissenschaftDie Definition der Naturwissenschafts-Kompetenz sieht in Hinblick auf die Einschätzung der gezeig-ten Fähigkeiten ein Kontinuum von gering bis hoch entwickelter Kompetenz vor. Schüler/innen mit einer geringen Naturwissenschafts-Kompetenz sind z. B. in der Lage, einfaches naturwissenschaftliches Faktenwissen wiederzugeben und Schlüsse auf Grund von Allgemeinwissen über Naturwissenschaften zu ziehen. Schüler/innen mit einer hohen Naturwissenschafts-Kompetenz hingegen können konzepti-onelle Modelle anwenden und somit auch Vorhersagen oder Erklärungen geben, naturwissenschaftliche Untersuchungen analysieren, alternative Erklärungen desselben Phänomens evaluieren und Begründungen präzise kommunizieren.

1.1.3 Die vier Komponenten der Naturwissenschafts-KompetenzDie zu erfassenden naturwissenschaftlichen Fähigkeiten bestehen aus vier miteinander verbundenen Komponenten:(1) den Kontexten (Lebenssituationen, die in Verbindung mit Naturwissenschaft und Technologie ste-

hen),(2) den Fähigkeiten (naturwissenschaftliche Fragestellungen erkennen, Phänomene naturwissenschaft-

lich erklären sowie naturwissenschaftliche Beweise heranziehen),(3) dem Wissen (Wissen in den und über die Naturwissenschaften) und(4) den Einstellungen (Interesse, über bestimmte naturwissenschaftliche Themen zu lernen, Befürwor-

tung naturwissenschaftlicher Forschung).Im Folgenden werden diese vier Komponenten detailliert dargestellt. Es ist zu beachten, dass bei der Erhebung der Naturwissenschafts-Kompetenz nicht die einzelnen Aspekte betrachtet werden, sondern immer eine Kombination aller vier Komponenten.(1) Naturwissenschaftlicher KontextDie drei Kontexte – persönlicher Kontext (sich selbst und die Familie), sozialer Kontext (Gesellschaft) und globaler Kontext (Leben auf der ganzen Welt) – stellen einen geeigneten Bezugsrahmen dar, in dem die Jugendlichen ihr naturwissenschaftliches Wissen, ihre naturwissenschaftlichen Fähigkeiten und ihre Einstellungen zeigen können. Innerhalb dieser drei Kontexte gibt es jeweils fünf zentrale Anwendungsgebiete, die konsistent mit jenen aus PISA 2000 und 2003 sind und als Basis für die Aufgaben dienen: Gesundheit, natürliche Ressourcen, Umwelt, Gefahren sowie Grenzen von Naturwissenschaft und Technik. Abbildung III.1 zeigt Beispiele für die Anwendungsbereiche innerhalb der drei Kontexte.(2) Naturwissenschaftliche FähigkeitenEin zentraler Aspekt der Naturwissenschafts-Kompetenz ist die Fähigkeit der Jugendlichen, ihr Wissen so anzuwenden, dass sie aus Belegen Schlussfolgerungen ziehen können. Um diesen Aspekt zu erfassen, wer-den drei Fähigkeiten als wichtig erachtet, für die wiederum bestimmte kognitive Prozesse relevant sind: induktives und deduktives Schließen, Transformieren von Darstellungen (z. B. Daten in Grafiken oder Tabellen darstellen), Erklärungen auf Grund von Daten geben sowie in Modellen und Systemen denken. Die drei naturwissenschaftlichen Fähigkeiten stimmen mit den „naturwissenschaftlichen Prozessen“ aus dem PISA-2003-Assessment-Framework (OECD, 2003) überein:(1) Erkennen naturwissenschaftlicher Fragestellungen,(2) Phänomene naturwissenschaftlich erklären sowie(3) Heranziehen naturwissenschaftlicher Beweise.Im Folgenden wird auf diese drei Fähigkeiten näher eingegangen.


Erkennen naturwissenschaftlicher FragestellungenSchüler/innen sollen naturwissenschaftliche Fragestellungen von anderen Fragestellungen unterscheiden können. In Bezug auf eine gegebene Situation gilt es herauszufinden, welche Fragestellungen naturwis-senschaftlich untersucht werden können und Schlüsselwörter zu identifizieren, mit deren Hilfe nach Informationen zum gegebenen Thema gesucht werden kann. Es geht u. a. darum, dass die Schüler/innen jene Belege erkennen oder herausfinden, welche für eine naturwissenschaftliche Untersuchung relevant sind (z. B. was verglichen werden soll, welche Variablen verändert oder kontrolliert werden sollen, welche Zusatzinformation nötig ist oder was unternommen werden kann, um Daten zu bekommen).

Phänomene naturwissenschaftlich erklärenHierbei sollen die Schüler/innen in einer vorgegebenen Situation ihr Wissen anwenden, indem sie Phänomene erklären oder beschreiben und Veränderungen vorhersagen. Dies beinhaltet u. a. das Erkennen und Identifizieren geeigneter Beschreibungen, Erklärungen und Vorhersagen.

Heranziehen naturwissenschaftliche BeweiseSchüler/innen sollen den Sinn von naturwissenschaftlichen Erkenntnissen wie Behauptungen oder Schlussfolgerungen erkennen. Sie sollen in der Lage sein, aus mehreren Folgerungen eine auszuwählen, die den Beweisen am meisten entspricht. Die Jugendlichen sollen Gründe für oder gegen eine vorgege-bene Schlussfolgerung angeben, wobei sie auf den Prozess und die dargebotenen Daten Bezug nehmen,

Persönlicher Kontext Sozialer Kontext Globaler Kontext

Gesund-heit

Erhaltung der Gesundheit, Unfälle,Ernährung

Kontrolle von Krankheiten, Übertragung, Lebensmittel- auswahl, Gesundheit der Gesellschaft

Epidemien, Ausbreitung von Infektionskrankheiten

natürlicheRessour-

cen

Persönlicher Material-und Energieverbrauch

Erhalten der menschlichen Population, Lebensqualität, Sicherheit, Produktion und Verteilung von Nahrung, Energieversorgung

Erneuerbare und nicht-erneuerbare Ressourcen, natürliche Systeme, Bevölkerungswachstum, Artenschutz

Umwelt Umweltfreundliches Verhalten, Nutzung undEntsorgung von Materialien

Bevölkerungsverteilung, Müllentsorgung, Auswirkun-gen auf die Umwelt, lokales Wetter

Biodiversität, Nachhaltig-keit, Umweltverschmutzungund Umweltschutz

Gefahren Natürliche und vom Menschen herbeigeführteGefahren

Schnelle Veränderungen (Erdbeben, schwere Un- wetter), langsame und fort-schreitende Veränderungen(Erosion, Ablagerung), Risikoabschätzung

Klimawandel

Grenzenvon NW u.

Technik

Neue Materialien, Geräteund Prozesse, Genetische Modifikation, Transport

Artensterben, Erforschung des Weltraums, Entstehungund Aufbau des Universums

KontexteBereiche

Interesse an naturwissenschaftlichen Erklärungenvon natürlichen Phäno- menen, naturwissenschafts-bezogene Hobbies, Sport, Freizeit und Musik

Abbildung III.1: Kontexte in PISA 2006 –Beispiele für Anwendungsbereiche


durch welche die Schlussfolgerung zu Stande gekommen ist. Es geht darum, die Annahmen zu erkennen, die für eine Entscheidung ausschlaggebend sind, und über die gesellschaftlichen Auswirkungen natur-wissenschaftlicher Folgerungen zu reflektieren. Diese Fähigkeit verlangt von den Jugendlichen, dass sie klare, logische Verbindungen zwischen Belegen und Schlussfolgerungen sowie Entscheidungen herstellen können und diese auch präsentieren und kommunizieren können (z. B. durch eigene Formulierungen, Diagramme oder andere geeignete Darstellungsformen).(3) Naturwissenschaftliches WissenDer Wissens-Aspekt im Naturwissenschafts-Framework bezieht sich auf zwei Arten von Wissen: zum ei-nen auf das Wissen in den Naturwissenschaften (knowledge of science) zum anderen auf das Wissen über die Naturwissenschaften an sich (knowledge about science).Wissen in den NaturwissenschaftenDas getestete Wissen stammt aus den Hauptgebieten der Naturwissenschaft: Physik, Chemie, Biologie, Erd- und Weltraumwissenschaft sowie Technologie. Es ist nicht beabsichtigt, das gesamte Wissen, das Schüler/in-nen haben können, zu testen, vielmehr soll die Ausprägung, inwieweit Jugendliche ihr Wissen im Kontext relevanter Lebenssituationen anwenden können, beschrieben werden. Folgende Kriterien sind für die Auswahl der Testinhalte ausschlaggebend:(1) Es soll Wissen getestet werden, das für reale Lebenssituationen relevant ist.(2) Das ausgewählte Wissen soll sowohl grundlegende naturwissenschaftliche Konzepte wiedergeben,

also auch solche, die von bleibender Bedeutung sind.(3) Das notwendige Wissen soll dem Entwicklungsstand von 15-/16-Jährigen angemessen sein.Das Wissen in den Naturwissenschaften wird in vier Kategorien („Systeme“) gegliedert. Das darin einge-bettete Wissen wird als notwendig erachtet, um die natürliche Welt verstehen und Erfahrungen im persön-lichen, sozialen und globalen Kontext einen Sinn geben zu können. Daher wird im Naturwissenschafts-Framework die Bezeichnung „Systeme“ zur Beschreibung dieser vier Kategorien verwendet, um deutlich zu machen, dass es um ein Zusammenspiel der verschiedenen Komponenten geht und nicht um einzelne – voneinander unabhängige – Fachgebiete. Diese Systeme sind: Physikalische Systeme, Biologische Systeme, Erd- und Weltraumsysteme und Technologische Systeme. Im Folgenden werden diese näher erläutert.• Relevante inhaltliche Bereiche der Physikalischen Systeme sind u. a. Kenntnisse über die Struktur und

die Eigenschaften der Materie (z. B. thermische und elektrische Leitfähigkeit), physikalische und che-mische Veränderungen (z. B. Aggregatzustand, chemische Reaktionen), Bewegung und Kraft (z. B. Geschwindigkeit, Beschleunigung), Energie (z. B. Erhaltung, Verlust) sowie Interaktionen von Ener-gie und Materie (z. B. Licht- und Radiowellen, Schall- und seismische Wellen).

• Zu den Biologischen Systemen gehören Kenntnisse über Themenbereiche wie Zellen (z. B. Struktu-ren und Funktion, DNA, Pflanzen und Tiere), Menschen (z. B. Gesundheit, Krankheit, Ernährung, Verdauung, Atmung, Blutkreislauf ), Populationen (z. B. Arten, Evolution, Biodiversität, genetische Variation), Ökosysteme (z. B. Nahrungsketten, Materie- und Energiefluss) und Biosphäre (z. B. Öko-systeme, Nachhaltigkeit).

• Relevante inhaltliche Bereiche der Erd- und Weltraumsysteme sind u. a. Kenntnisse über Strukturen der Erdsysteme (z. B. Lithosphäre, Hydrosphäre, Atmosphäre), die Energie der Erdsysteme (z. B. En-ergiequellen, globales Klima), den Wandel in Erdsystemen (z. B. Plattentektonik, geochemische Zy-klen, konstruktive und destruktive Kräfte), die Erdgeschichte (z. B. Fossilien, Evolution) und schließ-lich auch über die Erde im Weltraum (z. B. Schwerkraft, Sonnensysteme).

• Bei den Technologischen Systemen geht es u. a. um die Rolle der naturwissenschaftsbasierten Techno-logie (z. B. Problemlösung, Bedürfnisbefriedigung, Entwerfen und Leiten von Untersuchungen), die Beziehung von Naturwissenschaft und Technologie (z. B. Technologien tragen zum wissenschaftli-chen Fortschritt bei), Konzepte (z. B. Optimierung, Kosten, Risiken, Nutzen) sowie wichtige Prinzi-pien (z. B. Kriterien, Zwänge, Innovationen, Erfindungen, Problemlösung) (OECD, 2006).


Wissen über die NaturwissenschaftenFür die Erfassung des Wissens über die Naturwissenschaften sind zwei Kategorien vorgesehen: natur-wissenschaftliches Forschen und naturwissenschaftliche Erklärungen.• Zum Bereich naturwissenschaftliches Forschen gehören u. a. Kenntnisse über den Ursprung naturwis-

senschaftlicher Untersuchungen (Neugier, naturwissenschaftliche Fragestellungen), Kenntnisse über die Ziele naturwissenschaftlicher Untersuchungen (Belege finden, die helfen, naturwissenschaftliche Fragen zu beantworten; leitende Modelle und Theorien), Wissen über Untersuchungsmethoden wie Beobachtungen und Experimente, Kenntnisse über die Generierung von Daten (quantitative und qualitative Methoden) und das Durchführen von Messungen (Nachvollziehbarkeit, „Rest-Unsicher-heit“, Präzision) sowie Kenntnisse über die Charakteristiken der Ergebnisse von naturwissenschaftli-chen Untersuchungen (empirisch, vorläufig, testbar, falsifizierbar, selbst-korrigierend).

• Die Kategorie naturwissenschaftliche Erklärungen beinhaltet u. a. Kenntnisse über die Typen natur-wissenschaftlicher Erklärungen (Hypothesen, Gesetze, Theorien und Modelle), Gestaltung naturwis-senschaftlicher Erklärungen (Darstellung von Daten, Rolle von bestehendem Wissen und neuen Er-kenntnissen, Kreativität und Vorstellung, Logik), Kenntnisse von Regeln, die naturwissenschaftlichen Erklärungen zu Grunde liegen (logische Konsistenz; Erklärungen basieren auf Belegen, historischem und aktuellem Wissen) und Kenntnisse über Ergebnisse naturwissenschaftlicher Erklärungen (neues Wissen, neue Methoden und Technologien; Aufwerfen neuer Fragestellungen und Untersuchungen) (OECD, 2006).

(4) Einstellungen zu NaturwissenschaftDie Einstellungen der Schüler/innen spielen eine große Rolle hinsichtlich ihres Interesses an Naturwissen-schaft und ihrem Zugang zu naturwissenschaftlichen Themen. In PISA 2006 werden die Einstellungen der Schüler/innen erstmals nicht nur mittels Fragebogen erfasst (vgl. Kapitel IV), sondern es werden zudem kontextualisierte Fragen in den Test integriert (sogenannte „embedded items“). Dadurch kön-nen die Einstellungen der Schüler/innen direkt mit Themengebieten aus dem Naturwissenschafts-Test in Verbindung gebracht werden.Theoretisch basiert die Erfassung der Einstellungen und die Auswahl der spezifischen Bereiche auf der Gliederung des affektiven Bereichs in der naturwissenschaftlichen Bildung von Klopfer (1976, zitiert nach OECD, 2006) sowie weiterer Literatur aus der Einstellungsforschung (z. B. Gardner, 1975, 1984; Gauld & Hukins, 1980; Blosser, 1984; Laforgia, 1988; Schibeci, 1984, zitiert nach OECD, 2006).In PISA 2006 werden die Einstellungen der Jugendlichen zu zwei Gebieten – integriert und kontextua-lisiert in den Testaufgaben – erfasst: Interesse, über bestimmte naturwissenschaftliche Themen zu lernen und Befürwortung naturwissenschaftlicher Forschung.• Die Komponente Interesse, über bestimmte naturwissenschaftliche Themen zu lernen, welche im Rahmen

der Tests erfasst wird, ist ein Teil des Konstrukts „Interesse an Naturwissenschaft“, welches auch im Schülerfragebogen erhoben wird. Der Zusammenhang zwischen Interesse an Naturwissenschaft und Leistung ist seit mehr als 40 Jahren Thema der Forschung (z. B. Baumert & Köller, 1998; Osborne, Simon & Collins, 2003, zitiert nach OECD, 2006). Ebenso werden Zusammenhänge von Interesse und Kurswahl, Laufbahnentscheidung und lebenslangem Lernen vermutet. Kennzeichnend für das Interesse an Naturwissenschaft ist, dass der/die Schüler/in Neugier gegenüber Naturwissenschaft und naturwissenschaftsbezogenen Themen zeigt, sich zusätzliches Wissen und Fähigkeiten durch Nutzung unterschiedlicher Ressourcen und Methoden aneignet sowie gewillt ist, sich anhaltend für Naturwis-senschaft zu interessieren.

• Die Komponente Befürwortung naturwissenschaftlicher Forschung gehört dem Konstrukt „Wertschät-zung der Naturwissenschaft“ an, welches durch zwei weitere Indizes auch im Fragebogen abgedeckt wird. Das Befürworten naturwissenschaftlicher Forschung wird erhoben, da es sich um einen grund-legenden Aspekt naturwissenschaftlicher Erziehung und Bildung handelt. Schüler/innen, die natur-wissenschaftliche Forschung unterstützen, finden es wichtig, dass alternative Perspektiven, Ideen und


Erklärungen in Betracht gezogen werden. Sie schätzen die Nutzung von Fakten und rationalen Erklä-rungen bei Analysen und Evaluationen, achten soziale Interaktionen um zu rationalen, auf Belegen basierenden Schlussfolgerungen zu gelangen und schätzen logische und vorsichtige Prozesse beim Ziehen von Schlüssen.

Es wird hier ausdrücklich darauf hingewiesen, dass die in den Testheften integrierten Fragen zur Erfassung der Einstellungen der Schüler/innen nicht in die Bewertung des Tests aufgenommen, sondern auf einer eigenen Skala erfasst werden (vgl. Abschnitt 2.2 idK.). Die Schüler/innen werden darauf auch in den Instruktionen eingangs im Testheft hingewiesen. Durch die Einbettung dieser Fragen in den Test können spezifische – bereichsbezogene – Einstellungen der Schüler/innen herausgefunden werden, im Gegensatz zu den mehr allgemein gehaltenen Kontextfragen im Schülerfragebogen. So kann z. B. in weiterer Folge unterschieden werden, ob das Interesse einer Schülerin/eines Schülers an Naturwissenschaft spezifisch ausgeprägt, oder mehr generell ist.Abbildung III.2 zeigt die Organisation der Domäne Naturwissenschaft im Überblick.

1.1.4 Erfassen der Naturwissenschafts-KompetenzZur Erfassung der Naturwissenschafts-Kompetenz ist es wichtig, dass die verschiedenen Komponenten des Naturwissenschafts-Frameworks durch die Testitems ausgewogen repräsentiert werden. Die gewünschte Verteilung wird durch den Prozentanteil an den Gesamtpunkten (Score points) jeder Kategorie ausge-drückt. Erreicht werden soll eine ausgewogene Verteilung der Items über die beiden Wissenskategorien Wissen in den und Wissen über die Naturwissenschaften, über die drei naturwissenschaftlichen Fähigkeiten (Fragestellungen erkennen, Phänomene erklären, Beweise heranziehen) sowie über die drei Kontexte (per-sönlicher, sozialer und globaler Kontext). Schließlich soll auch die Anzahl der einstellungsbezogenen Items ausgewogen sein (Interesse und Befürwortung. Ungefähr 60 % der Units (vgl. Abschnitt 2 idK.) enthalten ein- oder zwei einstellungsbezogene Fragen. Die Link-Items (Items aus PISA 2000 und 2003) enthalten keine einstellungsbezogenen Fragen.

• in den Naturwissen-schaften (physikalische-, biologische-, technologische-, Erd- und Weltraumsysteme)

• über die Naturwissen-schaften (naturwiss. Forschen und Erklärungen)

Wissen

Einstellungen• Interesse, über bestim-

mte naturwiss. Themen zu lernen

• Befürwortung naturwiss. Forschung

• Erkennen naturwiss. Fragestellungen

• Phänomene naturwiss. erklären

• Heranziehen naturwiss. Beweise

FähigkeitenKontextelebensnahe Situationen inVerbindung mit NW:• persönliche,• soziale und• globale Kontexte

Abbildung III.2: Organisation der Domäne Naturwissenschaft in PISA 2006


1.2 Mathematik-Kompetenz

1.2.1 DefinitionIm Alltag sehen wir uns ständig mit mathematischen Problemen konfrontiert: Einkaufen, Reisen, der Umgang mit den persönlichen Finanzen, Interpretieren von Statistiken etc. Während Mathematik in der Schule meist in einem relativ hoch strukturierten Kontext erlernt wird, müssen wir im täglichen Leben Entscheidungen darüber treffen, welches (mathematische) Wissen in welchem Kontext relevant ist und wie wir es sinnvoll einsetzen können. Die Definition der Mathematik-Kompetenz in PISA bezieht sich vor allem auf den Aspekt der Anwendung des mathematischen Wissens, beinhaltet jedoch auch weitere Aspekte: Mathematik-Kompetenz („Mathematical Literacy“) ist…„…die Fähigkeit einer Person, die Rolle zu erkennen und zu verstehen, die Mathematik in der Welt spielt, fun-dierte Urteile abzugeben und die Mathematik zu nutzen und sich mit ihr in einer Weise zu befassen, die den Anforderungen im Leben dieser Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht“ (OECD, 2003b, zitiert nach OECD, 2004).Aus der Definition wird deutlich, dass es bei der Mathematik-Kompetenz um die funktionelle Anwendung mathematischen Wissens in unterschiedlichen Situationen geht, wie z. B. Probleme stellen und diese for-mulieren, mit Hilfe der Mathematik lösen und das Ergebnis interpretieren. Dies setzt sowohl grundlegen-des Wissen über mathematische Terminologien, Fakten und Prozeduren voraus, als auch die Fähigkeit, bestimmte Operationen durchführen und adäquate Methoden anwenden zu können.1.2.2 Organisation der Domäne Mathematik

Zur Erfassung der Kompetenz ist die Mathematik-Domäne in drei Komponenten organisiert: mathe-matische Inhalte, mathematische Prozesse und Kompetenzen sowie Situationen und Kontexte, in denen die Probleme angesiedelt sind.Mathematische InhalteDer mathematische Inhalt ist in vier Subskalen unterteilt, welche als essentielle Bestandteile der Mathematik gelten und in jedem Curriculum eine zentrale Stelle einnehmen: Größen, Unsicherheit, Veränderung & Zusammenhänge sowie Raum & Form. Bei der Subskala Größen geht es um numerische Phänomene und Muster sowie quantitative Zusammenhänge. Die Skala Unsicherheit beinhaltet Bereiche wie die Analyse und Darstellung von Daten sowie Wahrscheinlichkeiten und Schlussfolgerungen. Bei der Subskala Veränderung & Zusammenhänge geht es um mathematische Ausdrucksformen für Veränderungen, funkti-onale Zusammenhänge und Abhängigkeiten zwischen Variablen. Die Subskala Raum & Form beinhaltet räumliche und geometrische Phänomene und Zusammenhänge.Mathematische Prozesse und KompetenzenDie Tests zur Erfassung der Mathematik-Kompetenz beinhalten nur wenige Aufgaben, deren Kontext rein die „mathematische Welt“ betrifft und in denen der mathematische Inhalt explizit ist (z. B. Löse die Gleichung x + 3 = 8). Für PISA relevant sind vor allem Aufgaben, bei denen jene Kompetenzen an-gesprochen werden, die es den Schülerinnen und Schülern ermöglichen, eine reale Problemstellung mit der Mathematik zu verknüpfen. Dieser Prozess der Mathematisierung erfordert von den Schülerinnen und Schülern, ein gegebenes reales Problem nach mathematischen Konzepten zu organisieren und die relevan-ten mathematischen Inhalte zu identifizieren. Die Realität muss schrittweise durch Formalisierungs- und Generalisierungsprozesse reduziert werden, bis das Problem in seiner mathematischen Form vorliegt. Nachdem die Schüler/innen das Problem auf mathematischem Weg gelöst haben, müssen sie die mathe-matische Lösung in Bezug auf das reale Problem reflektieren, indem sie die Sinnhaftigkeit, das Ausmaß und die Grenzen der Lösung erkennen, das Ergebnis erläutern und das Modell gegebenenfalls kritisie-ren.Die erforderlichen Kompetenzen (z. B. Schlussfolgern, Argumentieren, Kommunizieren, Modelle bilden, Probleme lösen und darstellen, formale, technische Sprache und Operationen anwenden) liegen bei jeder


Schülerin/jedem Schüler in unterschiedlichen Ausprägungen vor. Um diese zu klassifizieren, wurden drei aufeinander aufbauende Kompetenz-Cluster gebildet, welche von zunehmender Komplexität gekenn-zeichnet sind: der Reproduktions-Cluster, der Beziehungs-Cluster und der Reflexions-Cluster.Der Reproduktions-Cluster bezieht sich hauptsächlich auf die Wiedergabe praktizierten Wissens und das Ausführen von Routine-Operationen. Beim Beziehungs-Cluster geht es darum, reale Probleme in die Ma-thematik zu übersetzen, mathematische Modelle zu entwickeln, zu prüfen, ob die Lösung zum ursprüng-lichen Problemkontext passt und das Ergebnis zu kommunizieren. Es werden jedoch geläufige Rahmen-bedingungen und Operationen einbezogen. Der Reflexions-Cluster beinhaltet sehr komplexe Aufgaben, bei denen die Schüler/innen Lösungsstrategien planen und auch auf neue Kontexte übertragen müssen. Detaillierte Beschreibungen des Mathematisations-Prozesses und der Kompetenz-Cluster sind bei Lang (2004) dargestellt.

Situationen und KontexteDie zu lösenden Probleme sind in unterschiedlichen realitätsnahen Situationen in einem spezifischen Kontext angesiedelt. Im Mathematik-Framework werden vier Situationstypen festgelegt: persönliches Umfeld, erzieherisches/berufliches Umfeld, öffentliches Umfeld und wissenschaftliches Umfeld. Der Kontext wird je nachdem wie stark sich das Problem auf die Realität bezieht, als „innermathematisch“ oder „außer-mathematisch“ bezeichnet.

1.2.3 Hilfsmittel

Bezüglich Hilfsmittel (z. B. Taschenrechner) sieht PISA eine Verwendung vor, wie sie den Schülerinnen und Schülern üblicherweise in der Schule – von einem Schulsystem – gestattet wird, da dies eine authen-tische Erhebung der Schülerleistungen gewährleistet. Für Österreich bedeutet das, dass die Verwendung von Taschenrechnern bei allen PISA-Testsitzungen erlaubt ist.

1.3 Lese-Kompetenz

1.3.1 Definition

Die Lese-Kompetenz („reading literacy“) wird in PISA wie folgt definiert:„Die Fähigkeit, geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potential weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen“ (OECD, 2003a, zitiert nach OECD, 2004).Diese Definition zeigt deutlich, dass die bei PISA gemessene Lese-Kompetenz über ein reines Dekodieren von Texten und ein rein wörtliches Textverständnis hinausgeht. Lese-Kompetenz beinhaltet das Verstehen, Verwenden und Reflektieren geschriebener Informationen für verschiedene Zwecke. Die Definition be-zieht sich dabei auf ein breites Spektrum an Situationen in denen Lese-Kompetenz eine Rolle für junge Erwachsene spielt, vom Privatleben bis zur Öffentlichkeit, von der Schule bis zum Beruf, von der aktiven Beteiligung am gesellschaftlichen Leben bis hin zum lebenslangen Lernen. Es steckt die Idee dahinter, dass Lese-Kompetenz maßgeblich dazu beiträgt, individuelle Ziele zu erreichen – von klar definierten Bildungs- und/oder Berufszielen bis hin zu solchen Zielen, die den persönlichen Spielraum jeder einzel-nen Person erweitern und deren Leben bereichern. 1.3.2 Organisation der Domäne LesenLesen ist ein dynamischer Prozess, bei dem jede Leserin/jeder Leser auf unterschiedliche Art und Weise versucht, den Inhalt des Textes zu verstehen. Faktoren, die diesen Prozess beeinflussen sind u. a. die Lesesituation, die Textstruktur und die Charakteristiken der Fragen, die zu einem Text gestellt werden. All diese Faktoren werden bei der Aufgabenentwicklung für die Erhebung berücksichtigt. Die Lese-Aufgaben bei PISA können mittels folgender Aspekte differenziert werden: Texttypen, Leseprozesse und Situationen.


TexttypenPersonen werden im Laufe ihres Lebens mit einer Bandbreite von geschriebenen Texten konfrontiert. Daher reicht es nicht aus, eine kleine Anzahl von Texttypen, die meist in der Schule verwendet werden, lesen zu können. Das Herzstück der Erfassung der Lese-Kompetenz in PISA bildet die Unterscheidung in kontinuierliche und nicht-kontinuierliche Texte, die einen unterschiedlichen Zugang der Leserin/des Lesers erfordern.Kontinuierliche Texte bestehen aus Sätzen, die in Paragraphen organisiert sind, und zu Bereichen, Kapiteln und Büchern zusammengefasst werden können. Dazu zählen z. B. Erzählungen, Beschreibungen, Darlegungen, Argumentationen, Anweisungen und Hypertexte (Texte, die miteinander verknüpft sind und der Leserin/dem Leser ermöglichen, auf verschiedenen Wegen zu Informationen zu gelangen). Nicht-kontinuierliche Texte sind anders organisiert und verlangen daher auch eine unterschiedliche Herangehensweise. Zu den nicht-kontinuierlichen Texten zählen z. B. Listen, Tabellen, Graphen oder Diagramme, Land- und Straßenkarten, Formulare, Anzeigen und Inserate sowie Zertifikate. LeseprozesseMit den PISA-Lese-Aufgaben können Informationen über die folgenden fünf Lese-Prozesse bei Schülerin-nen und Schülern gewonnen werden:• Heraussuchen von Information: Um eine spezifische Information aus einem Text herauszusuchen, muss

die Leserin/der Leser den Text absuchen, die relevante Information lokalisieren und selektieren. • Entwickeln eines allgemeinen Verständnisses dessen, was gelesen wird: Dazu muss die Leserin/der Leser

den Text als Gesamtes oder in einer breiten Perspektive betrachten. Das Wesentliche des Textes muss als Ganzes erfasst werden. Die Schüler/innen müssen erklären können, wovon der Text handelt.

• Entwickeln einer Interpretation: Dieser Prozess verlangt von der Leserin/vom Leser, den ursprüngli-chen Eindruck so zu erweitern, dass sie/er ein spezifischeres oder vollständigeres Verständnis des Ge-lesenen entwickelt. Dazu müssen Informationen aus unterschiedlichen Textteilen verknüpft werden sowie bestimmte Details als Bestandteile des Ganzen identifiziert werden.

• Über den Textinhalt reflektieren und diesen bewerten: Verlangt von der Leserin/vom Leser, dass sie/er die Information in einem Text mit dem Wissen aus anderen Quellen verbindet.

• Über die Textform reflektieren und diese bewerten: Die Leserin/der Leser muss über den Text nachden-ken und die Qualität und Angemessenheit evaluieren.

Aus diesen fünf Lese-Prozessen können drei Subskalen generiert werden: Heraussuchen von Informationen, Interpretieren von Texten sowie Reflektieren und Bewerten. Etwa 50 % der Lese-Aufgaben in PISA 2006 sind der Subskala „Interpretieren von Texten“ zuzuordnen, wobei die Schüler/innen entweder aufgefor-dert werden, ein allgemeines Verständnis oder eine Interpretation zu entwickeln (Punkt 2 und 3). 29 % der Lese-Aufgaben sind der Subskala „Heraussuchen von Informationen“ (Punkt 1) zuzuordnen. Jeder dieser Prozesse – Heraussuchen, allgemeines Verständnis, Interpretation – fokussiert dabei den Grad an Verständnis und Nutzung der Informationen, die primär im Text enthalten sind. Die restlichen Lese-Aufgaben (ungefähr 20 % – durch Rundung ergeben sich Abweichungen auf 100 %) verlangen von den Schülerinnen und Schülern entweder über den Inhalt oder über Informationen, die im Text enthalten sind, oder über die Struktur und Form des Textes an sich zu reflektieren (OECD, 2006).SituationenDieser Aspekt beschreibt die Kontexte, aus denen die Texte stammen. Bei PISA werden folgende Kontexte unterschieden: Texte für den privaten Gebrauch (Novellen, Briefe, Biographien), Texte für den öffentli-chen Gebrauch (offizielle Dokumente, Werbung), Texte für den Beruf und für Bildungszwecke (Manuale, Berichte, Arbeitsblätter).

2. Testdesign

Auf Basis der in Abschnitt 1 idK. dargelegten Frameworks werden für jeden Kompetenzbereich Aufgaben entwickelt, die der Erfassung des Wissens und der Fähigkeiten der Schüler/innen dienen. Bevor in Abschnitt


3 idK. dargestellt wird, wie diese Aufgaben entwickelt werden, wird an dieser Stelle das Testdesign von PISA beschrieben, da hier Aspekte behandelt werden, die auch für die Itementwicklung relevant sind.

2.1 Organisation der Aufagben, Testzusammenstellung und Bearbeitungszeit

Die einzelnen Aufgaben in PISA, auch Items genannt, sind in Form von Units organisiert. Eine Unit stellt quasi den inhaltlichen Rahmen für die einzelnen Aufgaben dar, bzw. stehen die Items innerhalb ei-ner Unit in einem inhaltlichen Zusammenhang. Jede Unit beinhaltet einen oder mehrere Stimuli (Texte, Diagramme etc.) gefolgt von einer oder mehreren Aufgaben (Items). Ebenso sind die Richtlinien zur Bewertung der betreffenden Schülerantworten (Coding Instructions), die später im Coding Guide ent-halten sind (vgl. Kap. VIII), in den Units enthalten.Die für den Haupttest ausgewählten Items bzw. Units werden je Kompetenzbereich zu Aufgabenblöcken (Cluster) zusammengefasst, wobei eine Bearbeitungszeit pro Cluster von 30 Minuten vorgesehen ist.In PISA 2006 sind im Bereich Naturwissenschaft 7 Cluster enthalten: 37 Units mit insgesamt 140 Items. Für Mathematik sind es 4 Cluster: 31 Units mit 48 Link-Aufgaben; im Bereich Lesen sind 2 Cluster enthalten: 8 Units mit insgesamt 32 Items. Abbildung III.3 zeigt die Anzahl der ausgewählten Items nach Units und Cluster für den Haupttest 2006.Für die Erstellung eines Testhefts (Booklet) werden jeweils vier verschiedene Cluster zusammengefasst. Die Cluster werden über die einzelnen Testhefte rotiert, so dass jeder Cluster in vier Testheften und jeweils an verschiedenen Stellen innerhalb der Testhefte vorkommt. In PISA 2006 gibt es insgesamt 13 Testhefte; pro Testheft steht den Schülerinnen und Schülern eine Bearbeitungszeit von 2 Stunden zur Verfügung.Für Schüler/innen in Sonderschulen gibt es ein eigenes Testheft, das eine Bearbeitungszeit von 60 Minuten aufweist. Für das „UH Booklet“ (une heure = eine Stunde) werden Aufgaben aus allen drei Kompetenzbereichen mit geringem Schwierigkeitsgrad ausgewählt.

2.2 Aufgabenformat und Testcharakteristiken

Bei der Erhebung der Schülerleistungen kommen verschiedene Frageformate zum Einsatz, die es ermögli-chen, die unterschiedliche Ausprägung der Fähigkeiten der Jugendlichen zu erfassen. Bei einigen Aufgaben müssen die Schüler/innen lediglich einfache Antworten selektieren oder wiedergeben, die direkt mit ei-ner richtigen Antwort verglichen werden können. Andere Frageformen erfordern die Entwicklung und Formulierung einer eigenständigen Antwort, wodurch komplexe Konstrukte gemessen werden können. Die Einstellungen der Schüler/innen zu Naturwissenschaft werden mit Hilfe einer vierstufigen Likert-Skala erfasst.

Multiple-Choice-AufgabenBei diesen Aufgaben muss aus 4–5 vorgegebenen Antwortalternativen die richtige ausgewählt werden. Die Multiple-Choice-Aufgaben sind für die Erhebung von Prozessen geeignet, die unter anderem das Erfassen bzw. Selektieren von Information betreffen. In Bezug auf die Bewertung sind die Multiple-Choice-Items sehr einfach zu handhaben, da die richtige Antwort bereits vorliegt und der entsprechende Code direkt

neu entwickelt Link-Items gesamtNaturwissenschaft

Lesen 0 28 8

GESAMT 118 98 216 76

Mathematik 0 48 48 31

Units

Items Haupttest 2006

28

372286+32 Einst. 108+32

2

13

4

Cluster7

Abbildung III.3: Anzahl der Items in PISA 2006


in den Computer eingegeben werden kann. Die komplexen Multiple-Choice-Items stellen eine erwei-terte Form der Multiple-Choice-Fragen dar, bei denen aus einer Serie von Ja/Nein- oder Richtig/Falsch-Antworten die jeweils richtige ausgewählt werden muss.Geschlossene AufgabenMit Hilfe des geschlossenen Aufgabenformats können komplexere Prozesse kontrolliert erfasst werden. Die Schüler/innen müssen selbst eine Antwort notieren, die meist aus einem Wort oder einer Zahl besteht, die direkt dem Text oder einer Tabelle entnommen werden kann. Vom Prinzip her ist dieser Aufgabentyp mit Multiple-Choice-Aufgaben vergleichbar, hat aber den Vorteil, dass Raten weniger leicht möglich ist. Weiters können auch hier die Antworten relativ leicht als richtig oder falsch beurteilt werden.Offene AufgabenBei diesem Aufgabentyp müssen die Schüler/innen selbst eine Antwort entwickeln, wobei zwi-schen langen und kurzen offenen Aufgaben unterschieden wird. Bei der kurzen Version müssen die Schüler/innen ein numerisches Ergebnis, einen richtigen Namen oder die Klassifikation für eine Gruppe von Objekten (o. ä.) darstellen und erläutern. Bei langen offenen Aufgaben werden die Schüler/innen aufgefordert, auch den Lösungsweg vollständig zu beschreiben oder zu begründen. Dadurch kann er-fasst werden, was Schüler/innen auf Basis ihres eigenen Verständnisses bei einer Aufgabe produ-zieren können. Die Antworten auf die offenen Aufgaben erfordern eine umfassende Beurteilung durch geschulte Coder/innen. Der Vorgang des Coding wird in Kapitel VIII ausgeführt.

Abbildung III.4 zeigt die Prozentanteile der Aufgabenformate im Haupttest 2006 (ohne einstellungsbezogene Items). Von den 184 Testaufgaben des Haupttests erfordern 39 % eine Antwort durch die Schüler/innen (kurzes und langes offenes Format). Bei etwas mehr als der Hälfte der Aufgaben wählen die Schüler/innen aus mehreren vorgegebenen Antwortalternativen eine aus (Multiple-Choice oder komplexe Mul-tiple-Choice-Aufgabe), die geschlossenen Auf-gaben haben einen Anteil von 8 %.

3. Itementwicklung

Die Entwicklung der Testaufgaben ist ein zentrales Element von PISA. Als theoretische Basis für die Itementwicklung dienen die in Abschnitt 1 idK. beschriebenen Frameworks. Der Prozess der Itementwicklung gliedert sich in zwei Phasen: zum einen werden Aufgaben von internationalen Expertenzentren entworfen, zum anderen werden die Teilnehmerländer eingeladen, Items einzureichen. Bevor die Aufgaben zur Erprobung im Feldtest eingesetzt werden, werden diese von internationalen und nationalen Expertinnen und Experten begutachtet und überarbeitet. Nach dem Feldtest werden umfang-reiche Itemanalysen durchgeführt, auf deren Basis die Aufgaben für den Haupttest ausgewählt und über-arbeitet werden. Durch diese Vorgehensweise wird sichergestellt, dass letztlich jene Aufgaben ausgewählt werden, die in allen Teilnehmerländern einwandfreie Itemstatistiken aufweisen.Zur Erfassung der Hauptdomäne Naturwissenschafts-Kompetenz in PISA 2006 wurde ein breites Spektrum an neuen Aufgaben entwickelt. Für die beiden Subdomänen Mathematik und Lesen wurden „alte“ Aufgaben (aus PISA 2000 und 2003) eingesetzt, die in unveränderter Form übernommen werden

Abbildung III.4: Überblick über die Verteilung der Itemformate in PISA 2006

Multiple-Choice-Aufgabenkomplexe Multiple-Choice-Aufgabengeschlossene Aufgaben

lange, offene Aufgabenkurze, offene Aufgaben

21 %

32 %

31 %8 % 8 %


können und somit keinem Feldtest mehr unterzogen werden brauchen. Durch den Einsatz dieser so ge-nannten Link-Items wird der Schwierigkeitsgrad der Leistungsskala verankert und somit sichergestellt, dass die Fähigkeitswerte der Schüler/innen in PISA 2000 und 2003 mit jenen aus PISA 2006 vergleich-bar sind. Für die Naturwissenschafts-Aufgaben in PISA 2006 ist dieser Vergleich nicht möglich, da für die Erfassung der Naturwissenschafts-Kompetenz als Hauptdomäne eine Neugewichtung der Testinhalte vorgenommen wurde und die Naturwissenschaftsskala somit in PISA 2006 neu verankert wird.Im Folgenden wird das Vorgehen bei der Itementwicklung chronologisch dargestellt.

3.1 Itementwicklung und Erprobung im Feldtest

Die Itementwicklung findet auf internationaler Ebene im Rahmen eines genau vorgeschriebenen Entwicklungsprozesses statt. Dieser gliedert sich, wie bereits oben erwähnt, in zwei Phasen – die Itementwicklung durch Expertenzentren und die Entwicklung von Items durch die Teilnehmerländer. Die Testaufgaben sind in Form von Units zu erstellen, d. h. sie beinhalten einen oder mehrere Stimuli mit einer oder mehreren Fragen (=Items) sowie die zu jeder Frage (Item) gehörenden Bewertungsvorgaben (vgl. Abschnitt 2.1 idK.). Wenn im Folgenden von „Items“ oder „Aufgaben“ die Rede ist, sind damit die einzelnen Testfragen gemeint, entwickelt werden die einzelnen Items jedoch immer in Form von Units.

3.1.1 Itementwicklung – Phase 1In PISA 2006 waren fünf Expertenzentren an der Entwicklung der Naturwissenschaftsaufgaben betei-ligt (Item Development Centres/IDCs): ACER, Cito, NIER, ILS (Universität Norwegen) und IPN (Universität Kiel)2. Jedes Item Development Centre entwickelt zunächst Items in einer Draftversion, die im Anschluss „Cognitive Laboratory“ Prozessen unterzogen werden. Das sind Prozeduren wie z. B. lautes Denken, die von Spezialisten durchgeführt werden und sehr viel Expertise und Training verlangen. Anhand dieser Überprüfungen wird die jeweilige Aufgabe entweder abgelehnt oder revidiert. In einem weiteren Schritt werden diese revidierten Aufgaben (bzw. Units) dann zwischen den verantwortlichen Konsortiumspartnern ausgetauscht und nochmals in einem „Cognitive Laboratory“ überprüft. Die IDCs werden zudem bei der Überprüfung der Items (bzw. Units) aus den Teilnehmerländern (Phase 2) einge-bunden. In Abbildung III.5 ist die erste Phase der Itementwicklung, welche durch die IDCs vorgenom-men wird, dargestellt.

3.1.2 Itementwicklung – Phase 2Die Entwicklung von Aufgaben (bzw. Units) in den Teilnehmerländern stellt die zweite Phase des Itementwicklungsprozesses dar (Richtlinien für die Itemerstellung in den Teilnehmerländern sind in Lang [2004] dargestellt). Bis Ende Juni 2004 wurden von insgesamt 21 Teilnehmerländern an die 200 Aufgaben eingesendet, von denen letztlich 39 in den Feldtest aufgenommen wurden. Die Überprüfung der eingesendeten Aufgaben erfolgt durch die IDCs. Dabei wird sichergestellt, dass die Aufgaben mit dem Framework und anderen Richtlinien übereinstimmen und keine technischen Fehler aufweisen. Manche Teilnehmerländer richteten zur Entwicklung der Naturwissenschafts-Items nationale Komitees ein und pilotierten die entwickelten Aufgaben, wodurch eine deutlich bessere Qualität erzielt werden konnte, als wenn die Entwicklung der Items an Einzelpersonen vergeben wurde und die Aufgaben ohne interne Überprüfung eingesendet wurden (Report on PISA 2006 Science Item Development NPM (0409)19). In Abbildung III.6 auf der nächsten Seite ist der Ablauf dieser zweiten Prozessphase dargestellt.

Nach diesem Entwicklungsprozess werden die neuen Aufgaben sowohl an die nationalen Zentren als auch an die jeweiligen internationalen Expertengruppen zur Begutachtung weitergeleitet. Für jeden Kompetenzbereich gibt es eine Expertengruppe auf internationaler Ebene (MEG = Mathematics Experts Group, REG für „Reading“ und SEG für „Science“). Einige Teilnehmerländer, darunter auch Österreich und Deutschland, arbeiten auch auf nationaler Ebene mit Fachexpertinnen und -experten zusammen, die u. a. bei der Begutachtung der Aufgaben mitwirken. Die österreichische Naturwissenschafts-Expertengruppe


für PISA 2006 setzt sich aus 14 Personen zusammen (Fachwissenschafter/innen, Fachdidaktiker/innen und Lehrer/innen) und wurde vom bm:bwk (jetzt: BMUKK) einberufen.Die Begutachtung der Aufgaben durch die Teilnehmerländer läuft parallel zur Itementwicklung auf inter-nationaler Ebene (siehe Abbildung III.6). Ein standardisiertes Formular unterstützt dabei das Vorgehen

Abbildung III.5: Prozessphase 1 – Itementwicklung durch die Item Development Centres (IDCs)

Unit wird von einem anderen IDC überprüft

Überarbeitung der Unit am ursprünglichen IDC

Überprüfung und Überar-beitung der Unit von

ACER

Aufnahme der Unit in das nächste Item Bundle

IDC schickt Unit an ACER

Item Bundle wird an NPMs, SEG und Haupt-

Übersetzer gesendet

Items werden von ACER auf Basis der Rückmel-

dungen überarbeitet

Items werden zur Über-setzung freigegeben und

zum Editor gesendet

Letzte Überprüfung

Unit kommt für den Feldtest in Betracht

Units werden mit mind-estens 50 Schüler/innen

erprobt

Coding und Anlayse

1

1

1

bzw. auch Ausschluss von Items/Units1

Wenn notwendig werden Grafiken überprüft und

überarbeitet


der nationalen Zentren sowie der Expertinnen und Experten. Folgende Kriterien sollen auf einer Skala von 1 (niedrigste Zustimmung) bis 5 (höchste Zustimmung) bewerten werden:• Lehrplan: Wie gut stimmt die Aufgabe mit dem Lehrplan der 15-/16-jährigen Schüler/innen in dem

betreffenden Land überein? • Relevanz: Wie relevant ist die Aufgabe für die „Vorbereitung auf das Leben“ – wie es in den Frame-

works definiert ist?• Interesse: Wie interessant ist die Aufgabe für die Schüler/innen? Werden die Jugendlichen durch

neue und interessante Informationen, die in der Aufgabe enthalten sind, motiviert?• Kulturelle Färbung: Enthält die Aufgabe kulturelle, geschlechtsbezogene oder andere Färbungen,

durch die eine Benachteiligung beim Lösen der Aufgabe entstehen kann?• Übersetzungsprobleme: Kann es durch die Übersetzung zu einer Veränderung der Aufgabenschwie-

rigkeit kommen?

Abbildung III.6: Prozessphase 2 – Itementwicklung durch die Teilnehmerländer

Rückmeldung an Teilneh-merland, dass Unit evtl.

verwendet wird

Teilnehmerland sendet Unit

Rückmeldung an Teilnehmerlandüber Ablehnung

Aufnahme in das nächste Item Bundle

Kriterien: Qualität, Einzigartigkeit, Abdeckung des Frameworks, Internationale Abdeckung1

Reserve

Unit wird von einem IDC überprüft

Rückmeldung durch ein weiteres IDC

Überarbeitung oder “Reserve”

IDC überarbeitet Unit

ACER überprüft und überarbeitet Unit

Unit erscheint ungeeignet Unit erscheint geeignet

Unit erscheint geeignet

Ablehnung

1


Auf der Basis des Feedbacks von den Teilnehmerländern (inklusive beteiligter nationaler Expertinnen und Experten), den internationalen Expertengruppen (IDCs und Sciene Expert Group) und den Erfahrungen aus dem Pilot-Test werden die Items revidiert und verbessert (siehe Abbildungen III.5 und III.6).Die endgültige Auswahl der Aufgaben für den Feldtest wird in den einzelnen internationalen Expertengruppen getroffen und erfolgt anhand folgender Kriterien:• Übereinstimmung mit dem Framework;• Höchst mögliche Qualität des Items;• Die Items sollen eine Mischung aus verschiedenen Stilen sein, um verschiedene mögliche Formen von

Verzerrungen (kulturelle, nationale, geschlechtsspezifische etc.) zu minimieren;• Die Items sollten bezüglich der Schwierigkeit so breit wie möglich variieren.Im Feldtest 2005 wurden 222 neue Naturwissenschafts-Aufgaben getestet sowie 25 Naturwissenschafts-Link-Items eingesetzt. Zur Erfassung der Naturwissenschafts-Einstellungen wurden insgesamt 105 Items entwickelt und erprobt, wobei eine spezifische Auswahl der „bestehenden“ Units (vgl. Abschnitt 2 idK.) um die einstellungsbezogenen Komponenten erweitert wurde. Die in PISA 2006 enthaltenen Mathematik- und Leseaufgaben brauchten nicht mehr erprobt zu werden, da diese ohne Änderungen aus den vorangegangenen Zyklen übernommen wurden. Der Feldtest ist Bestandteil des Auswahlverfahrens der neu entwickelten Test-Items und dient der Erprobung sämtlicher Materialien und Prozeduren rund um die Testung. Er liefert keine Ergebnisse im inhaltlichen Sinn – bezogen auf die Schülerleistungen.

3.2 Die Itemauswahl für den Haupttest

Im Anschluss an den Feldtest führt das internationale Zentrum Itemanalysen auf internationaler Ebene über alle Teilnehmerländer hinweg, als auch separat für jedes Land, durch. Diese Itemstatistiken werden je-dem Land in einem nationalen Feldtestbericht übermittelt, der bei der Begutachtung der nationalen Daten als Unterstützung dient. Der Feldtestbericht ist in jedem Erhebungszyklus gleich aufgebaut. Beispiele für den Aufbau und den Inhalt der Itemstatistiken finden sich in Lang (2004, Kapitel 3, Abschnitt 1.4). An dieser Stelle wird der Inhalt nur mehr kurz – in Anlehnung an Lang (2004) – erläutert.

3.2.1 Deskriptive Statistiken aller Items

Dieser Teil des Feldtestberichts enthält für jedes Item getrennt alle möglichen Antwortkategorien mit den da-zugehörigen Scores (Bewertungspunkten), die Anzahl und den Prozentsatz der Antworten der Schüler/innen mit der Punkt-Biserialen-Korrelation sowie einen Diskriminationsindex. Die Punkt-Biseriale-Korrelation gibt Auskunft über den Zusammenhang zwischen dem Erfolg bei einem Item (Itemscore) und dem Ge-samtwert (Testheftscores) für die jeweiligen Antwortkategorien. Bei den richtigen Antwortkategorien soll diese Korrelation positiv und bei den falschen Antwortkategorien negativ sein.Der Diskriminationsindex (Trennschärfe) gibt an, wie hoch die Scores der Schüler/innen bei diesem Item mit dem aggregierten Score über ein Set von Items derselben Domäne und im selben Testheft korrelieren. Dadurch wird beschrieben, inwieweit die Modellanpassung (s. u.) zwischen Individuen mit hohen Test-werten und Individuen mit geringen Testwerten unterscheidet. Items, die gut diskriminieren, weisen ei-nen Koeffizient zwischen 0.3 und 0.7 auf. Koeffizienten unter 0.2 zeigen hingegen geringe Korrelationen zwischen Item- und Testheftscores an, negative lassen auf eklatante Probleme bei dem entsprechenden Item schließen.

3.2.2 Vergleich des nationalen und internationalen Infit-Mean-Square und des Diskriminationskoeffizienten

Der Infit-Mean-Square ist ein Index für die Modellanpassung (Item Response Model Fit). Das Rasch-Modell, mit dem die Daten skaliert werden, liefert für jeder Schülerin/jeden Schüler die Wahrscheinlichkeit für das Erreichen der verschiedenen Scores (Fähigkeitsparameter). Daher ist es möglich, die Vorhersage des Modells mit der Beobachtung für ein Item über alle Schülerinnen und Schüler hinweg zu vergleichen (Vergleich eines beobachteten Wertes mit einem Vorhergesagten). Die Akkumulierung dieser Vergleiche über die Schüler/innen hinweg liefert die Infit-Mean-Square-Statistik, bei der Werte nahe bei 1 wün-


schenswert sind. Je näher der Infit-Mean-Square bei 1 liegt, desto besser passt das Item zum verwendeten statistischen Modell (Rasch-Modell), bzw. desto besser beschreibt das gewählte Modell die vorliegenden Daten. Informationen zum Rasch-Modell und der Anwendung in PISA finden sich im internationalen Technischen Bericht zu PISA 2003 (OECD, 2005a, S. 119ff), oder auch im PISA 2003 Data Analysis Manual for SPSS Users (OECD, 2005b).Diese Statistik wird sowohl auf internationaler als auch auf nationaler Ebene berechnet und miteinander verglichen. Substantielle Unterschiede zwischen diesen beiden Werten (Land- und Gesamtwert) zeigen, dass sich das Item in einem Land im Vergleich zu den anderen Ländern anders verhält, was z. B. einen Fehler bei der Übersetzung reflektieren kann.Weiters wird in diesem Teil des nationalen Feldtestberichts auch der bereits zuvor beschriebene Diskriminationsindex auf nationaler und internationaler Ebene verglichen. Dieser Vergleich zeigt ebenso, ob ein Item generell oder nur in bestimmten Ländern einwandfrei funktioniert oder problematisch ist.

3.2.3 Vergleich der nationalen und internationalen Itemschwierigkeits-Parameter und Schwellen (Item-Thresholds)

Das oben erwähnte Rasch-Modell, mit dem die Leistungsdaten skaliert werden, liefert neben den Werten der Schülerfähigkeit auch Werte für die Itemschwierigkeit – den Itemschwierigkeits-Parameter. Der Vergleich des nationalen Itemschwierigkeits-Parameters mit dem internationalen gibt ebenso Aufschluss darüber, ob sich ein Item generell anders verhält, als das Modell vorhersagt, oder ob dies nur in einem Land vorkommt.Eine weitere Kontrolle diesbezüglich ermöglicht die Gegenüberstellung der Item-Thresholds (Schwellen).Die Item-Thresholds stellen jene Fähigkeitswerte dar, welche die Grenze zwischen den zu erlangenden Scores bei einer Aufgabe mit einer bestimmten Schwierigkeit bilden (Unter- und Obergrenze). Bei der Gegenüberstellung der nationalen und internationalen Item-Thresholds der einzelnen Aufgaben wird wiederum kontrolliert, ob sich diese unterschiedlich verhalten.

3.2.4 Bericht über nationale „riskante“ Aufgaben (dodgy Items)

Dieser Bericht führt alle Aufgaben an, die in dem betreffenden Land aus der Norm der oben beschrie-benen Itemstatistiken fallen und aus diesem Grund genauer auf mögliche Übersetzungsfehler, kulturelle Passung etc. überprüft und gegebenenfalls überarbeitet werden müssen.

Durch die Analyse der Feldtestdaten und deren Darstellung in den länderspezifischen Berichten wird empirisch bestimmt, welche Aufgaben in allen oder den meisten Ländern zufrieden stellend funktionie-ren, bzw. welche Aufgaben entfernt werden müssen, weil sie zu wenig differenzieren oder sich auf andere Weise problematisch verhalten. Jedes Teilnehmerland hat die Items auf Grund des Feldtestberichts zu überarbeiten. Die Vorschläge und Kommentare eines Landes zum Feldtestbericht werden anhand eines standardisierten Formulars an das internationale Konsortium gesendet. Bei der Überarbeitung der Items arbeiten die deutschsprachigen Länder zusammen.Auf internationaler Ebene werden die Items ebenso auf Grund der Feldtestanalysen überarbeitet. Schließ-lich wird die Auswahl der Items für den Haupttest vorgenommen. Anschließend werden die Haupttestitems an die Teilnehmerländer gesendet, wo sie erneut einem Item-Review unterzogen werden, der nach densel-ben Kriterien und Vorgaben wie im Feldtest erfolgt.

4. Übersetzung und Verifikation

Bei PISA werden die Schüler/innen in ihrer Unterrichtssprache getestet. Daher müssen in jedem Land ent-sprechend der verwendeten Unterrichtssprachen der nationalen Stichprobe Versionen der Testinstrumente erstellt werden. Zum Beispiel werden in Südtirol sowohl Testhefte in Italienisch als auch in Deutsch ein-gesetzt.


Die Übersetzung der Aufgaben in die jeweilige(n) Landessprache(n) ist ein sehr heikler Punkt, da die Validität der Aufgaben (und somit deren Vergleichbarkeit) gewahrt bleiben muss. Es darf bei der Übersetzung z. B. nicht passieren, dass das Verständnis des Textes, der Grafiken, Tabellen oder Fragen schwerer oder leichter wird.Um die Vergleichbarkeit zwischen den nationalen Versionen gewährleisten zu können, gibt es bei PISA spezielle Übersetzungs- und Verifikationsprozeduren. Diese finden sowohl vor dem Feld- als auch vor dem Haupttest statt, wobei der Verifikationsprozess vor dem Feldtest umfassender verläuft, da zu die-sem Zeitpunkt die hauptsächliche Übersetzungsarbeit geleistet wird. Da beim Haupttest nur Aufgaben eingesetzt werden, die auch im Feldtest erprobt wurden, bezieht sich die Verifikation im Haupttest über-wiegend auf die Verbesserungen und Adaptionen einzelner Aufgaben sowie auf die genaue Überprüfung jener Items, die sich bei den Feldtestanalysen auffällig verhalten haben (vgl. Abschnitt 3.2 idK.).

4.1 Übersetzungsrichtlinien

Für sämtliche Testmaterialien gibt es zwei Quellversionen, die zur Übersetzung herangezogen werden sollen: eine Englische und eine Französische. Bei der Übersetzung der englischen Aufgaben ins Französische durch das internationale Konsortium können viele Übersetzungsprobleme antizipiert und kleine Modifikationen in den Ausgangsversionen vorgenommen werden, bevor die Units an die nationalen Zentren weitergeleitet werden. Weiters bietet eine zweite Version eine bessere Veranschaulichung, bis zu welchem Ausmaß Abweichungen vom Original (z. B. bei Namen, Straßen, ...) erlaubt sind.Die Anforderungen an die nationalen Übersetzer/innen sind international festgelegt (z. B. perfekte Beherrschung einer der Sprachen der Quellversionen sowie der jeweiligen Testsprache, Vertrautheit mit dem Bereich Naturwissenschaft, Wissen über das Schulsystem). Die Richtlinien zur Qualifikation der Übersetzer/innen sind im Technischen Bericht 2003 (Lang, 2004) dokumentiert, da Österreich in PISA 2003 im Zuge der Übersetzungskooperation für die Übersetzung der neuen Mathematikunits und für die Koordination zur Erstellung der gemeinsamen deutschen Basisversion verantwortlich war (s. Abschnitt 4.2).

Double Translation

Jedes Land muss zunächst von jeder Unit zwei unabhängige Übersetzungen (von zwei Übersetzerinnen/Übersetzern) erstellen lassen („double translation“). Dabei wird vom internationalen Zentrum empfohlen, für eine Version das englische Original und für die andere das französische Original als Ausgangsbasis zu verwenden. Im zweiten Schritt sollen dann diese beiden unabhängigen Versionen von einem/einer dritten Übersetzer/in zu einer nationalen Version zusammengeführt werden. Diese soll den Quellversionen so ähnlich wie möglich sein.Wenn es nicht möglich ist, aus beiden Quellversionen Übersetzungen zu generieren, müssen dennoch zwei unabhängige Versionen – wenn auch aus der gleichen Quellsprache – generiert und zusammenge-führt werden. Bei diesem Vorgehen müssen bei der Zusammenführung der beiden Versionen so genannte „cross-checks“ mit der jeweils anderen Quellversion durchgeführt werden.Alle nationalen Anpassungen, die beim Testmaterial vorgenommen werden, müssen von den zuständigen Übersetzerinnen und Übersetzern in einem standardisierten Adaptionsformular dokumentiert werden, welches mit den übersetzten Units zur Verifikation gesendet wird (vgl. Abschnitt 4.3 idK.).

4.2 Übersetzungskooperation deutschsprachiger Länder bei PISA 2006

Wie bereits in PISA 2000 und 2003 arbeiten die deutschsprachigen Länder (Deutschland, Schweiz, Luxemburg und Österreich) bei der Übersetzung der Testinstrumente zusammen. Ziel dieser Kooperation ist es, eine gemeinsame deutsche Basisversion („Common German Version“) aller Units zu erstellen, die als Grundlage für die Adaptionen der einzelnen deutschsprachigen Länder dient. Der Vorteil der Übersetzungskooperation der deutschsprachigen Länder ist, dass die Übersetzungsarbeit für jedes Land geringer wird und die Versionen der einzelnen Länder besser vergleichbar sind. In PISA 2006 über-


nahm das IPN in Kiel (Leibniz-Institut für die Pädagogik der Naturwissenschaften, deutsches PISA-Zentrum für 2006) die Übersetzung der neuen Naturwissenschaftsunits sowie die Koordination der Übersetzungsvorschläge der anderen deutschsprachigen Länder zur Erstellung der deutschen Basisversion. Dieser Vorgang wird im folgenden Abschnitt näher erläutert (vgl. Abschnitt 4.3 idK.).In den beiden anderen Domänen Mathematik und Lesen werden in PISA 2006 nur Link-Items einge-setzt, die in den deutschsprachigen Ländern bereits in der verifizierten Form aus PISA 2000 bzw. 2003 vorliegen.

4.3 Internationale Verifikation und nationale Adaptionen

Die internationale Verifikation der Testaufgaben erfolgt für die deutschsprachigen Länder in zwei Schritten: Zuerst wird die gemeinsame deutsche Basisversion verifiziert, danach folgt die Verifikation der nationalen Adaptionen, die an dieser Basisversion von den einzelnen Ländern vorgenommen wurden.4.3.1 Die internationale VerifikationDas wichtigste Ziel der internationalen Verifikation ist die Sicherung der Qualität und Vergleichbarkeit aller nationalen Erhebungsinstrumente. Durchgeführt wird die Verifikation von professionellen Englisch- und Französischübersetzerinnen/-übersetzern, die die jeweilige Sprache der zu begutachtenden Testinstrumente als Muttersprache haben. Die Institution, die die Verifikation der nicht-englischsprachigen Testinstrumente durchführt, ist Vertragspartner des internationalen Konsortiums. Die Verifikatorinnen und Verifikatoren werden vom internationalen Zentrum geschult und erhalten eine Checkliste, anhand derer sie jede einzelne Aufgabe verifizieren müssen. Zusätzlich zu den Testaufgaben werden auch die all-gemeinen Teile der Testhefte („Common Booklet Parts“) – wie z. B. die Einleitung – verifiziert.

4.3.2 Die nationalen Adaptionen

Damit die Schüler/innen die Aufgaben einwandfrei verstehen können ist es erforderlich, dass manche Phrasen, Wörter oder Namen nicht wortwörtlich übersetzt bzw. übernommen werden, sondern dass diese national adaptiert werden. Was adaptiert werden darf und was nicht, ist in den Übersetzungsrichtlinien genau festgehalten. Zum Beispiel dürfen Eigennamen von Personen und Straßen, Symbole und Abkürzungen sowie geografische Namen geändert werden. Nicht verändert werden dürfen z. B. das Itemformat, Antwortkategorien und der Name der fiktiven Währung, welche bei einigen Aufgaben ver-wendet wird. Um diesen Schritt der nationalen Anpassung zu vereinheitlichen, werden vom internati-onalen Zentrum bei den betreffenden Aufgaben Übersetzungshinweise eingefügt, in denen angegeben wird, ob eine nationale Adaption notwendig ist oder nicht. Eine weitere Erleichterung stellt das vom internationalen Zentrum entwickelte Adaptionsformular dar. Dieses beinhaltet für jede Aufgabe bereits jene Wörter, Namen oder Phrasen, die sehr wahrscheinlich an den nationalen Kontext angepasst werden müssen, aber auch Hinweise auf Textteile, die keinesfalls verändert werden dürfen. Eine der wichtigsten Aufgaben der Verifikatorinnen und Verifikatoren ist es zu prüfen, ob die vorgenommenen Adaptionen die Validität der Aufgabe gefährden.

4.3.3 Ablauf der internationalen Verifikation

Nachdem die Übersetzung der neuen Naturwissenschafts-Items in Deutschland erfolgt war, wurden die Units vom IPN an die nationalen Zentren der deutschsprachigen Länder zur Begutachtung gesendet. In Österreich wurden die Items auch von der Naturwissenschaftsexpertengruppe des BMUKK begutachtet und die Rückmeldungen der Expertinnen und Experten vom nationalen Zentrum bearbeitet. Im nächs-ten Schritt wurden die Anmerkungen der nationalen Zentren an das IPN zur Bearbeitung der deutschen Basisversion gesendet. Bei diesem Prozess wurde genau dokumentiert, welche Anregungen aufgenommen und eingearbeitet wurden, welche Vorschläge noch diskutiert werden mussten und welche abgelehnt wur-den. Nach Fertigstellung der „Common German Version“ durch das IPN wurde diese zur internationalen Verifikation gesendet.


Nach Abschluss der Verifikation der deutschen Basisversion erhielt jedes deutschsprachige Land die ve-rifizierte „Common German Version“ zur Einarbeitung der nationalen Adaptionen. Die adaptierten Aufgaben und das dazugehörende Formular wurden nach Einarbeitung der Änderungen vom nationalen Zentrum zur internationalen Verifikation gesendet, wo sie von dem/der zuständigen Verifikator/in im Adaptionsformular beurteilt und wenn notwendig mit Verbesserungsvorschlägen ergänzt wieder zurück-gesendet wurden. Im nächsten Schritt wurden die Korrekturen am nationalen Zentrum eingearbeitet oder gegebenenfalls nochmals mit dem/der zuständige/n Verifikator/in diskutiert. Nachdem alle Adaptionen verifiziert wurden (d. h. allen Änderungen zugestimmt wurde), konnten die nationalen Testhefte zusam-mengestellt werden.

4.3.4 Zusammenstellung der Testhefte

In PISA 2006 wurden insgesamt 13 verschiedene Testheftformen eingesetzt (vgl. Abschnitt 2.1 idK.). Die Zusammenstellung der Testhefte erfolgt nach internationalen Richtlinien und darf erst dann er-folgen, wenn alle Bestandteile der Testhefte vollständig verifiziert sind: das Deckblatt, die „Common

2003

Oktober Erstes Meeting der SEG für PISA 2006: Framework-Erweiterung und Itementwicklung

2004

Jänner-Oktober Item Review (international und national)

Oktober Aussendung der Link-Aufgaben an die TeilnehmerländerNovember Übersetzung der Naturwissenschafts-Items (Erstellung der

deutschsprachigen Basisversion durch das IPN in Kiel)

Dezember Einarbeiten der nationalen Adaptionen in die deutschsprachige Basisversion

2005

Jänner - Februar Verifikation der nationalen Adaptionen

März Druck der Testinstrumente

April - Mai Feldtest

August Aussendung der Link-Aufgaben für den HaupttestOktober Aussendung des Feldtest-Berichts, Überarbeitung der Items

(international, national)Aussendung der Liste mit den für den Haupttest vorgeschlagenen Naturwissenschafts-Items

November Aussendung der Naturwissenschafts-ItemsEinarbeiten der nationalen Adaptionen

Dezember Einarbeiten und Beginn der Verifikation der nationalen Adaptionen

2006

Jänner-Februar Verifikation der nationalen Adaptionen

Februar Druck der Testinstrumente

April - Mai Haupttest

Oktober-November Aussendung des Haupttest-Berichts, Itemanalysen (international, national)

Abbildung III.7: Zeitlicher Überblick über die Erstellung der Testinstrumente für PISA 2006


Booklet Parts“ – das sind jene Teile, die in allen Testheften enthalten sind, wie z. B. die Anleitungen zum Ausfüllen der Tests – und natürlich die Testaufgaben. Zuerst werden die Aufgaben zu Clustern (Blöcke mit Aufgaben eines Kompetenzbereichs mit einer Bearbeitungszeit von 30 min, vgl. Abschnitt 2.1 idK.) zusammengestellt, danach folgt die Zusammensetzung aus Deckblatt, „Common Booklet Parts“ und jeweils vier Clustern (vgl. Abschnitt 2.1 idK.). Um zu überprüfen, dass alle Cluster richtig zusammenge-stellt sind und alle Testheftformen die richtigen Cluster beinhalten, gibt es vom internationalen Zentrum eine genaue Anleitung zur Zusammenstellung der Cluster und Testhefte sowie die Originalversionen der Booklets, die als Ansichts- und Vergleichsexemplare herangezogen werden.Zur Absicherung, dass bei der Zusammenstellung der Testhefte alle Vorgaben berücksichtigt werden und die Testinstrumente richtig zusammengestellt sind, werden die fertigen Testhefte zu einer letzten opti-schen Überprüfung zur Verifikation gesendet („Final Optical Check“ – FOC). Nach Abschluss dieser Überprüfung erhält das nationale Zentrum einen Bericht mit den letzten Anmerkungen zum Layout, an-hand derer die Testhefte noch einmal überarbeitet werden. Bevor die Testhefte in die Druckerei gesendet werden, werden diese am nationalen Zentrum noch einmal sorgfältig kontrolliert.Abbildung III.7 auf der vorhergehenden Seite gibt einen Überblick über den zeitlichen Ablauf der Erstellung der Testinstrumente.

5. Qualitätssicherung im Bereich TestinstrumenteDie Qualitätssicherung im Bereich der Testinstrumente ergibt sich durch die Anwendung sämtlicher Prozeduren bei der Itemerstellung und Übersetzung der Testinstrumente – sie ist demnach ein integraler Bestandteil bei der Entwicklung der Testinstrumente.Einen zentralen Beitrag zur Sicherung der Qualität bei der Itementwicklung leistet das Framework, in-dem sich die Itementwickler/innen strikt an dessen Vorgaben halten müssen. Damit wird sichergestellt, dass Konsens herrscht in Bezug auf das, was getestet wird.Die Qualität der Aufgaben wird zudem durch den Itementwicklungsprozess und die Feldtestanalysen sichergestellt. Im Rahmen der Itementwicklung werden sämtliche Items von unterschiedlichen Expertenzentren (IDCs) überprüft sowie einem Pre-Pilottest unterzogen. Zudem werden die Aufgaben von den nationalen Zentren und nationalen Expertinnen und Experten begutachtet und auf Grund fest-gelegter Kriterien wie z. B. die Abdeckung des Items durch den Lehrplan, zu erwartende Probleme bei der Übersetzung, Bedenken bezüglich der Coding Instructions etc. beurteilt.Ein weiteres Qualitätsmerkmal bei der Itementwicklung stellt der Feldtest dar. Anhand der umfangreichen Datenanalysen werden die Aufgaben im Feld geprüft und schließlich jene Aufgaben für den Haupttest ausgewählt, die in allen Ländern eine zufriedenstellende Itemstatistik aufweisen.Ebenso werden nach dem Haupttest umfangreiche Itemanalysen nach den selben Kriterien wie beim Feldtest ausgeführt und Itemstatistiken erstellt. Indem genau überprüft wird, wie sich die einzelnen Items in den Teilnehmerländern verhalten haben, wird die Qualität der Aufgaben um ein weiteres überprüft und sichergestellt.Bei der Übersetzung der Aufgaben wird die Qualität der Testinstrumente durch umfangreiche Maßnahmen gesichert. Dazu gehört u. a. die zur Verfügungstellung von zwei Quellversionen (eine Englische und eine Französische) bzw. die Prozedur der doppelten Übersetzung durch zwei unabhängige Übersetzer/in-nen (Double Translation) sowie die Zusammenführung durch eine/n unabhängige/n Dritte/n. Darüber hinaus werden die Übersetzer/innen bei einem Training mit den spezifischen Bedingungen in PISA (z. B. Wahrung der Validität der Aufgaben) vertraut gemacht. Weitere wichtige Maßnahmen stellen die Übersetzungs- und Anpassungsvorschriften für das Testmaterial dar, der Einsatz von standardisierten Formularen zur Dokumentation der Übersetzung und Adaptionen, die internationale Verifikation der Testinstrumente durch speziell geschulte Verifikator/innen, die rasche Übermittlung der Testmaterialien und Formulare über einen sicheren FTP-Server sowie der Abschlussbericht über die Verifikation an die Teilnehmerländer.


Bibliographie

Haider, G. & Reiter, C. (Hrsg.). (2003). PISA 2003. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs: 08.02.2007]

Lang, B. (2001). Die Testinstrumente und Fragebögen. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts (S. 67–143). Innsbruck: Studienverlag

Lang, B. (2004). Testinstrumente. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs: 08.02.2007]

OECD (Hrsg.). (1999). Measuring Student Knowledge and Skills. A new Framework for Assessment. Paris: OECD.OECD (Hrsg.). (2003a). The PISA 2003 Assessment Framework. Mathematics, Reading, Science and Problem Solving Kowledge

and Skills. PARIS : OECDOECD (Hrsg.). (2003b). Literacy Skills for the world of Tomorrow – Further Results from PISA 2003. Paris : OECDOECD (Hrsg.). (2004). Lernen für die welt von morgen – erste Ergebnisse von PISA 2003. Paris : OECDOECD (Hrsg.). (2005a). PISA 2003. Technical Report. Paris: OECDOECD (Hrsg.). (2005b). PISA 2003 Data Analysis Manual. SPSS Users. Paris: OECD.OECD (Hrsg.). (2006). Assessing Scientific, Reading and Mathematical Literacy: A Framework fro PISA 2006. OECD Publications.

ParisPISA-Konsortium Deutschland (Hrsg.). (2004). PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des

zweiten internationalen Vergleichs.

1 ACER = Australian Council for Educational Research; Cito ist ein führendes Institut für Testentwicklung in den Niederlan-den, NIER = National Institute for Educational Policy Research of Japan, ILS = Institut für Lehrerbildung und Schulentwick-lung, Universität Oslo, IPN = Institut für die Pädagogik der Naturwissenschaften, Universität Kiel

IVUrsula Schwantner

KONTEXTFRAGEBÖGEN

IV

1. Konzeption der Kontextfragebögen – das Kontext Framework1.1 Prioritäten des PGB und INES-Indikatoren1.2 Konzeptionelle Modelle1.3 Kontextbereiche in PISA 2006

2. Entwicklung der internationalen Fragebögen2.1 Feldtest und Auswahl der Fragen für den Haupttest2.2 Übersetzung und Verifi kation der Kontextfragebögen

3. Der internationale Schülerfragebogen im Haupttest 2006

4. Der internationale Schulfragebogen im Haupttest 2006

5. Nationale Optionen5.1 Nutzung von Informationstechnologien5.2 Lesegewohnheiten/Rahmenbedingungen der Leseförderung5.3 Belastung in der Schule5.4 Befi ndlichkeit und Schulerfolg5.5 Qualität in Schulen

6. Qualitätssicherung im Bereich Kontextfragebögen

Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Böck, 2001; Eder, 2001; Haider, 2001; Lang, 2001; Reiter, 2001) und PISA 2003 (Lang, 2004). Die Autorin dieses Kapitels dankt Margit Böck, Ferdinand Eder, Günter Haider, Birgit Lang und Claudia Schreiner (geb. Reiter) für die Bereitstellung der Texte.

Seite 56 IV. Kontextfragebögen

Zusätzlich zu den Leistungsdaten werden in PISA Kontextinformationen mittels Fragebögen auf Schul- und Schülerebene erhoben. Diese Kontextdaten ermöglichen es, Bildungsindikatoren zu entwi-ckeln und diese in regelmäßigen Abständen zu erfassen. Dazu gehört u. a. die Bildung der Eltern, der sozioökonomische Status der Familie, aus der die Schüler/innen stammen, der Migrationshintergrund oder auch die formale Schulbildung der Jugendlichen.Außerdem werden Informationen in Bezug auf die jeweilige Hauptdomäne – in PISA 2006 die Natur-wissenschafts-Kompetenz – erhoben, wie z. B. genereller und persönlicher Wert der Naturwissenschaft für die Schüler/innen, Interesse und Freude an naturwissenschaftlichen Fächern (Chemie, Biologie, Physik), Selbstwirksamkeit und Selbstkonzept der Schüler/innen in Bezug auf Naturwissenschaft, Unterricht und Lernen in den naturwissenschaftlichen Fächern sowie Kenntnisse über Berufe, die mit Naturwissenschaft zu tun haben etc.Die Kontextdaten stellen einen zentralen Punkt in der Ergebnisanalyse dar, da sie mit den Schülerleistungen in Verbindung gebracht werden können und somit Aufschluss über Zusammenhänge verschiedener Merkmale geben (z. B. Zusammenhang von sozioökonomischem Status, Migrationshintergrund und Schülerleistung oder von motivationalen Faktoren und Leistung).Die Fragebögen zur Erhebung der Kontextinformationen umfassen verschiedene Teile. Auf Schülerebene gibt es einen vom internationalen Zentrum entwickelten Fragebogen, der für alle Länder verpflichtend ist („internationaler Schülerfragebogen“). Weiters gibt es als internationale Option einen Fragebogen über Informations- und Kommunikationstechnologien, der ebenfalls vom internationalen Zentrum entwickelt wird und von den Teilnehmerländern eingesetzt werden kann. In Österreich ist diese Option in PISA 2003 und 2006 enthalten. Zusätzlich – wie bereits in PISA 2000 und 2003 – enthält der Schülerfragebogen in Österreich auch nationale Ergänzungen.Auf Schulebene gibt es ebenfalls einen internationalen Fragebogen, der in allen Teilnehmerländern einzu-setzen ist; in Österreich wird dieser wiederum durch nationale Optionen ergänzt.Neu in PISA 2006 ist die internationale Option des Elternfragebogens, an der sich 16 Länder beteiligt haben. Da Österreich nicht teilgenommen hat, wird an dieser Stelle nicht näher auf diesen Fragebogen eingegangen. Der internationale Technische Bericht der OECD wird voraussichtlich Informationen zum Elternfragebogen enthalten.Im Folgenden wird auf die Konzeption und Entwicklung der Kontextfragebögen eingegangen, die Übersetzungsprozeduren werden beschrieben und die Erprobung im Feldtest bis hin zum Einsatz der Fragebögen im Haupttest dargestellt. Die nationalen Zusatzerhebungen auf Schul- und Schülerebene werden im Anschluss an diese Ausführungen näher erläutert. Abbildung IV.1 zeigt eine Übersicht über alle in Österreich in PISA 2006 verwendeten Fragebögen.

1. Konzeption der Fragebögen – das Kontext-Framework

Die Kontextfragebögen werden ebenso wie die Testinstrumente auf Basis eines Frameworks konzipiert (Contextual Framework). Dieses Kontext-Framework wird unter Berücksichtigung von drei Aspekten von internationalen Expertinnen und Experten in der Questionnaire Expert Group (QEG) entwickelt: (1) Einbezug aller relevanten Dimensionen durch Verbinden wesentlicher Komponenten bereits existie-render theoretischer Modelle; (2) Vergleich dieser Komponenten mit den Prioritäten des PGB für PISA 2006 mit dem grundlegenden Framework der OECD-Bildungsindikatoren (International Indicators of Education Systems = INES, Network A1) und (3) Beurteilung der Durchführbarkeit und Eignung inner-halb des Designs von PISA.

1.1 Prioritäten des PGB und INES-Indikatoren

Das PISA Governing Board (PGB, vormals BPC = Board of Participating Countries) setzt Prioritäten hinsichtlich bestimmter Themenbereiche, über welche die Politiker/innen mit Hilfe der gewonnenen Daten Aussagen treffen möchten. Während die Prioritätenliste des PGB für PISA 2000 hauptsächlich den

Seite 57IV. Kontextfragebögen

Familienhintergrund der Schüler/innen fokussierte und in PISA 2003 das Lernen und das Engagement der Schüler/innen in Mathematik, liegt der Schwerpunkt in PISA 2006 auf den Einstellungen der Schü-ler/innen zu Naturwissenschaft, den Erfahrungen der Jugendlichen mit Naturwissenschaft in und außer-halb der Schule, auf der Motivation der Schüler/innen sowie ihrem Interesse an Naturwissenschaft und ihrem Engagement für naturwissenschaftsbezogene Aktivitäten. Darüber hinaus ist dem PGB wichtig, dass grundlegende demografische Daten, welche Schlüsselfragen aus vorhergehenden Zyklen abbilden, als Kernbestandteile wieder eingefügt werden (Contextual Framework for PISA 2006, Draft Version, NPM [0510]5).Das INES Network A schlägt Kriterien vor, mit Hilfe derer die politischen Prioritäten des PGB definiert und operationalisiert werden können und die in weiterer Folge auch für die Entwicklung verschiedener thematischer Berichte relevant sind. Folgende Kriterien wurden für PISA 2006 vorgelegt:

PISA 2006: Internationaler Schülerfragebogen

PISA 2006: Internationaler Schulfragebogen für Schulleiter/innen

PISA 2006: Nationale Zusatzerhebungen

Der internationale Schülerfragebogen zur Erhebung der Kontextdaten auf Schülerebene ist in sieben inhaltliche Bereiche gegliedert. Die Bearbeitungszeit beträgt ca. 30 Minuten. Erfasst werden Informationen zu folgenden Themen:• Schülercharakteristiken (Alter, Geschlecht etc.)• Familiärer Hintergrund (Beruf und Schulbildung der Eltern, Migrationshintergrund, Besitztümer zuhause wie z. B. Computer oder Bücher)• Einstellungen zu Naturwissenschaft, Umweltthemen und Berufe, die mit Naturwissenschaft zu tun haben• Unterricht und Lernen in den naturwissenschaftlichen Fächern (u. Unterrichtszeit in anderen Fächern)Zusätzlich wurde in Österreich der internationale Fragebogen zur Nutzung von Informations- und Kommunikationstechnologien (ICT) eingesetzt.

Der internationale Schulfragebogen, der von den Schulleiter/innen ausgefüllt wird, hat eine Bearbeitungs-dauer von ca. 30 Minuten und dient der Erhebung von Kontextvariablen auf Schulebene. Themen des Schulfragebogens sind u. a.:• Struktur und Organisation der Schule• Schulpersonal• Schulressourcen• Rechenschaftspflicht und Aufnahmepraktiken• Angebote in den Bereichen Naturwissenschaft und Umwelt• Berufsorientierung und weiterführende Ausbildung

Die nationalen Zusatzerhebungen sind in den Schüler- und Schulfragebögen im Anschluss an den internationalen Teil enthalten.• Rahmenbedingungen der Leseförderung (Schul- und Schülerfragebogen)• Nutzung von Informationstechnologien (Schul- und Schülerfragebogen)• Qualität in Schulen (Schul- und Schülerfragebogen)• Befindlichkeit und Schulerfolg von Schülerinnen und Schülern am Übergang zur Sekundarstufe II (nur Schülerfragebogen)• Belastungen in der Schule (nur Schülerfragebogen)

Abbildung IV.1: Kontextfragebögen in PISA 2006


• Die Prioritäten müssen von einer andauernden politischen Relevanz und ebenso von andauerndem Interesse sein. Dazu gehört u. a., dass Daten erhoben werden, die Auskunft über die Leistungen eines Schulsystems geben sowie Bildungsergebnisse erklären und verbessern helfen. Ebenso sollen die The-men für die Öffentlichkeit interessant sein.

• Die vorgeschlagenen Bereiche sollen einen internationalen Vergleich zulassen und eine Bereicherung zu dem darstellen, was durch nationale Evaluationen erreicht werden kann.

• Die Konsistenz der Methoden zur Erfassung der Untersuchungsgebiete in PISA 2000 und 2003 soll gewahrt werden.

• Die Themen müssen für das PISA-Design geeignet und technisch durchführbar sein.Die Integration der vorgeschlagenen Themen sowie der genannten Kriterien erfolgt im Zuge der Konzeption des Kontext-Frameworks durch die Questionnaire Expert Group.

1.2 Konzeptionelle Modelle

Grundlegend für das Kontext-Framework in PISA 2006 sind mehrere konzeptionelle Modelle der Eval-uation von Bildungsleistung (educational achievement), die bereits in IEA-Studien über Naturwissenschaft und Mathematik eingesetzt wurden und sich hinsichtlich der thematischen Analysen als aussagekräf-tig erwiesen haben. Die komplexen Modelle enthalten Variablen und Zusammenhänge, welche die Schülerleistungen beeinflussen, und soziologischen, psychologischen und kognitiven Theorien entsprin-gen2. Aus diesen Modellen abgeleitet werden für PISA zwei Dimensionen als relevant betrachtet (s. Abbildung IV.2): Auf der ersten Dimension sind vier Ebenen relevant: Systemebene, institutionelle Ebene (Schulebene), Unterrichtsebene (Lernumgebung innerhalb der Institution – Klassenebene) sowie Schülerebene.Auf der zweiten Dimension wird in Antezedens, Prozesse und Ergebnisse unterschieden, welche auf allen vier Ebenen repräsentiert werden. „Antezedens“ bezieht sich auf jene Faktoren, die als vorgegeben gelten (u. a. Makrokontexte, Charakteristiken der Institution, Charakteristiken einer Unterrichtseinheit, Hintergrund und Charakteristiken der Schüler/innen). Mit „Prozessen“ werden Umstände bezeichnet, welche die Ergebnisse auf den vier Ebenen gestalten (u. a. Schulorganisation, institutionelle Ausführung, Lernumgebung, Lernen der Schüler/innen). Unter „Ergebnisse“ werden beobachtete Leistungen auf allen Ebenen verstanden.Die potenziellen Beziehungen und Zusammenhänge zwischen den einzelnen Komponenten – auch über die vier Ebenen hinweg – sind sehr komplex und vielfältig. Das Konsortium verzichtet daher darauf, explizite kausale Zusammenhänge auszuformulieren auch in Hinblick darauf, dass sich die vielen für PISA potenziell relevanten Verbindungen nicht in einem „generellen Modell“ integrieren lassen. Dieses zweidimensionale Modell soll daher mehr als „konzeptuelles Mapping“ verstanden werden, welches es ermöglicht, die für PISA relevanten Variablen zu identifizieren.In erster Linie werden in PISA die Elemente auf Schul- und Schülerebene erfasst. Informationen auf der Unterrichtsebene können auf Grund des PISA-Designs nur subjektiv – über die Einschätzungen der Schüler/innen darüber, wie sie ihren Unterricht erleben – gewonnen werden, wobei zu berücksichtigen ist, dass die Schüler/innen nicht klassenweise, sondern jahrgangsmäßig (meist aus mehreren Klassen) er-fasst werden. Informationen auf Systemebene werden in PISA nicht direkt gewonnen, zum Teil können dazu einige PISA-Variablen auf Schulebene aggregiert werden. Um Systeminformationen zu bekommen, können jedoch auch andere Quellen herangezogen werden (z. B. OECD-Bildungsindikatoren/INES).

1.3 Kontextbereiche in PISA 2006

Folgende Forschungsgebiete sind auf Grund der Empfehlungen der Questionnaire Expert Group in PISA 2006 integriert:• Schülerleistung und Geschlecht: Hier liegt der Fokus auf den Leistungen der Schüler/innen in allen

drei Domänen, u. a. auf der Feststellung von Trends aus vorhergehenden PISA-Zyklen, aber auch im Vergleich mit anderen internationalen Studien wie PIRLS3 und TIMSS4.


• Engagement der Schüler/innen in Naturwissenschaft: Dieser thematische Aspekt weist zum Teil Paralle-len mit PISA 2003 (Engagement in Mathematik) auf. Dazu gehören u. a. selbstbezogene Kognitio-nen, motivationale Präferenzen, emotionale Faktoren als auch verhaltensbezogene Variablen.

• Unterricht und Lernen in den naturwissenschaftlichen Fächern: Hier geht es darum zu erfahren, wie Naturwissenschaft in der Schule unterrichtet wird und in welchem Ausmaß sich der Unterricht in verschiedenen Bildungs- und Schultypen unterscheidet.

• Naturwissenschafts-Kompetenz und Umwelt: Die Schule wird als potenzielle Informationsquelle der Schüler/innen für Umweltprobleme und diesbezügliche Herausforderungen angesehen.

• Organisation von Schulsystemen: Dieses Gebiet erforscht den Zusammenhang zwischen Naturwissen-schafts-Kompetenz und Strukturcharakteristiken der Bildungssysteme. Dazu zählen z. B., ob ein ge-nerelles oder ein spezifiziertes Curriculum eingesetzt wird (integrierter Naturwissenschaftsunterricht vs. spezifische naturwissenschaftliche Fächer), differenziertes- vs. nicht-differenziertes System oder zentralisiertes vs. dezentralisiertes Schulmanagement.

ebeneSchulsystem-

demografischer Kontext eines Landes (z. B. BIP, Wohlstands-verteilung)

Makroökonomischer und Richtlinien und Schulorga-nisation (z. B. Lehrer-Aus- und Weiterbildung, Ein-schulungsalter)

Ergebnisse auf Schulsystem-ebene (z. B. aggregierte Daten über Leistungen auf Systemebene, Gewohnheiten und Einstellungen, Fertig-keiten und Lernstrategien; Ergebnisse in Bezug auf Chancengerechtigkeit)

Schulebene (schulische Institutionen)

Charakteristiken schulischer Institutionen (z. B. Größe, Lage)

Institutionelle Richtlinien und Praxis (z. B. Unterstützung des Unterrichts durch Materialienund Personal, Zugangs- beschränkungen, Schulklima,Schüler-Lehrer-Beziehung, Schulleitung)

Ergebnisse auf Schulebene (z. B. aggregierte Daten über Leistungen auf Schulebene; Gewohnheiten, Einstellungen, Lernstrategien; Unterschiede in Bezug auf Hintergrund der Schüler/innen)

Unterrichts-ebene

Unterrichtscharakteristiken (z. B. Lehrereigenschaften inkl. Qualifikation, Alter,Erfahrung; Eigenschaften der Klasse)

Lernumgebung (z. B. Klassenzustand, Ordentlichkeit, Unterstützungdurch Lehrperson, Unterrichts-praktiken wie Hausübungen,Umgang mit individuellen Unter-schieden, Unterrichtsstruktur,Inhalte, Leistungserwartungen)

Ergebnisse auf Unterrichts-ebene (z. B. Lernmotivation, Nutzung von Unterrichtsres- sourcen, durchschnittliche Klassenleistung)

Schülerebene Individueller Hintergrund (z. B. sozioökonomischer Status, Bildung der Eltern,Bildungsressourcen zu Hause, Sprache, Alter und Geschlecht)

Individueller Lernprozess (Engagement und Einstellun- gen zur Schule, Ausdauer,Beteiligung, Lernzeit, Nutzung schulischer Ressourcen, Hausübungen)

Individuelle Ergebnisse (z. B. Mathematik-, Naturwissenschafts- und Lese-Kompetenz, Gewohn- heiten, Einstellungen, Fertig- keiten, Lernstrategien)

ErgebnisseAntezedens ProzesseEbenen

Abbildung IV.2: Konzeptuelles Mapping – zweidimensionale Matrix mit Ele-menten des Kontext-Frameworks (Seite 14 NPM Doc.)


• Naturwissenschaft und Arbeitsmarkt: Bei diesem Forschungsgebiet geht es um die Rolle und den Wert naturwissenschaftlicher Bildung und Naturwissenschafts-Kompetenz als Vorbereitung auf einen spä-teren Beruf. Dazu gehören z. B. die Praxis der Schule und die Erwartungen der Schüler/innen in Bezug auf Berufsorientierung und ob Information über Berufe, die in Verbindung mit Naturwissen-schaft stehen, vermittelt werden.

Alle Forschungsbereiche wurden im Feldtest hinsichtlich ihrer Aussagekraft untersucht. Auf Grund der Feldtestanalysen wurden die relevanten Kontextfaktoren für den Haupttest ausgewählt. Dieser Vorgang wird im Folgenden näher erläutert.

2. Entwicklung der internationalen Fragebögen

Die Entwicklung der internationalen Fragebögen findet wie die Konstruktion der Testaufgaben haupt-sächlich auf internationaler Ebene statt. Neben den neu entwickelten Fragen werden in jedem Zyklus wesentliche demografische Basisdaten erfasst (z. B. Geschlecht, Schulstufe, sozioökonomischer Status, die zu Hause gesprochene Sprache). Das regelmäßige Einbeziehen derartiger Fragen erlaubt Vergleiche über die Zeit hinweg. Zudem werden relevante Fragen aus den vorangegangenen Zyklen in Abstimmung mit der Prioritätenliste des PGB und dem Kontext-Framework übernommen oder für den neuen Zyklus modifiziert. Die neuen Fragen werden auf Basis des Kontext-Frameworks und den Prioritäten des PGB von der Fragebogenexpertengruppe (Questionnaire Expert Group = QEG) entwickelt. Die QEG arbeitet da-bei mit der jeweiligen Expertengruppe der Hauptdomäne zusammen (in PISA 2006 ist dies die SEG = Science Expert Group/Expertengruppe für die Hauptdomäne Naturwissenschaft) um die relevanten Kontextvariablen für die Hauptdomäne zu identifizieren und zu definieren. In PISA 2006 kommt dabei der Verknüpfung der einstellungsbezogenen Fragen, die über die Testhefte erfasst werden und jenen, die in den Kontextfragebögen behandelt werden, ein besonderer Stellenwert zu (vgl. dazu Kapitel III).Die neu entwickelten Kontextfragen werden vor dem Feldtest vom internationalen Zentrum in einem so genannten „Cognitive Laboratory“ analysiert (verschiedene Verfahren, anhand derer die Fragen kognitiv genau analysiert werden; wird auch bei den Testaufgaben angewendet) und in einer Pilotstudie getes-tet. Für die Teilnehmerländer besteht die Möglichkeit, die Inhalte und Formulierungen der Fragen im Rahmen der Meetings für Nationale Projektmanager (NPM-Meeting) zu besprechen.Auf Basis der Analysen, den Ergebnissen aus der Pilotstudie und den Anregungen der nationalen Projektmanager werden die Fragen nochmals überarbeitet und im Anschluss daran die Feldtestversion der Fragebögen erstellt. Danach beginnt der Prozess der Übersetzung und Adaption der Fragebögen (vgl. Abschnitt 2.2 idK.).

2.1 Feldtest und Auswahl der Fragen für den Haupttest

Der Feldtest dient dazu, die Kontextfragebögen zu prüfen. Die zu erprobenden Fragen aus dem Schülerfragebogen wurden auf vier Versionen (A, B, C, D) aufgeteilt. Die einzelnen Fragen dieser vier Versionen sind zum Teil inhaltlich ident, unterscheiden sich jedoch hinsichtlich ihrer Formulierung oder in der Art der Antwortvorgaben bzw. der Skalierung. Somit kann im Feldtest geprüft werden, welche Fragen und welche Antwortkategorien zu einem validen und reliablen Ergebnis führen. Mit den Daten der Feldtestfragebögen werden – wie mit den Leistungsdaten – umfangreiche Analysen vom internati-onalen Zentrum durchgeführt, welche die Grundlage für die Auswahl der endgültigen Fragen für den Haupttest darstellen:• Analyse der fehlenden Werte: Um die Länge der Fragebögen zu überprüfen und festzustellen, ob es

bestimmte Fragen gibt, die von vielen Schülerinnen und Schülern bzw. Schulleiterinnen und Schul-leitern nicht beantwortet werden, werden fehlende Antworten sowohl innerhalb der einzelnen Länder als auch über alle Länder hinweg genau analysiert.


• Analyse der Antwortmuster: Bei Fragen, die eine Antwort auf einer Skala mit mehreren Abstufun-gen erfordern, kann es sein, dass diese nach einem bestimmten Muster beantwortet werden (z. B. die Zustimmung zu einer Reihe von Statements auf einer vierstufigen Skala angeben). Da derartige Antwortmuster die Validität der Ergebnisse beeinflussen, versucht man diese zu entdecken bzw. die Wirkung verschiedener Skalen bei der Beantwortung miteinander zu vergleichen.

• Analyse der Item-Struktur: Um zu überprüfen, ob sich die einzelnen Konstrukte (die mithilfe von Einzelitems gebildet werden) voneinander unterscheiden, werden hauptsächlich mit den neu entwi-ckelten Aufgaben Faktorenanalysen durchgeführt.

Die Ergebnisse dieser Analysen sind im Feldtestbericht über die Fragebögen enthalten, der an alle Teilnehmerländer gesendet wird. Darin sind für jedes Teilnehmerland die Häufigkeitstabellen zu jeder einzelnen Frage im Schul- und Schülerfragebogen enthalten sowie die Ergebnisse der Faktorenanalysen.Die Feldtestanalysen dienen insbesondere der QEG zur Revision der Fragebogenitems. Darüber hinaus wurde speziell in PISA 2006 ein Forum veranstaltet, bei dem die einstellungsbezogenen Fragen, die in den Tests und Fragebögen beinhaltet sind, besprochen wurden. An einem Forum können sowohl die natio-nalen Projektmanager als auch andere involvierte Personen eines Teilnehmerlandes, wie z. B. Expertinnen und Experten, teilnehmen. Die nationalen Projektmanager haben darüber hinaus die Möglichkeit, bei ei-nem NPM-Meeting (National-Project-Manager-Meeting) auf die Feldtestanalysen der Fragebogenitems einzugehen bzw. diese zu besprechen.Auf Grund der Feldtestanalysen, der Anmerkungen aus dem Forum und der Rückmeldungen der nati-onalen Projektmanager entscheidet die QEG, welche Fragen für den Haupttest überarbeitet und darin aufgenommen werden.

2.2 Übersetzung und Verifikation der Kontextfragebögen

Das Wichtigste bei der Übersetzung der Fragebögen ist, dass die Fragen von den Schülerinnen und Schülern sowie Schulleiterinnen und Schulleitern einwandfrei verstanden werden und gleichzeitig die Vergleichbarkeit zwischen den Teilnehmerländern gesichert wird. Die Instruktionen für die Durchführung der Befragung und die Fragen selbst müssen so deutlich wie möglich formuliert sein und für jede/n die gleiche Bedeutung haben.Für die Übersetzung der Fragebögen gelten dieselben Richtlinien wie für die Übersetzung der Testinstrumente. Für eine genaue Beschreibung sei daher an dieser Stelle auf Abschnitt 4.1 in Kapitel III verwiesen. Anhand der folgenden Ausführungen wird jedoch der spezifische Ablauf der Übersetzung und Verifikation der Fragebögen erläutert.2.2.1 Double TranslationDie internationalen Fragebögen (Schul- und Schülerfragebögen) und Optionen stehen den Teilnehmerländern in einer englischen und einer französischen Originalversion zur Verfügung. Wie bei den Testinstrumenten müssen auch hier zunächst zwei unabhängige Übersetzungen erzeugt werden, die anschließend zu einer Version zusammengeführt werden. Die hauptsächliche Übersetzungsarbeit für die Fragebögen erfolgt im Rahmen des Feldtests. In Österreich wurde dazu aus beiden Quellversionen über-setzt (Englisch und Französisch) und am nationalen Zentrum zusammengeführt.2.2.2 Nationale AnpassungenBei der Übersetzung der Fragebögen sind wesentlich mehr nationale Anpassungen nötig als bei den Testaufgaben. Ein Grund dafür ist, dass es in erster Linie auf die Verständlichkeit der Fragen ankommt. Einen weiteren Grund liefert die Tatsache, dass die einzelnen Schulsysteme so verschieden sind, dass die Fragen international unmöglich so formuliert werden können, dass sie auf alle Schulsysteme zutreffen.Alle Begriffe und Ausdrücke, die in vielen Ländern eine Anpassung verlangen, sind in der Quellversion gekennzeichnet. Diese Ausdrücke müssen so übersetzt werden, wie sie tatsächlich von den Schülerinnen und Schülern sowie Lehrerinnen und Lehrern verwendet werden (z. B. „Test“ wird in Österreich mit „Schularbeit“ übersetzt und in Deutschland mit „Klassenarbeit“). Weiters gibt es zu jeder Frage Hinweise


und Erklärungen zur Übersetzung. Wie bei den Testheften müssen auch hier alle Anpassungen in einem standardisierten Adaptionsformular genau dokumentiert werden.2.2.3 Internationale VerifikationAuf Grund der teilweise sehr umfangreichen Anpassungen ist bei der Verifikation der Fragebögen ein Zwischenschritt vorgeschrieben. Dabei beurteilt das internationale Zentrum die internationale Vergleichbarkeit der adaptierten Fragen, bezogen auf den Inhalt der Fragestellung. Indem das nationale Projektzentrum seinerseits das Funktionieren der Frage im eigenen Land sicherstellen muss, erfordert diese Phase einen Diskussionsprozess, bei dem es darum geht, eine für beide Seiten akzeptable Lösung bei allen Adaptionen zu finden.Nach dieser ersten Genehmigung werden die Fragebögen mit der Liste der Anpassungen zur zweiten Verifikation, bei der es vor allem um die sprachliche Verifikation geht, zum Vertragspartner des internati-onalen Zentrums (der für die Verifikation der deutschsprachigen Testinstrumente zuständig ist) gesendet. Dabei werden die Adaptionen noch einmal genau geprüft und, wenn nötig, Änderungsvorschläge von den Verifikatorinnen und Verifikatoren vorgebracht, die mit dem nationalen Zentrum diskutiert werden. Im Anschluss an die Einarbeitung der Verbesserungsvorschläge werden die Fragebögen (ebenso wie die Testinstrumente) einem letzten optischen Check (Final Optical Check) unterzogen (Lang, 2004).2.2.4 ÜbersetzungskooperationIm Zuge der Übersetzungskooperation der deutschsprachigen Länder (vgl. Kapitel III) wurde vereinbart, dass Österreich einen wesentlichen Teil der Übersetzung der Fragebögen übernimmt und eine deutsche Basisversion erstellt („Common German Version“). Diese „Common German Version“ wurde aus zwei unabhängigen Übersetzungen der englischen und französischen Quellversionen am nationalen Zentrum zusammengeführt (siehe „Double Transaltion“). Anschließend wurde diese Version zur Adaption an die deutschsprachigen Länder weitergesendet. Bei der Fragebogenverifikation wird – anders als bei der Verifikation der Testaufgaben – nicht die deutschsprachige Basisversion verifiziert, sondern gleich die jeweilige nationale Version. In Bezug auf die Adaptionen jener Ausdrücke, die in den Originalversionen gekennzeichnet sind, tauschen sich die deutschsprachigen Länder untereinander aus.

3. Der internationale Schülerfragebogen im Haupttest 2006

Der internationale Teil des Schülerfragebogens für den Haupttest besteht aus sieben inhaltlichen Bereichen. Zusätzlich wurde in Österreich die internationale Option über Informations- und Kommunikations-technologien eingesetzt. Zu folgenden Themen werden im Schülerfragebogen Informationen erfasst:• Schülercharakteristiken: Schulstufe, Alter, Geschlecht;• Familiärer Hintergrund: Beruf der Eltern, Schul- und Ausbildung der Eltern, Geburtsland und die

Sprache, die zu Hause am häufigsten gesprochen wird, Besitztümer zu Hause (kulturelle Besitztümer, Computer, zu Hause vorhandene Lernunterlagen, Anzahl der Bücher zu Hause);

• Einstellungen zu Naturwissenschaft: Wertschätzung der Naturwissenschaft (allgemeiner und persönli-cher Nutzen für die Schüler/innen), Freude und Interesse an Naturwissenschaft, Selbstwirksamkeit und Selbstkonzept in Naturwissenschaft, Informationsquellen für naturwissenschaftliche Themen, Teilnahme an naturwissenschaftlichen Aktivitäten;

• Umweltthemen: Kenntnis von Umweltthemen, Besorgnis und Optimismus in Bezug auf Umweltthe-men, Verantwortung gegenüber Ressourcen und der Umwelt, Informationsquellen für Umweltthe-men;

• Unterricht und Lernen in den naturwissenschaftlichen Fächern (Chemie, Biologie und Physik): besuchte Fächer im laufenden Schuljahr, interaktiver Unterricht (Diskussionen im Unterricht), Experimentie-ren im Unterricht, naturwissenschaftliche Untersuchungen entwickeln, durchführen und ausprobie-ren, Anwendungsbezug des Unterrichts, instrumentelle Motivation, zukunftsorientierte Motivation; relative Wichtigkeit, in Naturwissenschaft gut zu sein;


• Unterricht und Lernen: Unterrichtszeit in den naturwissenschaftlichen Fächern, in Mathematik, Deutsch und anderen Fächern;

• Berufe und Naturwissenschaft: Vorbereitung durch die Schule auf einen Beruf, der mit Naturwis-senschaft zu tun hat; Wissen über Berufe, die mit Naturwissenschaft zu tun haben; Frage nach den Berufsvorstellungen der Schüler/innen;

Der Schülerfragebogen wird von den Schülerinnen und Schülern im Anschluss an die Bearbeitung des Testhefts beantwortet, was etwa 30 Minuten in Anspruch nimmt (hinzu kommen 15 Minuten für die Bearbeitung des nationalen Fragebogenteils).

Wie bereits in PISA 2003 nimmt Österreich auch in PISA 2006 an der internationalen Option über Informations- und Kommunikationstechnologien (ICT) teil. Der Fragebogen wurde gegenüber PISA 2003 gekürzt. Um der zunehmenden Vertrautheit der Schüler/innen mit ICT und der Bandbreite an möglichen Aufgaben zu entsprechen, wurde die Skala zur Selbsteinschätzung der Fähigkeiten der Schüler/innen für PISA 2006 aktualisiert. Die Fragen des ICT-Teils werden im Anschluss an den interna-tionalen Fragebogenteil gestellt. In Österreich stellt der ICT-Fragebogen auch eine gute Ergänzung zum nationalen Zusatzprojekt über die Nutzung von Informationstechnologien dar (vgl. Abschnitt 5.1 idK.). Der Fragebogen lässt sich in die folgenden zwei Themenbereiche gliedern:• Nutzung von ICT: Dauer und Häufigkeit der Computernutzung, Nutzung des Computers zuhause,

in der Schule, an einem anderen Ort; Verwendung des Computers für Internet, Spiele, Unterhaltung, Programme nutzen (Dokumente schreiben, Tabellen kalkulieren, Grafikprogramme), Umgang mit Software (u. a. eigenständiges Programmieren)

• Einschätzung der eigenen ICT-Fähigkeiten: Routinetätigkeiten (z. B. ein Textverarbeitungsprogramm verwenden, eine Datei auf dem Computer verschieben, Daten auf eine CD kopieren), Internetfähig-keiten (z. B. chatten, Informationen im Internet suchen, E-Mails schreiben und versenden) sowie „high level tasks“ (z. B. eine Website oder eine Multimedia Präsentation erstellen)

4. Der internationale Schulfragebogen im Haupttest 2006

Im internationalen Schulfragebogen, der von den Schulleiterinnen und Schulleitern ausgefüllt wird, sind in PISA 2006 folgende Bereiche enthalten: • Struktur und Organisation der Schule: Schulstandort und Schulgröße, Management und Finanzierung

(öffentliche/private Finanzierung), Schulstufen, Anzahl an Repetentinnen und Repetenten, Klassen-größen, Unterrichtsorganisation;

• Personal und Schulressourcen: Schulpersonal (Anzahl und formale Qualifikation der Lehrpersonen), Aufgabenverteilung und Einflussnahme, Schulressourcen (Anzahl der Computer, Unterrichtsressour-cen, Materialien, Lehrermangel);

• Rechenschaftspflicht und Aufnahmepraktiken: Vorgehen bei der Leistungsrückmeldung, Rechenschafts-pflicht gegenüber Eltern, Involvierung der Eltern in Bezug auf Leistungsforderungen, Möglichkeiten der Eltern bei der Schulwahl, Aufnahmekriterien;

• Naturwissenschaft und Umwelt: Angebot an Aktivitäten für Schüler/innen, Lehrplan;• Berufsorientierung und weiterführende Ausbildung: Berufsorientierung als Teil des Unterrichts, Mög-

lichkeiten für praktische Erfahrungen, Vermittlung von Fähigkeiten und Wissen, die für eine natur-wissenschaftsbezogene Berufslaufbahn relevant sind, Verantwortlichkeiten für Berufsorientierung.

Die Beantwortung der Fragen dauert etwa 30 Minuten. Die Schulleiter/innen erhalten die Schulfrage-bögen rechtzeitig vor Beginn des Testfensters. Am Tag der Testung werden die ausgefüllten Bögen dann von der Testleitung eingesammelt und mit den anderen Testmaterialien an das nationale Zentrum über-mittelt.


5. Nationale Optionen

Als nationale Option werden bei PISA alle zusätzlichen Fragebögen, die mehr als fünf Items enthalten und die ein Land als Ergänzung zum internationalen Teil stellen möchte, behandelt. Diese nationalen Optionen müssen dem internationalen Zentrum mit einer kurzen Beschreibung der Inhalte und einer Angabe zur Bearbeitungsdauer vorgelegt werden. Die Zusatzerhebungen können an den internationalen Teil des Schüler- und/oder Schulfragebogens angeschlossen werden.In Österreich sind bei PISA 2006 fünf nationale Zusatzerhebungen und einige weitere kleinere Ergänzungen, die in den internationalen Teil integriert wurden, enthalten. Die Zusatzerhebungen, die aus PISA 2000 und 2003 stammen, werden vor jeder Erhebung von den Autorinnen und Autoren über-arbeitet und modifiziert, wobei die zentralen Bestandteile für den Längsschnitt erhalten bleiben. Folgende Themen werden in PISA 2006 erfasst – in Klammer ist jeweils das Jahr, in dem der Fragebogen zum ersten Mal eingesetzt wurde, angegeben:Auf Schul- und Schülerebene:• Nutzung von Informationstechnologien (Claudia Schreiner5; PISA 2000) • Lesegewohnheiten (Margit Böck; PISA 2000) • Qualität in Schulen (Günter Haider; PISA 2000)Auf Schülerebene: • Befindlichkeit und Schulerfolg der Schüler/innen am Übergang zur Sekundarstufe II (Ferdinand Eder;

PISA 2000) • Belastungen in der Schule (Silvia Bergmüller; PISA 2003)Damit die Bearbeitungszeit der Schülerfragebögen nicht zu lang wird, werden die zusätzlichen Themen wiederum – wie in PISA 2000 und 2003 – auf drei Formen (A, B, C) aufgeteilt und im Anschluss an den internationalen Fragebogenteil (der für alle Schüler/innen ident ist) angehängt.Die kürzeren nationalen Ergänzungen, die in den internationalen Teil des Schülerfragebogens integriert wurden, behandeln folgende Themen:• Schüler/innen mit Migrationshintergrund: Besitz der österreichischen Staatsbürgerschaft, die zuhause

am häufigsten gesprochene Sprache sowie Lesen und Schreiben in der Sprache, die zuhause überwie-gend gesprochen wird

• Zeit für Unterricht und Lernen: Unterrichtszeit in einer lebenden Fremdsprache, Nachhilfe- oder För-derunterricht in einer lebenden Fremdsprache, Lernen oder Hausübungen machen in einer lebenden Fremdsprache

• Schullaufbahn der Schüler/innen: diese Ergänzungen stammen aus PISA 2003, wobei nur jene Fragen zur Schulkarriere, die für PISA 2006 relevant erscheinen, übernommen wurden; gefragt wird nach dem Repetieren von Klassen in unterschiedlichen Schulstufen (Grundschule, Sekundarstufe 1 und 2), den Schulnoten in Mathematik, Deutsch, in der ersten lebenden Fremdsprache und in den naturwis-senschaftlichen Fächern; der Zufriedenheit der Schüler/innen mit ihren schulischen Leistungen; den bisher besuchte Schultypen und dem Kindergartenbesuch

Ebenso wurden im Schulfragebogen ergänzende Fragen zum Thema Schüler/innen mit Migrationshintergrund gestellt, die aus dem internationalen Schulfragebogen 2003 mit geringfügigen Modifikationen übernom-men wurden6. Dabei wird der Anteil an Schülerinnen und Schülern nichtdeutscher Muttersprache in der für PISA relevanten Schulstufe sowie das Angebot an speziellen Sprachkursen für Schüler/innen nicht-deutscher Muttersprache (in der relevanten Schulstufe) erfasst.Da in PISA 2006 keine neuen Zusatzerhebungen enthalten sind, wird an dieser Stelle nur eine Kurzbeschreibung der einzelnen Zusatzprojekte gegeben, die auf den Ausführungen der Expertinnen und Experten der jeweiligen Zusatzerhebungen im technischen Bericht zu PISA 2000 (Haider, 2001) und 2003 (Lang, 2004) beruht. Eine detaillierte Beschreibung der Entwicklung der Zusatzerhebungen sowie deren Inhalte finden sich in Lang (2004, Kapitel IV, Abschnitt 7).


5.1 Nutzung von Informationstechnologien

Die Zusatzerhebung „Nutzung von Informationstechnologien“ verfolgt drei zentrale Gesichtspunkte:• Die Nutzung moderner Informationstechnologien wird als Voraussetzung zum lebenslangen Lernen

gesehen (vgl. Baumgartner, Gramlinger, Niedersüss & Neurater, 1998).• Die Nutzung moderner Informationstechnologien gilt als wichtiger Aspekt von Schulqualität.• Die Gewohnheiten der Schüler/innen im Bereich Informationstechnologien können mit anderen Da-

ten – insbesondere Leistungsdaten aus den PISA-Tests – in Verbindung gebracht werden, und somit können Zusammenhänge analysiert und dargestellt werden (Reiter, 2001).

Der Schülerfragebogen „Computer in der Schule“ wurde unverändert aus PISA 2003 übernommen. Die beiden inhaltlichen Bereiche über die Nutzung des Computers und die Verwendung des Internets be-ziehen sich hauptsächlich auf das schulische Umfeld der Jugendlichen. Erfasst wird die Häufigkeit der Computer- und Internetnutzung in den letzten beiden Schuljahren und in verschiedenen Unterrichtsfächern (Deutsch, Fremdsprachen, Mathematik, naturwissenschaftliche Fächer, Geometrisches Zeichnen) so-wie Probleme im Zusammenhang mit der schulischen Computernutzung. Abschließend werden die Schüler/innen zur Computer- und Internetnutzung verschiedener Personen aus dem familiären Umfeld befragt.Der Schulfragebogen „Die Nutzung von Informationstechnologien“ wurde gegenüber 2003 zum Teil aktu-alisiert und ergänzt. Die Gliederung in drei inhaltliche Bereiche wurde beibehalten: der erste Teil bein-haltet Fragen zur Ausstattung, zu Problemen und Praktiken in Bezug auf die Computernutzung an der Schule, im zweiten Teil wird die Internet-Ausstattung der Schule sowie der Umgang der Schule mit dem Internet erfasst. Der dritte Teil umfasst Fragen zur Einschätzung des Stellenwerts der Weiterentwicklung im Bereich moderner Informationstechnologien.Um dem aktuellen Entwicklungsstand im ICT-Bereich entsprechen zu können, wurden Aktualisierungen bei den Fragen nach der Computer- und Internetausstattung vorgenommen. In diesen Bereichen wurden auch Ergänzungen angefügt, um die ICT-Ausstattung der Schulen im Hinblick auf eine etwaige compu-terbasierte bzw. internetbasierte PISA-Testung zu erfassen. Folgende Ergänzungen wurden dabei angefügt: Bezüglich Computerausstattung für den Unterricht wurden zusätzlich zu Verfügbarkeit und Modernität, Bildschirmgröße und Betriebssystem der Arbeitsplätze erfasst. Bezüglich Internetausstattung wurde die Geschwindigkeit des Zugangs (inklusive downloaden einer vorgegebenen Datei, wobei die Zeit gestoppt werden musste), die Verbindung des lokalen Netzwerkes mit dem Internet, der auf den Arbeitsplätzen installierte Internetbrowser sowie die Anzahl an PC-Arbeitsplätzen, von denen aus gleichzeitig auf das Internet zugegriffen werden kann, erhoben. Weiters wurde gefragt, ob die Schule ein Funknetzwerk be-sitzt, wie dieses abgesichert ist, wer dazu Zugang hat und welche Schulbereiche damit abgedeckt sind. Alle weiteren Bereiche wurden unverändert aus PISA 2003 übernommen.

5.2 Lesegewohnheiten/Rahmenbedingungen der Leseförderung

Ziel des Zusatzprojekts „Lesegewohnheiten und Lesesozialisation der 15-/16-Jährigen“ ist die Ermittlung zentraler Dimensionen der Lesegewohnheiten der Jugendlichen, die – vor allem im Zusammenhang mit ihren Testleistungen – Ansatzpunkte für Maßnahmen vor allem der schulischen, aber auch der außer-schulischen Förderung des Lesens liefern sollen. Neben dem Buch als zentralem Lesemedium werden u. a. Zeitungen, Zeitschriften, Comics oder E-Mails thematisiert. Eine kommunikationswissenschaft-liche Perspektive, die „Lesen“ als medienbezogenes soziales Handeln versteht, bildet den theoretischen Hintergrund der Studie (z. B. Böck, 1998; Bonfadelli, 1999).Die Erfassung der Lesegewohnheiten erfolgt anhand von Fragen über die Freude am Buchlesen, die Zahl der in den letzten zwölf Monaten in der Freizeit gelesenen Bücher sowie die Zeitdauer, in der die Jugendlichen zu ihrem Vergnügen lesen (Bücher als auch andere Lesemedien). Weiters werden Fragen zum schulbezogenen Lesen gestellt, wobei zwischen verschiedenen Genres (Schulbüchern, Erzählungen, Gedichten, Sachbüchern, Lexika, Zeitungen, Webseiten) unterschieden wird.


Bei der Lesesozialisation werden vor allem der Stellenwert des Lesens in der Peergroup und die Einstellungen der Schüler/innen zum Lesen erfasst. Ein zentrales Thema der schulischen Leseförderung stellt – neben der Einbindung des Lesens in den Unterricht – die Schulbibliothek dar, wobei es um die Nutzung, die Rahmenbedingungen und die Attraktivität des Angebotes der Schulbibliotheken geht. Ein weiterer wichtiger Aspekt des Zusatzprojekts zur Leseförderung ist die Erfassung des Stellenwerts des Lesens im Kontext anderer Medien, welcher anhand der Medienpräferenz der Jugendlichen ermittelt wird (Böck & Wallner-Paschon, 2002). Im Schulfragebogen „Rahmenbedingungen der Leseförderung an den Schulen“ werden im Speziellen die Bedingungen der Lesesozialisation und Leseförderung erfasst. Dieser Fragebogenteil stellt eine Ergänzung zum Schülerfragebogen dar. Wichtige Themen sind schülerzentrierte Formen der Leseförderung (z. B. Diagnostik, Fördergruppen, Einzelförderung, kreatives Arbeiten mit Texten) und sonstige Maßnahmen zur Leseförderung, insbesondere Aspekte der Schulbibliotheksnutzung.Die Zusatzerhebungen zur Leseförderung im Schüler- und Schulfragebogen 2006 stellen geringfügig mo-difizierte Versionen aus 2003 dar. Durch den Erhalt der zentralen Fragestellungen sind längsschnittliche Betrachtungen möglich. Weitere Informationen zu dieser nationalen Option finden Sie in Böck (2001) sowie in Lang (2004, Kapitel IV, Abschnitt 7.2).

5.3 Belastung in der Schule

Das Zusatzprojekt „Belastung in der Schule“, welches im Schülerfragebogen enthalten ist, gibt Auskunft darüber, ob und wie sehr sich Schüler/innen im schulischen Kontext gestresst fühlen. Dabei wird so-wohl auf Belastungen durch Leistungsanforderungen, als auch durch Lehrpersonen, Mitschüler/innen und Eltern eingegangen. Darüber hinaus werden subjektive Bewertungsprozesse und Strategien zur Stressverarbeitung (Mediatorvariablen) erhoben. Der Inhalt wurde gegenüber PISA 2003 nur minimal modifiziert, so dass Längsschnittanalysen möglich sein werden. Detaillierte Informationen zum theoreti-schen Hintergrund und zur Entwicklung des Fragebogens finden sich in Bergmüller (2003, 2007), sowie in Lang (2004, Kapitel IV, Abschnitt 7.3).Bei der Bewertung der Belastungsintensität sollen die Schüler/innen einstufen, wie sehr sie sich durch vor-gegebene Ereignisse, die sie tatsächlich erlebt haben, geärgert, geängstigt oder gekränkt fühlen. Die Stress-verarbeitungsstrategien werden in Bezug auf zwei spezifische Auslöser (sozialer Stressor, Leistungsstressor) erhoben, wobei sich diese Strategien in hinwendendes vs. abwendendes Coping gliedern. Zusätzlich wird der Konsum von Alkohol und Zigaretten erhoben. Der Bereich Häufigkeit von Beschwerden umfasst so-wohl somatische als auch psychische Beschwerden, die in einem empirisch belegten Zusammenhang mit Belastungen stehen (z. B. Eder, 1996).Zusätzlich werden Informationen über die Auftretenshäufigkeit potenzieller Stressoren erfasst oder auch über die Anzahl an Lehrpersonen und Mitschüler/innen durch die sich der/die Jugendliche gekränkt gefühlt hat. Ebenso wird nach der Verteilung der Beschwerden auf Schul- und Ferienzeit gefragt, und ob auf Grund der vorliegenden Beschwerden professionelle Hilfe in Anspruch genommen wurde.

5.4 Befindlichkeit und Schulerfolg

Der überwiegende Teil der bei PISA getesteten Schüler/innen hat den Übergang von der Sekundarstufe I in die anschließenden Laufbahnen bereits vollzogen und ist soweit integriert, dass eine Abschätzung von Erfolg, Bewährung und Befinden in der neuen Laufbahn mit einer gewissen Zuverlässigkeit erfolgen kann. Damit besteht die Möglichkeit zu analysieren, inwieweit Erfolg und Bewährung in der neuen schulischen oder beruflichen Laufbahn einerseits aus den bestehenden Voraussetzungen an der Schule bzw. bei den Schülerinnen und Schülern, andererseits aus den Erfahrungen in der Sekundarstufe I vorhergesagt wer-den können. Auf diese Weise können z. B. die prognostische Validität von Noten der Sekundarstufe I, die Auswirkungen schulischer Rahmenbedingungen auf die Leistung (z. B. Schultyp, Lage, Schwerpunkte, spezielle Angebote usw.) oder Einflüsse affektiver Voraussetzungen der Schüler/innen auf Erfolg und Bewährung der Schule abgeschätzt werden.


Der Fragebogen wurde bis auf den Allgemeinen Interessen-Strukur-Test (Bergmann & Eder, 1993; 1999; 2005), der in PISA 2000 und 2003 enthalten war, unverändert aus PISA 2003 übernommen. Inhaltlich betrifft das die drei Merkmalsbereiche individuelle Lage der Schüler/innen, Selbstkonzept sowie biogra-fische und persönliche Merkmale. Die Zusammensetzung der Skalen und Items hat sich über die drei Zyklen nicht geändert, wodurch mit den Daten aus 2006 wieder dieselben Indikatoren gebildet werden können.Die individuelle Lage der Schüler/innen wird auf Basis der Leistungssituation (Noten aus den „Hauptgegenständen“), des individuellen Befindens (Gesamtzufriedenheit mit der Schule, Bewältigung des Unterrichts, Integration bei den Lehrerinnen/Lehrern und Mitschülerinnen/Mitschülern) und der Selbstwahrnehmung der Schüler/innen in ihrer schulischen Umwelt erfasst.Die Erfassung des Selbstkonzepts erfolgt mithilfe einer Liste von 20 Statements (basierend auf der Selbstkonzeptliste von Eder, 1995), anhand derer sich die Schüler/innen selbst beschreiben. Dabei wer-den drei Aspekte des Selbstkonzepts erfasst: (1) Allgemeines Selbstwertgefühl (Ausmaß, in dem sich je-mand für eine wertvolle und wichtige Person hält), (2) Leistungsselbstkonzept (Ausmaß, in dem sich jemand für tüchtig hält und über Vertrauen in die eigene Leistungsfähigkeit verfügt) und (3) Soziales Selbstkonzept (Ausmaß, in dem jemand sozial integriert ist bzw. sich für fähig hält, mit anderen in posi-tive soziale Beziehungen einzutreten).Die biografischen und persönlichen Merkmale beziehen sich auf die Erfassung der individuellen Passung zwischen der Person und der jetzt besuchten Schule. Erfragt wird dabei, wie gut die Schule oder der Beruf den Fähigkeiten und Interessen der Schüler/innen entspricht, und ob die Schule/der Beruf im Ganzen gesehen die/der richtige ist. Zusätzlich werden die Jugendlichen noch gefragt, ob sie die Schule/den Beruf ein zweites Mal wählen würden.Eine detaillierte Beschreibung der Entwicklung des Fragebogens sowie der Merkmalsbereiche und Indikatoren finden sich in Eder (2001) sowie in Lang (2004, Kapitel IV, Abschnitt 7.4).

5.5 Qualität in Schulen

Das Q.I.S.-Projekt (Qualität in Schulen, Haider, PISA 2000), bei dem zentrale Qualitätsaspekte von Schulen erfasst werden, ist seit PISA 2000 fixer Bestandteil der nationalen Zusatzerhebungen. Dadurch können Aussagen über Qualitätsentwicklungs- und Sicherungsmaßnahmen an Schulen über die Zeit getroffen werden sowie die Qualitätsinformationen mit den PISA-Outputdaten in Verbindung gebracht werden.Die zentralen Aspekte von Schulqualität werden in fünf Bereiche zusammengefasst, welche die Grundlage für die Konstruktion der Q.I.S.-Schüler- und Schulleiterfragebögen bilden:(1) Qualität des Unterrichts (Lehr- und Erziehungsqualität)(2) Qualität des Lebensraumes Schule/Klasse(3) Schulpartnerschaft und Außenbeziehungen der Schule(4) Qualität des Schulmanagements (Leitung, Organisation)(5) Professionalität und Personalentwicklung bei Lehrerinnen und LehrernEine hohe Qualität in allen Bereichen trägt dazu bei, dass Unterricht und Erziehung mit Erfolg statt-finden.Zur Befragung der Schüler/innen werden die Feedback-Fragebögen, die von einer Salzburger Arbeitsgruppe unter der Leitung von DDr. Günter Haider im Auftrag des BMUKK (vormals bm:bwk) entwickelten wurden (Qualitätsskalen unter dem Titel: „Wie gut ist deine Schule?“), verwendet. Sie sind im Internet unter www.qis.at im Bereich „Methodenpool – Fragebögen“ frei zugänglich. Der Schülerfragebogen zur Qualitätsentwicklung umfasst folgende fünf große Bereiche: (A) Eigenschaften der Klassenlehrer/innen (9 Items), (B) Unterricht der Klassenlehrer/innen (18 Items), (C) Klassenklima (20 Items), (D) Schulklima (22 Items) und (E) Schülerfeedback. Die einzelnen Bereiche werden in Lang (2004, Kapitel IV, Abschnitt 7.5) ausführlich beschrieben.


Im Zentrum des Schulfragebogens stehen konkrete Maßnahmen zur Schulentwicklung und zur Sicherung der Schulqualität. Folgende Informationen werden dabei erhoben: (1) Stand der Durchführung bestimmter Qualitätsmaßnahmen – mit einem neuen Item über systematisches Qualitätsmanagement, (2) Beurteilung wichtiger Rahmenbedingungen für die Qualitätsentwicklung an der Schule, (3) der derzeitige Stand an gesetzlichen Regelungen in Sachen Schulprogramm/Leitbild und Selbstevaluation, der für diese Schule gilt, (4) fördernde und hemmende Personen/Personengruppen in Sachen neuer Qualitätsmaßnahmen, (5) Nutzung der Q.I.S.-Angebote im Internet sowie Kenntnis und Nutzung des Angebots von IMST (Innovations in Mathematics, Science and Technology Teaching Projekt des BMUKK (vormals bm:bwk), (6) eine Bewertung der aktuellen Dringlichkeit der fünf Q.I.S.-Bereiche für die eigene Schule sowie (7) konkrete Maßnahmen im prioritär bewerteten Bereich.Die Angabe konkreter Maßnahmen ist insofern von großer Bedeutung, als der Begriff Qualitätsentwicklung im Zuge der Autonomisierung der Schulen zunehmend zu einem Modebegriff wird, mit dem alle mög-lichen mehr oder weniger systematisierten Maßnahmen bezeichnet werden – darunter auch solche, die nicht den fünf zentralen Aspekten von Schulqualität, wie sie im Rahmen dieses Fragebogens definiert werden, entsprechen. Mehr Informationen dazu finden sich in Haider (2001) sowie Lang (2004, Kapitel IV, Abschnitt 7.5).

6. Qualitätssicherung im Bereich Kontextfragebögen

Die Qualitätssicherung im Bereich der Kontextfragebögen erfolgt ähnlich wie bei den Testinstrumenten und erstreckt sich von der Entwicklung und Konzeption der Fragebögen über die Übersetzung und Adaptionsprozeduren bis hin zu Layout und Druck der Fragebögen.Durch die Prioritätenliste des PGB und das vorläufige Framework werden die Themen festgelegt, über die mithilfe der Kontextfragebögen Informationen gewonnen werden sollen. Die neu entwickelten Fragen werden vor der Überprüfung im Feldtest mit verschiedenen Verfahren („Cognitive Laboratories“) ana-lysiert und in einer Pilotstudie getestet, um sicherzustellen, dass die Fragen richtig verstanden werden und valide Informationen liefern. Durch die Analyse der Feldtestdaten können jene Fragen identifiziert werden, die von vielen Schülerinnen und Schülern sowie Schulleiterinnen und Schulleitern nicht beant-wortet werden (Missings) bzw. zu einem bestimmten Antwortmuster führen, welches die Validität der Ergebnisse beinträchtigen würde.Auch im Übersetzungsprozess gibt es – wie bei den Testinstrumenten – Maßnahmen, die für hohe Qualität sorgen. Dazu gehören unter anderem die Verwendung von zwei Quellversionen bei der Übersetzung, Anmerkungen in den Quellversionen, wie bestimmte Ausdrücke zu übersetzen sind, sowie Vorschriften für die nationale Anpassung von Fragen und der Einsatz von international speziell geschulten Verifikatorinnen und Verifikatoren. Im Zuge der Übersetzung und Adaption der Fragebögen ist ein zu-sätzlicher Zwischenschritt bei der Verifikation vorgeschrieben. Die angestrebten nationalen Anpassungen der einzelnen Fragen müssen zunächst vom internationalen Zentrum verifiziert werden. Damit wird si-chergestellt, dass trotz der verschiedenen Schulsysteme und der daher notwendigen Anpassungen in je-dem Land bei den einzelnen Fragen dennoch dieselben Informationen gewonnen werden (Lang, 2004).

Bibliografie

Baumgartner, G., Gramlinger, F., Niedersüss, D. & Neurauter, T. (1998). Internet und Schule? Linz: Rudolf Trauner.Bergmann, C. & Eder, F. (1993). Allgemeiner-Interessen-Struktur-Test. Weinheim: Beltz Verlag.Bergmann, C. & Eder, F. (2005). Allgemeiner Interessen-Struktur-Test mit Umwelt-Struktur-Test (UST-R)-Revision (AIST-R).

Göttingen: Beltz Test GmbH.Bergmann, C. & Eder, F. (1999). Allgemeiner Interessen-Struktur-Test/Umwelt-Struktur-Test. Manual (AIST/UST), 2., korrig.

Aufl. Göttingen: Beltz Test GmbH.Bloom, B. S., Hastings, J. T. & Madaus, G. F. (Eds.) (1971). Handbook on Formative and Summative Evaluation of Student Lear-

ning. New York: McGraw-Hill.


Bergmüller, S. (2003). Der Stress-Fragebogen für Schüler/innen (SFS). Unveröffentlichte Diplomarbeit, Universität Salzburg.Bergmüller, S. (2007). Schulstress unter Jugendlichen: Entstehungsbedingungen, vermittelnde Prozesse und Folgen: eine empirische

Studie im Rahmen von PISA 2003. Hamburg: KovacBöck, M. (1998). Leseförderung als Kommunikationspolitik. Zum Mediennutzungs- und Leseverhalten sowie zur Situation der

Bibliotheken in Österreich (Neue Aspekte in Kultur- und Kommunikationswissenschaft Nr. 14). Wien: Österreichischer Kunst- und Kulturverlag.

Böck, M. (2001). Lesegewohnheiten. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts, S. 106–112. Innsbruck: StudienVerlag.

Böck, M. & Wallner-Paschon C. (2002). Lesen in der Medienvielfalt. In C. Wallner-Paschon & G. Haider (Hrsg.), PISA PLUS 2000. Thematische Analysen nationaler Projekte (Beiträge zur vergleichenden Schulforschung Bd. 3, S. 35-42). Innsbruck: StudienVerlag.

Bonfadelli, H. (1999). Leser und Leseverhalten heute – Sozialwissenschaftliche Buchlese(r)forschung. In B. Franzmann, K. Hase-mann, D. Löffler & E. Schön (Hrsg.), Handbuch Lesen (S. 86-144). München: Saur.

Carroll, J. B. (1963). A model of school learning. Teacher College Record, 64(8), 723–733. Carroll, J. B. (1975). The Teaching of French as a Foreign Language in Eight Countries. Stockholm: Almqvist and Wiksell, and New

York: WileyEder, F. (Hg.). (1995). Das Befinden von Kindern und Jugendlichen in der Schule. Innsbruck: StudienVerlag.Eder, F. (1996). Schul- und Klassenklima. Ausprägung. Determinanten und Wirkungen des Klimas an weiterführenden Schulen.

Innsbruck: StudienVerlag.Eder, F. (2001). Befindlichkeit und Schulerfolg am Übergang von Sekundarstufe I zu II. In G. Haider (Hrsg.), PISA 2000. Techni-

scher Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts (S. 116–125). Innsbruck: StudienVerlag.Haider, G. (Hrsg.). ( 2001). PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts.

Innsbruck: StudienVerlag.Haider, G. (2001). Qualität in Schulen. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben

des österreichischen PISA Projekts (S. 128–135). Innsbruck: StudienVerlag.Keeves, J. P. (1974). The IEA Science Project. Science Achievement in Three Countries – Australia, the Federal Republic of Germany,

and the United States. In: Implementation of Curricula in Science Education. Cologne, German Commission for the UNESCO, 158-178.

Keeves, J. P. (Hrsg.). (1992). The IEA Study of Science III : Changes in Science Education and Achievement: 1970 to 1984. Oxford: Pergamon.

Lang, B. (2001). Die Testinstrumente und Fragebögen. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts (S. 67–143). Innsbruck: Studienverlag

Lang, B. (2004). Kontextfragebögen. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistun-gen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs: 08.02.2007]

Martin, M. O. & Kelly, D. L. (Hrsg.). (1996). Third International Mathematics and Science Study (TIMSS). Technical Report, Volume 1: Design and Development. Chestnut Hill, MA: Boston College

OECD (1999). PISA Newsletter. Issue 2. September 1999. [WWW Dokument]. Verfügbar unter: http://www.oecd.org/datao-ecd/27/37/33672345.pdf; Datum des Zugriffs: 21.02.2007)

Postlethwaite, T. N. & Wiley, D. E. (1992). Science Achievement in Twenty-Three Countries: The IEA Study of Science II. Oxford: Pergamon.

Reiter, C. (2001). Nutzung von Informationstechnologien. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts (S. 125–128). Innsbruck: Studienverlag

Robitaille D. F. & Garden, R. A. (1989). The IEA Study of Mathematics II: Contexts and Outcomes of School Mathematics. Oxford: Pergamon.

Rosier M. J. & Keeves, J. P. (1991). THE IEA Study of Science I: Science Education and Curricula I Twenty-Three Countries. Ox-ford: Pergamon.

Schmidt, W.H. and Cogan, L.S. (1996). Development of the TIMSS Context Questionnaires. In M.O. Martin and D.L. Kelly (Hrsg.), Third International Mathematics and Science Study (TIMSS). Technical Report, Volume 1: Design and Development. Chestnut Hill, MA: Boston College

1 Das INES Network A der OECD unterstützt die analytische Arbeit der OECD im Bereich PISA. Es ist u. a. für die Sicherung des globalen und zeitlichen Zusammenhangs von PISA verantwortlich, für die Adaption von PISA hinsichtlich sich verän-


dernder Bedürfnisse und Bedingungen – vor allem in Bezug auf konzeptuelle und methodologische Innovationen im Bereich der Schülerleistungserhebungen. Teil der Arbeit des Netzwerkes ist es auch, Maßnahmen zur Erhebung der cross-curricularen Kompetenzen und deren Integration in PISA zu entwickeln, also z. B. auch neue Indikatoren zu entwicklen (OECD, 1999).2 Als grundlegende Modelle des PISA-2006-Kontext-Frameworks sind anzuführen: Das Model of Curriculum Implementation aus dem Handbook of Formative and Summative Evaluation of Student Learning (Bloom, Hastings & Madaus, 1971) – wel-ches in der ersten und zweiten IEA Science Study und in der zweiten IEA Mathematics Study (Keeves, 1974; Keeves, 1992a; Postlethwaite and Wiley, 1992; Robitaille and Garde, 1998 und Rosier & Keeves, 1991) getestet wurde;Carroll’s Model of school Learning (Carroll, 1963; Carroll, 1975);A causal Model of School learning, welches in der zweiten IEA Science Study angewendet wurde und von Carroll’s Model of School learning 1981 abgeleitet wurde (Keeves, 1992a);Das Learning Opportunities Model, das aus dem SMSO stammt (Survey of Mathematics and Science Opportunities; Schmidt et al., 1996) und als konzeptuelles Modell für IEA TIMSS diente (Martin & Kelly 1996).3 PIRLS = Progress in Reading Literacy Study der IEA (International Association for the Evaluation of Educational Achieve-ment); für Informationen siehe http://www.iea-austria.at/pirls/4 TIMSS = Trends in Mathematics and Science Study der IEA; für Informationen siehe http://www.iea-austria.at/timss/5 geb. Reiter6 Der Fragebogen über die Förderung von Schüler/innen nichtdeutscher Muttersprache wurde in PISA 2003 eingesetzt und vom PISA-Zentrum in Deutschland für PISA 2003 entwickelt.

VSimone Breit & Claudia Schreiner

SAMPLING-DESIGN UND STICHPROBEN

V1. Die Zielgruppe von PISA

1.1 „Schülerinnen und Schüler“1.2 „des Altersjahrgangs“1.3 „1990“1.4 „ab der 7. Schulstufe“

2. Von der allgemeinen Defi nition zum konkreten Stichprobenplan2.1 International Desired Target Population2.2 National Desired Target Population2.3 National Defi ned Target Population

3. Das allgemeine Sampling-Design3.1 Stichprobenziehung in zwei Schritten3.2 Stratifi zierung3.3 Kleine und sehr kleine Schulen3.4 Die Auswahl der Schulen3.5 Die Auswahl der Schüler/innen

4. Vorgaben der OECD bezüglich der zu erzielenden Rücklaufquoten4.1 Mindest-Rücklaufquoten auf Schulebene4.2 Mindest-Rücklaufquoten auf Schülerebene

5. Die österreichische Stichprobe im Feldtest 20055.1 Vorgaben für die Feldteststichprobe5.2 Struktur der österreichischen Feldteststichprobe5.3 Auswahl der Schulen

6. Die österreichische Stichprobe im Haupttest 20066.1 Der österreichische Stichprobenplan6.2 Stratifi zierung der Stichprobe6.3 Praktische Umsetzung6.4 Die österreischische Hauptteststichprobe für PISA 20066.5 Zusatzstichproben

7. Qualitätssicherung

Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Haider, 2001) und PISA 2003 (Reiter, 2004). Die Autorin-nen dieses Kapitels danken Günter Haider und Claudia Schreiner (geb. Reiter) für die Bereitstellung der Texte.

Seite 72 V. Sampling-Design und Stichproben

In diesem Kapitel werden grundlegende Festsetzungen und Richtlinien der PISA-Population und Stichprobenziehung beschrieben, sowie die Realisierung der Stichprobe beim Feld- und Haupttest in Österreich erläutert. Basis für dieses Kapitel bilden die entsprechenden Abschnitte der technischen Berichte zu PISA 2000 und 2003: Population und Stichproben (Haider, 2001) bzw. Sampling-Design und Stichproben (Reiter, 2004). Der vorliegende Text stellt eine Überarbeitung und Aktualisierung von Reiter (2004) dar.

1. Die Zielgruppe von PISA

Die Definition der Zielpopulation ist eine der wichtigsten Festlegungen, die bei einer Studie getroffen werden. Da PISA als zyklisches Projekt angelegt ist, und definiertes Ziel von PISA auch ist, Veränderungen in den Grundkompetenzen abbilden zu können, müssen die Entscheidungen, die vor der ersten Haupterhebung im Jahr 2000 getroffen wurden, weiterhin Gültigkeit behalten. Würde man bei so einem wichtigen Merkmal wie der definierten Zielpopulation Änderungen zwischen den Erhebungszeitpunkten akzeptieren, wären Vergleiche zwischen den Ergebnissen der Erhebungszeitpunkte nicht mehr zulässig.Die Definition der Zielpopulation basiert auf mehreren Grundsatzentscheidungen, welche im Detail im technischen Bericht zu PISA 2000 erläutert und im Folgenden nur kurz genannt werden: (1) Aus Gründen der optimalen Vergleichbarkeit der Leistungen über die OECD-Länder hinweg ent-

schied man sich für eine altersbasierte Population. Im Vergleich zur Definition der Zielpopulation über Schulstufen haben bei dieser Variante die getesteten Jugendlichen zwar unterschiedliche Schul-karrieren hinter sich, sie sind aber in allen Länder etwa gleich alt.

(2) Um das kumulierte Ergebnis der Leistungsbemühungen von Elementar- und Sekundarstufe I zu messen, überlegte man sich, die Schüler/innen ungefähr am bzw. nach dem Übergang von der Se-kundarstufe I auf die Sekundarstufe II zu erfassen. Da sehr viele OECD-Staaten eine neun bis zehn Jahre dauernde Schulpflicht haben, entschied man sich dafür, Jugendliche eines Geburtsjahrgangs zu testen, die zum Testzeitpunkt 15/16 Jahre alt sind.

(3) Die OECD entschied außerdem, dass eine reine Schülerkohorte getestet werden soll. PISA trifft daher nur Aussagen über die beschulten Jugendlichen eines Altersjahrgangs, jedoch nicht über alle Personen des Jahrgangs.

(4) Zu diesem Zeitpunkt wurde auch das zweistufige Sampling-Design festgelegt. Damit ist gemeint, dass auf der ersten Stufe Test-Schulen und auf der zweiten Stufe die Schüler/innen für den Test ausgewählt werden.

Für detaillierte Informationen darüber, wie vor PISA 2000 die notwendigen Grundsatzentscheidungen getroffen wurden, sei auf die Ausführungen in Haider (2001) verwiesen. In diesem Kapitel wird nun le-diglich die verwendete Populationsdefinition genauer erklärt.Hauptziel von PISA ist, Grundkompetenzen von Schülerinnen und Schülern am Ende der Pflichtschule zu erheben, zu beschreiben und zwischen verschiedenen Ländern zu vergleichen. Die Population, über die PISA Aussagen machen möchte, ist folgendermaßen definiert: Die Zielpopulation von PISA 2006 sind Schülerinnen und Schüler des Altersjahrgangs 1990 ab der 7. Schulstufe. Im Folgenden werden die einzelnen Aspekte dieser Definition näher erläutert:

1.1 „Schülerinnen und Schüler“

Die OECD entschied, dass in PISA reine Schülerkohorten getestet werden – anstelle einer vollständigen Alterskohorte. Personen des Zielalters, die nicht mehr zur Schule gehen, werden damit nicht erfasst.Getestet werden müssen laut Vorgabe der OECD alle Personen des Zielalters, die im Schuljahr der Erhebung an einer Schule („educational institution“) angemeldet sind; inkludiert sind auch Personen, die diese Schule nur auf einer Teilzeitbasis besuchen (wie zum Beispiel Berufsschüler/innen in Österreich).Das führt natürlich dazu, dass der durch PISA abgedeckte Anteil des gesamten Zielalters zwischen den Ländern variiert. Alle Interpretationen der PISA-Ergebnisse beziehen sich ausschließlich auf die beschul-

Seite 73V. Sampling-Design und Stichproben

te Population des Zielalters; das sind in Mexiko und der Türkei weniger als 60 % der Alterskohorte, in Finnland und Japan praktisch 100 %.Die Erhebung von Grundkompetenzen der Drop-Outs (jene 15-/16-Jährigen, die keine Schule mehr besuchen) wäre zwar wissenschaftlich sehr interessant, wird aber von der OECD – vor allem wegen der schweren Erreichbarkeit dieser Personen und der damit verbundenen Kosten – weiterhin nicht in Erwägung gezogen. In Österreich machen diese Drop-Outs rund 5–6 % der Alterskohorte aus, was im OECD-Vergleich (abgesehen von Mexiko und der Türkei) einen der höchsten Anteile darstellt. Da die nicht erfassten Drop-Outs leistungsmäßig keine zufällige Gruppe sind, sondern großteils aus dem un-teren Bereich der Leistungsverteilung stammen, bedeutet dies in Vergleichen mit Staaten mit weniger oder gar keinen Drop-Outs eine deutliche Überschätzung des PISA-Mittelwerts, als wenn der gesamte Personenjahrgang verglichen würde.

1.2 „des Altersjahrgangs“

Die Populationsdefinition von PISA zeigt weiters, dass PISA eine altersbasierte Stichprobe – im Gegensatz zu einer schulstufenbezogenen – zu Grunde liegt. Eine altersbasierte Populationsdefinition führt einen etwas höheren administrativen Aufwand als schulstufenbezogenes Testen mit sich. Der große Vorteil der Heranziehung des Alters ist, dass dieses leicht definierbar und gut verständlich ist. Unterschiede im Einschulungsalter und eine in manchen Ländern relativ breite Streuung des Alters in den Klassen beein-flussen die Merkmale der Stichprobe nicht so ungünstig wie bei schulstufenbezogenen Designs.

1.3 „1990“

Für PISA wurde eine Altersdefinition gewählt, die Schüler/innen erreicht, die sich in den meisten Ländern gegen Ende der Pflichtschulzeit befinden. Nach den internationalen Vorgaben muss das Alter so festgelegt werden, dass die Schüler/innen zu Beginn des 6-wöchigen Testfensters zwischen 15 Jahren und 3 Monate und 16 Jahren und 2 Monate plus/minus einem Monat alt sind. Für die Testfenster im empfohlenen Zeitraum zwischen März und Mai kann das Alter durch einen vollen Jahrgang, den Altersjahrgang 1990 definiert werden. Da das Testfenster in Österreich von Mitte April bis Ende Mai festgesetzt wurde, um-fasst die Zielpopulation Schüler/innen, die zwischen dem 1. Jänner 1990 und dem 31. Dezember 1990 geboren sind.Vor allem in Ländern der südlichen Hemisphäre, in denen das Testfenster wegen des verschobenen Schuljahres (meist etwa Februar bis Dezember) erst im Spätsommer angesetzt werden kann, muss eine Altersadjustierung vorgenommen werden (also etwa für ein Testfenster beginnend im August Schüler/in-nen, die von Mai 1990 bis inklusive April 1991 geboren sind).

1.4 „ab der 7. Schulstufe“

Eine kleine Änderung in der Definition der Population wurde zwischen PISA 2000 und PISA 2003 vor-genommen: Schüler/innen des Altersjahrgangs 1990, die eine der Schulstufen 1 bis 6 besuchen, sind nicht mehr in der Zielpopulation enthalten. Für OECD-Länder bedeutet das nur eine extrem kleine Änderung, da in diesen Ländern ein vernachlässigbar kleiner Anteil der 15-/16-Jährigen unter Schulstufe 7 anzu-finden ist. In den meisten Nicht-OECD-Ländern befinden sich größere Teile des Zieljahrgangs in den Schulstufen 1 bis 6. Die OECD begründet die Entscheidung, diese Schüler/innen in PISA nicht zu ink-ludieren, wie folgt: „Considering the orientation of PISA as an assessment of the cumulative yield of edu-cation systems and the nature of PISA instruments, it is not really meaningful to assess and report results for students in grades 1-6 […]” (Zitat aus einem Brief des OECD-Sekretariats an die BPC-Mitglieder der Teilnehmerländer). Für Österreich bedeutet dies praktisch keine Änderung, da nur eine sehr kleine Gruppe an Personen des Zieljahrgangs in den Schulstufen 1-6 sind, von denen nach früheren Erfahrungen nur sehr wenige Schüler/innen getestete werden konnten (Details dazu entnehmen Sie Abschnitt 6 idK., das die konkrete Umsetzung der Samplingvorgaben in Österreich für den Haupttest 2006 beschreibt).


2. Von der allgemeinen Definition zum konkreten Stichprobenplan2.1 International Desired Target PopulationDie „international desired target population“, die international gewünschte Zielpopulation, ist im Prinzip jene Population, die durch die oben zitierte und erläuterte Populationsdefinition beschrieben ist. Getestet werden sollen in allen Ländern Schüler/innen, die zu Beginn des Testfensters (das aus maximal 42 aufei-nanderfolgenden Kalendertagen bestehen darf ) zwischen 15 Jahren und 3 Monate und 16 Jahren und 2 Monate alt sind. Nicht angezielt wird die Testung von Schülerinnen und Schülern unter Schulstufe 7 und Schülerinnen und Schülern, die eine Schule im Ausland besuchen.Von internationaler Seite her wird gewünscht, diese Population so weit wie möglich durch die Stichprobe abzudecken, d.h. eine möglichst hohe Abdeckung, die in Form der Coverage-Rate festgehalten wird, zu erzielen.

2.2 National Desired Target Population

Die Festlegung der „national desired target population”, der national gewünschten Zielpopulation, ist die „Übersetzung“ der internationalen Vorgaben in die Begriffe und Strukturen eines Landes. Dabei ist es notwendig, begründete Entscheidungen über Ausschlüsse von Populationsteilen zu treffen. Das internati-onale Projekt-Konsortium und die OECD empfehlen allen Teilnehmerländern, möglichst eine vollständi-ge Abdeckung der international gewünschten Zielpopulation zu erreichen. Alle Abweichungen zwischen der international und der national gewünschten Zielpopulation müssen genau dokumentiert und von internationaler Seite bewilligt werden. Wenn größere Teile der international gewünschten Zielpopulation durch die national gewünschte Zielpopulation nicht abgedeckt sind, führt das dazu, dass die Ergebnisse aus PISA nicht für das gesamte nationale Schulsystem repräsentativ sind. Abweichungen zwischen in-ternational und national gewünschter Zielpopulation können durch die Notwendigkeit entstehen, auf Grund von politischen, organisatorischen oder operationalen Bedingungen zum Beispiel eine kleinere geografisch abgelegene Region oder eine Sprachgruppe auszuschließen.

2.3 National Defined Target Population

Verschiedene Gründe können dazu führen, dass nicht die gesamte gewünschte Population („national desi-red target population“) in der Stichprobe vertreten ist. Mögliche Gründe sind erhöhte Erhebungskosten, hohe Komplexität des Sampling-Designs und/oder schwierige Testbedingungen. Gruppen von Schulen oder Schülerinnen und Schülern, die Teil der national gewünschten, aber nicht Teil der national definier-ten Zielpopulation sind, werden als ausgeschlossene Population bezeichnet. Ausschlüsse können in Form von ganzen Schulen oder einzelnen Schülerinnen und Schülern innerhalb nicht ausgeschlossener Schulen erfolgen. Die von einem Land definierte Zielpopulation, die „national defined target population“, ergibt sich aus „national desired target population“ minus den ausgeschlossenen Schulen und Schülerinnen und Schülern.Das absolute Maximum an zulässigen Ausschlüssen beträgt laut den Vorgaben der OECD auf Schul- und Schülerebene insgesamt 5 %, d. h. dass die „national defined target population“ mindestens 95 % der „national desired target population“ enthalten muss.Auf Schulebene dürfen durch die Teilnahmeländer folgende Ausschlüsse durchgeführt werden:• einzelne Schulen, die auf Grund ihrer geografischen Lage nur sehr schwer erreichbar sind, aber trotz-

dem in der national gewünschten Zielpopulation enthalten sind;• Schulen, die extrem klein sind (unter bestimmten Bedingungen kann die Testung in Schulen mit

maximal 2 Schüler/innen unterlassen werden);• Schulen, in denen die PISA-Testung nicht durchführbar ist.Die Ausschlüsse, die im Sampling-Design eines Landes bei PISA auf Schulebene geplant werden, müssen so klein gehalten werden, dass die ausgeschlossenen Schulen insgesamt maximal 0,5 % aller Schüler/in-nen des Zieljahrgangs enthalten. Umfang, Art und Begründung von Ausschlüssen auf Schulebene müssen dem internationalen Zentrum vorgelegt und von diesem verifiziert werden.


Außerdem besteht die Möglichkeit, Schulen auszuschließen, die ausschließlich Schüler/innen enthalten, die auf Schülerebene ausgeschlossen werden müssen (siehe unten). Dies darf maximal Schulen mit insge-samt 2 % aller Schüler/innen des Zieljahrgangs betreffen.Von internationaler Seite erlaubte Ausschlüsse einzelner Schüler/innen – so genannte Ausschlüsse auf Schülerebene – betreffen Schüler/innen, denen die Teilnahme am Test auf Grund einer schweren dauern-den körperlichen oder geistigen Behinderung nicht zumutbar ist, sowie Schüler/innen, die die Testsprache nicht ausreichend gut beherrschen, wobei dies nur bei Schülerinnen und Schülern Anwendung finden darf, die weniger als ein Jahr in der Sprache des Tests unterrichtet worden sind (die deutschsprachigen Definitionen dieser Ausschlusskategorien finden sich bei der Beschreibung der Umsetzung in Österreich, vgl. Abschnitt 6.1.2 idK.). Das Ausmaß der Ausschlüsse auf Schülerebene muss so gering wie möglich gehalten werden. Für Schüler/innen mit Behinderungen, die eine Sonderschule besuchen, existiert des-halb ein eigenes Testheft mit einfacheren Aufgaben und kürzerer Bearbeitungszeit (vgl. Abschnitt 2.1 in Kapitel III).Schüler/innen, die aus einem der oben genannten Gründe ausgeschlossen werden, dürfen nicht von der Schülerliste genommen, sondern nur durch die Verwendung entsprechender Codes markiert werden, um die vollständige Dokumentation dieser Ausschlüsse sicherzustellen. Ausschlüsse auf Schülerebene aus diesen Gründen dürfen maximal 2,5 % aller Schüler/innen des Zieljahrgangs ausmachen.

3. Das allgemeine Sampling-DesignAuch wenn PISA Aussagen über die Population der 15-/16-Jährigen machen möchte, ist es weder not-wendig noch sinnvoll, alle Schüler/innen des Zieljahrgangs zu testen. Um zuverlässige Schätzer für die Leistungen und andere Merkmale der Schüler/innen zu erhalten, reicht die Testung einer Stichprobe aus, sofern diese groß genug ist und die Auswahl der Schüler/innen gemäß theoretisch fundierten Methoden erfolgt.

3.1 Stichprobenziehung in zwei Schritten

Da für PISA eine Stichprobe von Schüler/innen getestet werden soll, erfolgt die Stichprobenziehung in zwei Schritten, nämlich über den Umweg der Schulen; man spricht von einem so genannten zweistufigen Sampling-Design oder Cluster-Sampling (für Details vgl. z. B. Kish, 1995, S. 148ff). Der erste Schritt betrifft eine Auswahl aus allen Schulen, die von Schülerinnen und Schülern des Jahrgangs 1990 besucht werden. Schulen werden systematisch mit Wahrscheinlichkeiten, die proportional zu ihrer Größe sind, ausgewählt (propabilities proportional to size – PPS). Die Größe einer Schule ist durch die Anzahl an Schüler/innen des Geburtsjahrgangs 1990 definiert. Laut Vorgaben der OECD müssen mindestens 150 Schulen ausgewählt werden.Für den zweiten Schritt muss von jeder ausgewählten Schule eine Liste aller Schüler/innen des Zieljahrgangs vorliegen. Aus dieser werden maximal 35 Schüler/innen nach dem Zufallsprinzip ausgewählt. Sind an ei-ner Schule weniger als 35 Schüler/innen des Jahrgangs 1990, werden alle getestet.Mit einem durchschnittlichen Ausfall von 15 % der Schüler/innen ergeben diese Vorgaben eine reali-sierte Stichprobe von 4500 Schülerinnen und Schülern. Wenn es in einem Land viele kleine Schulen gibt („klein“ bedeutet Schulen mit weniger als 35 Schüler/innen des Zieljahrgangs unabhängig von der Gesamtgröße dieser Schulen), müssen entsprechend mehr Schulen in die Stichprobe aufgenommen wer-den, damit die Mindestvorgabe von 4500 auswertbaren Datensätzen erreicht werden kann.

3.2 Stratifizierung

Um die Präzision der Ergebnisse und die Effizienz der Stichprobe zu steigern, findet beim ersten Samplingschritt von PISA – der Auswahl der Schulen – die Methode der Stratifizierung Anwendung. Dabei werden alle potentiellen PISA-Schulen (Schulen, die 15-/16-Jährige enthalten) in mehrere Gruppen geteilt, aus jeder dieser Gruppen („Strata“) wird dann entsprechend ihrer Größe (= ihres Anteil an der Population der 15-/16-jährigen Schüler/innen) eine bestimmte Anzahl an Schulen ausgewählt.


Für eine erfolgreiche Verwendung von Strata muss die Gruppeneinteilung so gewählt werden, dass die Sampling-Einheiten innerhalb der Gruppen be-züglich der zu messenden Variablen möglichst homogen sind; dadurch kann diese Methode die Effizienz des Samples deutlich steigern. Das bedeutet, dass bei gleicher Stichprobengröße präzi-sere Ergebnisse erzielt werden können (Verminderung der Sampling-Varianz) bzw. ein bestimmter Präzisionsgrad schon mit einer kleineren Stichprobengröße erreicht werden kann. Zusätzlich dazu sichert die Stratifizierung, dass alle re-levanten Teile der Population in der Stichprobe enthalten sind; wird die Schulanzahl je Stratum durch den Anteil des Stratums an der Gesamtpopulation bestimmt, ist auch sichergestellt, dass die Stichprobe „repräsentativ“ für die Population ist. Wenn dies in allen Strata eingehalten wird, erhält man (sofern der Stichprobenausfall sehr gering ist) eine selbst gewichtende Stichprobe. Möchte man aus irgendwelchen Gründen unter-schiedliche Raten in den verschiedenen Strata anwenden, kann dies kontrolliert geschehen, so dass durch entsprechende Gewichtung für die ganze Population „repräsentative“ Ergebnisse berechnet werden können.Bei PISA ist die Verwendung von Strata im Sampling-Manual für alle Länder empfohlen. Bei stark geglie-derten Systemen muss entweder eine Stratifizierung nach Schultypen erfolgen oder die Stichprobengröße deutlich erhöht werden. In Österreich – mit einem gegliederten Schulsystem – ist man in PISA 2006 (wie schon bei PISA 2000 und 2003) den Weg der Stratifizierung nach Schulsparten gegangen (vgl. Abbildung V.1). Diese erfolgt explizit, d. h. in Form der Teilung der Schulpopulation in verschiedene Strata und der getrennten Stichprobenziehung je Stratum.Ein weiterer Anwendungsfall der expliziten Stratifizierung wird im nächsten Abschnitt beschrieben, das der Behandlung kleiner Schulen, bei denen es bei PPS-Samplingprozessen zu Schwierigkeiten bezüglich der Auswahlwahrscheinlichkeit kommt, gewidmet ist.Weiters ist es möglich, in das Sampling-Design auch eine implizite Stratifizierungsvariable mit einzube-ziehen. Nach dieser werden die Schulen vor der systematischen Auswahl nach diesem Merkmal sortiert. Dies dient dem Zweck, eine gute Verteilung über die Gruppen der impliziten Stratifizierungsvariable (im Fall von Österreich wird hier die geografische Lage der Schulen herangezogen) sicherzustellen (umfang-reiche Erläuterungen zur Stratifizierung von Stichproben finden sich u.a. bei Kish, 1995, S. 75ff oder Thomson, 1992, S. 101ff; einen kompakten Überblick über die Vorteile von stratifizierten Stichproben gibt Schwarz, n.d.).

2 Hauptschule3 Polytechnische Schule4 Sonderschule5 Gymnasium6 Realgymnasium & wirtschaftskundliches RG7 Oberstufenrealgymnasium8 Sonstige Allgemeinbildende Schulen/mit Statut9 Berufsschule (technisch/gewerblich)

10 Berufsschule (kaufmännisch/Handel & Verkehr)11 Berufsschule (land- & forstwirtschaftlich)12 BMS (gewerblich/technisch/kunstgewerblich)13 BMS (kaufmännisch)14 BMS (wirtschaftsberuflich/sozialberuflich)15 BMS (land- & forstwirtschaftlich)16 BHS (gewerblich/technisch/kunstgewerblich)17 BHS (kaufmännisch)18 BHS (wirtschaftsberuflich/sozialberuflich)19 BHS (land- & forstwirtschaftlich)20 Anstalten der Lehrer- & Erzieherbildung

explizite Strata

Abbildung V.1: Explizite Stratifizierung in Österreich


3.3 Kleine und sehr kleine Schulen

Bei der Auswahl von Schülerinnen und Schülern mittels Cluster-Sampling sollte die Auswahlwahrschein-lichkeit für jede Schülerin/jeden Schüler des Zieljahrgangs gleich groß sein. Das wird erreicht, indem eine große Schule eine größere Wahrscheinlichkeit hat, im ersten Schritt ausgewählt zu werden, die einzelnen Schüler/innen dieser Schule aber in Relation zu Schülerinnen und Schülern einer kleineren Schule eine vergleichsweise kleine Wahrscheinlichkeit haben, innerhalb der Schule dranzukommen.Da in allen Schulen mit maximal 35 Schülerinnen und Schülern alle Schüler/innen ausgewählt wer-den, ist die Voraussetzung der gleichen Auswahlwahrscheinlichkeiten für alle Schüler/innen mit die-ser Methode für solche kleinen Schulen verletzt: Beträgt die Anzahl der erwarteten Schüler/innen des Zieljahrgangs (MOS – measure of size) in einer Schule nämlich maximal 35, ist es für Schüler/innen dieser Schule – bei normaler Verwendung der MOS – weniger wahrscheinlich, ausgewählt zu werden, als für Schüler/innen von Schulen mit 35 oder mehr Schülerinnen und Schülern. Die Schulen hätten je nach Anzahl der Schüler/innen unterschiedliche Auswahlwahrscheinlichkeiten, für alle Schüler/innen innerhalb so einer Schule beträgt diese aber 100 %. In der Literatur werden verschiedene Möglichkeiten beschrieben, diesem Problem zu begegnen (vgl. Kish, 1995, S. 243ff). Enthält die Population sehr viele kleine Sampling-Einheiten – in unserem Fall viele Schulen mit maximal 35 potentiellen Testschülerinnen und Testschülern –, wird die Einführung eines oder mehrerer zusätzlicher expliziter Strata empfohlen, in denen die kleinen Schulen zusammengefasst werden.

Für PISA wurden diesbezüglich von internationaler Seite klare Richtlinien aufgestellt: Unterschieden werden sehr kleine Schulen (das sind Schulen mit einer MOS von maximal 17) und kleine Schulen (MOS zwischen 18 und 35). Aus der folgenden Tabelle (vgl. Abbildung V.2) geht hervor, wann eigene Strata für kleine und/oder sehr kleine Schulen gebildet werden müssen.Auf Österreich treffen die Angaben aus der ersten Zeile der oben stehenden Tabelle zu, d. h. dass sowohl ein eigenes explizites Stratum für sehr kleine Schulen, als auch eines für kleine Schulen gebildet werden muss. Diese Strata existieren zusätzlich zu den Strata bezüglich der Schulsparten; in letzteren befinden sich nur mehr „große“ Schulen der entsprechenden Schulformen (Schulen mit mehr als 35 erwarteten Schülerinnen und Schülern). In Ländern, in denen keine Strata für kleine Schulen notwendig sind, wird die Auswahlwahrscheinlichkeit für Schüler/innen aus kleinen Schulen durch das Ersetzen der tatsächli-chen MOS durch den Wert 35 korrigiert.Durch die Verwendung eines eigenen Stratums ist es auch möglich, die Samplinggröße für sehr kleine Schulen etwas zu verringern. Dies geschieht nach PISA-Richtlinien um den Faktor 2, wobei dieser Wert in Abhängigkeit vom Anteil der Schüler/innen in sehr kleinen Schulen wieder etwas nach oben korrigiert wird. Dieses Prozedere führt zur Verringerung des administrativen und finanziellen Aufwands. Im Zuge der Gewichtung wird das Untersampling wieder ausgeglichen.

Abbildung V.2: Richtlinien für die Verwendung von Strata für kleine Schulen

sehr kleinen Schulen (MOS max. 17)

kleinen Schulen (MOS 18 bis 35)

1 % oder größer < 4 % Stratum für sehr kleine, aber keines für kleine Schulen

4 % oder größer< 1 % gemeinsames Stratum für sehr kleine und kleine Schulen

< 4 %< 1 % keine Strata für kleine Schulen notwendig

Anteil der Schüler/innen inStrata für kleine Schulen

1 % oder größer 4 % oder größer getrennte Strata für kleine und sehr kleine Schulen


3.4 Die Auswahl der Schulen

Die Ausgangsbasis für die Auswahl der Schulen besteht aus zwei Teilen:(1) Informationen über die Anteile der Schüler/innen der Population an den expliziten Strata;(2) Eine Liste aller Schulen inklusive Daten zur Schulgröße (d. h. in diesem Fall die Anzahl der

Schüler/innen des Jahrgangs 1990) je Stratum. Als so genannte MOS (measure of size) muss meist – mangels aktuellerer Daten – die Anzahl der Schüler/innen des Jahrgangs 1989 im Schuljahr 2004/2005 verwendet werden.

Entsprechend der Verteilung aus (1) werden aus den Listen aus (2) jeweils so viele Schulen gezogen, dass mit der erwarteten Schüleranzahl der Anteil jedes Stratums an der Population so gut wie möglich in der Stichprobe abgebildet wird. Eine Ausnahme bilden – wie erwähnt – die sehr kleinen Schulen. Dieses Stratum kann bei PISA etwas untersampelt werden, d.h. es werden nicht ganz so viele Schulen ausgewählt wie für die genaue Abbildung des Populationsanteils notwendig wären (siehe oben).Innerhalb jedes expliziten Stratums werden die Schulen zuerst nach der festgelegten impliziten Stratifizier-ungsvariable, anschließend je implizitem Stratum entsprechend ihrer Größe abwechselnd auf- und absteigend sortiert. Die Wahrscheinlichkeit einer Schule, ausgewählt zu werden, soll proportional zur Anzahl der 15-/16-Jährigen sein. Dies erfolgt durch die Einbeziehung der kumulierten Häufigkeiten der Schüler/innen in die Stichprobenziehung. Muss man in einem Stratum laut Stichprobenplan aus 10 Schulen mit insgesamt 1000 Schülerinnen und Schülern 5 Schulen auswählen, würde man nicht ein-fach jede zweite Schule ziehen, sondern sozusagen jede/n 200ste/n Schüler/in. Dadurch erhöht sich die Auswahlwahrscheinlichkeit für Schulen mit vielen Schülerinnen und Schülern des Zieljahrgangs. Die Ziehung erfolgt durch die Berechnung eines Sampling-Intervalls (Anzahl der Schüler/innen / erforder-liche Schulanzahl) und die Bestimmung einer Zufallszahl zur Festlegung der ersten auszuwählenden Schule, also in Form eines systematischen PPS-Samplings.Für den Fall, dass einzelne Schulen nicht an PISA teilnehmen können, werden im Zuge der Schulauswahl je gesampelter Schule zwei so genannte Replacement-Schulen gezogen. Diese können für den Fall der Nicht-Teilnahme der gesampelten Schule kontaktiert werden. Die in der Schulliste eines Stratums auf eine gesampelte Schule direkt folgende Schule wird jeweils als erste Replacement-Schule gekennzeichnet. Kann auch diese Schule nicht teilnehmen, kann die auf der Schulliste der gesampelten Schule direkt vorangehende Schule als zweites Replacement kontaktiert werden. Die Einbeziehung von Replacement-Schulen sollte so gering wie möglich gehalten werden, um den Bias („Verzerrung“) der Stichprobe zu minimieren. Bei der Vorgabe von Mindest-Rücklaufquoten auf Schulebene wird deshalb zwischen der Teilnahme von ursprünglich gesampelten und Replacement-Schulen unterschieden (siehe unten).Die Bereitstellung der für den Samplingvorgang notwendigen Daten über die Population liegt in der Verantwortung der nationalen Projektzentren. Für den Haupttest 2006 übernahm Westat (als Teil des internationalen Konsortiums) die Ziehung der Schulstichprobe. Den nationalen Zentren kam dabei eine Kontrollfunktion zu.

3.5 Die Auswahl der Schüler/innen

Die Auswahl der Schüler/innen kann erst im Lauf des Screening-Prozesses erfolgen. Sobald die ausge-wählten Schulen kontaktiert sind und sich zur Teilnahme bereit erklärt haben, ist es notwendig, eine Liste aller Schüler/innen des Zieljahrgangs an das nationale Projektzentrum zu übermitteln. Falls diese Liste 35 Schüler/innen oder weniger enthält, werden alle Schüler/innen ausgewählt. Umfasst diese mehr als 35, müssen nach einem Zufallsprinzip 35 Schüler/innen ausgewählt werden. Dies geschieht durch die vom internationalen Zentrum – in erster Linie für die Dateneingabe – entwickelte Software. Die Sampling-Funktion dieses Programms wählt je Schule nach einem Zufallsalgorithmus 35 Schüler/innen aus. Dieser Vorgang produziert allerdings keine einfache Zufallsstichprobe, sondern führt eine systemati-sche Stichprobenziehung durch, welche eine so genannte Pseudo-Zufallsstichprobe erzeugt. Vorteile einer systematischen Ziehung gegenüber einer einfachen Zufallsauswahl sind die einfachere Durchführung und die Garantie, dass die Stichprobe gleichmäßig über die Population (in diesem Fall über die Schüler/in-


nen der Schule) streut. Für die Ziehung muss ein Sampling-Intervall (Anzahl der Schüler/innen auf der Liste / 35) berechnet und eine Zufallszahl bestimmt werden. Durch letztere wird festgelegt, welche Zeile der Schülerliste als erste ausgewählt wird, ab dort wird jede/r x-te Schüler/in (x steht für das Sampling-Intervall) als ausgewählt markiert.

4. Vorgaben der OECD bezüglich der zu erzielenden RücklaufquotenZur Minimierung möglicher Verzerrungen der Stichprobe enthalten die PISA-Qualitäts-Standards Vorgaben für Mindest-Rücklaufquoten auf Schul- und Schülerebene. Diese existieren unabhängig von-einander, d. h. das Erreichen einer höheren Rücklaufquote auf Schulebene lockert die Vorgaben für die Mindest-Rücklaufquote auf Schülerebene nicht und umgekehrt.

4.1 Mindest-Rücklaufquoten auf Schulebene

Die internationale Vorgabe bezüglich des Rücklaufs auf Schulebene lautet, dass mindestens 85 % der ursprünglich ausgewählten Schulen teilnehmen müssen. Nicht teilnehmende Schulen können aber durch die Heranziehung von Replacement-Schulen ersetzt werden, so dass auch mit einer geringeren Rücklaufquote in der „ersten Welle“ der Sample-Schulen noch eine Chance besteht, die Anforderungen bezüglich des Rücklaufs auf Schulebene zu erfüllen. Allerdings ist bei der Verwendung von Replacement-Schulen nicht garantiert, dass der durch Nonresponse möglicherweise entstehende Bias reduziert wird.Drei Kategorien von Rücklaufquoten sind von internationaler Seite her definiert worden, welche in Abbildung V.3 veranschaulicht werden:• Acceptable: Rücklaufquoten von über 85 % ohne Replacements (1.) oder Rücklaufquoten ohne Re-

placement zwischen 65 und 85 Prozent mit entsprechender Erhöhung dieser durch die Einbeziehung von Replacement-Schulen (2.); Daten von Ländern mit einem Rücklauf in dieser Kategorie werden in die internationalen Vergleiche aufgenommen.

• Intermediate: Rücklaufquoten ohne Replacement zwischen 65 und 85 Prozent, die die erforderliche Erhöhung der Rücklaufquote durch Replacement-Schulen nicht erreichen (3.); die Aufnahme der Daten eines Landes mit einer als „intermediate“ einzustufenden Rücklaufquote in die internationalen Vergleiche ist von Entschei-dungen der zuständigen internationalen Gremien abhängig.

• Not Acceptable: Rücklauf-quoten ohne Replacement unter 65 % (4.); Daten mit Rücklaufquoten unter 65 % werden nur in die internationalen Vergleiche aufgenommen, wenn das nationale Projektzentrum nachweisen kann, dass der vermutliche Nonresponse-Bias unbedeutend ist.

Schulen mit einem Rücklauf auf Schülerebene unter 50 % zäh-len für die Rücklaufstatistiken als nicht teilgenommen. Ihre Daten werden aber in die Datenbank aufgenommen, so-fern der Rücklauf zumindest Abbildung V.3: Standards für Rücklaufquoten auf Schulebene

Rücklauf ohne Replacements

60 %

65 %

70 %

75 %

80 %

85 %

90 %

95 %

100 %

(3.)Intermediate

Rüc

klau

f ink

lusi

ve R

epla

cem

ents

(4.)Not Acceptable

(1.)(2.)

Acceptable

65 % 70 % 75 % 80 % 90 % 95 % 100 %85 %0


25 % beträgt. Daten aus Schulen mit einem internen Rücklauf unter 25 % werden bei den Analysen nicht berücksichtigt, weil das Risiko einer durch den Nonresponse stark verzerrten Stichprobe innerhalb der Schule als zu groß eingestuft wird.

4.2 Mindest-Rücklaufquoten auf Schülerebene

Zusätzlich zum Erfüllen der Rücklaufvorgaben auf Schulebene muss auf Schülerebene mindestens eine Rücklaufquote von 80 % erreicht werden (über alle teilnehmenden Sample- und Replacement-Schulen hinweg berechnet). Die Abhaltung von so genannten Nachtests (der Wiederholung des PISA-Tests für am Testtag fehlende Schüler/innen in einer Schule; vgl. Kapitel VI) kann notwendig werden, wenn am PISA-Testtag zu viele Schüler/innen einer Schule abwesend sind.Die Schüler-Rücklaufquote muss auf nationaler Ebene erreicht werden, nicht in jeder einzelnen Schule. Für Entscheidungen über die Qualität der erzielten Stichprobe eines Landes werden gewichtete Rücklaufquoten herangezogen.

5. Die österreichische Stichprobe im Feldtest 2005

5.1 Vorgaben für die Feldteststichprobe

Die Stichprobe eines Feldtests bestimmt zu großen Teilen, ob der Feldtest seine Funktion erfüllen kann. Im Vordergrund für den Feldtest von PISA 2006 stand vor allem die Erprobung der neu entwickelten Testaufgaben in Naturwissenschaften sowie einiger neuer Fragebogenitems. In einem Feldtest werden natürlich auch immer die Erhebungsprozeduren getestet; diese stehen bei diesem Feldtest aber eher im Hintergrund, weil sich die Prozeduren gegenüber dem Haupttest 2000 und 2003 nur geringfügig geän-dert haben, also in diesem Bereich vor allem die Erprobung dieser kleineren Neuerungen im Mittelpunkt stand. Aus diesem Grund richten sich die Vorgaben bezüglich der Feldteststichprobe vor allem nach der Menge des Testmaterials, aus dem für den Haupttest ausgewählt werden soll.Um die Materialien testen zu können, ist es wichtig, eine Feldteststichprobe zu verwenden, die die we-sentlichen Teile der Population (und damit der zu erwartenden Hauptteststichprobe) abdeckt. Folgende Vorgaben wurden von internationaler Seite für die Feldteststichprobe aufgestellt:• Für Länder, deren Feldtest zwischen 1. März und 31. Mai durchgeführt wird, ist die Definition des

Zielalters der Geburtsjahrgang 1989.• Für jede der 12 Testheftformen müssen 100 Schüler/innen getestet werden. Das ergibt eine Mindest-

größe von 1200 Personen für die realisierte Feldteststichprobe.• Je Schule werden 35 Schüler/innen getestet, sofern es 35 oder mehr Schüler/innen des Zieljahrgangs

gibt, in Schulen mit weniger 15-/16-jährigen alle Schüler/innen des Zieljahrgangs.• Die Schulstichprobe muss nicht als reine Zufallsstichprobe ermittelt werden. Es ist zulässig, „günstige“

Schulen auszuwählen, sofern die im Folgenden angeführten Punkte berücksichtigt werden:• Die Stichprobe muss Schüler/innen aus verschiedenen Schultypen umfassen, in denen sich signi-

fikante Teile 15-/16-Jähriger befinden.• Die Stichprobe muss Schulen mit den verschiedenen von 15-/16-Jährigen besuchten Schulstufen

enthalten.• Die Stichprobe sollte Schüler/innen verschiedener demografischer und sozio-ökonomischer Grup-

pen umfassen (z.B. verschiedene geografische Regionen, städtische und ländliche Regionen etc.).

5.2 Struktur der österreichischen Feldteststichprobe

Um die Vorgaben zu erfüllen, dass die Feldteststichprobe Schüler/innen aller relevanten Teile der Population der 15-/16-Jährigen umfasst, orientiert sich das österreichische Sampling-Design für den Feldtest 2005 an zwei Merkmalen: der geografischen Lage der Schulen (nach Bundesland) und der Schulform (re-präsentiert durch die 20 Strata, die die österreichischen Schulformen zu Gruppen zusammenfassen). Als Ausgangspunkt wurde die Verteilung der erforderlichen 51 Feldtestschulen auf diese beiden Variablen


festgelegt (dies entspricht den Randhäufigkeiten von Abbildung V.4). Die Anzahl zu testender Schulen wurde je nach Größe des Bundeslandes festgelegt.Schüler/innen aus Stratum 04 (Sonderschulen) wurden in den Feldtest von PISA 2006 nicht einbezo-gen, weil für den Feldtest international kein spezielles Testheft für Schüler/innen mit sonderpädagogi-schem Förderbedarf vorgesehen war. Die PISA-Prozeduren konnten schon im Feld- und Haupttest 2000 und 2003 im Setting der Sonderschulen erfolgreich erprobt werden. Weiters wurde aus pragmatischen Gründen auf die Einbeziehung von Schulen aus dem sehr kleinen Stratum 8 verzichtet.Die Anzahl der zu testenden Schulen je Stratum wurde auf Grund der Anzahl der Schüler/innen in diesem Stratum bestimmt. Die konkrete Verteilung der Schulen auf die möglichen Bundesland-Stratum-Kombinationen wurde durch eine Zufallsauswahl bestimmt. Mehrfachauswahlen wurden nicht zugelas-sen. Das Ergebnis der Festlegungen und der darauf folgenden Zufallsauswahl enthält Abbildung V.4.

5.3 Auswahl der Schulen

Durch den Samplingplan aus Abbildung V.4 ist festgelegt, aus welchen Bundesland-Stratum-Kombinationen jeweils eine Schule ausgewählt werden muss. Für die konkrete Auswahl der Feldtest-Schulen wurde für jede dieser Kombinationen eine Liste aller Schulen mit 15-/16-Jährigen aus der

Abbildung V.4: Struktur der Stichprobe für den Feldtest 2005

Randhäufigkeiten - vorgegeben Bur

genl

and

Kär

tnen

Nie

derö

ster

r.

Obe

röst

err.

Sal

zbur

g

Ste

ierm

ark

Tiro

l

Vor

arlb

erg

Wie

n

2 3 10 9 3 8 5 3 8

2 Hauptschule 3

3 Polytechnische Schule 5

4 Sonderschule 0

5 Gymnasium 5

6 Realgymnasium & wirtschaftskundliches RG 5

7 Oberstufenrealgymnasium 2

8 Sonstige Allgemeinbildende Schulen/mit Statut 0

9 Berufsschule (technisch/gewerblich) 5

10 Berufsschule (kaufmännisch/Handel & Verkehr) 2

11 Berufsschule (land- & forstwirtschaftlich) 1

12 BMS (gewerblich/technisch/kunstgewerblich) 2

13 BMS (kaufmännisch) 4

14 BMS (wirtschaftsberuflich/sozialberuflich) 4

15 BMS (land- & forstwirtschaftlich) 2

16 BHS (gewerblich/technisch/kunstgewerblich) 3

17 BHS (kaufmännisch) 4

18 BHS (wirtschaftlichsberuflich/sozialberuflich) 2

19 BHS (land- & forstwirtschaftlich) 1

20 Anstalten der Lehrer- & Erzieherbildung 1

� � �

� ��

� � � � �

� � � � �

� �

� � � � �

� �

�

� �

� � ��

� � � �

��

� � �

� � � �

� �

�

�


Schulstatistik des Schuljahrs 2003/2004 des BMUKK erstellt. Schulen, die an der Haupterhebung von PISA 2003 teilgenommen hatten, wurden aus diesen Listen entfernt, um die Belastung durch mehrmalige Testungen in verschiedenen Jahren zu verkleinern (in einem Feldtest ist dies ohne Probleme möglich, bei der Stichprobenziehung für Haupterhebungen kann darauf keine Rücksicht genommen werden).Aus jeder dieser Listen wurde dann zufällig eine Schule ausgewählt. Die auf der Liste benachbarten Schulen wurden als erste und zweite Replacement-Schule notiert.Abbildung V.5 gibt einen Überblick über die aus dieser Prozedur resultierende Stichprobe. Die Anzahl der Schulen entspricht den in Abbildung V.4 festgelegten Randhäufigkeiten. Bei der Schüleranzahl je Stratum handelt es sich um eine Schätzung auf Basis der Schuldatenbank, die dem Feldtestsampling zu Grunde liegt.

6. Die österreichische Stichprobe im Haupttest 2006

6.1 Der österreichische Stichprobenplan

Auf der Basis der Populationsdefinition muss in jedem Land die national gewünschte sowie die national definierte Zielpopulation festgelegt werden. Dazu ist es notwendig, Populationsgrößen zu bestimmen, Schätzungen für die Anteile an Ausschlüssen verschiedener Art anzustellen und die Datenbasis, die als Grundlage für die konkrete Ziehung von Schulen herangezogen werden soll, festzulegen.

Abbildung V.5: Die österreichische Stichprobe für den Feldtest 2005



Stratum Anzahl Prozent

Schüler/innen (erwartet)

Schulen (gezogen)

GESAMT

3 46 2.8 %

5 172 10.3 %

- - -

5 173 10.4 %

5 175 10.5 %

2 70 4.2 %

- - -

5 175 10.5 %

2 61 3.7 %

1 22 1.3 %

2 70 4.2 %

4 127 7.6 %

4 130 7.8 %

2 70 4.2 %

3 105 6.3 %

4 140 8.4 %

2 70 4.2 %

1 28 1.7 %

1 35 2.1 %

51 100.0 %1672


6.1.1 National Desired Target PopulationDie national gewünschte Zielpopulation für Österreich entspricht der durch die OECD festgelegten in-ternational gewünschten Zielpopulation für PISA. Die genaue Altersdefinition (die – wie oben erwähnt – in Abhängigkeit vom Testzeitpunkt gewählt werden muss) umfasst für Österreich für den PISA-Haupttest 2006 den vollständigen Geburtsjahrgang 1990. Das Testfenster für den PISA-Haupttest 2006 wurde in Österreich auf den Zeitraum von 20. April bis 31. Mai 2006 festgelegt. Weiters ist die PISA-Population entsprechend der internationalen Vorgaben auf Schüler/innen, die zumindest die 7. Schulstufe erreicht haben, beschränkt.Laut Statistik Austria umfasst die Alterskohorte (Anzahl der Personen des Jahrgangs 1989 zum Stichtag 1.10.2004) 97.337 Personen. 92.273 Personen davon waren laut Schulstatistik im Schuljahr 2004/05 an einer österreichischen Schule angemeldet. 124 Schüler/innen, das sind 0,13 %, befanden sich in den Schulstufen 1 bis 6 und werden deshalb nicht zur PISA-Zielgruppe gezählt. Da auf eine natio-nale Einschränkung der Zielpopulation in Österreich verzichtet wurde, wird die national gewünschte Zielpopulation (national desired target population) auf Basis der Daten der Statistik Austria und der ös-terreichischen Schulstatistik (Schuljahr 2004/05 bzw. 2003/04) auf 92.149 Personen geschätzt. Auf Basis dieser Schätzungen befinden sich 5,3 % der Alterskohorte nicht mehr in Schulen oder unterhalb der 7. Schulstufe; diese sind durch die PISA-Population nicht abgedeckt.6.1.2 National Defined Target PopulationIn Österreich wurde auf Ausschlüsse auf Schulebene vor der Testung vollständig verzichtet. Die Option, extrem kleine Schulen nicht zu testen (vgl. Abschnitt 2 idK.), wäre in Österreich problematisch, weil dadurch bestimmte Schulen systematisch ausgeschlossen würden, vor allem nämlich Sonderschulen und kleine Hauptschulen. Eine Analyse der Daten von PISA 2000 ergab, dass sich die gemessenen Leistungen der Schüler/innen aus Schulen, in denen maximal zwei Personen getestet werden konnten, signifikant von jener der anderen Schüler/innen unterschieden.Ausschlüsse auf Schulebene können allerdings dadurch entstehen, dass alle Schüler/innen einer inkludierten Schule aus bestimmten Gründen (siehe unten) von der Testung ausgeschlossen werden müssen. Das wird in den internationalen Rücklaufstatistiken ebenfalls als Ausschluss auf Schulebene gewertet (auch wenn dieser im Sampling-Plan nicht berücksichtigt ist).

Abbildung V.6: Mögliche Gründe für Ausschlüsse auf Schülerebene

A

B

C

Ausschließungsgründe auf Schülerebene

Der ausgewählte Schüler oder die ausgewählte Schülerin weist eine so schwere dauernde körperliche Behinderung auf, dass eine Teilnahme am PISA-Test entweder nicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist. Körperlich behinderte Schüler/innen, die den Test bearbeiten können, sollen einbezogen werden.

Der ausgewählte Schüler oder die ausgwählte Schülerin weist eine so schwere dauernde geistige Behinderung auf, dass eine Teilnahme am PISA-Test entweder nicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist. D.h., diese Schüler/innen sind nicht in der Lage, den Anweisungen in der Testsitzung zu folgen. Schüler/innen, die nur schlechte Leistungen erbringen oder disziplinäre Probleme haben, sollen NICHT von der Testsitzung ausgeschlossen werden.

Der ausgewählte Schüler oder die ausgwählte Schülerin ist nichtdeutscher Mutter-sprache, er oder sie befindet sich erst weniger als ein Jahr in Österreich und es mangelt ihm oder ihr an Deutschkenntnissen, sodass ein Verstehen der Anleitungen und der Testaufgaben nicht möglich ist. Schüler/innen, die bereits länger als einJahr als ordentliche Schüler/innen in Österreich eine Schule besuchen, dürfen nicht ausgeschlossen werden.


Ausschlüsse auf Schülerebene können nicht vollständig vermieden werden. Die Definition der drei zu-lässigen Ausschlusskategorien auf Schülerebene, so wie sie in Österreich verwendet wurde, findet sich in Abbildung V.6. Die Definitionen und Formulierungen wurden entsprechend der internationalen Vorgaben so gewählt, dass möglichst wenige Schüler/innen vom Test ausgeschlossen wurden. Auf Basis der Daten aus PISA 2000 wurden die Anteile an aus oben genannten Gründen ausgeschlossenen Schüler/innen auf unter 1 %, bei PISA 2003 auf rund 1,5 % geschätzt. In PISA 2003 mussten 0,8 % der ausgewählten Schüler/innen auf Grund von starker dauernder geistiger oder körperlicher Behinderung sowie 0,6 % wegen mangelnder Deutschkenntnisse vor dem PISA-Test ausgeschlossen werden. Bei PISA 2006 sind ebenfalls Ausschlussquoten in dieser Größenordnung zu erwarten.6.1.3 Die dem Sampling zu Grunde liegende DatenbasisLetzter Baustein des Stichprobenplans ist die Festlegung der Datenbasis, anhand derer die Stichproben-ziehung erfolgen soll. In Österreich steht hierfür die österreichische Schulstatistik zur Verfügung. Die Auswahl der PISA-Schulen musste im Herbst vor der Haupttestung (November 2005) abgeschlossen sein, um genügend Zeit für die Vorlaufinformationen und die Einladung der Schulen zur Verfügung zu haben (vgl. Kapitel VI).Zu diesem Zeitpunkt stand die Schuldatenbank des Schuljahrs 2004/05 zur Verfügung. Diese wurde zur Ziehung der Schulen herangezogen. Als Basis für die Auswahl der Schulen muss für jede Schule eine so genannte „measure of size“ (MOS) festgelegt werden, die eine Schätzung der Größe der Schule ist. Für PISA wird die Schulgröße als Anzahl 15-/16-jähriger Schüler/innen der Schule definiert. Die Anzahl der Schüler/innen des Geburtsjahrgangs 1989 im Schuljahr 2004/05 dient als Schätzung der zu erwartenden Anzahl testbarer Schüler/innen in einer Schule. Nach dieser richtet sich die Wahrscheinlichkeit einer Schule, für den PISA-Test ausgewählt zu werden.

6.2 Stratifizierung der Stichprobe

6.2.1 Explizite Stratifizierung

Die Populationsdefinition bedeutet, dass für den PISA-Test Schüler/innen aus fast allen Schultypen, die es in Österreich gibt, in Frage kommen. Da das österreichische Schulsystem ein stark gegliedertes ist und ein relativ hoher Zusammenhang zwischen den Schulsparten – vor allem im Altersbereich der PISA-Schü-ler/innen – und den zu erhebenden Merkmale zu erwarten ist, ist es notwendig, diese Struktureigenschaft bei der Stichprobenziehung zu berücksichtigen.Vor dem ersten PISA-Feldtest im Jahr 1999 wurden im Einvernehmen mit dem BMUKK die Schulformen zu 20 Gruppen zusammengefasst. Diese gehen in den Prozess der Auswahl der PISA-Schulen in Form einer expliziten Stratifizierungsvariable ein. Je Stratum werden so viele Schulen gezogen, dass die erwarte-te Anzahl zu testender Schüler/innen proportional zum Anteil des Stratums an der gesamten Population ist.

6.2.2 Kleine und sehr kleine Schulen

Die internationalen Samplingregeln schreiben vor, wie kleine und sehr kleine Schulen beim Sampling zu behandeln sind (vgl. Abschnitt 3.3 idK.). In Österreich befinden sich knapp 11 % der 15-/16- jährigen Schüler/innen in Schulen mit maximal 17 Zielschülerinnen und Zielschülern (sehr klei-nen Schulen) und ca. 15 % in Schulen mit 17 bis 35 Zielschülerinnen und Zielschülern (kleinen Schulen). Da, wie in Abbildung V.2 ersichtlich ist, ab 1 % Schüler/innen in sehr kleinen Schulen und 4 % Schüler/innen in kleinen Schulen eigene explizite Strata für diese beiden Schul-Gruppen einzuführen sind, werden die expliziten Strata entsprechend der Schulformen durch Strata für klei-ne Schulen ergänzt. In den 20 Strata, die durch die Gruppierung der Schulformen entstehen, werden nur jene Schulen berücksichtigt, für die über 35 Zielschüler/innen zu erwarten sind. Alle Schulen, unabhängig von der Schulsparte, mit 17 bis 35 zu erwartenden Zielschülerinnen und Zielschülern


werden dem Stratum 21 für kleine Schulen zugeteilt; alle sehr kleinen Schulen (mit maximal 17 zu erwar-tenden Schülerinnen und Schülern) werden in Stratum 22 zusammengefasst.Für Stratum 22 wurde auch in Österreich etwa um den Faktor 2 untersampelt, um den Administrations-aufwand der PISA-Erhebung deutlich zu verringern, wobei nur geringe Auswirkungen auf die Präzision der Ergebnisse in Kauf genommen werden müssen (vgl. dazu Abschnitt 3.3).

6.2.3 Implizite Stratifizierung

Um die regionale Streuung der Schüler/innen in der Stichprobe sicherzustellen, wird die geografische Lage der Schulen in Form von impliziter Stratifizierung berücksichtigt. Dies erfolgt durch die Sortierung der Schulen nach Bezirken innerhalb jedes expliziten Stratums. In den beiden Strata für kleine und sehr kleine Schulen wird als implizite Stratifizierungsvariable die Schulsparte herangezogen.

6.3 Praktische Umsetzung

6.3.1 Die Ziehung der Schulstichprobe

Für die Stichprobenziehung bei PISA 2006 war eine enge Zusammenarbeit zwischen dem nationalen und dem internationalen Projektzentrum erforderlich. Sampling betreffende Angelegenheiten nimmt Westat (USA) für das internationale Zentrum wahr. Die im Folgenden beschriebenen 5 Schritte waren notwen-dig, um die Schulstichprobe zu bestimmen:1. Schritt: SamplingplanDie Festlegung der national definierten Zielpopulation erfolgt durch das nationale Projektzentrum. Dies wird mittels standardisierter Formulare dokumentiert, um dem internationalen Zentrum die Beurteilung des Samplingplans zu ermöglichen. 2. Schritt: Sampling Frame erstellenSobald der nationale Samplingplan von internationaler Seite bewilligt ist, kann das nationale Zentrum die Datenbasis für die Stichprobenziehung erstellen. Dazu muss eine Liste aller Schulen, in denen sich 15-/16-Jährige befinden, erstellt werden. Diese Liste (der so genannte Sampling Frame) muss Angaben zu jeder Schule umfassen, die die Zuordnung der Schule zu einem expliziten sowie einem impliziten Stratum ermöglichen, sowie die oben erwähnte MOS (measure of size).3. Schritt: Bestimmung der Populationsanteile in den expliziten StrataAuf Basis des Sampling Frames wird für die Zielpopulation bestimmt, welche Anteile an Schüler/innen sich in den einzelnen expliziten Strata befinden. Daraus wird bestimmt, wie viele Schulen in jedem der Strata gezogen werden müssen, um eine realisierte Stichprobe von 4500 Schülerinnen und Schülern zu erreichen. Abbildung V.7 (siehe nächste Seite) zeigt das Ergebnis dieser Analyse. Insgesamt müssen 213 Schulen aus 20 Strata gezogen werden. Das ursprünglichen Stratum 04 (Sonderschulen) enthält nur Schulen mit maximal 35 Zielschülerinnen und Zielschülern, weshalb diese ausschließlich in den Strata 21 und 22 vertreten sind. Das für Volksschulen angelegte Stratum 01 ist seit PISA 2003 auf Grund der geänderten Populationsdefinition – Schüler/innen ab der 7. Schulstufe – hinfällig.4. Schritt: Ziehung der Schulstichprobe durch WestatDie Auswahl der Schulen in den einzelnen Strata erfolgt nach Sortierung der Schulen entsprechend der impliziten Stratifizierungsvariablen durch ein PPS-Samplingverfahren (probabilities proportional to size). Die Ziehung der Schulstichprobe erfolgte – wie schon 2003 – auf Basis des Samplingplans und des Sampling Frames durch Westat.5. Schritt: Verifikation der Schulstichprobe durch das nationale ProjektzentrumIm letzten Schritt wird die Auswahl der Schulen durch das nationale Zentrum überprüft. Eventuell fest-gestellte Probleme werden mit dem internationalen Zentrum diskutiert und gegebenenfalls korrigiert.


6.3.2 Auswahl der Schüler/innenIm Lauf des Screenings (der Kontaktaufnahme mit den Schulen) werden von den PISA-Schulen Schülerlisten erhoben. Diese müssen alle Schüler/innen, die in der Populationsdefinition enthalten sind, umfassen. Aus diesen Schülerlisten wird – sofern diese mehr als 35 Schüler/innen umfassen – zentral durch das PISA-Zentrum die Schülerstichprobe gezogen. Umfasst eine Liste 35 Schüler/innen oder we-niger, werden alle Schüler/innen für den PISA-Test ausgewählt.Die Auswahl der 35 Testschüler/innen erfolgt zufällig. Nach Sortierung der vollständigen Liste nach dem Geburtsdatum der Schüler/innen werden mit Hilfe einer Zufallszahl (zur Bestimmung des/der ersten aus-zuwählenden Schülers/in) und eines berechneten Samplingintervalls 35 Schüler/innen ausgewählt (sys-tematische Stichprobenziehung). Die Auswahl der Schülerstichprobe erfolgt computergestützt mit Hilfe der von A.C.E.R. (hauptsächlich für Dateneingabe und -management) entwickelten Software KeyQuest (vgl. Abschnitt 2 in Kapitel X).

Abbildung V.7: Verteilung der Population auf die expliziten Strata

(gerundet) (angepasst1)

2 Hauptschule

3 Polytechnische Schule

5 Gymnasium

6 Realgymnasium & wirtschaftskundl. RG

7 Oberstufenrealgymnasium

9 Berufsschule (technisch/gewerblich)

10 Berufsschule (kaufm./Handel & Verkehr)

12 BMS (gewerblich/technisch/kunstgewerbl.)

13 BMS (kaufmännisch)

14 BMS (wirtschaftsberuflich/sozialberuflich)

15 BMS (land- & forstwirtschaftlich)

16 BHS (gewerblich/technisch/kunstgewerbl.)

17 BHS (kaufmännisch)

18 BHS (wirtschaftsberuflich/sozialberuflich)

19 BHS (land- & forstwirtschaftlich)

20 Anstalten f. Lehrer- & Erzieherbildung

21 Kleine Schulen (18–35 Schüler/innen)

22 Sehr kleine Schulen (1–17 Schüler/innen)

100.00 % 202 2131 Angepasst an die Vorgabe je Stratum mindestens 2 Schulen zu testen.

Stra

ta fü

r gro

ße S

chul

en

GESAMT

explizites Stratum

Populationskennwerte

Anteil (%) an Population

Anteil (%) an Schüler/innen

in großen Schulen

Anzahl an Schulen in Stichprobe

-

8 Sonstige Allgemeinb. Schulen (mit Statut)

11 Berufsschule (land- & forstwirtschaftlich)

0.14 % 0.19 % 0 2

6.26 % 8.40 % 10 10

5.56 % 7.48 % 9 9

5.32 % 7.14 % 8 8

4.94 % 6.64 % 8 8

0.08 % 0.11 % 0 2

11.89 % 15.98 % 19 22

3.71 % 4.98 % 6 7

0.13 % 0.17 % 0 2

1.94 % 2.61 % 3 3

1.67 % 2.25 % 3 3

2.56 % 3.44 % 4 4

3.22 % 4.33 % 5 5

10.59 % 14.23 % 17 17

8.44 % 11.33 % 13 13

5.98 % 8.03 % 9 9

0.46 % 0.62 % 1 2

1.53 % 2.05 % 2 2

14.81 % - 33 33

10.76 % - 52 52

2 Angepasst um die größeren Ausfälle in Berufsschulen ausgleichen zu können.

1

1

1

1

2

2


6.4 Die österreichische Hauptteststichprobe für PISA 2006

Abbildung V.8 zeigt die Zusammensetzung der Stichprobe für den PISA-Haupttest 2006. Die Angaben über die Schulen entsprechen der Anzahl tatsächlich ausgewählter Schulen je Stratum. Bei den Angaben zur Anzahl der Schüler/innen handelt es sich um Schätzungen auf der Basis der Daten des Schuljahres 2004/2005.

6.5 Zusatzstichproben

Sowohl im Feld- als auch im Haupttest wurden in Österreich zusätzliche Stichproben realisiert.(1) Im Feldtest fand für das internationale Zusatzprojekt „Computer Based Assessment of Science“

(CBAS) bei einer Stichprobe von 50 zusätzlichen Schulen ein Pilotversuch zur Durchführung der PISA-Testung auf Laptops statt. Die Schüler/innen bearbeiteten PISA-Aufgaben sowohl auf dem Laptop als auch auf „traditionelle“ Art mit Papier und Bleistift. Details zur Zusammensetzung dieser Stichprobe sowie zu diesem Projekt im Allgemeinen finden sich in Kapitel XI.

(2) Die österreichischen Waldorfschulen entschieden sich – wie bei PISA 2000 und 2003 – am Haupttest von PISA 2006 teilzunehmen. Die Stichprobe umfasst alle 10 österreichischen Waldorfschulen, wo-bei je Schule maximal 35 Schüler/innen des Jahrgangs 1990 getestet wurden. In allen Waldorfschulen bedeutet das eine Vollerhebung dieses Geburtsjahrgangs.

Abbildung V.8: Die österreichische Hauptteststichprobe für PISA 2006

Anzahl Prozent

2 Hauptschule 3 Polytechnische Schule 5 Gymnasium 6 Realgymnasium & wirtschaftskundliches RG 7 Oberstufenrealgymnasium


10 Berufsschule (kaufmännisch/Handel & Verkehr)

12 BMS (gewerblich/technisch/kunstgewerblich)13 BMS (kaufmännisch)14 BMS (wirtschaftsberuflich/sozialberuflich)15 BMS (land- & forstwirtschaftlich)16 BHS (gewerblich/technisch/kunstgewerblich)17 BHS (kaufmännisch)18 BHS (wirtschaftsberuflich/sozialberuflich)19 BHS (land- & forstwirtschaftlich)

20 Anstalten der Lehrer- & Erzieherbildung

21 Kleine Schulen (18-35 Schüler/innen)22 Sehr kleine Schulen (1-17 Schüler/innen)

explizites Stratum Schüler/innen (erwartet)Schulen (gezogen)

Stra

ta fü

r gro

ße S

chul

en

8 Sonstige Allgemeinb. Schulen mit Statut

11 Berufsschule (forst- und landwirtschaftlich)

2 70 1.2 %

10 350 6.2 %

9 315 5.6 %

8 280 5.0 %

8 280 5.0 %

2 70 1.2 %

22 770 13.7 %

7 245 4.4 %

2 29 0.5 %

3 105 1.9 %

3 105 1.9 %

4 140 2.5 %

5 175 3.1 %

17 595 10.6 %

13 455 8.1 %

9 315 5.6 %

2 70 1.2 %

2 70 1.2 %

33 860 15.3 %

52 329 5.8 %

213 5628 100.0 %


7. QualitätssicherungDie Qualität der Stichprobe einer Untersuchung wird im Wesentlichen durch die Art und Weise, wie die Stichprobe ermittelt wird, bestimmt. Ein post-hoc erbrachter Nachweis über die Güte der Zusammensetzung oder Größe der realisierten Stichprobe kann angemessene Prozeduren und eine kor-rekte Vorgangsweise bei der Selektion nicht ersetzen.Bei PISA entspricht der Samplingplan modernen statistischen Methoden. Die PISA-Stichprobe wird auf beiden Ebenen – Schulen und Schüler/innen – in Form von Wahrscheinlichkeitssamples (probability samples) ermittelt. Die Präzision der Stichprobe (und gleichzeitig auch deren Effizienz) werden durch die Verwendung sinnvoller Stratifizierungsvariablen deutlich verbessert.Ein weiteres wichtiges Kriterium ergibt sich aus der Tatsache, dass PISA eine international vergleichende Studie ist. Vergleichbarkeit zwischen den Ländern wird durch mehrere Maßnahmen sichergestellt:• Dem Sampling liegen eindeutige, für alle Länder verpflichtende Vorgaben der OECD zu Grunde

(Populationsdefinition, Stichprobengröße, Art der Stichprobenziehung, Mindest-Rücklaufquoten).• Wie diese Vorgaben umgesetzt werden können, ist in dem vom internationalen Projektzentrum er-

stellen Sampling-Manual genau festgelegt. Dieses operationalisiert die Qualitätsstandards der OECD und beschreibt im Detail, wie bei der Definition der national gewünschten Zielpopulation sowie der Ziehung der Stichprobe vorgegangen werden muss.

• In Form mehrerer Formulare wird der Stichprobenplan sowie die Stichprobenziehung in allen Län-dern im Detail und in vergleichbarer Weise dokumentiert.

• Die Ziehung der Stichprobe erfolgt für alle Länder durch Westat, den für das Sampling verantwortli-chen Partner des internationalen Projektkonsortiums, die Überprüfung der Korrektheit der Stichpro-benziehung in enger Kooperation zwischen Westat und den nationalen Projektzentren.

Ein weiteres notwendiges Qualitätskriterium einer Stichprobe ist die Einhaltung der Vorgaben bezüglich der Rücklaufquoten. Diesem Bereich ist ein eigenes Kapitel in der vorliegenden Publikation gewidmet (vgl. Kapitel VII).Ein wichtiges Qualitätsmerkmal von PISA insgesamt ist die Durchführung eines Feldtests. Das gezielte Austesten von Instrumenten, Vercodungsrichtlinien oder verschiedenen im Lauf der Studie notwendigen Prozeduren wird hierbei als wichtige Qualitätslenkungsmaßnahme angesehen und trägt wesentlich zur Qualitätssteigerung in diesen Bereichen bei. Beim Sampling hingegen spielt das Testen der notwendigen Prozeduren im Rahmen des Feldtests – vor allem im dritten Erhebungszyklus – eine eher untergeordnete Rolle; verschiedene Qualitätsmerkmale der Feldteststichprobe – vor allem die Zusammensetzung dieser sowie ausreichende Rücklaufquoten – stellen jedoch sicher, dass in vielen anderen Bereichen der Feldtest die Funktion der Qualitätssicherung erfüllt.

BibliografieHaider, G. (2001). Population und Stichproben. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stich-

proben des österreichischen PISA Projekts (S. 146–163). Innsbruck: StudienVerlag.Kish, L. (1995). Survey Sampling. New York [u.a.]: Wiley.Reiter, C. (2004). Sampling: Sampling-Design und Stichproben. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Ver-

gleich von Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs: 08.02.2007]

Schwarz, C. J. (nicht datiert). http://www.stat.sfu.ca/~cschwarz/Stat-650/Notes/Handouts/node52.html.Thompson, S. K. (1992). Sampling. New York [u.a.]: Wiley.Reiter, C. (2004): Sampling-Design und Stichproben. In C. Reiter, B. Lang & G. Haider, (Hrsg.), PISA 2003 – Internationaler

Vergleich von Schülerleistungen. Technischer Bericht. www.pisa-austria.at/pisa2003/index2.htm (7.12.2004).

VIVIVSimone Breit

TESTORGANISATION UND DURCHFÜHRUNG

VI1. Chronologischer Überblick über den Ablauf der Testorganisation

2. Kooperation mit Schulen und Schulbehörden2.1 Information der Schulbehörden und Schulaufsicht2.2 Information der Schulleitung – Aufgaben der Schulleitung

3. Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK)3.1 Erstellung ud Übermittlung einer Schülerliste an das nationale Zentrum3.2 Kontrolle und Ergänzung der PISA-Schülerliste3.3 Termin- und Raumplanung3.4 Information der Schüler/innen, Eltern und Lehrer/innen3.5 Schulfragebogen3.6 Aufgaben am Testtag

4. Druck, Vorbereitung und Rücklauf der Erhebungsinstrumente4.1 Druck und Kontrolle der Erhebungsinstrumente4.2 Etikettierung der Testhefte und Fragebögen4.3 Verpackung und Verteilung des Erhebungsmaterials4.4 Rücklaufkontrolle der Schulpakete

5. Aufgaben der Testleiter/innen (TL)5.1 Kontaktaufnahme mit den TL5.2 Teilnahme an der Schulung für TL5.3 Terminvereinbarung mit den SK5.4 Aufgaben am Testtag5.5 Durchführung eines Nachtests5.6 Ablieferung des Testmaterials

6. Qualitätssicherung bei der Testorganisation und -durchführung6.1 Der Feldtest als Probelauf6.2 Kontakte mit Schulen bzw. SK6.3 Qualitätssicherung bei Vorbereitung und Organisation der Erhebungsmaterialien6.4 Qualität und Testadministration

Dieser Text basiert auf dem entsprechenden Kapitel bei PISA 2003 (Pointinger, 2004). Die Autorin dieses Kapitels dankt Martin Pointinger für die Bereitstellung des Textes.

Seite 90 VI. Testorganisation und Durchführung

In diesem Kapitel werden die wichtigsten Tätigkeiten beschrieben, die im Zusammenhang mit der Durchführung der Tests an den Schulen von oder in Kooperation mit Personen außerhalb des nati-onalen Projektzentrums durchgeführt wurden. Chronologisch betrachtet beginnt dieser Abschnitt bei der Kontaktaufnahme mit den Testleiterinnen und Testleitern und endet bei der Rücklaufkontrolle der Testmaterialien im nationalen Projektzentrum.

1. Chronologischer Überblick über den Ablauf der TestorganisationAbbildung VI.1 gibt in tabellarischer Form einen Überblick über die zeitliche Abfolge der wichtigsten Tätigkeiten im Bereich der Testorganisation und -durchführung.

2. Kooperation mit Schulen und SchulbehördenFür den Erfolg und die Qualität der PISA-Studie ist die Teilnahme möglichst aller, per Zufall ausge-wählter Schulen von entscheidender Bedeutung. Aus diesem Grund ist es eine wesentliche Aufgabe, die Schulen von der Wichtigkeit ihres Mitwirkens an PISA zu überzeugen. In diesem Zusammenhang ist die enge Kooperation zwischen dem nationalen Projektzentrum (ZVB) und dem BMUKK sowie die Unterstützung des Projekts durch die Schulbehörden von enormer Bedeutung.

2.1 Information der Schulbehörden und Schulaufsicht

Nach der Auswahl der Schulen durch das internationale Zentrum und der Überprüfung der Schulstich-probe durch das nationale Projektzentrum und das bm:bwk erfolgt die Kontaktaufnahme mit den zu-ständigen Schulbehörden. Die Landesschulratspräsidentinnen und Landesschulratspräsidenten werden in einem persönlichen Brief der damaligen Frau Bundesminister Gehrer über die Durchführung der Studie informiert und gebeten, diese in ihrem jeweiligen Wirkungsbereich zu unterstützen. Einige Tage später werden sowohl die Landesschulräte als auch die Landesschulinspektorinnen und Landesschulinspektoren vom nationalen Projektzentrum in einer Aussendung im Detail über die Durchführung und den Ablauf der Studie informiert. In dieser Aussendung sind eine Liste der für PISA ausgewählten Schulen ihres Zuständigkeitsbereichs und Informationsmaterialien zur PISA-Studie enthalten.

Abbildung VI.1 Chronologie der Testorganisation beim Haupttest 2006

Monat Tätigkeiten

Mitteilung der ausgewählten Schulen durch das internationale Zentrum

Kontaktaufnahme mit den Testleiterinnen

Dez. 05 Information der zuständigen Schulbehörden

Einladung der ausgewählten Schulen zur Teilnahme

Ernennung einer Ansprechperson an der Schule (SK) durch Schulleitung

Übermittlung einer Liste aller Schüler/innen des Geburtsjahrgangs 1990

Ziehung der Schülerstichproben (max. 35 Schüler/innen pro Schule)

Druck, Kontrolle, Etikettierung und Verpackung der Testmaterialien

Mitteilung der ausgewählten Schüler/innen an den/die SK

Information der ausgewählten Schüler/innen und deren Eltern

Vereinbarung der Testtermine mit den Testleiterinnen und Testleitern

April 06 Regionale Schulung der Testleiter/innen

Durchführung der Testsitzungen an den Schulen (20.04. bis 31.05.)

Abholung der Testmaterialien aus den Bundesländern

Nov. 05

März 06

Mai 06

Jän. 06

Feb. 06

Okt. 05

Seite 91VI. Testorganisation und Durchführung

2.2 Information der Schulleitung – Aufgaben der Schulleitung

Die Schulleiter/innen der ausgewählten Schulen wurden Anfang des Jahres 2006 vom nationalen Projektzentrum in einer Aussendung über das Projekt informiert und zur Teilnahme eingeladen. Um die Beteiligung möglichst aller ausgewählten Schulen zu erreichen, wird versucht, den Aufwand für die Schulen möglichst gering zu halten. Erfreulicherweise nahmen beim Haupttest 2006 alle ursprüng-lich ausgewählten Schulen an PISA teil, und es musste keine der bereits beim Sampling ausgewählten Ersatzschulen kontaktiert werden.Die Schulleitung hat die Aufgabe, in der Schule eine Kontaktperson, die Schulkoordinatorin/den Schulkoordinator (im Folgenden kurz SK genannt), zu ernennen. Diese/r fungiert als Ansprechpartner/in für das nationale Projektzentrum (ZVB) und ist für die weiteren organisatorischen Tätigkeiten bei der Erhebung an der Schule verantwortlich. Die Rolle der/des SK kann von Lehrerinnen und Lehrern, der Schuladministratorin bzw. dem Schuladministrator oder auch von der Schulleitung selbst übernommen werden.Die Schulleitung wird außerdem gebeten, bis zum Testtermin einen Fragebogen mit Angaben zur Schule (Kontextfragebogen auf Schulebene) zu beantworten.

3. Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK)In jeder Schule wird von der Schulleitung eine Person bestimmt, die für die weiteren Tätigkeiten bzw. den weiteren Kontakt mit dem nationalen Projektzentrum zuständig ist. Die SK erhalten für diese Tätigkeiten eine Aufwandsentschädigung. Die einzelnen Aufgaben der SK werden im Folgenden beschrieben.

3.1 Erstellung und Übermittlung einer Schülerliste an das nationale Zentrum

Im Informationsschreiben, das an die Schulleiter/innen gesendet wird, ist bereits erstes Informationsmaterial für die SK enthalten. Sie werden ersucht, eine Liste aller Schüler/innen des ausgewählten Schultyps mit dem Geburtsjahrgang 1990 an das ZVB zu senden. Die Liste sollte – neben Kontaktinformationen zu Schule und SK – für jede Schülerin und jeden Schüler folgende Informationen enthalten: • Vor- und Nachname • Klasse • Schulstufe • Geschlecht• Geburtsdatum• Lehrberuf (nur in Berufsschulen)Um den Schulen die Arbeit zu vereinfachen und um die Formate der Schülerlisten zu vereinheitlichen, werden den SK eine Anleitung zur Erstellung der Liste und ein Muster zur Verfügung gestellt. In einem speziell für die SK eingerichteten Bereich auf der Homepage des nationalen Projektzentrums konnte dar-über hinaus eine elektronische Vorlage der Schülerliste heruntergeladen werden. Die übermittelten Schülerlisten werden von Mitarbeiterinnen und Mitarbeitern des ZVB hinsichtlich ihrer Vollständigkeit kontrolliert und in ein einheitliches elektronisches Format gebracht. Fehlen auf den Listen notwendige Informationen, werden die Schulen telefonisch kontaktiert und um zusätzliche Auskünfte gebeten.Die Daten der formatierten Listen werden anschließend in ein speziell für PISA entwickeltes Software-Programm mit dem Namen KeyQuest importiert. Diese Software wird zur Verwaltung der Schul- und Schülerdaten verwendet. Das Programm KeyQuest wird in Abschnitt 2 von Kapitel X beschrieben.Da laut Stichprobendesign in jeder Schule maximal 35 Schüler/innen getestet werden, ist es bei Schulen mit mehr als 35 Schüler/innen des Geburtsjahrganges 1990 notwendig, eine Zufallsstichprobe zu ziehen. Diese Aufgabe wird mit dem Programm KeyQuest realisiert. Bei Schulen mit weniger als 35 Schülerinnen und Schülern nehmen automatisch alle Zielschüler/innen an PISA teil. Nach der Ziehung der Schülerstichprobe jeder Schule wird eine so genannte PISA-Schülerliste erstellt, auf der alle Schüler/innen aufgelistet sind, die an der jeweiligen Schule für PISA ausgewählt wurden.


Nur diese Schüler/innen dürfen an der Studie teilnehmen. Die PISA-Schülerliste ist ein sehr wichti-ges Dokument bei der Durchführung der Erhebung. Sie dient neben der Auflistung der ausgewählten Schüler/innen auch der Dokumentation der Teilnahme der Schüler/innen und ordnet jeder Schülerin und jedem Schüler mit Hilfe einer Identifikationsnummer das Testmaterial zu. Im Detail wird die PISA-Schülerliste in Abschnitt 5 dieses Kapitels beschrieben.

3.2 Kontrolle und Ergänzung der PISA-Schülerliste

Etwa Mitte März werden die PISA-Schülerlisten in einer zweiten Aussendung den SK übermittelt. Diese müssen anschließend die Liste kontrollieren und für jede Schülerin und jeden Schüler eintragen, ob sonderpädagogischer Förderbedarf oder mangelnde Sprachkenntnisse bestehen. Die SK müssen weiters – nach vorgegebenen Richtlinien – entscheiden, ob die Schüler/innen mit Förderbedarf oder mangelnden Sprachkenntnissen in der Lage sind, an PISA teilzunehmen. Näheres zur Schülerliste und den Richtlinien für den Ausschluss von Schülerinnen und Schülern ist in Abschnitt 5 dieses Kapitels zu finden.

3.3 Termin- und Raumplanung

Der/Die SK vereinbart gemeinsam mit der Testleiterin oder dem Testleiter (schulfremde Person, die den Test an der Schule durchführt; im Folgenden kurz TL genannt) den Termin für den Test. Als Testtermin muss ein Schultag im festgelegten, sechswöchigen Testfenster, das in Österreich beim Haupttest 2006 von 20. April bis 31. Mai 2006 dauerte, gewählt werden. Weiters ist es Aufgabe des/der SK, einen geeigneten Testraum für diesen Termin zu organisieren.

3.4 Information der Schüler/innen, Eltern und Lehrer/innen

Die zur Teilnahme an PISA ausgewählten Schüler/innen und deren Eltern werden über die PISA-Studie mit einem vom nationalen Projektzentrum verfassten Schreiben und einer Broschüre informiert. In die-sem Schreiben wird den Schülerinnen und Schülern sowie den Eltern auch mitgeteilt, dass die Teilnahme an PISA freiwillig ist und dass sowohl die Schüler/innen als auch deren Eltern die Möglichkeit haben, sich bzw. ihr Kind vom Test abzumelden. Die SK sollen allerdings versuchen, die Schüler/innen bzw. deren Eltern von der Wichtigkeit der Teilnahme möglichst aller ausgewählten Schüler/innen zu überzeugen. Die SK haben weiters die Aufgabe, die Lehrer/innen der Schule darüber zu informieren, welche Schüler/innen am PISA-Test teilnehmen und an welchem Termin der Test stattfindet.

3.5 Schulfragebogen

Die zweite Aussendung enthält einen Schulfragebogen, der wesentliche Kontextdaten der Schule und des Lernumfelds erhebt. Die Schulleitung füllt diesen Fragebogen bis zum Testtermin aus und der/die SK trägt dafür Verantwortung, dass der Fragebogen am Testtag dem/der TL übergeben wird.

3.6 Aufgaben am Testtag

Am Testtag empfängt der/die SK den/die TL ungefähr eine Stunde vor dem vereinbarten Testbeginn, um ihm/ihr den Testraum zu zeigen und ihn/sie eventuell bei Vorbereitungsmaßnahmen zu unterstützen. Anschließend bespricht der/die SK mit dem/der TL die PISA-Schülerliste und meldet gegebenenfalls Änderungen auf der Liste. Der/die TL hat die Aufgabe, die Eintragungen des/der SK zu Förderbedarf und mangelnden Sprachkenntnissen auf seine PISA-Schülerliste zu übertragen. Daher soll die PISA-Schülerliste des/der SK nach der Durchführung des Tests für mögliche Rückfragen noch einige Wochen in der Schule aufbewahrt werden. Der/Die SK hat weiters dafür Sorge zu tragen, dass alle ausgewählten Schüler/innen am Testtag zum ver-einbarten Termin zum Testraum kommen. Gemeinsam mit dem/der TL empfängt und begrüßt er/sie die Schüler/innen und unterstützt den/die TL bei der Anwesenheitskontrolle. Während der Testsitzung ist die Anwesenheit des/der SK nicht erforderlich, der/die TL soll allerdings für diesen Zeitraum wissen, wo der/die SK oder die Schulleitung erreichbar sind. Details zum Ablauf der PISA-Testsitzung finden Sie in Abschnitt 5 idK.


4. Druck, Vorbereitung und Rücklauf der ErhebungsinstrumenteNach Übersetzung, nationaler Anpassung, Layoutierung und Verifikation (siehe Kapitel III und IV) werden die Erhebungsinstrumente (Testhefte, Fragebögen) gedruckt. In diesem Abschnitt werden die notwendigen Schritte von der Übermittlung der Druckvorlagen an die Druckerei bis zur Übergabe der Schulpakete an die TL beschrieben. In Abschnitt 4.4 idK. wird weiters die Rücklaufkontrolle, die am nationalen Zentrum nach der Abholung der Testmaterialien von den Sammelstellen durchgeführt wird, dargestellt.

4.1 Druck und Kontrolle der Erhebungsinstrumente

Nachdem die Erhebungsinstrumente vom internationalen Zentrum überprüft und genehmigt sind, können diese gedruckt werden. Der Auftrag zum Druck der Testhefte und Fragebögen wurde beim Haupttest 2006 an eine Druckerei vergeben, nur die Materialien für Schulen, an denen Anfang März eine Testsitzung stattfand, wurden in einem Copyshop vervielfältigt. Mitte Februar wurden der Druckerei die ersten Instrumente übergeben. Innerhalb von etwa zwei Wochen wurden alle Erhebungsmaterialien von der Druckerei an das nationale Projektzentrum geliefert.Die Erhebungsmaterialien werden anschließend von Mitarbeiterinnen und Mitarbeitern des nationalen Zentrums einer Qualitätskontrolle unterzogen. Dabei wird jedes einzelne Instrument vollständig durch-geblättert und auf Druckfehler oder sonstige Defekte kontrolliert und gegebenenfalls aussortiert.

4.2 Etikettierung der Testhefte und Fragebögen

Da die korrekte Zuordnung der Testhefte und Fragebögen zu den teilnehmenden Schülerinnen und Schülern ein wichtiges Kriterium bei PISA ist, muss auch die Etikettierung nach vorgegebenen Regeln erfolgen.Die 13 verschiedenen Testheftformen mit jeweils unterschiedlichen Aufgabenkombinationen werden gleichmäßig über alle Schüler/innen rotiert. In der Praxis wird dies gewährleistet, indem in jeder Schule jeweils eine Testheftform für die erste Schülerin oder den ersten Schüler per Zufallszahl bestimmt wird und die restlichen Schüler/innen die jeweils folgenden Testheftformen erhalten. Festgelegt und doku-mentiert wird die Zuordnung der unterschiedlichen Testheftformen zu den einzelnen Schülerinnen und Schülern auf der PISA-Schülerliste.Die drei Fragebogenformen werden ebenfalls über die Schüler/innen einer Schule rotiert, wobei die Fragebogenform der ersten Schülerin oder des ersten Schülers auf der PISA-Schülerliste über die – nach dem Zufallsprinzip festgelegte – Testheftform bestimmt wird. Durch dieses Rotationsschema wird sicher-gestellt, dass die Fragebogenformen gleichmäßig auf alle Schüler/innen der Stichprobe verteilt werden. Eine Ausnahme bei der Etikettierung der Erhebungsinstrumente bilden die Sonderschulen. Da diese nur ein spezielles Testheft („Testheft 60“) und eine Kurzform des Schülerfragebogens zu bearbeiten haben, ist keine Rotation notwendig.Die Schulfragebögen werden ebenfalls etikettiert.

4.3 Verpackung und Verteilung des Erhebungsmaterials

Die Materialien werden für jede Schule in ein Paket („Schulpaket“) verpackt. Dieses Paket wird ebenfalls mit einem Etikett versehen. Nach der Verpackung der Testmaterialien wird der Inhalt der Pakete auf Vollständigkeit geprüft. Jedes Paket enthält folgende Unterlagen:• eine PISA-Schülerliste (listet ausgewählte Schüler/innen auf ),• ein Testheft und einen Schülerfragebogen für jede Schülerin und jeden Schüler,• ein zusätzliches Testheft und einen Fragebogen als Ersatz,• PISA-Kugelschreiber für alle Schüler/innen und• ein Testsitzungsprotokoll zur Dokumentation des Testverlaufs.Die Schulpakete werden den zuständigen TL beim jeweiligen Schulungstermin persönlich übergeben. Außerdem erhalten alle TL eine Tasche, die weitere Materialien zur Durchführung der Testsitzung enthält


(Timer zur exakten zeitlichen Koordinierung der Testsitzung, Post-Its zur Kennzeichnung der Sitzplätze, ein Testsitzungsprotokoll für Nachtests und einen Taschenrechner sowie Reservekugelschreiber). Die TL sind ab der Übernahme der Schulpakete für die Sicherheit der darin enthaltenen Materialien zuständig. Ihre Verantwortung endet erst mit der Ablieferung der Schulpakete an der vereinbarten Sam-melstelle nach der Durchführung der Testsitzungen.

4.4 Rücklaufkontrolle der Schulpakete

Am Ende des Testfensters werden die Schulpakete von einer Spedition an den Sammelstellen in den Bundesländern abgeholt und dem nationalen Projektzentrum zugestellt. Nach dem Einlangen der Schulpakete im nationalen Zentrum wird eine Rücklaufkontrolle durchgeführt. Dabei wird für jede Schule dokumentiert, wie viel Testhefte bzw. Fragebögen bearbeitet wurden. Außerdem werden die Protokolle al-ler Testsitzungen gesammelt und kontrolliert. Im Anschluss an die Kontrolle und Dokumentation werden die Materialien nach Testheft- und Fragebogenformen und nach Identifikationsnummern für die weitere Verarbeitung (Coding und Dateneingabe) sortiert.

5. Aufgaben der Testleiter/innen (TL)Die PISA-Testsitzungen in den Schulen werden von externen, speziell dafür geschulten Personen (Testleiter/innen) durchgeführt. Diese Form der Durchführung der Tests an den Schulen hatte sich be-reits bei PISA 2000 und 2003 bewährt und hat folgende Vorteile:• Objektive Testdurchführung: Da die Testsitzungen von externen Personen durchgeführt werden,

wird angenommen, dass die TL kein Interesse an der Beeinflussung der Testergebnisse der einzelnen Schulen haben. In einigen Teilnehmerstaaten werden die Testsitzungen von schulinternen Personen (SK) durchgeführt. Nach den Vorgaben des internationalen Zentrums ist auch diese Form der Test-durchführung erlaubt, solange diese Person kein/e Lehrer/in einer teilnehmenden Schülerin/eines teilnehmenden Schülers ist. Aus unserer Sicht ermöglicht die Durchführung der Tests durch externe Personen allerdings eine objektivere Testdurchführung.

• Standardisierter Ablauf der Testsitzung: Um die Vergleichbarkeit der Ergebnisse sicherzustellen, ist es von großer Bedeutung, dass die PISA-Testsitzungen an den Schulen nach genau vorgegebenen Richtlinien durchgeführt werden. Die TL werden für die Aufgaben im Zusammenhang mit der Test-durchführung vom nationalen Projektzentrum geschult. Da die TL mehrere Testsitzungen leiten, beherrschen sie auch die Prozeduren besser. Zusätzlich waren viele TL, die bei PISA 2006 im Einsatz waren, bereits bei PISA 2000, PISA 2003 oder beim Feldtest 2005 als TL für PISA tätig. Durch die spezielle Schulung und die Erfahrung in der Testdurchführung wird eine hohe Standardisierung des Ablaufs der Testsitzungen garantiert.

• Wahrung der Vertraulichkeit: Da es sich bei den TL um externe Personen handelt, wird einerseits der vertrauliche Umgang mit den Schülerantworten gewährleistet, andererseits wird erwartet, dass die Schüler/innen aus diesem Grund ehrlichere Antworten geben.

• Minimierung des Aufwands für die Schulen: Für die teilnehmenden Schulen ergibt sich auf Grund des Einsatzes der externen TL ein verminderter organisatorischer Aufwand. Die Schule muss keinerlei Aufgaben im Hinblick auf die konkrete Durchführung der Testsitzung und die Administration der Erhebungsmaterialien übernehmen.

• Sicherheit der Testmaterialien: Die Sicherheit der Testmaterialien ist bei PISA ein sehr wichtiger und sensibler Punkt. Da die PISA-Studie im Längsschnitt durchgeführt wird und dieselben Test-aufgaben auch in künftigen Erhebungen eingesetzt werden, dürfen diese nicht an die Öffentlichkeit gelangen. Da die TL mit dem gesamten Testmaterial an die Schule kommen und dieses nach der Durchführung der Testsitzung wieder mitnehmen, wird sichergestellt, dass sich zu keinem Zeitpunkt Material unbeaufsichtigt an der Schule befindet.

Das nationale Projektzentrum hat mittlerweile über alle Bundesländer hinweg ein Netz an Testleitern und Testleiterinnen aufgebaut, das aus etwa 130 Personen besteht. Die meisten dieser Personen sind Angestellte


an Pädagogischen Instituten des Bundes oder an Pädagogischen Akademien sowie Lehrer/innen. Für die Durchführung von PISA 2006 waren insgesamt 75 TL für die Testdurchführung an einer oder mehreren Schulen verantwortlich. Jede/r bei PISA 2006 eingesetzte TL führte zwei bis drei Testsitzungen durch. An einigen Schulen wurden mehrere Testsitzungen durchgeführt: Wenn an einer Schule am Testtag mehrere der ausgewählten Schüler/innen abwesend sind, ist ein „Nachtest“ notwendig (Details zur Durchführung von Nachtests finden Sie in Abschnitt 5.5 idK.). In Berufsschulen sind zumeist auf Grund des Unterrichts an bestimmten Wochentagen bzw. in geblockter Form von vornherein mehrere Testsitzungen nötig.

5.1 Kontaktaufnahme mit den TL

Bereits im Herbst 2005 wurden die TL kontaktiert, die bei PISA 2003 oder beim Feldtest 2005 im Einsatz waren und ihre Bereitschaft erklärt haben, beim Haupttest 2006 wieder mitzuwirken. Diesem Schreiben war ein Faxformular beigelegt, mit dem die TL dem nationalen Zentrum mitteilen sollten, ob und wie viele Testsitzungen sie übernehmen können. Die TL wurden auch gebeten, interessierte Kollegen und Kolleginnen an das ZVB zu vermitteln, da in einigen Bundesländern die Anzahl der verfügbaren TL – im Hinblick auf die Anzahl der zu testenden Schulen – gering war. Weiters wurden die Schulaufsicht, Pädagogische Institute und Pädagogische Akademien gebeten, qualifizierte TL zu nominieren, um den Bedarf abdecken zu können.Anfang Februar 2006 wurden die TL vom nationalen Projektzentrum über wichtige Termine (Testleitungsschulung, Testfenster) informiert. Weiters wurde ihnen ein Vorschlag unterbreitet, an wel-chen Schulen sie den PISA-Test durchführen sollen. Dank der großen Flexibilität der TL mussten nur wenige Adaptionen vorgenommen werden. In einem weiteren Schreiben Mitte März wurde den TL das Testleiter-Handbuch übermittelt und der ge-naue Termin bzw. Ort für die jeweilige Testleiterschulung mitgeteilt. Dieses Handbuch, in dem sämtliche Aufgaben der TL im Detail beschrieben sind, sollten die TL zur Vorbereitung auf die Schulung durch-lesen. Den TL wurde in diesem Schreiben auch die endgültige Aufteilung der Schulen mitgeteilt. Ab diesem Zeitpunkt konnten die TL die von ihnen übernommenen Schulen kontaktierten und Testtermine vereinbaren. Bis zum jeweiligen Schulungstermin sollte die Terminvereinbarung mit den Schulen abge-schlossen sein.

5.2 Teilnahme an der Schulung für TL

Die TL werden durch Mitarbeiter/innen des ZVB in regionalen Schulungen auf die Durchführung des Tests vorbereitet. Insgesamt wurden den TL beim Haupttest 2006 vier Schulungstermine an unterschied-lichen Orten (Stams, Salzburg, Graz, Wien) angeboten. Diese Schulungen dauern jeweils einen halben Tag. Dabei werden – neben allgemeinen Informationen zu PISA 2006 – sämtliche Aufgaben der TL und spezielle Probleme und Sonderfälle ausführlich besprochen. Da viele TL diese Funktion bereits bei früheren PISA-Erhebungen übernommen und daher schon eine gewisse Expertise für die Testsituation entwickelt haben, für andere TL diese Aufgabe aber neu war, fand die Einschulung in zwei Gruppen statt. Die erfahrenen TL wurden in einer kürzeren Schulung speziell auf Neuheiten und Abweichungen gegenüber früheren PISA-Erhebungen hingewiesen, neue TL wurden hingegen sehr umfassend und ausführlich über PISA und ihre Aufgaben als TL informiert.Die TL erhalten bei der Schulung sämtliche Materialien, die für die Durchführung der Testsitzungen benötigen, und sind ab diesem Zeitpunkt für die Sicherheit der Testmaterialien verantwortlich. Nach der Durchführung der Testsitzungen werden die Testmaterialen von den TL an einer Sammelstelle (vorwie-gend Pädagogische Institute) abgegeben. Dort erhalten sie für jedes Paket eine Abgabebestätigung. Von diesen Sammelstellen werden die Testmaterialien am Ende des Testfensters von einer Spedition abgeholt.

5.3 Terminvereinbarung mit den SK

Die TL haben die Aufgabe, bis zum Schulungstermin die SK ihrer Schulen zu kontaktieren und einen Termin für den PISA-Test zu vereinbaren. Dieser Termin konnte beim Haupttest 2006 ein Schultag im


Zeitraum vom 20. April bis 31. Mai 2006 sein (= Testfenster). Als Testbeginn wurde in den meisten Fällen der normale Schulbeginn am Morgen vereinbart. Der Testtermin sollte nach Möglichkeit nicht in der letzten Woche des Testfensters liegen, um die Durchführung eines ev. notwendigen Nachtests zu ermöglichen. Nach der Vereinbarung der Termine mit den SK teilen die TL die Termine dem nationalen Zentrum mit.Zwei bis drei Tage vor dem Testtermin sollten die TL noch einmal Kontakt mit der/dem SK aufnehmen, um sich zu vergewissern, dass die/der SK alle für die Durchführung des Tests notwendigen Vorbereitungen getroffen hat (Reservierung eines geeigneten Testraumes; Information der Schüler/innen, Eltern sowie Lehrer/innen; Erhalt des beantworteten Schulfragebogens).

5.4 Aufgaben am Testtag

Abbildung VI.2 zeigt den Ablauf einer PISA-Testsitzung. Die wichtigsten Schritte bzw. die jeweiligen Aufgaben der TL werden im Folgenden näher erläutert.5.4.1 Vorbereitung von Testmaterial und TestraumAm vereinbarten Testtag trifft die/der TL etwa eine Stunde vor Testbeginn an der Schule ein. Gemeinsam mit der/dem SK wird der Testraum vorbereitet und wenn nötig entsprechend adaptiert. Die TL sollen – zur Gewährleistung bzw. Erleichterung der korrekten Zuordnung des Testmaterials – die Sitzplätze der

Schüler/innen mit beschrifteten Haftnotizen (Post-Its) versehen. 5.4.2 Aktualisierung der PISA-SchülerlisteAbbildung VI.3 zeigt ein Muster einer PISA-Schülerliste (mit fikti-ven Schul- und Schülerdaten).Auf der PISA-Schülerliste sind alle Schüler/innen aufgelistet, die an der jeweiligen Schule für die Teilnahme an PISA ausge-wählt sind. Nur diese maximal 35 Schüler/innen dürfen an den Testsitzungen teilnehmen. Die TL haben die Aufgabe, mit der/dem SK die PISA-Schülerliste zu besprechen und die Eintragungen der/des SK zu Förderbedarf oder mangelnden Sprachkenntnissen bzw. zum Teilnahme-Code der Schüler/innen zu übertragen. Diese Eintragungen wurden von der/vom SK in den Spalten 8 („sonderpäd. FB“) und 9a („Teilnahmestatus Test“) bzw. 9b („Teilnahmestatus FB) vorge-nommen (siehe Abbildung VI.3).In Spalte 8 wird für jede Schülerin bzw. jeden Schüler festgehalten, ob sie oder er sonderpädagogi-schen Förderbedarf oder man-Abbildung VI.2 Ablauf einer PISA-Testsitzung am Testtag

Vorbereitungen PISA-Schülerliste aktualisieren

Testraum und Materialien vorbereiten

Empfang der Schüler/innen Zuweisung zu Sitzplätzen laut Sitzplan

Anwesenheitskontrolle

Begrüßung und Einleitung (laut Skript)Verteilen der Testhefte an die Schüler/innen

TestbeginnTeil 1 – 60 min

PISA-Test – Teil 1

5 min PausePause

Teil 2 – 60 minPISA-Test – Teil 2

Testhefte einsammeln

10 min Pause Pause

Fragebögen austeilen

FB-Beginn

45 min+ max.10 min

NachbereitungMaterialien sichern, sortieren und verpacken

PISA-Schülerliste und Protokoll vervollständigen

Schulfragebogen einfordern

Testpaket verwahren

ab ca. 15 min vor Beginn

HAUPTTEST PISA 2006 – Ablauf am Testtag

EIN

LEI-

TUN

G

Beginn

FRA

GE

- B

OG

EN

AB

SC

HLU

SS

1 Stunde vor Beginn

PISA-Fragebogen

PIS

A-T

ES

TV

OR

BE

RE

ITU

NG


Abbi

ldun

g VI.3

PIS

A-Sc

hüler

liste

mit

Eint

ragu

ngen

des/

der S

K

PIS

A S

CH

ÜLE

RLI

STE

Sc

huln

ame:

Mus

ters

chul

e

P

ISA

-ID

0

3 01

0 Sc

hulk

oord

inat

or: H

err

Jose

f Asc

haue

r

Tes

tleit

er: F

rau

Elis

abet

h N

eum

ülle

r

D

emog

raph

ische

s T

eiln

ahm

esta

tus

Tes

thef

t-fo

rm

Tes

tsitz

ungs

num

mer

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9a)

(9

b)

(10)

(1

1a)

(11b

)

Schü

ler

ID

Zei

lenn

r.

(Stic

hpro

be)

Schü

lern

ame

Schu

l-

stufe

G

esch

lech

t

W=1

M=2

G

ebur

tstag

(MM

-JJ)

Schu

l-

spar

te

Sond

er-

päd.

FB

Tes

t FB

T

est

Tes

t FB

0000

1 00

003

Tho

mas

Bau

er

10

2 12

/90

3

6

0000

2 00

008

Joha

nnes

Mei

er

9 2

11/9

0 3

4

4 7

0000

3 00

012

Reg

ina

Hol

zapf

el

10

1 12

/90

3

8

0000

4 00

016

Dan

iel C

rivez

10

2

05/9

0 3

3 3

3 9

0000

5 00

020

Tin

a St

rass

er

9 1

04/9

0 3

10

0000

6 00

024

Mus

tafa

Al-H

imra

ni

9 2

09/9

0 3

3

11

0000

7 00

028

Dom

inik

Ste

iner

10

2

07/9

0 3

1 3

3 12

0000

8 00

033

Sybi

lle K

olle

r 10

1

04/9

0 3

13

0000

9 00

037

Susa

nne

Schm

id

9 1

07/9

0 3

1

0001

0 00

041

Max

imili

an W

alln

er

10

2 10

/90

3 1

2

0001

1 00

045

Tam

ara

Arns

berg

er

9 1

01/9

0 3

6

6 3

0001

2 00

049

Anita

Rei

tinge

r 10

1

08/9

0 3

2 3

3 4

0001

3 00

053

Mar

ia B

reitf

uss

6 1

09/9

0 3

7

7 5

0001

4 00

057

Pete

r Dor

fer

10

2 07

/90

3

6


gelnde Deutschkenntnisse aufweist. Die folgende Tabelle (Abbildung VI.4) zeigt die in dieser Spalte mög-lichen Codes und deren Bedeutungen.

In den Spalten 9a und 9b der PISA-Schülerliste wird für jede Schülerin bzw. jeden Schüler festgehalten, ob sie/er an der PISA-Testsitzung teilnehmen kann. Wichtig ist hierbei, dass die Codes aus Spalte 8 noch keine Information darüber liefern, ob die entsprechende Schülerin oder der entsprechende Schüler am PISA-Test teilnehmen kann. Dies wird erst in den Spalten 9a und 9b dokumentiert. Abbildung VI.5 de-finiert die hier möglichen Codes.Die Entscheidung über die Teilnahme von Schülern und Schülerinnen mit sonderpädagogischem Förderbedarf oder mangelnden Deutschkenntnissen wird jeweils von den SK unter Anwendung der oben angeführten Richtlinien und in Absprache mit den Lehrern und Lehrerinnen getroffen. Besonders wich-tig ist, dass ein Schüler bzw. eine Schülerin auf Grund von mangelnden Deutschkenntnissen nur dann ausgeschlossen werden kann, wenn der Schüler oder die Schülerin weniger als ein Jahr lang als ordentli-cher Schüler bzw. ordentliche Schülerin gemeldet ist.

Abbildung VI.4 Codes für Spalte 8 der PISA-Schülerliste

Code Beschreibung

1 Der ausgewählte Schüler bzw. die ausgewählte Schülerin hat eine körperliche Behinderung (z. B. Seh- oder Hörschädigung).

2 Der ausgewählte Schüler bzw. die ausgewählte Schülerin hat eine geistige Behinderung.

3 Der ausgewählte Schüler bzw. die ausgewählte Schülerin ist nichtdeutscher Mutter-sprache und verfügt über mangelnde Deutschkenntnisse.

Abbildung VI.5 Codes für Spalte 9 der PISA-Schülerliste

Code Beschreibung

nimmt nicht teil – Ausschluss auf Grund sonderpädagogischen Förderbedarfs odermangelnder Deutschkenntnisse

4 nimmt nicht teil – Wechsel an eine andere Schule (Schulwechsel)

5 nimmt nicht teil – hat die Schule verlassen (Schulaustritt)

7

Der ausgewählte Schüler bzw. die ausgewählte Schülerin weist eine so schwere dauernde körperliche Behinderung auf, dass eine Teilnahme am PISA-Test entweder nicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist. Körperlich behinderte Schüler/innen, die den Test bearbeiten können, sollen einbezogen werden.

nimmt teilweise an der Testsitzung teil – fehlt länger als 10 Minutennimmt nicht teil – verweigert die Teilnahme

Der ausgewählte Schüler bzw. die ausgwählte Schülerin weist eine so schwere dauernde geistige Behinderung auf, dass eine Teilnahme am PISA-Test entweder nicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist. D. h., diese Schüler/innen sind nicht in der Lage, den Anweisungen in der Test-sitzung zu folgen. Schüler/innen, die nur schlechte Leistungen erbringen oder disziplinäre Problemehaben, sollen NICHT von der Testsitzung ausgeschlossen werden.

Der ausgewählte Schüler bzw. die ausgwählte Schülerin ist nichtdeutscher Muttersprache, er bzw. sie befindet sich erst weniger als ein Jahr in Österreich und es mangelt ihm bzw. ihr an Deutschkennt-nissen, so dass ein Verstehen der Anleitungen und der Testaufgaben nicht möglich ist. Schüler und Schülerinnen, die bereits länger als ein Jahr als ordentlicher Schüler bzw. ordentliche Schülerin in Österreich eine Schule besuchen, dürfen NICHT ausgeschlossen werden.

nimmt nicht teil – Altersdefinition trifft nicht zu

nimmt nicht teil – Schulstufen-Definition trifft nicht zu

12

3

6


In Berufsbildenden Mittleren Schulen müssen die SK in die PISA-Schülerliste zusätzlich die Schulform der Schüler und Schülerinnen eintragen (z. B. dreijährige hauswirtschaftliche BMS). Für die Schüler/in-nen aller anderen Schularten ist dies nicht notwendig, da die Information über die Schulform durch die Schulart und Schulstufe der Schüler/innen eindeutig zuzuordnen ist.

5.4.3 Empfang der Schüler/innen und Zuordnung des TestmaterialsDie TL müssen sicherstellen, dass jede Schülerin bzw. jeder Schüler das ihr bzw. ihm zugeordnete Testmaterial erhält. Für die Zuordnung des Testmaterials erhält jede Schülerin und jeder Schüler eine Identifikationsnummer. Diese ist auf der PISA-Schülerliste und auf den Etiketten der Testhefte und Fragebögen abgedruckt. Bei der Verteilung bzw. Zuordnung der Testhefte und Fragebögen ist von den TL auf die Übereinstimmung der Identifikationsnummer zu achten.

5.4.4 Durchführung und zeitliche Koordinierung der TestsitzungDer Ablauf einer PISA-Testsitzung ist in hohem Maße standardisiert und muss in allen beteiligten Schulen und in allen teilnehmenden Staaten auf dieselbe Weise durchgeführt werden, um die Vergleichbarkeit der Ergebnisse zu gewährleisten. Um dies zu ermöglichen, werden die Testsitzungen mit einem so genannten „Testleiterskript“ durchgeführt. Dieses Skript enthält sowohl Anweisungen für die TL zur Durchführung des Tests, als auch alle Anweisungen für die Schüler/innen, die von den TL wortwörtlich vorgelesen wer-den müssen. Sämtliche Instruktionen der TL – beginnend bei der Begrüßung der Schüler/innen, über allgemeine Erklärungen zur Beantwortung der Testaufgaben bis hin zur Verabschiedung der Schüler/in-nen – müssen wortwörtlich aus dem Skript vorgelesen werden. Der zeitliche Ablauf der Testsitzungen ist – vor allem bei der Bearbeitung der Testhefte – minutiös vorge-geben und muss von den TL genau eingehalten und im Testsitzungsprotokoll (vgl. Abschnitt 5.4.5 idK.) dokumentiert werden. Um den TL die Zeitnehmung zu erleichtern, werden ihnen vom ZVB Timer zur Verfügung gestellt.Die Testhefte werden in zwei Teilen mit jeweils exakt 60 Minuten bearbeitet. Zwischen den beiden Testteilen erfolgt eine Pause von fünf Minuten. Bei PISA 2000 waren die Aufgaben in den Testheften in zwei Teile geteilt, und die Schüler/innen durften während der ersten 60 Minuten nur Aufgaben des ersten Teils und in den zweiten 60 Minuten nur Aufgaben des zweiten Teils bearbeiten. Bei PISA 2003 und 2006 gab es in den Testheften keine getrennten Testteile, und die Schüler/innen konnten die Reihenfolge der Bearbeitung der Testaufgaben frei wählen.Nach der Bearbeitung des Testhefts ist eine Pause von zehn Minuten vorgesehen. Anschließend haben die Schüler/innen 45 Minuten für die Bearbeitung des Schülerfragebogens zur Verfügung. Sind nach Ablauf der 45 Minuten alle Schüler/innen mit der Bearbeitung des Fragebogens fertig, werden diese eingesam-melt. Benötigten einige noch mehr Zeit, kann um höchstens zehn Minuten verlängert werden.

5.4.5 Dokumentation des Testverlaufs im TestsitzungsprotokollFür jede Testsitzung muss von der/vom TL ein Protokoll ausgefüllt werden. Auf diesem werden – neben den Daten von Schule, SK und TL – folgende Informationen zu jeder Testsitzung festgehalten:• Art der Testsitzung (erste Testsitzung oder Nachtest)• Datum und Beginnzeit• Anzahl der ausgewählten, ausgeschlossenen, abwesenden und getesteten Schüler und Schülerinnen• Anfangs- und Endzeiten der Testsitzungsteile• Skizze der Sitzordnung der Schüler/innen (Sitzplan)• Teilnahme von Beobachterinnen und Beobachtern• Verhalten der Schüler/innen• Störungen während der Testsitzung• Dokumentation von Problemen der Schüler/innen mit Testheft oder Fragebogen• Raum für sonstige Kommentare und Verbesserungsvorschläge Das gesamte Testsitzungsprotokoll finden Sie im Anhang zu diesem Kapitel.


5.4.6 Eintragungen zum Teilnahmestatus auf der PISA-SchülerlisteAuf der PISA-Schülerliste wird für jeden Schüler und jede Schülerin getrennt für Testheft- und Fragebogenteil der jeweilige Teilnahmestatus dokumentiert. Dies erfolgte durch die Eintragung der fol-genden Codes in Spalte 11a bzw. 11b der PISA-Schülerliste durch die TL (vgl. Abbildung VI.6).Abbildung VI.8 zeigt eine durch die Testleitung vollständig ausgefüllte PISA-Schülerliste nach dem Test. Diese Liste wird nach der Testsitzung gemeinsam mit den anderen Testmaterialien im Schulpaket ver-packt.

5.4.7 Informationen über PISADa die TL neben dem nationalen Projektzentrum die wichtigsten Kontaktpersonen für Schulen sind, werden zahlreiche Fragen in Zusammenhang mit der internationalen Studie an sie gerichtet. Daher holt das nationale Projektzentrum bei den TL Rückmeldung darüber ein, welche Fragen von Seiten der Schulen häufig gestellt werden. Zwölf TL geben im Feedbackbogen an, dass sich Schulen bezüglich einer Ergebnisrückmeldung erkundigen. Die Schulleiter/innen und die SK wollen wissen, ob die Schulen über das Abschneiden ihrer Schüler/innen informiert werden bzw. welche Gründe es gibt, dass die teilnehmen-den Schulen keine Ergebnisrückmeldung bekommen. Weitere Fragen von Seiten der Schulen betreffen die Anonymität bzw. den Zeitpunkt der Ergebnisveröffentlichung.

5.5 Durchführung eines Nachtests

Um die international vorgeschriebenen Rücklaufquoten zu erreichen, ist es notwendig so genannte Nachtests durchzuführen. Ein Nachtest muss laut internationalen Vorgaben dann durchgeführt werden, wenn mehr als 15 Prozent der ausgewählten Schüler/innen am Testtag fehlen. Nicht berücksichtigt wer-den dabei Schüler/innen, die von der Teilnahme an PISA ausgeschlossen oder vom Test abgemeldet wur-den. Mit Ausnahme von Berufsschulen wurde beim Haupttest 2006 in jeder Schule maximal ein Nachtest durchgeführt.In ganzjährig geführten Berufsschulen ist es meist notwendig, mehrere Testsitzungen durchzuführen, da die ausgewählten Schüler/innen an unterschiedlichen Tagen Unterricht haben. Werden bei lehrgangsmäßig geführten Berufsschulen zwei aufeinander folgende Lehrgänge getestet, ist es ebenfalls notwendig, be-reits im Vorfeld mindes-tens zwei Testtermine zu vereinbaren.Zwischen der ersten Testsitzung und einem Nachtest soll – wenn mög-lich – ein Wochenende

Abbildung VI.6 Codes für Spalte 11a und 11b der PISA-Schülerliste

Code Beschreibung

1 Schüler/in nimmt an der ersten, regulären Testsitzung teil

2

8 Schüler/in wurde ausgeschlossen

Schüler/in nimmt an der zweiten Testsitzung teil (Nachtest bzw. Testsitzung an einem anderen Schultag oder für einen neuen Lehrgang an der Berufsschule)

Abbildung VI.7 Anzahl der Testsitzungen an einer Schule/Häufigkeiten

Anzahl der Testsitzungen Schulen (Anzahl)

eine Testsitzung 167 83.5 %

Testsitzung und ein Nachtest 25 12.5 %

Testsitzung und zwei Nachtests 6 3.0 %

Testsitzung und drei Nachtests 2 1.0 %

Schulen (Prozent)


Abbi

ldun

g VI.8

PIS

A-Sc

hüler

liste

mit

Eint

ragu

ngen

des

TL

PIS

A S

CH

ÜLE

RLI

STE

Sc

huln

ame:

Mus

ters

chul

e

P

ISA

-ID

0

3 01

0 Sc

hulk

oord

inat

or: H

err

Jose

f Asc

haue

r

Tes

tleit

er: F

rau

Elis

abet

h N

eum

ülle

r

D

emog

raph

ische

s T

eiln

ahm

esta

tus

Tes

thef

t-fo

rm

Tes

tsitz

ungs

num

mer

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9a)

(9

b)

(10)

(1

1a)

(11b

)

Schü

ler

ID

Zei

lenn

r.

(Stic

hpro

be)

Schü

lern

ame

Schu

l-

stufe

G

esch

lech

t

W=1

M=2

G

ebur

tstag

(MM

-JJ)

Schu

l-

spar

te

Sond

er-

päd.

FB

Tes

t FB

T

est

Tes

t FB

0000

1 00

003

Tho

mas

Bau

er

10

2 12

/90

3

6 2

2

0000

2 00

008

Joha

nnes

Mei

er

9 2

11/9

0 3

4

4 7

8 8

0000

3 00

012

Reg

ina

Hol

zapf

el

10

1 12

/90

3

8

0000

4 00

016

Dan

iel C

rivez

10

2

05/9

0 3

3 3

3 9

8 8

0000

5 00

020

Tin

a St

rass

er

9 1

04/9

0 3

10

1

1

0000

6 00

024

Mus

tafa

Al-H

imra

ni

9 2

09/9

0 3

3

11

1

2

0000

7 00

028

Dom

inik

Ste

iner

10

2

07/9

0 3

1 3

3 12

8

8

0000

8 00

033

Sybi

lle K

olle

r 10

1

04/9

0 3

13

1

1

0000

9 00

037

Susa

nne

Schm

id

9 1

07/9

0 3

1

1 1

0001

0 00

041

Max

imili

an W

alln

er

10

2 10

/90

3 1

2 8

8

0001

1 00

045

Tam

ara

Arns

berg

er

9 1

01/9

0 3

6

6 3

1 1

0001

2 00

049

Anita

Rei

tinge

r 10

1

08/9

0 3

2 3

3 4

8 8

0001

3 00

053

Mar

ia B

reitf

uss

6 1

09/9

0 3

7

7 5

8 8

0001

4 00

057

Pete

r Dor

fer

10

2 07

/90

3

6 2

2


liegen, um erkrankten Schüler/innen die Möglichkeit zu geben am Nachtest teilzunehmen. Insgesamt wurden 43 Nachtests durchgeführt, 38 davon an Berufsschulen. Abbildung VI.7 zeigt, an wie vielen Schulen jeweils eine Testsitzung durchgeführt wurde bzw. an wie vielen Schulen jeweils ein Nachtest oder mehrere Nachtests durchgeführt wurden.

5.6 Ablieferung des Testmaterials

Bei den Testleiterschulungen wird für jedes Bundesland eine Sammelstelle für die Schulpakete bekannt gegeben. Die TL haben die Aufgabe, die Testmaterialien ihrer Schulen nach Abschluss ihrer Testsitzungen dort abzuliefern und erhalten dann eine Abgabebestätigung. Die gesammelten Materialien wurden von diesen Sammelstellen, welche sich vorwiegend an den Pädagogischen Instituten der Bundesländer befan-den, am 30. Mai 2006 bzw. am 1. Juni 2006 von einer Spedition abgeholt. Schon am 2. Juni trafen die Testmaterialien vollständig am nationalen Zentrum ein.

6. Qualitätssicherung bei der Testorganisation und -durchführung

In diesem Abschnitt wird dargestellt, wie eine hohe Qualität der jeweiligen Tätigkeiten und Abläufe für die einzelnen Bereiche der Testorganisation und -durchführung gewährleistet wird.

6.1 Der Feldtest als Probelauf

Ein wichtiger Bestandteil der Qualitätssicherung im Bereich der Testorganisation und -durchführung ist der Feldtest. Sämtliche in diesem Kapitel dargestellten Tätigkeiten, Abläufe und Materialien werden beim Feldtest erprobt und auf ihre Tauglichkeit in der Praxis überprüft. Treten im Feldtest Probleme auf, so können entsprechende Korrekturen und Veränderungen für den Haupttest vorgenommen werden.

6.2 Kontakte mit Schulen bzw. SK

Die Teilnahme möglichst aller ausgewählten Schulen an PISA soll durch die gute Zusammenarbeit des ZVB mit den Schulbehörden und deren unverzichtbarer Unterstützung erreicht werden. Für die Teilnahmebereitschaft der Schulen ist außerdem die Minimierung des Arbeitsaufwands für die Schulen von großer Bedeutung. Dies wird vor allem durch den Einsatz externer TL erreicht.Die Kontaktperson für das nationale Projektzentrum an der Schule – die/der SK – wurde durch das nationale Zentrum durch zwei möglichst kurze und prägnante Briefe informiert. International war für die Information und Anweisung der SK ein Handbuch vorgesehen. In Österreich bewährte sich die be-reits bei PISA 2000 und 2003 verwendete und vom internationalen Zentrum genehmigte Lösung mit zwei Informationsbriefen. Der Vorteil dieser Vorgehensweise besteht darin, dass die SK nicht sämtliche Informationen auf einmal erhalten, sondern immer nur die für die jeweils anstehenden Aufgaben benö-tigten Informationen und Anweisungen. Die inhaltliche Vollständigkeit und die sprachliche Qualität dieser Informationsbriefe werden vom internationalen Zentrum geprüft.

6.3 Qualitätssicherung bei Vorbereitung und Organisation der Erhebungsmaterialien

Alle Erhebungsmaterialien, die bei den Testsitzungen zum Einsatz kommen, müssen entsprechend vor-bereitet und organisiert werden (vgl. Abschnitt 4 idK.). Testhefte und Schülerfragebögen werden nach der Lieferung durch die Druckerei und nach der Durchführung einer vollständigen Qualitätskontrolle mit Etiketten versehen. Die Korrektheit der Etikettierung ist von entscheidender Bedeutung, da damit die Zuordnung des Testmaterials bestimmt wird. Wichtig bei der Etikettierung ist auch die Einhaltung des international vorgeschriebenen Rotationsschemas, welches sicherstellt, dass alle Testheft- und Fragebogenformen möglichst gleich oft zum Einsatz kommen. Die etikettierten Materialien müssen an-schließend zu Schulpaketen zusammengestellt werden (vgl. Abschnitt 4 idK.). Die genaue Kontrolle der Materialien, bevor sie zum Einsatz kommen, soll Probleme bei der Durchführung der Tests minimieren. Folgende Kontrollmaßnahmen werden dazu durchgeführt:


• Kontrolle der Druckqualität nach Erhalt der Materialien von der Druckerei.• Eine sorgfältige Kontrolle der Etikettierung der Erhebungsinstrumente: Bei dieser Kontrolle wird

auch die korrekte Einhaltung des Rotationsschemas anhand der PISA-Schülerliste kontrolliert.• Jedes Schulpaket wird nach der Zusammenstellung unabhängig voneinander zwei Mal von Mitar-

beiterinnen und Mitarbeitern des nationalen Projektzentrums überprüft. Dabei wird zum einen die Übereinstimmung der Schul-ID zwischen Schulpaket, PISA-Schülerliste und Erhebungsmaterialen überprüft. Zum anderen werden die Anzahl der Erhebungsinstrumente anhand der PISA-Schülerliste und die Vollständigkeit der Materialien anhand einer Checkliste kontrolliert.

• Bei der Übergabe der Schulpakete an die TL werden diese aufgefordert, die Vollständigkeit ihrer Pa-kete noch einmal zu überprüfen.

Die Sicherheit der Erhebungsmaterialien ist bei PISA in mehrfacher Hinsicht ein sensibler und wichtiger Bereich. Zum einen dürfen die verwendeten Testmaterialien nicht an die Öffentlichkeit gelangen, da die darin enthaltenen Testaufgaben auch in künftigen PISA-Erhebungen verwendet werden. Zum anderen muss sichergestellt werden, dass bearbeitete Testhefte und Fragebögen zur Wahrung der Vertraulichkeit, der von den Schülern und Schülerinnen gemachten Angaben, nicht in die Hände des Schulpersonals gelangen. Weiters wäre mit dem Verlust von Materialien auch ein nicht mehr ersetzbarer Datenverlust verbunden.Wie bereits in Abschnitt 5 idK. beschrieben, konnte durch die Organisation der persönlichen Übergabe der Erhebungsmaterialien an die TL und die Abholung der Materialien in den Bundesländern ein Verlust vermieden werden und die Materialien standen vollständig und zeitgerecht für die weitere Verarbeitung im nationalen Projektzentrum zur Verfügung.

6.4 Qualität und TestadministrationFür die Qualität und Vergleichbarkeit der Daten von PISA ist es besonders wichtig, alle Schüler/innen unter möglichst gleichen Rahmenbedingungen zu testen. Der standardisierte Ablauf der Testsitzungen ist eine unverzichtbare Voraussetzung für die Vergleichbarkeit der Ergebnisse. In Bezug auf die Standardisierung der Datenerhebung sind vor allem vier Aspekte von besonderer Bedeutung:• der Einsatz von externen TL für die Administration der Erhebung,• ein standardisiertes Handbuch für die Testdurchführung inklusive standardisierter Skripts,• die Vorbereitung der TL auf ihre Aufgabe und• eine international organisierte, stichprobenartige Kontrolle der Testsitzungen. Diese Aspekte leisten alle einen entscheidenden Beitrag zur Vereinheitlichung der Testdurchführung, so-wohl innerhalb Österreichs als auch über die Teilnehmerstaaten hinweg. Durch die vom internationalen Zentrum organisierte stichprobenartige Beobachtung von Testsitzungen wird die Einhaltung der beste-henden Richtlinien in den einzelnen Teilnehmerländern überprüft.6.4.1 Einsatz externer Testleiter/innen (TL)Der Einsatz von schulfremden Personen als TL, die zur jeweiligen Schule kommen, den Test durchführen und sämtliche Materialien anschließend wieder mitnehmen, hat verschiedene Vorteile, die einen posi-tiven Einfluss auf die Qualität der Testdurchführung haben. Diese Vorteile wurden in Abschnitt 5 idK. bereits dargestellt und werden hier nur in Kurzform erwähnt. • Sicherheit der Testmaterialien: Die TL bekommen die Materialien für die Erhebung persönlich von

Mitarbeiterinnen bzw. Mitarbeitern des nationalen Zentrums überreicht und verpflichten sich zur Wahrung der Sicherheit und Vertraulichkeit bis zur Ablieferung an der jeweiligen Sammelstelle. Durch diese Form der Organisation kann sichergestellt werden, dass die Testmaterialien nicht verlo-ren gehen.

• Vertraulichkeit der Schülerangaben: Durch den Einsatz der externen TL kann den Schülerinnen und Schülern garantiert werden, dass niemand aus der Schule Einsicht in die von ihnen gemachten An-gaben nehmen kann. Es ist anzunehmen, dass die Schüler/innen dadurch – vor allem bei sensiblen Fragen – ehrlichere Antworten geben.


• Objektive Testdurchführung: Man kann davon ausgehen, dass keine/r der externen TL ein Interesse daran hat, das Abschneiden „ihrer“/„seiner“ Testschulen zu beeinflussen. Die Gefahr einer Beeinflus-sung der Ergebnisse wäre eher gegeben, wenn die Testsitzungen von der/vom jeweiligen SK durchge-führt werden würde.

• Motivation der Beteiligten: Als TL sind nur Personen mit pädagogischer Erfahrung tätig, die sich freiwillig für diese Tätigkeit zur Verfügung stellen. Dadurch wird sichergestellt, dass sie auch die ent-sprechende Motivation mitbringen. Weiters wird die Bereitschaft der Schulen und SK gestärkt, da ihnen durch die externe Testdurchführung ein Großteil der Arbeit abgenommen wird. Es wird auch vermutet, dass die Schüler/innen die Durchführung der Testsitzung durch eine externe Person als Abwechslung zum Schulalltag erleben, und dadurch auch ihre Motivation positiv beeinflusst wird.

• Kompetenz/Erfahrung der TL: Die eingesetzten TL sind zum Großteil Mitarbeiter/innen von Päda-gogischen Instituten und Pädagogischen Akademien mit langjähriger Erfahrung im pädagogischen Bereich. Viele der beim Haupttest 2006 eingesetzten TL waren darüber hinaus bereits beim Feldtest 2005 oder im Rahmen von PISA 2000 oder PISA 2003 als TL tätig, und hatten somit bereits Erfah-rung in der Durchführung von PISA-Testsitzungen.

6.4.2 Handbuch für Testleiter/innenIm Testleiter-Handbuch sind sämtliche Informationen enthalten, die für die TL zur Durchführung der Testsitzungen nötig sind. Jede einzelne Aufgabe der TL wird darin detailliert beschrieben. Vom internationalen Zentrum wird eine englische Version dieses Handbuchs zur Verfügung gestellt, die vom österreichischen Zentrum übersetzt und an die nationalen Gegebenheiten angepasst wird. Inhaltliche Abweichungen der nationalen Version müssen dem internationalen Zentrum mitgeteilt und dort geneh-migt werden. Weiters wird die sprachliche Qualität der nationalen Übersetzungen vom internationalen Zentrum geprüft (ähnlich der Verifikation der Testmaterialien, vgl. Abschnitt 4 in Kapitel III).Für die Standardisierung der Testsitzungen ist das Handbuch für Testleiter/innen von besonderer Bedeu-tung, da darin nicht nur sämtliche Aufgaben der TL beschrieben werden, sondern auch die Anweisungen enthalten sind, welche die TL den Schülerinnen und Schülern geben. Diese so genannten Skripts (siehe Abschnitt 5 idK.) müssen von den TL bei der Durchführung der Testsitzung wortwörtlich vorgelesen werden. So kann eine größtmögliche Standardisierung des Ablaufs der Testsitzungen sichergestellt wer-den.6.4.3 Vorbereitung der TLDie Vertrautheit der TL mit den Aufgaben, die sie im Zusammenhang mit der Durchführung der Tests an den Schulen zu erledigen haben, wird durch zwei Maßnahmen gesichert: zum einen durch die Abhaltung von regionalen Testleiterschulungen und zum anderen durch die persönliche Vorbereitung der TL auf ihre Aufgabe.Die TL erhalten etwa drei Wochen vor dem Schulungstermin das Handbuch für Testleiter/innen mit der Aufforderung, dieses bis zur Schulung durchzuarbeiten. Auf diese Weise machen sich die TL bereits vor der Schulung mit den Inhalten des Handbuchs vertraut. Dadurch können eventuelle Unklarheiten, die beim Durchlesen des Handbuchs auftreten, bei der Schulung thematisiert werden.Bei der halbtägigen Schulung werden sämtliche Aufgaben der TL noch einmal im Detail besprochen und Fragen dazu diskutiert bzw. beantwortet. 6.2.4 Qualitätssicherung und -kontrolle während der TestsitzungenDie oben beschriebenen Maßnahmen sollen sicherstellen, dass der international vorgeschriebene Ablauf einer PISA-Testsitzung von allen TL eingehalten wird.Für den Fall von unerwarteten Problemen am Testtag ist an jedem Tag, an dem zumindest eine PISA-Testsitzung stattfindet, ab 7.00 Uhr eine Mitarbeiterin am ZVB telefonisch erreichbar. Auf internationaler Ebene wird der Ablauf der Testsitzungen in allen teilnehmenden Staaten durch den Einsatz von so genannten „PISA Quality Monitors“ (kurz PQM) kontrolliert. Diese Personen werden


vom internationalen Zentrum beschäftigt und eingeschult. Sie haben die Aufgabe, einige ausgewählte Schulen am Tag des PISA-Tests zu besuchen und den Ablauf der Testsitzungen anhand eines Protokolls zu dokumentieren. In Österreich waren beim Haupttest 2006 zwei Personen mit dieser Funktion beauftragt, die insgesamt 15 Testsitzungen besuchten. Die Ergebnisse der PQM-Besuche werden im internationalen technischen Bericht der OECD publiziert.

BibliografiePointinger, M. (2004). Field Operations. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleis-

tungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs: 08.02.2007]

VIIVIIVSimone Breit & Claudia Schreiner

RÜCKLAUF, STICHPROBENAUSFÄLLE UND STICHPROBENGRÖSSEN

VII

1. Rücklauf im PISA-Feldtest 20051.1 Der Rücklauf auf Schulebene1.2 Schüler/innen, die nicht getestet werden können1.3 Der Rücklauf auf Schülerebene1.4 Vergleich mit den Feldtests von PISA 2000 und PISA 20031.5 Charakteristika der resultierenden Feldtest-Stichprobe1.6 Die realisierte Stichprobe für die nationale Zusatzerhebung im Feldtest

2. Rücklauf im PISA-Haupttest 20062.1 Der Rücklauf auf Schulebene2.2 Schüler/innen, die nicht getestet werden können2.3 Der Rücklauf auf Schülerebene2.4 Vergleich mit PISA 2000 und PISA 20032.5 Besonderheiten bei der Berechnung von Rücklaufquoten in Berufsschulen2.6 Charakteristika der resultierenden Haupttest-Stichprobe2.7 Die realisierte Stichprobe für die nationalen Zusatzerhebungen im Haupttest2.8 Der Rücklauf der Waldorf-Schulen2.9 Zur Gewichtung der PISA-2006-Stichprobe2.10 Der Rücklauf auf Schülerebene entsprechend der internationalen Gewichtung

3. Qualitätssicherung in Bezug auf Rücklauf und Stichprobengröße

Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Haider & Wallner-Paschon, 2001) und PISA 2003 (Reiter, 2004). Die Autorinnen dieses Kapitels danken Günter Haider, Christina Wallner-Paschon sowie Claudia Schreiner (geb. Reiter) für die Bereitstellung der Texte.

Seite 108 VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

Dieses Kapitel dient der Dokumentation der realisierten Stichprobe. Getrennt für den im Jahr 2005 durchgeführten Feldtest und den Haupttest 2006 werden jeweils folgende Bereiche behandelt:• die Analyse von Stichprobenausfällen;• detaillierte Rücklaufquoten nach verschiedenen Kriterien;• die Charakterisierung der realisierten Stichprobe durch einige relevante Merkmale.Noch eine wichtige Anmerkung vorweg: Bei der Darstellung des Rücklaufs (Abschnitte 1.1 und 1.3 für den Feldtest sowie 2.1 und 2.3 idK. für den Haupttest) werden Prozentzahlen jeweils als Rücklaufquoten in den einzelnen Untergruppen von Schulen bzw. Schülerinnen und Schülern angegeben (Zeilenprozent), wohingegen bei der jeweils folgenden Charakterisierung der Stichprobe (Abschnitte 1.5 und 2.6 idK.) die Verteilung der erzielten Stichprobe auf verschiedene Untergruppen gezeigt wird und die angeführ-ten Prozentwerte demnach jeweils die Anteile einer Gruppe an der gesamten Stichprobe darstellen (Spaltenprozent).

1. Rücklauf im PISA-Feldtest 2005Der Feldtest für PISA 2006, der im April/Mai 2005 durchgeführt wurde, diente – wie mehrfach er-wähnt – in erster Linie zur Überprüfung der Qualität neu entwickelter Untersuchungsmaterialien und der Auswahl der besten Testaufgaben und Fragebogen-Items. Die Vorgabe der OECD bezüglich der Größe der realisierten Stichprobe wurde deshalb von der Anzahl an Testheftformen bestimmt: Ziel war es, in je-dem Land für jede der 12 Testheftformen auswertbare Daten von ca. 100 Schüler/innen zu erhalten, d. h. die untere Grenze war mit auswertbaren Daten von ca. 1200 Schülerinnen und Schülern festgelegt.Eine weitere Aufgabe eines Feldtests ist die Erprobung aller Prozeduren; dies schließt natürlich auch den Vorgang der Stichprobenziehung und das Sammeln von Erfahrungen bezüglich Stichprobenausfällen und Rücklaufquoten ein.

1.1 Der Rücklauf auf Schulebene

Alle 51 für den Feldtest ausgewählten Schulen konnten überzeugt werden, an der Studie teilzunehmen. Demnach konnte auf Schulebene eine Teilnahmequote von 100 % erzielt werden. Von allen 51 betrof-fenen Schulleiterinnen und Schulleitern wurde der Schulfragebogen ausgefüllt und rechtzeitig für die Datenverarbeitung retourniert, d. h. dass auch hier ein vollständiger Rücklauf von 100 % zu verzeichnen ist.Eine Übersicht über die Verteilung der Feldtestschulen auf die 20 Strata und der Rücklaufquoten in den einzelnen Strata findet sich in Abbildung VII.1 auf der nächsten Seite. Die erste Spalte zeigt die Anzahl ausgewählter Schulen in den einzelnen Strata und ist identisch mit den Angaben in Abbildung V.5 in Kapitel V. Den folgenden Spalten sind die Rücklaufquoten bezüglich der Teilnahme der Schulen an der Studie und des Schulfragebogens zu entnehmen.

1.2 Schüler/innen, die nicht getestet werden können

Als Basis für die Auswahl der Schüler/innen dienten Listen aller Schüler/innen jeweils einer Schule, die der Vorgabe „geboren im Jahr 1989“ entsprechen. Dabei kann es passieren, dass Schüler/innen auf diese Listen geraten, die nicht getestet werden können oder dürfen. Nicht testen kann man Schüler/innen aus zwei Gründen:Zum einen betrifft das Schüler/innen, die auf Grund von schwerer geistiger oder körperlicher Behinderung oder mangelnder Deutschkenntnisse nicht getestet werden können (für eine genaue Definition der Ausschließungsgründe vgl. Abschnitt 6.1 in Kapitel V). Zum anderen können Schüler/innen nicht getes-tet werden, wenn sie zwischen der Erstellung der Schülerlisten und dem Testtermin die Schule verlassen oder an eine andere Schule wechseln. Solche Schüler/innen kommen für die Testung nicht in Frage, sie werden international als „ineligible“ bezeichnet.Nicht testen darf man weiters Schüler/innen, die fälschlicherweise ausgewählt wurden (etwa Schüler/in-nen, die auf die Schülerliste gelangt sind, obwohl sie nicht im Jahr 1989 geboren wurden).

Seite 109VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

Alle Schüler/innen, die getestet werden können, bilden dann die Basis für die Berechnung der Rücklaufquoten. Schüler/innen, die ausgeschlossen werden oder für die Testung nicht in Frage kommen, werden durch die Berechnung der so genannten Coverage-Rate berücksichtigt. Diese gibt an, welcher Prozentsatz der Zielpopulation eines Landes durch die getes-tete Stichprobe reprä-sentiert wird. Abbildung VII.2 zeigt die Anteile an Schüler/innen, die auf Grund einer der oben an-geführten Bedingungen vor der Testung von der Liste genommen wurden.Vor dem Test wurden 0,9 % der Schüler/innen ausgeschlossen, 2,4 % der ausgewählten Schüler/in-nen verließen zwischen Erstellung der Schülerliste

Abbildung VII.1: Rücklauf auf Schulebene nach Strata im Feldtest 2005

Anzahl Prozent Anzahl Rücklauf

2 Hauptschule 100 % 100 %

3 Polytechnische Schule 100 % 100 %

4 Sonderschule - -

5 Gymnasium 100 % 100 %

6 Realgymnasium & wirtschaftskundl. RG 100 % 100 %

7 Oberstufenrealgymnasium 100 % 100 %

8 Sonstige Allgemeinb. Schulen/mit Statut - -

9 Berufsschule (technisch/gewerblich) 100 % 100 %

10 Berufsschule (kaufm./Handel & Verkehr) 100 % 100 %

11 Berufsschule (land- & forstwirtschaftlich) 100 % 100 %

12 BMS (gewerblich/technisch/kunstgewerbl.) 100 % 100 %

13 BMS (kaufmännisch) 100 % 100 %

14 BMS (wirtschaftsberuflich/sozialberuflich) 100 % 100 %

15 BMS (land- & forstwirtschaftlich) 100 % 100 %

16 BHS (gewerblich/technisch/kunstgewerbl.) 100 % 100 %

17 BHS (kaufmännisch) 100 % 100 %

18 BHS (wirtschaftsberuflich/sozialberuflich) 100 % 100 %

19 BHS (land- & forstwirtschaftlich) 100 % 100 %

20 Anstalten der Lehrer- & Erzieherbildung 100 % 100 %

GESAMT 100 % 100 %

Rücklauf (ohne Replacement)

SchulfragebogenSchulenin

StichprobeStratum

3

5

5

5

2

5

2

1

2

4

4

2

3

4

2

1

1

51

3

5

-

5

5

2

-

5

2

1

2

4

4

2

3

4

2

1

1

51

-

-

3

5

-

5

5

2

-

5

2

1

2

4

4

2

3

4

2

1

1

51

Abbildung VII.2: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen im Feldtest 2005

1570 100 %

körperlicher Behinderung

geistiger Behinderung

mangelnder Deutschkenntnisse

Ausschlüsse gesamtan andere Schule gewechselt

nicht mehr in der Schule

Ineligible gesamtZu testende Schüler/innen

Aus

schl

üsse

au

f Gru

ndIn

elig

ible

, w

eil

Schüler/innen Jahrgang 1989 in der Stichprobe

2

7

5

14

9

28

37

1519

0.1 %

0.4 %

0.3 %

0.9 %

0.6 %

1.8 %

2.4 %


und Testsitzung die Schule. Die Basis für den Rücklauf, d. h. die Anzahl der Schüler/innen, die an der PISA- Testung teilnehmen sollten, betrug demnach für den Feldtest 1519 Personen.

1.3 Der Rücklauf auf Schülerebene

Auf Schülerebene konnte – wie auf Schulebene – ein ausgezeichneter Rücklauf erzielt werden. Über 94 % der in Österreich zu testenden Schüler/innen nahmen an einer Testsitzung im Rahmen des PISA-Feldtests 2005 teil. Ein Schüler/eine Schülerin wird von internationaler Seite her als getestet gewertet, wenn die Bearbeitung des Testhefts zumindest begonnen wurde. Die offizielle (ungewichtete) Rücklaufquote für

Österreich im Feldtest 2005 beträgt 94,6 %. Der konkrete Rücklauf der Instrumente ist in Abbildung VII.3 ersichtlich.In Abbildung VII.3 ist die Aufgliederung des Non-response (der Stichprobenausfälle) dargestellt. Nicht getestet wurden Schüler/innen, die die Teilnahme verweigerten (bzw. deren Eltern einer Teilnahme durch ihre/n Tochter/Sohn nicht zustimmten), Schüler/innen, die beim Termin der PISA-Testsitzung abwe-send waren und an deren Schule kein Nachtest durchgeführt werden musste, sowie Schüler/innen, die sowohl bei der ersten PISA-Testsitzung als auch bei allen Nachtests abwesend waren. Für die getesteten Schüler/innen ist aus der Abbildung ersichtlich, ob diese in einer ersten Testsitzung oder im Rahmen eines Nachtests erreicht wurden.

Abbildung VII.4 (auf der gegenüberliegenden Seite) zeigt den Rücklauf der Instrumente getrennt nach Strata. Testheft und Fragebogen werden gemeinsam behandelt, weil es im Feldtest 2005 nur eine Testperson gab, die vor Beginn der Bearbeitung des Schülerfragebogens die Testsitzung verließ, und daher Rücklauf nach Testheft mit dem nach Fragebogen nahezu identisch ist.

Den folgenden beiden Abbildungen VII.5 und VII.6 ist zu entnehmen, dass sich die Rücklaufquoten zwi-schen den verschiedenen verwendeten Formen von Test- und Befragungsinstrumenten nicht wesentlich voneinander unterscheiden. Abbildung VII.5 zeigt den Rücklauf getrennt für die 12 Testheftformen. Der Rücklauf beträgt bei allen Formen zumindest rund 89 %, die benötigte Anzahl von ca. 100 auswertbaren Testheften pro Form konnte für alle Formen erreicht werden. Abbildung VII.6 zeigt, wie sich die beiden verwendeten Formen des Schülerfragebogens auf die Strata verteilen. Insgesamt wurden 353 Fragebögen der Form A, 358 Fragebögen der Form B, 364 Fragebögen der Form C und 361 Fragebögen der Form D bearbeitet.

Abbildung VII.3: Aufgliederung des Non-response im Feldtest 2005

Zu testende Schüler/innen 100.0 %Teilnahme verweigert

abwesend bei erster Sitzung, kein Nachtest

abwesend bei erster Sitzung und Nachtests

Nicht getestete Schüler/innen gesamtin erster Testsitzung

in einem Nachtest

Getestete Schüler/innen gesamt

nich

t get

este

tge

test

et

151928

47

7

82

1391

46

1437

1.8 %

3.1 %

0.5 %

5.4 %91.6 %

3.0 %

94.6 %


Abbildung VII.4: Der Rücklauf auf Schülerebene nach Strata im Feldtest 2005

Schüler/in-nen

zu testen Anzahl Rücklauf2 Hauptschule3 Polytechnische Schule4 Sonderschule –

5 Gymnasium6 Realgymnasium & wirtschaftskundliches RG7 Oberstufenrealgymnasium8 Sonstige Allgemeinbildende Schulen/mit Statut –

9 Berufsschule (technisch/gewerblich)10 Berufsschule (kaufmännisch/Handel & Verkehr)11 Berufsschule (land- & forstwirtschaftlich)12 BMS (gewerblich/technisch/kunstgewerblich)13 BMS (kaufmännisch)14 BMS (wirtschaftsberuflich/sozialberuflich)15 BMS (land- & forstwirtschaftlich)16 BHS (gewerblich/technisch/kunstgewerblich)17 BHS (kaufmännisch)18 BHS (wirtschaftsberuflich/sozialberuflich)19 BHS (land- & forstwirtschaftlich)20 Anstalten der Lehrer- & Erzieherbildung

GESAMT

Testheft/FragebogenStratum

27

142

168

174

68

171

38

4

67

107

131

65

102

136

5628

35

1519

26135/134

159

165

55

159

38

4

62

103

125

60

98

133

53

28

34

1437/1436

96.3 %

95.1/94.4 %

94.6 %

94.8 %

80.9 %

93.0 %

100.0 %

100.0 %

92.5 %

96.3 %

95.4 %

92.3 %

96.1 %

97.8 %

94.6 %

100.0 %

97.1 %

94.6/94.5 %

– –

– –

Abbildung VII.5: Rücklauf nach Testheftformen im Feldtest 2005

Anzahl ProzentTestheft 3Testheft 4Testheft 5Testheft 6Testheft 7Testheft 8Testheft 9Testheft 10Testheft 11Testheft 12

RücklaufAusgeschicktTestheft-

form

127 120 94.5 %124 119 96.0 %129 120 93.0 %125 119 95.2 %128 124 96.9 %128 122 95.3 %124 111 89.5 %125 120 96.0 %125 120 96.0 %127 120 94.5 %131 123 93.9 %126 119 94.4 %

�Testheft 13

Testheft 14


1.4 Vergleich mit den Feldtests von PISA 2000 und PISA 2003

Vergleicht man den Rücklauf des Feldtests (FT) zu PISA 2006 (im Jahr 2005) mit jenen der PISA-Feldtests im Jahr 1999 und im Jahr 2002, erhält man folgende Ergebnisse (für die Vergleichsdaten aus dem FT 1999 vgl. Haider, 2001, S. 189, für die Vergleichdaten aus dem Feldtest 2002 vgl. Reiter, 2004):• Im Feldtest 2005 mussten auf Grund von Behinderung oder mangelnder Deutschkenntnisse 0,9 %

der Schüler/innen ausgeschlossen werden. Im Feldtest 2002 waren es 0,4 %, im Feldtest 1999 waren es 1,8 % der gesampelten Schüler/innen.

• Der Anteil der Schüler/innen, die für die Testung nicht in Frage kommen (ineligible – Schulwechsel zwischen Schülerlistenerstellung und PISA-Test), war mit 2,4 % der gesampleten Schüler/innen im Feldtest 2005 etwa gleich wie im FT 2002 mit 2,3 % Im Feldtest 1999 machte der Anteil 1,8 % der gesampelten Schüler/innen aus.

Abbildung VII.6: Rücklauf nach Fragebogenformen im Feldtest 2005

--

zu testen Anz. %

2 Hauptschule


4 Sonderschule

5 Gymnasium

6 Realgymnasium & wirtschaftskundl. RG


8 Sonstige Allgemeinbildende/mit Statut



11 Berufsschule(land- & forstwirtschaftlich)

12 BMS (gewerbl./technisch/kunstgewerbl.)




16 BHS (gewerbl./technisch/kunstgewerbl.)




Form ARücklaufStratum

19 BHS (land- &forstwirtschaftlich)

zu testen Anz. %

Form BRücklauf zu

testen Anz. %

Form CRücklauf zu

testen Anz. %

Form DRücklauf

GESAMT

5

37

41

43

17

42

10

1

18

27

34

17

27

34

15

7

9

384

5

32

38

39

12

39

10

1

17

23

33

15

26

34

13

7

9

353

7 7 100.0 % 9 9 100.0 % 6 5 83.3 %

86.5 % 34 33 97.1 % 35 34 97.1 % 36 35 97.2 %

92.7 % 43 40 93.0 % 42 42 100.0 % 42 39 92.9 %

90.7 % 43 43 100.0 % 44 41 93.2 % 44 42 95.5 %

70.6 % 17 13 76.5 % 17 14 82.4 % 17 16 94.1 %

92.9 % 41 38 92.7 % 45 40 88.9 % 43 42 97.7 %

100.0 % 10 10 100.0 % 9 9 100.0 % 9 9 100.0 %

100.0 % 1 1 100.0 % 1 1 100.0 % 1 1 100.0 %

94.4 % 17 15 88.2 % 15 15 100.0 % 17 15 88.2 %

85.2 % 26 26 100.0 % 27 27 100.0 % 27 27 100.0 %

97.1 % 31 31 100.0 % 33 32 97.0 % 33 29 87.9 %

88.2 % 17 15 88.2 % 14 13 92.9 % 17 17 100.0 %

96.3 % 25 24 96.0 % 25 24 96.0 % 25 24 96.0 %

100.0 % 34 33 97.1 % 35 34 97.1 % 33 32 97.0 %

86.7 % 14 14 100.0 % 13 13 100.0 % 14 13 92.9 %

100.0 % 7 7 100.0 % 7 7 100.0 % 7 7 100.0 %

100.0 % 9 8 88.9 % 9 9 100.0 % 8 8 100.0 %

100.0 %

91.9 % 376 358 95.2 % 380 364 95.8 % 379 361 95.3 %

– ––––– – – – – – –

– ––––– – – – – – –


• Bezüglich der Teilnahmequoten auf Schülerebene konnte die Verbesserung aus dem Jahr 2002 gehal-ten werden: während im FT 1999 9,4 % der zu testenden Schüler/innen am Testtag fehlten oder die Teilnahme verweigerten, waren dies beim FT 2002 6,9 % und beim FT 2005 nur 5,4 %.

1.5 Charakteristika der resultierenden Feldtest-Stichprobe

Abschließend sollen hier noch einige Charakteristika der im Feldtest 2005 erzielten Stichprobe gezeigt werden. Aus Abbildung VII.7 geht hervor, dass sich die getesteten Schulen und Schüler/innen gut über die verschiedenen Schularten (hier zusammengefasst in Form der 20 PISA-Strata) verteilen. Obwohl Abweichungen der Verteilung der Stichprobe von der gesamten Population der 15-/16-Jährigen festzu-stellen sind, wurde eine für einen Feldtest ausreichende Abdeckung aller Bereiche der österreichischen „Schullandschaft“ erreicht. Ziel des Feldtests ist ja nicht, eine selbst gewichtende, vollständig „repräsenta-tive“ Stichprobe zu erhalten (was schon allein auf Grund der Größe nicht möglich wäre), sondern Daten aus verschiedenen Schultypen als Basis für die Bewertung der Qualität der Aufgaben zur Verfügung zu haben. Dies wird durch die Einbeziehung von Schüler/innen verschiedener Strata erreicht.

Aus Abbildung VII.8 (nächste Seite) geht hervor, dass in der Feldtest-Stichprobe auch eine gute regio-nale Streuung erzielt werden konnte. Schulen und Schüler/innen aller Bundesländer wurden getestet, wobei die größeren Bundesländer auch durch größere Anteile an getesteten Schülerinnen und Schülern

Abbildung VII.7: Die realisierte Feldtest-Stichprobe nach Strata

Anzahl Prozent Anzahl Prozent2 Hauptschule3 Polytechnische Schule4 Sonderschule5 Gymnasium6 Realgymnasium & wirtschaftskundliches RG7 Oberstufenrealgymnasium8 Sonstige Allgemeinbildende Schulen/mit Statut9 Berufsschule (technisch/gewerblich)

10 Berufsschule (kaufmännisch/Handel & Verkehr)11 Berufsschule (land- & forstwirtschaftlich)12 BMS (gewerblich/technisch/kunstgewerblich)13 BMS (kaufmännisch)14 BMS (wirtschaftsberuflich/sozialberuflich)15 BMS (land- & forstwirtschaftlich)16 BHS (gewerblich/technisch/kunstgewerblich)17 BHS (kaufmännisch)18 BHS (wirtschaftsberuflich/sozialberuflich)19 BHS (land- & forstwirtschaftlich)20 Anstalten f. Lehrer- & Erzieherbildung

GESAMT

Schüler/innenSchulenStratum

Anmerkung: Diese Tabelle unterscheidet sich von den Angaben in den Abbildungen 1 und 4 nurdurch die Art der angegebenen Prozentzahlen.

3 5.9 %

5 9.8 %

5 9.8 %

5 9.8 %

2 3.9 %

5 9.8 %

2 3.9 %

1 2.0 %

2 3.9 %

4 7.8 %

4 7.8 %

2 3.9 %

3 5.9%

4 7.8 %

2 3.9 %

1 2.0 %

1 2.0 %

51 100.0 %

26 1.8 %

135 9.4 %

159 11.1 %

165 11.5 %

55 3.8 %

159 11.1 %

38 2.6 %

4 0.3 %

62 4.3 %

103 7.2 %

125 8.7 %

60 4.2 %

98 6.8%

133 9.3 %

53 3.7 %

28 1.9 %

34 2.4 %

1437 100.0 %

––––

––––


vertreten sind. Weiters umfasst die Stichprobe 736 Mädchen (das entspricht 51,2 %) und 701 Burschen (48,8 %). Auf eine Darstellung unter Berücksichtigung der besuchten Schulstufe (so wie diese in der Folge für die Charakterisierung der Haupttest-Stichprobe erfolgen wird) wurde verzichtet, weil dazu im Feldtest ausschließlich aus Schülerangaben generierte Daten vorliegen.

1.6 Die realisierte Stichprobe für die nationale Zusatzerhebung im Feldtest

Die nationalen Zusatzerhebungen, die seit PISA 2000 teilweise ident, teilweise adaptiert in Verwendung sind, mussten in Absprache mit dem internationalen Projektkonsortium nicht mehr im Feldtest erprobt werden. Es wurden ausschließlich einige ergänzende, offene Fragen zum Teil „Belastung in der Schule“ an die Schüler/innen gerichtet – diese waren in allen vier Fragebogenformen enthalten. Der Rücklauf entspricht dem in Abschnitt 1.3 idK. dargestellten Rücklauf der Fragebogenformen A, B, C und D.

2. Rücklauf im PISA-Haupttest 2006

2.1 Der Rücklauf auf Schulebene

Ausgangspunkt des Screenings ist die aus dem Sampling stammende Liste der 213 ausgewählten öster-reichischen Schulen. Als ein Ergebnis des Screening-Prozesses – und gleichzeitig als Ausgangspunkt der Rücklaufkontrolle – kann man die Teilnahme der ausgewählten Schulen interpretieren (vgl. Abbildung VII.9).In sechs der ausgewählten Schulen befanden sich im Schuljahr 2005/2006 keine Schüler/innen des Zieljahrgangs, die Durchführung eines PISA-Tests war also nicht möglich. Dies kann passieren, weil die Auswahl der Schulen aus organisatorischen Gründen auf den Daten der Schulstatistik des jeweils vorher-gehenden Schuljahres beruhen muss – dies sind also Schulen, die im Schuljahr 2004/2005 zumindest eine/n 15-/16-jährige/n Schüler/in hatten, nicht aber im darauf folgenden Jahr. In drei Schulen wur-den alle Schüler/innen des Geburtsjahrgangs 1990 auf Grund schwerer Behinderung oder mangelnder Deutschkenntnisse ausgeschlossen. Auch in diesen Schulen konnten demnach keine PISA-Tests stattfin-den. An einer weiteren Schule verließ der/die einzig zu testende Schüler/in die Schule zu Semesterende.Jene 203 Schulen, an denen sich auch zu testende Zielschüler/innen befanden, erklärten sich zur Teilnahme an PISA 2006 bereit. In keinem Fall war die Kontaktierung von Replacement-Schulen notwendig. Für jede ausgewählte Schule waren durch den Vorgang des Samplings zwei Ersatzschulen („Replacements“) ausgewählt worden, die bei der Verweigerung der Teilnahme einer Schule kontaktiert werden hätten

Abbildung VII.8: Die realisierte Feldtest-Stichprobe nach Bundesländern

Anzahl Prozent Anzahl ProzentBurgenlandKärntenNiederösterreichOberösterreichSalzburgSteiermarkTirolVorarlbergWien

GESAMT

Schulen Schüler/innen

Bundesland2 3.9 % 52 3.6 %

3 5.9 % 73 5.1 %

10 19.6 % 259 18.0 %

9 17.6 % 271 18.9 %

3 5.9 % 81 5.6 %

8 15.7 % 211 14.7 %

5 9.8 % 165 11.5 %

3 5.9 % 94 6.5 %

8 15.7 % 231 16.1 %

51 100.0 % 1437 100.0 %


können. Je weniger dieser Replacementschulen herangezogen werden müssen, desto besser ist die Qualität der realisierten Stichprobe. Obwohl sich alle Schulen zur Teilnahme bereit erklärt haben, gibt es auf Schulebene keinen Rücklauf von 100 %: An einer im Sampling enthaltenen Berufsschule hatten innerhalb des Testfensters keine Schüler/innen des Jahrgangs 1990 Unterricht. An zwei Schulen meldeten sich die einzig zu testenden Schüler/innen vom PISA-Test ab. Diese Schulen haben auf Schülerebene keinen Rücklauf. An drei Schulen, an denen zwar ein PISA-Test stattgefunden hat, wurde die erforderliche Teilnahmequote auf Schülerebene von 50 % nicht erreicht. Daher werden diese Schulen bei der Berechnung der Rücklaufquoten nicht einbezogen und zählen international als Nichtteilnahme. Die Daten der beiden Schulen mit einem Rücklauf zwischen 25 % und 50 % werden jedoch im Datenfile enthalten sein. Basis für die Berechnung der Teilnahmequoten auf Schulebene bilden die verbleibenden 197 ausgewählten Schulen, die im Schuljahr 2005/2006 für die Testung in Frage kommende Schüler/innen des Zieljahrgangs hatten und auf Schülerebene eine Beteiligung von mehr als 50 % hatten (vgl. Abbildung VII.9). Der Rücklauf auf Schulebene bei PISA 2006 beträgt in Österreich 98 % ohne Replacements. Mit dieser hohen Rücklaufquote auf Schulebene fallen die österreichischen Daten eindeutig in den Bereich „Acceptable“ (vgl. Abschnitt 4.1 in Kapitel V).

Aus Abbildung VII.10 auf der nächsten Seite ist ersichtlich, dass der Schulfragebogen von allen PISA-Schulen, an denen unter den Schülerinnen und Schülern die Beteiligungsquote ausreichend hoch war, ausgefüllt an das Projektzentrum retourniert wurde. Diese Abbildung zeigt den Rücklauf auf Schulebene getrennt nach Strata, der Rücklauf beträgt jeweils 100 %. Das Stratum 04 ist nicht angeführt, weil sich in diesem keine „großen“ Schulen („groß“ bezüglich der Anzahl 15-/16-Jähriger) befinden und Schulen dieses Typs demnach in den beiden Strata für „kleine“ Schulen (21 und 22) enthalten sind. Auch in den Strata 08 und 11 befinden sich nur „kleine“ Schulen; da die Auswahlwahrscheinlichkeit dieser Schulen in-

Abbildung VII.9: Übersicht über die gesampelten Schulen im Haupttest

Schulen, an denen im Schuljahr 2005/06 kein/e Schüler/in 1990 vorhanden istSchulen, an denen alle Schüler/innen vom Test ausgeschlossen worden sindSchule, an der der/die einzig zu testende Schüler/in die Schule im Semester verlassen hat

Schule, an der im Testzeitraum keine Schüler/innen des Jahrgangs 1990 Unterricht hattenSchulen, an denen sich der/die einzig zu testende Schüler/in vom Test abgemeldet hatSchule mit einer Schüler-Rücklaufquote von unter 25% (zählt international als Nicht-Teilnahme, im Datenfile nicht enthalten)

6

3

1

203

Anzahl ausgewählter Schulen 213

Anzahl zu testender Schulen

1

2

1

Anzahl an Schulen, in denen der Test (mit einer Schüler-Rücklaufquote von mindestens 50%) durchgeführt wurde.

197

Anzahl an Schulausfällen 6

10Anzahl „leerer“ Schulen

Schulen mit einer Schüler-Rücklaufquote zwischen 25% und 50%(zählt international als Nicht-Teilnahme, im Datenfile enthalten)

2


nerhalb der Strata für „kleine“ Schulen sehr gering wäre, hat man sich dafür entschieden, je zwei Schulen aus dem Stratum 08 und 11 zu ziehen. Diese Vorgehensweise war für das Stratum 04 nicht nötig.

2.2 Schüler/innen, die nicht getestet werden können

Wie im Feldtest gelangen auch in einem Haupttest Schüler/innen auf die Schülerlisten, die nicht getestet werden dürfen oder können. Aus drei Arten von Gründen können Schüler/innen noch vor der Testsitzung von der PISA-Schülerliste einer Schule gestrichen werden (praktisch bleiben die Namen dieser Schüler/in-nen auf der PISA-Schülerliste, werden aber entsprechend gekennzeichnet):(1) Schüler/innen, die nicht im Jahr 1990 geboren sind, bzw. Schüler/innen, die sich auf Schulstufe 6

oder darunter befinden, sind fälschlicherweise auf die Schülerliste geraten (in der Regel durch einen fehlerhaften Eintrag in der Schuldatenbank).

(2) Einer der in Kapitel V (Abschnitt 6.1) dargestellten Ausschließungsgründe trifft zu: dies betrifft Schü-ler/innen, die auf Grund einer dauernden schweren geistigen oder körperlichen Behinderung nicht am Test teilnehmen können und Schüler/innen mit mangelnden Deutschkenntnissen. Es ist wichtig, diese Schüler/innen in den Sampling-Prozess einzubeziehen, damit im Anschluss berechnet werden

Abbildung VII.10: Rücklauf auf Schulebene nach Strata im Haupttest 2006

Anzahl Prozent

Schulfragebogen Schulenin

StichprobeStratum

2 Hauptschule 2 2 100 %

3 Polytechnische Schule 10 10 100 %

5 Gymnasium 9 9 100 %

6 Realgymnasium & wirtschaftskundl. RG 8 8 100 %


Allgemeinbildende mit Statut

8 8 100 %

100 %8 2 2

9 Berufsschule (technisch/gewerblich) 22 22 100 %


Berufsschule (land- & forstwirtschaftlich)

7 7 100 %

100 %11 2 212 BMS (gewerbl./technisch/kunstgewerbl.) 3 3 100 %

13 BMS (kaufmännisch) 3 3 100 %

14 BMS (wirtschaftsberuflich/sozialberuflich) 4 4 100 %

15 BMS (land- & forstwirtschaftlich) 5 5 100 %

16 BHS (gewerbl./technisch/kunstgewerbl.) 17 17 100 %

17 BHS (kaufmännisch) 13 13 100 %

18 BHS (wirtschaftsberuflich/sozialberuflich) 9 9 100 %

19 BHS (land- & forstwirtschaftlich) 2 2 100 %

20 Anstalten der Lehrer- & Erzieherbildung 2 2 100 %

21 Kleine Schulen (18–35 Schü. Jg. 90) 33 33 100 %

22 Sehr kleine Schulen (1–17 Schü. Jg. 90) 36 36 100 %

197 197 100 %GESAMT


kann, welchen Prozentsatz der Zielpopulation dies betrifft. Dies dient der Sicherung der Vergleich-barkeit der Daten verschiedener Länder. Aus diesem Grund werden Schüler/innen, die aus einem der oben genannten Gründe von der Testung ausgeschlossen werden müssen, auf die PISA-Schülerlisten mit aufgenommen und vor der Testung vom Schulkoordinator/von der Schulkoordinatorin entspre-chend markiert.

(3) Es wurden Schüler/innen ausgewählt, die für die Testung nicht in Frage kommen: das betrifft Schü-ler/innen, die im Zeitraum zwischen der Erstellung der Schülerliste und der Testsitzung entweder an eine andere Schule gewechselt haben oder die Schule verlassen haben, ohne dass Informationen über den Wechsel an eine andere Schule bekannt wären. Diese Schüler/innen werden in der internationa-len PISA-Diktion als „ineligible“ (nicht in Frage kommend) bezeichnet. Aus Gründen der Übersicht-lichkeit wird in den Abbildungen diese kürzere englische Bezeichnung verwendet.

Schüler/innen, die trotz falschen Geburtsjahrgangs oder falscher Schulstufe auf die Schülerliste gelangt sind (1), werden bei der Berechnung von Rücklauf-Quoten so behandelt, als wären ihre Namen nie auf der Liste enthalten gewesen. Ausgeschlossene (2) und nicht in Frage kommende Schüler/innen (3) betref-fen die Coverage-Quote (sie bestimmen den Anteil, um den sich die durch die Stichprobe repräsentierte Population verringert). Alle ausgewählten Schüler/innen minus jenen, auf die (1), (2) oder (3) zutrifft, liefern die Ausgangsbasis für die Berechnung der Rücklaufquote.

Abbildung VII.11 gibt einen Überblick über den Prozentsatz notwendiger Ausschlüsse und nicht in Frage kommender Schüler/innen beim Haupttest 2006 in Österreich. Die Ausschlüsse belaufen sich auf ins-gesamt 1,7 %; 3,1 % der Schüler/innen des Jahrgangs 1990 konnten auf Grund von Schulwechsel nicht getestet werden.

In der Abbildung ist zusätzlich zu den oben angeführten Gruppen von nicht testbaren Schülern und Schülerinnen noch eine weitere Kategorie quantifiziert, die unter Berücksichtigung der Regeln der OECD nicht getestet werden kann. Dies sind Schüler/innen saison- oder lehrgangsmäßig geführter Berufsschulen, deren Schulbesuch vollständig außerhalb des vorgeschriebenen Testfensters liegt. Für den

Abbildung VII.11: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen im Haupttest 2006

körperlicher Behinderung

geistiger Behinderung

mangelnder Deutschkenntnisse

Ausschlüsse gesamtan andere Schule gewechselt

nicht mehr in der Schule

Ineligible gesamtZu testende Schüler/innen

Aus

schl

üsse

au

f Gru

ndIn

elig

ible

, w

eil

5824Falscher Jahrgang 3

Falsche Schulstufe 5

Schüler/innen Jahrgang 1990 in der Stichprobe 5816Schüler/innen im Testfenster nicht erreichbar 279

5537 100.0 %

1 0.0 %

29 0.5 %

64 1.2 %

94 1.7 %53 0.9 %

127 2.2 %

180 3.1 %5263

Schüler/innen in der Haupttest-Stichprobe

Schüler/innen Jahrgang 1990 im Testfenster erreichbar


Zweck der Dokumentation des Rücklaufs auf nationaler Ebene wurden diese Schüler/innen nicht berück-sichtigt. Nach internationalen Regeln müssen sie als abwesend gewertet werden (dieser Thematik ist ein eigener Abschnitt gewidmet – genauere Erläuterungen dazu entnehmen Sie bitte Abschnitt 2.5 idK.).Die Basis für die Darstellung des Rücklaufs auf Schülerebene in Österreich bilden laut obiger Aufschlüsselung 5263 Schüler/innen des Geburtsjahrgangs 1990. Abbildung VII.12 zeigt zusätzlich, wie sich die ausgeschlossenen und nicht in Frage kommenden Schüler/innen sowie die 5263 zu testenden Schüler/innen über die dem Sampling zu Grunde liegenden Strata verteilen.

2.3 Der Rücklauf auf Schülerebene

Im Haupttest 2006 konnte in Österreich ein ausgezeichneter Rücklauf auf Schülerebene erzielt werden. Für die Rücklaufstatistik wird ein/e Schüler/in als teilgenommen gewertet, wenn er/sie die Bearbeitung des Testhefts zumindest begonnen hat. In den meisten Fällen waren die Schüler/innen die ganze Testsitzung hindurch (PISA-Test und Fragebogen) anwesend. Die offizielle, ungewichtete Rücklaufquote für Österreich im PISA-Haupttest 2006 beträgt 93,6 %, das entspricht 4925 Schülerinnen und Schülern.

Abbildung VII.12: Ausgeschlossene und nicht in Frage kommende Schüler/innen nach Strata im Haupttest 2006

Jg. 90 gesamt1)

ausge-schlossen ineligible zu testen

2 Hauptschule


5 Gymnasium

6 Realgymnasium & wirtschaftskundliches RG

1) Jg. 1990, über Schulstufe 6, testbar im Testfenster



8 Sonstige Allgemeinbildende mit Statut



12 BMS (gewerblich/technisch/kunstgewerblich)




16 BHS (gewerblich/technisch/kunstgewerblich)







GESAMT

StratumSchüler/innen

57 21 2 34

347 43 18 286

306 1 13 292

279 2 4 273

280 0 5 275

56 0 2 54

763 9 26 728

243 0 17 226

23 0 0 23

105 0 12 93

105 0 8 97

137 0 4 133

174 2 2 170

595 0 15 580

455 1 5 449

315 0 5 310

70 0 0 70

70 0 0 70

860 1 35 824

279 14 7 276

5537 94 180 5263


Betrachtet man den Rücklauf der Instrumente, sind kleine Unterschiede zwischen dem Rücklauf der PISA-Testhefte und Fragebögen festzustellen, welche sich beispielsweise dadurch ergeben, dass Schüler/in-nen die Testsitzung (z. B. auf Grund plötzlich auftretender gesundheitlicher Probleme) vorzeitig verlassen mussten. Die Datenbasis, die den Auswertungen zu Grunde liegen wird, wird die Daten von 4925 Schülerinnen und Schülern umfassen.Eine Bewertung des Rücklaufs in Bezug auf die international vorgegebenen Mindest-Rücklaufquoten ist an dieser Stelle nicht möglich, da sich die Vorgaben der OECD auf gewichtete Werte beziehen. Durch die spezielle Behandlung der Schüler/innen lehrgangsmäßig geführter Berufsschulen sind deutliche Unterschiede zwischen gewichteter und ungewichteter Rücklaufquote auf Schülerebene zu erwarten (sie-he unten).Der folgenden Übersicht ist der Rücklauf in Bezug auf die bei den Schülern und Schülerinnen einge-setzten Instrumente zu entnehmen. Von 4925 Schüler/innen wurde ein PISA-Testheft bearbeitet, den Schülerfragebogen haben 4918 österreichische Schüler/innen beantwortet.Eine Aufgliederung der Gründe für Non-response (Teilnahme durch Schüler/in selbst oder Eltern ver-weigert, Abwesenheit bei erster Testsitzung, aber kein Nachtest notwendig oder Abwesenheit bei erster Testsitzung und allen abgehaltenen Nachtests) findet sich in Abbildung VII.13. Dieser Tabelle ist auch zu entnehmen, wie viele Schüler/innen beim ersten Testtermin erreicht werden konnten, und bei wie vielen Schülern und Schülerinnen erst durch die Abhaltung eines oder – in manchen Berufsschulen – mehrerer Nachtests die Teilnahme möglich wurde.

Die genauen Rücklaufquoten für Testheft und Schülerfragebogen für die dem Sampling zu Grunde liegen-den Strata sind Abbildung VII.14 zu entnehmen. Die Rücklaufquoten zwischen den Strata unterscheiden sich geringfügig. Die niedrigste Rücklaufquote wurde bei den Hauptschulen (Stratum 02) mit 64,7 % erzielt. Der höchste Rücklauf ist in den Strata 19 und 20 mit je 98,6 % zu verzeichnen. Abweichungen von der mittleren Rücklaufquote in diesem Ausmaß sind – im Speziellen bei sehr kleinen Strata (darunter das Stratum für Hauptschulen) – als unwesentlich einzustufen und können bei der Gewichtung im Zuge des Non-response-Adjustments ausgeglichen werden.

Abbildung VII.13: Aufgliederung des Non-response im Haupttest 2006

Zu testende Schüler/innenTeilnahme verweigert

abwesend bei erster Sitzung, kein Nachtest

abwesend bei erster Sitzung und Nachtests

in erster Testsitzung

in einem Nachtest

Getestete Schüler/innen gesamt

nich

t get

este

tge

test

et

Nicht getestete Schüler/innen gesamt

5263 100.0 %119 2.3 %

175 3.3 %

44 0.8 %

338 6.4 %4426 84.1 %

499 9.5 %

4925 93.6 %


Eine detailliertere Übersicht über den Rücklauf der Testinstrumente gibt Abbildung VII.15 auf der ge-genüberliegenden Seite. Die Analyse des Rücklaufs getrennt für die 13 rotierten Testheftformen zeigt nur sehr kleine Unterschiede. Die Rücklaufquote liegt für alle Formen bei mehr als 90 % bzw. darüber. Das in Sonderschulen eingesetzte Testheft 60 wurde von 18 (von zu testenden 21) Schülerinnen und Schülern bearbeitet, was ebenfalls einer Rücklaufquote von 85,7 % entspricht.

2.4 Vergleich mit PISA 2000 und PISA 2003

Abbildung VII.16 zeigt den prozentuellen Anteil an ausgeschlossenen und nicht in Frage kommen-den Schülern und Schülerinnen vergleichend für die Haupttests PISA 2000, 2003 und 2006. Weiters kann dieser Abbildung der Anteil an Schüler/innen entnommen werden, die je Erhebungszeitpunkt auf Grund von Abwesenheit am Testtag oder Teilnahmeverweigerung nicht am Test teilgenommen haben (Vergleichszahlen aus Haider (2001) für PISA 2000 sowie Reiter (2004) für PISA 2003).Vergleicht man die prozentuellen Angaben für PISA 2000, 2003 und 2006 ist Folgendes zu beobachten:• Der Anteil an Schülerinnen und Schülern, die auf Grund von Behinderungen oder mangelnden

Deutschkenntnissen ausgeschlossen werden, ist seit PISA 2000 kontinuierlich angestiegen: von 0,9 % auf 1,7 %.

Anzahl Rücklauf Anzahl Rücklauf2 Hauptschule


5 Gymnasium

6 Realgymnasium & wirtschaftskundliches RG



8 Sonstige Allgemeinbildende mit Statut



12 BMS (gewerblich/technisch/kunstgewerblich)




16 BHS (gewerblich/technisch/kunstgewerblich)







GESAMT

Testheft FragebogenSchüler zu testen

Stratum

34 22 64.7 % 22 64.7 %

286 257 89.9 % 257 89.9 %

292 280 95.9 % 280 95.9 %

273 259 94.9 % 259 94.9 %

275 260 94.5 % 260 94.5 %

54 47 87.0 % 47 87.0 %

728 667 91.6 % 666 91.5 %

226 212 93.8 % 210 92.9 %

23 22 95.7 % 22 95.7 %

93 82 88.2 % 82 88.2 %

97 92 94.8 % 92 94.8 %

133 127 95.5 % 127 95.5 %

170 162 95.3 % 162 95.3 %

580 551 95.0 % 551 95.0 %

449 430 95.8 % 430 95.8 %

310 294 94.8 % 294 94.8 %

70 69 98.6 % 69 98.6 %

70 69 98.6 % 69 98.6 %

824 773 93.8 % 772 93.7 %

276 250 90.6 % 247 89.5 %

5263 4925 93.6 % 4918 93.4 %

Abbildung VII.14: Der Rücklauf auf Schülerebene nach Strata im Haupttest 2006


• Durch Schulwechsel (oder das Verlassen der Testschule, ohne dass der Wechsel an eine andere Schule bekannt ist) konnten bei PISA 2000 4,7 % der Schüler/innen, bei PISA 2003 2,3 % der Schüler/in-nen und bei PISA 2006 mit 3,1 % der Schüler/innen nicht erreicht werden.

• In Bezug auf den Non-response ist seit PISA 2000 eine kontinuierliche Verbesserung zu beobachten: der Anteil der Schüler/innen, die nicht am Test teilgenommen haben (auf Grund von Teilnahmever-weigerungen bzw. weil sie am Testtag fehlten) lag bei PISA 2000 bei 8,2 %, bei PISA 2006 hingegen bei 6,4 %.

• Der ungewichtete Rücklauf (ohne Berücksichtigung der lehrgangsmäßigen Berufsschüler/innen, die im Testfenster in der Schule nicht erreichbar waren) beträgt in PISA 2000 91,8 %, in PISA 2003 92,6 % und in PISA 2006 93,6 %

Abbildung VII.15: Rücklauf nach Testheftformen im Haupttest 2006

Anzahl ProzentTestheft 1Testheft 2Testheft 3Testheft 4Testheft 5Testheft 6Testheft 7Testheft 8Testheft 9Testheft 10Testheft 11Testheft 12Testheft 13

Testheft 60 (Sonderschule)

RücklaufAusgeschicktTestheft-

form

400 370 92.5 %

412 386 93.7 %

412 382 92.7 %

418 392 94.0 %

420 395 94.0 %

398 378 95.0 %

399 372 93.2 %

394 366 92.9 %

399 370 92.7 %

390 371 95.1 %

410 387 94.4 %

396 369 93.2 %

394 367 93.1 %

21 18 85.7 %

Abbildung VII.16: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen sowie Non-response für PISA 2000, 2003 und 2006

ausgeschlossen 0.9 % 1.3 %

nicht in Frage kommend (ineligible) 4.7 % 2.3 %

Schüler/innen nicht zu testen gesamt 5.6 % 3.6 %

Teilnahme verweigert 2.0 % 1.6 %

am Testtag abwesend 6.2 % 5.8 %

Schüler/innen nicht teilgenommen gesamt 8.2 % 7.4 %

PISA 2003PISA 2000 PISA 20061.7 %

3.1 %

4.8 %

2.3 %

4.1 %

6.4 %


2.5 Besonderheiten bei der Berechnung von Rücklaufquoten in Berufsschulen

Die beiden Organisationsformen österreichischer Berufsschulen stellen bei der Testung nach PISA-Regeln eine gewisse Herausforderung dar:(1) Berufsschulen mit Jahresunterricht, in denen die Schüler/innen während des ganzen Schuljahres für

1 oder maximal 2 Tage pro Woche die Schule besuchen, erfordern meist die Abhaltung mehrerer Testtermine an verschiedenen Wochentagen, um allen Schülerinnen und Schülern unterschiedlicher Kurse die Teilnahme an der Testung zu ermöglichen. Dies führt dazu, dass an manchen Schulen bis zu 5 Testsitzungen notwendig sind, um allen ausgewählten Schülerinnen und Schülern die Möglichkeit zu geben, am PISA-Test teilzunehmen.

(2) In Berufsschulen mit lehrgangs- oder saisonmäßig geführten Klassen (in der Folge sind mit der Be-zeichnung „lehrgangsmäßig geführte Berufsschulen“ auch die saisonalen Berufsschulen gemeint) kann ein großer Teil der Schüler/innen nicht getestet werden, weil PISA vorsieht, Tests ausschließlich innerhalb eines 6-wöchigen Testfensters im Frühjahr abzuhalten. Auf Grund der österreichischen Gegebenheiten hat das internationale Projektkonsortium für PISA 2006 die Zustimmung gegeben, das Testfenster für die lehrgangsmäßig geführten Berufsschulen auf drei Monate auszuweiten (März bis Mai). Auf diese Weise können mehr Schüler/innen als bisher getestet werden. Schüler/innen des 1. oder 2. Lehrgangs, die nur im Herbst bzw. Winter die Schule besuchen, können nicht getestet werden, weil sie während des Testfensters an der Schule nicht erreicht werden können, und außerhalb des verlängerten Testfensters nicht getestet werden dürfen.

Berufschulen bzw. Berufsschüler/innen, die in Kategorie (1) fallen, stellen ein organisatorisches bzw. fi-nanzielles Problem dar, das an sich aber in den Bereich der Testdurchführung fällt. Wenn durch entspre-chende Maßnahmen (Nachtests) gesichert werden kann, dass Schüler/innen aller Unterrichtstage getestet werden können, so stellt diese Tatsache für den Rücklauf kein Problem dar.Berufsschulen bzw. Berufsschüler/innen der Kategorie (2) erschweren hingegen in erster Linie die Erlangung entsprechender Rücklaufquoten. Wie nach internationalen Richtlinien mit diesem Problem umgegangen werden muss, und welche Folgen das hat, ist Thema dieses Abschnitts. Erwähnt werden muss auch, dass diese beiden Problemkategorien in vielen Fällen in Kombination auftreten, d. h., dass an vielen Berufsschulen sowohl lehrgangsmäßig geführte Klassen als auch solche mit Jahresunterricht geführt werden.

2.5.1 Lehrgangsmäßig geführte Berufsschulen und PISA

In lehrgangsmäßig geführten Berufsschulen liegen als Schätzwert für die Anzahl der Schüler/innen des Zieljahrgangs dem Sampling die Werte eines gesamten Schuljahrs zu Grunde. Im Zuge des Screenings wird von den Schulen eine Liste aller 15-/16-Jähriger, die im Lauf des Schuljahres Schüler/innen der Schule sind, erbeten. Diese Liste umfasst somit Schüler/innen, die während des Testfensters die Schule besuchen werden, und solche, deren Unterricht vollständig außerhalb dieses Zeitraums liegt. Das Auswahlprinzip ist das gleiche wie bei nicht lehrgangsmäßig geführten Schulen. Es muss aus allen Schülern und Schülerinnen (testbaren und nicht testbaren) ausgewählt werden, und zwar so, dass 35 testbare Schüler/innen auf der resultierenden PISA-Schülerliste enthalten sind (aliquot zum Anteil der nicht testbaren Schüler/innen auf der ursprünglichen Liste sind auf der PISA-Schülerliste ebenfalls nicht testbare Schüler/innen enthalten; gibt es an einer Schule weniger als 35 testbare Schüler/innen, müssen alle 15-/16-jährigen Schüler/in-nen ausgewählt werden). Für die in diesem Kapitel (vgl. Abschnitt 2.3) präsentierten Rücklaufstatistiken wurden diese Schüler/innen (die gesampelt werden mussten, aber unter Berücksichtigung der Regeln der OECD nicht testbar sind) nicht in die Berechnung von Ausschluss- und Rücklaufquoten mit einbezogen (vgl. Abbildung VII.11).Bei den Berechnungen der Rücklaufquoten werden diese Schüler/innen von internationaler Seite aber so behandelt, als ob sie am Testtag gefehlt hätten (sie zählen also zum Non-response dieser Schule). Abbildung VII.17 zeigt, wie sich der tatsächliche Rücklauf in den Berufsschulen (bezogen auf alle test-


baren Schüler/innen) von dem fiktiven Rücklauf unter Einbeziehung der nicht testbaren Schüler/innen unterscheidet.Die obere Tabelle in Abbildung VII.17 zeigt, wie sich der Rücklauf in den drei Arten von Berufsschulen berechnet, wenn sich dieser nur auf testbare Schüler/innen bezieht, d. h. wenn alle Schüler/innen, die im Testfenster nicht erreichbar sind, nicht in die Anzahl zu testender Schüler/innen einbezogen werden. Es ergibt sich in den drei Berufsschulstrata jeweils eine Rücklaufquote von mehr als 90 %.Aus der unteren Tabelle geht hervor, wie sich die Einbeziehung der im Testfenster nicht erreichbaren Schüler/innen in die Gruppe der zu Testenden (also jene Schüler/innen, in Bezug auf die die Rücklaufquote berechnet wird) auf den Rücklauf auswirkt. Die Rücklaufquote liegt bei dieser Art der Berechnung für die technisch-gewerblichen Berufsschularten bei 68,8 %, obwohl im Testfenster nur 61 von 728 Schüler/in-nen gefehlt haben. Bei den kaufmännischen Berufsschulen macht die Rücklaufquote 81,4 % aus, wobei 15 von 242 Schüler/innen am Testtag nicht anwesend waren. Die Rücklaufquote für die land- und forst-wirtschaftlichen Berufsschulen unterscheidet sich nicht, weil an diesen beiden Schulen alle Schüler/innen im Testfenster erreichbar waren.Für die uneingeschränkte Aufnahme der Daten eines Landes in die internationalen Berichte ist eine gewichtete Rücklaufquote auf Schülerebene von mindestens 80 % notwendig (durch die Gewichtung spielt die niedrige Rücklaufquote bei den Berufsschulen nur im Verhältnis des Anteils der Berufsschüler/innen an der Population der 15-/16-jährigen Schüler/innen eine Rolle). Die internationale Regel, nach der nur Schüler/innen aus Schulen mit einer schulbezogenen Rücklaufquote von mindestens 50 % als Teilnahmen gewertet werden, was bei den meisten lehrgangsmäßigen Berufsschulen aber nicht der Fall ist (wenn mehr als die Hälfte aller Schüler/innen einen Lehrgang außerhalb des Testfensters besuchen, sogar unmöglich), findet bei den lehrgangsmäßig geführten Berufsschulen keine Anwendung.Es zeigt sich, dass das Einhalten aller internationalen Vorgaben unter den Bedingungen des österreichi-schen Schulsystems ein Problem darstellt. Folgt man den Regeln für das Sampling in den Berufsschulen und für den Testzeitraum (6-wöchiges Testfenster), ist das Erreichen der vorgegebenen Rücklaufquote auf Schülerebene praktisch nicht oder nur sehr knapp möglich. Die Ausweitung des 6-wöchigen Testfensters

Abbildung VII.17: Rücklauf in Berufsschulen mit und ohne Berücksichtigung der nicht testbaren Schüler/innen

in Stichprobe

im Test-fenster nicht erreichbar

ausge-schlossen/ ineligible

zu testen getestet gefehlt/ verweigert Rücklauf

technisch/gewerbl.

kaufm./Handel

in Stichprobe

ausge-schlossen/ ineligible

zu testen getestetim Test-

fenster nicht erreichbar

gefehlt/ verweigert Rücklauf

technisch/gewerbl.

kaufm./Handel

Berufsschul- stratum

Berufsschul- stratum

Rücklauf bezogen auf alle Berufsschüler/innen(inkl. jener, die im Testfenster nicht an der Schule sind)

Rücklauf bezogen auf alle testbaren Berufsschüler/innen

Schüler/innen

Schüler/innen

land- & forstwirtsch.

land- & forstwirtsch.

1005 242 35 728 667 61 91.6 %296 37 17 242 227 15 93.8 %23 0 0 23 22 1 95.7 %

1005 35 970 667 242 61 68.8 %296 17 279 227 37 15 81.4 %23 0 23 22 0 1 95.7 %


auf drei Monate für die lehrgangsmäßig geführten Berufsschulen bei PISA 2006 war daher ein wichtiger Schritt, um für Österreich eine adäquate Lösung zur Erreichung der Rücklaufquoten zu finden.Die nicht testbaren Schüler/innen werden in die Rücklaufquoten miteinbezogen, weil die getesteten Schüler/innen einer Schule alle Schüler/innen des Zieljahrgangs mit ihren Ergebnissen repräsentieren müssen, in einer lehrgangsmäßig geführten Berufsschule also auch alle Schüler/innen, die nicht im Testfenster zur Schule gehen.

2.6 Charakteristika der resultierenden Haupttest-Stichprobe

Nach der Darstellung des Rücklaufs in Österreich – gesamt und jeweils nach verschiedenen Kriterien gegliedert – soll nun abschließend gezeigt werden, wie sich die realisierte Stichprobe bezogen auf einige Variablen – vor allem solche, die bei der Stichprobenziehung eine Rolle gespielt haben – zusammensetzt. Es ist dies als reine Charakterisierung der realisierten Stichprobe zu verstehen. Die Berechnungen in die-sem Abschnitt basieren deshalb auf ungewichteten Daten. Analyseergebnisse, die in den internationalen und nationalen Berichtbänden zu PISA 2006 publiziert werden, basieren auf gewichteten Daten, welche im Abschnitt 2.9 dargestellt werden.Die folgenden Analysen inkludieren die Schüler/innen aus den beiden Schulen, deren Rücklaufquote zwischen 25 % und 50 % auf Schülerebene betrug, weil die Daten dieser Schüler/innen im internatio-nalen Datenfile enthalten sein werden. Basis für die Charakterisierung sind also 199 Schulen mit 4927 Schüler/innen

Abbildung VII.18 gegenüber zeigt die Verteilung der Schüler/innen der Haupttest-Stichprobe auf die ver-schiedenen Schularten. Die für den Vorgang des Samplings und Screenings in den Strata 21 und 22 zusam-mengefassten „kleinen“ Schulen wurden für diesen Zweck wieder ihrer ursprünglichen Kategorisierung zugeordnet. Die prozentuellen Angaben auf Schulebene sind für die Bewertung der Qualität weniger relevant – diese sind sehr stark durch die Anzahl 15-/16-Jähriger in den verschiedenen Schultypen beein-flusst. Deshalb umfasst die Stichprobe zum Beispiel relativ viele Allgemeinbildende Pflichtschulen, weil in diesen die 15-/16-Jährigen meist eine Minderheit darstellen und deshalb in vielen Schulen getestet werden muss, um die notwendige (kleine) Anzahl an Schülern und Schülerinnen des Zieljahrgangs errei-chen zu können.

Abbildung VII.19 zeigt die regionale Verteilung der getesteten Schulen und Schüler/innen. Eine regiona-le Streuung der Stichprobe wird bei der Stichprobenziehung durch die Berücksichtigung des Bezirks als implizites Stratum (d. h. als Sortierkriterium) gesichert (vgl. Abschnitt 6.2 in Kapitel V).Abbildung VII.20 zeigt ergänzend zu den Darstellungen bezüglich der Variablen, die in den Sampling-Prozess eingegangen sind, eine Aufgliederung der Schüler/innen der Haupttest-Stichprobe nach besuch-ter Schulstufe und Geschlecht. Beide Variablen wurden im Rahmen der Schülerlisten zentral über die Schulkoordinatorinnen und -koordinatoren erhoben.


Abbildung VII.18: Die realisierte Haupttest-Stichprobe nach Schularten

Anzahl Prozent Anzahl Prozent

HauptschulePolytechnische SchuleSonderschule

APS gesamt

GymnasiumRealgymnasium & wirtschaftskundliches RGOberstufenrealgymnasium

AHS gesamt

Berufsschule (technisch/gewerblich)Berufsschule (kaufmännisch/Handel & Verkehr)

BS gesamt

BMS (gewerblich/technisch/kunstgewerblich)BMS (kaufmännisch)BMS (wirtschaftsberuflich/sozialberuflich)BMS (land- & forstwirtschaftlich)

BMS gesamt

BHS (gewerblich/technisch/kunstgewerblich)BHS (kaufmännisch)BHS (wirtschaftsberuflich/sozialberuflich)BHS (land- & forstwirtschaftlich)Anstalten der Lehrer- & Erzieherbildung

BHS gesamt

GESAMT

Berufsbildende Höhere Schulen:

Schüler/innenSchulart

Allgemeinbildende Pflichtschulen:

Allgemeinbildende Höhere Schulen:

Berufsschulen

Berufsbildende Mittlere Schulen:

Schulen

Sonstige Allgemeinbildende mit Statut


26 13.1 % 156 3.2 %

19 9.5 % 410 8.3 %

6 3.0 % 19 0.4 %

51 25.6 % 585 11.9 %

16 8.0 % 442 9.0 %

14 7.0 % 393 8.0 %

9 4.5 % 289 5.9 %

4 2.0 % 74 1.5 %

43 19.6 % 1198 22.8 %

22 11.1 % 667 13.5 %

8 4.0 % 227 4.6 %

2 1.0 % 22 0.4 %

32 16.1 % 916 18.1 %

5 2.5 % 130 2.6 %

7 3.5 % 176 3.6 %

8 4.0 % 208 4.2 %

8 4.0 % 236 4.8 %

28 14.1 % 750 15.2 %

17 8.5 % 551 11.2 %

14 7.0 % 463 9.4 %

9 4.5 % 294 6.0 %

3 1.5 % 101 2.0 %

2 1.0 % 69 1.4 %

45 22.6 % 1478 30.0 %

199 100.0 % 4927 98.1 %


2.7 Die realisierte Stichprobe für die nationalen Zusatzerhebungen im Haupttest

In Österreich wurden zusätzlich zum internationalen Schulleiter-Fragebogen drei nationale Fragebogenteile eingesetzt (vgl. Abschnitt 5 in Kapitel IV):• Nutzung moderner Informationstechnologien• Rahmenbedingungen der Leseförderung • Qualität in SchulenDa die österreichischen Zusatzfragebögen für die Schulleiter/innen als Teil des Schulfragebogens ad-ministriert wurden, ist der Rücklauf der nationalen Schulfragebogenteile dem des internationalen Schulfragebogens natürlich sehr ähnlich. Einzelne Ausfälle sind nur dadurch zu verzeichnen, dass in ein-zelnen Schulen keine Fragen eines nationalen Teils beantwortet wurden, und dieser Teil deshalb keine aus-wertbaren Daten enthält und für die betreffende Schule als fehlend gewertet werden muss. Die folgende Übersicht zeigt den Rücklauf bezüglich der verschiedenen im Rahmen der nationalen Zusatzerhebungen eingesetzten Fragebögen für die Schulleiter/innen.Die österreichischen Zusatzfragebögen für die Schüler/innen wurden – wie in Abschnitt 3 in Kapitel IV im Detail erklärt – in drei Formen über die Stichprobe hinweg rotiert, um die Bearbeitungszeit der

Abbildung VII.19: Die realisierte Haupttest-Stichprobe nach Bundesländern

Anzahl Prozent Anzahl Prozent

BurgenlandKärntenNiederösterreichOberösterreichSalzburgSteiermarkTirolVorarlbergWien

GESAMT

Schulen Schüler/innen

Bundesland6 3.0 % 178 3.6 %

16 8.0 % 414 8.4 %

35 17.6 % 906 18.4 %

38 19.1 % 953 19.3 %

15 7.5 % 341 6.9 %

28 14.1 % 640 13.0 %

21 10.6 % 502 10.2 %

9 4.5 % 253 5.1 %

31 15.6 % 740 15.0 %

199 100.0 % 4927 100.0 %

Abbildung VII.20: Die realisierte Haupttest-Stichprobe nach Schulstufe und Geschlecht

4 0.2 % 69 2.8 % 1090 44.5 % 1283 52.4 % 1 0.0 % 244766.7 % 0.1 % 33.7 % 1.4 % 50.7 % 22.1 % 50.1 % 26.0 % 50.0 % 0.0 % 49.7 %

2 0.1 % 136 5.5 % 1062 42.8 % 1277 51.6 % 1 0.0 % 248033.3 % 0.0 % 66.3 % 2.8 % 49.3 % 21.6 % 49.9 % 26.0 % 50.0 % 0.0 % 50.3 %

6 0.1 % 205 4.2 % 2152 43.7 % 2562 52.0 % 2 0.0 % 4927

Anzahl Zeilen%Spalten% Total%

Spaltensumme

Erklärung des Zelleninhalts

Schulstufe

Geschlecht

weiblich

männlich

7 8 9 10 11Zeilen-summe


einzelnen Schüler/innen zu reduzieren. Dadurch wird jede Form etwa von einem Drittel der gesamten Stichprobe bearbeitet. Schüler/innen in Sonderschulen erhielten einen stark reduzierten Fragebogen, der nur einige der zentralen Items des internationalen Fragebogens umfasste, und werden bei den nationalen Zusatzerhebungen nicht berücksichtigt.Kleinere zusätzliche Stichprobenausfälle sind außerdem zu Stande gekommen, da die nationalen Fragebogenteile am Ende des Schülerfragebogen-Hefts abgedruckt waren und manche Schüler/innen in

Abbildung VII.21: Die Stichproben der nationalen Zusatzerhebungen im Haupttest 2006 nach Schularten

Anzahl Anzahl Anzahl Anzahl Anzahl

Hauptschule % % % %

PolytechnischeSchule % % % %

Gymnasium % % % %

Realgymnasium &wirtschaftsk. RG % % % %

Oberstufenreal-gymnasium % % % %

Berufsschule (technisch/gewerbl.) % % % %

Berufsschule (kaufm./ Handel & Verkehr) % % % %

BMS (gewerbl./tech-nisch/kunstgewerbl.) % % % %

BMS (kaufmännisch) % % % %

BMS (wirtschafts-beruflich/sozialberufl.) % % % %

BMS (land- & forstwirtschaftlich) % % % %

BHS (gewerbl./tech-nisch/kunstgewerbl.) % % % %

BHS (kaufmännisch) % % % %

BHS (wirtschafts-beruflich/sozialberufl.) % % % %

BHS (land- & forstwirtschaftlich)

% % % %

Anstalten der Lehrer- & Erzieherbildung % % % %

GESAMT 1614 100% 1624 100% 1591 100% 1613 100%

Prozent

Informations-technologien

Prozent

Lesegewohn- heiten

Prozent

Belastung inder Schule

Prozent

Befindlich-keit

Prozent

Qualität in Schulen

Sonstige Allgemein-bildende mit Statut


51 3.2

137 8.5

142 8.8

127 7.9

94 5.8

25 1.5

213 13.2

73 4.5

7 0.4

45 2.8

59 3.7

65 4.0

77 4.8

191 11.8

153 9.5

99 6.1

34 2.1

22 1.4

%

%

%

%

%

%

%

%

%

%

%

%

%

%

%

%

%

%

1614 100%

51 3.2

137 8.5

142 8.8

127 7.9

94 5.8

25 1.5

213 13.2

73 4.5

7 0.4

45 2.8

59 3.7

65 4.0

77 4.8

191 11.8

153 9.5

99 6.1

34 2.1

22 1.4

%

%

51 3.1

132 8.1

151 9.3

136 8.4

101 6.2

16 1.0

213 13.1

78 4.8

7 0.4

41 2.5

60 3.7

69 4.2

78 4.8

179 11.0

158 9.7

96 5.9

34 2.1

24 1.5

%

50 3.1

132 8.3

149 9.4

135 8.5

96 6.0

14 0.9

208 13.1

77 4.8

7 0.4

39 2.5

58 3.6

69 4.3

75 4.7

176 11.1

153 9.6

96 6.0

33 2.1

24 1.5

%

%

45 2.8

134 8.3

148 9.2

129 8.0

94 5.8

23 1.4

226 14.0

72 4.5

8 0.5

43 2.7

57 3.5

74 4.6

77 4.8

180 11.2

150 9.3

98 6.1

32 2.0

23 1.4

%

%

%


der maximalen Bearbeitungszeit von 55 Minuten keine Fragen eines nationalen Teils beantworten konn-ten. In solchen Fällen wird diese Schülerin/dieser Schüler als abwesend für diese nationale Zusatzerhebung gewertet.Die nationalen Zusatzerhebungen für die Schüler/innen umfassten im Haupttest 2006 folgende Bereiche: ergänzende Fragen zum Teil Nutzung moderner Informationstechnologien und Lesegewohnheiten bilde-ten den natioanlen Teil der Form A. Die natioanlen Teile der Form B bestand aus Fragen zur Belastung in der Schule sowie Befindlichkeit und Schulerfolg am Übergang zur Sekundarstufe II. Fragebogenform C umfasste im natioanlen Teil Fragen zur Qualität in Schulen. Eine detailliertere Charakterisierung der Stichproben für die nationalen Zusatzerhebungen ist Abbildung VII.21 auf der vorhergehenden Seite zu entnehmen. Sie zeigt die Verteilung der Stichprobe der einzelnen Instrumente auf die österreichischen Schularten.

2.8 Der Rücklauf der Waldorf-Schulen

Wie schon bei PISA 2000 und 2003 nahmen die österreichischen Waldorf-Schulen auch am Haupttest 2006 zusätzlich zur Stichprobe für den internationalen Vergleich in Form einer Vollerhebung der 15-/16- Jährigen teil. Insgesamt kamen 175 Schüler/innen an den zehn Waldorfschulen für die Teilnahme am PISA-Test in Frage. Fünf Schüler/innen konnten auf Grund von Behinderungen nicht am Test teilneh-men, weiters konnten vier Schüler/innen nicht teilnehmen, weil sie vor dem Test die Schule verlassen hat-ten; das entspricht 5,2 %. Von den verbleibenden 166 zu testenden Schülerinnen und Schülern nahmen 153 an der gesamten Testsitzung (PISA-Test plus Fragebogen) teil, was einer Rücklaufquote von 92,2 % entspricht. Eine Übersicht darüber gibt Abbildung VII.22.

2.9 Zur Gewichtung der PISA-2006-Stichprobe

Bei der PISA-Stichprobe im Haupttest 2006 handelt es sich um keine direkt selbst gewichtende Stichprobe, d. h. dass die Stichprobe in Bezug auf wichtige Verteilungsmerkmale nicht exakt der Population ent-spricht. Verschiedene Umstände können bei PISA dazu führen, dass Schüler/innen der Stichprobe in unterschiedlichem Ausmaß „repräsentativ“ für die dem Sampling zu Grunde liegende Population sind.• Das Sampling-Design erlaubt, einzelne Teile der Population zu unter- oder zu übersampeln. Für Ana-

lysen, die für die Population Gültigkeit besitzen sollen, muss dies durch Gewichtungsprozeduren aus-geglichen werden. In Österreich wurden die „sehr kleinen“ Schulen (zusammengefasst in Stratum 22) etwa um den Faktor zwei untersampelt – vor allem aus Effizienzgründen. In vier der Strata für „große“

Abbildung VII.22: Übersicht über Ausschlüsse, nicht in Frage kommende Schüler/innen und den erzielten Rücklauf in den österreichischen Waldorf-Schulen

Teilnahme verweigert

bei Testsitzung abwesend

bei Testsitzung anwesend (Rücklauf)

Nicht erreichbar, weil Schule verlassen/gewechselt

Zu testende Schüler/innen

Dav

on

Schüler/innen in der Stichprobe der Waldorf-Schulen

Falscher Jahrgang

Schüler/innen Jg. 90Ausgeschlossen auf Grund geistiger Behinderung

175

0

175 100.0 %4 2.3 %

4 2.3 %

166 100.0 %4 2.4 %

9 5.4 %

153 92.2 %

Ausgeschlossen auf Grund körperlicher Behinderung 1 0.6 %


Schulen (02 – Hauptschulen, 08 – Sonstige Allgemeinbildende Schulen/mit Statut, 11 – Land- und forstwirtschaftliche Berufsschulen, 19 – BHS land- und forstwirtschaftlich) musste die Anzahl der Schulen leicht erhöht werden, damit die von der OECD vorgegebene Mindestanzahl von zwei Schu-len je explizitem Stratum erreicht wurde.

• Das Samplingdesign sieht vor, die Auswahlwahrscheinlichkeiten für Schulen und Schüler/innen in-nerhalb einer gezogenen Schule so festzulegen, dass jede/r individuelle Schüler/in der Population die gleiche Wahrscheinlichkeit hat, in die Stichprobe zu kommen. Es kann allerdings vorkommen, dass sich die Schätzungen für die Anzahl 15-/16-Jähriger je Schule, die für die Schulauswahl ver-wendet werden, von der tatsächlichen Anzahl etwas unterscheiden. In Österreich kann dies durch die Notwendigkeit entstehen, als Samplinggrundlage die Anzahl 15-/16-Jähriger im Schuljahr vor der Testung heranzuziehen. Stellt sich während des Screening-Prozesses heraus, dass eine Schule von weniger 15-/16-Jährigen als erwartet besucht wird, würden die Schüler/innen dieser Schule eine hö-here Auswahlwahrscheinlichkeit als geplant haben. Im umgekehrten Fall – wenn eine Schule deutlich mehr Schüler/innen des Zieljahrgangs hat, als auf Grund der Daten des Vorjahrs anzunehmen war – verringert sich die Auswahlwahrscheinlichkeit der Schüler/innen dieser Schule. Unterschiedlichen Auswahlwahrscheinlichkeiten einzelner Schüler/innen muss durch entsprechende Berücksichtigung bei der Gewichtung begegnet werden.

• Weiters muss der Non-response auf Schulebene, wenn dieser nicht durch die Einbeziehung der ent-sprechenden Replacement-Schule ausgeglichen wurde, in der Gewichtung berücksichtigt werden. In Österreich gab es vier Schulausfälle: (1) an zwei Schulen hat sich der/die einzig zu testende Schüler/in vom Test abgemeldet; (2) an einer Berufsschule hatten keine Schüler/innen des Jahrgangs 1990 während des Testfensters Unterricht; (3) eine Schule wird als Non-Response gewertet, weil die Rück-laufquote auf Schülerebene unter 25 % liegt. Dieser Non-Response auf Schulebene wird bei der Ge-wichtung ausgeglichen.

• Einem weiteren Faktum muss durch entsprechende Gewichtung Rechnung getragen werden: dem Non-response auf Schülerebene. Das sind Schüler/innen der Stichprobe, die, obwohl sie am Test teil-nehmen sollten, beim Test nicht anwesend waren (z. B. nicht ausgeschlossene Schüler/innen, die am Testtag aus Krankheitsgründen nicht in der Schule waren, oder solche, die die Teilnahme am PISA-Test verweigerten).

Der Gewichtungsfaktor jedes Schülers/jeder Schülerin der Stichprobe setzt sich aus Informationen über die Auswahlwahrscheinlichkeit der Schule, die Auswahlwahrscheinlichkeit eines/einer Schülers/in inner-halb der Schule und gegebenenfalls einem Non-response-Ausgleich auf Schul- und/oder Schülerebene zusammen. Würde bei einer Stichprobe keiner der oben angeführten vier Punkte zutreffen, hätten alle Schüler/innen den gleichen Gewichtungsfaktor und man spräche von einer selbst gewichtenden Stichprobe. Ansonsten wird durch unterschiedliche Gewichtung der Schüler/innen einzelner Strata und/oder Schulen dem Rechnung getragen.Der eben beschriebene Gewichtungsfaktor ist für die Schätzung von Populationsparametern (die Punktschätzungen) notwendig. Für die Berechnung von Konfidenzintervallen oder die Durchführung von Signifikanztests ist zusätzlich die Sampling-Varianz zu berücksichtigen. Dafür gibt es zwei Möglichkeiten: erstens die theoretische Berechnung des Design-Effekts auf der Basis des Sampling-Designs und des-sen Einbeziehung in die Berechnung von Standardfehlern oder zweitens die empirische Schätzung der Sampling-Varianz aus den Stichprobendaten. Bei PISA findet die zweite Möglichkeit Anwendung. Die aus der Stichprobe geschätzte Sampling-Varianz fließt in die Berechnungen in Form von mehreren rep-lizierten Gewichtungen ein. Die konkret verwendete Methode heißt „Balanced Repeated Replication“; angewendet wurde die Variante, die unter „Fay’s method“ bekannt ist (eine detaillierte Beschreibung der verwendeten Methode wird im internationalen technischen Bericht der OECD zu PISA 2006 enthalten sein).


2.10 Der Rücklauf auf Schülerebene entsprechend der internationalen Gewichtung

Werden die österreichischen Daten aus PISA 2006 entsprechend der oben beschriebenen Regeln gewich-tet, beläuft sich die Rücklaufquote auf 90,8 %. In dieser Quote sind alle Berufsschüler/innen, die auf Grund der fehlenden Überschneidung von Testfenster und Schulbesuchszeitraum nicht getestet werden

Abbildung VII.23: Ungewichteter und gewichteter Rücklauf im Vergleich mit den Populationszahlen nach Stratum

HauptschulePolytechnische SchuleSonderschule

APS gesamt

GymnasiumRealgymnasium & wirtschaftskundliches RGOberstufenrealgymnasium

AHS gesamt

Berufsschule (technisch/gewerblich)Berufsschule (kaufmännisch/Handel & Verkehr)

BS gesamt

BMS (gewerblich/technisch/kunstgewerblich)BMS (kaufmännisch)BMS (wirtschaftsberuflich/sozialberuflich)BMS (land- & forstwirtschaftlich)

BMS gesamt

BHS (gewerblich/technisch/kunstgewerblich)BHS (kaufmännisch)BHS (wirtschaftsberuflich/sozialberuflich)BHS (land- & forstwirtschaftlich)Anstalten der Lehrer- & Erzieherbildung

BHS gesamt

GESAMT

Berufsbildende Höhere Schulen:

StichprobeSchulart

Allgemeinbildende Pflichtschulen:

Allgemeinbildende Höhere Schulen:

Berufsschulen

Berufsbildende Mittlere Schulen:

Sonstige Allgemeinbildende mit Statut


3.2 %

8.3 %

0.4 %

11.9 %

9.0 %

8.0 %

5.9 %

1.5 %

24.4 %

13.5 %

4.6 %

0.4 %

18.5 %

2.6 %

3.6 %

4.2 %

4.8 %

15.2 %

11.2 %

9.4 %

6.0 %

2.0 %

1.4 %

30.0 %

100.0 %

Population

ungewichtet gewichtet

6.0 %

9.9 %

1.5 %

17.3 %

8.5 %

8.4 %

5.8 %

0.8 %

23.5 %

11.9 %

4.0 %

0.1 %

16.0 %

3.1 %

3.3 %

4.1 %

4.4 %

14.9 %

11.2 %

8.6 %

6.2 %

0.7 %

1.7 %

28.3 %

100.0 %

5.4 %

9.8 %

0.9 %

16.1 %

9.0 %

8.8 %

5.3 %

0.7 %

23.1 %

12.7 %

3.2 %

0.1 %

16.0 %

2.7 %

3.4 %

4.4 %

4.6 %

15.2 %

11.0 %

9.4 %

5.9 %

1.1 %

1.6 %

28.9 %

100.0 %


können, als am Testtag abwesend enthalten. Dadurch kommt ein großer Anteil des Stichprobenausfalls zu Stande. Mit dieser gewichteten Rücklaufquote von 90,8 % wird die international festgelegte Mindest-Rücklaufquote auf Schülerebene von 80 % deutlich überschritten. Mit den gewichteten Daten werden die Analysen auf nationaler und internationaler Ebene durchgeführt.

Dass sich die gewichteten Daten der Stichprobe nicht von den Populationszahlen unterscheiden, ist in Abbildung VII. 23 ersichtlich, die einen Vergleich von ungewichteten und gewichteten Stichprobenzahlen sowie der Geamtpopulation zeigt. Die gewichtete Stichprobe bildet – sowohl in den einzelnen Strata als auch nach Schulformen insgesamt – die Anteile in der Population präzise ab.

Abbildung VII. 24 zeigt weiters getrennt für die Schulsparten, dass die Geschlechterverteilung in der Stichprobe jener in der Population entspricht. Auch die Anteile von Mädchen und Burschen in den ein-zelnen Schularten enstprechen in der gewichteten Stichprobe dem Verhältnis in der Population.Dieser Vergleich von gewichteter Stichprobe und Population belegt die hohe Qualität bei der Stichprobenziehung und zeigt, dass die PISA-Stichprobe ein gutes Abbild der Zielpopulation darstellt.

3. Qualitätssicherung in Bezug auf Rücklauf und Stichprobengröße

Rücklauf, Stichprobengrößen und Stichprobenausfälle sind an sich ein Qualitätskriterium, weshalb im Grunde das gesamte Kapitel Auskunft über einen wichtigen Qualitätsaspekt gibt. Hier sollen der Übersichtlichkeit halber die wichtigsten Qualitätsaspekte der Stichprobe in Bezug auf den Rücklauf kurz zusammengefasst werden.Angemerkt werden muss, dass die Rücklaufquoten bei einer Erhebung ein wichtiges Qualitätsmerkmal von Stichproben sind; sie stellen jedoch kein ausreichendes, sehr wohl aber ein notwendiges Kriterium für qualitativ hochwertige Stichproben dar. Damit ist gemeint, dass durch hohen Rücklauf unadäquate Methoden bei der Ermittlung der Stichprobe nicht wettgemacht werden können, ein hoher Rücklauf bei einer angemessen gezogenen Stichprobe jedoch ein wichtiges Qualitätskriterium darstellt. Hinweise zur Qualität des Stichprobenplans sowie der Stichprobenziehung finden sich in Abschnitt 7 in Kapitel V, das sich mit dem Bereich Sampling befasst.In Bezug auf die zu erreichenden Rücklaufquoten wurden von Seiten der OECD klare Standards in Form von zu erreichenden Mindestquoten auf Schul- sowie Schülerebene aufgestellt (vgl. Abschnitt 4 in Kapitel V). Das Erreichen oder Überschreiten dieser Mindestvorgaben ist das wichtigste Qualitätskriterium in Bezug auf den Rücklauf. Es sichert nicht nur hohe Qualität der Stichprobe einzelner Länder, sondern vergleichbar hohe Qualität über die Länder hinweg.

Abbildung VII.24: Vergleich von gewichtetem Rücklauf und Populationszahlen nach Schulsparten und Geschlecht

männl. weibl. männl. weibl.

GESAMT

Berufsbildende Höhere Schulen

PopulationSchulart

Allgemeinbildende PflichtschulenAllgemeinbildende Höhere SchulenBerufsschulenBerufsbildende Mittlere Schulen

Stichprobe gew.

35.5 %64.5 %

59.3 %40.7 %

32.1 %67.9 %

56.0 %44.0 %

53.9 %46.1 %

49.1 %50.9 %

37.7 %62.3 %

56.4 %43.6 %

34.1 %65.9 %

57.8 %42.2 %

54.2 %45.8 %

50.8 % 49.2 %


Wie oben detailliert angeführt übertrifft die österreichische PISA-Stichprobe die vorgegebene Mindest-Rücklaufquote auf Schulebene von 85 % mit einem 98-prozentigen Rücklauf (ohne Replacements) deut-lich. Auf Schülerebene ist ein ungewichteter Rücklauf von 93,6 % (ohne Berücksichtigung der nicht test-baren Berufsschüler/innen) zu verzeichnen. Der gewichtete Rücklauf (unter Berücksichtigung der nicht testbaren Schüler/innen lehrgangsmäßig geführter Berufsschulen) beläuft sich auf 90,8 %. Damit können auch die Vorgaben in Bezug auf die Mindest-Rücklaufquote auf Schülerebene erfüllt werden.

BibliografieBortz, J. (1999). Statistik für Sozialwissenschaftler. (5. Aufl.). Berlin: SpringerHaider, G. & Wallner-Paschon, C. (2001). Rücklauf, Stichprobenausfall und Stichprobengrößen. In G. Haider (Hrsg.), PISA 2000.

Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts (S. 185–210). Innsbruck: StudienVer-lag.

Reiter, C. (2004). Rücklauf, Stichprobenausfälle und Stichprobengröße. In C, Reiter, B. Lang, & G. Haider, (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/ruecklauf/index.htm [Datum des Zugriffs: 08.02.2007]

VIIISimone Breit & Andrea Grafendorfer

CODING

VIII

1. Was ist „Coding“?

2. Grundlegende Prinzipien zur Diff erenzierung von Schülerantworten2.1 Die Diff erenzierung von Schülerantworten nach der gezeigten Fähigkeit2.2 Die Diff erenzierung von Schülerantworten nach dem gezeigten Lösungsweg2.3 Spezielle Codes

3. Aufbau der Coding-Instrumente

4. Internationale Umsetzungsrichtlinien4.1 Rekrutierung der Coder/innen4.2 Schulung der Coder/innen4.3 Vorbereitung der Testhefte für das Coding4.4 Vercoden der Schüleranwtorten

5. Ablauf des Codings im Haupttest 20065.1 Rekrutierung der Coder/innen5.2 Schulung der Coder/innen5.3 Vorbereitung der Testhefte für das Coding5.4 Vercoden der Schülerantworten

6. Maßnahmen zur Sicherung der Qualität im Coding-Prozess6.1 Die Bedeutung des Feldtests für das Coding6.2 Qualitätssicherung und -kontrolle

Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Reiter, 2001) und PISA 2003 (Bergmüller, 2004). Die Auto-rinnen dieses Kapitels danken Claudia Schreiner (geb. Reiter) und Silvia Bergmüller für die Bereitstellung der Texte.

Seite 134 VIII. Coding

Im vorliegenden Kapitel werden die theoretischen Grundlagen, der konkrete Ablauf, die eingesetzten Instrumente sowie die notwendigen Qualitätssicherungsmaßnahmen bei der Bewertung von Schüler-antworten beschrieben. Im Folgenden wird nach einer Einleitung, die einen ersten Einblick in das Coding und die damit verbundenen Probleme und Prozeduren gewährt, auf Prinzipien der Differenzierung von Schülerantworten sowie auf die Coding-Instrumente eingegangen. Weiters wird dargelegt, welche internationalen Vorgaben im Rahmen des Codings erfüllt werden müssen und wie sich die konkrete Umsetzung dieser Richtlinien in Österreich gestaltete. Schließlich werden die Maßnahmen zur Sicherung der Qualität des Codings gesondert dargestellt und erläutert.

1. Was ist „Coding“?Wie bereits in Kapitel III beschrieben, unterteilen sich die Fragen der PISA-Leistungstests in Multiple-Choice-Fragen und in offene Fragen, zu denen die Schüler/innen eigenständig Antworten formulieren müs-sen. Um diese Schülerantworten zu den offenen Fragen einer weiteren elektronischen Datenverarbeitung zugänglich zu machen, müssen sie nach international standardisierten Richtlinien in Zifferncodes „über-setzt“ werden. Dieser Prozess wird im Rahmen von PISA als „Coding“ bezeichnet, und Personen, die diesen Prozess durchführen, werden „Coderinnen“ bzw. „Coder“ genannt. In PISA 2000 und 2003 wurde dieser Vorgang mit „Marking“ bezeichnet.Für PISA 2006 mussten in Österreich mehr als 100.000 Schülerantworten zu 79 unterschiedlichen Fragen dem Coding unterzogen werden. Das Coding muss innerhalb eines bestimmten, im nationalen Zeitplan vorgesehenen Zeitraums abgeschlossen sein und strengen internationalen Anforderungen genügen. Diese Anforderungen beziehen sich auf eine kriteriumsorientierte Rekrutierung der Coder/innen, auf standar-disierte Coder-Trainings, auf die rotierte Zuteilung von Testheften zu Coderinnen und Codern, auf lau-fende Qualitätskontrollen beim Coding der Schülerantworten und auf die Prozedur des Multiple Codings (vgl. unten). Ziel dieser Maßnahmen ist die Sicherung der Qualität des Coding-Prozesses durch eine kon-sistente Anwendung der Bewertungsrichtlinien. Diese international standardisierten Richtlinien sind beim Coding von zentraler Bedeutung, da sie beschreiben, welche Kriterien Schülerantworten erfüllen müssen, um bestimmten Codes zugeordnet zu werden. Die Bewertungsrichtlinien sind für jede Domäne in einem Coding Guide zusammengefasst und bilden so die grundlegenden Coder-Unterlagen.Die beim Coding für PISA 2006 verwendeten Prozeduren und Bewertungsrichtlinien werden im Feldtest, der im Jahr zuvor stattfand, erprobt und kontrolliert. Der Feldtest ist somit eine wichtige Qualitäts-sicherungsmaßnahme, die für den Haupttest objektive Leistungsdaten sicherstellt. Für die Belange des Codings gewährleistet der Feldtest, dass alle Prozeduren praxisbewährt sind, und nur eindeutig defi-nierte und sinnvoll differenzierende Bewertungsrichtlinien in den Haupttest übernommen werden. Wichtige Indikatoren, die Auskunft darüber geben, wie eindeutig die Kriterien für die Zuordnung von Schülerantworten zu Codes sind, stellen Maße der Beurteilerübereinstimmung dar. Diese werden durch die Prozedur des Muliple Codings gewonnen. Im Gegensatz zum Normalfall des Single Codings, bei dem jede Schülerantwort durch je einen Coder oder eine Coderin bewertet wird, wird beim Multiple Coding eine gewisse Anzahl von Schülerantworten unabhängig durch vier Coder/innen bewertet. Im Feldtest werden die so gewonnenen Maße der Beurteilerübereinstimmung genutzt, um schlecht an-wendbare Bewertungsrichtlinien zu identifizieren, die für den Haupttest verbessert werden sollten. Das Multiple Coding kommt auch im Haupttest zum Einsatz, es dient hier jedoch nicht mehr als Grundlage zur Verbesserung der Instrumente, sondern zur Überprüfung der konsistenten Anwendung der Bewertungsrichtlinien.Diese großen Anstrengungen bei der Qualitätssicherung im Bereich der Prozeduren und Instrumente werden unternommen, um letztendlich eine objektive Vergleichbarkeit der PISA-Leistungsdaten gewähr-leisten zu können. Nur dadurch können seriöse Aussagen über die relative Position der österreichischen Schüler/innen im internationalen Vergleich und über Zusammenhänge zwischen Kontextvariablen und Schülerleistung getroffen werden. Die Qualität des Codings trägt somit wesentlich zum Gelingen der gesamten PISA-Studie bei.

Seite 135VIII. Coding

2. Grundlegende Prinzipien zur Differenzierung von SchülerantwortenBei PISA wird jede Schülerantwort auf eine offene Frage in Codes (in eine Ziffer oder in eine zweistellige Ziffernkombination) transferiert. Die Codes geben Aufschluss über die Fähigkeit, die ein/e Schüler/in durch seine/ihre Antwort demonstriert. Zweistellige Codes beinhalten zusätzlich Informationen über den Lösungsweg und/oder Fehler, die eine Schülerantwort aufweist. Welche Kriterien eine Schülerantwort erfüllen muss, um einem bestimmten Code zugeordnet zu werden, wird in den Bewertungsrichtlinien beschrieben.

2.1 Die Differenzierung von Schülerantworten nach der gezeigten Fähigkeit

Wie im Konzept des lebenslangen Lernens (vgl. Abschnitt 1.1 in Kapitel II) beschrieben, versucht PISA kognitive Fähigkeiten zu erfassen, die die Voraussetzung für späteres Lernen bilden. Die Messung dieser kognitiven Voraussetzungen erfolgt durch Aufgaben, die so konstruiert sind, dass sie die reale Kompetenz möglichst exakt erfassen und somit von der Testleistung auf die tatsächliche Fähigkeit eines Schülers/einer Schülerin schließen lassen. Jede Schülerantwort repräsentiert daher einen Punkt auf dem dahinter liegen-den Fähigkeitskontinuum (vgl. Abb. VIII.1a).

Um für die Zwecke von PISA auf eine möglichst ökonomische, aber dennoch aussagekräftige Weise zu bestimmen, wie hoch die durch die jeweilige Antwort demonstrierte Fähigkeit ausgeprägt ist, werden in-ternational standardisierte Bewertungsrichtlinien verwendet. In diesen werden an bestimmten inhaltlich sinnvollen Punkten des Fähigkeitskontinuums Grenzen gezogen, um Schülerantworten, die eine hohe Fähigkeit demonstrieren, von jenen, die auf eine niedrige Fähigkeit verweisen, zu unterscheiden. Dies kann zur Folge haben, dass Schülerantworten, die an unterschiedlichen Stellen des Kontinuums liegen, die gleiche Punkteanzahl erhalten. Wie in Abbildung VIII.1b dargestellt, erhält auch Schüler 4 die volle Punkteanzahl (Full Credit), obwohl seine Antwort eine niedrigere Fähigkeit demonstriert als jene von Schülerin 2 und zudem näher an der Fähigkeit des Schülers 3 liegt, der keinen Punkt (No Credit) erhält. Um Schülerantworten genauer nach ihrer demonstrierten Fähigkeit zu differenzieren, werden bei vielen Bewertungsrichtlinien mehrere Grenzen gezogen, wie in Abbildung VIII.1c dargestellt. Während Schüler

HoheFähigkeit

Schülerin 2Schülerin 1 Schüler 3GeringeFähigkeit

Schüler 4

Abbildung VIII.1a: Darstellung von Schülerantworten auf einem Kontinuum zwischen geringer und hoher Fähigkeit

Schülerin 2Schülerin 1 Schüler 3

Full CreditNo Credit

GeringeFähigkeit

HoheFähigkeit

Schüler 4

Abbildung VIII.1b: Fähigkeitskontinuum mit einer Grenze


4, der bei der Ziehung nur einer Grenze (Abb. VIII.1b) noch die volle Punkteanzahl erhalten hat, be-kommt er nach der Ziehung einer weiteren Grenze nur mehr einen Teil der Punkte (Partial Credit). Hier drückt sich der Fähigkeitsunterschied zwischen Schülerin 2 und Schüler 4 auch klar in den Codes aus. Je mehr Grenzen also gezogen werden, desto eher werden Unterschiede in den Schülerantworten berück-sichtigt, aber umso aufwändiger ist auch das Coding. Dabei ist es von besonderer Bedeutung, sowohl eine theoretisch sinnvolle Differenzierung als auch einen vertretbaren Codingaufwand zu gewährleisten.Die Ausdrücke Full Credit (alle Punkte gutgeschrieben), Partial Credit (ein Teil der Punkte gutgeschrie-ben) und No Credit (keine Punkte gutgeschrieben) werden aus Mangel an adäquaten deutschen Begriffen aus dem Englischen übernommen. Wie viele Punkte für Full Credit und Partial Credit gutgeschrieben werden, hängt dabei von der Anzahl der gezogenen Grenzen ab.

2.2 Die Differenzierung von Schülerantworten nach dem gezeigten Lösungsweg

PISA unterscheidet Schülerantworten nicht nur nach der Fähigkeit, sondern in manchen Fällen auch nach dem gezeigten Lösungsweg oder bestimmten Fehlertypen. Hierfür dient ein zweistelliges Codiersystem – das Double-Digit-Coding. Bei den zweistelligen Codes steht die erste Ziffer für die de-monstrierte Fähigkeit (die gutgeschriebene Punkteanzahl) und die zweite Ziffer zeigt einen bestimmten Lösungsweg oder Fehlertyp an. Hierdurch können wertvolle Informationen über Fehlinterpretationen von Schülerinnen und Schülern, verbreitete Fehler und verschiedene Lösungswege gesammelt und mit unterschiedlichen Kontextvariablen in Verbindung gesetzt werden. Für PISA 2006 wurden insgesamt 12 Fragen der Domänen Naturwissenschaft und Mathematik – das ist rund ein Sechstel aller offenen Fragen – nach einem zweistelligen Bewertungssystem vercodet. Abbildung VIII.2 gibt einen Überblick, wie vie-le unterschiedliche Fragen pro Domäne dem Coding unterzogen werden mussten und wie viele davon mittels eines einstelligen bzw. mittels eines zweistelligen Codiersystems bewertet werden mussten. In der Domäne Lesen gibt es nur einstellige Codes.

Abbildung VIII.1c: Fähigkeitskontinuum mit zwei Grenzen

Schülerin 2Schülerin 1 Schüler 3

Full CreditNo Credit Partial Credit

GeringeFähigkeit

HoheFähigkeit

Schüler 4

Abbildung VIII.2: Anzahl der offenen Fragen nach Codingsystem und Domäne

einstellige Vercodung

zweistellige Vercodung

GESAMT

Mathematik 16 4 20Naturwissenschaft 34 8 42

Lesen 17 0 17

GESAMT 67 12 79

Anzahl der offenen Fragen

Domäne


Abbildung VIII.3 gibt ein Beispiel für die Differenzierung von Schülerantworten beim Double-Digit-Coding. Die Tabelle enthält auch spezielle Codes, die im folgenden Abschnitt näher erläutert werden.

2.3 Spezielle Codes

Im Folgenden werden spezielle Codes erklärt, die zur Anwendung kommen, wenn eine Schülerantwort keinem der vorher angeführten Codes zugeordnet werden kann: • Code für Andere falsche Antworten wird für jene Antworten verwendet, wo der/die Schüler/in die Fra-

ge erfolglos bearbeitet hat. Die Kategorie „Andere Antworten“ inkludiert Antworten wie „Ich weiß es nicht“, „Diese Frage ist zu schwer“, „mir ist die Zeit ausgegangen“, Fragezeichen („?“) Striche („–“), Häkchen, Kreuzchen, eine Antwort, die aufgeschrieben wurde und dann gelöscht oder durchgestri-chen worden ist und eine Antwort, die eindeutig keinen ernsthaften Lösungsversuch darstellt, wie Witze, Schimpfwörter, Namen von Popstars oder negative Äußerungen über den Test.

• Code für Missing wird vergeben, wenn ein/e Schüler/in die Beantwortung der Frage offensichtlich nicht versucht hat. Der Platz, wo die Antwort stehen sollte, ist leer.

• Code für Not Applicable wird verwendet, wenn bei einer Frage Druck- oder Satzfehler vorliegen und es deshalb für den/die Schüler/in nicht möglich war, sie zu beantworten.

3. Aufbau der Coding-InstrumenteDie wichtigsten Unterlagen für die Coder/innen sind die Coding Guides. Bei PISA 2006 gibt es drei verschiedene Coding Guides, je einen für Naturwissenschaft, Mathematik und Lesen. Ein Coding Guide beinhaltet alle offenen Aufgaben einer Domäne mit den dazugehörigen Bewertungsrichtlinien. Das sind die Anweisungen für das Coding von Schülerantworten. Die Bewertungsrichtlinien beschreiben inhaltliche Kriterien für jeden bei dieser Aufgabe möglichen Code, und illustrieren die Codes durch Musterantworten.Abbildungen VIII.4 bis VIII.6 zeigen die Bewertungsrichtlinien für je ein Item jeder Domäne. Die Aufgaben zu den hier beschriebenen Bewertungsabschnitten finden sich im Anhang. Die Bewertungsrichtlinien aller Domänen enthalten eine Überschrift sowie Name und ID des entsprechen-den Items. Darauf folgt eine Beschreibung der Codes, absteigend von Full Credit zu No Credit. Eine Schülerantwort muss entsprechend der in den Bewertungsrichtlinien vorgegebenen Kriterien für den je-weiligen Code bewertet werden. Diese Bewertung hält der/die Coder/in im Testheft durch das Einkreisen des Codes fest. Besonders nützlich für die Coder/innen haben sich die Beispielantworten zu jedem Code erwiesen. Diese stellen wesentliche Entscheidungshilfen im aktuellen Coding-Prozess dar und erleichtern eine konsistente Zuordnung der Antworten zu den Codes.

Abbildung VIII.3: Beziehung zwischen Codes und demonstrierter Fähigkeit bei Double-Digit-Coding

Punkte Interpretation der gezeigten Fähigkeit

Code Code-Interpretation

21 Kriterien x und z erfüllt; Lösungsweg 1

22 Kriterien x und z erfüllt; Lösungsweg 2

23 Kriterien x und z erfüllt; anderer Lösungsweg

11 Kriterium z erfüllt, Kriterium x nicht erfüllt

12 Kriterium x erfüllt, Kriterium z nicht erfüllt

01 Kriterien x und z nicht erfüllt; Fehlertyp 1

02 Kriterien x und z nicht erfüllt; Fehlertyp 2

03 Krieterien x und z nicht erfüllt; anderer Fehler

99 Missing: Beantwortung wurde nicht versucht

0No Credit

Antwort demonstriert hohe Fähigkeit

Antwort demonstriert mittlere Fähigkeit

Antwort demonstriert geringe Fähigkeit

Full Credit

Partial Credit

2

1


Die Bewertungsrichtlinien in Lesen geben darüber hinaus die Absicht der Frage an (vgl. Abbildung VIII.5). Diese bezieht sich auf Teilgebiete des Lese-Frameworks (vgl. Abschnitt 1.3 in Kapitel III). Die Absicht des in Abbildung VIII.5 dargestellten Items (Frage 05 der Unit Graffiti) ist Interpretation. Wie bereits erwähnt, gibt es in Lesen ausschließlich einstellige Codes, während es in allen anderen Domänen auch Aufgaben mit zweistelligem Coding gibt.

FRAGE 4: WINDPARKS S529Q04 – 0 1 2 9

Beschreibe einen speziellen Vorteil und einen speziellen Nachteil der Erzeugung elektrischen Stroms mithilfe von Windenergie im Vergleich zur Stromerzeugung mithilfe fossiler Brennstoffe wie Kohle oder Öl.

WINDPARKS BEWERTUNG 4 Full Credit

Code 2: Ein spezieller Vorteil und ein spezieller Nachteil werden beschrieben. Anmerkung: Es ist möglich, dass die Kosten eines Windparks als Vor- oder Nachteil gesehen werden, abhängig davon welcher Aspekt berücksichtigt wird (z. B. Errichtungskosten oder Betriebskosten). Daher ist eine Erwähnung der Kosten ohne weitere Erklärung nicht ausreichend, um einen Credit weder für einen Vorteil noch für einen Nachteil zu bekommen.

[Vorteil] Setzt kein Kohlendioxid (CO2) frei. Verbraucht keine fossilen Brennstoffe. Die Ressource Wind wird nicht aufgebraucht. Wenn ein Windkraftwerk einmal gebaut ist, sind die Kosten zur Stromerzeugung gering. Keine Abfallprodukte und/oder keine giftigen Substanzen werden ausgestoßen. Verwenden von Naturkräften oder sauberer Energie. Umweltfreundlich und wird für eine sehr lange Zeit halten.

[Nachteil] Erzeugung nach Bedarf ist nicht möglich (weil die Windgeschwindigkeit nicht kontrolliert werden

kann). Gute Stellen für Windkrafträder sind begrenzt. Das Windkraftrad könnte durch zu starken Wind beschädigt werden. Die Strommenge, die durch jedes einzelne Windkraftrad erzeugt wird, ist relativ gering. In manchen Fällen tritt Lärmbelästigung auf. Manchmal werden Vögel getötet, wenn sie in die Rotoren fliegen. Natürliche Landschaftsbilder werden verändert. Teuer aufzustellen.

Partial Credit

Code 1: Es wird entweder ein richtiger Vorteil oder ein richtiger Nachteil (wie in den Beispielen zu „Full Credit“ dargestellt), aber nicht beides beschrieben.

No Credit

Code 0: Kein richtiger Vorteil oder richtiger Nachteil (wie oben dargestellt) wird beschrieben. Einzelne Beispiele von nicht akzeptablen Vorteilen oder Nachteilen sind unten angeführt. Gut für die Umwelt oder Natur. [Diese Antwort ist eine allgemeine Feststellung.] Schlecht für die Umwelt oder Natur. Es kostet weniger, ein Windkraftrad zu bauen als ein Kraftwerk für fossile Brennstoffe. [Das

missachtet die Tatsache, dass sehr viele Windkrafträder gebraucht würden, um dieselbe Menge Leistung zu erzeugen wie ein Kraftwerk für fossile Brennstoffe.]

Es würde nicht so viel kosten.

Code 9: Antwort fehlt.

Abbildung VIII.4 Bewertungsrichtlinien zu Frage 04 aus der Unit Windparks aus der Domäne Naturwissenschaft


FRAGE 5: GRAFFITI R081Q05- 0 1 9

Warum verweist Sophia auf die Werbung?

GRAFFITI BEWERTUNG 5 ABSICHT DER FRAGE: Textinterpretation: eine beabsichtigte Querverbindung erkennen

Full credit

Code 1: Erkennt, dass ein Vergleich zwischen Graffiti und Werbung angestellt wird. Antwort entspricht dem Gedanken, dass Werbung eine legale Form von Graffiti ist. Sie will uns zeigen, dass die Werbung genauso lästig sein kann wie Graffiti. Weil manche Leute meinen, Werbung sei genauso hässlich wie die Sprayereien. Sie sagt, Werbung sei einfach eine erlaubte Form von Graffiti. Sie meint, Werbung ist auch wie Graffiti. Weil man auch nicht um Erlaubnis gefragt wird, wenn eine Werbetafel angebracht wird.

[Der Vergleich zwischen Werbung und Graffiti ist implizit.] Weil Werbung in unserer Gesellschaft ohne unsere Erlaubnis angebracht wird, genau wie

Graffiti. Weil Werbetafeln wie Graffiti sind. [Minimalantwort. Erkennt eine Ähnlichkeit, ohne weiter

auszuführen, worin die Ähnlichkeit besteht.] Weil es eine andere Form von Ausstellung ist. Weil die Werbeleute Plakate an die Wand kleben und sie meint, dass das auch Graffiti

sind. Weil die auch an den Wänden ist. Weil sie genauso schön oder hässlich anzusehen ist. Sie verweist auf die Werbung, weil die im Gegensatz zu Graffiti akzeptiert ist.

[Ähnlichkeit von Graffiti und Werbung wird durch die gegensätzliche Einstellung zu den beiden ausgedrückt.]

ODER: Erkennt, dass der Verweis auf die Werbung eine Strategie zur Verteidigung von Graffiti ist. Damit wir einsehen, dass Graffiti schließlich doch legitim sind.

No credit

Code 0: Antwort ungenügend oder vage. Auf diese Weise drückt sie ihre Meinung aus. Weil sie es möchte, sie erwähnt sie als Beispiel. Es ist eine Strategie. Firmenlogos und Ladennamen.

ODER: Zeigt ungenaues Verständnis des Materials oder gibt eine nicht plausible oder irrelevante Antwort. Sie beschreibt die Graffiti. Weil die Leute Graffiti darüber sprühen. Graffiti ist eine Art Werbung. Weil Graffiti Werbung für eine bestimmte Person oder Bande sind. [Vergleich geht in die

falsche Richtung, das heißt, Graffiti ist eine Form von Werbung.]

Code 9: Missing

Abbildung VIII.5 Bewertungsrichtlinien zu Frage 05 der Unit Graffiti aus der Domäne Lesen


FRAGE 2: FLÄCHE EINES KONTINENTS M148Q02 – 01 02 11 12 13 14 21 22 23 24 25 99

Schätze die Fläche der Antarktis, indem du den Maßstab auf der Karte benutzt. Gib an, wie du zu deiner Schätzung gekommen bist. (Du kannst in der Karte zeichnen, wenn dir das bei deiner Schätzung hilft.)

FLÄCHE EINES KONTINENTS BEWERTUNG 2 Full credit [Diese Codes sind für Antworten mit der richtigen Methode UND dem richtigen Ergebnis. Die zweite Ziffer bezeichnet verschiedene Vorgehensweisen] Code 21: Schätzung durch Zeichnen eines Quadrates oder Rechtecks - zwischen

12 000 000 km² und 18 000 000 km² (Einheiten nicht nötig). Code 22: Schätzung durch Zeichnen eines Kreises - zwischen 12 000 000 km² und

18 000 000 km². Code 23: Schätzung durch die Addition regelmäßiger geometrischer Figuren - zwischen

12 000 000 km² und 18 000 000 km². Code 24: Schätzung durch andere korrekte Methode - zwischen 12 000 000 km² und

18 000 000 km². Zeichnet ein großes Rechteck und subtrahiert Gebiete verschiedener Größe („Löcher“) von

diesem. Code 25: richtige Antwort (zwischen 12 000 000 km² und 18 000 000 km²) aber keine Erklärung. Partial credit [Diese Codes werden für inkorrekte oder unvollständige Antworten aber mit einer richtigen Methode vergeben. Die zweite Ziffer bezeichnet verschiedene Vorgehensweisen analog zur zweiten Stelle der Codes für richtige Antworten.] Code 11: Schätzung durch Zeichnen eines Quadrates oder Rechtecks - korrekte Methode, aber

falsches oder unvollständiges Ergebnis. Zeichnet ein Rechteck und multipliziert Breite mit Länge, aber die Antwort ist eine Über-

oder Unterschätzung (z.B. 18 200 000) Zeichnet ein Rechteck und multipliziert Breite mit Länge, aber die Anzahl der Nullen ist

falsch (z.B. 4 000 x 3 500 = 140 000) Zeichnet ein Rechteck und multipliziert Breite mit Länge, vergisst aber den Maßstab zu

verwenden, um auf Quadratkilometer umzuwandeln (z.B. 12cm x 15cm = 180) Zeichnet ein Rechteck und bestimmt die Fläche mit 4000km x 3500km. Keine weiteren

Berechnungen vorhanden. Code 12: Schätzung durch Zeichnen eines Kreises – korrekte Methode, aber falsches oder

unvollständiges Ergebnis. Code 13: Schätzung durch die Addition regelmäßiger geometrischer Figuren - korrekte Methode,

aber falsches oder unvollständiges Ergebnis. Code 14: Schätzung durch andere korrekte Methode - korrekte Methode, aber falsches oder

unvollständiges Ergebnis. Zeichnet ein großes Rechteck und subtrahiert Gebiete verschiedener Größe („Löcher“)

von diesem. No credit Code 01: Der Umfang wurde anstelle der Fläche geschätzt.

z.B. 16 000 km weil der Maßstab von 1000 km 16 mal um die Landkarte herumgehen würde

Code 02: Andere falsche Antworten z.B. 16 000km (keine weiteren Erläuterungen oder Berechnungen vorhanden.)

Code 99: Missing


4. Internationale UmsetzungsrichtlinienDieser Abschnitt beschreibt die Richtlinien des internationalen Zentrums, die von den nationalen Projektzentren bei der Umsetzung des Codings eingehalten werden müssen. Diese Richtlinien beinhal-ten Vorgaben für die Rekrutierung der Coderinnen und Coder, die Vorbereitung der Testhefte für den Coding-Prozess, die Durchführung des Coder-Trainings und das Coding der Testhefte.

4.1 Rekrutierung der Coder/innen

Coder/innen, die bereits beim Feldtest für PISA gearbeitet haben, sollten auf Grund ihrer einschlägigen Erfahrung bevorzugt werden. Alle rekrutierten Personen müssen am speziellen PISA-Coder-Training teil-nehmen, unabhängig davon, ob sie bereits Erfahrung bei PISA oder verwandten Projekten gesammelt haben.Vom internationalen Zentrum wird vorgeschlagen, 16 Coder/innen gemeinsam für die beiden Domänen Naturwissenschaft und Mathematik sowie 4 weitere Coder/innen für Lesen anzustellen. Weiters wird empfohlen, für Naturwissenschaft und Mathematik zwei, für Lesen einen Reserve-Coder oder eine Reserve-Coderin zu trainieren, die zumindest an einigen Coding-Einheiten teilnehmen. Dies stellt sicher, dass bei Ausfall oder Ausschluss einer Coderin oder eines Coders (z. B. auf Grund mangelnder Qualität der Arbeit, Krankheit etc.) noch mindestens eine weitere Coderin oder ein weiterer Coder vorhanden ist, die/der sofort einspringen kann.

ZUSAMMENFASSENDE TABELLE

Die folgende Tabelle zeigt die Beziehung zwischen den Codes:

Schätzungsmethode Code

Richtige Antwort –zwischen 12 000 000 and 18 000 000 km²

Teilweise richtig – korrekte Methode, aber inkorrektes oder unvollständiges Ergebnis

Nicht richtig

Zeichnen eines Rechtecks 21 11 —

Zeichnen eines Kreises 22 12 — Addition regelmäßiger geom. Figuren 23 13 —

andere korrekte Methoden 24 14 —

keine Erklärung vorhanden 25 — —

Durchmesser — — 01 andere falsche Antworten — — 02

Missing — — 99

ANMERKUNG:

Bei der Bewertung dieser Frage muss besonders auch das berücksichtigt werden, was die Schüler/innen in der Karte eingezeichnet haben (zusätzlich zu der geschriebenen Antwort). Sehr oft erklären Schüler/innen, was sie getan haben, nicht sehr gut in Worten, man kann aber Rückschlüsse daraus ziehen, was in der Karte eingezeichnet wurde. Das Ziel dieser Frage ist es nicht, dass Schüler/innen in Worten erklären können, was sie tun. Das Ziel ist es, herauszufinden, wie sie zu ihrer Antwort gekommen sind. Deshalb erachten Sie die Erklärung als gegeben, wenn Sie sie aus den Einträgen in der Karte nachvollziehen können - auch dann, wenn keine Erklärungen in Worten gegeben werden.

Abbildung VIII.6 Bewertungsrichtlinien zu Frage 02 der Unit Fläche eines Kontinents aus der Domäne Mathematik


Coder/innen müssen ein gutes Verständnis für den Schulstoff in Naturwissenschaft, Mathematik oder Lesen der mittleren Sekundarstufe haben. Sie müssen Erfahrungen mit Schülerantworten dieser Schulstufe aufweisen und wissen, wie sich Schüler/innen ausdrücken. Gut geeignete Coderinnen und Coder sind beispielsweise beurlaubte und kürzlich pensionierte Lehrerinnen und Lehrer sowie Lehramtsstudentinnen und Lehramtsstudenten in einem höheren Semester.Weiters wird vorgeschlagen, für jede Domäne Table Leaders zu rekrutieren. Das sind besonders quali-fizierte Coder/innen, die nicht nur Fachwissen für die jeweilige Domäne vorweisen können, mit den PISA-Tests vertraut sind und vorzugsweise über Erfahrung in der Bewertung offener Schülerantworten verfügen. Table Leaders helfen bei der Organisation des Codings, klären Fragen bezüglich des Coding Guides und spielen eine wichtige Rolle bei der Qualitätskontrolle des Codings.Alle Coderinnen und Coder müssen sich verpflichten, die Inhalte der PISA-Testmaterialen geheim zu hal-ten, bevor sie irgendwelche Kopien davon sehen oder erhalten. Jeder Coderin und jedem Coder muss eine dreistellige Identifikationsnummer zugeteilt werden. Dies ist nötig, um im weiteren Verlauf auf einfache Weise dokumentieren zu können, welche Coderin bzw. welcher Coder welche Aufgabenblöcke (Cluster) in welchen Testheften beurteilt hat.

4.2 Schulung der Coder/innen

Auf internationaler Ebene ist die Teilnahme am Coder-Workshop des internationalen Konsortiums Pflicht. Hier versammeln sich Vertreter/innen der nationalen Zentren und werden von Experten und Expertinnen des internationalen Zentrums in das Coding von Schülerantworten eingeschult. Anhand ausgesuchter Beispiele – dem internationalen Workshop-Material – werden Bewertungsrichtlinien dis-kutiert. Somit wird deren konsistente Anwendung gewährleistet. Die Mitarbeiter/innen der nationalen Zentren werden so zu Coding-Supervisorinnen bzw. Supervisoren ausgebildet. Aufgabe dieser Supervis-or/innen ist es, die nationalen Coder-Schulungen durchzuführen, einen richtlinienkonformen organisa-torischen Ablauf des Codings sicherzustellen und den Table Leaders bei Problemen als Ansprechpartner zur Verfügung zu stehen. Vor der nationalen Coder-Schulung ist es nötig, dass die rekrutierten Coder/innen die Aufgaben ih-rer Domäne selbst bearbeiten. Dies soll sie einerseits mit den PISA-Aufgaben bekannt machen und ihr Verständnis für die Perspektive der Schüler/innen fördern. Danach sollen die Coder/innen die Coding Guides sorgfältig durcharbeiten und sich bei Unklarheiten Fragen notieren, die dann im nationalen Coder-Workshop geklärt werden.Für jede Domäne muss eine eigene nationale Coder-Schulung abgehalten werden. In diesen Workshops soll zunächst ein Überblick über die PISA-Studie und den organisatorischen Ablauf des Codings ge-geben werden. Danach sollen die Beispiele des übersetzten internationalen Workshop-Materials bear-beitet werden. Während der Schulung ist eine offene Diskussion über die Zuordnung von Codes zu Schülerantworten nötig. Ziel des Workshops ist es, bei der Vergabe von Codes für einzelne Antworten Konsens zu erreichen.Unmittelbar nach dem Workshop sollen die Coder/innen zu jedem Item ihrer Domäne bis zu 25 Beispielantworten bewerten. Diese Beispielantworten sollen von Schülerinnen und Schülern des eige-nen Landes (Schülerantworten vom Feldtest oder aus PISA 2000 bzw. 2003) stammen. Wichtig ist, dass die einzelnen Coder/innen bei dieser Übung selbstständig arbeiten. Die Supervisor/innen müssen diese Antwort-Codes überprüfen und den Coderinnen und Codern über ihre Leistung Rückmeldung geben. Der Anteil der richtig vercodeten Items sollte mindestens 85 % betragen. Wenn ein oder mehrere Coder/innen diese Reliabilitätsschwelle nicht erreichen, ist für diese Personen zusätzliches Training nötig, bevor der eigentliche Coding-Prozess beginnt. Wenn sich nach dem zusätzlichen Training herausstellt, dass einzelne Coder/innen nicht den erforderlichen Standard erreichen, wird empfohlen, sich von diesen zu trennen.


4.3 Vorbereitung der Testhefte für das Coding

Als erstes wird eine Rücklaufkontrolle durchgeführt, bei der sichergestellt wird, dass alle Testmaterialien zurückgekommen sind (vgl. Abschnitt 4.4 in Kapitel VI). Danach müssen die Testhefte ihrer Form nach sortiert werden. Von jeder der Testheftformen 1, 3, 5, 6, 8 sowie 10 muss eine repräsentative Stichprobe von je 100 Testheften für das Multiple Coding beiseite gelegt werden. Repräsentativ heißt, dass die Testhefte über alle Strata und möglichst viele verschiedene Schulen streuen, damit möglichst viele unterschiedliche Schülerantworten diesem Prozess unterzogen werden. In den oben angeführten Testheftformen werden jeweils zwei (bzw. einmal drei) Aufgabenblöcke derselben Domäne dem Prozess des Multiple Codings unterzogen. Dieses Design führt dazu, dass alle Aufgaben jeder Domäne beim Multiple Coding vorkom-men.Für das Single Coding werden die verbleibenden Testhefte nach deren Form auf Stöße aufgeteilt, die von den Coderinnen und Codern jeweils in einer Arbeitseinheit bearbeitet werden können.

4.4 Vercoden der Schülerantworten

Grundsätzlich ist das Single Coding vom Multiple Coding zu unterscheiden. Als Single Coding wird die „normale“ Prozedur des Codings von Schülerantworten bezeichnet, bei der jede Schülerantwort von je einer Coderin bzw. einem Coder bewertet wird. Während des Single Codings sind Fragen möglich und die Vergabe von Codes wird von den Supervisoren bzw. Supervisorinnen überprüft. Anschließend erhalten die Coder/innen Rückmeldung über die Qualität ihrer Arbeit. Ziel des Single Coding, das den größten Teil des Coding-Prozesses ausmacht, ist das korrekte Coding der Schülerantworten. Das Multiple Coding ist eine Qualitätssicherungsmaßnahme, bei der eine gewisse Anzahl von Schülerantworten durch vier Coderinnen bzw. Coder unabhängig voneinander bewertet wird. Während des Multiple Coding müssen die Coder/innen selbstständig arbeiten, dass heißt, es sind keine Fragen erlaubt. Ziel, ist die Feststellung der Qualität des Codings, gemessen durch die Beurteilerübereinstimmung. Zur Bestimmung der Schülerleistung wird die Bewertung der vierten Coderin bzw. des vierten Coders herangezogen.

4.4.1 Single CodingBeim Single Coding werden jeder Coderin und jedem Coder nach einem vorgegebenen Rotationsschema bestimmte Testhefte zugeteilt, wobei eine Coderin bzw. ein Coder pro Testheft nur einen Aufgabenblock (Cluster) bewertet. Somit wird gewährleistet, dass die Antworten jeder Schülerin bzw. jedes Schülers von mehreren unterschiedlichen Coderinnen bzw. Coder bewertet werden. Diese Prozedur ist neben der fun-dierten Schulung der Coder/innen und laufenden Qualitätskontrollen (vgl. unten) ein weiterer Schritt, der sicherstellt, dass die Leistungen von Schülerinnen und Schülern nicht systematisch durch personab-hängige Bewertungsmängel beeinflusst werden.Die Bewertung der Schülerantworten hat sowohl beim Single Coding als auch beim Multiple Coding „Item by Item“ zu erfolgen. Die Coderin bzw. der Coder muss also über die zugewiesenen Testhefte hinweg immer erst die Antworten auf eine Frage vollständig bewerten, ehe er mit der nächsten beginnt. Diese Vorgehensweise gewährleistet, dass bei der Bewertung eines Items durchgehend die gleichen Bewertungsmaßstäbe angewandt werden, und dass sich zeitliche Qualitätsunterschiede in der Arbeit einer Coderin oder eines Coders auf mehrere Schülerinnen bzw. Schüler verteilen. Während des Single-Coding-Prozesses sollen sich die Coder/innen bei Unklarheiten an den Table Leader der jeweiligen Domäne wenden. Dieser soll dann – je nach Art der Frage – individuell oder der gesamten Gruppe Rückmeldung geben. Diese Rückmeldung muss vor Beginn der nächsten Arbeitssitzung erfolgen, um zu verhindern, dass sich bereits identifizierte Fehler in der weiteren Arbeit fortsetzen. Wenn Fragen über das Coding spezifischer Schülerantworten vom jeweiligen Table Leader nicht gelöst werden können, soll sich dieser an die Supervisorin bzw. den Supervisor der jeweiligen Domäne wenden. Kann auch diese bzw. dieser die Frage nicht eindeutig klären, so soll die Supervisorin bzw. der Supervisor die Frage per E-Mail an das Coder-Query-Service des internationalen Zentrums weiterleiten, wo Expertinnen und Experten die eintreffenden Fragen beantworten. Das Coder-Query-Service ist eine Einrichtung des inter-


nationalen Projektkonsortiums, die sich aus den Verantwortlichen des internationalen Zentrums für die Itemerstellung zusammensetzt und die oberste Entscheidungskompetenz im Zusammenhang mit dem Coding von Schülerantworten hat.Die Table Leader müssen beim Single Coding aus jedem bereits bewerteten Heftstoß eine Zufallsstichprobe von vercodeten Antworten überprüfen, um falsche Codes zu identifizieren. Wenn sich dabei herausstellt, dass eine Coderin oder ein Coder Probleme bei der konsistenten Anwendung der Bewertungsrichtlinien hat, dann sollen von dieser Coderin bzw. diesem Coder mehr Codings in die Überprüfung miteinge-schlossen werden. Vor Beginn der nächsten Coding-Einheit, sollen die Table Leaders die Ergebnisse ih-rer stichprobenartigen Überprüfungen mit den Coderinnen und Codern durchgehen und bestehende Unklarheiten beseitigen.

4.4.2 Multiple Coding Dieser Prozedur werden nur bestimmte Aufgabenblöcke einer jeden für das Multiple Coding vorgese-henen Testheftform unterzogen. Die anderen Aufgabenblöcke werden mittels Single Coding bewertet. Für das Multiple Coding sind jene Aufgabenblöcke vorgesehen, die möglichst weit vorn im Testheft vorkommen. Das hat vor allem den Grund, dass Aufgaben zu Beginn der Testhefte häufiger beantwortet werden als jene am Ende. Im vorderen Teil des Testhefts sind daher mehr Schülerantworten, welche für die Feststellung der Beurteilerübereinstimmung herangezogen werden können.Das Multiple Coding muss am Ende des Coding-Prozesses durchgeführt werden, nachdem die Coder/innen im Single Coding die Anwendung der Bewertungsrichtlinien perfektioniert haben. Das Multiple Coding muss absolut selbstständig, d. h. ohne Hilfe anderer Coder/innen oder des Table Leaders, durch-geführt werden.Wie beim Single Coding erfolgt auch beim Multiple Coding die Zuteilung der Testhefte zu den Coderinnen und Codern in rotierter Form. Dies hat zum Ziel, möglichst viele verschiedene Coder-Kombinationen unterschiedlichen Clustern zuzuordnen, um die Beurteilungen bei unterschiedlichen Cluster-Coder-Zusammenstellungen vergleichen zu können. So können einerseits zufällige Beurteilerübereinstimmungen vermieden werden (weil z. B. alle den gleichen Fehler machen) und bei jeder Coderin bzw. jedem Coder alle für das Coding relevanten Items ihrer/seiner Domäne überprüft werden.Im Gegensatz zum Single Coding, wo die Coder/innen die Codes in der entsprechenden Code-Zeile im Testheft einkreisen, müssen beim Multiple Coding die ersten drei Coder/innen ihre Codes in so genannte Multiple-Coding-Sheets eintragen und erst die vierte Coderin bzw. der vierte Coder kreist die Codes direkt im Testheft ein. Für jede Testheftform gibt es ein eigenes Multiple-Coding-Sheet. Dieses umfasst neben Nummer, Name und Reihenfolge (erster, zweiter oder dritter) der Coderin bzw. des Coders die Schüler-ID, die Namen und Nummern der zu bewertenden Items der jeweiligen Unit sowie alle zugehörigen Codes.

5. Ablauf des Codings im Haupttest 2006

Im Rahmen eines Coder-Workshops, den Expertinnen und Experten des internationalen Projektzentrums leiteten, wurden Mitarbeiter/innen des nationalen Zentrums in Ablauf und Organisation des Coding sowie in die Bewertungsrichtlinien für die einzelnen Items eingeschult. Die Teilnehmer/innen dieses Workshops hatten die Aufgabe, die international vorgesehenen Prozeduren auf nationaler Ebene umzu-setzen. In diesem Abschnitt wird die konkrete Umsetzung der internationalen Richtlinien in Österreich beschrieben.

5.1 Rekrutierung der Coder/innen

Die Rekrutierung der Coder/innen erfolgte mittels Aushängen und Rundmails an der Universität Salzburg (Fachbereich Erziehungswissenschaft, Naturwissenschaftlichen Fakultät) und der Pädagogischen Akademie sowie ein Inserat in der ÖH-Jobbörse im Internet. Weitere Unterstützung leisteten der Landesschulrat für Salzburg sowie das Pädagogische Institut Salzburg.


Zunächst wurden alle Bewerber/innen zu einem Vorstellungsgespräch eingeladen, in dem sie ihre Qualifikationen berichteten und über PISA und den Ablauf des Codings informiert wurden. Im Rahmen dieses Vorstellungsgesprächs wurden den Bewerberinnen und Bewerbern auch PISA-Aufgaben mit da-zugehörigen Bewertungsrichtlinien vorgelegt und die Bewerber/innen sollten einige Schülerantworten vercoden. Dadurch erhielten die Bewerber/innen einen besseren Einblick in ihre Aufgabe als Coder/in und das nationale Zentrum konnte die Bewerber/innen auf ihre Qualifizierung hin überprüfen. Für jede Domäne wurden Spezialisten rekrutiert, die jeweils nur für diese Domäne zuständig waren. Insgesamt wurden 25 Coder/innen rekrutiert, davon 15 für Naturwissenschaft und je fünf für Mathematik und Lesen. Darunter befinden sich auch die zusätzlich rekrutierten Coder/innen (drei für Naturwissenschaften, je einer für Mathematik und Lesen). Diese Coder/innen fungierten in Österreich nicht nur als Reserve-Coder/innen, sondern waren laut Empfehlung des Coding-Verantwortlichen von A.C.E.R. während des Single Codings den übrigen Coderinnen und Codern gleichgestellt. Nur für das Multiple Coding, wo eine exakte Anzahl von zwölf bzw. vier Coder und Coderinnen nötig war, wurden die nicht erforderlichen Coder/innen per Losentscheid ausgeschlossen (vgl. Abschnitt 4.4.2 idK.).Die österreichischen Coder/innen können betreffend ihrer Qualifikation mindestens einer der folgenden Gruppe zugeordnet werden:• (arbeitssuchende) Lehrer/innen;• fertig ausgebildete AHS-Lehrer/innen, die gerade ihr Unterrichtspraktikum absolvieren;• Höhersemestrige, die eines der für PISA relevanten Fächer studieren;• Personen, die bereits in früheren PISA-Zyklen als Coder/in für PISA tätig waren.In Österreich wurden keine eigenen Table Leaders rekrutiert, da die Mitarbeiterinnen des PISA-Zentrums, die als Supervisorinnen fungierten, auch die Rolle des Table Leaders übernahmen. Hierdurch wurde einerseits vermieden, eine Hierarchie zwischen den Coderinnen und Codern aufzubauen, andererseits waren die Mitarbeiterinnen während der Bürozeiten ständig und darüber hinaus nach Vereinbarung ver-fügbar, womit die Tätigkeit des Codings nicht an vorgegebene Zeiten (einheitliche Coding-Sitzungen) gebunden war. Weiters wurde die zeitliche Verfügbarkeit der Supervisorinnen auch insofern ausgedehnt, indem jeweils zwei Mitarbeiterinnen für eine Domäne zuständig waren und beide den internationalen Coder-Workshop für die jeweilige Domäne besucht haben. Die Zuständigkeit zweier Supervisorinnen für eine Domäne brachte zusätzlich den Vorteil, dass diese über bestimmte Coding-Probleme und -Fehler auch untereinander diskutieren konnten und bei einem Ausfall einer Supervisorin (z. B. durch Krankheit) der Coding-Prozess nicht gefährdet wäre. Für die Domäne Naturwissenschaft wurde eine zusätzliche Mitarbeiterin, die über Erfahrung beim Coding verfügte und ein naturwissenschaftliches Studium abge-schlossen hatte, eingestellt.

5.2 Schulung der Coder/innen

Die Schulung der Coder/innen umfasst eine individuelle Vorbereitungsphase und die Teilnahme am Coder-Workshop. Zuerst beantworteten alle Coder/innen vor dem Coder-Workshop die Testaufgaben der jeweiligen Domäne im nationalen Projektzentrum. Dadurch erhielten die Coder/innen Einblick in die Situation der Schüler/innen. Anschließend bekamen die Coder/innen auch den Coding Guide, den sie zur Vorbereitung auf den Workshop durcharbeiten sollten. Auf Grund der strengen Geheimhaltungs-bestimmungen, die es verbieten, Coding-Unterlagen außer Haus zu geben, hatte das Beantworten der Fragen und das Durchlesen des Coding Guides im nationalen Zentrum zu erfolgen. Für jede Domäne gab es Ende April/Anfang Mai einen Coder-Workshop. Die Termine für die Workshops wurden so gewählt, dass alle Einschulungen möglichst knapp vor Beginn des Codings stattfanden, um die erworbenen Kenntnisse so schnell wie möglich in die Praxis umzusetzen. Zur sofortigen Festigung des erworbenen Wissens begannen die Coder/innen bereits nach dem ersten Workshop, die behandelten Aufgabenblöcke in den Testheften zu bewerten.Die Coder-Workshops führte die Supervisorin der jeweiligen Domäne durch. Diese gliederten sich ent-sprechend der internationalen Vorgaben in die folgenden Bereiche:


(1) offizielle Begrüßung, Kennenlernen der Coder/innen, Bekanntgabe des Ablaufs der Schulung;(2) allgemeiner Überblick über die PISA-Studie;(3) Ausgabe der Materialien: jede Coderin und jeder Coder erhielt zusätzlich zu seinem Coding Guide

das übersetzte internationale Workshop-Material; (4) Erläuterung und Diskussion der allgemeinen Prinzipien und Richtlinien beim Coding in PISA (vgl.

Abschnitt 1 idK.). (5) Behandlung der einzelnen Items nach folgendem Schema:

• Erklären der Fragestellung und der zugehörigen Bewertungsrichtlinien; • selbstständiges Coding der Beispielantworten im Workshop-Material; • Diskussion der Codes mit dem Ziel, dass jede Coderin und jeder Coder die Kriterien für die jeweiligen Codes nachvollziehen und Schülerantworten konsistent danach bewerten kann;• laufendes Klären von Fragen und Unklarheiten;

(6) Erklärung des organisatorischen Ablaufs inklusive der gemeinsamen Besichtigung der Material- und der Coding-Räume, der Erklärung der Anordnung der Testhefte und der Prozedur des Reservierens von Testheft-Stößen für Arbeitseinheiten;

(7) jede Coderin bzw. jeder Coder bearbeitet selbstständig die vorgelegten Beispielantworten aus dem Feldtest und aus PISA 2000 und 2003.

Anschließend an den Coder-Workshop wertete die Supervisorin das Coding der Beispielantworten aus. So konnte überprüft werden, ob alle Coder/innen das Trainingsziel (die korrekte Vergabe von Codes) erreicht haben. Kein/e Coder/in durfte mit der Bewertung der Testhefte beginnen, bevor er/sie Rückmeldung zu seiner/ihrer Codevergabe erhalten hatte. Alle österreichischen Coder/innen erfüllten beim Coding der Bespielantworten die internationalen Kriterien. Somit konnten die Coder/innen schon am Tag nach dem Coder-Workshop mit dem Single Coding der Testhefte beginnen.

5.3 Vorbereitung der Testhefte für das Coding

Im Rahmen von PISA 2006 übernahm das österreichische Projektzentrum auch die Verantwortung für das Coding der PISA-Testhefte Südtirols und der deutschsprachigen Gemeinschaft Belgiens. Diese Testhefte langten auf Grund der früheren Testtermine dieser Länder schon Anfang Mai am nationalen Zentrum ein. Das gleiche Coder-Team wie für Österreich übernahm das Coding für diese Testhefte.Im Folgenden wird am Beispiel der österreichischen Testmaterialien genauer auf die für das Coding durchgeführten Vorbereitungsmaßnahmen eingegangen. Am Beginn dieser Maßnahmen stand die Rücklaufkontrolle der Testmaterialien. Anschließend wurden die Testhefte und Fragebögen entsprechend ihrer Form sortiert. Die Fragebögen wurden sofort an das Dateneingabepersonal weitergeleitet. Bei den Testheften wurden, den internationalen Vorgaben entsprechend, je 100 Hefte aus den Formen, die für das Multiple Coding vorgesehen waren (vgl. Abschnitt 4.4.2 idK.), zufällig ausgewählt. Die restlichen Testhefte jeder Form wurden für das Single Coding in fünfzehn Stöße aufgeteilt. Jeder Stoß bekam eine Ziffern-Buchstaben-Kombination zugewiesen und wurde mittels eines Rotationsschemas Coderinnen und Codern zugeordnet. Dieses Rotationsschema stellte sicher, dass die vier Aufgabenblöcke (Cluster) eines Testhefts von unterschiedlichen Personen bewertet wurden, und dass jede Coderin bzw. jeder Coder alle Cluster ihrer bzw. seiner Domäne bewertete.

5.4 Vercoden der Schülerantworten

Da keine Testinstrumente oder Unterlagen, die PISA-Testaufgaben enthalten, das nationale Zentrum ver-lassen durften, war das Coding an den Ort des nationalen Zentrums gebunden. Für das Coding wurden drei Räume adaptiert: einer für die übersichtliche Lagerung der Testhefte und zwei für die Durchführung des Codings. 5.4.1 Single CodingUm einen reibungslosen organisatorischen Ablauf zu gewährleisten, bekam jede Coderin und jeder Coder einen Arbeitsplan, auf dem Cluster- und Stoßname der von ihm zu bearbeitenden Testhefte eingetragen


waren. Jede Coderin und jeder Coder musste auf einer Liste vermerken, wann sie/er welchen Stoß bear-beitet, um sicherzustellen, dass ein Stoß nicht von mehreren Coderinnen und Coder gleichzeitig benö-tigt wird. Jede Coderin und jeder Coder musste im Lauf des Coding-Prozesses alle Cluster ihrer/seiner Domäne bewerten. Während des Codings gab es immer wieder Deadlines, bis zu denen eine bestimmte Anzahl von Clustern bewertet sein mussten.Bei organisatorischen und fachlichen Fragen konnten sich die Coder/innen an die Supervisorin ih-rer Domäne wenden. Insbesondere wurden die Coder/innen aufgefordert, nicht eindeutig bewertbare Schülerantworten zu markieren und am Ende der Arbeitssitzung mit der jeweiligen Supervisorin das Coding abzusprechen. Die Supervisorin erklärte dabei der Coderin bzw. dem Coder, welcher Code vor-geschrieben ist und warum die jeweilige Antwort so zu vercoden ist. Konnte jedoch auch die Supervisorin nicht eindeutig entscheiden, welchem Code die jeweilige Antwort zuzuordnen ist, blieb die Schülerantwort weiterhin markiert und sie diskutierte mit der Kollegin ihrer Domäne die Codevergabe. Ist auch hier kein eindeutiger Konsens erreicht worden, wurde die Schülerantwort übersetzt und per E-Mail an das interna-tionale Coder-Query-Service weitergeleitet. Die Rückmeldungen des Coder-Query-Service wurden mit allen Coder/innen der jeweiligen Domäne besprochen und in Mappen im Coding-Raum gesammelt. Auf internationaler Ebene wurden die Rückmeldungen zu den Coder Queries der Teilnehmerländer in einer kennwortgeschützten Online-Ressource von A.C.E.R. verfügbar gemacht. Aktualisierungen dieser Ressource leiteten die Supervisorinnen unverzüglich an die Coder/innen weiter.Als zusätzliche Qualitätssicherungsmaßnahme im Single Coding überprüften die Supervisorinnen stich-probenartig das Coding. In etwa wurden die Codes von jedem sechsten Testheft kontrolliert. Entdeckten die Supervisorinnen Fehler bei der Codevergabe, korrigierten sie diese und gaben der jeweiligen Coderin bzw. dem jeweiligen Coder Rückmeldung über ihre bzw. seine Fehler, bevor diese/r mit ihrer/seiner nächsten Arbeitseinheit begann. Waren diese Rückmeldungen auch für die übrigen Coder/innen einer der Domäne von Relevanz, so wurden sie auch diesen mitgeteilt und in der Mappe im Coding-Raum ar-chiviert. Wenn die Supervisorinnen systematische Fehler bei einer Coderin bzw. einem Coder entdeckten, kontrollierten sie alle Codes dieser Aufgabe.

5.4.2 Multiple CodingWie in Abschnitt 4.1 idK. angeführt, wurden in Österreich pro Nebendomäne je fünf Coder/innen rekrutiert, in Naturwissenschaften waren es insgesamt 15. Für das Multiple Coding wurden aber pro Nebendomäne nur vier und für Naturwissenschaft zwölf Coder/innen benötigt, da jede Aufgabe genau von vier Coderinnen bzw. Codern zu bewerten war. Deshalb wurden per Losentscheid fünf Coder/in-nen (jeweils einer pro Nebendomäne und drei in Naturwissenschaft) ausgeschlossen. Diese Coder/innen bewerteten die Schülerantworten der Aufgabenblöcke in den Multiple-Coding-Heften, die nicht für das Multiple-Coding vorgesehen waren. Diese Cluster wurden aus den in Abschnitt 4.4.1 idK. erläuterten Gründen dem Single Coding unterzogen. Die für das Multiple Coding vorgesehenen Coder/innen konnten nach Fertigstellung ihrer Single-Coding-Aufgaben mit dem Multiple Coding beginnen. Vor der ersten Multiple-Coding-Arbeitseinheit erklärten die Supervisorinnen jeder Coderin bzw. jedem Coder nochmals den speziellen Ablauf und händigten die Multiple Coding Sheets aus. Besonders wurde darauf hingewiesen, dass das Multiple Coding absolut selbstständig zu erfolgen hat und keine Fragen, weder an die Supervisorinnen noch an andere Coder/in-nen, erlaubt sind. Daraufhin konnten die Coder/innen alle Multiple Coding Cluster ihrer Domäne bear-beiten, sofern sie im Rotationsschema nicht Position vier für den jeweiligen Cluster hatten, was bedeutet, dass sie als letzte vercoden müssen, weil sie ihre Codes direkt in die Testhefte eintragen müssen.

6. Maßnahmen zur Sicherung der Qualität im Coding-ProzessQualitätssicherung ist im Coding von herausragender Bedeutung, geht es doch um die Vergleichbarkeit der gewonnenen Leistungsdaten sowohl auf nationaler als auch auf internationaler Ebene. Mängel bei der Bewertung der Schülerantworten machen einen Großteil der erhobenen Daten unbrauchbar. Deshalb


werden enorme Anstrengungen unternommen, um eine hohe Qualität beim Coding zu erreichen. Diese Anstrengungen beziehen sich sowohl auf die Qualitätssicherung der Instrumente und Prozeduren als auch auf laufende Qualitätssicherungs- und -kontrollmaßnahmen über den gesamten Coding-Prozess hinweg.

6.1 Die Bedeutung des Feldtests für das Coding

Wie bereits in der Einleitung zu diesem Kapitel erwähnt, besteht der grundsätzliche Unterschied zwischen Feld- und Haupttest darin, dass der Haupttest der Gewinnung von Leistungs- und Kontextdaten dient, während das Ziel des Feldtests die Überprüfung und Verbesserung der Instrumente und Prozeduren ist. Somit ist der Feldtest eine entscheidende Maßnahme zur Sicherstellung verlässlicher Daten im Haupttest. In diesem Abschnitt wird die Bedeutung des Feldtests für das Coding beschrieben. 6.1.1 Erprobung der BewertungsrichtlinienDie in den Coding Guides gesammelten Bewertungsrichtlinien (Coding Instructions) dienen den Coderinnen und Codern als Entscheidungsgrundlage bei der Zuordnung von Codes zu Schülerantworten (vgl. Abschnitt 4.2 idK.). Auf Grund ihrer zentralen Bedeutung bedürfen Coding Guides einer gewis-senhaften Entwicklung, die die Qualität dieser Instrumente sicherstellt. Eine gute Qualität der Coding Guides äußert sich durch sinnvolle und praktisch gut anwendbare Richtlinien für die Zuordnung von Codes zu Schülerantworten. Ob die Bewertungsrichtlinien eine sinnvolle Differenzierung der Schülerantworten ermöglichen, prüfen vor allem testtheoretische Analysen zu den Ergebnissen des Feldtests: Häufigkeitsanalysen zeigen, wie viele Schülerantworten es zu den jeweiligen Codes gibt, speziel-le statistische Verfahren testen, wie gut die Codes zwischen guten und schlechten Leistungen differenzie-ren. Liegen schlechte Gütekriterien vor, wird entweder die gesamte Frage ausgeschlossen oder es werden die Bewertungsrichtlinien für den Haupttest modifiziert.Die Qualität der Bewertungsrichtlinien wird durch die Beurteilerübereinstimmung im Multiple Coding des Feldtests überprüft. Eine hohe Beurteilerübereinstimmung spricht für eine eindeutige Zuordenbarkeit von Schülerantworten zu Codes. Eine niedrige Beurteilerübereinstimmung kann, abhängig davon, ob nur eine oder mehrere Fragen davon betroffen sind und ob sie nur innerhalb eines Landes oder auch zwi-schen den Ländern identifiziert wird, unter anderem die folgenden Ursachen haben: Übersetzungsfehler, uneindeutige Bewertungsrichtlinien, Schwächen in der Rekrutierung oder im Training der Coder/in-nen. Auf Grund dieser vielfältigen Mängel, die durch Multiple Coding sichtbar gemacht werden kön-nen, nimmt es innerhalb des Feldtests eine besondere Bedeutung ein, da hier noch die Möglichkeit zur Behebung der entdeckten Mängel besteht. So werden im Feldtest die Hälfte der für das Coding be-stimmten Schülerantworten dem Multiple Coding unterzogen. Dies stellt sicher, dass Mängel erkannt und durch geeignete Maßnahmen beseitigt werden, z. B. durch eindeutigere Bewertungsrichtlinien oder Änderung von Formulierungen.6.1.2 Erprobung der ProzedurenDie Prozeduren sind in Feld- und Haupttest grundsätzlich dieselben. Im Feldtest werden in Relation zum Haupttest allerdings mehr Testhefte dem Multiple Coding unterzogen. Die übrigen Prozeduren werden der geringeren Stichprobe (geringeren Anzahl an Schülerantworten) im Feldtest angepasst. Die wichtigs-ten Unterschiede im Feldtest gegenüber dem Haupttest sind dabei die folgenden:• geringere Anzahl an Coderinnen bzw. Codern (6 statt 25),• im Feldtest wurden nur Naturwissenschafts-Aufgaben vercodet, da für Naturwissenschaft als Haupt-

domäne zahlreiche neue Items entwickelt und erprobt wurden; Mathematik- und Lese-Coding waren nicht erforderlich, da alle Aufgaben dieser Domänen von PISA 2003 übernommen wurden,

• geringere Anzahl an Testhefen und Testheftformen, was mit weniger Testheftstößen einhergeht.Das Coding im Feldtest ist auf Grund der gleichen Prozeduren auch ein wichtiger Probedurchlauf für das Coding im Haupttest. So können Schwierigkeiten in der Organisation oder der Umsetzung bereits im Feldtest erkannt und im Haupttest vermieden werden. Dies gilt insbesondere auch für die im folgenden


Abschnitt erwähnten Qualitätssicherungsmaßnahmen, die sowohl im Feld- als auch im Haupttest durch-geführt werden.

6.2 Qualitätssicherung und -kontrolle

Alle Prozeduren zur Qualitätssicherung und -kontrolle werden durch internationale Richtlinien (vgl. Abschnitt 4 idK.) vorgegeben und müssen auf nationaler Ebene umgesetzt werden (vgl. Abschnitt 5 idK.). Dies stellt sicher, dass die folgenden Qualitätssicherungsmaßnahmen nach einem international einheitli-chen (Mindest-)Standard ablaufen und dadurch die PISA-Leistungsdaten über die Teilnehmerländer hin-weg vergleichbar werden. Die Abläufe werden hier nur mehr kurz und in Hinblick auf qualitätsrelevante Aspekte erwähnt, da sie bereits in den Abschnitten 4 und 5 detaillierter beschrieben wurden.• Kriteriumsorientierte Rekrutierung der Coder/innen: Coder/innen weisen Qualifikationen auf, die die

Vertrautheit im Umgang mit Schülerantworten und die Vertrautheit mit dem Schulstoff der neunten und zehnten Schulstufe sicherstellen.

• Standardisierte Coder-Schulungen und Tests: Die Coder-Workshops, im Speziellem die Diskussion über Codes für gewisse Schülerantworten, sind wesentliche Schritte für das einheitliche Coding. Dafür werden die standardisierten Workshop-Materialien und die Coding Guides verwendet. Zudem wird die Effektivität der Schulung überprüft, indem Coderinnen und Coder selbstständig Beispielantwor-ten bewerten müssen und zu dieser Arbeit Rückmeldung bekommen, noch ehe sie mit dem Coding der Testhefte beginnen.

• Rotierte Zuordnung von Testheften zu Codern und Coderinnen: Jedes Testheft gliedert sich in vier Aufga-benblöcke (Cluster), die von unterschiedlichen Coderinnen und Codern bewertet werden. Dies stellt sicher, dass keine Schülerin und kein Schüler von nur einer Coderin oder einem Coder beurteilt wird und weiters, dass keine Coderin und kein Coder alle oder viele Schülerantworten einer Schule/einer Schulform bewertet. Der systematische Einfluss von Coder-Effekten wird so minimiert.

• Qualitätskontrolle beim Single Coding: Laufende Kontrolle der Arbeit der Coder/innen und damit ver-bundene Rückmeldungen stellen eine weitere Vereinheitlichung der Coder-Bewertungen sicher und machen Schwierigkeiten beim Coding bestimmter Antworten frühzeitig sichtbar und behebbar.

• Multiple Coding: Das Coding jeder Schülerantwort unabhängig durch vier Coder/innen erfüllt in Feld- und Haupttest unterschiedliche Funktionen. Im Feldtest dienen Indikatoren der Beurteilerü-bereinstimmung vor allem der Qualitätskontrolle und -verbesserung der Bewertungsrichtlinien und der Coder-Schulung. Im Haupttest dient Multiple Coding der Kontrolle der Auswertungsobjektivi-tät. Eine niedrige Beurteilerübereinstimmung indiziert hier mangelnde Datenqualität und schlechte Vergleichbarkeit der vergebenen Codes. Um eine Vergleichbarkeit der Daten sowohl auf nationaler als auch auf internationaler Ebene zu gewährleisten, ist daher eine hohe Beurteilerübereinstimmung erforderlich.

Um sicherzustellen, dass Beurteilerübereinstimmungen der nationalen Coder/innen nicht durch systema-tische Coding-Fehler zu Stande gekommen sind, wird auf internationaler Ebene eine Inter-Country-Rater-Reliability-Study durchgeführt. Zu diesem Zweck muss jedes Teilnehmerland eine gewisse Anzahl von Multiple-Coding-Testheften an das internationale Projektzentrum senden. Dort werden die Multiple-Coding-Aufgaben dieser Testhefte durch Coding-Experten bewertet, die die Sprache des jeweiligen Landes beherrschen. Eine genaue Beschreibung dieser Prozedur findet sich in Abschnitt 4.2 in Kapitel XII. In anschließenden Analysen wird überprüft, wie sehr die Expertenurteile mit den Urteilen der Coder/innen der jeweiligen Länder übereinstimmen. Österreich sendete insgesamt 180 Multiple-Coding-Testhefte zur Inter-Country-Rater-Reliability-Study. Die Ergebnisse dieser Analysen werden zusammen mit den Kennzahlen der Beurteilerübereinstimmung der einzelnen Teilnehmerländer im internationalen Technischen Bericht publiziert.


BibliografieReiter, C. (2001). Marking, Kodierung und Datenmanagement. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Me-

thoden und Stichproben des österreichischen PISA Projekts (S. 211–257). Innsbruck: StudienVerlag.

Bergmüller, S. (2004). Marking. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs: 08.02.2007]

IXUrsula Schwantner

BERUFSKLASSIFIKATION

IX

1. Berufsklassifi kation nach ISCO1.1 Die ISCO-88, die ISCO-88 (COM) und die Ö-ISCO1.2 Konzeptioneller Rahmen der ISCO-881.3 Aufbau der ISCO-881.4 Codierregeln und Besonderheiten der ISCO-881.5 Modifi kationen der ISCO-88 nach Ganzeboom & Treiman (1996)1.6 Die ISCO-88 als Basis für den sozioökonomischen Status

2. Die ISCO-Codierung bei PISA 20062.1 Fragen zur berufl ichen Tätigkeit2.2 Internationale Richtlinien bei der Berufsklassifi zierung2.3 Berufsklssifi zierung auf nationaler Ebene2.4 Einschulung der ISCO-Coder/innen2.5 Vercodungsleistung und Analyse der Restkategorien

3. Qualitätssicherung bei der ISCO-Codierung

Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Reiter, 2001) und PISA 2003 (Wallner-Paschon, 2004). Die Autorin dieses Kapitels dankt Claudia Schreiner (geb. Reiter) und Christina Wallner-Paschon für die Bereitstellung der Texte.

Seite 152 IX. Berufsklassifikation

Eine zentrale Variable im Hinblick auf die Analyse der Leistungsdaten stellt der sozioökonomische Status der Schüler/innen dar. Dieser wird mit Hilfe der Variable „Beruf der Eltern“ berechnet, welche im Schülerfragebogen enthalten ist. Die Schüler/innen werden gebeten, den Beruf der Mutter und des Vaters zu benennen (z. B. „Lehrerin“) und zu beschreiben (z. B. „unterrichtet Mathematik in einem Gymnasium“). Diese Bezeichnungen und Beschreibungen werden von geschulten Coderinnen und Codern klassifiziert, d. h. mit entsprechenden Codes versehen, die in weiterer Folge in Werte des so-zioökonomischen Status (Social Economic Index – SEI) transformiert werden. Die Klassifikation der Berufe erfolgt mittels der International Standard Classification of Occupations (international standar-disierte Berufsklassifikation) aus dem Jahr 1988, der „ISCO-88“. Dieses internationale Klassifikations-schema wird in PISA eingesetzt, um die daraus generierten Statuswerte (SEI) über die Teilnehmerländer hinweg vergleichen zu können. Im Folgenden werden die für PISA relevanten Anwendungsbezüge der Berufsklassifizierung sowie die Konzeption der ISCO-88 und die darauf aufbauende Skala des sozioöko-nomischen Status dargestellt. Danach wird die Vorgehensweise bei der Berufsklassifikation in PISA 2006 erläutert. Abschließend werden die Maßnahmen zur Qualitätssicherung beschrieben.

1. Berufsklassifikation nach ISCO

1.1 Die ISCO-88, die ISCO-88 (COM) und die Ö-ISCO

Im Jahr 1958 gab die ILO (International Labour Organisation) erstmals eine internationale Berufs-systematik heraus (ISCO-58), um internationale Vergleiche von Arbeitsmarktstatistiken zu ermöglichen. Danach folgte die ISCO-68 und schließlich die ISCO-88 (ILO, 1990). Die Verwendung der ISCO-88 in PISA weist eine Reihe von Vorteilen auf: Zum einen ist die Klassifikation nach ISCO-88 weit verbreitet und in den meisten Teilnehmerländern in Verwendung. Zum anderen können viele nationale Berufs-klassifikationssysteme problemlos in die ISCO-88 überführt werden. Des weiteren bauen eine Reihe von bereits vorhandenen und validierten Skalen des sozioökonomischen Status (SEI) auf die ISCO-88 auf, womit die Möglichkeit gegeben ist, diese bereits vorliegenden und auf ihre Gültigkeit hin geprüften Skalen zur Transformation der ISCO-Codes in SEI-Werte einzusetzen.Für den Verwendungszweck in PISA wird eine geringfügig modifizierte Version der ISCO-88 von Ganzeboom & Treiman (1996) zur Berufsklassifizierung eingesetzt. Das internationale Zentrum stellt allen Teilnehmerländern eine Liste mit allen in PISA verwendeten ISCO-88-Codes (nach Ganzeboom & Treimann, 1996) zur Verfügung, anhand derer die jeweils vorliegende nationale ISCO-Version (falls vorhanden) ergänzt bzw. adaptiert werden kann. In PISA ist es den Teilnehmerländern zwar erlaubt, nati-onale Berufsklassifikationssysteme einzusetzen, jedoch muss sichergestellt sein, dass sich diese problemlos in ISCO-88-Codes umwandeln lassen, damit die einheitliche Transformation in SEI-Werte gewährleistet ist1.In Österreich sind für die Berufsklassifikation in PISA neben der ISCO-88 mit den Modifikationen von Ganzeboom & Treimann (1996) noch zwei weitere Klassifikationssysteme relevant: Die ISCO-88 (COM), welche die für EU-Standards modifizierte Fassung der ISCO-88 darstellt und auch in deut-scher Sprache vorliegt (Elias & Birch, 1991), sowie die Ö-ISCO (Österreich-ISCO), welche die Statistik Austria seit 1992 für Zwecke der österreichischen Berufsstatistik entwickelt und verwendet. Die Ö-ISCO baut auf der ISCO-88 sowie der ISCO-88 (COM) auf und beinhaltet nur geringfügige Spezifikationen. Im Folgenden wird das Konzept der internationalen Standardklassifikation der Berufe anhand der ISCO-88 näher erläutert, da dieses Schema die Basis für alle weiteren ISCO-Versionen darstellt.

1.2 Konzeptioneller Rahmen der ISCO-88

Die ISCO-88 ist so konzipiert, dass die Summe der Aufgaben und Pflichten, die von einer Person wahr-zunehmen sind, die zu klassifizierende Einheit darstellt. Dabei wird nicht nur die formale Ausbildung be-rücksichtigt, sondern auch die Fähigkeiten, die im Laufe einer Berufskarriere erworben werden („training on the job“, Erfahrungswissen). Dieses Konzept wird Skill-Konzept genannt. Skills sind demnach all jene

Seite 153IX. Berufsklassifikation

Fertigkeiten, die gebraucht werden, um die mit einer Arbeit verbundenen Aufgaben und Pflichten erfül-len zu können. Durch die Unterscheidung von Skill Level (Qualifikationsniveau) und Skill Specialisation (Art der ausgeübten Tätigkeit) ist es möglich, diese Fertigkeiten auf unterschiedlichen Hierarchieebenen zu relativ ähnlichen Kategorien zusammenzufassen. Für die hierarchische Gliederung innerhalb der ISCO werden vier Skill Levels definiert, welche die Ausbildungsstufen der International Standard Classification of Education 1997 (ISCED-97) repräsentieren. Abbildung IX.1 zeigt die vier Skill Levels mit den korre-spondierenden Qualifikationsniveaus (ISCED-Kategorien).Skill Level 1 entspricht der Ausbildung im Primarbereich (Grundschule bzw. Volksschule). Skill Level 2 umfasst die Ausbildung im Sekundarbereich I und II. Hier können zusätzlich eine betriebliche Ausbildung und das Sammeln von Berufserfahrung erforderlich sein, wie es zum Beispiel bei der Lehrlingsausbildung der Fall ist. Die nächste Gliederungskategorie – Skill Level 3 – umfasst die im Alter von 17 oder 18 Jahren beginnende Ausbildung mit einer Dauer von ungefähr vier Jahren. Bildungsgänge dieser Kategorie sind z. B. Kollegs und Akademien (für Sozialarbeit, Berufspädagogische Akademie, Pädagogische Akademie). Skill Level 4 enthält Ausbildungen, die zu einem Universitätsabschluss, einem Fachhochschulabschluss, ei-nem Postgraduiertenabschluss oder einem gleichwertigen Abschluss führen (ILO, 1990; Wallner-Paschon, 2004). Die Kategorie 4 der ISCED (Aufbaulehrgänge, Schulen für Gesundheits- und Krankenpflege, Schulen für med.-techn. Fachdienst sowie Universitätslehrgänge, die kürzer als 2 Jahre dauern) wurde in der ISCO-88 bewusst freigelassen (ILO, 1990).

Mit Skill Specialisation wird hingegen das Gebiet bezeichnet, auf dem Kenntnisse erforderlich sind, um die jeweiligen Aufgaben kompetent ausführen zu können. Dazu gehören bestimmte Bereiche, Produktionsprozesse, Materialien, erzeugte Waren, die Art der Dienstleistungen etc. Je nach Differenzierungsgrad kann die Skill Specialisation weiter oder enger gefasst werden.

1.3 Aufbau der ISCO-88

Die ISCO-88 ist in vier Ebenen gegliedert: Auf der ersten Ebene befinden sich die 10 Berufshauptgruppen (BHG), die hierarchisch angeordnet sind. Innerhalb dieser erfolgt jeweils eine weitere Untergliederung

Abbildung IX.1: Die ISCO-88 Skill-Levels in Anlehnung an die ISCED-97

Skill Level Ausbildungsqualifikation nach ISCED-97

1. Level ISCED 1:Primarausbildung (Volksschule, Sonderschule); Dauer ungefähr 4 Jahre

2. Level

ISCED 2 und 3:Sekundarausbildung (Unter- und Oberstufe), Lehre – betriebliche Ausbildung, Sammeln von Berufserfahrungen (HS, AHS, Sonderschule, BMS, BHS, Polytechnische Schule, Abendschule, Land- und Forstwirtschaftliche Schulen); Dauer zwischen 5 und 7 Jahren)

3. Level

ISCED 5B:Tertiäre Ausbildung mit einem Abschluss, der nicht mit einem Universitätsabschluss gleichwertig ist (Meister- und Werkmeisterausbildung, Kollegs, SozAk, PädAk); Dauer zwischen 3 und 4 Jahren

4. Level

ISCED 5A, 6:Tertiäre Ausbildung mit FH-Abschluss, erstem und/oder zweitem Universitätsabschluss, Postgraduiertenabschluss oder gleichwertigem Abschluss; Dauer zwischen 3 und 6 Jahren


(auf Basis der Skill Specialisation) in insgesamt 28 Berufsgruppen auf der zweiten Ebene, 116 Berufsunter-gruppen auf der dritten Ebene und letztlich 390 Berufsgattungen auf der vierten Gliederungsebene. Die hierarchische Gliederung auf der Hauptgruppenebene erfolgt anhand der vier Skill-Levels, wobei Berufshauptgruppe 1 (Gesetzgebende Körperschaften, leitende Verwaltungsbedienstete und Führungs-kräfte in der Privatwirtschaft) und 0 (Soldaten) nicht zugeordnet werden. Bei diesen beiden Hauptgruppen werden Aspekte der beruflichen Tätigkeit wie Leitungsfunktionen im politischen und wirtschaftlichen Bereich bzw. militärische Aufgaben als übergeordnete Abgrenzungskriterien herangezogen. Ein Verkäufer beispielsweise, der ein eigenes Geschäft besitzt, wird nicht Berufshauptgruppe 5 „Dienstleistungsberufe, Verkäufer in Geschäften und auf Märkten“ zugeordnet, sondern der Berufshauptgruppe 1 „Führungskräfte in der Privatwirtschaft“. Es wird damit der Tatsache Rechnung getragen, dass der Grad der Komplexität der Aufgaben bei einem Verkäufer im eigenen Geschäft höher ist, da er zusätzlich zur Verkaufstätigkeit auch Aufgaben eines Unternehmers zu tätigen hat. Abbildung IX.2 zeigt die 10 Berufshauptgruppen (BHG) mit den dazugehörigen Skill Levels.

Auf der untersten Gliederungsebene der Berufsgattungen werden Berufe bzw. berufliche Tätigkeiten zu-sammengefasst, die hinreichend ähnlich sind, um für statistische Zwecke als eine Einheit betrachtet zu werden. Die Berufsgattung repräsentiert die berufliche Tätigkeit (erfasst durch Berufsbezeichnung und Beschreibung) und stellt die zu klassifizierende Einheit dar.Die vier Gliederungsebenen der ISCO werden durch den vierstelligen ISCO-Code abgebildet. Die ers-te Stelle des Codes steht für die Berufshauptgruppe, die zweite für die Berufsgruppe, die dritte für die Berufsuntergruppe und die vierte Stelle für die Berufsgattung. Die Vollständigkeit des Codes repräsen-tiert demnach die Präzision, mit der ein Beruf erfasst wurde. Im Folgenden wird dies anhand des Berufs „Diplomkrankenschwester“ demonstriert:

Code: Gliederungsebene:

3000 Berufshauptgruppe 3: Techniker und gleichrangige nichttechnische Berufe3200 Berufsgruppe 32: Biowissenschaftliche- und Gesundheitsfachkräfte3230 Berufsuntergruppe 323: Diplomierte Krankenschwestern, -pfleger und Geburtshilfefachkräfte

ohne akademische Ausbildung3231 Berufsgattung: Diplomierte Krankenschwestern und -pfleger

BHG Bezeichnung der Berufshauptgruppe Skill Level

1 Angehörige gesetzgebender Körperschaften, leitende Verwaltungsbedienstete und Führungskräfte in der Privatwirtschaft

2 Wissenschafter 4

3 Techniker und gleichrangige nichttechnische Berufe 3

4 Bürokräfte, kaufmännische Angestellte 2

5 Dienstleistungsberufe, Verkäufer in Geschäften und auf Märkten 2

6 Fachkräfte in der Landwirtschaft und Fischerei 2

7 Handwerks- und verwandte Berufe 2

8 Anlagen und Maschinenbediener sowie Montierer 2

9 Hilfsarbeitskräfte 1

0 Soldaten

–

–[

]

Abbildung IX.2: Berufshauptgruppen der ISCO-88 mit den zugehörigen Skill Levels (Wallner-Paschon, 2004)


1.4 Codierregeln und Besonderheiten der ISCO-88

Obwohl die vier Gliederungsebenen und die einzelnen Berufsgattungen im ISCO-88-Manual sehr präzise erläutert und definiert sind, erfordert die Anwendung eines derartig komplexen Klassifizierungsschemas zusätzliche Regeln.Berufliche Tätigkeiten, deren Aufgaben und Pflichten gleichzeitig mehreren Berufshauptgruppen zuge-ordnet werden könnten, sollen durch die Anwendung folgender Prioritätenregeln klassifiziert werden:• In Fällen, in denen Aufgaben und Pflichten mit unterschiedlichen Prozessstadien (Produktion, Dienst-

leistung etc.) verbunden sind, haben jene Aufgaben und Pflichten Vorrang, die mit dem Produktions-prozess in Verbindung stehen. Zum Beispiel soll ein Arbeiter, der Brot und Kuchen bäckt und diese dann auch verkauft, als Bäcker, und nicht als Verkäufer klassifiziert werden.

• In Fällen, in denen Aufgaben bzw. Pflichten Fähigkeiten auf unterschiedlichen Skill Levels erfordern, sollen jene mit dem höchsten Skill Level vercodet werden. Zum Beispiel soll eine Person, die im ei-genen Restaurant kocht, nicht als Koch, sondern als „Leiter kleiner Unternehmen – Restaurants und Hotels“ klassifiziert werden.

Ein weiteres Reglement, welches im ISCO-Manual festgelegt ist, bezieht sich auf Auszubildende, wie z. B. Lehrlinge, sowie sonstige Personen, die in die Berufsausbildung involviert sind (z. B. Meister oder Lehrlingsausbildner). Diese Personen sind entsprechend ihren tatsächlichen Aufgaben und Pflichten zu codieren, was bedeutet, sowohl den Malermeister als auch den Malerlehrling als Maler zu klassi-fizieren (vgl. Wallner-Paschon, 2004). Eine Besonderheit der Klassifikation nach ISCO-88 stellt die Unterscheidung in „Leiter“ großer und kleiner Unternehmen dar: große Unternehmen beschäftigen 10 oder mehr Mitarbeiter, kleine Unternehmen beschäftigen 0–9 Mitarbeiter. Achtgegeben werden muss u. a. auf Tätigkeiten in der öffentlichen Verwaltung, die auf Grund der Tätigkeitsbeschreibung sowohl BHG 1 (Angehörige gesetzgebender Körperschaften und leitende Verwaltungsbedienstete), BHG 2 (Wissenschaftliche Verwaltungsfachkräfte des öffentlichen Dienstes), BHG 3 (Verwaltungssekretäre und Fachkräfte) als auch BHG 4 (Sonstige Büroangestellte) zugeordnet werden können. Auch die Zuordnung von Tätigkeiten in der Land- und Forstwirtschaft und Fischerei kann je nach Spezialisierung in die Berufshauptgruppen 1, 2, 3, 6, 8 oder 9 erfolgen, in Österreich kommt jedoch hauptsächlich BHG 6 (Landwirte/Bauern) zur Anwendung.Berufsangaben die zu ungenau sind, um einer spezifischen Gattung zugeordnet werden zu können, wer-den bei der ISCO-Codierung der nächst höheren Abstraktionsstufe zugeordnet (z. B. Lehrer/in erhält Code 2300 wenn die Unterscheidung in Primarstufe [Code 2330] und Sekundarstufe [Code 2320] nicht gegeben ist). Bei manchen Berufsuntergruppen gibt es auch die Kategorie „anderweitig nicht genannt“. Diese kann dann gewählt werden, wenn ein Beruf zwar detailliert erfasst wird, jedoch nicht aufgelistet ist (z. B. Produktions- und Operationsleiter anderweitig nicht genant).Die Einhaltung der Prioritätenregeln und Beachtung der Besonderheiten ist wesentlich für die Genauigkeit der ISCO-Codierung und wird daher bei der Einschulung der Coder/innen besonders berücksichtigt (siehe unten).

1.5 Modifikationen der ISCO-88 nach Ganzeboom und Treiman (1996)

Für die Zwecke in PISA fällt Berufshauptgruppe 0 (Soldaten) weg, da die militärischen Berufsgattungen anderen Hauptgruppen zugeordnet sind (Ganzeboom & Treiman, 1996). Ebenso gibt es keine Kategorie „Wissenschaftliche Verwaltungsfachkräfte des öffentlichen Dienstes“ innerhalb BHG 2, diese müssen weiterhin nach ihrer Tätigkeit (unabhängig vom öffentlichen Dienst) klassifiziert werden (Ganzeboom & Treiman, 1996).

1.6 Die ISCO-88 als Basis für den sozioökonomischen Status

Unter „Status“ wird hier die Position einer Person in Relation zur Position anderer Personen verstan-den. Der Status stellt somit die Position von Menschen in einem hierarchischen Zusammenhang dar. Umgelegt auf den sozialen Status meint man demnach die Positionierung von Personen in der Hierarchie


der Gesellschaft, in der sie sich bewegen. Wird der sozia-le Status über die empirischen Dimensionen Beruf, Bildung (Schul- und Berufsbildung) und Einkommen erhoben, spricht man nicht mehr vom sozialen, sondern vom sozi-oökonomischen Status. Dabei wird der Beruf als Bindeglied zwischen Bildung und Einkommen verstanden (sie-he Abbildung IX.3). Es wird davon ausgegangen, dass jede berufliche Tätigkeit einen be-stimmten Bildungsgrad erfor-dert und durch ein bestimmtes Lohnniveau gekennzeichnet ist (Wallner-Paschon, 2004).Der sozioökonomische Status der Familie, aus der dieSchü-ler/innen stammen, wird in PISA durch den ISEI (International Socio-Economic Index, ISEI kurz SEI) operationalisiert und nach der Methode von Ganzeboom, de Graff und Treimann (1992) skaliert. Die SEI-Skala nach Ganzeboom, de Graff und Treimann (1992) kombiniert Informationen über den Beruf, das Einkommen und die Bildung. Die Skala ist so konstruiert, dass ein hoher SEI-Wert mit einem hohen sozioökonomischen Status einhergeht. Technisch ist die SEI-Skala an die Berufsgattungen der ISCO-88 gebunden, was bedeutet, dass die Status-Werte auf der Basis der ISCO-Codes generiert werden. Dabei werden die vierstelligen ISCO-Codes durch Recodierungsanweisungen in die jeweiligen SEI-Werte trans-formiert. Indem der sozioökonomische Status eine wichtige Erklärungsvariable für die Schülerleistungen darstellt, kommt der ISCO-Codierung indirekt über die Generierung der SEI-Werte ein wichtiger Stellenwert zu.Der theoretische Hintergrund der SEI-Skala nach Ganzeboom, de Graff und Treimann (1992) sowie die Skalenkonstruktion sind bei Wallner-Paschon, 2004, Kapitel IX näher beschrieben.

2. Die ISCO-Codierung bei PISA 2006

2.1 Fragen zur beruflichen Tätigkeit

Der Beruf der Eltern wird in PISA durch offene Fragen erfasst, was auf Grund der zu erwartenden Vielzahl an unterschiedlichen Antworten einer allgemein üblichen Vorgehensweise entspricht. Gefragt wird nach dem Beruf beider Elternteile (Vater und Mutter), wobei zuerst nach der Berufsbezeichnung und anschließend nach der Tätigkeitsbeschreibung gefragt wird (siehe Abbildung IX.4). Antworten zu beiden Fragen – Berufsbezeichnung sowie der dazugehörigen Tätigkeitsbeschreibung – stellen die zu klas-sifizierende Einheit, also die berufliche Tätigkeit, dar. Zusätzlich enthält der Schülerfragebogen eine Frage nach den beruflichen Plänen der Schüler/innen, die nach demselben Schema vercodet wird, wobei aber nur die Berufsbezeichnung als Information für die Klassifizierung zur Verfügung steht (Wallner-Paschon, 2004).

Abbildung IX.3: Pfadanalytisches Modell mit dem Beruf als intervenierende Variable (Wallner-Paschon, 2004)

Alter

Einkommen

Ausbildung

Beruf

direkter Effektindirekter Effekt


2.2 Internationale Richtlinien bei der Berufsklassifizierung

Im Gegensatz zur Vercodung der Testaufgaben (vgl. Kapitel VIII) wird für die Berufscodierung ein re-lativ flexibles Coding-Instrument benötigt, das die Unterschiede in den Teilnehmerländern ausreichend berücksichtigt. Von internationaler Seite gibt es daher eine verbindliche Forderung, die Angaben der Schüler/innen nach ISCO-88 inklusiv geringfügiger Modifizierungen (Ganzeboom & Treiman, 1996), welche im PISA-2006-Data-Management-Manual festgelegt sind, zu vercoden. Die Codieranweisungen sind dem ISCO-Manual der ILO (1990) zu entnehmen sowie nationale Ergänzungen bzw. nationale Versionen der ISCO-88 – soweit vorhanden – einzubeziehen.Die Umsetzung dieser Forderung wird sichergestellt, indem bei der Dateneingabe bzw. beim Datenimport in die Software KeyQuest (vgl. Abschnitt 2 in Kapitel X) nur Zahlenkombinationen des Kategoriensystems ISCO-88 akzeptiert werden. Das Hinzufügen einzelner Berufskategorien bzw. Codes ist zwar möglich, muss aber zuvor mit dem internationalen Zentrum abgesprochen werden und ist nur dann sinnvoll, wenn für den hinzugefügten Code auch ein korrespondierender Wert auf der SEI-Skala vorhanden ist. Falls Länder nach einem anderen Berufsklassifizierungssystem vorgehen, müssen diese Codes in die ISCO-88 überführt werden. Im Folgenden werden die internationalen Richtlinien für die ISCO-Codierung in PISA 2006 näher erläutert.

5a. Welchen Beruf übt deine Mutter aus? (z. B. Volksschullehrerin, AHS-Lehrerin, Küchengehilfin, Verkaufsleiterin)

Beschreib bitte die Tätigkeiten in einigen Worten. Wenn deine Mutter derzeit nicht berufstätig ist, gib bitte an, was sie in ihrer letzten Arbeit gemacht hat.

(Wenn deine Mutter derzeit nicht berufstätig ist, gib bitte an, welchen Beruf sie zuletzt ausgeübt hat.)

Beruf:______________________________________________________

5b. Was macht deine Mutter in diesem Beruf? (z. B. in einer Volksschule unterrichten, in einer AHS unterrichten, hilft dem Koch in einem Restaurant beim Kochen, ein Verkaufsteam leiten)

8a. Welchen Beruf übt dein Vater aus? (z. B. Volksschullehrer, AHS-Lehrer, Küchengehilfe, Verkaufsleiter)

Beschreib bitte die Tätigkeiten in einigen Worten. Wenn dein Vater derzeit nicht berufstätig ist, gib bitte an, was er in seiner letzten Arbeit gemacht hat.

(Wenn dein Vater derzeit nicht berufstätig ist, gib bitte an, welchen Beruf er zuletzt ausgeübt hat.)

Beruf:______________________________________________________

8b. Was macht dein Vater in diesem Beruf? (z. B. in einer Volksschule unterrichten, in einer AHS unterrichten, hilft dem Koch in einem Restaurant beim Kochen, ein Verkaufsteam leiten)

30. Was meinst du, welchen Beruf du mit 30 Jahren haben wirst?

Beruf:______________________________________________________

Erfassung der Berufe in PISA 2006

Abbildung IX.4: Fragen zum Beruf der Eltern sowie zu den beruflichen Plänen der Schüler/innen in PISA 2006


• Die Schülerantworten sind wie bereits in vorhergehenden PISA Zyklen im Programm Excel einzu-geben. Dazu werden Stratum-, Schul- und Schüler-ID aus KeyQuest nach Excel exportiert, um die Daten zuordnen und später wieder rückimportieren zu können. Der Beruf der Mutter und des Va-ters sowie die dazugehörenden Tätigkeitsbeschreibungen werden vom Dateneingabepersonal aus den Schülerfragebögen wörtlich abgetippt. Das File steht dann den ISCO-Coderinnen und -Codern zur Verfügung.

• Eine neue Richtlinie für die ISCO-Codierung in PISA 2006 ist die Identifikation von Schlüssel-wörtern aus der zu klassifizierenden Einheit, die eine eindeutige Zuweisung zu einer Berufsgattung ermöglichen. Zu diesem Zweck wird von internationaler Seite empfohlen, einen Index zu erstellen, der sich aus folgenden Informationen zusammensetzt: einem funktionellen Wort, einem ersten quali-fizierenden Wort und einem zweiten qualifizierenden Wort. Diese werden aus der zu klassifizierenden Einheit ermittelt, wobei das funktionelle Wort aus der Berufsbezeichnung und die qualifizierenden Wörter aus der Tätigkeitsbeschreibung – soweit vorhanden – identifiziert werden. Z. B. „Meine Mut-ter ist Lehrerin.“ „Sie unterrichtet an einem Gymnasium Mathematik“: als funktionales Wort wird „Lehrerin“ angegeben, als erstes qualifizierendes Wort „Gymnasium“ und als zweites qualifizierendes Wort „Mathematik“.

• Die Coder/innen sollen zur Interpretation der Schülerantworten nur die gegebenen Informationen aus der Berufsbezeichnung und Beschreibung heranziehen und mit der Identifikation des funktio-nellen Wortes (Berufsbezeichnung) beginnen. Wenn die Information aus der Antwort zur Berufsbe-zeichnung für eine vollständige Codierung ausreichend ist, brauchen keine Informationen mehr aus der Berufsbeschreibung angefügt werden. Falls die Berufsbezeichnung unklar, unspezifisch oder nicht ausreichend für eine vollständige Codierung ist, sollen die qualifizierenden Wörter ergänzend zur Interpretation herangezogen werden.

• Falls bei der Berufsbezeichnung mehr als ein Beruf angegeben ist und die Informationen aus der Be-schreibung nicht hilfreich sind, soll die Coderin/der Coder den erstgenannten Beruf wählen. Falls die Berufsbeschreibung jedoch die Aufgabe spezifiziert, soll diese berücksichtigt werden.

• Jede zu klassifizierende Einheit soll möglichst bis zur untersten Ebene codiert werden (vierstelliger Code). Ist dies nicht möglich, soll auf dem nächsthöheren Level codiert werden.

• Über diese Richtlinien hinaus gelten die Codierregeln nach ISCO-88, welche im Handbuch der ILO (1990) beschrieben sind (siehe Abschnitt 1.4 idK.).

Als Unterstützung bei problematischen Schülerantworten oder schwer zu klassifizierenden beruflichen Tätigkeiten können per Mail Anfragen an das internationale Zentrum gestellt werden, die von einem Experten/einer Expertin behandelt werden. Es wird jedoch empfohlen, in erster Linie auf nationaler Ebene einen externen Berater/eine externe Beraterin zu konsultieren, da auf internationaler Ebene nicht für jedes Teilnehmerland ein Experte/eine Expertin für die unterschiedlichen nationalen Arbeitsmärkte vorhanden ist.Internationale Richtlinien für die Einschulung der ISCO-Coder/innenBezüglich der Einschulung der ISCO-Coder/innen empfiehlt das internationale Zentrum ein Team aus 2–6 Personen unter der Leitung einer Supervisorin/eines Supervisors am nationalen Zentrum (NPM, Data Manager oder eine Person, die Erfahrung mit der Berufsvercodung hat) einzusetzen. Im Verantwortungsbereich der Supervisorin/des Supervisors liegt die Auswahl und das Training der Coder/innen, die Unterstützung bei der Vercodung, die Abwicklung von Queries (Anfragen an internationale Expertinnen und Experten) sowie die Qualitätskontrolle bei der Vercodung.

Im Folgenden wird die Organisation der ISCO-Codierung in Österreich, das Vorgehen bei der Vercodung und die Einschulung der Coder/innen auf nationaler Ebene näher erläutert.


2.3 Berufsklassifizierung auf nationaler Ebene

Für die Berufsklassifizierung in PISA 2006 in Österreich wurde die Ö-ISCO mit den Modifikationen, die das internationale Zentrum vorsieht (Ganzeboom & Treiman, 1996), eingesetzt. Die Ö-ISCO wird seit 1992 von der Statistik Austria für Zwecke der österreichischen Berufsstatistik entwickelt und verwendet. Die Ö-ISCO basiert auf der ISCO-88 sowie auf der ISCO-88 (COM).Auf Grund der Erfahrungen mit der ISCO-Codierung aus PISA 2000 und 2003 wurden Überlegungen angestellt, wie die ISCO-Codierung hinkünftig stärker automatisiert ablaufen könnte. Zum einen ist eine Vielzahl an Schülerantworten bereits auf Grund der Berufsbezeichnung eindeutig zuordenbar (z. B. Verkäufer/in, Diplomkrankenschwester/Diplomkrankenpfleger, Bäcker/in etc. oder z. B. auch Hausfrau/mann), wobei die Coder/innen viel Zeit dafür aufwenden, den korrespondierenden Code im Manual ausfindig zu machen und einzutragen. Eine automatische Einspielung der Codes würde demnach eine Zeitersparnis und Vereinfachung für die Coder/innen darstellen. Zum anderen erhöht die automatische Einspielung der Codes die Übereinstimmung bei der Vercodung, da eine bestimmte Berufsbezeichnung auf jeden Fall den gleichen Code erhält.Im Rahmen des Feldtests wurde daher recherchiert, welche Form der automatischen Vercodung für die Anwendung in PISA geeignet ist und am nationalen Zentrum umgesetzt werden kann. Zusätzlich zur Sichtung der einschlägigen Literatur wurde Kontakt mit Expertinnen und Experten für Berufsvercodung der Statistik Austria und ZUMA2 (Zentrum für Umfragen, Methoden und Analysen) aufgenommen, wodurch Informationen zur automatischen Vercodung sowie Erfahrungen aus erster Hand eingeholt werden konnten.Die Recherchen ergaben, dass für den Verwendungszweck in PISA eine halb-automatisierte Vercodung auf Basis einer Datenbank (mit einem „Wörterbuch“, welches speziell für die Zwecke in PISA entwi-ckelt wird) sinnvoll ist (Lay, 1997; Hartmann & Schütz, 2002; Hoffmeyer-Zlotnik et al., 2004; Geis & Hoffmeyer-Zlotnik, 2000). Dafür sprechen neben Aspekten der Qualitätssicherung (u. a. Steigerung der Übereinstimmung) die hohe Menge an zu codierenden Daten, die regelmäßige Durchführung der Erhebungen sowie das spezifische Antwortverhalten der Zielgruppe (Schüler/innen, die Auskunft über den Beruf ihrer Eltern geben).Halb-automatisiert bedeutet, dass nach wie vor eine Coderin/ein Coder die Schülerantworten entschlüs-selt und diese nicht vollständig und allein auf Grund der angegebenen Berufsbezeichnung codiert werden. Dieser Zwischenschritt ist notwendig, um der hierarchischen Struktur der ISCO bzw. dem Skill-Konzept gerecht zu werden. Z. B. wird dies beim Berufsbild „Lehrer/in“ sichtbar, wo zwischen „Lehrer/in des Primarbereichs“ und „Lehrer/in des Sekundarsbereichs“ unterschieden wird. Eine alleinige Zuordnung über Berufsbenennungen (z. B. „Lehrer/in“) würde der Logik der ISCO widersprechen, da das Skill-Konzept auf komplexen Berufsbildern aufbaut (Hoffmeyer-Zlotnik et al., 2004). Zur Identifikation der Schlüsselwörter sind daher nach wie vor Kenntnisse über die hierarchische Struktur des Kategoriensystems und das Skill-Konzept der ISCO sowie die Anwendung der spezifischen Codierregeln notwendig.Anstatt jedoch bisher direkt einen Code zu vergeben, identifizieren die Coder/innen aus der Schülerantwort Schlüsselwörter, die anschließend automatisch den korrespondierenden Code zugespielt bekommen. Der Vorteil dieser Vorgehensweise liegt zum einen in der Vereinfachung und Zeitersparnis, die dadurch ent-stehen, dass die Coder/innen nicht mehr im Manual nach einem Code suchen müssen. Zum anderen ist gewährleistet, dass für ein und dieselben Schlüsselwörter immer der gleiche Code vergeben wird. Im Folgenden wird die Entwicklung der Datenbank und die Vorgehensweise bei der Vercodung bei PISA 2006 näher beschrieben.2.3.1 Entwicklung der nationalen PISA-ISCO-DatenbankIm Rahmen des Feldtests 2005 wurde für die Berufsklassifizierung in PISA eine Datenbank aufgebaut, die eine halb-automatisierte Vercodung ermöglicht3. Der Einsatz der Datenbank wurde im Feldtest er-probt, und die Inhalte anschließend überarbeitet und ergänzt. Ebenso wurde die Einschulung angepasst.Die Datenbank basiert auf der Ö-ISCO, enthält die Ergänzungen des internationalen PISA-Zentrums


(Ganzeboom & Treiman, 1996) und bezieht sich darüber hinaus auf Daten der ISCO-Codierung in PISA 2000 und 2003 sowie im Feldtest 2005. Die Datenbank ist so aufgebaut, dass die vier Ebenen der ISCO repräsentiert werden, indem je nach Spezifikation des Indexeintrags der korrespondierende Code einge-spielt wird. Insgesamt besteht die ISCO-Datenbank für PISA 2006 aus 2079 Einträgen. Korrespondierend zur Datenbank gibt es ein ISCO-Manual, welches alle Indexeinträge enthält und den Coderinnen und Codern als Grundlage bzw. Nachschlagewerk für die Codierung dient.

2.3.2 Funktionsweise und Vorgehen bei der datenbankbasierten VercodungDie ISCO-Datenbank ist in Excel angelegt und wird auch hier verwaltet. Die Daten können nach Code oder nach Berufsbezeichnung sortiert werden, wodurch die Datenbank einfach überprüft und bearbei-tet werden kann. Enthalten sind alle in PISA vorgesehenen ISCO-Codes mit den korrespondierenden Berufsbezeichnungen, wobei für jeden Code eine bis mehrere Berufsbezeichnung/en enthalten sind. Dies ergibt sich aus der Differenzierung, die auf Grund der Daten von vercodeten Schülerantworten aus vor-

Abbildung IX.5: Datenbankbasierte Berufsklassifikation in PISA 2006 (Excel-File)

Beruf Mutter Beschreibung Beruf Mutter Text_Coder/in ISCO-Code

Buchhalterin Büroarbeiten / Buchhaltung Buchhalterin 3433

BuchhälterinMit dem Computer arbeiten. Sie muss Sachen buchen Buchhalterin 3433

Buffetkraft bereitet essen für eine Firma vor Buffethilfe 9132

Dipl. Pädagogin Volkschule Unterrichten Lehrerin VS 2331

Diplom Krankenschwesterbetreut kranke Menschen im Krankenhaus Krankenschwester 3231

Dolmetscherin Übersetzungen im Gericht Dolmetscherin 2444

Dr. med. Ärztin für HNOin einer Praxis arbeiten , Ihr gehört diese Ärztin 2221

Drogistin betreut die Kunden Drogistin 5220

Einzelhandelskauffrau Meine Mutter verkauft Schuhe Verkäuferin 5220

Einzelhandelskauffrau Regale aufräumen, Kunden helfen Verkäuferin 5220

Einzelhandelskauffrau An der Kassa arbeiten (BIPA) Verkäuferin 5220

Friseur Haare schneiden Frisörin 5141

Friseurin Sie macht anderen Leuten die Haare Frisörin 5141

Friseurin Sie schneidet und stailt Haare Frisörin 5141

HauptschullehrerinSie unterrichtet an einer Hauptschule. Lehrerin HS 2321

Hauptschullehrerin in einer Hauptschule unterrichten Lehrerin HS 2321

Hausbesorger Stiegen waschen Hausmeisterin 9141

Hausfrau Kochen, putzen, Waschen etc. Hausfrau 9501

Die Schülerantworten werden vom Dateneingabepersonal wortwörtlich abgeschrieben

Die ISCO-Coder/innen identifizieren die funktion-alen und qualifizierenden Wörter und geben diese ein

Der ISCO-Code wird automatisch eingespielt

qualifizierendes Wortfunktionales Wort


hergehenden PISA-Erhebungen und der Beschreibungen im ISCO-Manual vorgenommen wird. Z. B. erhalten sowohl die Bezeichnungen „Chirurg“, „praktischer Arzt“ oder „Notarzt“ den Code 2221 der Berufsgattung „Ärzte“.Für die Dateneingabe erhielten die ISCO-Coder/innen ein vorbereitetes Excel-File, in dem je ein Tabellenblatt mit Berufsbezeichnungen und die Berufsbeschreibungen der Mutter, des Vaters und dem Beruf der Schüler/innen mit 30 Jahren enthalten sind – alphabetisch sortiert nach der Berufsbezeichnung. Die ISCO-Datenbank wurde in einem weiteren Tabellenblatt eingefügt. Die einzelnen Files wurden nach Stratum-, Schul- und Schüler-ID identifiziert.Aufgabe der Coder/innen war es nun, in der Spalte „Text_Coder/in“ das identifizierte funktionale Wort (bzw. die identifizierten funktionalen und qualifizierenden Wörter) einzugeben. Der korrespondierende ISCO-Code wurde dann automatisch dazugespielt. Zur Veranschaulichung ist in Abbildung IX.5 ein Ausschnitt eines Excel-Files zur Berufsvercodung in PISA 2006 dargestellt.Die Zuteilung der Files zu Coderinnen und Codern erfolgte in drei Etappen, die sich nach der Fragebogenform richteten (A, B, C). In Absprache mit den Coderinnen und Codern wurde vereinbart, dass jede/r pro Fragebogenform den annähernd gleichen alphabetischen Abschnitt zugeteilt bekommt. Dies hatte den Vorteil, dass die Coder/innen viele gleiche Berufe zu vercoden hatten, wodurch die Identifikation der Schlüsselwörter erleichtert wurde und die Coder/innen schneller voran kamen.Während der Codierphase wurde die Datenbank bei Bedarf von der Supervisorin erweitert und mit Hilfe verschiedener Kontrollfunktionen (u. a. in Access) laufend überprüft. Die Ergänzungen wurden jeweils mit den neuen Files an die Coder/innen gesendet.Jedes eingegangene File wurde von der Supervisorin vollständig kontrolliert. Jeder Eintrag, der von einer Coderin/einem Coder markiert wurde oder von der Supervisorin geändert wurde, wurde an die Coderin/den Coder rückgemeldet und bei Unklarheit mit der Supervisorin diskutiert.

2.4 Einschulung der ISCO-Coder/innen

In Anlehnung an die Empfehlungen des internationalen Zentrums wurden sechs Personen für die ISCO-Codierung ausgewählt und eingeschult. Zur Einschulung zählte neben dem gezielten Training vor dem Haupttest auch die ISCO-Codierung im Feldtest. Daher wurde bei der Auswahl der Coder/innen darauf geachtet, dass diese sowohl am Feld- als auch am Haupttest teilnahmen. Zudem wurden gezielt Personen angesprochen, die bereits in früheren PISA-Erhebungen als ISCO-Coder/in tätig waren.Während der Feldtest überwiegend der Erprobung der Prozeduren der datenbankbasierten Vercodung diente, lag der Schwerpunkt der Einschulung im Haupttest auf dem gezielten Training der Anwendung der ISCO und der datenbankbasierten Vercodung.Das Training für den Haupttest beinhaltete eine vierstündige Einschulung sowie das Codieren von Datensätzen zu Übungszwecken mit anschließender individueller Besprechung. Die Coder/innen berei-teten sich anhand von Kurzinformationen über die Konzeption sowie Beschreibungen und Erläuterungen der Ö-ISCO (Statistik Austria) auf die Einschulung vor. Die Schulung selbst bestand aus folgenden Bereichen:1. Einführung in das Kategoriensystem ISCO Schwerpunkt der Einführung stellte die Erläuterung des Skill-Konzepts und der hierarchischen Glie-

derung des Kategoriensystems dar sowie die Besprechung der Besonderheiten und Prioritätenregeln. Weiters wurden die speziellen Codes zur näheren Beschreibung der Restkategorien, die speziell in PISA eingesetzt werden (z. B. Hausfrau/Hausmann, Schüler/in, Student/in, Arbeitslos, „Ich weiß nicht“), behandelt. Ein weiterer zentraler Aspekt der Einführung war es, die Bedeutung der Hinter-grundvariable „Beruf der Eltern“ für die Berechnung des sozioökonomischen Status darzustellen und damit die Wichtigkeit der exakten Berufscodierung zu unterstreichen.

2. Beschreibung der datenbankbasierten VercodungIm zweiten Teil der Schulung wurde der Aufbau der Datenbank und die Funktionsweise der daten-bankbasierten Vercodung behandelt. Die Coder/innen wurden instruiert, wie die funktionalen und


qualifizierenden Wörter aus den Schülerantworten zu identifizieren sind.3. Besprechung des Manuals

Bei der Durchbesprechung des Manuals, welches eine vollständige Liste mit allen Berufsbezeich-nungen, die in der Datenbank enthalten sind, darstellt, wurde auf Verständlichkeit und Klarheit der Kategorien und Berufsbezeichnungen für alle Coder/innen geachtet. Die Besonderheiten und Priori-tätenregeln wurden wiederholt sowie anhand der Indexeinträge konkretisiert und veranschaulicht.

4. ÜbungsphaseBei der anschließenden Übungsphase erhielten die Coder/innen zwei Arbeitsblätter mit je 60 Schü-lerantworten zum Beruf der Mutter und des Vaters. Aufgabenstellung war es, die funktionalen und qualifizierenden Wörter zu identifizieren und einzutragen. Die ersten fünf Einträge je Arbeitsblatt wurden zur Sicherung der Vorgehensweise gemeinsam behandelt, dann arbeiteten die Coder/innen selbstständig weiter. Nach Fertigstellung der Übung wurden alle Einträge kontrolliert und im Ple-num besprochen.

5. Organisation der Codierung Abschließend wurden die Coder/innen über den Umgang mit den Excel-Files informiert (Sortieren,

Speichern, Einspielen der Codes). Die Coder/innen wurden angehalten, schwer zu klassifizierende Schülerantworten zu markieren, um die Datenkontrolle und die damit verbundene Rückmeldung an die Coder/innen gezielt gestalten zu können.

Vercoden von Datensätzen zu ÜbungszweckenNach der Einschulung erhielten die ISCO-Coder/innen einen Datensatz, der innerhalb einer Woche codiert und an die Supervisorin gesendet werden musste. Der Datensatz enthielt Schülerangaben aus dem Feldtest 2005 und dem Haupttest 2003 und beinhaltete sowohl eindeutige Schülerantworten als auch Einträge, welche die Anwendung der Prioritätenregeln verlangen. Insgesamt wurden von den Coderinnen und Codern je 105 Schülerantworten zum Beruf der Mutter und 112 Antworten zum Beruf des Vaters codiert. Die insgesamt 217 Datensätze wurden auch von der Supervisorin klassifiziert, um die Übereinstimmung mit den Coderinnen und Codern zu überprüfen. Dabei wurden Nicht-Übereinstimmungen im File mar-kiert und mit Anmerkungen versehen, die anschließend mit jeder Coderin/jedem Coder einzeln durchbe-sprochen wurden. Dieser Schritt diente sowohl der Übereinstimmungsoptimierung als auch der Festigung der Vorgehensweise bei der Identifikation der Schlüsselwörter.Nach der Besprechung erhielten die Coder/innen die Files zur Klassifizierung der Schülerantworten zum Beruf der Eltern und Berufsvorstellungen der Schüler/innen.

2.5 Vercodungsleistung und Analyse der RestkategorienIn PISA 2006 wurden insgesamt 15 261 Datensätze mit ISCO klassifiziert. Im Schnitt wurden 145 Daten pro Stunde codiert, was einen durchschnittlichen Zeitaufwand von rund 17,5 Stunden pro Coder/in ergibt.Im Folgenden werden jene Schülerantworten, die in PISA durch die Verwendung von Restkategorien klassifiziert werden, dargestellt. Obwohl diese Kategorien bei der Transformation in Werte des sozioöko-nomischen Status nicht berücksichtigt werden (da für diese Codes keine Status-Werte vorgesehen sind), ist es wichtig diese zu charakterisieren, bzw. die Verteilung der nichtklassifizierbaren Antworten über die einzelnen Restkategorien zu betrachten. Die Restkategorien, die vom internationalen Zentrum in Form von Missings und Zusatzcodes eingeführt wurden, werden durch folgende Werte repräsentiert:• Der Missing-Code (9999) wird bei absolut leerem Antwortfeld vergeben.• Der Invalid-Code (9998) wird bei ungültigen Antworten verwendet. • Der Not-applicable-Code (9997) wird vergeben, falls eine Schülerin/ein Schüler gar keine Möglich-

keit hat, die Frage entsprechend zu beantworten, z. B. wenn ein Druckfehler die Frage unleserlich macht oder ein Elternteil verstorben ist.

• Der Zusatzcode 9501 steht für Hausfrau/Hausmann. • Der Zusatzcode 9502 steht für Schüler/in oder Student/in.


• Der Zusatzcode 9503 steht für Pensionist/in, arbeitslos oder Sozialhilfeempfänger/in. • Der Zusatzcode 9504 wird vergeben, wenn eine Schülerin/ein Schüler „ich weiß es nicht“ oder ähn-

liches angegeben hat.• Der Zusatzcode 9505 steht für vage bzw. unklare Formulierungen.In Abbildung IX.6 sind die jeweiligen Anteile an klassifizierbaren und nicht klassifizierbaren Schülerantworten zum Beruf der Eltern dargestellt (N=4 920) sowie die Verteilung der nicht klassifizier-baren Antworten auf die Restkategorien. Für die Darstellung in der Abbildung wurden die Restkategorien 9501 (Hausfrau/Hausmann), 9502 (Schüler/in, Student/in) und 9503 (Pensionist/in, arbeitslos, Sozial-hilfeempfänger/in) zu einer Kategorie zusammengefasst, ebenso die Codes 9997 (not applicable), 9998 (ungültig) und 9999 (Missing).2.5.1 Beruf der Eltern Bei den Schülerantworten zum Beruf des Vaters können 88,7 % klassifiziert werden. Von den 11,3 % Restkategorien können rund zwei Drittel auf Grund vager Bezeichnungen oder Beschreibungen nicht zugeordnet werden. In 3,6 % der Fälle liegen keine oder ungültige Angaben vor. Die Restkategorien „ich weiß nicht“ sowie Hausmann, Schüler, Pensionist/arbeitslos/etc. kommen nur marginal vor.Beim Beruf der Mutter können 85,3 % klassifiziert werden. Die Kategorie „Hausfrau“ macht etwas mehr als die Hälfte der Restkategorien aus (7,8 %; der Anteil an den Kategorien Schülerin, Pensionistin/arbeitslos/

Schülerangaben zum Beruf der Mutter (N=4920)

Schülerangaben zum Beruf des Vaters (N=4920)

0.5 %0.2 %

11.3 %88.7 %7.0 %

3.6 %

Hausmann, Schüler, Pensionist/arbeitslos/Sozialhilfeempfänger“ich weiß nicht”vagenot applicable, ungültig, Missing

klassifizierte BerufeRestkategorien

Restkategorien:

Hausfrau, Schülerin, Pensionistin/arbeitslos/Sozialhilfeempfängerin“ich weiß nicht”vagenot applicable, ungültig, Missing


1.9 %

4.5 %

8.2 %

14.7 %85.3 %

Restkategorien1:

1 Werte < 0.2 % nicht eingetragen

Abbildung IX.6: Anteile klassifizierbarer und nicht klassifizierbarer Schülerantworten zum Beruf der Eltern in PISA 2006


etc. beträgt 0,4 %). Der Anteil an Antworten, die auf Grund vager Bezeichnungen oder Beschreibungen nicht klassifiziert werden können, ist etwas geringer als beim Beruf des Vaters und beträgt 4,5 %. Ebenso ist der Anteil an ungültigen oder fehlenden Antworten beim Beruf der Mutter fast um die Hälfte geringer als beim Beruf des Vaters (1,9 %).Insgesamt ist der Anteil an klassifizierten Berufen sowohl bei den Vätern als auch bei den Müttern mit über 85 % zufrieden stellend hoch. Vergleicht man die Anteile an klassifizierbaren Schülerantworten mit jenen aus PISA 2003, zeigt sich ein sehr ähnliches Ergebnis (Wallner-Paschon, 2004).2.5.2 Berufliche Pläne der Schüler/innenAbbildung IX.7 zeigt die jeweiligen Anteile an klassifizierbaren und nicht klassifizierbaren Antworten auf die Frage, welchen Beruf die Schüler/innen meinen, dass sie mit 30 Jahren haben werden. Erfahrungsgemäß ist der Anteil an nicht klassifizierbaren Antworten bei dieser Frage sehr hoch (33,1 %). Zum einen ist dies auf die Tatsache zurückzuführen, dass viele Schüler/innen (noch) nicht wissen, welchen Beruf sie mit 30 Jahren haben werden, wobei dieser Anteil jedoch nicht einmal ein Viertel der Restkategorien aus-macht (7,8 %). Bedeutend höher ist der Anteil an ungültigen und fehlenden Antworten (17,6 %). Hinzu kommen noch die vagen Antworten (6,9 %), die u. a. dadurch zu Stande kommen, dass die Schüler/innen nur nach dem Beruf (ohne Beschreibung) gefragt werden. Die Restkategorie „Hausfrau, Schüler/in, Pensionistin/arbeitslos/etc., ist mit 0,8 % sehr gering und wird fast zur Gänze von der Kategorie „Hausfrau“ eingenommen (0,7 %), wobei dies nur von Mädchen angegeben wurde.Im Vergleich zu PISA 2003 (N = 4 588) ist der Anteil an Restkategorien bei den Schülerangaben in PISA 2006 etwas höher. Auch die Verteilung innerhalb der Restkategorien stellt sich etwas anders dar. Während die Anteile an den Kategorien „ich weiß nicht“ und „vage“ um rund 4 %-Punkte niedriger sind als in PISA 2003, ist der Anteil an fehlenden und ungültigen Antworten in PISA 2006 um rund 14 Prozentpunkte höher (insgesamt 17,6 %).

3. Qualitätssicherung bei der ISCO-CodierungDer sozioökonomische Status der Familie, aus der die Schüler/innen stammen, stellt eine zentrale Erklärungsvariable für Schülerleistungen dar. Indem die ISCO-Codes die Basis für die Berechnung der sozioökonomischen Statuswerte bilden, wird bei der ISCO-Codierung großer Wert auf Qualität gelegt, zu deren Sicherung umfassende Maßnahmen getroffen werden. Diese erstrecken sich über alle Prozesse der ISCO-Codierung: die Entwicklung der ISCO-Datenbank, die Auswahl und Schulung der Coder/innen

Abbildung IX.7: Anteile klassifizierbarer und nicht klassifizierbarer Schülerangaben in PISA 2006 zum Beruf mit 30 Jahren

Schülerangaben zum Beruf mit 30 Jahren (N=4920)

0.8 %

17.6 %

6.9 %

7.8 %

33.1 %66.9 %


Hausfrau, Schüler/in, Pensionist/in/arbeitslos/Sozialhilfeempfänger/in“ich weiß nicht”vagenot applicable, ungültig, Missing

Restkategorien:

�


inklusive der zur Verfügung gestellten Materialien, die Abwicklung der datenbankbasierten Vercodung und die Kontrollen auf nationaler Ebene als auch am internationalen Zentrum.Bei der Entwicklung der Datenbank wurden umfassende Informationen und Auskünfte von Expertinnen und Experten eingeholt (ZUMA, Statistik Austria, internationales PISA Zentrum, einschlägige Literatur). Die Datenbank enthält neben den für PISA relevanten Einträgen aus der Ö-ISCO sowohl die Ergänzungen des internationalen Zentrums (Ganzeboom & Treiman, 1996) als auch kontrollierte Einträge aus frü-heren PISA-Erhebungen, wodurch eine große Vielfalt an Berufsbezeichnungen (bzw. Schlüsselwörtern) repräsentiert wird. Indem der korrespondierende Code zu einem Schlüsselwort über die datenbank-basierte Vercodung automatisch eingespielt wird, führt dies zu einer verbesserten Übereinstimmung. Fehlerquellen werden vermieden, da jedes Schlüsselwort immer den gleichen Code zugewiesen bekommt. Eine typische Fehlerquelle ist z. B., dass Coder/innen die Bezeichnung „Kindergärtnerin“ sowohl mit Code 5131 („Kinderbetreuer“), als auch mit Code 3320 („Lehrkräfte ohne akademische Ausbildung des Vorschulbereichs“) codieren, wobei nur Letzterer korrekt ist. Dass solche Fehlerquellen, die zu einer Vergabe von unterschiedlichen Codes für die gleiche Berufsbezeichnung führen, relativ häufig sind, zeigt eine Reliabilitätsstudie zur ISCO-Codierung in PISA 2003 (Wallner-Paschon, 2004). Die Übereinstimmung der Coder/innen stellt jedoch auch bei der Entschlüsselung der Schülerantworten im Rahmen der datenbankbasierten Vercodung ein wichtiges Kriterium für die Qualität der ISCO-Codierung dar. Auf Basis der ISCO-Codierung in PISA 2003 regt Wallner-Paschon (2004) Vorschläge zur Verbesserung der Auswertungsobjektivität an, welche in PISA 2006 wie folgt umgesetzt wurden:• Die Coder/innen setzten sich durch die gezielte Vorbereitung und Einschulung eingehend mit den

Codier- und Prioritätenregeln auseinander. Die Anwendung der Regeln wurde anhand konkreter Datensätze eingeübt und gefestigt. Bei der Zusammenstellung der Übungsdatensätze wurde auf eine ausgewogene Repräsentation möglicher Schülerantworten geachtet (eindeutige, zweideutige und nicht interpretierbare Schülerantworten).

• Die Identifikation der Schlüsselwörter aus nicht eindeutigen Schülerangaben wurde während der Einschulung ausführlich besprochen und eingeübt. Die diesbezüglichen Regeln sind ausformuliert und im Schulungs-Handout aufgelistet, wo sie jederzeit von den Coderinnen und Codern eingesehen werden konnten. Bei den individuellen Besprechungsterminen wurde besonders auf die Übereinstim-mung bei der Identifikation der Schlüsselwörter eingegangen.

• Die Durchbesprechung des Manuals bei der Einschulung diente insbesondere dazu, den hierarchi-schen Aufbau der ISCO sowie die Besonderheiten des Kategoriensystems deutlich und für alle ver-ständlich zu machen. Unsicherheiten im Umgang mit dem Manual konnten geklärt und behoben werden.

• Für die Entwicklung der ISCO-Datenbank wurden externe Expertinnen und Experten im Bereich ISCO-Codierung zu Rate gezogen.

Ein ebenso wichtiger Aspekt der Qualitätssicherung bei der ISCO-Codierung ist der Einsatz von Coderinnen und Codern, die bereits Erfahrung mit der ISCO-Codierung haben. Weiters wird die Qualität der Daten durch die vollständige Kontrolle durch die Supervisorin gesichert. Dies ist vor allem durch die Zeitersparnis bei der Vercodung möglich, welche neben der halb-automatisierten Vercodung unter anderem auf die annähernd gleiche alphabetische Zuteilung der Files zu Coderinnen und Codern zurückzuführen ist, was sich wiederum positiv auf die Übereinstimmung auswirkt.

BibliographieElias P. & Birch M. (1991). Harmonisierung von Berufsklassifizierungen. ISCO 88 (COM). Vorgeschlagene Fassung der Internatio-

nalen Standardklassifikation der Berufe (1988) für nationale Vergleiche der in der Europäischen Gemeinschaft in Volkszählun-gen und Erhebungen ermittelten Informationen. Universität Warwick. Institut für Beschäftigungsforschung. Verfügbar unter: http://www.warwick.ac.uk/ier/isco/germ/german1.html [Datum des Zugriffs: 23.02.07]

Ganzeboom H. B. G. de Graaf, P. & Treiman, D. J. (1992). A Standard International Socio-Economic Index of Occupational Status. Social Science Research, 21, 1-56.


Ganzeboom H. B. G. & Treiman D. J. (1996). Internationally comparable Measures of Occupational Status for the 1988 Internati-onal Standard Classification of Occupations. Social Science Research 25, 201-239. [WWW Dokument]. Verfügbar unter: http://home.fsw.vu.nl/HBG.Ganzeboom/Pdf/Ganzeboom_Treiman_%5bSSR1996%5d.pdf [Datum des Zugriffs: 23.02.2007]

Geis, A. & Hoffmeyer-Zlotnik, J. H. P. (2000). Stand der Berufsvercodung. ZUMA-Nachrichten 47, Jg. 24, S. 103–128Hartmann J. & Schütz G. (2002). Die Klassifizierung der Berufe und der Wirtschaftszweige im Sozio-ökonomischen Panel. Neuver-

codung der Daten 1984 – 2001. München: Infratest Sozialforschung.Hoffmeyer-Zlotnik, J. H. P., Hess, D. & Geis, A. (2004). Computerunterstützte Vercodung der International standard Classification

of Occupations (ISCO-88). ZUMA-Nachrichten 55, Jg. 28, S. 29–52ILO (1990). International Standard Classification of Occupation: ISCO-88. Geneva: International Labour Office.ILO (2001). Coding Occupation and Industry. (STAT Working Paper). [WWW Dokument]. Verfügbar unter: http://www.ilo.org/

public/english/bureau/stat/download/wpoccind.pdf [Datum des Zugriffs: 28.02.2007]Lay W. (1997). Die Vercodung der Angaben zur beruflichen Tätigkeiten im Alters-Survey. Forschungsgruppe Altern und Lebenslauf

(FALL), Forschungsbericht 60. Berlin: Freie Universität.Reiter, C. (2001). Marking, Kodierung und Datenmanagement. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Me-

thoden und Stichproben des österreichischen PISA Projekts (S. 211–257). Innsbruck: StudienVerlag.Statistik Austria. (1992). Ö-ISCO [WWW Dokument]. Verfügbar unter: http://www.statistik.at/verzeichnis/beruf.shtml [Datum

des Zugriffs: 10.11.2006]Wallner-Paschon, C. (2004). Berufsklassifizierung. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von

Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstru-mente/index.htm [Datum des Zugriffs: 08.02.2007]

1 Dieser Abschnitt wurde zum Teil aus Wallner-Paschon, 2004 übernommen.2 An dieser Stelle sei Herrn Alfons Geis M. A. von ZUMA sowie Frau Dr. Margaretha Zeller und Frau Mag. Adelheid Bauer von Statistik Austria herzlicher Dank für die kompetente und ausführliche Beratung hinsichtlich Automatvercodung und Klassifikation spezifischer problematischer Codes ausgesprochen.3 Die Autorin dankt Mag. Martin Leitner an dieser Stelle sehr herzlich für die Beratung und Unterstützung beim Einrichten der ISCO-Datenbank.

XMartin Pointinger

DATENEINGABE

X

1. Der zeitliche und organisatorische Ablauf der Dateneingabe 1.1 Der zeitliche Ablauf der Dateneingabe beim Feldtest 20051.2 Der zeitliche Ablauf der Dateneingabe beim Haupttest 20061.3 Die Organisation der Dateneingabe beim Haupttest 2006

2. Software KeyQuest©

3. Dateneingabe nach Instrumenten3.1 Schul- und Schülerlisten 3.2 PISA-Schülerlisten3.3 Schulfragebögen3.4 Testhefte3.5 Multiple Coding Sheets3.6 Schülerfragebögen3.7 Testsitzungsprotokolle

4. Qualitätssicherung bei der Dateneingabe4.1 Auswahl und Schulung des Dateneingabe-Personals4.2 Maßnahmen während der Dateneingabe4.3 Maßnahmen nach der Dateneingabe

5. Data Submission – Übermittlung der Daten an das internationale Zentrum

Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Reiter, 2001) und PISA 2003 (Pointinger, 2004). Der Autor dieses Kapitels dankt Claudia Schreiner (geb. Reiter) für die Bereitstellung des Textes.

Seite 168 X. Dateneingabe

Im Rahmen der Datenerhebung für PISA 2006 wurden in Österreich beim Feldtest etwa 1440 Schüler/in-nen aus 51 Schulen, und beim Haupttest 2006 beinahe 5000 Schüler/innen aus 200 Schulen getestet. Beim Feldtest nahmen im Rahmen des internationalen Zusatzprojekts CBAS („Computer-based Assessment of Science“; Details dazu vgl. Kapitel XI) in weiteren 50 Schulen knapp mehr als 500 Schüler/innen teil. Zusätzlich nahmen beim Haupttest, wie schon bei PISA 2000 und 2003, die Waldorfschulen mit einer Vollerhebung der 15-/16-Jährigen teil. Insgesamt wurden im Rahmen von PISA 2006 Daten von mehr als 7000 Schülerinnen und Schülern erhoben.Mit Ausnahme der Daten, die im Projekt CBAS mittels Laptop erhoben wurden, und somit direkt in elek-tronischer Form vorlagen, wurden die Daten aller Schüler/innen im traditionellen Paper-Pencil-Verfahren (d.h. mit gedruckten Testheften und Fragebögen) erhoben. Dieser Abschnitt beschreibt, wie die in schrift-licher Form vorliegenden Antworten der Schüler/innen elektronisch erfasst werden und welche Prozesse notwendig sind um am Ende das gewünschte Ergebnis – eine internationale Datenbasis, mit den Daten aller an PISA teilnehmenden Länder – zu erreichen.Wie dieser Prozess der Dateneingabe zeitlich verlief, wie er organisiert war, wie die Eingabe der Daten konkret erfolgte, welcher Aufwand der Prozess der Dateneingabe war und wie die eingegebenen Daten kontrolliert, gesäubert und anschließend an das internationale Zentrum zur weiteren Verarbeitung über-mittelt wurden und was dort anschließend mit den Daten passiert, das sind Themen, die in diesem Kapitel behandelt werden.Da der Feldtest im Hinblick auf die Dateneingabe und -verarbeitung hauptsächlich der Erprobung der Prozeduren dient, beschränken sich die Darstellungen in diesem Kapitel meist auf den Haupttest.

1. Der zeitliche und organisatorische Ablauf der Dateneingabe In diesem Abschnitt wird jeweils getrennt für den Feldtest 2005 und den Haupttest 2006 ein kurzer Überblick über den chronologischen Verlauf der Dateneingabe gegeben. Anschließend werden die or-ganisatorischen Rahmenbedingungen, die für die Eingabe der Daten beim Haupttest 2006 notwendig waren, beschrieben.

1.1 Der zeitliche Ablauf der Dateneingabe beim Feldtest 2005

Das Testfenster für die Datenerhebung beim Feldtest war für Österreich von 18. April bis 14. Mai 2005 festgelegt. Die letzte Testsitzung fand am 13. Mai statt. Am 15. Mai wurde – nach dem Transport der Materialien an das nationale Zentrum – die Rücklaufkontrolle durchgeführt, und im Anschluss daran mit der Dateneingabe begonnen. Für die Eingabe der Daten der insgesamt 1440 getesteten Schüler/innen wurden sechs Personen beschäftigt. Anfang Juli konnte die Dateneingabe abgeschlossen werden. Es folgte die Kontrolle und Säuberung der Daten durch das nationale Zentrum. Dieser Prozess wird in Abschnitt 4.3 dieses Kapitels beschrieben. Mitte Juli wurden die österreichischen Daten des Feldtests 2005 schließ-lich an das internationale Zentrum übermittelt. Anschließend erfolgte die Kontrolle, Aufbereitung und Rekodierung der Daten durch das internationale Zentrum. Dieser Prozess konnte für die österreichischen Feldtestdaten Ende September 2005 abgeschlossen werden.

1.2 Der zeitliche Ablauf der Dateneingabe beim Haupttest 2006

Für den Haupttest konnten die Testsitzungen im Zeitraum vom 20. April bis zum 31. Mai 2006 stattfinden. Bis Ende Mai wurden die Testmaterialien vollständig an das nationale Zentrum geliefert. Anschließend wurde die Rücklaufkontrolle der Materialien durchgeführt. Anfang Juni konnte mit der Eingabe der Daten aus den Schülerfragebögen begonnen werden. Mit der Eingabe der Daten aus den Testheften konnte, da diese vorher von den so genannten Codern (siehe Kapitel VIII) bearbeitet werden muss-ten, erst im Juli begonnen werden. Zusätzlich wurden parallel dazu die Daten aus den Schulfragebögen, den Testsitzungsprotokollen der Testadministratoren, den PISA-Schülerlisten und den Multiple Coding Sheets eingegeben. Für die Dateneingabe waren beim Haupttest 6 Personen beschäftigt, die speziell für diese Aufgabe geschult wurden.

Seite 169X. Dateneingabe

Die Eingabe der Daten konnte Ende Juli abgeschlossen werden. Anschließend wurde ein gründlicher und aufwändiger File-Cleaning-Prozess durchgeführt, der in Abschnitt 4.3 idK. genauer beschrieben wird. Ende August wurden die Daten schließlich an das internationale Zentrum in Australien übermittelt. Dort wurde das internationale File Cleaning (vgl. Abschnitt 4 idK.) durchgeführt. Dieser Prozess der erneuten Prüfung der Daten bzw. der Rekodierung in die einheitliche internationale Struktur der Daten konnte Ende September abgeschlossen werden.

1.3 Die Organisation der Dateneingabe beim Haupttest 2006

Sämtliche Tätigkeiten im Zusammenhang mit der Dateneingabe wurden im Haus (Universität Salzburg) durchgeführt. Insgesamt standen für die Dateneingabe 11 Computerarbeitsplätze zur Verfügung, die auch parallel zur Eingabe der Daten aus den IEA-Studien PIRLS und TIMSS genutzt wurden. Sämtliche PCs waren durch ein lokales Netzwerk verbunden, um eine zentrale Speicherung der Daten in eine ge-meinsame Datenbank der KeyQuest-Software (siehe folgenden Abschnitt) zu ermöglichen. Die externen Mitarbeiter/innen, die für diese Tätigkeit beschäftigt wurden, erhielten dafür eine spezielle Schulung und wurden während der Dateneingabe-Tätigkeit von einem Mitarbeiter des nationalen Zentrums betreut.

2. Software KeyQuest©Zur Eingabe der Daten wird für PISA die Software KeyQuest verwendet. Diese Software wird den an PISA teilnehmenden Staaten vom internationalen Zentrum zur Verfügung gestellt. KeyQuest ist eine Microsoft-Access-Anwendung mit einer grafischen Benutzeroberfläche. Das Programm wird im Rahmen von PISA nicht nur für die Dateneingabe und -verwaltung verwendet, sondern es wird mit dieser Software auch die Auswahl der Schüler/innen innerhalb der teilnehmenden Schulen (Schülersampling) durchge-führt. Die Verwendung von KeyQuest zur Durchführung der Schülerauswahl und zur Übermittlung der Daten an das internationale Zentrum ist den Teilnehmerstaaten verpflichtend vorgeschrieben. Eine detaillierte Beschreibung der einzelnen Funktionen der Software wird im österreichischen Technischen Bericht zu PISA 2003 gegeben (Pointinger, 2003, Kapitel X, Abschnitt 2).

3. Dateneingabe nach Instrumenten

3.1 Schul- und Schülerlisten

Als Datengrundlage – u. a. für die Auswahl der Schüler/innen innerhalb einer Schule – werden für jede Schule im Instrument „Liste der Schulen“ jeweils Daten zur Schule erfasst. Auf der Liste der Schüler/in-nen werden für diese Schulen jeweils Informationen zu den Schülerinnen und Schülern gespeichert.3.1.1 Die Liste der Schulen Im KeyQuest-Instrument zur Erfassung der Schuldaten werden für jede Schule neben der Bezeichnung und einer Identifikationsnummer u. a. Informationen über die Stichprobengröße und die Gesamtanzahl der Schüler/innen des für PISA relevanten Geburtsjahrgangs (1989 im Feldtest 05; 1990 im Haupttest 06) gespeichert. Diese Daten sind für die Durchführung der Schülerauswahl erforderlich. Durch die Angabe der Stichprobengröße in der Liste der Schulen wird bestimmt, wie viele Schüler/innen von KeyQuest für die PISA-Schülerliste, d.h. zur Teilnahme an PISA, ausgewählt werden. Die Stichprobengröße ist bei PISA standardmäßig mit 35 Schüler/innen pro Schule festgelegt. Falls es an einer Schule weniger als 35 Schüler/innen des Jahrganges 1987 gibt, werden automatisch alle Schüler/innen für die Teilnahme an PISA ausgewählt.3.1.2 Die Liste der Schüler/innen Auf Basis der Schülerliste, die die Schulkoordinatorin/der Schulkoordinator (SK) jeder ausgewählten Schule dem nationalen Zentrum übermittelt, wird für jede Schule eine Liste der Schüler/innen erstellt und in das Programm KeyQuest importiert. Zusammen mit der Liste der Schulen bilden diese Angaben die Basisinformationen für die Auswahl der Schüler/innen innerhalb der Schulen.


3.2 PISA-SchülerlistenNachdem die Auswahl der Schüler/innen für eine Schule durchgeführt ist, kann mit KeyQuest für jede Schule die so genannte „PISA-Schülerliste“ erstellt werden. Diese Liste ist, wie in Kapitel VI dargestellt, ein wichtiges Dokument im Zusammenhang mit der Durchführung und Dokumentation der PISA-Testsitzungen. Durch die Eintragungen des Schulkoordinators auf dieser Liste, wird für jede Schülerin/jeden Schüler festgehalten, ob sonderpädagogischer Förderbedarf oder mangelnde Sprachkenntnisse bestehen, bzw. ob der/die Schüler/in deshalb, oder aus anderen Gründen, nicht an der Testsitzung teilnehmen kann. Als weitere wichtige Information wird am Tag der Testsitzung durch den jeweiligen Testadministrator für alle Schüler/innen die Teilnahme dokumentiert. Die auf der PISA-Schülerliste erfassten Informationen werden in Kapitel VI im Detail dargestellt. Nach den Testsitzungen werden die PISA-Schülerlisten jeweils gemeinsam mit den anderen Testmaterialien der Schulen zum nationalen Zentrum transportiert. Dort werden diese im Rahmen der Rücklaufkontrolle auf Vollständigkeit überprüft und die Eintragungen der Testadministratoren und Schulkoordinatoren elektronisch in KeyQuest erfasst.

3.3 Schulfragebögen

Die Schulleiter/innen der an PISA teilnehmenden Schulen werden jeweils durch einen Schulfragebogen zu Hintergrundinformationen der Schule befragt. Für den internationalen Teil des Schulfragebogens wird in KeyQuest vom internationalen Zentrum bereits ein Instrument angelegt, das lediglich bei nationalen Änderungen angepasst werden muss. Für die in Österreich durchgeführten nationalen Zusatzerhebungen müssen die jeweiligen Variablen und daraus erzeugten Eingabemasken vom nationalen Zentrum in KeyQuest erstellt werden.

3.4 Testhefte

Mit der Eingabe der Daten aus den Testheften kann erst begonnen werden, nachdem die sogenann-ten „Coder“ (Personen, die anhand von genau festgelegten Richtlinien die Bewertung der offenen Schülerantworten vornehmen; vgl. Kapitel VIII) die offenen Aufgaben bewertet haben. Für die Eingabe der Testheft-Daten in KeyQuest ist für jede der 14 unterschiedlichen Testheftformen bereits das entspre-chende Instrument vom internationalen Zentrum angelegt. Da die verschiedenen Testheftformen sehr unterschiedliche Aufgaben enthalten, ist es notwendig, dem Dateneingabe-Personal für jedes Instrument spezifische Anleitungen zu geben und auf die jeweiligen Besonderheiten hinzuweisen. Die Einschulung der Dateneingeber/innen und die Kontrolle der eingegebenen Daten wird im Detail in Abschnitt 4 idK. dargestellt.

3.5 Multiple Coding Sheets

Im Rahmen des Multiple Codings (vgl. Kapitel VIII), bei dem – zur Überprüfung der Beurteiler-Übereinstimmung – die gleichen Schülerantworten von vier Codern unabhängig voneinander beurteilt werden, tragen jeweils die ersten drei Kodierer ihre Bewertungen auf so genannte Multiple Coding Sheets ein, damit die einzelnen Bewertungen unabhängig voneinander erfolgen können. Für jeden Datensatz der Multiple Coding Sheets müssen neben den Bewertungs-Codes für die Schülerantworten Variablen zur Identifikation von Codierer und Schüler/in eingegeben werden.

3.6 Schülerfragebögen

Die Eingabe der Schülerfragebögen ist der umfangreichste und aufwändigste Teil des Dateneingabe-prozesses. Wie bereits in Kapitel IV dargestellt, gibt es in Österreich bei PISA 2006 drei verschiedene Fragebogenformen, die jeweils unterschiedliche nationale Zusatzerhebungen enthalten, und gleichmä-ßig über die Schüler/innen rotiert werden. Zusätzlich wird dazu in Österreich für Schüler/innen von Sonderschulen eine Kurzversion des Schülerfragebogens verwendet.


Da die Anzahl der Variablen für ein KeyQuest-Instrument beschränkt ist, müssen die Variablen der drei Fragebogenformen jeweils auf zwei KeyQuest-Instrumente aufgeteilt werden. Das erste Instrument für die Schülerfragebögen enthält jeweils den gesamten internationalen Teil. Der zweite Teil beinhal-tet bei allen drei Formen die internationalen Zusatzerhebungen „Schullaufbahn“ und „Informations- und Kommunikationstechnologien“ sowie die jeweils in den einzelnen Formen enthaltenen nationalen Zusatzerhebungen.

3.7 Testsitzungsprotokolle

Die PISA-Testleiter/innen haben die Aufgabe, für jede durchgeführte Testsitzung ein Testsitzungsprotokoll anzufertigen (vgl. Kapitel VI). Für die Erhebung der Daten der österreichischen PISA 2006-Stichprobe wurden insgesamt 246 Testsitzungen (200 erste Testsitzungen und 46 Nachtests) durchgeführt, für die jeweils ein Testsitzungsprotokoll angefertigt wurde. Zusätzlich dazu wurden im Rahmen der Waldorf-Vollerhebung zehn Testsitzungen durchgeführt, von denen ebenfalls Testsitzungsprotokolle angefertigt wurden. Insgesamt mussten also 256 Testsitzungsprotokolle in das entsprechende KeyQuest-Instrument eingegeben werden.

4. Qualitätssicherung bei der DateneingabeIm folgenden Abschnitt werden die wichtigsten Maßnahmen beschrieben, die vor, während und nach der Dateneingabe zur Qualitätssicherung durchgeführt werden. Chronologisch betrachtet beginnen diese Maßnahmen bei der Auswahl und Einschulung der Mitarbeiter/innen, und enden bei der Übermittlung der Daten an das internationale Zentrum bzw. beim daran anschließenden internationalen File Cleaning und der Aufbereitung der Daten für die internationale Datenbasis.

4.1 Auswahl und Schulung des Dateneingabe-Personals

Insgesamt wurden beim Haupttest für PISA 2006 sechs Personen für die Tätigkeit der Dateneingabe be-schäftigt. Da für die Tätigkeit der Dateneingabe weniger bestimmte formale Qualifikationen, als vielmehr Genauigkeit und Verlässlichkeit wichtig sind, wurden die Mitarbeiter/innen jeweils zu einem persönli-chen Gespräch eingeladen. Die ausgewählten Mitarbeiter/innen waren Studierende oder Personen mit abgeschlossenem Diplomstudium, von denen vier bereits bei früheren PISA-Erhebungen diese Tätigkeit durchgeführt hatten. Für die Einschulung der Mitarbeiter/innen wurde eine gemeinsame Schulung abgehalten. Am Ende der Einschulung bekamen die Mitarbeiter/innen die Möglichkeit, einige Fragebögen unter Aufsicht einzu-geben und bei Unklarheiten Fragen zu stellen. Ein Mitarbeiter des nationalen Zentrums stand darüber hinaus während der gesamten Dauer der Dateneingabe bei Fragen oder Problemen zur Verfügung.

4.2 Maßnahmen während der Dateneingabe

Während der Dateneingabe wird die Qualität der eingegebenen Daten zum einen durch Kontrollmechanismen des Programms KeyQuest, und zum anderen durch Kontrollen von Mitarbeiterinnen und Mitarbeitern des nationalen Zentrums überprüft. 4.2.1 Kontrollen durch KeyQuestKeyQuest führt bereits während der Dateneingabe automatisch eine Reihe von Kontrollen durch (vgl. Technischer Bericht zu PISA 2003; Kapitel X, Abschnitt 2). So werden Eingabefehler bestimmter Art im Vergleich zur Dateneingabe in andere Programme um ein Vielfaches minimiert. Diese von KeyQuest au-tomatisch durchgeführten Überprüfungen bei der Dateneingabe machen viele, sonst beim File Cleaning übliche Kontrollen weitgehend überflüssig und ersparen viel Arbeitsaufwand.4.2.2 Qualitätskontrollen durch Mitarbeiter/innenNeben der automatisch von KeyQuest durchgeführten Kontrolle der eingegebenen Daten werden, vor allem zu Beginn der Dateneingabe, von jedem Dateneingeber stichprobenartig mehrere Datensätze auf


Eingabefehler kontrolliert. Dies soll systematische Fehler, wie zum Beispiel die falsche Verwendung von speziellen Codes für fehlende oder ungültige Schülerantworten, verhindern. Eine weitere Maßnahme zur Qualitätssicherung während der Dateneingabe ist die laufende Einschulung der Mitarbeiter/innen in neue Instrumente. Dies ist notwendig, weil jedes Instrument bestimmte Besonderheiten aufweist, die bei der Dateneingabe zu beachten sind. Die Mitarbeiter/innen werden daher jeweils beim Beginn eines neuen Instruments individuell über diese Besonderheiten aufgeklärt.

4.3 Maßnahmen nach der Dateneingabe

Vor der Übermittlung der Daten an das internationale Zentrum müssen die nationalen Zentren eine Reihe von vorgeschriebenen Kontrollen mit KeyQuest durchführen. Darüber hinaus werden in Österreich zahlreiche weitere Kontrollen zur Säuberung der Daten durchgeführt, um eine hohe Qualität der Daten zu gewährleisten. 4.3.1 Kontrolle der Daten mit KeyQuestFür PISA 2006 wurde die Funktionalität von KeyQuest bezüglich der durchführbaren Kontrollen der Daten bedeutend erweitert. Die im Folgenden dargestellten, im Programm KeyQuest integrierten Kontrollen, müssen von allen teilnehmenden Ländern durchgeführt werden, bevor die Daten an das internationale Zentrum übermittelt werden. Die Kontrollen sind dabei in der Software KeyQuest nach der Art der geprüften Daten bzw. Instrumente in fünf Gruppen unterteilt:1) Tracking Instruments (Schul- und Schülerlisten, Testsitzungsprotokolle)2) Background Instruments (Schul- und Schülerfragebogen und deren Übereinstimmung mit Schul- und

Schülerlisten)3) Test Instruments (Testhefte und Übereinstimmung mit Schul- und Schülerlisten)4) Reliability Checks (Multiple Coding Sheets)5) Sampling Checks (Schulliste; Überprüfung der Angaben zur Schülerauswahl)Ad 1) Tracking InstrumentsBei den Kontrollen in diesem Bereich wird zum einen geprüft, ob die Angaben innerhalb der einzelnen Listen konsistent sind; zum anderen werden die Angaben zwischen den Instrumenten auf ihre Gültigkeit hin kontrolliert. So wird z. B. innerhalb der Schülerlisten geprüft, ob für alle Schüler/innen, die laut Eintragung der Testleiter/innen am Testtag anwesend waren, auch jeweils ein Eintrag zur besuchten Testsitzung vorhanden ist. Umgekehrt wird geprüft, ob ausgeschlossene, abgemeldete oder fehlende Schü-ler/innen dem entsprechend hier keinen Eintrag aufweisen. Bei der Überprüfung der Angaben zwischen den Instrumenten wird z. B. kontrolliert, ob für jede Testsitzungsnummer, die auf der PISA-Schülerliste ange-geben ist, auch ein Eintrag im Testsitzungsprotokoll existiert. Treten bei diesen Kontrollen Inkonsistenzen auf, müssen diese vor der Übermitttlung der Daten an das internationale Zentrum beseitigt oder zumin-dest in den von KeyQuest für jede Kontrolle erzeugten Berichten erklärt werden. Ad 2) Background InstrumentsFür die Kontextfragebögen (Schul- und Schülerfragebogen) werden umfangreiche Überprüfungen der Gültigkeit der jeweiligen Angaben sowie der Vollständigkeit durchgeführt. Dabei wird z. B. geprüft, ob für jede/n Schüler/in, die/der laut PISA-Schülerliste bei der Fragebogenbearbeitung anwesend war, auch ein Datensatz im Instrument Schülerfragebogen vorhanden ist. Darüber hinaus wird u. a. die Übereinstimmung der Schülerangaben (im Fragebogen) mit den entsprechenden Eintragungen auf der PISA-Schülerliste (Geschlecht, Geburtsdatum, Schulstufe) kontrolliert.Ad 3) Test InstrumentsAnalog zur Prüfung für die Schülerfragebögen wird auch für die Testheft-Daten mit Hilfe der Checks in diesem Bereich die Übereinstimmung zwischen Teilnahmestatus (auf der PISA-Schülerliste) und vorhan-denen Datensätzen in den Testheft-Instrumenten kontrolliert.


Ad 4) Reliability ChecksFür die Reliability Scoring-Daten wird zum einen die Vollständigkeit der Bewertungen kontrolliert, zum anderen wird aber auch geprüft ob die einzelnen Bewertungen – wie vorgeschrieben – von unterschiedli-chen Kodierern vorgenommen wurden. Ad 5) Sampling ChecksDie Auswahl der Schüler/innen liegt im Verantwortungsbereich der jeweiligen nationalen Zentren und wird mit der Software KeyQuest durchgeführt. Um die Gültigkeit dieser Schülerauswahl zu prüfen, wird kontrolliert, ob die dafür notwendigen Angaben auf der Liste der Schulen mit jenen in einem speziellen Sampling Formular konsistent sind. Erst wenn alle vorgeschriebenen Kontrollen und Gültigkeitsprüfungen der Daten durchgeführt und ev. aufgetauchte Inkonsistenzen beseitigt oder geklärt (dokumentiert und begründet) sind, dürfen die Daten an das internationale Zentrum übermittelt werden. Diese vorgeschrie-benen Kontrollen sollen garantieren, dass die Qualität der Daten der einzelnen Länder möglichst hoch ist, wenn diese an das internationale Zentrum gelangen.

4.3.2 Zusätzliche Qualitätskontrollen durch das nationale ZentrumNeben den im vorigen Abschnitt dargestellten – durch das internationale Zentrum vorgeschriebenen – Kontrollen, werden in Österreich vom nationalen Zentrum zusätzlich zahlreiche weitere Überprüfungen der Daten durchgeführt um eine hohe Qualität der österreichischen PISA-Daten gewährleisten zu kön-nen. Physikalische Überprüfung von gesamten DatensätzenUnter physikalischen Überprüfungen werden hier Kontrollen verstanden, die auf dem Vergleich von Einträgen in den Datensätzen mit den entsprechenden Erhebungsinstrumenten basieren. Im Rahmen dieser zusätzlichen Datenüberprüfung werden – zusätzlich zu den während der Dateneingabe laufend durchgeführten Kontrollen – von jedem Dateneingeber stichprobenweise ganze Datensätze kontrolliert und dabei auftrauchende Dateneingabe-Fehler korrigiert. Überprüfung von falschen Codes für fehlende oder ungültige SchülerantwortenFür die Eingabe von fehlenden oder ungültigen Schülerantworten gibt es bei PISA in KeyQuest be-stimmte Codes. Wenn eine Frage nicht bearbeitet wurde, wird für einstellige Variablen der Code 9, für zweistellige der Code 99, für drei- oder mehrstellige Variablen (numerische Variablen) der Code 999 vergeben. Für ungültige Antworten lauten die entsprechenden Codes 8, 98 und 998. Ein Code für eine ungültige Antwort wird zum Beispiel vergeben, wenn ein/e Schüler/in bei einer Multiple-Choice-Frage mit Einfachauswahl mehrere Antwortalternativen angekreuzt, oder ein/e Schüler/in statt einer numeri-schen Antwort einen Kommentar in den Raum einfügt, der für die Antwort vorgesehen ist. Bei dieser Kontrolle wird vor allem bei numerischen Variablen geprüft, ob von den Dateneingebern irr-tümlich falsche Codes vergeben wurden. So wird zum Beispiel bei numerischen Variablen mit dreistelli-gen Codes für fehlende oder ungültige Schülerantworten überprüft, ob die Zahlen 9 oder 99 bzw. 8 oder 98 eingegeben wurden. Ist dies der Fall, werden diese Zahlen anhand der Fragebögen bzw. Testhefte über-prüft, um festzustellen, ob dies wirklich die Schülerantwort ist, oder ob hier ein falscher Code verwendet wurde. Diese aufwändige Überprüfung wird für sämtliche mehrstelligen Variablen aus den Instrumenten für den Schülerfragebogen, den Testheften und dem Schulfragebogen durchgeführt. Überprüfung von unplausiblen Werten – PlausibilitätschecksAlle Variablen der Testhefte, der Schülerfragebögen und des Schulfragebogens werden so genannten Plausibilitätschecks unterzogen. Hierzu werden die Daten im SPSS-Format aus KeyQuest exportiert und Häufigkeitstabellen aller Variablen erstellt. Diese werden auf Plausibilität untersucht. Dies umfasst so-wohl so genannte „Out-of-Range-Checks“, bei denen auffällig hohe oder niedrige Werte kontrolliert werden, als auch Kontrollen von Variablen, bei denen überdurchschnittlich viele Codes für fehlende oder ungültige Schülerantworten vorkommen.


Überprüfung von unplausiblen Antwort-Kombinationen in den FragebögenBei den Fragebögen werden die Daten auch über Variablen hinweg auf inhaltliche Plausibilität unter-sucht. Zum Beispiel werden die Schüler/innen im Schülerfragebogen darüber befragt, wie viel Zeit sie in einer Woche im Durchschnitt für Hausübungen benötigen. In einer folgenden Frage sollen sie dann angeben, wie viel Zeit sie für Mathematik-Hausübungen benötigen. Ist beispielsweise die Angabe der Zeit für Mathematik-Hausübungen bei Schülerinnen und Schülern höher als ihre gesamte Hausübungszeit, werden diese Zahlen überprüft. 4.3.3 Qualitätskontrollen durch das internationale ZentrumNachdem die oben beschriebenen Kontrollen durchgeführt, und die dabei entdeckten Fehler korrigiert (oder dokumentiert) sind, können die Daten an das internationale Zentrum übermittelt werden (vgl. Abschnitt 5 idK.). Am internationalen Zentrum werden die PISA-Daten aller teilnehmenden Nationen umfangreichen Kontrollen und Gültigkeitsprüfungen unterzogen, und bei festgestellten Inkonsistenzen werden dazu Anfragen an die jeweiligen nationalen Zentren gesendet. Der Datenmanager des jeweiligen nationalen Projektzentrums hat dabei die Aufgabe diese Anfragen zu beantworten. Für diesen Prozess der internationalen Datenkontrolle und -säuberung sind etwa sechs Wochen vorgesehen.

5. Data Submission – Übermittlung der Daten an das internationale ZentrumDie Übermittlung der Haupttestdaten an das internationale Zentrum muss innerhalb von 12 Wochen nach Ende des nationalen Testfensters erfolgen. In Österreich konnten die gründlich kontrollierten und gesäuberten Daten termingerecht am 25. August 2006 an das internationale Zentrum gesendet werden. Sämtliche Daten müssen im Programm KeyQuest übermittelt werden, d. h. es ist – wenn auch dringend empfohlen – nicht zwingend vorgeschrieben, für die Eingabe der Daten das Programm KeyQuest zu ver-wenden. Falls die Daten mit einem anderen Programm eingegeben werden, müssen die Daten allerdings vor der Übermittlung an das internationale Zentrum in KeyQuest importiert werden. Folgende Materialen müssen bei der so genannten „Data Submission“ an das internationale Zentrum übermittelt werden:• Eine Kopie der KeyQuest-Dateien „KQdata.mdb“ und „KQadmin.mdb“ mit sämtlichen Daten (Da-

ten für Testhefte, Schülerfragebogen, Schulfragebogen, Multiple Marking, PISA-Schülerlisten, Liste der Schulen, Liste der Schüler/innen, Testsitzungsprotokolle).

• Eine elektronische Kopie (.pdf ) der international vorgeschriebenen Gültigkeitsprüfungen der Daten bzw. der dabei erzeugten Berichte.

• Das komplette Set der nationalen Erhebungsinstrumente (Testhefte und Fragebögen) in PDF-For-mat.

• Zwei Dokumente mit Informationen zu den übermittelten Daten („Data submission checklist“ und „Essential information required for cleaning data“).

Kontrolle und Aufbereitung der Daten am internationalen ZentrumNach der Übermittlung dieser Materialien werden die Daten vom internationalen Zentrum kontrolliert (vgl. Abschnitt 4.3.3 idK.) und anschließend für die internationale Datenbasis aufbereitet. Dazu werden Variablen, die für die Datenerhebung an nationale Gegebenheiten angepasst wurden, in die einheitlichen internationalen Versionen rekodiert. Die nationalen Zentren haben im Anschluss daran nochmals die Möglichkeit ihre Daten zu kontrollieren, bevor eine erst Version der internationalen Datenbasis erzeugt wird. Die nationalen Zentren erhalten etwa Ende Mai 2007 diese erste Version der PISA-Daten, wo-bei die Leistungsdaten dabei noch innerhalb der Länder skaliert sind und dadurch kein internationaler Vergleich der Leistungswerte möglich ist. Die Endversion der Daten, die für die Berechnung des inter-nationalen Berichts verwendet wird, erhalten die nationalen Zentren Ende Juli 2007. Anfang Dezember 2007 werden die Ergebnisse von PISA 2006 der Öffentlichkeit bekannt gegeben. Im Anschluss daran wird die internationale Datanbasis öffentlich zugänglich auf der PISA-Homepage der OECD (www.pisa.oecd.org) zur Verfügung gestellt.


Bibliografie

Pointinger, M. (2004). Dateneingabe. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleis-tungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/in-dex.htm [Datum des Zugriffs: 14.05.2007]

Reiter, C. (2001). Marking, Kodierung und Datenmanagement. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts (S. 211–257). Innsbruck: StudienVerlag.

XISimone Breit & Andrea Grafendorfer

WEB-BASED ASSESSMENT

XI1. Ziele von CBAS

2. Stichprobe2.1 Vorgaben für die CBAS Stichprobe2.2 Struktur der österreichischen Feldstichprobe2.3 Auswahl der Schulen2.4 Rücklauf von den Schulen

3. Testinstrumente3.1 EDV-getützte Items3.2 Testhefte3.3 Fragebögen

4. Technische Voraussetzungen4.1 Technische Infrastruktur4.2 Anforderungen an ein EDV-gestütztes Assessmentsystem4.3 Umsetzung der Übersetzungsrichtlinien in Österreich

5. Testorganisation und -durchführung5.1 Organisation5.2 Schulung der Testleiter/innen5.3 Testablauf an den Schulen

6. Datenverarbeitung6.1 Coding6.2 Weiterverarbeitung der Daten

7. Qualitätssicherung und -kontrolle in CBAS

8. Erkenntnisse aus der Machbarkeitsstudie

Dieser Text basiert auf dem entsprechenden Kapitel bei PISA 2003 (Lang & Reiter, 2004). Die Autorinnen dieses Kapitels danken Birgit Lang und Claudia Schreiner (geb. Reiter) für die Bereitstellung des Textes.

Seite 178 XI. Web-Based Assessment

Beim Feldtest von PISA 2006 hat sich Österreich mit elf weiteren Ländern am internationalen Zusatzprojekt CBAS (Computer-Based Assessment of Science) beteiligt. Dabei werden die Schüler/innen nicht nur mit der herkömmlichen Paper-Pencil-Methode (PP) getestet, sondern auch computerunter-stützt. Projektmanager für dieses internationale Zusatzprojekt ist DI Dr. Erik Diewald.

1. Ziele von CBASComputerunterstützt heißt im Fall von CBAS, dass Schüler/innen zusätzlich zu den Aufgaben im Testheft eigens konstruierte Items am Laptop bearbeiten. Damit wird der Versuch gestartet, neue Medien für PISA-Tests zu erschließen, so dass irgendwann computergestützte Tests die Paper-Pencil-Tests ablösen können. Vom internationalen Zentrum wurde die Variante mit Laptops einer Testung im Internet vorge-zogen, um Länder mit noch geringer Internetanbindung nicht zu benachteiligen.CBAS ist in Österreich bereits die zweite computergestützte Testerhebung. Bei PISA 2003 wurden im Zuge des nationalen Zusatzprojekts Web-Based Assessment Leistungs- und Kontextdaten von Schülerinnen und Schülern online erhoben (Lang & Reiter, 2004). Die Instrumente bei dieser Machbarkeitsstudie waren ident mit den Instrumenten der herkömmlichen PISA-Testung. Im Gegensatz dazu wurden für das inter-nationale Zusatzprojekt CBAS neue Instrumente entwickelt, mit dem Ziel eine neue Art der Erhebung zu ermöglichen. Die computergestützte Testung soll einen Mehrwert bieten, indem das Naturwissenschafts-Framework durch andere Arten der Darstellung anders abgebildet werden kann. Daher erhebt CBAS neue Informationen und eine andere Art von Naturwissenschafts-Kompetenz als PISA.Die Testdurchführung wurde an die speziellen Anforderungen für dieses Projekt angepasst. Alle Schüler/innen werden eine Stunde mittels Testheft und eine Stunde computerunterstützt getestet. Dafür werden die teilnehmenden Schüler/innen in zwei Gruppen geteilt, wobei eine Gruppe zuerst den Test am Computer durchführt, währenddessen die zweite Gruppe die Testhefte bearbeitet. Anschließend tauschen die Gruppen und führen den Test am jeweils anderen Medium durch. Die zusätzliche Bearbeitung der Testhefte ermöglicht eine bessere Abbildung der Fähigkeiten und den Vergleich der computergestützt erhobenen Ergebnisse mit den herkömmlichen. Darüber hinaus beantworten die Schüler/innen ebenfalls den für PISA entwickelten Schülerfragebogen, welcher um einige Fragen zum computergestützten Testen ergänzt wurde.Die Vorteile einer Testung der Schüler/innen mittels Computer sind zahlreich:• finanzielle Einsparungen durch Entfall des Drucks und des Transports der Erhebungsinstrumente;• zeitliche Einsparungen durch die automatische „Eingabe“ der Daten während der Bearbeitung durch

die Schüler/innen; • höhere Attraktivität des Tests und Erweiterung der Möglichkeiten durch den Einsatz von Farbe, Be-

wegung, Audio/Video;• verringerte Lesemenge für die Naturwissenschafts-Aufgaben (Items);• erweiterte Möglichkeiten der Datengewinnung, weil die Antwortprozesse computergestützt aufge-

zeichnet werden können (z. B. Ablauf, Zeiten, ...).Allerdings gibt es trotz dieser Vorteile auch noch unbekannte Effekte – z. B. Beeinflussung der Test-ergebnisse, da am Bildschirm gelesen und per Maus geantwortet werden muss –, die mit Hilfe einer Machbarkeitsstudie identifiziert und analysiert werden können. Auch die technischen Anforderungen und Möglichkeiten müssen erst erprobt werden. Zusätzlich soll der Feldtest Informationen über den Zu-sammenhang zwischen Paper-Pencil- und Computer-Testung liefern.

2. Stichprobe

2.1 Vorgaben für die CBAS-Stichprobe

Mit Hilfe der CBAS-Stichprobe soll erprobt werden, ob eine große Studie wie PISA in Hinkunft compu-terunterstützt durchgeführt werden kann. Auf dem Weg dorthin sind zahlreiche Erfahrungen notwendig. Die OECD hat sich entschieden, im Feldtest 2006 den Ländern diese Machbarkeitsstudie anzubieten,

Seite 179XI. Web-Based Assessemnt

um im eigenen Kontext die computerunterstützte Testung zu erproben. Österreich hat zwar im Jahr 2003 mit dem Web-Based Assessment Erfahrungen gesammelt, wie der Test- und Befragungsvorgang in PISA mit Hilfe des Internets durchgeführt werden kann, sich dennoch entschieden, auf Grund der geänderten Modalitäten auch an der internationalen Option CBAS teilzunehmen.Für die Feasability-Study CBAS ist international eine Mindeststichprobengröße von 450 getesteten Schülerinnen und Schülern vorgesehen. Es wird empfohlen, je 10 Schüler/innen in 45 Schulen com-puterunterstützt zu testen. Das internationale Projektzentrum schlägt vor, CBAS entweder an den Feldtestschulen durchzuführen (also die Anzahl der Schüler/innen an den Feldtestschulen entsprechend zu erhöhen), oder eigene Schulen für CBAS auszuwählen.Österreich hat sich für die zweite Option entschieden und für den Feldtest von PISA 2006 und für CBAS zwei voneinander getrennte Stichproben gezogen. Die Vorteile sind aus Sicht des nationalen Projektzentrums wie folgt:• Die Bereitschaft zur Teilnahme der Schulen am PISA-Feldtest wird nicht durch das internationale

Zusatzprojekt gefährdet.• Der Aufwand für die Schule bzw. die Schulkoordinator/innen ist durch die getrennten Stichproben

geringer, weil an einer Schule jeweils nur ein Projekt stattfindet.• Die Testzeit der Schüler/innen beträgt für CBAS-Teilnehmer/innen ebenfalls 3½–4 Stunden. Bei

einer kombinierten Stichprobe von PISA und CBAS wäre für die Schüler/innen aufgrund der com-putergestützten Testung eine Stunde Testzeit mehr notwendig. Das könnte zu Motivations- und Kon-zentrationsproblemen führen.

• Die Testdurchführung ist einfacher, weil nicht der vorhandene Pool an Testleitern und Testleiterin-nen in den Umgang mit den Laptops eingeschult werden muss, sondern spezielle Testleiter/innen für CBAS rekrutiert werden können.

• Die Trennung der Stichproben verhindert auch eine Gefährdung der herkömmlichen, mit Paper- Pencil erhobenen Daten.

Das Stichprobendesign für CBAS ist dem Stichprobendesign für den PISA-Feldtest sehr ähnlich und muss ebenfalls folgenden Kriterien entsprechen:• Für Länder, deren CBAS-Feldtest zwischen 1. März und 31. Mai 2005 durchgeführt wird, ist der

Geburtsjahrgang 1989 die Definition des Zielalters.• Die Schulstichprobe muss nicht als reine Zufallsstichprobe ermittelt werden. Es ist zulässig, „günsti-

ge“ Schulen auszuwählen, sofern die im Folgenden angeführten Punkte berücksichtigt werden.• Die Stichprobe muss Schüler/innen aus verschiedenen Schultypen umfassen, in denen sich signifikan-

te Teile 15-/16-Jähriger befinden.• Die Stichprobe muss Schulen mit den verschiedenen von 15-/16-Jährigen besuchten Schulstufen

enthalten.• Die Stichprobe soll Schüler/innen verschiedener demografischer und sozioökonomischer Gruppen

umfassen (z. B. verschiedene geografische Regionen, städtische und ländliche Regionen etc.)

2.2 Struktur der österreichischen Feldteststichprobe

Das österreichische Sampling-Design für CBAS orientiert sich wie die Stichprobe des PISA-Feldtests an zwei Merkmalen: der geografischen Lage der Schulen (unter Einbeziehung der Variable Bundesland) und der Schulform (repräsentiert durch die 20 Strata, die die österreichischen Schulformen zu Gruppen zu-sammenfassen). Als erstes wurde entschieden, drei Bundesländer von der Stichprobe auszunehmen. Das war im Fall der Feasablility-Study von CBAS möglich. Aus organisatorischen Gründen (v. a. um hohe Reisekosten zu vermeiden) entschied man sich, Kärnten, Steiermark und Vorarlberg von der Stichprobe auszuschließen.Um eine Stichprobengröße von 450 Schülerinnen und Schülern aus mind. 45 Schulen zu erreichen, legte man in Österreich fest, 50 Schulen in das Sampling aufzunehmen. Je nach Anzahl der Schüler/innen in den Bundesländern bzw. den definierten Strata werden die Randhäufigkeiten für die Stichprobe festge-


setzt. Die Verteilung der Stichprobe auf die einzelnen Zellen (Bundesland-Stratum-Kombinationen) wird durch eine Zufallsauswahl bestimmt. Mehrfachauswahlen werden hierbei nicht zugelassen. Das Ergebnis der Festlegungen und der darauf folgenden Zufallsauswahl enthält Abbildung XI.1.

2.3 Auswahl der Schulen

Durch den Samplingplan aus Abbildung XI.1 ist festgelegt, aus welchen Bundesland-Stratum-Kombinationen jeweils eine Schule ausgewählt werden muss. Für die konkrete Auswahl der Feldtest-Schulen wird für jede dieser Kombinationen eine Liste aller Schulen mit 15-/16-Jährigen aus der Schulstatistik des Schuljahrs 2003/2004 des bm:bwk erstellt. Aus jeder dieser Listen wird dann zufällig eine Schule ausgewählt. Die auf der Liste direkt folgende Schule wurde als erstes Replacement notiert, die vorangehende Schule als zweite Replacement-Schule.Abbildung XI.2 gibt einen Überblick über die aus dieser Prozedur resultierende Stichprobe. Die Anzahl der Schulen entspricht den in Abbildung XI.1 festgelegten Randhäufigkeiten. Bei der Schüleranzahl je Stratum handelt es sich um eine Schätzung auf Basis der dem Feldtestsampling zu Grunde liegenden Schuldatenbank.

Abbildung XI.1:Struktur der Stichprobe für CBAS

Randhäufigkeiten - vorgegeben Bur

genl

and

Kär

tnen

Nie

derö

ster

r.

Obe

röst

err.

Sal

zbur

g

Ste

ierm

ark

Tiro

l

Vor

arlb

erg

Wie

n

3 13 13 5 7 9

2 Hauptschule 3

3 Polytechnische Schule 5

4 Sonderschule 0

5 Gymnasium 5

6 Realgymnasium & wirtschaftskundliches RG 5

7 Oberstufenrealgymnasium 2

8 Sonstige Allgemeinbildende Schulen/mit Statut 0

9 Berufsschule (technisch/gewerblich) 5

10 Berufsschule (kaufmännisch/Handel &Verkehr) 2

11 Berufsschule (land- & forstwirtschaftlich) 1

12 BMS (gewerblich/technisch/kunstgewerblich) 2

13 BMS (kaufmännisch) 4

14 BMS (wirtschaftsberuflich/sozialberuflich) 3

15 BMS (land- & forstwirtschaftlich) 2

16 BHS (gewerblich/technisch/kunstgewerblich) 3

17 BHS (kaufmännisch) 4

18 BHS (wirtschaftsberuflich/sozialberuflich) 2

19 BHS (land- & forstwirtschaftlich) 1

20 Anstalten der Lehrer- & Erzieherbildung 1

� � �

� ��

� � � � �

� � � �

� �

� � � � �

� �

�

�

��

� � �

��

��

� � � �

� �

�

�

�

�


2.4 Rücklauf von den SchulenDiese 50 Schulen wurden zur Teilnahme an CBAS eingeladen und um eine vollständige Schülerliste des Geburtsjahres 1989 gebeten. In zwei der 50 Schulen konnte CBAS nicht durchgeführt werden: eine

Schule war aufgelassen wor-den, bei der anderen Schule handelte es sich um einen Fehler in der Datenbank, so dass dort keine Schü-ler/innen der ausgewählten Schulform vertreten waren.In den verbleibenden 48 Schulen wurden per Zufall je 12 Schüler/innen für die Teilnahme an CBAS ausge-wählt (insgesamt 576 Schü-ler/innen). Bei CBAS ist es – wie bei PISA – möglich, einzelne Schüler/innen vom

Abbildung XI.2: Die österreichische Stichprobe für CBAS



Stratum Anzahl Prozent

Schüler/innen (erwartet)

Schulen (gezogen)

GESAMT

3 34 5.7 %

5 60 10.1 %

- - -

5 60 10.1 %

5 60 10.1 %

2 24 4.0 %

- - -

5 60 10.1 %

2 24 4.0 %

1 10 1.7 %

2 24 4.0 %

4 48 8.1 %

3 36 6.0 %

2 24 4.0 %

3 36 6.0 %

4 48 8.1 %

2 24 4.0 %

1 12 2.0 %

1 12 2.0 %

50 596 100.0 %

Abbildung XI.3: Ausschlüsse bei CBAS

576 100 %körperlicher Behinderung 0 0.0 %

geistiger Behinderung 0 0.0 %

mangelnder Deutschkenntnisse 7 1.2 %

Ausschlüsse gesamt 7 1.2 %an andere Schule gewechselt 2 0.3 %

nicht mehr in der Schule 8 1.4 %

Ineligible gesamt 10 1.7 %559Zu testende Schüler/innen

Aus

schl

üsse

au

f Gru

ndIn

elig

ible

, w

eil

Schüler/innen in der CBAS-Stichprobe


Test auszuschließen. Die Kriterien dafür sind diesel-ben wie bei PISA. Schüler/in-nen werden vom CBAS-Test dann ausgeschlossen, wenn sie die 7. Schulstufe noch nicht erreicht haben, die Teilnahme auf Grund von schwerer körperlicher oder geistiger Behinderung nicht zumutbar ist oder die betref-fenden Schüler/innen über mangelnde Deutschkenntnisse verfügen, weil sie noch weniger als ein Jahr in Österreich sind (vgl. Kapitel VI). Abbildung XI.3 (vorhergehende Seite) zeigt die Ausschlüsse von Schüler/innen bei CBAS. Von den testbaren 559 Schüler/innen haben 519 tatsächlich an CBAS teilgenommen. Drei Schüler/innen haben sich vom Test abgemeldet, 37 Schüler/innen fehlten am Testtag und konnten daher nicht getestet werden. Beim computergestützten Teil war darüber hinaus in einer Schule ein Datenverlust zu verzeichnen, sodass für 508 Schüler/innen aus diesem Testbereich Daten zur Verfügung stehen (vgl. Abbildung XI.4). Abbildung XI.5 gibt getrennt nach Schulsparten einen Überblick über die Rücklaufquoten bei CBAS.

Abbildung XI.4: Ausfälle bei CBAS

559 100 %Verweigerung der Teilnahme 3 0.5 %

Abwesenheit 37 6.6 %

40 7.2 %Ausfälle gesamt

Datenverlust auf Grund technischer Probleme 11 2.0 %

508 %Daten vom computergestützen Test

Aus

fälle

au

f Gru

nd

zu testende Schüler/innen

Daten aus Testheft und Fragebogen 519 92.8 %

90.9

teilgen. erwartet teilgen. Rücklauf2 Hauptschule 3 28 28 100.0 %

3 Polytechnische Schule 5 58 50 86.2 %

4 Sonderschule - - - -

5 Gymnasium 5 60 58 96.7 %

6 Realgymnasium & wirtschaftskundliches RG 4 47 44 93.6 %

7 Oberstufenrealgymnasium 2 24 23 95.8 %

8 Sonstige Allgemeinbildende Schulen/mit Statut - - - -

9 Berufsschule (technisch/gewerblich) 5 60 54 90.0 %

10 Berufsschule (kaufmännisch/Handel & Verkehr) 2 24 21 87.5 %

11 Berufsschule (land- & forstwirtschaftlich) 1 12 9 75.0 %

12 BMS (gewerblich/technisch/kunstgewerblich) 2 24 24 100.0 %

13 BMS (kaufmännisch) 4 44 39 88.6 %

14 BMS (wirtschaftsberuflich/sozialberuflich) 3 34 33 97.1 %

15 BMS (land- & forstwirtschaftlich) 1 12 11 91.7 %

16 BHS (gewerblich/technisch/kunstgewerblich) 3 36 36 100.0 %

17 BHS (kaufmännisch) 4 48 43 89.6 %

18 BHS (wirtschaftsberuflich/sozialberuflich) 2 24 22 91.7 %

19 BHS (land- & forstwirtschaftlich) 1 12 12 100.0 %

20 Anstalten f. Lehrer- & Erzieherbildung 1 12 12 100.0 %

GESAMT 48 559 519 92.8 %

Schüler/innenSchulenStratum

Abbildung XI.5: Rücklauf bei CBAS nach Schulsparten


3. Testinstrumente

3.1 EDV-gestützte Items

Für die Umsetzung der PISA-Testung auf den Laptops werden eigene Naturwissenschafts-Aufgaben (Items) entwickelt. Alle CBAS-Items stammen aus der Domäne Naturwissenschaft; Lesen und Mathematik wird durch CBAS nicht erfasst. Die Aufgaben werden vom internationalen PISA-Konsortium erstellt. Ihnen liegt das gleiche Framework zu Grunde wie den Items des klassischen PP-PISA-Tests.Es wurden 56 Units mit 115 Items für den Feldtest erstellt. Jede Aufgabe besteht wie beim herkömmli-chen PISA-Test aus einem Stimulus und einer dazugehörigen Frage. Im Unterschied zu den herkömm-lichen Aufgaben kann dieser Stimulus auch aus einem Video oder einer Animation bestehen. Es wurde versucht, den Leseaufwand sowohl im Stimulus als auch in der Frage möglichst gering zu halten. Die Antwortmöglichkeiten sind im geschlossenen Format (Multiple-Choice- oder Drag-and-Drop-Format).Für die Übersetzung der Items kommt ein eigens dafür entwickeltes Programm, die CBAS-Unit-Translation-Software, zur Anwendung. Die Vorgangsweise entspricht dem Prozedere bei den Übersetzungen der Materialen für den herkömmlichen PISA-Test. Zwei unabhängige Personen fertigen jeweils eine Übersetzung an, die dann von einem Dritten zusammengeführt und zur Begutachtung ans internationale Zentrum übermittelt wird. Anschließend laufen die gleichen Begutachtungs-Schritte ab wie bei PISA. Zuerst wird die Übersetzung geprüft und mit Änderungswünschen zurückgeschickt. Die geforderten Modifikationen werden eingearbeitet und abschließend zur Begutachtung, dem Final-Optical-Check, wieder ans internationale Zentrum gesendet.Die Items werden zu zehn verschiedenen CBAS-Testformen kombiniert, welche den Schülerinnen und Schülern im Rotationsprinzip zugeteilt werden.

3.2 Testhefte

Für den PP-Teil des CBAS-Tests werden eigene Testhefte mit einer Auswahl aus dem Feldtest-Item-Pool in der bekannten Form zusammengestellt. 89 Items aus 17 Units werden zu fünf Cluster kombiniert. Es handelt sich hierbei um fünf Cluster, die in derselben Form im PISA-Feldtest 2006 verwendet werden. Das CBAS-Testheft wurde für eine Bearbeitungsdauer von einer Stunde konzipiert. Es gibt zehn ver-schiedene Testheftformen (C1–C10), die den Schülerinnen und Schülern ebenfalls im Rotationsprinzip zugeteilt werden.

3.3 Fragebögen

Zur Erhebung von Kontext-Informationen werden vier Fragebogenformen eingesetzt, die den Fragebögen des PISA-Feldtests entsprechen, wobei zusätzliche Fragen zur computerunterstützten Testung gestellt werden.

4. Technische Voraussetzungen

4.1 Technische Infrastruktur

Jedes Testleitungs-Team wurde mit einem identischen Equipment für die Datenerhebung ausgestattet• 7 Notebooks DELL Latitude D600 („CBASx01-7“) mit Netzteil• 7 Notebooktaschen• 7 opt. Mäuse Logitech Notebook Mouse Plus• 6 Kopfhörer Sennheiser HD-25-SP (mit nachträglich umgelöteten 3,5mm Stereo-Klinkensteckern,

da sich die Lösung des Herstellers mit Adapter-Stecker als nicht schülertauglich erwiesen hat)• 2 x 6 Paar (pro Schule) Hygiene-Ohrpads Sennheiser HZP-25 (auswechselbar, waschbar)• 1 Funk-AccessPoint Netgear WGR-614„CBAS-APx“ mit Netzteil• 1 Kabeltrommel• 1 Verteiler 10fach


• 2 (pro Schule) CD-Rs vorbedruckt sowie mit zusätzlicher „Notfall-Ausrüstung“:• 6 Netzwerkkabel „grau“• 1 Netzwerkkabel „rot“• 1 Netzwerk-Switch D-Link DES-1008D „CBAS-SWx“ mit Netzteil• 5 CD-Rs (unbedruckt)Zusätzlich verblieb ein vorinstalliertes Notebook am Projektzentrum, um im Falle größerer Defekte Ersatzgeräte rasch zur Verfügung zu haben.Die Notebooks waren mit folgender Hardware ausgestattet:ProcessorModel: Intel(R) Pentium(R) M processor 1.60GHzType: MobileInternal Data Cache: 32kB Synchronous, Write-Back, 8-way set, 64 byte line sizeL2 On-board Cache: 2MB ECC Synchronous, ATC, 8-way set, 64 byte line sizeMainboardBus(es): ISA X-Bus AGP PCI PCMCIA CardBus USBMP Support: NoMP APIC: NoSystem BIOS: Dell Computer Corporation A14System: Dell Computer Corporation Latitude D600Mainboard: Dell Computer Corporation 0D2125Total Memory: 512MB DDR-SDRAMChipsetModel: Intel Corporation 82855PM Host-Hub Interface BridgeFront Side Bus Speed: 4x 100MHz (400MHz data rate)Total Memory: 512MB DDR-SDRAMMemory Bus Speed: 2x 133MHz (266MHz data rate)Video SystemAdapter: MOBILITY RADEON 9000Physical Storage DevicesHard Disk: TOSHIBA MK4026GAX (37GB)CD-ROM/DVD: SAMSUNG CDRW/DVD SN-324S (CD 24X Rd, 24X Wr) (DVD3X Rd)Logical Storage DevicesSystem (C:): 37GB (30GB, 80 % Free Space) (NTFS)PeripheralsSerial/Parallel Port(s): 2 COM / 1 LPTUSB Controller/Hub: Intel(R) 82801DB/DBM USB Universal Host Controller-24C2USB Controller/Hub: Intel(R) 82801DB/DBM USB Universal Host Controller-24C4USB Controller/Hub: Intel(R) 82801DB/DBM USB Universal Host Controller-24C7USB Controller/Hub: Intel(R) 82801DB/DBM USB 2.0 erweiterter Hostcontroller-24CDUSB Controller/Hub: USB-Root-HubUSB Controller/Hub: USB-MassenspeichergerätPCMCIA/CardBus Controller: O2Micro OZ711EC1 SmartCardBus ControllerSmart Card Device: O2Micro SmartCardBus ReaderKeyboard: Standardtastatur (101/102 Tasten) oder Microsoft Natural Keyboard (PS/2)Mouse: Alps Touch Pad


MultiMedia Device(s)Device: SigmaTel C-Major AudioCommunication Device(s)Device: Conexant D480 MDC V.9x ModemOperating System(s)Windows System: Microsoft Windows XP/2002 Professional (Win32 x86)5.01.2600 (Service Pack 2)Network ServicesAdapter: Broadcom 570x Gigabit Integrated ControllerAdapter: Intel(R) PRO/Wireless 2200BG Network Connection

Auf diesen Notebooks war für CBAS folgende Software installiert:• Betriebssystem: Windows XP Professional SP2• WLAN-Treiber: Intel PRO/Wireless Networkpackage Version A08 bzw. A09• Testumgebung: Test Administrator und Test Delivery Version 1.4.0• Virenschutz: McAfee• MS-Office 2003• Nero Burning ROM Version 6

Durch folgende Vorkehrungen sollte im Falle eines Problems mit der Hardware oder Software eine mög-lichst rasche Behebung gewährleistet werden:• Alle Notebooks sind gleich konfiguriert. Somit kann jedes Notebook als Testleiter- oder Test-

Delivery-Plattform eingesetzt werden.• Es existiert ein vollständiges Image des Systems, mit dem innerhalb von ca. 2 Stunden ein fehlerhaftes

System selbst von Laien vollständig neu aufgesetzt werden kann.• Für grobe Defekte steht ein zusätzliches, vollständig konfiguriertes Notebook als Reservesystem im

Projektzentrum zur Verfügung.• Bei Netzwerkproblemen kann problemlos und ohne viel Zeitaufwand auf eine verkabelte Netzwerk-

verbindung umgestellt werden.• Es ist immer ein eingeschulter Techniker für telefonischen Support bei Problemen mit den Notebooks

oder der Testumgebung erreichbar.• Das WLAN-Netzwerk wurde vor dem ersten Einsatz im Feldtest einem „Stresstest“ unterzogen, um

etwaige Instabilitäten aufzudecken.• DELL-Golden-Support mit Vorort-Service.

4.2. Anforderungen an ein EDV-gestütztes Assessmentsystem

Für die Umsetzung der Instrumente sowie für die Testdurchführung selbst wurde vom internationalen Zentrum eine Software entwickelt, die auf Grund der komplexen Strukturen der PISA-Studie spezielle Anforderungen erfüllen muss. Im Folgenden sind einige Beispiele für diese Anforderungen aufgelistet:• Der Schülerzugang zu den Aufgaben und Fragen soll mit Codes ermöglicht werden.• Das System muss unempfindlich gegenüber PC-Abstürzen sein und ein Neueinstieg mit dem letzten

Datenstand muss möglich sein.• Die Bedienung der Software muss möglichst einfach sein, um Schülern bzw. Schülerinnen mit gerin-

gen EDV-Kenntnissen nicht zu benachteiligen.• Gleichzeitig muss die Möglichkeit für Schüler/innen, unerwünscht in das Programm einzugreifen,

minimiert werden (z. B. Tastenkombinationen wie Strg-Alt-Entf ).• Die verwendeten Aufgaben sollen durch den erweiterten Einsatz von Farbe, Bewegung und Simulati-

onen attraktiver sein als im herkömmlichen PISA-Test mittels Testheften.


• Die Aktivitäten der Schüler/innen sollen protokolliert werden, um die Häufigkeit des Änderns einer Antwort oder die Verweildauer auf einer Seite auswerten zu können.

5. Testorganisation und -durchführung

5.1 Organisation

Für CBAS wurden eigene Testleiter/innen angeworben, die für drei Monate am nationalen PISA-Zentrum angestellt wurden. Die Testleiter/innen sollten pädagogische Erfahrung mitbringen und technisch versiert sein, so dass sie mit dem Netzwerk der Laptops klar kommen. Das Testdesign erforderte gleichzeitig zwei Testleiter/innen an einer Schule, so dass zwei Teams gebildet wurden. Zwei Testleiter übernahmen die Region Ostösterreich, zwei Testleiterinnen Westösterreich. Die beiden Testleiter/innen mussten gemein-sam an die Schule kommen, um CBAS durchzuführen. Für diese Tätigkeiten konnten Absolvent/innen der universitären Lehrerausbildung gewonnen werden.

5.2 Schulung der Testleiter/innen

Für die CBAS-Testleiter/innen wurde eine ganztätige Einschulung abgehalten. Im ersten Teil der Schulung wurden die Testleiter/innen über PISA und CBAS im Allgemeinen informiert. Anschließend wurden die Testleiter/innen mit ihren Aufgaben vertraut gemacht, im Speziellen ging es um die Kontaktaufnahme mit den Schulen, die Durchführung der Testsitzungen mit Hilfe der Testleiter-Skripts sowie die ordnungs-gemäße Protokollierung der Testsitzungen. Im zweiten Teil stand das praktische Erproben der Technik im Mittelpunkt. Den Testleitern und Testleiterinnen wurden Tipps für die Behandlung von Schwierigkeiten mit auf den Weg gegeben.Jeder der beiden Testleiter/innen musste im Stande sein, beide Rollen zu übernehmen: die Leitung des Tests am Laptop und die Leitung des Tests in Papierform. Für jeden Testteil (Papier – Laptop – Fragebogen) gibt es für die Testleiter/innen strenge Vorgaben und wortwörtlich zu verlesende Skripts wie beim klassi-schen PISA-Test.

5.3 Testablauf an den Schulen

Bei CBAS nimmt jede Schülerin bzw. jeder Schüler an einer einstündigen Testheftsitzung und einer einstündigen Laptopsitzung teil und füllt zum Schluss einen Schülerfragebogen im Unfang einer halben Stunde aus. Für die Durchführung von CBAS werden an einer Schule zwei Räume benötigt. Während ein/e Testleiter/in mit 6 Schülerinnen bzw. Schülern die Laptop-Sitzung durchführt, findet parallel dazu von der anderern Testleiterin bzw. vom anderen Testleiter für die anderen 6 Schüler/innen die Testheftsitzung mit Papier und Bleistift statt (vgl. Abbildung XI.6).

Die Vorbereitungen für die Testdurchführung dauern etwa eine Stunde. In einem Raum werden für die Computer-Testung 7 Laptops, die von den Testleiterinnen bzw. Testleitern mitgebracht werden, im Kreis zu einem kabellosen Netzwerk (WLAN) verbunden. Ein Laptop ist für die Testleiterin bzw. den Testleiter vorgesehen. Auf diesem Computer ist das CBAS-Test-Administrations-Progamm installiert, mit dessen Hilfe alle Antwort- und Verhaltensdaten der Schüler/innen gesammelt werden. Auf den sechs restlichen Laptops, die für die Schüler/innen vorgesehen sind, liegt das CBAS-Test-Programm.Jede Schülerin und jeder Schüler erhält einen speziellen Code, mit dem er bzw. sie in das Testprogramm einsteigen kann. Zu Beginn der Testsitzung am Computer wird eine kurze Übungsphase abgehalten, bei der überprüft wird, ob alle teilnehmenden Schüler/innen mit den für den Test notwendigen Techniken (Bewegen der Maus, Anklicken von Antworten, Abspielen der Filme und Animationen, Lautstärkeregelung der Kopfhörer) vertraut sind. Anschließend wird der Haupttest gestartet, bei dem die Schüler/innen, wie bei der Testheft-Sitzung, unterschiedliche Aufgaben bearbeiten. Nachdem die einstündige Testsitzung am Computer abgeschlossen ist, werden alle Daten am Testleiter-Laptop gesammelt und zur Datensicherung auf CD-R gebrannt.


Nach einer Stunde Testzeit tauschen die Schüler/innen die Räume. Anschließend füllen sie gemeinsam den Fragebogen in Papierform aus (vgl. Abbildung XI.6). Die Testmaterialien, wie CD-R mit den gesi-cherten Schülerdaten, Testhefte und Fragebögen, wurden laufend – meist wöchentlich – an das nationale Projektzentrum gesandt.

Die Testsitzungen von CBAS fanden im dreimonatigem Testfenster statt: zwischen 1. März und 31. Mai 2005 wurden alle Testsitzungen an den Schulen durchgeführt. Nachtests für fehlende Schüler/innen wie beim herkömmlichen PISA-Test sind bei CBAS nicht vorgesehen.

6. Datenverarbeitung

6.1 CodingCoding, die Bewertung von offenen Aufgaben, ist bei CBAS nur für die Testhefte notwendig. Diese wurden im Zuge des Codings für das klassische PISA durchgeführt (vgl. Kapitel VIII). Die computerun-terstützen Tests umfassen ausschließlich Fragen im geschlossenen Antwortformat. Somit ist das Umsetzen von Antworten in Codes nicht nötig.

6.2 Weiterverarbeitung der Daten

Der bei traditionellen Paper-Pencil-Erhebungen sehr umfangreiche Prozess der Dateneingabe ist nur für die Testheft- und Fragebogendaten notwendig. Die Ergebnisse der Computer-Tests können direkt in KeyQuest importiert werden.

7. Qualitätssicherung und -kontrolle bei CBAS

Auch für CBAS wurden große Anstrengungen zur Qualitätssicherung und -kontrolle unternommen. Viele der Maßnahmen werden ähnlich wie beim klassischen PISA-Test durchgeführt. Folgende Maßnahmen zur Qualitätssicherung und -kontrolle wurden durchgeführt:• Die Ziehung einer eigenen Stichprobe für CBAS unabhängig vom PISA-Feldtest hat den Vorteil, dass

die Ergebnisse des PISA-Feldtests in keiner Weise von der internationalen Zusatzstudie beeinträchtigt werden. Die hohen Qualitätsmaßstäbe bei der Stichprobenziehung selbst wurden auch bei CBAS realisiert.

Abbildung XI.6: Ablauf einer CBAS-Testsitzung

Ablauf einer CBAS-PISA-Testsitzung

Bearbeitung der PISA-Aufgaben

computergestützt

Begrüßung und Einleitung durch Test-leiter/in

Bearbeitung der PISA-Aufgaben im

Testheft

Raum 1(Testleiter/in 1)

60 minRaum 2

(Testleiter/in 2)

60 min

Bearbeitung der PISA-Aufgaben

computergestützt

60 min

Bearbeitung der PISA-Aufgaben im

Testheft

60 min

5 min Pause 15 min Pause

Begrüßung und Einleitung durch Test-leiter/in

PISA/Schüler-fragebogenca. 40 min

Schülergruppe 1

Schülergruppe 2


• Die Übersetzung der Instrumente unterliegt genau festgelegten Schritten mit laufender Qualitätssi-cherung. Das gilt sowohl für die Items, die für die Testhefte verwendet wurden, als auch für die Auf-gaben, die für die computerunterstützte Testung vorgesehen sind.

• Es erfolgt eine genaue Kontrolle der Testhefte und Fragebögen auf Druckfehler, um eine optimale Qua-lität der Instrumente zu ermöglichen.

• Um eventuelle Hardware-Probleme zu vermeiden und sicherzustellen, dass alle Programme auch wirklich laufen, wurde der Test auf eigenen, von den Testleitern und Testleiterinnen mitgebrachten Notebooks durchgeführt. Weiter wird so eine Vergleichbarkeit der Tests ermöglicht, da alle Computer z. B. mit derselben Geschwindigkeit laufen oder dieselbe Bildschirmgröße haben.

• Die verwendete Test-Software muss eine Datensicherung bei Computerausfällen möglich machen. Wenn etwa ein Computer im Netzwerk abstürzt, muss es möglich sein, dass zumindest die Daten der anderen Notebooks gesammelt werden.

• Für die Durchführung wurden auch bei CBAS externe Testleiter/innen eingesetzt. Diese waren fix ange-stellt und führten alle Tests durch. Durch ihre große Erfahrung konnte eine Test-Durchführung nach den vorgesehenen Kriterien gewährleistet werden. Außerdem wurden Tests von den Mitarbeiterinnen des nationalen Projektzentrums besucht und auf ihre korrekte Administration hin beobachtet.

• Kopien der Daten auf CD-Rom wurden an verschiedenen Orten gelagert.• Das Coding der Testhefte unterlag der gleichen Kontrolle, wie sie auch bei PISA durchgeführt wurde.

Das qualifizierte Codingpersonal wurde mit Hilfe der standardisierten Workshopmaterialien geschult und anschließend getestet. Die Zuordnung zu den Testheften erfolgte ebenso nach einem Rotations-schema, wobei jeweils zwei Coder/innen zwei unterschiedliche Aufgabenblöcke bearbeiteten. Auch hier erfolgten permanent Qualitätskontrollen durch die Supervisorin und anschließende Nachschu-lungen.

• Die Qualität der Dateneingabe wurde ebenfalls wie bei PISA von einem Mitarbeiter des ZVB ständig überprüft.

8. Erkenntnisse aus der MachbarkeitsstudieÖsterreich hat am internationalen Zusatzprojekt CBAS nur im Feldtest teilgenommen. Dieser war im Sinn einer Machbarkeitsstudie konzipiert. Es wurde versucht, mit Hilfe der Testung am Computer einen Mehrwert („added value“) einzubringen. Für Österreich wurde gezeigt, dass eine Testorganisation im hier beschriebenen Design möglich ist.International zeigt die Datenauswertung aus dem Feldtest folgende Ergebnisse:• Es besteht ein moderater Zusammenhang zwischen den Leistungen, die mit Paper-Pencil-Test erho-

ben wurden, und jenen, die computergestützt gemessen wurden.• Die Schüler/innen bevorzugen die Computertestung gegenüber der klassischen Testung im Paper-

Pencil-Stil. Besonders Burschen machen den Test lieber am Computer als im Testheft.• Ein deutlicher Vorteil der CBAS-Testung liegt in der reduzierten Leselast, die eine bessere Messung

der eigentlichen Naturwissenschafts-Kompetenz ermöglicht. Wie erwartet schlägt sich dieser Vorteil vor allem in den Leistungen der Burschen nieder.

• Obwohl bei CBAS die nötigen Computerkenntnisse bewusst minimiert wurden, schneiden Schü- ler/innen mit höheren Computer-Kompetenzen besser ab als solche mit niedrigeren Fähigkeiten.

• Geschlechtsunterschiede werden durch die computerunterstützte Testung deutlicher. Während Bur-schen, die zuerst die Aufgaben im Testheft bearbeiten, meistens höhere Leistungen zeigen als Mäd-chen, ist es bei anderer Reihenfolge umgekehrt. Burschen, die zuerst den Test am Computer gemacht haben, liefern anschließend im Testheft schlechtere Leistungen als Mädchen.

Zusammenfassend lässt sich sagen, dass mit CBAS eine andere Messung der Naturwissenschafts-Kompetenz möglich ist und dass Geschlechterdifferenzen deutlicher abgebildet werden. Zusätzlich zu den erweiterten Möglichkeiten der Stimuluspräsentation ist hier ein „added value“ vorhanden. Österreich hat am CBAS Haupttest schließlich nicht teilgenommen, da der inhaltliche Mehrgewinn unter den Erwartungen lag.


Außerdem haben sich schlussendlich nur drei Länder am Haupttest beteiligt, was die Vergleichbarkeit stark einschränkt.

BibliografieLang, B. & Reiter, C. (2004). Web-based Assessment. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von

Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstru-mente/index.htm [Datum des Zugriffs: 14.05.2007]

XIIXIIXClaudia Schreiner

QUALITÄTSSICHERUNG

XII

1. Einleitung1.1 Zum Qualitätsbegriff 1.2 Was ist Qualitätssicherung?1.3 Verantwortlichkeiten bei der Qualitätssicherung1.4 Qualitätssicherung in allen Untersuchungsphasen

2. Qualitätssicherung in der Vorbereitungsphase2.1 Erhebungsmaterialien2.2 Stichprobenziehung (Sampling)2.3 Screening2.4 National Center Quality Monitoring

3. Qualitätssicherungsmaßnahmen während der Datenerhebung3.1 Qualitätslenkung zur Gewährleistung der Durchführungsobjektivität3.2 Qualitätskontrolle und -entwicklung durch Rückmeldung der TL3.3 Qualitätskontrolle und -entwicklung durch Rückmeldung der SK3.4 PISA Quality Monitoring

4. Qualitätssicherungsmaßnahmen bei der Datenverarbeitung4.1 Rücklauf der Erhebungsinstrumente4.2 Coding4.3 Dateneingabe4.4 Berufsklassifi zierung

Dieser Text basiert auf dem entsprechenden Kapitel bei PISA 2003 (Wallner-Paschon 2004). Die Autorin dieses Kapitels dankt Christina Wallner-Paschon für die Bereitstellung des Textes.

Seite 192 XII. Qualitätssicherung

1. EinleitungIn diesem Kapitel wird vorerst auf den Qualitätsbegriff eingegangen sowie Zielsetzung und Verantwortlichkeiten der Qualitätssicherungsmaßnahmen bei PISA erörtert. In weiteren Abschnitten werden diese Maßnahmen, da sie vorwiegend an bestimmte Untersuchungsphasen gekoppelt sind, chro-nologisch angeführt und erläutert.

1.1 Zum Qualitätsbegriff

Der Begriff „Qualität“ wird sowohl im Alltag als auch in der Forschung sehr unterschiedlich verwendet, was vor allem daran liegt, dass er mehrere Dimensionen aufweist und somit verschiedene Zugänge hat. Das Produkt von PISA – Daten von ungefähr 380 000 Schüler/innen und etwa 13 800 Schulen – werden, wie bereits in Kapitel II erläutert, mit dem Ziel erhoben, den Teilnehmerländern Bildungsindikatoren im Längsschnitt und im Ländervergleich zur Verfügung zu stellen, die zum einen zur Einschätzung und Kontrolle der Effektivität des jeweiligen Bildungssystems herangezogen werden, und zum anderen als Grundlage für schulpolitische Entscheidungen dienen. Aus diesem Grund bedeutet Qualität bei inter-national vergleichenden Schülerleistungsstudien wie PISA in erster Linie Datenqualität, da diese die Aussagekraft der Ergebnisse bestimmt.Um festzulegen, was Datenqualität im jeweiligen Fall ausmacht, können den Daten bestimmte Eigenschaften bzw. Qualitätsmerkmale zugewiesen werden. Bei PISA sind hier die üblichen wissenschaft-lichen Hauptgütekriterien der Objektivität, Reliabilität und Validität als wichtige Qualitätsmerkmale zu nennen. Darüber hinaus spielt die Vergleichbarkeit der Ergebnisse zwischen den Ländern eine wesentliche Rolle. Eine gute Datenqualität in diesem Sinne kann aber grundsätzlich nur erreicht werden, wenn in al-len Untersuchungsphasen der Studie die Qualität der Prozeduren, die im Hinblick auf die Datenqualität wesentlich sind, gewährleistet wird.

1.2 Was ist Qualitätssicherung?

Eine ähnliche Situation wie beim Qualitätsbegriff findet man auch bei diesbezüglichen Wortverbindungen, die in der Literatur unterschiedlich verwendet werden. Für diesen Beitrag verwenden wir die Begriffe wie im Folgenden definiert:Bei der Qualitätssicherung (QS) wird sichergestellt, dass es Mechanismen, Verfahren und Prozesse gibt, die dafür Sorge tragen, dass die gewünschte Qualität auch zu Stande kommt (Harvey & Green, 2000). Qualitätssicherung wird somit als Oberbegriff bzw. Sammelbezeichnung für alle qualitätsbezogenen Maßnahmen wie Qualitätsplanung, Qualitätslenkung, Qualitätskontrolle und Qualitätsentwicklung ver-standen. Bei der Qualitätsplanung geht es vorrangig um das Auswählen, Klassifizieren und Gewichten der Qualitätsmerkmale, die Festlegung von Kriterien, anhand derer das Ausmaß an Qualität zu bemessen ist, sowie die Formulierung von Qualitätsanforderungen bzw. Qualitätsmaßstäben. Die Qualitätslenkung umfasst vorbeugende, überwachende und korrigierende Tätigkeiten zur Erfüllung bzw. Sicherung der geplanten Qualitätsanforderungen. Bei PISA ist ein Großteil der qualitätslenkenden Maßnahmen bereits ein integraler Bestandteil bei der Umsetzung einzelner Untersuchungsabläufe.Die Qualitätskontrolle ist im Gegensatz dazu eine den jeweiligen Untersuchungsphasen nachgeschaltete Maßnahme zur Überprüfung der Qualität im Sinne der jeweils festgelegten Qualitätsanforderungen. Bei der Qualitätskontrolle werden SOLL und IST zwischen aufgestellten Qualitätskriterien und -standards und der aktuellen Praxis verglichen und anschließend bewertet, ohne Einfluss auf die Qualität zu neh-men. Sie erfolgt bei PISA meist mittels statistischer Methoden. Obwohl es sich bei der Qualitätskontrolle um eine nachgeschaltete Überprüfung handelt, trägt sie in gewissem Sinne auch zur Qualitätslenkung bei – nämlich dann, wenn – wie bei PISA – die Kontrollen angekündigt bzw. bereits im Vorfeld festgelegt werden. Weiters sind Qualitätskontrollmaßnahmen auch für die Qualitätsverbesserung bedeutsam, da sie – zumindest bei negativen Ergebnissen – den Qualitäts-entwicklungsprozess vorantreiben.

Seite 193XII. Qualitätssicherung

Die Qualitätsentwicklung bzw. -verbesserung als letztes Element der QS, hat den Anspruch einer per-manenten Verbesserung der Qualität. Bei der Planung von PISA war man selbstverständlich von Anfang an bemüht, eine hohe Qualität zu erzielen, wobei es eine Anmaßung wäre zu glauben, immer gleich ein Optimum an potenziell möglichen Qualitätsanforderungen erreichen zu können. Weiters muss dabei auch berücksichtigt werden, dass QS dynamischen Prozessen, wie beispielsweise technischen Fortschritten, unterliegt. Deshalb sind immer wieder Qualitätsverbesserungsmaßnahmen notwendig, die in weiteren Zyklen bei der Qualitätsplanung Berücksichtigung finden und bei einer Längsschnittstudie wie PISA eine bedeutende Rolle spielen.

1.3 Verantwortlichkeiten bei der Qualitätssicherung

Maßnahmen zur Qualitätssicherung sind wie alle anderen Verantwortlichkeiten der Studie auf verschiede-nen Ebenen angesiedelt, da PISA auf der Zusammenarbeit verschiedener Instanzen aufbaut: Während die OECD als Auftraggeber fungiert und allgemeine Zielsetzungen festlegt, ist ein internationales Konsortium für das Design und die Richtlinien zur Durchführung der Studie im internationalen Rahmen verantwort-lich (vgl. auch Abschnitt 2 in Kapitel II). Die nationalen Zentren und die ihnen vorstehenden NPMs sind die Durchführenden auf nationaler Ebene. Dementsprechend sind auch die Verantwortlichkeiten in Bezug auf Qualitätssicherung auf diese Instanzen verteilt.Die OECD hat hierbei – in erster Linie durch das PISA Governing Board (PGB) – die Aufgabe, allgemei-ne Qualitätsanforderungen bzw. -maßstäbe festzusetzen und Entscheidungen in Bezug auf Konsequenzen des Nicht-Erreichens dieser Maßstäbe zu treffen (Qualitätsplanung). Diese Qualitätsmaßstäbe sind im Dokument „Technical Standards for the Implementation of PISA 2006“ formuliert (OECD, n. d.). In ihrer Managementfunktion hat die OECD auch dafür Sorge zu tragen, dass es innerhalb der Studie Mechanismen, Verfahren und Prozesse gibt, mit Hilfe derer die Qualität der Studie sichergestellt wer-den kann. Zum Beispiel verpflichtet die OECD das internationale Konsortium dazu, eine Reihe von unabhängigen Expertengruppen (SMEG, SAG, TAG) einzubeziehen (vgl. hierzu Abschnitt 2.4 und 3.2 in Kapitel II), was der Sicherstellung eines hohen Qualitätsniveaus dient. In Zusammenarbeit mit diesen Expertengruppen zeichnet das internationale Konsortium für die Implementierung konkreter Qualitätslenkungs-, Qualitätskontroll- und Qualitätsverbesserungsmaßnahmen in der Studie verantwort-lich. Für PISA 2006 besteht außerdem eine – vom internationalen Konsortium unabhängige – technische Gruppe, die im Auftrag des PGB die Qualität der Studie in verschiedenen Bereichen laufend beobachtet und evaluiert. Die Richtlinien zur Umsetzung der Qualitätslenkungs- und Qualitätskontrollmaßnahmen auf nationaler Ebene sind in den unterschiedlichen Manuals (z. B. Sampling Manual, Test Administrator Manual, Data Entry Manual etc.) festgelegt und beschrieben. Für die Durchführung bzw. Umsetzung dieser Richtlinien zeichnen sich die NPMs mit den ihnen unterstellten nationalen Zentren verantwortlich. Die Qualität der Umsetzung dieser Richtlinien wird wiederum vom internationalen Konsortium im Zuge des „Quality Monitorings“ (vgl. hierzu auch Abschnitt 1.4.1 idK.) beobachtet und begutachtet. Zusätzlich zu den international geplanten und für alle Teilnehmerländer zwingend vorgeschriebenen QS-Maßnahmen, kann Qualitätssicherung auch auf nationaler Ebene initiiert werden. Die nationalen Zentren sind in solchen Fällen nicht mehr nur ausführende Instanz, sondern selbstständig für die Planung und Implementierung dieser zusätzlichen Qualitätsmaßnahmen verantwortlich.

1.4 Qualitätssicherung in allen Untersuchungsphasen

Eine hohe Datenqualität kann grundsätzlich nur erzielt werden, wenn auf allen Ebenen einer Studie Qualitätssicherung betrieben wird. Es erscheint deshalb zweckmäßig, die einzelnen Qualitätssicherungs-maßnahmen chronologisch nach den Untersuchungsabläufen bei PISA anzuführen und zu erläutern. Wie in Abbildung XII.1 auf der nächsten Seite ersichtlich ist, können die einzelnen Abläufe bei PISA unter den drei Phasen „Vorbereitung“, „Datenerhebung“ und „Datenverarbeitung“ subsumiert werden. Die innerhalb der einzelnen Abläufe eingerichteten qualitätssichernden Maßnahmen können eine lenkende,


kontrollierende oder auch verbessernde Funktion aufweisen (vgl. Abschnitt 1.2 idK.). Ein Großteil der Untersuchungsabläufe inkludiert qualitätssichernde Maßnahmen, die von internationaler Seite vorge-schrieben sind, und somit von allen Teilnehmerländern verpflichtend eingehalten werden müssen. Bei einigen Abläufen werden die international vorgeschriebenen qualitätssichernden Maßnahmen noch zu-sätzlich durch nationale Maßnahmen ergänzt. Bei manchen Untersuchungsabläufen wiederum sind keine QS-Maßnahmen von internationaler Seite vorgesehen, sondern werden nur auf nationaler Ebene einge-führt. Ergänzend muss hinzugefügt werden, dass bei den auf nationaler Ebene initiierten QS-Maßnahmen, nur jene berichtet werden, die in Österreich umgesetzt worden sind. Zusätzlich sieht der zeitliche Plan vor dem Haupttest auch einen Feldtest vor, der vor allem der Erprobung der Instrumente, Methoden und Prozeduren an einer kleineren Stichprobe dient und eine wichtige

X

Qualitäts-lenkung

Qualitäts- kontrolle

Qualitäts- verbesserung

Quality Monitoring (Qualitätsüberwachung) X X X

Konstruktion von Testinstrumenten (Itementwicklung) X X

Konstruktion von Kontextfragebögen (Itementwicklung) X

Übersetzung und Anpassung der Erhebungsmaterialien und Manuals X

Vorbereitung und Organisation der Materialien X

Sicherung der Erhebungsmaterialien X

Stichprobenziehung(Schulebene - Schülerebene) X

Screening X X X

Dat

ener

hebu

ng

Datenerhebungsprozesse(Testdurchführung & Befragung) X X X

Rücklauf der Erhebungsinstrumente X X

Coding X X X

Dateneingabe X

Berufsklassifizierung (ISCO-Codierung) X X

Feld

test

200

5H

aupt

test

200

6

Vorb

erei

tung

Dat

enve

rarb

eitu

ngUntersuchungabläufe der PISA-Studie

chronologisch

Qualitätssicherung

QS-Maßnahmen, die vom internationalen Zentrum eingerichtet wurden und deren Umsetzung für alle Teilnehmerländer obligatorisch war.

QS-Maßnahmen, die sowohl vom internationalen Zentrum vorgeschrieben wurden, als auch solche, die auf nationaler Ebene in Österreich eingerichtet wurden.

QS-Maßnahmen, die auf nationaler Ebene in Österreich eingerichtet wurden.

X

X

Abbildung XII.1: Qualitätssicherungsmaßnahmen in den einzelnen Untersuchungsphasen bei PISA 2006


Qualitätslenkungsmaßnahme darstellt, da auf Grund der Erfahrungen und Ergebnisse dieses Feldtests Modifikationen und Verbesserungen für den Haupttest gemacht werden können. Das vorliegende Kapitel zielt darauf ab, einen möglichst umfassenden Überblick über qualitätssichernde Maßnahmen bei PISA 2006 zu geben. Bei der chronologischen Darstellung der QS-Maßnahmen in den Abschnitten 2–4, wie in Abbildung XII.1 dargestellt, werden jeweils am Anfang die Abläufe bzw. Prozesse, auf die sich die qualitätssichernden Maßnahmen beziehen, noch einmal kurz dargestellt und für eine detaillierte Beschreibung auf die entsprechenden Abschnitte vorangegangener Kapitel verwiesen. Im Anschluss daran werden die qualitätssichernden Maßnahmen hinsichtlich ihrer Funktionen und Ziele so-wie deren Umsetzung beschrieben. Dabei werden jene Maßnahmen, die in Österreich selbstständig oder in internationaler Zusammenarbeit durchgeführt werden, in der Regel ausführlicher behandelt, als jene, die primär auf internationaler Ebene stattfinden. Das Quality Monitoring (Qualitätsüberwachung) nimmt in Bezug auf den chronologischen Ablauf eine Sonderstellung unter den qualitätssichernden Maßnahmen ein. Zum einen ist diese Maßnahme nicht ausschließlich an eine der drei Untersuchungsphasen gekoppelt und zum anderen beziehen sich auch einzelne Tätigkeiten innerhalb dieser Maßnahme nur teilweise auf bestimmte Untersuchungsphasen, wes-halb das Quality Monitoring bereits im folgenden Abschnitt im Überblick behandelt wird.Wie in Abschnitt 1.2 dieses Kapitels angedeutet wurde, sind im Rahmen der Qualitätsverbesserung auch neue qualitätssichernde Maßnahmen im Vergleich zu den letzten Untersuchungsdurchgängen von PISA gesetzt worden. QS-Maßnahmen, die sich bereits bei PISA 2000 und/oder 2003 bewährt haben, finden sich aber auch bei PISA 2006 wieder, weshalb einige Abschnitte dieses Kapitels – in mehr oder weniger modifizierter Form – auf den Qualitätsteilen der technischen Berichte zu PISA 2000 (Reiter, 2001) und PISA 2003 (Wallner-Paschon, 2004) beruhen.

1.4.1 Quality-Monitoring-Aktivitäten

Wie bereits erwähnt, sind die NPMs für die Durchführung der Studie auf nationaler Ebene und damit auch für die Einhaltung der in den Manuals (Sampling Manual, Test Administrators Manual, Data Entry Manual etc.) festgehaltenen Richtlinien und Qualitätsanforderungen verantwortlich. Die NPMs sind grundsätzlich verpflichtet, dem internationalen Konsortium Abweichungen von diesen Richtlinien so bald wie möglich mitzuteilen, damit von entsprechenden Expertinnen und Experten des Konsortiums die Auswirkung auf die Datenqualität beurteilt werden kann. Ist die Qualität der Daten durch diese Abweichungen gefährdet, werden diese nicht akzeptiert, sondern alternative Vorgehensweisen vorgeschla-gen. Auch das vom internationalen Konsortium eingerichtete Quality Monitoring (QM) hat eine ähnliche Funktion, indem es primär darauf abzielt, Probleme früh zu identifizieren, um noch rechtzeitig Abhilfe schaffen zu können (Qualitätslenkung). Das QM besteht aus mehreren Aktivitäten, die nur teilweise an bestimmte Untersuchungsphasen gekop-pelt sind, und sich wie folgt darstellen:(1) Die Installation einer zentralen Datenbank, in der alle nationalen Projektzentren bereits umge-

setzte Arbeitsschritte (Meilensteine) eintragen müssen. Diese Maßnahme wurde bei PISA 2003 neu eingeführt und in PISA 2006 – vor allem technisch – weiterentwickelt. Sie dient in erster Linie der Dokumentation wichtiger Untersuchungsprozeduren sowie als Warnsignal bei Problemen, da zeitli-che Verzögerungen für die Konsortiumsmitglieder sofort ersichtlich sind.

(2) Der Besuch aller nationalen Projektzentren von so genannten National Center Quality Monitors (NCQMs). Unter anderem haben die NCQMs die Aufgabe, Daten mit Hilfe eines standardisierten Interviews zu sammeln. Diese Aktivität ist der Vorbereitungsphase zuzuordnen, und wird in Ab-schnitt 2.4 dieses Kapitels im Detail beschrieben.

(3) Der Besuch einer bestimmten Anzahl von PISA-Schulen während der Datenerhebung in jedem Teil-nehmerland von so genannten PISA Quality Monitors (PQMs) (im Detail vgl. Abschnitt 3.4 idK.). Bei jedem Schulbesuch eines PQMs wird ein Beobachtungsprotokoll der Testsitzung angefertigt und ein Interview mit der/dem PISA-Schulkoordinator/in durchgeführt.


(4) Berichte der Testleiter/innen zu den Testsitzungen, welche wichtige Informationen zur Qualität der Datenerhebung liefern und in Abschnitt 3.2 dieses Kapitels beschrieben werden.

(5) Beurteilung/Evaluierung der Studie durch die NPMs in Form von strukturierten Rückmeldebögen nach Feld- und Haupttest.

Die Informationen aus dem internationalen Quality Monitoring dienen vor allem der Qualitätskontrolle und bilden einen wichtigen Teil der Basis für die Beurteilung der Qualität der Datensätze der einzel-nen Teilnehmerländer (siehe unten). Durch die vorherige Ankündigung der Maßnahmen bzw. den Zeitpunkt mancher Maßnahmen, wie etwa dem NCQM-Besuch, erfüllen diese auch eine qualitätslen-kende Funktion. Darüber hinaus dienen die Rückmeldungen der NPMs an das internationale Zentrum aber auch der weiteren Verbesserung der Qualität und tragen somit zur Qualitätsentwicklung bei.1.4.2 Beurteilung der DatenqualitätDie beim QM gesammelten Daten werden in einer Datenbasis zusammengeführt, um sowohl einen Gesamtbericht als auch einzelne Länderberichte zu erstellen. Damit sind die wesentlichen Prozeduren und Richtlinien dokumentiert und deren Umsetzung nachweisbar.Im Gesamtbericht werden ohne Identifizierung der Teilnehmerländer die Aktivitäten der Datenerhebung im Detail dokumentiert. Die Länderberichte dienen vor allem der Technical Advisory Group (TAG) als Basis zur Beurteilung der Qualität der Daten der einzelnen Teilnehmerländer. Außerdem werden in diese Datenbeurteilung Informationen aus den Berichten über das Sampling und die Übersetzungsprozeduren herangezogen sowie die Ergebnisse der beiden Reliabilitätsstudien zur Qualität der Vercodung der offe-nen Schülerantworten auf Testaufgaben (vgl. Abschnitt 4.2.2 idK.). Weiters können auch Informationen aus den Daten selbst – die im Zuge des File-Cleanings, der Skalierung der Leistungsdaten und der Verarbeitung der Daten aus den Fragebögen entstehen – für diesen Prozess herangezogen werden. Diese Informationen bilden die Ausgangsbasis für eine Empfehlung der TAG bezüglich der Verwendbarkeit der Daten jedes Landes. Die laufende Zusammenarbeit zwischen NPMs und dem internationalen Konsortium hat zum Ziel für jedes Land qualitativ hochwertige Daten zu produzieren, die eine Empfehlung der TAG zur uneinge-schränkten Verwendung der Daten in den internationalen Vergleichen ermöglichen. Bei schwerwiegen-den Abweichungen von Richtlinien oder Qualitätsanforderungen – vor allem, wenn diese ohne Absprache bzw. ohne Genehmigung des internationalen Projektzentrums erfolgt sind, kann die Empfehlung der TAG bestimmte Einschränkungen in der Verwendung der Daten enthalten. Es kann zum Beispiel ange-regt werden, gemeinsam mit dem betroffenen Land gewisse Aspekte der Daten genauer zu prüfen. Unter gewissen Umständen kann die Empfehlung lauten, die Ergebnisse eines Landes nur mit entsprechenden Anmerkungen über die eingeschränkte Interpretier- und/oder Vergleichbarkeit der Daten zu publizieren. Im Extremfall werden die Daten solcher Länder nicht in die internationale Datenbasis aufgenommen und bei Publikationen nicht berücksichtigt. Letzteres ist bis dato aber noch nicht vorgekommen. Die endgültige Form der Empfehlung bezüglich der Verwendbarkeit der Daten jedes einzelnen Landes wird im internationalen technischen Bericht publiziert.

2. Qualitätssicherung in der Vorbereitungsphase

2.1 Erhebungsmaterialien

2.1.1 Die Konstruktion der TestinstrumenteQualitätssicherungsmaßnahmen bei der Konstruktion der Testinstrumente ergeben sich primär durch die verbindliche Anwendung international vorgegebener Prozeduren bei der Aufgabenentwicklung. Qualitätssichernde Maßnahmen sind somit ein integraler Bestandteil bei der Testkonstruktion, die in Abschnitt 5 in Kapitel III im Detail beschrieben wird. Diese Maßnahmen verfolgen vor allem das Ziel, die Datenqualität im Hinblick auf Objektivität, Validität und Reliabilität zu sichern. Hier kommen vor allem Qualitätslenkungsmaßnahmen mit überwachender und korrigierender Funktion zum Einsatz:


• Die erste Maßnahme in diesem Bereich bezieht sich auf die Präzisierung und Definition der zu mes-senden Bereiche (Frameworks). Die Entwicklung der Testaufgaben, die sowohl auf internationaler als auch auf nationaler Ebene erfolgt, muss in Anlehnung an die theoretische Basis der Frameworks geschehen. Die von den einzelnen Ländern eingereichten Testaufgaben werden vor der Aufnahme in den Itempool vor allem auf ihre Übereinstimmung mit den Frameworks von internationalen Exper-tinnen und Experten kontrolliert. Mit dieser Maßnahme wird primär die Validität der Testinstrumen-te und damit auch die Gültigkeit der Daten sichergestellt.

• Eine weitere Maßnahme zur Gewährleistung der Validität ist die Evaluierung der Testaufgaben mit Hilfe kognitiver Laborverfahren (Cognitive Laboratory). Diese kognitiven Techniken, wie zum Bei-spiel das laute Denken, geben Hinweise darüber, wie Befragte gewisse Aufgaben oder Elemente davon verstehen und interpretieren, sowie auf Grund welcher Überlegungen Antworten zu Stande kommen. Diese Techniken eignen sich gut zur Überprüfung des Aufgabenverständnisses und der Einstufung der hinter den einzelnen Aufgaben stehenden Lösungsprozesse.

• In einem weiteren Schritt werden die in den Testpool aufgenommenen Aufgaben durch nationale Expertinnen und Experten (vgl. Abschnitt 3.2 in Kapitel II) bewertet. Auch diese Maßnahme dient der Gewährleistung eines möglichst validen Testinstrumentariums. Durch die Beurteilung der Auf-gaben auch aus speziell nationaler Perspektive – also etwa, wie vertraut der Kontext von Aufgaben 15-/16-Jährigen im eigenen Land ist oder inwieweit die durch eine Aufgabe getesteten Prozesse und Fähigkeiten Teil der nationalen Lehrpläne sind – spielt diese Rückmelderunde auch eine große Rolle bei der Sicherstellung der Vergleichbarkeit der Daten zwischen den Ländern.

• Zeitgleich dazu werden seitens des internationalen Zentrums die Testaufgaben einem Pilottest1 unter-zogen.

• Die bis dato ausgewählten Testaufgaben werden in allen Ländern in einem Feldtest erprobt und Item-statistiken, sowohl über alle Länder hinweg, als auch getrennt für jedes Land berechnet. Dabei werden die Testaufgaben auf ihre Messgenauigkeit (Reliabilität) hin analysiert. Mit Hilfe der Itemstatistiken auf Länderebene können problematische bzw. riskante Aufgaben lokalisiert und nochmals auf Über-setzungsfehler, kulturelle Passung etc. überprüft werden, womit die Objektivität und dadurch die Vergleichbarkeit der Daten gesichert wird. Bei Problemen mit Testaufgaben über alle Länder hinweg werden die jeweiligen Aufgaben für den Haupttest ausgeschlossen.

• Nach dem Feldtest erfolgt neben den Itemanalysen auch eine neuerliche Itembegutachtung auf na-tionaler Ebene. Da sich einige Items im Verlauf der Itementwicklung verändern, sollen nationale Expertinnen und Experten nochmals die Validität der Items beurteilen.

• Auf der Basis der Itemstatistiken und der nationalen Expertengutachten erfolgt dann die endgültige Auswahl der Aufgaben für den Haupttest durch internationale Expertengruppen.

Im Rahmen einer Qualitätskontrolle werden auch am Ende des Haupttests Itemstatistiken berechnet. Aufgaben, die sich hier noch immer als problematisch erweisen, können als letzte Konsequenz auf inter-nationaler Ebene oder nur für einzelne Länder aus der Berechnung der Leistungsscores ausgenommen werden (für eine genaue Beschreibung vgl. Kapitel III).

2.1.2 Die Konstruktion der Kontextfragebögen

Die im Haupttest 2006 eingesetzten Kontextfragen wurden nicht alle neu entwickelt, sondern stel-len zum Teil eine Auswahl aus den bereits in PISA 2000 und 2003 eingesetzten Fragen dar. Die Vorgehensweisen bei der Auswahl und Neukonstruktion der Fragen werden in Kapitel IV im Detail erläutert. In diesem Kapitel werden die qualitätssichernden Aspekte nochmals hervorgehoben. Die dazu vorgesehenen Maßnahmen – primär Qualitätslenkungsmaßnahmen mit überwachender und korrigieren-der Funktion – verfolgen, wie bereits bei den Testinstrumenten, vor allem das Ziel, die Datenqualität im Hinblick auf Objektivität, Validität und Reliabilität zu sichern. Folgende Qualitätslenkungsmaßnahmen sind international vorgeschrieben und erfolgen teils auf nationaler und teils auf internationaler Ebene und sind punktuell identisch mit jenen Maßnahmen bei der Testkonstruktion:


• Ausgangspunkt für die Erstellung der Fragebögen sind die vom PGB festgelegten Prioritäten. Diese geben vor, welche Bereiche Kernbereiche der Kontextfragebögen darstellen und demnach aus Zwe-cken des Vergleichs über die Zeit hinweg in jedem PISA-Zyklus verwendet werden müssen. Weiters wird für jeden Erhebungsdurchgang festgelegt, welche Schwerpunkte spezielle Berücksichtigung fin-den sollen.

• Eine weitere Maßnahme in diesem Bereich bezieht sich auf die Präzisierung und Definition der zu messenden Bereiche (Kontext-Framework) und die Konstruktion der Fragen in Anlehnung an diese theoretische Basis, die ausschließlich von Expertinnen und Experten des Konsortiums durchgeführt wird. Mit dieser Maßnahme wird sichergestellt, die Zusammenstellung der Fragebögen theoretisch fundiert vorzunehmen.

• Eine weitere Qualitätssicherungsmaßnahme zur Gewährleistung der Validität ist die Evaluierung der neu konstruierten Fragen mit Hilfe kognitiver Laborverfahren (Cognitive Laboratory), welche auch bei den Testaufgaben verwendet werden. Ihre Anwendung bei Fragebogenitems gibt Hinweise darü-ber, wie Befragte gewisse Fragen oder Elemente davon verstehen und interpretieren, sowie auf Grund welcher Überlegungen Antworten zu Stande kommen. Diese Techniken eignen sich gut zur Überprü-fung des Fragenverständnisses, und werden auf internationaler Ebene durchgeführt.

• Seitens des internationalen Zentrums werden die neu konstruierten Kontextfragen einem Pilottest unterzogen.

• In Form von schriftlichen Rückmelderunden und im Rahmen der NPM-Meetings werden von den einzelnen Ländern die Fragebogenitems beurteilt.

• Alle Fragebogenitems werden in jedem Teilnehmerland in einem Feldtest erprobt. Die Feldtestdaten werden vom internationalen Zentrum sowohl über alle Länder hinweg, als auch getrennt nach den Ländern, ausgewertet. Dabei werden Fragen identifiziert, die einen hohen Anteil fehlender Antwor-ten (Missing-Anteil) aufweisen oder zu bestimmten Antwortmustern führen. Diese werden ausge-schlossen oder gegebenenfalls modifiziert. Dabei ist anzumerken, dass es beim Feldtest für PISA 2006 vier Versionen des Feldtest-Schülerfragebogens gab, auf die die vielen neu konstruierten Items und Fragenblöcke aufgeteilt wurden, um die Bearbeitungszeit der Schüler/innen auch im Feldtest auf eine halbe Stunde begrenzen zu können. Weiters bietet die Verwendung mehrerer Fragebögen die Mög-lichkeit, inhaltlich identische, aber etwas anders formulierte Fragen zu erproben, um zu sehen, welche Art der Formulierung besser verstanden wird. Jene Fragen (Items), die zur Messung von einzelnen Konstrukten dienen, werden nach dem Feldtest (und bestätigend nach dem Haupttest) einer Fakto-renanalyse unterzogen, um deren Struktur zu überprüfen.

• Die Daten der nationalen Zusatzerhebungen werden auf nationaler Ebene deskriptiv ausgewertet, um Fragen mit einem hohen Missing-Anteil oder speziellen (unerwünschten) Antwortmustern zu identifizieren.

• Auf der Basis der statistischen Analysen und der nationalen Bewertungen erfolgt die endgültige Aus-wahl der Fragen für den Haupttest durch internationale Expertengruppen.

2.1.3 Übersetzung und Anpassung der internationalen MaterialienDa PISA eine internationale Studie ist, die in 57 Ländern und in knapp 40 verschiedenen Sprachen durchgeführt wird, ergibt sich die Notwendigkeit, Test- und Fragebögen sowie einige Handbücher zu übersetzen und den nationalen Gegebenheiten anzupassen. Im Detail sind die Übersetzungsvorgänge in Abschnitt 4 in Kapitel III (Testinstrumente), Abschnitt 2 in Kapitel IV (Fragebögen) und in Abschnitt 6 in Kapitel VI (Handbücher) beschrieben. Die Qualitätssicherungsmaßnahmen in diesem Bereich sind großteils ein integraler Bestandteil der Studie und somit obligatorisch für alle Teilnehmerländer in die Übersetzungsprozeduren integriert. Sie dienen in erster Linie dem Zweck, die Vergleichbarkeit der Ergebnisse zwischen den Ländern sicherzustellen, indem durch eine qualitativ hochwertige Übersetzung und Anpassung der Materialien eine objektive Datenerhebung erfolgen kann. Durch folgende Qualitätslenkungsmaßnahmen wird versucht, die Qualität der Übersetzungen und Anpassungen der Materialien hoch zu halten:


• Internationale ÜbersetzungstippsVon internationaler Seite wird die Übersetzung dadurch unterstützt, dass im betreffenden NPM-Meeting häufig auftretende Übersetzungsprobleme, -fallen und -fehler diskutiert werden. Dies ist vor allem auch für neue Länder bzw. neue nationale Projektzentren hilfreich.• Auswahl der Übersetzer/innenEin weiterer Aspekt in Bezug auf Qualitätslenkung ist die Auswahl der Übersetzer/innen. Die Erstellung der Testinstrumente ins Deutsche wurde vom deutschen PISA-Zentrum organisiert. Die Einbeziehung der österreichischen Science-Expertengruppe bei der Begutachtung dieser Übersetzungen sowie der natio-nalen Adaption der Materialien soll die Tauglichkeit der Formulierungen für die Verwendung bei 15-/16- Jährigen österreichischen Schüler/innen gewährleisten.Die Fragebögen wurden teils von einer externen Übersetzerin, teils von Mitarbeiterinnen/Mitarbeitern des nationalen Projektzentrums übersetzt, da hier Personen mit fundiertem Wissen in Bezug auf das öster-reichische Schulsystem sowie mit theoretischen Kenntnissen und Erfahrung in der Fragebogenerstellung benötigt werden.Auch die Manuals werden von Mitarbeiterinnen und Mitarbeitern des nationalen Projektzentrums übersetzt. • Nationale ÜbersetzungstrainingsAlle Länder müssen nach internationalen Vorgaben für die Übersetzer/innen der Testinstrumente ein Training organisieren.• Zweifachübersetzung (double translation) bei den TestmaterialienAls Basis für die Übersetzung der Testinstrumente stehen Originalversionen in englischer und französi-scher Sprache zur Verfügung. Alle Testaufgaben und Fragebogenitems werden von zwei Übersetzerinnen/Übersetzern unabhängig voneinander übersetzt und anschließend von einer dritten Person zu einer gemeinsamen Version zusammengeführt. Die „double translation“ dient dazu, Fehler zu minimieren, indem erstens davon ausgegangen wird, dass zwei Personen meist nicht die gleichen Fehler machen und so gegenseitig Schwachstellen in den Übersetzungen aufgedeckt werden können. Zweitens wird durch die Übersetzung aus zwei verschiedenen Quellversionen das Problem zu umgehen versucht, dass Formulierungen einer Sprache oft auf mehrere Arten gedeutet werden können. Das Heranziehen einer zweiten Quellversion soll solche Uneindeutigkeiten minimieren. Auch die internationalen Fragebögen werden dieser Prozedur unterzogen.• Kooperation mit anderen deutschsprachigen Ländern bei den TestmaterialienDer Umstand, dass mehrere Länder an PISA teilnehmen, die Testsitzungen (zumindest unter anderem) auf Deutsch durchführen, ermöglicht eine enge Kooperation bei der Übersetzung. So kann einerseits der Aufwand dieser Prozeduren auf mehrere Länder aufgeteilt werden und dadurch können insgesamt mehr zeitliche Ressourcen für die jeweiligen Übersetzungen verwendet werden. Andererseits ermöglicht die Zusammenarbeit gegenseitige Kontrolle und Feedback.Bei der Übersetzung und Adaption der Erhebungsmaterialien dient die Kooperation mit anderen Teilnehmerstaaten auch dazu, potentiell uneindeutige Passagen in den Testaufgaben und Fragebogenitems aufzudecken. Nach Fertigstellung der gemeinsamen Version müssen – vor allem bei den Kontext-Fragebögen – relativ umfangreiche Arbeiten geleistet werden, um die Fragestellungen an die nationalen Gegebenheiten anzupassen.• Anpassung der Erhebungsmaterialien und ManualsDie Materialien müssen nationalen, sprachlichen, kulturellen sowie praktischen Gegebenheiten angepasst werden. Dies geschieht nach international vorgegebenen Richtlinien, um die Vergleichbarkeit zwischen verschiedenen Ländern nicht zu gefährden. Alle Anpassungen müssen dokumentiert und vom internati-onalen Zentrum genehmigt werden.• Verifikation der Erhebungsmaterialien und HandbücherAls weitere Qualitätslenkungsmaßnahme wird vom internationalen Zentrum eine „Verifikationsstelle“ eingerichtet. Hier werden alle Übersetzungen von speziell geschulten Mitarbeiterinnen und Mitarbeitern überprüft und mit Anmerkungen versehen an das entsprechende Land zurückgeschickt. Vor dem Druck


müssen alle Erhebungsinstrumente ein zweites Mal zur Verifikationsstelle geschickt werden, um vor allem das Layout zu verifizieren. Einen ähnlichen Prozess durchlaufen die Handbücher für die Schulkoordinatorinnen und -koordinatoren sowie für die Testleiter/innen. Bei diesen müssen ebenfalls alle Anpassungen an nationale Gegebenheiten dokumentiert und von internationaler Seite genehmigt werden (dafür müssen bei größeren Änderungen Rückübersetzungen der nationalen Versionen auf Englisch durchgeführt werden). Die Verifikationsstelle, welche auch die Verifikation der Test- und Fragebögen vornimmt, stellt dann die sprachlich korrekte Übersetzung sowie die Umsetzung der Adaptionen entsprechend der Dokumentation sicher.Die Verifikation mit ihrem Kontrollcharakter ist als Qualitätslenkung zu sehen, da die Qualität der Übersetzung und Anpassung überprüft wird, und die Verifikation vor dem Druck der Instrumente statt-findet, so dass die Rückmeldungen des Verifikators/der Verifikatorin noch in den nationalen Versionen berücksichtigt werden können. Ein aus diesem Prozess resultierender Übersetzungsbericht, der, wie er-wähnt, in den Beurteilungsprozess der Datenqualität der Länder einfließt, stellt zudem auch eine kon-trollierende Maßnahme dar.2.1.4 Vorbereitung und Organisation der MaterialienAlle Materialien, die bei den Testsitzungen zum Einsatz kommen, müssen vorbereitet und organisiert werden. Testhefte und Fragebögen müssen gedruckt und mit Etiketten versehen werden, die Schul- und Schüleridentifikationsnummern enthalten. Hierbei müssen Rotationsschemata beachtet werden, damit alle Testheftformen möglichst gleich oft zum Einsatz kommen und die Zuteilung von Formen zu Personen zufällig erfolgt. Die etikettierten Materialien müssen dann zu Testpaketen für jede Schule zusammenge-stellt werden (vgl. hierzu auch Kapitel VI in Abschnitt 4).Die genaue Überprüfung aller Materialien, bevor sie zum Einsatz kommen, soll Probleme bei der Testdurchführung minimieren und die Zuordenbarkeit der Instrumente zu Schulen sowie Schülerinnen und Schülern nach dem Rücklauf garantieren, um möglichst vollständige Daten zu bekommen.Folgende Qualitätslenkungsmaßnahme ist von internationaler Seite her vorgeschrieben:• Vor Beauftragung einer Druckerei muss jedes nationale Zentrum ein dafür von internationaler Seite

zur Verfügung gestelltes Mustertestheft drucken lassen und dieses an das internationale Konsortium übermitteln, um eine zufrieden stellende Druckqualität sicherzustellen. Wenn ein Land hohe Druck-qualität beim vorangegangenen Erhebungszyklus nachweisen kann und die Druckerei nicht gewech-selt wird, können die „alten“ Testhefte für diesen Zweck herangezogen werden.

Weiters werden qualitätslenkende Maßnahmen in Österreich durchgeführt, die international nicht vorge-schrieben sind und deshalb national unterschiedlich gehandhabt werden können:• Die Blaupause aller Instrumente wird von PISA-Mitarbeiterinnen und Mitarbeitern auf Qualität,

Fehler und Vollständigkeit überprüft.• Alle Materialien werden nach Eintreffen aus der Druckerei in zwei Schritten überprüft: eine erste sehr

genaue Überprüfung vom/von der für die Instrumente zuständigen Mitarbeiter/in bezieht sich auf eine Stichprobe von Heften jeder Sorte, um eventuelle serielle Fehler sofort aufzudecken und entspre-chende Hefte oder ggf. ganze Chargen von weiteren Vorgängen ausschließen zu können. In einem zweiten Schritt wird von externem Personal jedes einzelne Heft auf Vollständigkeit und entsprechen-de Druckqualität überprüft.

• Die fertigen Schulpakete werden von zwei Mitarbeiterinnen/Mitarbeitern des nationalen Zentrums unabhängig voneinander auf Vollständigkeit und Korrektheit der Etikettierung überprüft.

• Außerdem werden die Testleiter/innen aufgefordert, vor jeder Testsitzung das entsprechende Schulpa-ket noch einmal auf Vollständigkeit hin zu überprüfen.

2.1.5 Sicherung der MaterialienSpezielles Augenmerk wird auf die Sicherung der Materialien gelegt. Zum einen sind sämtliche Testmaterialen vertraulich zu behandeln und dürfen nicht vervielfältigt oder veröffentlicht werden, um die


Vergleichbarkeit der Leistungsdaten für die weiteren PISA-Erhebungen nicht zu gefährden. Zum anderen muss sichergestellt werden, dass ausgefüllte Fragebögen und Testhefte zur Wahrung der Anonymität der Schüler/innen nicht in fremde Hände gelangen. Dies spielt vor, während und nach der Datenerhebung eine wichtige Rolle. Obwohl die vertrauliche Behandlung der Testmaterialien als auch die Wahrung der Anonymität der Schüler/innen internationalen Richtlinien entspricht, werden diesbezüglich keine QS-Maßnahmen seitens des internationalen Zentrums vorgegeben. Die Einhaltung dieser Richtlinien und die damit einhergehenden qualitätssichernden Maßnahmen müssen von den teilnehmenden Ländern ent-sprechend nationaler Gegebenheiten individuell geregelt werden. Im Folgenden werden die Maßnahmen, die in Österreich während der Vorbereitungsphase getroffen werden, kurz beschrieben.Die fertig gepackten Schulpakete werden bis zur Übergabe an die Testleiter/innen (TL) in Räumlichkeiten des nationalen Zentrums verwahrt. Die Übergabe der Materialien an alle Testleiter/innen erfolgt persön-lich während der TL-Schulungen. Da diese an verschiedenen Orten in Österreich (vgl. Abschnitt 5.2 in Kapitel VI) durchgeführt werden, müssen die Schulpakete von Mitarbeiterinnen und Mitarbeitern des nationalen Projektzentrums zu den Schulungen gebracht werden. Dort übernehmen die Testleiter/innen die Pakete, und sind ab diesem Zeitpunkt für die sichere Lagerung bis zum Rücklauf in das nationale Zentrum verantwortlich. Die Übernahme der Pakete muss von den Testleiterinnen und Testleitern schrift-lich bestätigt werden. Weiters sind in den Verträgen mit den Testleiterinnen und Testleitern entsprechen-de Vertraulichkeitsklauseln enthalten.Vorteile dieser Vorgangsweise sind erstens die Umgehung von Postwegen, bei denen erfahrungsgemäß Materialien verloren gehen, und die Tatsache, dass so keine Materialien zu irgendeinem Zeitpunkt vor und auch nach den Testsitzungen an PISA-Schulen aufbewahrt werden müssen.

2.2 Stichprobenziehung (Sampling)

Qualitätsmaßnahmen beim Sampling dienen dazu, die Qualität der Stichprobe zu sichern, indem die Repräsentativität der Stichprobe in jedem Land und damit die Vergleichbarkeit zwischen den Ländern gewahrt werden kann. Alle Vorgangsweisen bei der Stichprobenziehung werden in Kapitel V beschrieben und in diesem Abschnitt in Bezug auf Qualitätssicherung zusammenfassend dargestellt. Durch die Installation folgender Qualitätslenkungsmaßnahmen beim Sampling wird die Vergleichbarkeit zwischen den Ländern gewährleistet:• Festsetzung eindeutiger Standards für die PISA-Stichprobe durch die OECD.• Operationalisierung dieser Standards im Sampling-Manual. Hierzu gehören auch die internationalen

Vorgaben bezüglich der Rücklaufquoten, welche in Abschnitt 4 des Kapitels V beschrieben sind.• Genaue Dokumentation des Stichprobenplans sowie der Samplingprozeduren mit Hilfe einheitlicher

Formulare, um die Nachvollziehbarkeit und damit auch die Vergleichbarkeit zu gewährleisten.• Die Zufallsauswahl von Schulen aus einer Liste erfolgt auf internationaler Ebene durch Expertinnen

und Experten. Diese Qualitätslenkungsmaßnahme dient vor allem der Sicherstellung der Vergleich-barkeit der Stichproben der verschiedenen Länder.

• Auch die Zufallsauswahl auf Schülerebene folgt internationalen Vorgaben und erfolgt durch die nati-onalen Zentren im Normalfall über die Dateneingabesoftware „KeyQuest“. Durch die vereinheitlich-te einfache Handhabung und die automatische Dokumentation im Hintergrund des Programms sind alle Schritte nachvollziehbar und können von den hierfür zuständigen internationalen Expertinnen und Experten kontrolliert werden, um Fehler bei dieser Prozedur auszuschließen.

2.3 Screening

Zum Screening zählen alle Tätigkeiten, die in Verbindung mit der Teilnahme der ausgewählten Schulen an der PISA-Studie stehen. Die Screening-Abläufe sind ein Teil der Testorganisation, deren genaue Umsetzung in den Abschnitten 2 bis 3 beschrieben ist. Qualitätssichernde Maßnahmen in diesem Bereich dienen vor allem dazu, die Teilnahmebereitschaft der Schulen und Schüler/innen an der Studie zu erhöhen, was ei-nen wesentlichen Beitrag zur Qualität der Daten und damit auch zu deren Vergleichbarkeit darstellt. Die


Umsetzung wird sowohl durch qualitätslenkende als auch qualitätskontrollierende Maßnahmen begleitet, die primär auf nationaler Ebene in Österreich eingeführt wurden.2.3.1 Qualitätslenkungsmaßnahmen beim ScreeningFolgende Maßnahmen der Qualitätslenkung sind im Rahmen des Screenings erwähnenswert:• Die zuständigen Schulbehörden werden vorab über die Studie informiert und zur Unterstützung auf-

gefordert. Hierbei ist auch ein Schreiben der Frau BM Gehrer an die amtsführenden Präsidentinnen und Präsidenten der Landesschulräte bzw. des Stadtschulrats für Wien förderlich, um die Bedeutsam-keit der Studie zu unterstreichen. Erst nach Information aller zuständigen Schulbehörden, in deren Zuständigkeitsbereich PISA-Schulen fallen, werden die Schulen angeschrieben.

• Die Teilnahmemotivation der Schulen soll durch möglichst wenig Aufwand ihrerseits gesteigert wer-den, indem für die Testdurchführung externe Testleiter/innen eingesetzt werden. Die Kontaktperson für PISA an der Schule (Schulkoordinator/in – SK) ist nur dafür zuständig, eine Schülerliste zu erstel-len, einen Testraum zu organisieren und den Testtermin mit dem/der Testleiter/in zu koordinieren.

• Bei Nicht-Reagieren von Schulen auf Anschreiben des nationalen Zentrums wird jeweils telefonisch mit den Schulen Kontakt aufgenommen. Dies erfolgt auch, wenn bei der Kontrolle der Schülerliste, die von der Schule erstellt wurde, Informationen fehlen oder unplausibel erscheinen.

• Die Schulkoordinatorin/der Schulkoordinator, die/der von der Schulleitung zu bestimmen ist, wird durch kurze, möglichst prägnante Briefe informiert und nicht, wie international vorgesehen, durch ein relativ umfangreiches Handbuch. Diese Informationsschreiben werden jeweils zu den Zeitpunk-ten verschickt, an denen bestimmte Arbeiten von der Schulkoordinatorin/vom Schulkoordinator durchzuführen sind; so muss diese/r nicht selbst auf die Einhaltung von (längeren) Fristen achten.

• Der Aufwand für die Schulkoordinatorinnen und -koordinatoren wird finanziell abgegolten.• Weiters gibt es für die Schulen die Möglichkeit der telefonischen Rücksprache mit dem nationalen

Zentrum, wenn weitere Informationen gewünscht werden oder Probleme oder Unklarheiten auftre-ten.

• Schüler/innen und Eltern erhalten vor dem Testtermin Informationsschreiben und die Möglichkeit, über E-Mail oder Telefon weitere Informationen bei den zuständigen Personen am BMUKK, bei den Elternvertreterinnen und -vertretern oder dem nationalen Zentrum einzuholen.

• Nach Abschluss aller Tests, erhalten die Schulkoordinatorinnen und Schulkoordinatoren ein Dank-schreiben, dem auch eine Teilnahmeurkunde für die jeweilige Schule beiliegt.

2.3.2 Maßnahmen zur Qualitätskontrolle beim ScreeningDie Qualitätskontrolle beim Screening erfolgt in Form von Feedbackbögen, welche den Schulkoordinatorinnen und -koordinatoren zugesendet werden. Diese Rückmeldungen dienen dazu, die Anstrengungen, die bei der Qualitätslenkung betrieben werden, zu bewerten und gegebenenfalls bei der nächsten Erhebung zu verbessern. Damit ist diese Maßnahme auch ein wesentlicher Beitrag zur Qualitätsentwicklung.Von den insgesamt 196 Schulkoordinatorinnen und -koordinatoren haben 151 die Möglichkeit der Rückmeldung genutzt, was einem Rücklauf von 77 % entspricht. Die Rückmeldebögen umfassen fünf Themenbereiche, von denen folgende drei zu den Vorbereitungs-arbeiten zählen:• Fragen zum Informationsmaterial für den/die SK• Fragen zur Kooperation mit dem/der Testleiter/in• Fragen zur Teilnahmebereitschaft der Schüler/innenZu zwei dieser Themenbereiche liegen auch Informationen aus den – in PISA 2006 neu eingeführten – Feedbackbögen der Testleiter/innen vor. Es sind dies Informationen • zur Zusammenarbeit zwischen SK und TL aus Sicht der Testleiter/innen und• zur Teilnahmebereitschaft der Schüler/innen.Zwei Themenbereiche der SK-Befragung beziehen sich auf die Testsitzung selbst und werden deshalb später in Abschnitt 3.3 in diesem Kapitel behandelt.


Die Beurteilung des ersten Themenbereiches „Fragen zum Informationsmaterial für den/die Schulkoordinator/in“, welches vom nationalen Zentrum in Briefform verfasst wurde, fällt relativ posi-tiv aus. Mit dem Umfang und der inhaltlichen Gestaltung der Informationen zweigen sich 68 % der Befragten sehr und weitere 29 % eher zufrieden (vgl. das linke Diagramm in Abbildung XII.2). Nur 1 % der SK gibt an, eher weniger zufrieden gewesen zu sein, keiner zeigte sich nicht zufrieden.Ähnlich positiv fallen auch die Bewertungen der Informationen im Detail aus. Für insgesamt 95 % der SK war die zentrale Aufgabe, die Erstellung der Schülerliste, sehr oder eher leicht. 5 % empfanden die-se Aufgabe als eher schwierig. Keine/r gab an, dies als sehr schwierig erlebt zu haben (vgl. das rechte Diagramm in Abbildung XII.2).

Abbildung XII.2: SK-Rückmeldungen zum Informationsmaterial

Zufriedenheit mit Umfang und inhalt-licher Gestaltung der Informationen

1 % 0 %

sehrzufrieden

zufrieden wenigerzufrieden

nichtzufrieden

Schwierigkeit der Erstellungder Schülerliste

0 %

20 %

40 %

60 %

80 %

100 %

sehrleicht

eherleicht

eherschwierig

sehrschwierig

N = 149 N = 147

5 %0 %

68 %

30 %

40 %

55 %

Waren die Abläufe und die Ausschlusskriterien klar beschrieben?

0 % 20 % 40 % 60 % 80 % 100 %

Ausschluss-Codes

Abläufe

Ja NeinN = 144/148

93 %

97 %

7 %

3

Abbildung XII.3: SK-Rückmeldungen zu Abläufen und Ausschlusskriterien


Die Informationen über die Abläufe der Studie fanden 96 % der SK klar formuliert. 93 % der Befragten geben weiters an, auch mit den Beschreibungen der Ausschlusskriterien für einzelne Schüler/innen und den damit verbundenen Codes gut zurechtgekommen zu sein (vgl. Abbildung XII.3).

Beim zweiten Themenbereich „Kooperation mit dem/der Testleiter/in“, geben 89 % der SK an, mit der Betreuung durch den/die Testleiter/in sehr zufrieden gewesen zu sein, weitere 11 % zeigen sich zufrie-den. Keine/r äußerte sich weniger oder nicht zufrieden (vgl. das linke Diagramm in Abbildung XII.4). Dieses sehr positive Ergebnis wird noch durch einige zusätzliche Anmerkungen bezüglich der guten Zusammenarbeit mit den TL unterstrichen.

Das zweite Diagramm in Abbildung XII.4 zeigt, wie leicht oder schwierig die Vereinbarung eines Testtermins mit den TL von den SK erlebt wurde. 63 % der SK geben an, die Terminvereinbarung wäre sehr leicht gewesen, weitere 35 % beschreiben diese als eher leicht.Dies ist ein Bereich, der in PISA 2003 von einigen SK als problematisch beurteilt wurde, was sich damals auch in der Häufung von Kommentaren der SK zu diesem Themenbereich in Form der allgemeinen Anmerkungen zeigte. Zwar kann das Zeitfenster der Erhebung auf Grund der internationalen Vorgaben nicht – wie teilweise angeregt – in den Herbst verschoben werden. Durch entsprechende Vorinformationen schon im ersten Anschreiben an die Schulen im Jänner und die Bitte an die Schulleitung, wenn möglich, drei mögliche Termine für den PISA-Test innerhalb des Erhebungsfensters bei der Planung des zwei-ten Semesters freizuhalten, scheint sich die Situation gebessert zu haben. Dies zeigt sich sowohl darin, dass in PISA 2006 die Terminvereinbarung nur 2 % der SK als eher schwierig beurteilen, als auch in der Tatsache, dass in den (frei formulierten) Anmerkungen der SK dieser Themenbereich nicht mehr vorkommt. In PISA 2003 hatten 9 % der SK angegeben, Schwierigkeiten bei der Terminvereinbarung gehabt zu haben.

Zufriedenheit mit der Betreuung durch den/die Testleiter/in

sehrzufrieden

zufrieden wenigerzufrieden

nichtzufrieden

Schwierigkeit der Vereinbarungeines Testtermins

0 %

20 %

40 %

60 %

80 %

100 %

sehrleicht

eherleicht

eherschwierig

sehrschwierig

N = 151 N = 151

89 %

11 % 0 % 0 %

63 %

35 %

2 % 0 %

Abbildung XII.4: SK-Rückmeldungen zur Zusammenarbeit mit den TL


Abbildung XII.5 zeigt, dass 97 % der SK angeben, von dem/der zuständigen Testleiter/in rechtzeitig kontaktiert worden zu sein.Aus der Sicht der Testleiter/innen stellt sich die Kooperation mit den Schulkoordinatorinnen und -ko-ordinatoren ebenfalls positiv dar. 90 % jener Testleiter/innen, die den Rückmeldebogen in Bezug auf die PISA-Studie ausgefüllt haben, beurteilten die Kooperationsbereitschaft der SK als gut, die restlichen 10 % als mittelmäßig. Einige Probleme erlebten die Testleiter/innen mit der Erreichbarkeit der SK: ein Drittel berichtet davon, dass die SK schwer erreichbar waren; der Rest zeigt sich mit der Erreichbarkeit der SK zufrieden.

Die Kontaktaufnahme durch den/die Testleiter/in erfolgte ...

0 % 20 % 40 % 60 % 80 % 100 %

rechtzeitig

Ja NeinN = 148

97 % 3

Abbildung XII.5: SK-Rückmeldungen zur Kontaktaufnahme durch die TL

Die Bereitschaft zur Teilnahme von Schülerinnen und Schülern (bzw. deren Eltern) ...

0 %

20 %

40 %

60 %

80 %

100 %

war in fastallen Fällenvorhanden

konntemeist

hergestelltwerden

konnte inwenigenFällen

hergestelltwerden

konntemeistnicht

hergestelltwerden

N = 149

0 %2 %

85 %

13 %

Abbildung XII.6: SK berichtet über Teilnahmebereitschaft


Der dritte Bereich der SK-Befragung, der zur Vorbereitungsphase gehört, bezieht sich auf die Teilnahmebereitschaft der Schüler/innen bzw. darauf, ob Eltern ihre Kinder vom Test abmelden möch-ten. Die Rücklaufquoten stellen einen sensiblen Bereich in Bezug auf die Qualität und Vergleichbarkeit der resultierenden Daten dar. Wenn es um die Teilnahmebereitschaft der Schüler/innen (und das Einverständnis deren Eltern) geht, kommt dem/der SK eine zentrale Rolle zu. 85 % der SK berichten, dass die Teilnahmebereitschaft in fast allen Fällen von vornherein vorhanden war, weitere 13 % geben an, dass diese in den meisten Fällen durch ihre Überzeugungsarbeit hergestellt werden konnte. 2 % der SK konnten diese nur in wenigen Fällen herstellen, keine/r gibt an, diese meist nicht herstellen zu können (vgl. Abbildung XII.6 auf der vorhergehenden Seite). Diese Daten spiegeln die Informationen bezüglich des tatsächlichen Rücklaufs zum größten Teil wider; jene zwei Schulen, in denen sich der/die jeweils einzige Schüler/in des Zieljahrgangs vom Test abgemeldet hat (vgl. Kapitel VII) sind in diesen Analysen nicht enthalten, da nur an SK von Schulen, in denen auch tatsächlich ein PISA-Test stattgefunden hat, Rückmeldebögen versendet wurden.Jene Testleiter/innen, die den Rückmeldebogen für TL für die PISA-Studie ausgefüllt haben, äußern sich zur Abmeldeproblematik folgendermaßen: knapp 16 % haben ausschließlich in Schulen PISA-Tests durchgeführt, in denen es keine Abmeldungen gab. 70 % geben an, rechtzeitig von den SK über vorlie-gende Abmeldungen informiert worden zu sein, 14 % wurden nicht oder sehr spät über solche infor-miert. Insgesamt gibt nur ein/e TL an, gegen Abmeldungen von Schülerinnen und Schülern oder deren Eltern noch etwas tun gekonnt zu haben. Dies bestätigt die zentrale Rolle der SK in diesem Punkt.Die Rücklaufstatistiken (vgl. Kapitel VII) zeigen aber, dass die Teilnahmebereitschaft (ob von vornherein vorhanden und durch das Engagement von SK und/oder Schulleiterinnen und Schulleitern hergestellt) sehr hoch war und in Bezug auf die Qualität der österreichischen PISA-2006-Daten keinen negativen Einfluss haben dürfte.

2.4 National Center Quality Monitoring

Das National Center Quality Monitoring ist nur eine der Monitoring-Aktivitäten, die vom Internationalen Zentrum eingeführt werden (vgl. Abschnitt 1.4.1 idK.). Dabei werden die nationalen Projektzentren von so genannten National Center Quality Monitors (NCQMs) besucht, die vor Ort die Qualität der Prozeduren der nationalen Zentren überprüfen. NCQMs arbeiten im Auftrag des internationalen Konsortiums, sind mit den Verantwortlichkeiten eines NPM vertraut und werden vor ihren Besuchen vom internationalen Zentrum für ihre Aufgaben trainiert. Die Qualitätsüberprüfung durch die NCQMs wird auf der Basis eines standardisierten Interviews durchgeführt. Dieses umfasst Fragen zur Organisation der nationalen Zentren, der Adäquatheit der Manuals, der Qualitätsüberwachung sowie zu den wichtigs-ten Prozeduren wie beispielsweise der Stichprobenziehung, Übersetzung und dem Coding.Die NCQMs besuchen im Feldtest nur die nationalen Projektzentren der neu hinzugekommenen und in Bezug auf die richtige Prozessumsetzung gefährdeten Länder. Im Haupttest werden die Projektzentren aller Teilnehmerländer kurz vor der Erhebungsphase besucht. Da Österreich bereits an den ersten bei-den Erhebungen teilgenommen hat und in früheren PISA-Erhebungen die vorgegebenen Prozeduren regelkonform umgesetzt hat, wird das österreichische PISA-Projektzentrum nur im Haupttest von einem NCQM besucht. Zweck dieser Besuche ist die Überprüfung und Durchsicht aller Komponenten des PISA-Projekts mit dem Fokus auf Datenerhebungsprozeduren im weitesten Sinne (vom Sampling bis zu geplanten File-Cleaning-Prozeduren). Die NPMs sind angehalten mit den NCQMs zusammenzuarbeiten und ihnen alle angeforderten Materialien zur Verfügung zu stellen.Auf internationaler Ebene werden die Daten, die aus den Interviews vor dem Haupttest gewonnen wer-den, in einem Bericht zusammengefasst. Die NCQM-Berichte werden dazu verwendet, das Ausmaß des Erfolgs bezüglich der Einhaltung der vorgeschriebenen Ziele bei den einzelnen Phasen zu bewerten.Eine weitere Aufgabe der NCQMs ist, die PISA Quality Monitors auf ihren Einsatz vorzubereiten (vgl. Abschnitt 3.4 idK.).


3. Qualitätssicherungsmaßnahmen während der DatenerhebungUm möglichst objektive und damit vergleichbare Daten zu erhalten, ist es besonders wichtig, alle Schüler/innen unter den gleichen Bedingungen zu testen. Deshalb spielt Qualitätssicherung während der Datenerhebung in Bezug auf die Standardisierung der Testsitzungen (Durchführungsobjektivität) eine große Rolle. Alle Vorgänge, die zur Vorbereitung auf die Tests getroffen werden, sowie der Ablauf der Testsitzungen sind in Abschnitt 5 des Kapitels VI dokumentiert und im Detail beschrieben. Im vor-liegenden Kapitel sollen noch einmal jene Vorgänge herausgestrichen werden, die im Speziellen für die Qualitätssicherung relevant sind. Dabei handelt es sich sowohl um qualitätslenkende (vgl. Abschnitt 3.1 idK.), als auch qualitätskontrollierende Maßnahmen (vgl. Abschnitt 3.2 idK.). Letztere werden auch ver-stärkt für die Qualitätsentwicklung in der Phase der Datenerhebung genützt.

3.1 Qualitätslenkung zur Gewährleistung der Durchführungsobjektivität

Vor allem drei Maßnahmen sind in Bezug auf die Objektivität und damit für die Vergleichbarkeit der gewonnenen Ergebnisse von besonderer Bedeutung: • Einsatz externer Personen für die Administration der Tests (externe TL),• Schulung der Testleiter/innen,• standardisiertes Handbuch für die Testdurchführung inklusive standardisierter Skripts.Diese Maßnahmen leisten einen entscheidenden Beitrag zur Vereinheitlichung der Testdurchführung über die verschiedenen Schulen und Länder hinweg.3.1.1 Externe Testleiter/innenDer Einsatz von Personen als Testleiter/innen, die von außen zur Testschule kommen, den Test durchfüh-ren und sämtliche Materialien wieder mitnehmen, hat verschiedene Vorteile, die einen positiven Einfluss auf die Qualität der Testdurchführung mit sich bringen.Die Testdurchführung ist dadurch objektiver, da die Versuchung, einzelnen Schülerinnen oder Schülern bei Testaufgaben auf die Sprünge zu helfen, praktisch nicht vorhanden ist, und umgekehrt die Schüler/innen unbeobachtet von einem Lehrer/einer Lehrerin ihrer Schule die Tests und Fragebögen bearbeiten können. Der Testablauf findet durch den Einsatz externer Testleiter/innen kontrolliert und standardisiert statt, da Vorbereitung und Einschulung bei wenigen Personen intensiver verlaufen können. Außerdem spielt auch Erfahrung bei der Administration standardisierter Tests eine Rolle. Je mehr Testsitzungen geleitet werden, desto vertrauter wird man mit den Prozeduren und Richtlinien. Im Bewusstsein dieser Tatsache hat das nationale Projektzentrum ein stehendes Netz an Testleiterinnen und Testleitern aufgebaut, um großteils Testleiter/innen einsetzen zu können, die bereits in vorhergehenden PISA-Testungen Erfahrung sammeln konnten.Ein weiterer Vorteil ist, dass als externe TL nur Personen in Frage kommen, die sich freiwillig zur Verfügung stellen. Dadurch wird sichergestellt, dass die Beteiligten auch entsprechende Motivation mitbringen. Gleichzeitig wird durch diese Maßnahme die Motivation der Schulen und Schulkoordinatorinnen und -koordinatoren gestärkt, da ihnen ein großes Stück Arbeit abgenommen wird.Die Administration der Tests durch schulfremde Personen hat zudem den Vorteil, die Vertraulichkeit in Bezug auf persönliche Angaben der Schüler/innen – vor allem in den Fragebögen – zu sichern, da wäh-rend der Testsitzung keine Lehrer/innen der eigenen Schule Einsicht in die Arbeit der Schüler/innen neh-men können und zu keinem Zeitpunkt vor oder nach dem Test Materialien in Schulen gelagert werden müssen. Dies kann auch dazu führen, die Qualität der Daten aus den Schülerfragebögen zu verbessern, da ehrlichere Antworten von Seiten der Schüler/innen zu erwarten sind.Abgesehen davon, dass die externen TL einen großen Beitrag zur Qualitätslenkung während der Datenerhebung leisten, spielen sie auch bei der Qualitätskontrolle eine Rolle, indem von ihnen relativ ob-jektive Rückmeldungen über die Abläufe und Geschehnisse an den Testtagen sowie über die Brauchbarkeit von Manuals, Schulungen und sonstige Hilfestellungen erwartet werden kann (vgl. auch Abschnitt 3.2 idK.).


3.1.2 Schulung der Testleiter/innenDie Vertrautheit der TL mit den Abläufen der Testsitzungen wird durch zwei Maßnahmen gesichert: Zum einen durch die Abhaltung von Schulungen für alle Testleiter/innen (auch jene, die bereits in früheren Erhebungen tätig waren) und zum anderen durch selbstständige Vorbereitung der TL auf ihre Aufgabe.Die Vorbereitung erfolgt in drei Schritten: Alle TL erhalten einige Zeit vor der Einschulung ein Exemplar des Handbuchs zugeschickt. Dies ist mit der Bitte verbunden, sich persönlich vorzubereiten, damit bei der Schulung schon eine gewisse Vertrautheit mit der Materie vorhanden ist. Daraufhin ist die Teilnahme an einer halbtägigen Schulung für Testleiter/innen obligatorisch. Als dritter Schritt werden die TL auf-gefordert, sich zwischen Schulung und Testdurchführung noch einmal intensiv mit den besprochenen Abläufen auseinander zu setzen.3.1.3 Standardisierte Handbücher und SkriptsDas Handbuch für TL dient der Vereinheitlichung der Abläufe durch exakte Anweisungen. Diese müssen allerdings nicht nur einheitlich, sondern auch verständlich sein. Hierbei spielen Struktur und Übersichtlichkeit eine wichtige Rolle. Nur wenn man entsprechende Informationen schnell und zielsi-cher finden kann, ist es auch noch bei Unklarheiten während der Tests möglich, mit Hilfe des Handbuchs Entscheidungen zu treffen. Deshalb wurde bei der Gestaltung des Manuals auf nationaler Ebene beson-derer Wert auf die Gliederung und das Layout gelegt. In diesem Sinn werden die Rückmeldungen auf die Feldtestversion des Handbuchs sehr gewissenhaft ausgewertet und in die inhaltliche und optische Gestaltung der Haupttestversion einbezogen.Ein weiterer Punkt, der entscheidenden Einfluss auf die Qualität der Testdurchführung hat, ist die in-ternational einheitliche Administration der Tests. Hierzu leistet auch das Handbuch einen wichtigen Beitrag. Der Ablauf der Testsitzungen muss in allen Ländern gleich sein, und auch die Anweisungen und Erklärungen, die die Schüler/innen vor und während der Tests erhalten, dürfen sich zwischen den verschie-denen Ländern nicht unterscheiden. Dies wird durch zwei Qualitätslenkungsmaßnahmen erreicht: Zum einen gibt es als Ergänzung zur internationalen Version des Manuals Anmerkungen bezüglich erlaubter und nicht erlaubter Anpassungen von Teilen und Texten des Manuals an nationale Gegebenheiten. Zum anderen werden die Übersetzung und Adaption des Manuals – wie bei den Testinstrumenten – von inter-nationaler Seite überprüft und verifiziert. Besonders wichtig ist die internationale Einheitlichkeit bei den Skripts – den Anleitungen, die den Schülerinnen und Schülern vor und während der Testdurchführung gegeben werden. Diese sind im Handbuch für TL abgedruckt und müssen wörtlich vorgelesen werden. Aus diesem Grund ist es von Bedeutung, dass sowohl die Übersetzung dieser Textpassagen akkurat ist, als auch, dass sich die TL exakt an diese Vorgaben halten.

3.2 Qualitätskontrolle und -entwicklung durch Rückmeldung der TL

Während der Durchführung jeder Testsitzung wird von der Testleiterin oder dem Testleiter nach inter-nationalen Vorgaben ein standardisiertes Protokoll über Ablauf und eventuell aufgetretene Probleme ge-führt (vgl. Abschnitt 5.4.5 in Kapitel VI). Diese Protokolle werden in erster Linie zur Unterstützung der Rücklaufkontrolle angefertigt, enthalten aber auch viele wichtige Informationen, die zur Verbesserung von Materialien und Prozeduren führen können. Im vorliegenden Kapitel sollen die Analyse-Ergebnisse der Testsitzungs-Protokolle des Haupttests dargestellt werden. Indem die Rückmeldungen der Testlei-ter/innen systematisiert und analysiert werden, kann einerseits abgeschätzt werden, wie genau die PISA-Testungen den vorgeschriebenen Richtlinien entsprechen (Qualitätskontrolle); andererseits können die Anmerkungen der Testleiter/innen zur Verbesserung von Materialien für weitere Zyklen der PISA-Studie verwendet werden (Qualitätsentwicklung).Bei jeder PISA-Testung, egal ob erste Testsitzung oder Nachtest, wird ein Protokoll geführt. Dieses um-fasst eine genaue Auflistung darüber, wo und wann der Test stattgefunden hat, sowie die Anzahl der anwesenden bzw. abwesenden Schüler/innen. Zudem wird der zeitliche Ablauf genau protokolliert (siehe unten). Im Anschluss werden die Testleiter/innen gebeten, einige Fragen zu potentiellen Problemfeldern zu beantworten und gegebenenfalls zu erklären.


Die im Folgenden beschriebenen Auswertungen beruhen auf den Protokollen von 194 ersten Testsitzungen und 46 Nachtests (follow-up-sessions). Die Testung in Sonderschulen wird in diesen Auswertungen nicht berücksichtigt, da die Testzeiten hier anders geregelt sind. Besonderes Gewicht wurde bei der Auswertung auf eine exakte Einhaltung der vorgeschriebenen Zeiten sowie auf die Analyse von berichteten Problemen gelegt.3.2.1 Zur Dauer der PISA-TestungDie genaue Einhaltung der vorgegebenen Dauer der beiden Testteile von jeweils 60 Minuten ist ein wichtiger Qualitätsaspekt bei der Durchführung der Tests. Vor allem die Überschreitung dieser Zeit bei einigen Schulen oder geballt in einigen Ländern könnte zur Verfälschung der Leistungsdaten führen und deren Vergleichbarkeit gefährden.Die vorgegebene Dauer von 60 Minuten für den ersten Testteil wurde, in 236 der 240 Testsitzungen exakt eingehalten. Die Abweichungen in den anderen vier Testsitzungen sind von minimalem Ausmaß: in drei Schulen gab es eine Abweichung von nur 1 Minute (zweimal nach unten, einmal nach oben); die größte Abweichung beträgt 3 Minuten. Auch beim zweiten Testteil zeigt sich, dass die vorgegebene Zeit von 60 Minuten in der Regel sehr ge-nau eingehalten wurde. Dies geschah in 225 von 240 Testsitzungen (94 %). Bei einer Testsitzung wurde die Testzeit um 2 Minuten überschritten und bei 14 Testungen lag die Testzeit unter dem vorgegebe-nen Zeitlimit, da die Schüler/innen schon vor Ende der zwei Stunden fertig waren. Nach internatio-nalen Richtlinien ist eine vorzeitige Beendigung akzeptabel, wenn alle Schüler/innen vor Erreichen des Zeitlimits fertig sind.Es kann also davon ausgegangen werden, dass es keine Unzulässigkeiten bei der vorgeschriebenen Dauer von einer Stunde pro Testteil gegeben hat. Für die Bearbeitung des Fragebogens waren 50 Minuten vorgesehen. Waren viele Schüler/innen nach dieser Zeit noch nicht fertig, durften weitere 10 Minuten für die Bearbeitung der Fragebögen verwendet werden. Die durchschnittliche Bearbeitungszeit lag bei 49 Minuten, wobei Werte zwischen 30 und 70 Minuten auftraten.3.2.2 Schülerverhalten während der TestsitzungDie TL werden auch nach dem Verhalten der Schüler/innen während der Testsitzung gefragt. Die dies-bezüglichen Aufzeichnungen sind in Abbildung XII.7 dargestellt. Dabei zeigt sich, dass die Disziplin der Schüler/innen mit einem akzeptablen Anteil an Ausnahmen als durchaus gut zu bewerten ist. Etwas

0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %

Schüler/innen werdengegen Ende unruhig

Schüler/innen sind lautund stören die Anderen

kein/e Schüler/in die meisten Schüler/innen

N=235 bis 238

Schüler/innen beschwerensich oder diskutieren mit TA

Schüler/innen sprechen wäh-rend des Tests miteinander

einige Schüler/innen

91 % 9 %

49 % 39 % 11 %

86 % 12 % 2 %

62 % 36 % 3 %

Abbildung XII.7: Schülerverhalten während der Testsitzung


problematisch ist der hohe Anteil an Testsitzungen (knapp über 50 %), in denen einige bis die meisten Schüler/innen gegen Ende der Testsitzung unruhig wurden. Dieses Problem resultiert daraus, dass viele Schüler/innen bereits vor Ablauf der zwei Stunden mit der Bearbeitung der Testaufgaben fertig sind. Obwohl die Schüler/innen im Vorfeld darum gebeten werden Lesestoff, Lernstoff oder Hausübungen mitzunehmen, konnte die Unruhe am Ende der Testsitzungen nicht gänzlich gedämmt werden. Es wäre aber durchaus angebracht, auf internationaler Ebene einheitliche Maßnahmen zu überlegen, um die-ses Problem unter Kontrolle zu bringen. Weiters wird von fast 40 % der Testsitzungen berichtet, dass Schüler/innen miteinander redeten (oder dies zumindest versuchten). Unter Umständen könnte dieses Problem aber die gleiche Wurzel wie das vorher angesprochene haben, nämlich dass Schüler/innen vor Ablauf der zwei Stunden mit dem Test fertig sind.3.2.3 Störungen während der TestsitzungWeiters werden die TL im Feedbackbogen auch zu Störungen, wie beispielsweise Lautsprecherdurchsagen, Alarm oder Wechsel des Klassenraumes, befragt. Diesbezügliche Aufzeichnungen sind in Abbildung XII.8 dargestellt und zeigen, dass Störungen insgesamt nur in wenigen Fällen vorkommen. Diese betreffen vor allem Schüler/innen oder Lehrer/innen, die in den Testraum kommen, sowie Lautsprecherdurchsagen.

3.2.4 Schwierigkeiten in Verbindung mit Testheften und FragebögenVon Problemen mit Testheften (in Bezug auf Druck, Heftung etc.) wird in 2 % der Testsitzungen berich-tet. Diese Anmerkungen betreffen vor allem Probleme mit der Heftung (z. B. fehlende Seiten) und in zwei Fällen Probleme der Testleiterin oder des Testleiters mit dem Austeilen der Hefte nach der Schüler-ID. Schwierigkeiten mit einzelnen Testaufgaben werden in weniger als 2 % der Protokolle vermerkt, wobei es sich hier in erster Linie um Kommentare zu Unklarheiten bei Fragestellungen handelt.Ebenfalls mit zwei Fragen werden Probleme bezüglich der Schülerfragebögen erhoben. In etwa 2 % der Protokolle wird von Problemen mit dem Fragebogen berichtet, wobei sich die diesbezüglichen Anmerkungen auf Probleme mit der Heftung der Fragebögen beziehen. Von Schwierigkeiten mit spezifischen Fragen

0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %

Schüler/innen o. Lehrer/innen,die in den Testraum kamen

nicht am Test teil-nehmende Schüler/innen

N= 234-236

Wechsel des Testraums

Alarm

ja nein

Lautsprecherdurchsagen

Störungen durch ...

10 % 90 %

4 % 96 %

99 %

98 %

8 % 92 %

1 %

2 %

Abbildung XII.8: Störungen während der Testsitzung


wird in knapp 6 % der Protokolle berichtet; diese beziehen sich auf das Problem, dass den Schülerinnen und Schülern Informationen zur Beantwortung einiger Fragen, wie etwa der Berufsausbildung und dem Schulabschluss der Eltern fehlten, auf jene Fragen, die den Naturwissenschaftsunterricht betreffen (auf Grund der unterschiedlichen unterrichteten Fächer) sowie eine überflüssige Anleitung zum Überspringen einer Frage im nationalen Fragebogenteil einer Version.

3.2.5 Sonstige Problemfelder während der TestsitzungDie TL können am Ende des Protokollformulars sonstige Problemfelder, die nicht explizit abgefragt wer-den, notieren. Hier werden in hohem Ausmaß die Länge des Schülerfragebogens und die damit einher-gehende Ermüdung der Schüler/innen erwähnt sowie die frühzeitige Fertigstellung der Aufgaben in den Testheften von einigen Jugendlichen und die dadurch entstehende Unruhe protokolliert. Ergänzend dazu gibt es allgemeine Kommentare, die sich auf den Wunsch nach Feedback über die Leistung der Schüler/innen vor allem von Seiten der Schüler/innen, die den Wunsch nach individuellen Rückmeldungen äußerten, beziehen.

3.3 Qualitätskontrolle und -entwicklung durch Rückmeldung der SK

Wie bereits in Abschnitt 2.3.2 in diesem Kapitel beschrieben wurde, werden die Schulkoordinatorinnen und Schulkoordinatoren nach Abschluss aller Testsitzungen und dem Eintreffen des Materials im PISA-Projektzentrum um Rückmeldung in Form von Feedbackbögen gebeten. Einer der vier Themenbereiche, nach denen gefragt wird, bezieht sich auf den Testtag selbst. 95 % der Schulkoordinatorinnen und -koordinatoren geben an, während der Testsitzung selbst keine Probleme gehabt zu haben. Die Schwierigkeiten, die genannt werden, beziehen sich vor allem auf das Fehlen von Schülerinnen und Schülern (vgl. Abbildung XII.9).

Neben dieser allgemein gehaltenen Frage zu möglichen Problemen am Testtag wurden die SK bei PISA 2006 auch danach gefragt, ob auf Grund der Teilnahme der Schule Kontakt mit Medien stattgefunden hat und wenn ja, ob dies zu Problemen geführt hat.Abbildung XII.10 auf der nächsten Seite zeigt, dass 13 % der SK von Kontakten mit Vertreterinnen oder Vertretern der Medien berichten. In den meisten Fällen fand dies auf Initiative der Medien statt, in eini-gen Fällen auf Wunsch der Schulbehörden und nur in zwei Fällen kam die Initiative von der Schule selbst. Wie Medien von der Teilnahme einzelner Schulen erfahren, ist nicht geklärt. Das nationale Zentrum gibt dazu strikt keine Informationen nach außen; die Vertreter/innen der Schulbehörden, die im Verlauf des Screening-Prozesses über die Auswahl von Schulen in ihrem Wirkungsbereich informiert werden, werden ebenfalls um vertrauliche Behandlung dieser Informationen gebeten. Von Problemen für die PISA-Testsitzung auf Grund des Kontakts mit Medien berichtet aber keine einzige Schulkoordinatorin/kein einziger Schulkoordinator.

Abbildung XII.9: Probleme am Tag des Tests

Probleme am Tag des Tests

0 % 20 % 40 % 60 % 80 % 100 %

Probleme

Ja NeinN = 151

5 % 95 %


3.4 PISA Quality Monitoring

Das PISA Quality Monitoring ist eine der Monitoring-Aktivitäten die vom Internationalen Zentrum eingerichtet wurden. Im Gegensatz zu den übrigen Monitoring-Aktivitäten (vgl. hierzu Abschnitt 1.4.1 idK.), kann das PISA Quality Monitoring eindeutig der Untersuchungsphase „Datenerhebung“ zugeord-net werden, weshalb es auch an dieser Stelle im Detail behandelt wird. Beim PISA Quality Monitoring werden in allen Teilnehmerländern ungefähr 10 % der PISA-Schulen von einem PISA Quality Monitor (PQM) unangekündigt am Testtag besucht. Der PQM hat dabei die Aufgabe, mit Hilfe eines standardisierten Beobachtungsprotokolls die Testdurchführung zu beobachten und Abweichungen von den Richtlinien zu protokollieren. Der Einsatz von zumindest zwei PQMs pro Land hat das Ziel, Daten zur Qualität der Testdurchführung zu sammeln, um die Einhaltung der interna-tionalen Richtlinien, für die die nationalen Zentren verantwortlich sind, beurteilen und dokumentieren zu können. Die PQMs müssen Personen sein, die• gut über die PISA-Abläufe und Materialien Bescheid wissen,• Erfahrung im Bereich Assessment und/oder Unterricht und Schulen haben,• unabhängig vom NPM und dem nationalen Projektzentrum sind (nicht in derselben Institution ar-

beiten),• fließend die jeweilige Testsprache sowie Englisch oder Französisch sprechen und• fähig sind, PISA seriös und kompetent zu repräsentieren.Die NPMs haben dabei die Aufgabe, in ihrem Land geeignete Interessenten zu finden und deren Lebensläufe an das internationale Konsortium zu übermitteln. Die Nominierung der PQMs durch die NPM darf nicht später als 6 Wochen vor Beginn des Testfensters, aber vorzugsweise 3 Monate vor diesem erfolgen. Im internationalen Konsortium fällt dann die Entscheidung über die Vertragsabschlüsse. PQMs sind somit Beauftragte des internationalen Konsortiums, vertraglich an dieses gebunden und werden auch von diesem bezahlt. Die PQMs werden von einem Abgesandten des internationalen Konsortiums – dem so genannten National Center Quality Monitor (NCQM) – geschult. Der NCQM ist primär für die Qualitätsüberwachung der nationalen Zentren verantwortlich (vgl. Abschnitt 2.4 idK.) und übernimmt im Rahmen dieser Aufgabe auch die Schulung der PQMs. Die NPMs haben jeweils die Aufgabe, die NCQMs als Vertreter/innen des PISA-Konsortiums zu unterstützen und bei der Lösung von eventuell auftretenden Problemen mit den PQMs zu helfen. Die PQMs müssen jedoch auch mit dem nationalen Zentrum zusammenarbeiten, um die nötigen Informationen über ausgewählte Schulen und deren Testtermine zu erhalten, dürfen aber dem NPM nicht über ihre laufende Arbeit als PQM Bericht erstatten.

Abbildung XII.10: Kontakt mit Medien auf Grund der Teilnahme an PISA

Kontakt mit Medienvertretern auf Grund der Teilnahme an PISA

Nein87 %

Ja13 %

Ja, auf Wunschder Schulbehörden

Ja, auf Initiativeder Schule hin

Ja, auf Initiativevon Medienvertretern

N = 149

4 %1 %

7 %


In Österreich wurden nach internationalen Vorgaben im Haupttest 15 Schulen von zwei PQMs besucht. Zur Durchführung ihrer Aufgabe bekommen die PQMs ein Handbuch in englischer und französischer Sprache, ein nationales Handbuch für Testleiter/innen und Einblick in alle verwendeten Testmaterialien. Zur Vorbereitung auf die eintägige Schulungseinheit durch den NCQM wird vom internationalen Zentrum empfohlen, dass die PQMs an einer lokalen Schulung für Testleiter/innen teilnehmen. In Österreich nahm ein PQM an der Schulung in Salzburg und einer an jener in Graz teil.Gemeinsam mit dem NCQM wählen die PQMs eine möglichst repräsentative Stichprobe an Schulen aus, die dann zu besuchen ist. Unter Berücksichtigung der Erreichbarkeit (Anreisekosten sollten in Grenzen gehalten werden) und der Testzeiten von Schulen (pro PQM kann an einem Tag nur eine Schule besucht werden) werden die übrigen Schulen so gewählt, dass alle Schultypen und möglichst viele verschiedene TL abgedeckt werden. Die Besuche erfolgen im konkreten Fall unangekündigt, wobei die TL grundsätzlich über die Möglichkeit eines PQM-Besuchs informiert sind. Weder der/die Testleiter/in noch der/die Schulkoordinator/in wer-den davon in Kenntnis gesetzt, welche Schulen tatsächlich für das PISA Quality Monitoring ausgewählt wurden. Der PQM hat, wie der TL, eine Stunde vor Testbeginn an der Schule zu sein, um anhand eines vorgegebenen Protokolls die Vorbereitungsarbeiten des TL sowie die Durchführung der Testsitzung zu dokumentieren. Im Anschluss muss der PQM ein kurzes Interview mit dem/der Schulkoordinator/in führen.Die Berichte der PQMs werden, wie in Abschnitt 2.4 in diesem Kapitel bereits erläutert, gemeinsam mit anderen Berichten zur Beurteilung der Daten eines Landes herangezogen, womit dieser Maßnahme in indirekter Form auch eine kontrollierende Funktion zukommt. Die qualitätslenkende Funktion dieser Maßnahme besteht darin, dass die Berichte beim Datencleaning behilflich sind, da Schulen, bei denen die PQMs Bedenken bezüglich der Datenerhebung haben, entsprechend gekennzeichnet sind. Zum anderen kann davon ausgegangen werden, dass das Wissen um eine Überwachung der Datenerhebung durchaus die Bemühungen sowohl der nationalen Zentren als auch der TL positiv beeinflusst, die diesbezüglichen Qualitätsanforderungen zu erfüllen. Aus den gesammelten Daten lassen sich aber auch Maßnahmen zur qualitativen Verbesserung der Datenerhebungsprozeduren für die nächste PISA-Erhebung (2009) ablei-ten, womit das PISA-Quality-Monitoring auch als eine Maßnahme zur Qualitätsentwicklung betrachtet werden kann.

4. Qualitätssicherungsmaßnahmen bei der Datenverarbeitung

4.1 Rücklauf der Erhebungsinstrumente

Die qualitätssichernden Maßnahmen in Bezug auf den Rücklauf der Erhebungsinstrumente werden in-ternational nicht vorgegeben, sondern können von den nationalen Projektzentren individuell geregelt werden. Die in Österreich durchgeführten Maßnahmen sind primär der Qualitätslenkung zuzuordnen und haben vor allem das Ziel, alle Materialien vollständig und unbeschädigt ins PISA-Zentrum zurück-zuholen und hierbei die Vertraulichkeit, die den Schüler/innen zugesichert worden ist, zu gewährleisten.Ein erster wichtiger Punkt dabei ist der Transport der Materialien zurück nach Salzburg sowie die damit verbundene Lagerung der Schulpakete zwischen Testsitzung und Abtransport. Sowohl im Feld- als auch im Haupttest wird am Pädagogischen Institut jedes Bundeslandes eine zentrale Sammelstelle organi-siert (vgl. Abschnitt 5.6 in Kapitel VI). Bei der Übergabe der Schulpakete von der Testleiterin bzw. des Testleiters an die Verantwortliche/den Verantwortlichen der jeweiligen Sammelstelle wird dies schriftlich bestätigt. Von den Sammelstellen werden die Materialien dann von einer Spedition abgeholt und zum ZVB in Salzburg gebracht. So können sowohl die Lagerung von Testmaterialien an Schulen und somit die Gefährdung der Anonymität der Schülerdaten als auch Postwege mit voraussichtlichem Verlusten von Materialien vermieden werden.Die Vollständigkeit der Materialien wird im Rahmen der Rücklaufkontrolle gleich nach Eintreffen der Schulpakete überprüft. Bei dieser wird genau registriert, wie viele Testhefte, Fragebögen, Schülerlisten


und Testsitzungsprotokolle von welcher Schule ausgefüllt, leer oder beschädigt zurückkommen. Um auch sicherzustellen, dass bei den eigentlichen Datenverarbeitungsprozessen keine Materialien mehr verloren gehen können, finden alle Arbeiten – das Coding (Vercodung der Antworten auf die offenen Testfragen) und die Dateneingabe – in Räumlichkeiten des nationalen Zentrums statt. Die hierfür an-gestellten Personen, werden entsprechend der internationalen Vorgabe auch schriftlich zur vertraulichen Behandlung der Materialien verpflichtet.

4.2 Coding

PISA 2006 umfasst 79 Aufgaben mit offenem Antwortformat. Die eigenständig formulierten Schülerantworten auf diese Aufgaben müssen vor der Eingabe in den Computer mit Zifferncodes versehen, also vorcodet werden. Ziel der qualitätssichernden Maßnahmen bei diesem Prozess ist eine möglichst objektive Beurteilung der Schülerantworten. Dies geschieht in Form von qualitätslenkenden Maßnahmen, die primär ein integraler Bestandteil der international vorgeschriebenen Coding-Prozedur sind und im Detail in Kapitel VIII beschrieben werden. Im folgenden Abschnitt (4.2.1) werden diese Maßnahmen zusammenfassend dargestellt. Inwieweit die Qualitätsanforderungen erreicht werden, wird durch Qualitätskontrollmaßnahmen auf internationaler Ebene geprüft und in Abschnitt 4.2.2 dieses Kapitels dargestellt.Grundsätzlich können beim Coding folgende Probleme auftreten:(1) Nicht allen Schülerantworten können trotz Handbuch mit den Bewertungsrichtlinien (Coding Gui-

de) eindeutige Codes zugeordnet werden.(2) Die Zuordnung der Codes ist nicht unabhängig von der Coderin/vom Coder.(3) Unterschiedliche Schärfen bei der Vergabe der Codes zwischen den Ländern.Fehlerquellen wie unter Pkt. 1 dargestellt wirken sich vor allem auf die Zuverlässigkeit (Reliabilität) der Daten aus. Die zweite und dritte Fehlerquelle hingegen beeinflussen primär die Objektivität und Vergleichbarkeit der Daten zwischen den Ländern negativ. 4.2.1 Qualitätslenkung beim CodingWichtigste Basis des Codings sind die standardisierten Bewertungsrichtlinien (Coding Guides), wel-che die Beschreibung sämtlicher Codes aller offenen Aufgaben enthalten. Diese müssen den gleichen Übersetzungs- und Verifikationsprozess wie die Testitems selbst (vgl. Abschnitt 4 in Kapitel III) durch-laufen, wodurch sichergestellt wird, dass alle Teilnehmerstaaten die gleiche Bewertungsbasis haben, was Voraussetzung für eine objektive Beurteilung ist. Ein internationales Coder-Training bildet einen wei-teren Schritt zur Objektivierung des Codings. Jeweils im Februar vor Feld- und Haupttest finden diese Schulungen statt, die dazu dienen, zumindest je eine/n Teilnehmer/in pro Land und Testdomäne mit der Auslegung und Interpretation der Bewertungsrichtlinien vertraut zu machen.Auf Länderebene werden Coderschulungen nach internationalen Richtlinien organisiert. Dazu gehört die Auswahl der Coder/innen, die nach internationalen Vorgaben kriteriumsorientiert erfolgen muss. Entsprechend dieser Vorgaben werden in Österreich nur Personen als Coder/in gewählt, die mit der jeweiligen Testdomäne und dem Umgang mit Antworten von 15-/16-jährigen Schülerinnen und Schülern vertraut sind, also vorzugsweise Lehrer/innen, Unterrichtspraktikantinnen/-praktikanten und Lehramtskandidatinnen/ -kandidaten entsprechender Unterrichtsfächer.Für jede Domäne erfolgt eine eigene Schulung, an der alle Coder/innen der jeweiligen Domäne teilneh-men müssen. Hier wird größtes Augenmerk darauf gelegt, dass nach Abschluss des Trainings zwischen allen Codern und Coderinnen einer Domäne Konsens bezüglich der Handhabung und Verwendung der Bewertungsrichtlinien herrscht. Unmittelbar nach der Schulung müssen die Coder/innen im Schnitt etwa 10 Beispielantworten je Item codieren; in Naturwissenschaft entspricht das etwa 410 Beispielantworten. Der Anteil richtig vercodeter Antworten muss mindestens 85 % betragen. Falls diese Schwelle nicht erreicht wird, muss der/die jeweilige Coder/in nachgeschult werden, bevor er/sie mit der eigentlichen Coding-Prozedur beginnen darf. Ist auch die Nachschulung erfolglos, besteht grundsätzlich die Möglichkeit, eine/n bereits geschulte/n Ersatzcoder/in zu rekrutieren, was in Österreich aber nicht nötig war.


Durch spezielle Rotationsschemata bei der Zuteilung von Testheften zu Codern und Coderinnen wird sichergestellt, dass jedes Testheft von mehreren Codern bzw. Coderinnen bearbeitet wird, indem ein/e Coder/in nur jeweils einen von insgesamt 4 Aufgabenclustern pro Testheft beurteilt. Das Rotieren der Testhefte beim Coding hat den Zweck, die Qualität der Leistungsdaten durch etwaige Tendenzen einzel-ner Coder/innen zur strengeren und weniger strengen Beurteilungen nicht zu beeinflussen.Auch während der Coding-Prozedur werden noch qualitätslenkende Maßnahmen durchgeführt. Für die Betreuung der Coder/innen während der Arbeit stehen für jede Domäne zwei Supervisorinnen zur Verfügung. Können die Supervisorinnen Entscheidungen bezüglich der Vergabe der Codes zu einzelnen Schülerantworten nicht treffen, steht ein international eingerichtetes E-Mail-Coder-Query-Service zur Verfügung, das in solchen Fällen die Vergabe des Codes übernimmt. Weiters müssen die Supervisorinnen die Codevergabe einer jeden Coderin/eines jeden Coders stichprobenweise kontrollieren. Eine Rückmeldung bei gefundenen Fehlcodierungen erfolgt immer vor der nächsten Coding-Einheit, damit die Fehlvercodungen ausgebessert werden können und sich nicht weiter fortsetzen.

4.2.2 Qualitätskontrolle beim CodingOb und inwieweit die qualitätslenkenden Maßnahmen zur Verbesserung der Objektivität der Beurteilungen erfolgreich sind, wird durch zwei Qualitätskontrollmaßnahmen – das Multiple Coding und die Inter-Country-Rater-Reliability-Study – geprüft.Beim Multiple Coding muss jedes Land einen Teil der Aufgaben jeweils von vier verschiedenen Coderinnen bzw. Codern beurteilen lassen, so dass Vergleiche zwischen den vergebenen Codes Rückschlüsse auf die Reliabilität der Bewertungen ermöglichen (Interrater-Reliabilität). Wie diese Prozedur, das Multiple Coding, in Österreich praktisch umgesetzt wird, ist in den Abschnitten 4.4.2 und 5.4.2 in Kapitel VIII beschrieben. Im Feldtest hat das Multiple Coding eine qualitätslenkende Funktion mit dem Ziel, die Qualität des Codings für den Haupttest zu verbessern. Grundsätzlich werden hier zwei Bereiche unterschieden:(1) Wenn festgestellt wird, dass sich Coder/innen in einem Land allgemein oder bei einzelnen Items uneinig

bei der Vergabe von Codes sind, könnte dies auf schlecht qualifizierte Coder/innen, Übersetzungsfehler im Coding Guide oder Fehler beim Training der Coder/innen in diesem Land zurückzuführen sein. Probleme dieser Art müssen von den nationalen Zentren nach dem Feldtest genau analysiert werden, damit die daraus gewonnenen Erkenntnisse für entsprechende Verbesserungen beim Haupttest ge-nutzt werden können.

(2) Wenn über mehrere Länder hinweg Diskrepanzen bei der Vergabe von Codes bei einzelnen Items auftreten, kann dies auf Unklarheiten in den Coding-Anleitungen zurückzuführen sein. Probleme mit den Bewertungsrichtlinien einzelner Items müssen von internationaler Seite her gelöst werden.

Im Haupttest hat das Multiple Coding primär eine Kontrollfunktion, bei der die Reliabilität der Bewertungen in jedem Land im Mittelpunkt steht. Die qualitätslenkende Funktion wie beim Feldtest tritt in den Hintergrund, da die Möglichkeit, nach dem Haupttest qualitätssichernd einzugreifen, sehr stark eingeschränkt ist. Vorstellbare qualitätslenkende Konsequenzen wären, einzelne Items in einigen Ländern oder international aus den Berechnungen auszunehmen, oder in extremen Fällen Booklets ein-zelner Länder oder einzelner Coder/innen noch einmal beurteilen zu lassen.Die Daten des Multiple Codings werden auf internationaler Ebene ausgewertet und im technischen Bericht des internationalen Zentrums publiziert, der zum gegebenen Zeitpunkt noch nicht vorliegt. An dieser Stelle soll jedoch kurz erklärt werden, nach welchem Prinzip die Daten weiterverarbeitet werden: Die Idee der Analyse beruht auf dem Prinzip einer Varianzzerlegung. Damit ist gemeint, dass sich die Codes, die die Schüler/innen erhalten, jeweils voneinander unterschieden. Unterschiedlich große Anteile dieser Unterschiede (der Varianz) der Bewertungen werden durch das Item (wie schwierig dieses ist), den/die Schüler/in (ihre/seine Fähigkeit) und den/die Coder/in erklärt; weiters spielen Interaktionen zwischen Coder/in und Schüler/in, Coder/in und Item sowie Item und Schüler/in eine Rolle. Das Ziel der Analyse ist die Bestimmung des Varianzanteils, der auf die Coder/innen zurückzuführen ist.


Der Vergleich der Größe dieses Anteils zwischen verschiedenen Ländern kann Aufschluss über die Reliabilität der Bewertungen in diesen Ländern geben. Andererseits kann durch eine Analyse der Daten nach Items die Reliabilität einzelner Items über alle Länder hinweg bestimmt werden.Ein weiterer Indikator für die Qualität der Bewertungen ist eine Reliabilitätsanalyse, bei der die Variablen „Schüler/in“ und „Items“ jeweils konstant gehalten und der/die Coder/in variiert wird. Die Korrelation zwischen den Ergebnissen von verschiedenen Coderinnen bzw. Codern kann ebenfalls Aufschluss über die Zuverlässigkeit der Beurteilungen geben.Durch das Multiple Coding kann jedoch nicht überprüft werden, ob die Coder/innen eines Landes sys-tematisch alle oder einzelne Items zu streng oder zu milde beurteilen, solange sie sich untereinander einig sind. Um solche systematischen Bewertungsfehler aufzudecken, wurde die Inter-Country-Rater-Reliability-Study entwickelt. Bei dieser zweiten internationalen Kontrollmaßnahme werden die Antworten auf ver-schiedene Items von 180 Multiple-Coding-Testheften an das internationale Zentrum geschickt und dort von einer fünften Coderin bzw. einem fünften Coder beurteilt, um systematische Beurteilungsfehler in einzelnen Ländern aufdecken zu können.Die internationalen Coder/innen sind meist Personen, die bei der Verifikation der Testmaterialien schon für das internationale Zentrum gearbeitet haben. Sie werden von Mitgliedern des Konsortiums für das Coding der Items geschult. Als Abschluss des Trainings muss jede/r von ihnen ein Set von fingierten Schülerantworten beurteilen, und diese werden mit Benchmarks, von internationaler Seite vorgegebenen korrekten Codes, verglichen. Danach werden die Booklets eines oder mehrerer Länder bewertet. Die vergebenen Codes werden elektronisch verarbeitet und dann mit den Codes aus dem nationalen Multiple Coding verglichen. Bei Diskrepanzen wird die Antwort der internationalen Coderin/vom internationalen Coder ins Englische übersetzt und von der Supervisorin/dem Supervisor der internationalen Coder/in-nen noch einmal kontrolliert und entschieden, ob die Beurteilung im Land, oder die des internationalen Coders/der internationalen Coderin den Richtlinien im Coding Guide (besser) entspricht. Der Anteil, bei dem die nationalen Coder/innen von dem international als richtig definierten Code abweichen, soll Aufschluss über die Güte des Codings der einzelnen Länder geben. Vor allem kann herausgefunden wer-den, ob Tendenzen zu übertriebener Strenge oder Milde beim Beurteilen einzelner Items in einem Land festzustellen sind, die auf Fehler bei der Auslegung der Bewertungsrichtlinien beim nationalen Training der Coder/innen oder Übersetzungsfehler in der nationalen Coding-Anleitung zurückzuführen wären.

4.3 Dateneingabe

Die Qualitätssicherung bei der Dateneingabe dient der Qualitätslenkung, mit Hilfe derer durch vorbeu-gende Maßnahmen und Überwachungsmechanismen Dateneingabefehler vermieden oder korrigiert wer-den. Qualitätssicherungsmaßnahmen in diesem Bereich beziehen sich auf die Auswahl und Schulung des Dateneingabe-Personals, die Anwendung der Dateneingabesoftware „KeyQuest“ sowie die Prozeduren des File Cleanings und Database Managements (vgl. Abschnitt 4 in Kapitel X). Die ersten Maßnahmen, um eine möglichst fehlerfreie Datenbasis zu bekommen, beziehen sich auf die Auswahl und Schulung des Dateneingabe-Personals. Hierfür gibt es keine internationalen Vorgaben, weshalb dieser Teil national unterschiedlich geregelt werden kann. In Österreich werden hier folgende Maßnahmen zur Minimierung der Eingabefehler gesetzt:• Bei der Auswahl des Dateneingabe-Personals wird auf Kriterien wie Verlässlichkeit und Genauigkeit

geachtet.• Alle Personen werden für ihre Aufgabe speziell geschult. Diese Einschulung umfasst sowohl allgemei-

ne Informationen zur Dateneingabe-Software als auch Erklärungen zu Besonderheiten des jeweils zu bearbeitenden Instruments. Am Ende der Einschulung bekommt jede/r Mitarbeiter/in die Möglich-keit, einige Datensätze unter Betreuung einzugeben.

Während der Dateneingabe wird die Qualität der eingegebenen Daten zum einen durch Kontrollmechanismen der Dateneingabe-Software „KeyQuest“ und zum anderen durch Kontrollen von Mitarbeiterinnen/Mitarbeitern des nationalen Zentrums überprüft.


Im konkreten Fall dienen diese Maßnahmen der Minimierung systematischer und unsystematischer Eingabefehler. Obwohl die Verwendung der vom internationalen Zentrum zur Verfügung gestellten Dateneingabesoftware „KeyQuest“ keine verbindliche Vorgabe darstellt, wurde sie in Österreich zur Dateneingabe benützt, da es sich dabei um eine anwenderfreundliche Software handelt, mit deren Hilfe folgende Arten von Eingabefehlern verhindert werden können (im Detail hierzu siehe Abschnitt 4.2, Kapitel X):• Durch die in der Dateneingabe-Software „KeyQuest“ integrierten Kontrollmechanismen wird schon

während der Dateneingabe verhindert, dass ungültige oder bereits vorhandene Identifikationsvariab-len eingegeben werden.

• Bei den meisten Variablen sind außerdem „Out-of-Range-Checks“ (Definition gültiger Werteberei-che) im Programm eingebaut. Dadurch können keine Werte außerhalb des definierten Wertebereichs eingegeben werden.

In Österreich werden zusätzlich folgende qualitätslenkende Maßnahmen während der Dateneingabe ge-troffen:• Die Dateneingabe erfolgt ausnahmslos in Räumlichkeiten des nationalen Zentrums, womit mögliche

Fehler beim Sichern der Daten durch das Dateneingabepersonal vermieden werden, indem die Siche-rung durch PISA-Mitarbeiter/innen in regelmäßigen Abständen erfolgen kann.

• Bei jeder Coderin/jedem Coder werden stichprobenartig immer wieder einige Datensätze mit den Originalinstrumenten verglichen. Diese überwachende Maßnahme erfolgt verstärkt am Anfang der Dateneingabe, um systematische Fehler schnell aufdecken und korrigieren zu können, indem die Coder/innen nachgeschult werden – womit der Maßnahme gleichermaßen eine korrigierende und vorbeugende Funktion zukommt.

• Weiters stehen während der gesamten Dateneingabe immer Mitarbeiter/innen des PISA-Teams für Fragen oder bei Problemen zur Verfügung.

Das File Cleaning am Ende der Dateneingabe stellt eine Qualitätslenkungsmaßnahme mit korrigieren-der Funktion dar. Durch verschiedene Arten von Kontrollen wird die Datenqualität im Hinblick auf Verlässlichkeit im Sinne von „Fehlerfreiheit“ sichergestellt. File-Cleaning-Prozeduren werden sowohl auf nationaler als auch auf internationaler Ebene durchgeführt, wobei letztere nur in enger Zusammenarbeit mit den nationalen Verantwortlichen stattfinden können und im internationalen technischen Bericht beschrieben werden.Die Überprüfungen im nationalen Projektzentrum umfassen folgende Arten von Kontrollen, die im Abschnitt 4 in Kapitel X detaillierter erläutert werden:• Validitätschecks dienen der Überprüfung und Sicherstellung der Datenintegrität. Kontrolliert wer-

den Eindeutigkeit von IDs innerhalb von Instrumenten bzw. entsprechende Verbindungen zwischen verschiedenen Instrumenten. Die meisten dieser Überprüfungen können mit der Dateneingabe-Soft-ware KeyQuest durchgeführt werden.

• Physikalische Checks sind Überprüfungen, bei denen Datensätze oder Teile daraus mit den entspre-chenden Fragebögen, Listen oder Testheften verglichen werden. Diese Art von Überprüfung wird – wie oben schon erwähnt – laufend während der Dateneingabe bei einer Stichprobe der eingegebenen Testhefte und Fragebögen durchgeführt. Im Rahmen des eigentlichen File Cleanings nach Abschluss der Dateneingabe werden verschiedene Instrumente sowohl in Bezug auf Identifikationsvariablen als auch bezüglich der Angaben zum Geburtsdatum und Geschlecht kontrolliert.

• Plausibilitätschecks werden bei allen Instrumenten durchgeführt, wobei sich die Überprüfungen hier-bei auf inhaltliche Aspekte beziehen: So sollen Eingabefehler aufgedeckt werden, die sich in unplau-siblen Daten niederschlagen. Ein Beispiel dafür sind etwa Datensätze, in denen Schüler/innen zwar bei einer Frage angeben, dass es bei ihnen zu Hause keinen PC gibt, sie aber bei einer anderen Frage antworten, zu Hause einen PC zu nutzen.

Am Ende ist noch zu erwähnen, dass während des gesamten Dateneingabeprozesses eine regelmäßige und systematische Datensicherung sowie eine exakte Dokumentation aller Vorgänge gemacht werden.


4.4 Berufsklassifizierung

Qualitätssicherung bei der Codierung der Schülerangaben zum Beruf der Eltern sowie zum geplan-ten Beruf der Schüler/innen (Details hierzu sind in Kapitel IX beschrieben) beziehen sich vor allem auf Qualitätslenkungs- und Qualitätskontrollmaßnahmen. Von internationaler Seite wird lediglich das anzuwendende Klassifikationsschema (ISCO-88) verpflichtend vorgegeben und dessen tatsächli-che Verwendung anhand der Daten kontrolliert, womit auch ein gewisses Maß an Objektivität und Vergleichbarkeit der Daten sichergestellt wird. Durch die obligatorische Anwendung von ISCO-88 wird auch gleichzeitig die Gültigkeit der Daten gesichert, da die auf diesem Berufsklassifizierungsschema be-ruhenden Skalen, wie beispielsweise die Skala zum sozioökonomischen Status, auf Validität hin geprüfte Skalen darstellen (Ganzeboom & Treiman, 1996). Über diese qualitätslenkenden Maßnahmen hinaus bietet das internationale Zentrum nur eine freiwillige Qualitätskontrollmaßnahme, nämlich die „ISCO-Zweifachcodierung“, an. Österreich hat sich an dieser Option nicht beteiligt; Informationen aus einer Mehrfachcodierung liegen für Österreich aber aus PISA 2003 vor (Wallner-Paschon, 2004), wo dies als nationale QS-Maßnahme durchgeführt wurde.Die aus dieser Mehrfachcodierung resultierenden Erkenntnisse haben zu Änderungen in der Vorgehensweise der ISCO-Codierung der österreichischen Daten geführt, die vor allem qualitätslenkender Natur sind und sich primär auf die Objektivität der Daten beziehen, aber auch Vorteile in Bezug auf die Effizienz bieten.Als Grundlage für die Codierung der Berufe wurde basierend auf speziell bereinigten Daten aus Feld- und Haupttest 2003 eine Datenbank erstellt, die die verschiedenen ISCO-Codes mit Schlüsselwörtern, welche aus den Schülerantworten abgeleitet werden können, verknüpft. Diese wurde im Feldtest zu PISA 2006 erprobt und anhand der Daten und Erfahrungen aus diesem ergänzt und verbessert bzw. vereinfacht. Die Arbeit der Coder/innen beschränkt sich bei der halbautomatisierten Codierung auf die Identifizierung von Schlüsselwörtern; die Datenbank vergibt dann entsprechende Codes automatisch. Kommen Berufe zum ersten Mal vor, werden Schlüsselwörter und Code gemeinsam mit der Supervisorin vergeben und in der Datenbank ergänzt (vgl. Kapitel IX). Folgende Vorteile können in Bezug auf die Qualitätssicherung aus dieser Vorgehensweise – im Vergleich zur direkten Vergabe von ISCO-Codes durch die Coder/in-nen – abgeleitet werden:• Flüchtigkeitsfehler, etwa durch das Vertauschen von Ziffern beim Eintippen der Codes o. ä., können

nicht mehr vorkommen.• Gleiche Berufe erhalten automatisch die gleichen Codes, da die Interpretation, die bei der Zuordnung

eines Berufs zu einem Code erfolgt, einmal zentral und nicht bei jeder Vergabe von neuem durchge-führt wird.

• Die Vergleichbarkeit der vergebenen Codes wird innerhalb und zwischen den Coderinnen und Co-dern, aber mittelfristig auch über die Zeit hinweg erhöht.

Folgende Qualitätslenkungsmaßnahmen, die vorrangig eine vorbeugende Funktion haben, verfolgen zu-dem das Ziel, objektive Daten zu erzeugen:• Die ISCO-Coder/innen werden nach Kriterien wie Verlässlichkeit, Genauigkeit und Erfahrung mit

der Berufsklassifizierung nach ISCO ausgewählt.• Für die ISCO-Coder/innen gibt es eine Einschulung, bei der sowohl allgemeine Informationen zur

Berufsklassifizierung nach ISCO als auch diesbezügliche Besonderheiten und Regeln erklärt und an-hand konkreter Datensätze eingeübt werden. Darüber hinaus werden die Coder/innen gezielt für die Verwendung der ISCO-Datenbank und die technischen Abläufe rund um die Vercodung geschult.

• Weiters müssen die Coder/innen ein Übungsfile bearbeiten, bei dem anschließend alle codierten Datensätze überprüft und mit den Coderinnen und Codern individuell besprochen werden. Diese Maßnahme zu Beginn der Klassifizierung dient dazu, systematische Fehler bei der Identifikation der Schlüsselwörter schnell aufdecken und korrigieren zu können, womit der Maßnahme vor allem eine korrigierende und vorbeugende Funktion zukommt.


1 Dieser Pilottest unterscheidet sich vom Feldtest dadurch, dass die Testaufgaben nicht in allen Teilnehmerländern erprobt werden, sondern nur in einigen vom internationalen Zentrum ausgewählten Ländern.

• Alle Datensätze werden von der Supervisorin kontrolliert und regelmäßig an die Coder/innen rückge-meldet. Zudem besteht während des gesamten Codiervorgangs die Möglichkeit, bei der Supervisorin bezüglich der Vergabe von Codes rückzufragen.

• Durch die gleiche alphabetische Zuteilung der Files zu Coderinnen bzw. Codern entwickeln diese praktisch ein „Expertenwissen“ über diese Berufe, wodurch eine höhere Übereinstimmung gegeben ist.

• Für die Entwicklung der ISCO-Datenbank wurden externe Expertinnen und Experten im Bereich der ISCO-Codierung zu Rate gezogen.

Bibliografie

Ganzeboom H. B. G & Treiman D. J. (1996). Internationally comparable Measures of Occupational Status for the 1988 International Standard Classification of Occupations. Social Science Research 25, 201–239.

Harvey L., Green D. (2000). Qualität definieren. Fünf unterschiedliche Ansätze. Zeitschrift für Pädagogik, 41, 17–39.Reiter C. (2001). Qualitätssicherung und Qualitätskontrolle. In Haider G. (Hrsg.), PISA 2000. Technischer Report (S.

259–286). Innsbruck: Studienverlag.OECD (nicht datiert). Technical Standards for the Implementation of PISA 2003. Heruntergeladen am 2. Juni 2004 auf

www.pisa.oecd.org/docs/manual_tech_2003.htm.

Buch TR06 - BIFIE...2007/12/04 · Seite 8 I. PISA – Schulsysteme im internaionalen Vergleich Das...

Documents

Transcript of Buch TR06 - BIFIE...2007/12/04 · Seite 8 I. PISA – Schulsysteme im internaionalen Vergleich Das...