20 .18

Herausgegeben von Juliane Schmich & Ursula Itzlinger-Bruneforth

TALIS

Technischer Bericht

Juliane Schmich & Ursula Itzlinger-Bruneforth (Hrsg.)

TALIS 2018Technischer Bericht

Bundesministerium für Bildung, Wissenschaft und ForschungMinoritenplatz 5, 1010 Wien

Das Bundesministerium hat die Durchführung der OECD-Studie TALIS in Österreich beauftragt.

Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121, 5020 Salzburg

www.bifie.at

TALIS 2018. Technischer Bericht. Schmich, J. & Itzlinger-Bruneforth, U. (Hrsg.) Salzburg, 2019 DOI: http://doi.org/10.17888/talis2018-tr

Coverfoto: micromonkey/fotolia.com Einbandgestaltung: Die Fliegenden Fische, Salzburg & Hannes Kaschnig-Löbel, Bundesinstitut BIFIE Layout & Satz: Hannes Kaschnig-Löbel, Andreas Kamenik Lektorat: Martin Schreiner

Kein Teil des Werks darf in irgendeiner Form (durch Fotografie, Mikrofilm oder ein anderes Verfahren) ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.

Inhalt

5 1 Grundkonzepte, Ziele und Organisation von TALIS 2018

5 1.1 TALIS im Überblick7 1.2 Internationale Organisation von TALIS8 1.3 Die Organisation von TALIS in Österreich

9 2 Rahmenkonzept zu TALIS 2018

9 2.1 Die Entwicklung von TALIS9 2.2 Der wissenschaftliche Hintergrund des Rahmenkonzepts11 2.3 Themen auf institutioneller Ebene12 2.4 Themen auf Lehrerebene13 2.5 Themen der Unterrichtspraxis13 2.6 Themen, die sowohl für die Schulebene als auch für die Lehrerebene gelten14 2.7 Rahmenkonzept TALIS: die Verbindung zwischen Konzept und Entscheidungsfeldern 14 2.8 Analysen

17 3 Fragebögen

17 3.1 Entwicklung der Fragebögen17 3.2 Übersetzung und Verifikation18 3.3 Die Fragebögen im Feldtest 201719 3.4 Die Fragebögen in der Hauptbefragung 201819 3.5 Qualitätssicherung

21 4 Stichprobendefinition und -ziehung

21 4.1 Die Zielgruppe von TALIS21 4.2 Von der allgemeinen Definition zum konkreten Stichprobenplan21 4.3 Das allgemeine internationale Sampling-Design23 4.4 Vorgaben der OECD bezüglich der zu erzielenden Rücklaufquoten23 4.5 Die österreichische Stichprobe im Feldtest 201724 4.6 Die österreichische Stichprobe bei der Hauptbefragung 201824 4.7 Auswahl der Schulen24 4.8 Maßnahmen zur Qualitätssicherung

25 5 Organisation und Durchführung der Datenerhebung

25 5.1 Kooperation mit Schulbehörden und Schulleitungen26 5.2 Aufgaben der TALIS-Schulkoordinatorinnen und -koordinatoren (SK)28 5.3 Befragungsmaterialien vorbereiten28 5.4 Maßnahmen zur Qualitätssicherung

31 6 Datenerfassung und Datenverarbeitung

31 6.1 Datenerfassung31 6.2 Datencleaning31 6.3 Datenübermittlung31 6.4 Kontrolle und Aufbereitung der Daten am internationalen Zentrum IEA Hamburg 32 6.5 Maßnahmen zur Qualitätssicherung

35 7 Stichprobe und Teilnahmequoten

35 7.1 Realisierte Stichprobe und Teilnahmequoten beim Feldtest zu TALIS 201836 7.2 Realisierte Stichprobe und Teilnahmequoten bei der Hauptbefragung zu TALIS 2018

TALIS 2018 – Technischer Bericht 5

1 Grundkonzepte, Ziele und Organisation von TALIS 2018

Juliane Schmich

1.1 TALIS im Überblick

1.1.1 Was ist TALIS?

TALIS (Teaching and Learning International Survey) ist eine internationale Studie, die von der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) initiiert wurde. Sie untersucht die Arbeitsbedingungen von Lehrerinnen und Lehrern sowie Schulleiterinnen und Schul-leitern. Der Fokus der Erhebung liegt dabei insbesondere auf Schulen mit ISCED-Level 2. Dies entspricht im öster-reichischen Schulsystem den Schulstufen 5–8 der Sekundar-stufe I, an denen Lehrkräfte und Schulleiter/innen befragt worden sind. An der Erhebung im Jahr 2018 haben insgesamt 48 Länder teilgenommen, davon 31 OECD-Länder und 17 OECD-Partnerländer (vgl. Abbildung 1.1). 36 Teilnehmer-

länder sind OECD- und/oder EU-Länder (Letztere in fetter Schrift hervorgehoben).

1.1.2 Die Ursprünge und die Entwicklung von TALIS

Trotz des bestehenden OECD-Indikatorenprogramms INES (Indicators of Education Systems), das kontinuierlich In-dikatoren zur Arbeitsweise und zum Erfolg von Bildungs-systemen entwickelt und untersucht, sind wesentliche Wissenslücken zu Lehrerinnen und Lehrern sowie zum Unterricht geblieben. In diesem Zusammenhang stellt auch die OECD-Studie „Teachers Matter. Attracting, Developing and Retaining Effective Teachers“ (OECD, 2005) zusammen-fassend fest, dass ein Bedarf an nationalen und internationalen Informationen über Lehrer/innen besteht. Das dort zu-grundeliegende Framework sowie die beschriebenen Befunde

Belgien BEL

Frankreich FRA

Estland EST

Dänemark DNK

Brasilien BRA

Australien AUS

Finnland FIN

Buenos Aires, Argentinien ARG (BA)

Chile CHL

Israel ISR

Litauen LTU

Korea KOR

Kolumbien COL

Italien ITA

Island ISL

Lettland LVA

Georgien GEO

Alberta, Kanada CAN (AB)

Neuseeland NZL

Niederlande

Portugal PRT

Mexiko MEX

Schweden SWE

Spanien ESP

Slowenien SVN

Bulgarien BGR Schanghai, ChinaQCN

Japan JPN Norwegen NOR

Österreich AUT

Slowakische Republik SVK

OECD-Länder TALIS 2018

OECD-Partnerländer TALIS 2018

Tschechische Republik CZE

Türkei TUR

Ungarn HUN

Vereinigte Staaten von Amerika USA

England, Vereinigtes Königreich GBR (E)

Vietnam VNM

Zypern CYPEU-Länder fett hervorgehoben

Kasachstan KAZ

Kroatien HRV Saudi-Arabien SAU

Russland RUS

Rumänien ROU Singapur SGP

Südafrika ZAF

Taiwan TWN

Vereinigte Arabische Emirate AREMalta MLT

Abbildung 1.1: Teilnehmerländer bei TALIS 2018

6 1 – Grundkonzepte, Ziele und Organisation von TALIS 2018

bilden eine wesentliche Ausgangsbasis für die TALIS-Studie und deren Forschungsdesign.

Im Zuge der Entwicklung der TALIS-Studie 2008 wurde eine Expertengruppe des OECD-Indikatorenprogramms INES damit beauftragt, ein Framework zu entwickeln, das die Lücken zu Lehrerinnen und Lehrern, Unterricht und Lernen auf internationaler Ebene schließt. Dieses Framework wurde an das bereits bestehende Framework der oben an-geführten OECD-Studie (OECD, 2005) angepasst.

Anhand dieses Frameworks sowie nach einer Priorisierung der Themenbereiche durch alle Länder hat das TALIS-BPC (Board of Participating Countries)1 für die erstmalige Er-hebung im Jahr 2008 zu den Arbeitsbedingungen und dem Lernumfeld an Schulen folgende vier Themen festgelegt:

�� Fortbildung von Lehrerinnen und Lehrern�� Lehreinstellungen, -methoden und -haltungen�� Schulevaluation, Lehrerbeurteilung und Feedback�� Schulmanagement

Fünf Jahre später, im Jahr 2013, wurde TALIS ein zweites Mal durchgeführt (ohne Beteiligung Österreichs). Für diese Erhebung entschieden sich die teilnehmenden Länder für folgende Themenbereiche:

�� Aus- und Fortbildung von Lehrerinnen und Lehrern�� Schulmanagement�� Lehrerbeurteilung und Feedback�� Schulklima�� Lehreinstellungen, -methoden und -haltungen

In der dritten TALIS-Runde 2018 entschieden sich die teil-nehmenden Länder für die Erhebung folgender Themen-bereiche (mit Beteiligung Österreichs):

�� Personalwesen und Anspruchsgruppen �� Schulmanagement�� Schulklima �� Ausbildung und Vorbereitung von Lehrerinnen und

Lehrern�� Arbeitszufriedenheit und -motivation�� Feedback an Lehrer/innen und berufliche Entwicklung �� Selbstwirksamkeit von Lehrerinnen und Lehrern�� Lehreinstellungen und -methoden�� Kooperation von Lehrerinnen und Lehrern�� Innovation�� Chancengleichheit und Vielfalt

Österreich beteiligte sich 2008 in der ersten Runde, setzte 2013 aus und nimmt 2018 an der dritten TALIS-Erhebung wieder teil.

1 Um eine kontinuierliche Durchführung und Weiterentwicklung von TALIS zu ermöglichen, überführte das OECD Council das TALIS-Projekt im Jahr 2015 in ein „Part II Programme“. Damit wurde das TALIS-BPC durch das TALIS Governing Board (TGB) als oberstes Steuerungsgremium abgelöst.

1.1.3 Methoden

Bei der TALIS-Studie handelt es sich um eine Fragebogen-erhebung, in der Lehrer/innen und Schulleiter/innen befragt wurden.

Die teilnehmenden Länder konnten wählen, ob sie die Er-hebung als gedruckte Fragebögen oder als Onlinefragebögen durchführen wollten oder auch beide verwenden wollten. In Österreich kamen bei der Erhebung 2018 nur mehr die On-lineversionen zum Einsatz.

In den Fragebögen wurden hauptsächlich geschlossene Fragen gestellt. In einigen wenigen Fällen sollten die Lehrer/innen die Antwort in Form eines Worts oder einer Zahl geben („offene Fragen“). Dabei bestand der Fragebogen der Lehrkräfte aus insgesamt 43 Fragen, davon 4 offene Fragen, und der Frage-bogen der Schulleiter/innen aus insgesamt 37 Fragen, davon 3 offene Fragen.

In Österreich wurde die TALIS-Studie auf Deutsch durch-geführt. Die teilnehmenden Länder konnten sich ent-scheiden, ob sie die Erhebung anhand gedruckter Frage-bögen und/oder als Onlinebefragung durchführen wollten. In Österreich wurde die Befragung online durchgeführt.

1.1.4 Erhebungszeitraum

Mit der Arbeit an TALIS 2018 wurde im Jahr 2016 be-gonnen. Zunächst wurden die Zielgruppe definiert, inter-national die inhaltlichen Themenschwerpunkte festgelegt und ein organisatorischer Ablaufplan entwickelt. Vor der eigentlichen Haupterhebung wurde im Jahr 2017 ein Feldtest in den Teilnehmerländern durchgeführt, um die Prozeduren und Materialien zu erproben. An diesem Feldtest haben in Österreich 30 Schulen mit rund 600 Lehrkräften teil-genommen. Auf dieser Datengrundlage wurden im Sommer und Herbst 2017 die Instrumente und Materialien für die Hauptbefragung bestimmt, die in Österreich im Frühjahr 2018 stattgefunden hat. An dieser haben sich 277 Schulen der Sekundarstufe I mit 4265 Lehrerinnen und Lehrern und 277 Schulleiterinnen und Schulleitern beteiligt.

1.1.5 Ziele und Forschungsfragen

Mit der TALIS-Studie ist das wesentliche Ziel verbunden, bislang bestehende Informationslücken in der Forschung über Lehrkräfte und Unterricht zu schließen, indem inter-nationale Indikatoren bestimmt werden. Die Ergebnisse aus den Analysen zu Arbeitsbedingungen und Arbeitsumfeld von Lehrerinnen und Lehrern sowie Schulleiterinnen und Schul-leitern werden der Politik zur Verfügung gestellt.

TALIS 2018 – Technischer Bericht 7

Dies bietet den Teilnehmerländern die Möglichkeit, anhand der Ergebnisse das Bildungswesen auf politischer Ebene zu gestalten und gegebenenfalls neu auszurichten.

Ein weiterer Vorzug der Studie liegt in ihrer internationalen Aus-richtung, wodurch Stärken und Schwächen in den Bildungs-systemen der Teilnehmerländer sichtbar gemacht und mit-einander verglichen werden können. Dadurch ermöglicht die Studie einen Einblick in länderspezifische Herausforderungen.

Die Studie bildet auch eine wichtige Ergänzung bisheriger nationaler (Bildungsstandards) und internationaler Studien im Bildungswesen (beispielsweise PISA, TIMSS oder PIRLS), in denen die Schüler/innen und ihr Lernerfolg im Mittel-punkt der Untersuchung stehen.

1.1.6 Publikation von Ergebnissen

Einen Überblick über die Ergebnisse der TALIS-Studie 2008 geben zum einen der internationale Ergebnisbericht der OECD „Creating Effective Teaching and Learning En-vironments: First Results from TALIS“ (OECD, 2009) und zum anderen der nationale Ergebnisbericht in Österreich „TALIS 2008. Schule als Lernumfeld und Arbeitsplatz. Erste Ergebnisse des internationalen Vergleichs“ (Schmich & Schreiner, 2009).

Mit den Daten der TALIS-2013-Studie publizierte die OECD den internationalen Ergebnisbericht „TALIS 2013 Results. An International Perspective on Teaching and Learning“ (OECD, 2014).

Aus der TALIS-Erhebung 2018 resultierten der internationale Ergebnisbericht der OECD (OECD, 2019) sowie der nationale Ergebnisbericht für Österreich, „TALIS 2018 (Band 1): Rahmenbedingungen des schulischen Lehrens und Lernens aus Sicht von Lehrkräften und Schulleitungen im internationalen Vergleich.“ (Schmich & Itzlinger-Bruneforth, 2019).

Um die internationalen und nationalen Ergebnisse der TALIS-Studie einem möglichst großen Personenkreis zu-gänglich zu machen, stehen neben der Buchpublikation die Ergebnisberichte auch auf den Webseiten der OECD (www.oecd.org/education/talis/) sowie des BIFIE (https://www.bifie.at/material/internationalestudien/talis/) kostenlos zum Download zur Verfügung.

1.1.7 Die Bedeutung von TALIS für Österreich

Die TALIS-Studie hat für die österreichische Bildungsland-schaft insofern große Bedeutung, als dass sie die einzige Studie in Österreich ist, die den Fokus auf das Arbeitsumfeld von Lehrerinnen und Lehrern und auf das der Schulleitungen legt.

Mit der zweiten Erhebung ist zudem ein Vergleich zwischen 2008 und 2018 möglich. In diesen zehn dazwischen-

liegenden Jahren hat sich in Österreichs Schullandschaft auf der Sekundarstufe 1 eine bedeutende Veränderung ergeben, nämlich die flächendeckende Einführung der Neuen Mittel-schule sowie die Einführung der Bildungsstandards.

1.2 Internationale Organisation von TALIS

1.2.1 Die OECD und ihre Ziele

Die internationale Projektorganisation sowie die Qualitäts-sicherung der Daten im Rahmen der TALIS-Studie obliegt dem Sekretariat der Organisation für wirtschaftliche Zu-sammenarbeit und Entwicklung (OECD).

Die OECD wurde 1961 gegründet und besteht weltweit aus 36 Teilnehmerländern. Darüber hinaus besteht eine enge Zusammenarbeit mit Partnerländern wie z. B. Brasilien oder Indien. Ziel der OECD ist die wissensbasierte Beratung der Regierungen zur Erreichung von Wachstum, Wohlstand und Armutsbekämpfung.

Im Rahmen ihrer bildungspolitischen Arbeit führt die OECD eine Reihe von Studien durch, die das Bildungs- und Schul-system von Mitgliedsländern und Partnerländern eingehend analysieren. Als Teil dieser Arbeit werden Indikatoren zum Bildungssystem entwickelt, Daten gesammelt und die Er-gebnisse in Berichten veröffentlicht.

Mit der Publikation sowie Präsentation der Ergebnisse strebt die OECD u. a. folgende wesentliche Ziele in ihrer strategischen Bildungsarbeit an:

�� Förderung des lebenslangen Lernens und eine Ver-besserung der Verbindung von Bildung, Wirtschaft und Gesellschaft (PIAAC-Studie)�� Evaluation von Bildungsergebnissen (PISA-Studie)�� Förderung der Unterrichtsqualität (TALIS-Studie)

1.2.2 An der Durchführung beteiligte Institutionen

Neben der OECD, die für die Organisation der Studie und deren Umsetzung auf internationaler Ebene hauptverant-wortlich ist, waren im Weiteren folgende Institutionen be-teiligt und bei der Durchführung der Studie für folgende Aufgaben verantwortlich:

�� Das TGB (TALIS Governing Board), in dem alle teil-nehmenden Länder vertreten sind, hat alle wichtigen Entscheidungen hinsichtlich der Zielgruppe von TALIS und den inhaltlichen Themenschwerpunkten sowie dem Framework und der Entwicklung der Fragebögen unter Berücksichtigung der Zielsetzungen der OECD getroffen und hat darüber hinaus die gesamte Umsetzung über-wacht.

8 1 – Grundkonzepte, Ziele und Organisation von TALIS 2018

�� Das IDEG (International Development Expert Group) hat die von den teilnehmenden Ländern gemeinsam fest-gelegten inhaltlichen Schwerpunktthemen in die Frage-bögen überführt.

�� Das IEA-DPC Hamburg (Data Processing Center of the International Association for the Evaluation of Educational Achievement) war für die Koordination und die praktische Umsetzung auf internationaler Ebene zu-ständig.

�� Dem IEA-Sekretariat oblag die Verifikation der Über-setzung und des Layouts sowie die generelle Kontrolle und Sicherung der Qualität.

�� Statistics Canada war für die Entwicklung des Sampling-plans, die Umsetzung der Stichprobenziehung und Be-rechnungen für die Gewichtungen der Stichproben zu-ständig.

�� Die NPMs (National Project Manager) haben die Um-setzung der TALIS-Studie auf nationaler Ebene betreut. Ihre Aufgaben waren hierbei, insbesondere die Ko-operation mit den Schulen sicherzustellen, die Frage-bögen zu validieren, die nationale Datensammlung und Prozeduren zu managen und die Ergebnisse von TALIS zu verifizieren.

�� Die NDMs (National Data Manager) haben sämtliche Aufgaben im Rahmen der Datenverarbeitung, -auf-

bereitung und -bereinigung auf nationaler Ebene über-nommen.

1.3 Die Organisation von TALIS in Österreich

1.3.1 Auftraggeber

Die nationale Umsetzung der TALIS-Studie 2018 wurde in Österreich vom Bundesministerium für Bildung (BMB) in Auftrag gegeben. Im Jahr 2016 hat Bundesministerin Dr.in Sonja Hammerschmid den Auftrag für eine Teilnahme Öster-reichs erteilt.

1.3.2 Das Bundesinstitut für Bildungsforschung, In-novation & Entwicklung des österreichischen Schulwesens (BIFIE)

Die Umsetzung der TALIS-Studie erfolgt in jedem Land durch ein wissenschaftliches Projektzentrum, das sämtliche Aufgaben im Rahmen des Projekts durchführt. In Österreich wurde das Bundesinstitut für Bildungsforschung, Innovation und Ent-wicklung des österreichischen Schulwesens (BIFIE) im Jahr 2016 vom Ministerium für Bildung mit der Durchführung von TALIS beauftragt. Seit 2008 ist damit das BIFIE für die nationale Umsetzung der TALIS-Studie zuständig. Seit 2008 trägt Dr.in Juliane Schmich die Verantwortung für die nationale Planung, Umsetzung und Auswertung der Erhebung.

Bibliografie

OECD (2019). TALIS 2018 Results. Teachers and School Leaders as Lifelong Learners (Volume 1). Paris: OECD Publishing. doi:10.1787/1d0bc92a-en

OECD (2014). TALIS 2013 Results. An International Perspecitve on Teaching and Learning. Paris: OECD Publishing. doi:10.1787/9789264196261-en

OECD (2009). Creating EffictiveTteaching and Learning Environments. First Results from TALIS. Paris: OECD Publishing. doi:10.1787/9789264068780-en

OECD (2005). Teachers Matter. Attracting, Developing and Retaining Effective Teachers. Paris: OECD Publishing. doi:10.1787/9789264018044-en

Schmich, J. & Itzlinger-Bruneforth, U. (Hrsg.). (2019). TALIS 2018 (Band 1). Rahmenbedingungen des schulischen Lehrens und Lernens aus Sicht von Lehrkräften und Schulleitungen im internationalen Vergleich. Graz: Leykam.

Schmich, J. & Schreiner, C. (Hrsg.). (2009). TALIS 2008. Schule als Lernumfeld und Arbeitsplatz. Erste Ergebnisse des inter-nationalen Vergleichs. Graz: Leykam.

TALIS 2018 – Technischer Bericht 9

2 Rahmenkonzept zu TALIS 2018 Juliane Schmich & Ralf Lanzdorf

Dieser Abschnitt beschreibt den theoretischen und politischen Hintergrund von TALIS, auf dessen Grundlage die TALIS-Frage bögen für Lehrer/innen und Schulleiter/innen konzipiert worden sind.

Die TALIS-Studie ist eine fortlaufende, groß angelegte Be-fragung von Lehrerinnen und Lehrern sowie Schulleitungen. TALIS 2018 ist die dritte Erhebung dieser internationalen Befragung. TALIS 2018 wurde in den meisten Ländern auf der Sekundarstufe I durchgeführt, bietet aber auch optionale Module für die Primarstufe und die Sekundarstufe II sowie ein Zusatzmodul für an PISA 2018 teilnehmende Schulen an. Die Befragung 2018 wurde in Österreich an Schulen der Sekundarstufe I durchgeführt. Die Befragungsoptionen für Grundschule, die Sekundarstufe II bzw. für Schulen mit PISA-Stichproben wurden für Österreich nicht eingesetzt.

Der konzeptionelle Rahmen der Befragung spiegelt wichtige Konzepte aus der Bildungsforschungsliteratur sowie bildungs-politische Interessen der Berufsgruppe wider. Er wurde von einem internationalen Konsortium aus Forscherinnen und Forschern in Konsultation mit der „Questionnaire Development Group“ von TALIS (OECD, 2018b) und in Kooperation mit den Teilnehmerländern entwickelt. Das Rahmenkonzept für TALIS 2018 baut auf denen der beiden vorhergehenden Zyklen, TALIS 2008 und TALIS 2013, auf. Das vorliegende Kapitel fasst die OECD-Publikationen zu diesem konzeptionellen Rahmen für TALIS 2018 zusammen (OECD, 2018a; OECD, 2018b).

2.1 Die Entwicklung von TALIS

2005 stellte der Bericht „Teachers Matter“ (OECD, 2005) Lehrer/innen in den Fokus. Die Themen spannten sich von der Auswahl über die Ausbildung bis zur Frage, wie man gute Lehrer/innen an den Schulen halten kann und betonten die Wichtigkeit von entsprechenden Ansätzen in Schulpolitik und Lehrerausbildung. Darauf aufbauend wurde die erste TALIS-Studie konzipiert und 2008 in 24 Ländern durchgeführt. Seither wurden durch die TALIS-Studien viele bildungspolitisch relevante Erkenntnisse ge-wonnen, die damit zur Qualitätssteigerung an Schulen bei-tragen konnten. Für 2018 wurden einige Neuerungen ein-gebracht; dabei orientiert sich die Neugestaltung nicht nur an den Änderungen, die sich seit 2008 auf dem Gebiet des Lehrens und Lernens ergeben haben, sondern auch an Ent-wicklungen in der akademischen und öffentlichen Debatte über bildungspolitische Themen (OECD, 2008a).

Die Entscheidung, welche Fragen und Themen für die Be-fragungszyklen weiterverwendet und welche aus der Be-

fragung entfernt werden sollten, um Fragen zu neuen Themenbereichen Platz zu machen, war Teil eines um-fassenden Dialogs zwischen politischen Entscheidungs-trägern, Forscherinnen und Forschern und Vertreterinnen und Vertretern der Lehrerschaft. Die Entwürfe des daraus resultierenden Rahmenkonzepts wurden mit dem TALIS Governing Board (TGB) und nationalen Projekt-managerinnen und -managern hinsichtlich der nationalen/lokalen Anwendbarkeit und der Vollständigkeit sowohl hin-sichtlich des Rahmenkonzepts als auch der Fragebögen dis-kutiert.

2.1.1 Das Rahmenkonzept als Leitfaden für die Entwicklung

Der Hauptzweck des Rahmenkonzepts besteht darin, die theoretischen und bildungspolitischen Grundlagen der Studie zu integrieren und den Forschungsschwerpunkt sowie die Verknüpfungen zu vorhandenem Wissen und Belegen dar-zustellen. TALIS 2018 wird daher Informationen über die Merkmale, Bedingungen, Lernumgebungen und Praktiken der Lehrkräfte sammeln, die nach Belegen der Forschung und Erfahrung von Praktikerinnen und Praktikern zum Lernerfolg der Schüler/innen beitragen. Darüber hinaus be-inhaltet TALIS Themenstellungen wie die Selbstwirksam-keitseinschätzung von Lehrerinnen und Lehrern und die Zufriedenheit mit dem Beruf. Neu in TALIS sind u. a. die Themenbereiche zu Innovation und Unterrichten in viel-fältigen, multikulturellen Umwelten.

2.1.2 Limitationen

Das Rahmenkonzept erkennt jedoch auch an, dass das Lernen von Schülerinnen und Schülern auch durch Faktoren beeinflusst wird, die nicht mittels Selbstberichten von Lehrkräften (wie bei Befragungen wie TALIS) untersucht werden können. Hier wären andere methodische Ansätze gefragt. Eine Verknüpfung mit qualitativen Forschungsmethoden, wie z. B. in der TALIS-Videostudie eingesetzt, kann diese Limitationen aufheben.

2.2 Der wissenschaftliche Hintergrund des Rahmenkonzepts

Im Fokus des Rahmenkonzepts stehen effektive und unter-stützende Unterrichts- und institutionelle Bedingungen. Dabei bezieht sich das Rahmenkonzept auf fünf bildungs-

10 2 – Rahmenkonzept zu TALIS 2018

politische Themen (die unterschiedlichen Entscheidungs-trägern zugeordnet sein können), denen elf inhaltliche Themen zugeordnet sind (OECD, 2018a; siehe Tabelle 2.1).

In Abbildung 2.1 werden die Themen weiter nach Ebene und Fokus gruppiert und als Zuordnung von Themen zu einem von vier Feldern dargestellt, je nachdem, ob sich das Thema auf die institutionelle Ebene („Schulebene“) oder auf die Ebene der Lehrkräfte bezieht und ob das Thema auf die mehr fachlichen und arbeitnehmerbezogenen Aspekte (links) oder auf die mehr pädagogischen Aspekte (rechte Spalte) fokussiert (OECD, 2018a). Die Schulebene vereint sowohl die schulische als auch die systemische Ebene, denn Personalpolitik kann sowohl auf der Ebene der Schule als auch auf der Ebene des Schulsystems verortet sein. Prinzipiell könnten die Themen sich auch auf andere Dimensionen beziehen, aber um die Grundstruktur des Rahmenkonzepts zu beschreiben, werden nur die wichtigsten Verbindungen gezeigt (OECD, 2018a).

Das Rahmenkonzept von TALIS 2018 behandelt Themen, die sich auf berufliche Merkmale und pädagogische Praktiken auf institutioneller und individueller Ebene beziehen. Auf der Ebene der Lehrkräfte handelt es sich bei diesen Themen um Unterrichts- und Berufspraktiken, die sich unmittelbar auf die Schüler/innen auswirken. Diese Praktiken werden

Nr. ThemaAnwerbung von

Lehrerinnen und Lehrern

Berufliche Ent-wicklung von Lehrerinnen und Lehrern

Verbleib von Lehrerinnen

und Lehrern im Beruf

Schulen wirk-sam gestalten

Unterricht effektiv

gestalten

1Lehrmethoden und -praktiken

x

2 Schulmanagement x

3Berufliche Praxis von Lehrerinnen und Lehrern

x

4Ausbildung und Vorberei-tung auf den Beruf

x

5Feedback an Lehrer/innen und berufliche Entwicklung

x x

6 Schulklima x

7 Arbeitszufriedenheit x x

8Personalwesen und Stakeholderbeziehungen

x x x

9Selbstwirksamkeit von Lehrerinnen und Lehrern

x x

10 Innovation x x

11Chancengleichheit und Vielfalt

x

Tabelle 2.1: Zuordnung der Themenbereiche von TALIS 2018 zu bildungspolitischen Kernfragen (Quelle: OECD, 2018a)

Abbildung 2.1: Theoretische Einbettung der Themen in TALIS 2018 (OECD, 2018a)

Personalwesen undStakeholderbeziehungen

Ausbildung und Vorberei-tung auf den Lehrberuf

Arbeitszufriedenheit und -motivation

Feedback und berufliche Entwicklung

Selbstwirksamkeit

Schulklima

Schulmanagement

Kooperation

Lehreinstellung und -methoden

Chancen-gleichheit

und VielfaltInnovation

Charakteristika desBerufs Lehrerin/Lehrer

FOKUS

Inst

itutio

nelle

E

bene

EB

EN

EIn

divi

dual

eben

e(E

bene

der

Leh

rper

sone

n)

Pädagogische Praxis von Lehrerinnen und Lehrern

TALIS 2018 – Technischer Bericht 11

durch den Hintergrund der Lehrerausbildung und der Erst-vorbereitung, das Feedback und die Fortbildung, die Selbst-wirksamkeit sowie durch die Arbeitszufriedenheit und -motivation der Lehrer/innen beeinflusst. Auf institutioneller Ebene befassen sich die Themen mit Personalwesen und den Beziehungen zu Mitgliedern einer Interessengruppe, Schul-management und Schulklima. Das Rahmenkonzept umfasst auch neue bildungspolitische Interessen sowie Forschungs-interessen im Zusammenhang mit Innovation, Chancen-gleichheit und Vielfalt.

2.3 Themen auf institutioneller Ebene

Mit institutioneller Ebene sind sowohl die Ebene der Schule als auch die Ebene des Schulsystems gemeint. Die Themen Personalwesen und Stakeholderbeziehungen scheinen im oberen linken Quadranten auf, da sie mehrheitlich auf die gesamte Berufsgruppe wirken (Anwerben von Personen, Be-lohnungssysteme, Bindung an den Beruf ).

Bei den beiden Themen Schulmanagement und Schulklima wird von einem direkteren Bezug auf Lehren und Lernen auf Schulebene ausgegangen, daher sind sie im oberen rechten Quadranten unter „Lehren und Lernen in der pädagogischen Praxis“ verortet.

Das Rahmenkonzept umfasst auch neue Themenfelder bzw. Forschungsinteressen (grau hinterlegte Kästchen) wie Innovation, Chancengleichheit und Vielfalt, die an der Schnittstelle zur Lehrerebene angesiedelt sind.

2.3.1 Personalwesen und Stakeholderbeziehungen

Das Themenfeld Personalwesen und Stakeholderbeziehungen nimmt im Framework von TALIS 2018 eine zentrale Stellung ein – auf Schulebene und als Schlüsselfaktor für die beruf-lichen Eigenschaften: Die Charakteristika des Lehrberufs sind in der Literatur vielfältig beschrieben und beinhalten typischerweise die Unterrichtspraxis als eine Kernaufgabe, eine lange Ausbildungszeit, einen verbindlichen Ethik-kodex und einen relativ hohen Grad an Autonomie und Verantwortung. Es wird davon ausgegangen, dass diese Schulkontextfaktoren die Schülerergebnisse nicht direkt, sondern hauptsächlich über Rahmenbedingungen wie die Rekrutierung von Junglehrerinnen und -lehrern, die Bindung und Verweildauer im Lehrberuf (Anerkennung, Belohnung und Evaluation) sowie die Arbeitszufriedenheit beeinflussen. In TALIS 2018 wird daher die Selbsteinschätzung zu diesen Aspekten erfragt.

2.3.2 Schulmanagement

Schulen effektiv zu führen ist ein wichtiger Faktor für die Gestaltung des gesamten Lehr- und Lernumfelds, für die An-

regung und Unterstützung von Schülerinnen und Schülern, Eltern sowie Mitarbeiterinnen und Mitarbeitern und damit für die Förderung höherer Leistungsniveaus. Wie Studien zeigen, ist die Beziehung zwischen Schulführung und Schülerergebnissen eine indirekte; effektive Führung sorgt für Rahmenbedingungen, innerhalb derer Lehrer/innen ihre Potenziale wirksam zur Entfaltung bringen können.

Auf Schulebene stellt sich Schulführung als bedeutsamster Faktor in Bezug auf die Schülerleistung heraus (Chapman et al., 2015). Day et al. (2010) identifizieren acht Schlüssel-komponenten erfolgreicher Schulführung: Ziele und Werte definieren, Lehr- und Lernbedingungen verbessern sowie steigern, den Lehrplan adaptieren und bereichern, die Organisation neu gestalten, die Qualität der Lehrer/innen steigern und schulexterne sowie -interne Netzwerke aufbauen.

Da Schulführung eine zentrale Rolle bei der Schaffung der Schulbedingungen, unter denen die Lehrer/innen effektiv arbeiten können, spielt, ist es wichtig, Daten darüber zu sammeln, sowohl aus der Perspektive der Schulleiter/innen als auch aus der der Lehrer/innen. In TALIS werden fünf Schlüsseldimensionen für Schulführung modelliert:

1. Profil der Schulleiter/innen: Qualifikationen, Anwerbung und Fortbildung

2. Rolle, Funktion und Aufgaben der Schulleitung, Führungskompetenz, Arbeitsbedingungen und -pensum, Arbeitsstunden, Autonomie und Handlungen

3. Geteilte Führung (kollaborativ Entscheidungen treffen), Führung durch Lehrer/innen und Wahrnehmung dieser beiden Arten von Führung durch Lehrer/innen

4. Zufriedenheit der Schulleiterin/des Schulleiters5. Führung auf der Systemebene und Führung in Schul-

netzwerken

2.3.3 Schulklima

Das Schulklima ist ein facettenreiches Konzept. Es betrifft die Bereiche Sicherheit, Beziehungen, Engagement in Unter-richt und beim Lernen, institutionelles Umfeld, Schulent-wicklungsprozesse und manchmal auch die gesamte Schul-kultur (Thapa et al., 2013). Nach Thapa (2013) lässt die Überprüfung der einschlägigen Forschung den Schluss zu, dass das Schulklima sowohl auf das Befinden und Verhalten der Schüler/innen als auch auf Lernansätze wirkt. Zum Bei-spiel wird eine sichere Umgebung, in der kein Mobbing herrscht, mit qualitativ hochwertigen Beziehungen zwischen Schülerinnen und Schülern und Lehrkräften verbunden (Eliot et al., 2010). Im Gegensatz zu den relativ fixen demo-graphischen oder wirtschaftlichen Schulbedingungen ist das Schulklima eine dynamische Bedingung, die potenziell verändert und weiterentwickelt werden kann. Daher hat sie auch Bedeutung für die Gestaltung von Maßnahmen in der Lehrerausbildung.

12 2 – Rahmenkonzept zu TALIS 2018

Da das Schulklima Voraussetzungen schafft, unter denen Lehrer/innen effektiv unterrichten können, ist die Erfassung des Schulklimas in TALIS von besonderer Bedeutung. Wang und Degol (2016) fassen die verschiedenen Indikatoren zum Schulklima in vier Dimensionen zusammen: Schule und Unterricht, Gemeinde, Sicherheit und institutionelle Rahmenbedingungen.

2.4 Themen auf Lehrerebene

Auch die Themen auf Lehrerebene sind in die Fokusse Berufs-charakteristika und pädagogische Praxis gegliedert, wobei die Grenzen teilweise schwer zu ziehen sind. Die Erstaus-bildung ist potenziell von der Politik beeinflusst, für einzel-ne Lehrer/innen hingegen ein relativ festes Attribut. Für im Beruf stehende Lehrer/innen werden sich die ursprünglichen Ausbildungsmerkmale nicht ändern, aber diese Ausbildungs-merkmale können die Fortbildungseigenschaften (welche Fortbildungen absolviert werden) sowie die methodischen und didaktischen Praktiken der Lehrer/innen beeinflussen. Im Gegensatz dazu repräsentieren die anderen Themen Lehrermerkmale und Prozesse, die sich während der beruf-lichen Tätigkeit von Lehrerinnen und Lehrern und sogar als Reaktion auf unmittelbare Erfahrungen ändern können. Diese sind Arbeitszufriedenheit und -motivation, Feedback an Lehrer/innen und berufliche Entwicklungsmöglichkeiten sowie Selbstwirksamkeitsüberzeugung von Lehrerinnen und Lehrern.

Bei den Themen wurde auf Unterrichts- und Berufspraktiken fokussiert, die sich unmittelbar auf die Schüler/innen aus-wirken (OECD, 2018b). Diese Unterrichts- und Berufs-praktiken sind durch Aspekte wie kognitive Aktivierung, Klar-heit der Instruktion und Klassenführung als Prädiktoren von Schülerleistung und -motivation anerkannt (OECD 2018a). Diese Praktiken werden durch den Hintergrund der Lehrer-ausbildung und der Erstvorbereitung, das Feedback und die Fortbildung, die Selbstwirksamkeit sowie durch die Arbeits-zufriedenheit und -motivation der Lehrer/innen beeinflusst. Sie bilden den pädagogischen Kern institutionellen Lernens und ähneln dem Konzept von Unterrichtsqualität, wie es bei der TIMSS-Videostudie beschrieben wurde (OECD 2018a).

2.4.1 Ausbildung und Vorbereitung auf den Lehrberuf

TALIS 2018 untersucht die Erstausbildung von Lehrpersonen und ermöglicht vertiefende Analysen ihrer Auswirkung(en) auf Ergebnisse wie die der Selbstwirksamkeit von Lehrerinnen und Lehrern. Darüber hinaus ist die Verbindung von der Erstausbildung und der kontinuierlichen beruflichen Ent-wicklung von Interesse. Die Lehrerausbildung ändert sich im Laufe der Zeit erheblich und je länger eine Lehrperson

im Beruf ist, desto mehr kommen andere Faktoren und Merkmale ins Spiel und verzerren die Effekte der Erstaus-bildung. Es ist daher notwendig, die Unterschiede zwischen den Lehrerkohorten zu erheben und zu analysieren, z. B. mit der Frage, wann die Lehrer/innen ihre Ausbildung beendet haben oder ob sie auf die Fächer, die sie unterrichten, in ihrer Ausbildung adäquat vorbereitet worden sind.

2.4.2 Arbeitszufriedenheit und -motivation

Im Konzept von TALIS 2018 werden die Themen Arbeits-zufriedenheit und berufliche Motivation verbunden. Arbeits-zufriedenheit bezieht sich auf das Gefühl der Erfüllung und Befriedigung, das durch die Arbeit als Lehrperson erlebt wird (Locke, 1969). Die Motivation bezieht sich auf die extrinsischen und intrinsischen Faktoren, die Menschen dazu bewegen, Lehrerin bzw. Lehrer zu werden und zu bleiben (Watt & Richardson, 2008). Arbeitszufriedenheit und Motivation werden in Vergleich gesetzt zu anderen Themen wie Schulklima, Lehrmethoden, Führung und Personalwesen.

2.4.3 Feedback an Lehrer/innen und berufliche Entwicklung

Im Rahmenkonzept von TALIS 2018 werden die Bereiche Lehrerausbildung (Erstausbildung, Fort- und Weiterbildung) und Feedback zu einem Thema zusammengefasst. Das unter-scheidet sich von vorhergehenden Zyklen und unterstreicht die starken wechselseitigen Verbindungen dieser Bereiche untereinander sowie deren Rolle im beruflichen Lernen von Lehrerinnen und Lehrern.

2.4.4 Selbstwirksamkeit von Lehrerinnen und Lehrern

Aktuell werden den Kontroll- und Wirksamkeitsüber-zeugungen von Lehrerinnen und Lehrern in der Lehreraus-bildung und in der Unterrichtseffektivitätsforschung große Wichtigkeit zugesprochen (Tschannen-Moran & Woolfolk Hoy, 2001; Klassen, et al., 2011; Klassen & Tze, 2014). Das hat einige Gründe: Erstens ist die Selbstwirksamkeit von Lehrerinnen und Lehrern ein wesentliches motivationales Charakteristikum von Lehrerinnen bzw. Lehrern, das in Be-ziehung zu Unterrichtspraktiken und -qualität steht (Holz-berger et al., 2013). Zweitens sind diese Lehrpraktiken und -qualitäten eng mit der Leistung und Motivation von Schülerinnen und Schülern verbunden (Muijs & Reynolds 2002; Caprara et al., 2006; Woolfolk Hoy & Davis, 2006). Drittens weisen Lehrer/innen mit hoher Selbstwirksamkeits-perzeption eine höhere Arbeitszufriedenheit und ein größeres Engagement auf und sind weniger von Burnout betroffen, was die Wichtigkeit dieses Konstrukts für das allgemeine Wohlbefinden am Arbeitsplatz unterstreicht (Klusmann et al., 2008; Skaalvik & Skaalvik, 2010; Avanzi et al., 2013; Chesnut & Burley, 2015).

TALIS 2018 – Technischer Bericht 13

2.5 Themen der Unterrichtspraxis

Wie Lehrer/innen den Unterricht gestalten, hat größten Ein-fluss auf die Leistungsergebnisse der Schüler/innen (Hattie, 2009). Zum anderen sind die beruflichen Praktiken von be-trächtlichem Interesse, da diese Praktiken zeigen, wie Lehrer/innen sowohl untereinander als auch mit der Institution interagieren, um das Lernen von Schülerinnen und Schülern zu fördern.

2.5.1 Berufliche Praxis von Lehrerinnen und Lehrern

Ein Schlüsselergebnis von TALIS 2013 unterstrich die komplexen Formen der Zusammenarbeit, an denen sich die Lehrkräfte beteiligen. Aus diesem Grund ist dieses Thema auch für TALIS 2018 von Bedeutung. Es be-steht auch Interesse an der Rolle der Zusammenarbeit bei der Entwicklung von Lehrerfortbildungen und beim professionellen Experimentieren von Lehrkräften mit innovativen pädagogischen Methoden. Die Einbeziehung von Lehrerinnen und Lehrern in schulische Entscheidungs-prozesse ist ein weiterer Schwerpunkt dieses Themas. Es be-steht ein Interesse daran, „neue“ Schwerpunkte wie Führung durch Lehrer/innen in Schulen zu verstehen (siehe Schul-leiterthemata) und herauszufinden, inwieweit Synergien zwischen den Ansichten von Lehrpersonen und Schulleitern über Entscheidungsprozesse in Schulen bestehen.

2.5.2 Lehrmethoden und -praktiken

Die Lehrmethoden und -praktiken von Lehrerinnen und Lehrern bestehen aus vielen Aspekten, wovon einige eine starke Verbindung zu Schülerresultaten wie Leistung und Motivation in Fächern wie Mathematik und Deutsch auf-weisen (Creemers & Kyriakides, 2008; Hattie, 2009; Baumert et al., 2010; Kunter et al., 2013; Isac et al., 2015; O’Dwyer et al., 2015). Folglich wird den Lehrmethoden und -praktiken in der Forschung eine Indikatorrolle für die Unterrichts-qualität zugeschrieben. Effektive Unterrichtspraktiken sind beispielsweise gekennzeichnet durch Klassenmanagement, Lehrerunterstützung, Klarheit der Anweisungen und kognitive Aktivierung.

2.6 Themen, die sowohl für die Schulebene als auch für die Lehrerebene gelten

Die Innovationsfähigkeit von Schulen und Lehrkräften sowie Chancengleichheit und Vielfalt werden übergreifend be-handelt, da sie Elemente und Konzepte enthalten, die sowohl die Schul- als auch die Lehrerebene einschließen. Die Ver-ortung in Tabelle 2.2 zeigt den Fokus auf der Praxis, obwohl berufliche Charakteristika die Praxis beeinflussen können.

2.6.1 Innovationsfähigkeit von Schulen und Lehrkräften

Sich schnell wandelnde Gesellschaften, Volkswirtschaften und Technologien haben auch im Bereich der Bildung zu einem gewissen Innovationsdruck geführt. Der internationale Gipfel des Lehrberufs 2015 listet die Förderung von Innovationen zur Schaffung von Lernumgebungen im 21. Jahrhundert „as one of three crucial criteria which have to be in place if an education systems wants to succeed“ (Stewart, 2015). Für die Erfassung von Innovation nutzt TALIS 2018 drei Perspektiven, darunter fünf Indikatoren:

�� Innovative Unterrichtspraktiken

�� Bereitschaft der Lehrkräfte, innovative Bildungs-inhalte wie Kreativität, kritisches Denken und Problemlösung (d. h. fächerübergreifende Fähig-keiten) zu fördern

�� Integration von Informations- und Kommunikations-technologie in Unterrichtspraktiken

�� Individuelle Innovationsfähigkeit (Lehrerebene)

�� Allgemeine Innovationsbereitschaft der Lehrkräfte und Offenheit gegenüber Innovationen im Unterricht

�� Innovationsunterstützendes Schulklima (Lehrer- und Schulebene)

�� Innovationsförderndes Schulklima auf organisa to ri-scher Ebene

�� Innovationsförderndes Schulklima in Bezug auf pro-fessionelle Lerngemeinschaften (Lehrerteams)

2.6.2 Chancengleichheit und Vielfalt

Chancengleichheit und Vielfalt wird im Kontext von kulturellem Hintergrund, Geschlecht und sozioöko-nomischem Hintergrund angesprochen. Jede dieser Komponenten hat eine mehr oder weniger lange Geschichte im Kontext bildungspolitischer Praxis und in vielen Schul-systemen gibt es bereits Konzepte und Verfahren, wie mit dieser Diversität umzugehen ist. Ein Bericht der OECD (2015) beleuchtet den Umgang mit diversen Schüler-populationen weltweit mit dem Schwerpunkt auf Diversi-tät durch Migration. Obwohl diese Themen viele andere Themenbereiche berühren, war es vor dem Hintergrund des stark gestiegenen Interesses notwendig, spezifische Fragen zu Schulregeln, Unterrichtspraktiken und Lehrmethoden zu stellen. Die TALIS-Items zu Chancengleichheit und Vielfalt stammen teilweise aus PISA und teilweise aus Arbeiten von Schachner (2014).

14 2 – Rahmenkonzept zu TALIS 2018

2.7 Rahmenkonzept TALIS: die Verbindung zwischen Konzept und Entscheidungs-feldern

TALIS konzentriert sich auf Faktoren, die auf System-, Schul- und/oder Lehrerebene verändert werden können. Die vier Quadranten in Tabelle 2.2 beziehen sich auf die Wurzeln von TALIS (OECD, 2005) und auf die folgenden Entscheidungs-felder:

�� Fragen des Personalwesens und der Stakeholder-beziehungen beziehen sich auf das Anwerben von neuen Personen für den Lehrerberuf und das Binden dieser Lehrer/innen an den Beruf.�� Die Lehrerausbildung und -vorbereitung, Feedback und

Fortbildung, die Selbstwirksamkeit der Lehrer sowie ihre Arbeitszufriedenheit und -motivation am Arbeitsplatz hängen mit der (Personal-)Entwicklung von Lehrerinnen und Lehrern zusammen.�� Schulleitung und -klima sind mit Wirksamkeit von

Schulen verbunden.

�� Lehrpraktiken und -methoden der Lehrer/innen sind im Bereich „Unterricht effektiv gestalten“ verortet.

2.8 Analysen

Die Daten von TALIS 2018 erlauben Analysen in mehreren Dimensionen: Zunächst werden Indikationen international vergleichend dargestellt. Dies erlaubt einen Vergleich des eigenen Bildungssystems mit dem anderer Länder, die Ana-lyse von Stärken und Schwächen und die Identifikation potenzieller Handlungsfelder. Zweitens ist TALIS nun in der dritten Erhebungsrunde, was einen Trendvergleich erlaubt. Zuletzt werden Analysen von Zusammenhängen möglich, etwa von Indikatoren der Selbstwirksamkeit und der Arbeits-zufriedenheit von Lehrerinnen und Lehrern (TALIS 2013). Zusammenhänge von Schülerleistungsdaten aus PISA und TALIS-Daten werden allerdings nur in denjenigen Ländern hergestellt, die sich mit einem entsprechenden Studiendesign an TALIS beteiligt haben; in Österreich war das nicht der Fall.

Charakteristika des Berufs Pädagogische Praxis

Institutionelle Ebene"Charakteristika der Berufsgruppe

(Lehrer/innen anwerben, an den Beruf binden)"Wirksamkeit von Schulen

Lehrerebene"Charakteristika der Lehrerin/des Lehrers

(Personalentwicklung)"Effektiver Unterricht

Tabelle 2.2: Beziehung zwischen dem TALIS-Framework und Politikbereichen (OECD, 2018a)

TALIS 2018 – Technischer Bericht 15

Bibliografie

Avanzi, L., Miglioretti, M., Velasco, V., Balducci, C., Vecchio, L., Fraccaroli, F. & Skaalvik, E. M. (2013). Cross-validation of the Norwegian Teacher’s Self-Efficacy Scale (NTSES). Teaching and Teacher Education, 31, 69–78.

Baumert, J., Kunter, M., Blum, W., Brunner, M., Voss, T., Jordan, A., Klusmann, U. & Tsai, Y.-M. (2010). Teachers’ mathema-tical knowledge, cognitive activation in the classroom, and student progress. American Educational Research Journal, 47 (1), 133–180.

Caprara, G. V., Barbaranelli, C., Steca, P. & Malone, P. S. (2006). Teachers’ self-efficacy beliefs as determinants of job satis-faction and students’ academic achievement: A study at the school level. Journal of School Psychology, 44 (6), 473–490.

Chapman, C., Muijs, D., Reynolds, D., Sammons, P. & Teddlie, C. (2015). Routledge International Handbook of Educational Effectiveness and Improvement Research. London: Taylor and Francis.

Chesnut, S. R. & Burley, H. (2015). Self-efficacy as a predictor of commitment to the teaching profession: A meta-analysis. Educational Research Review, 15, 1–16.

Creemers, B. & Kyriakides, L. (2008). The dynamics of educational effectiveness: a contribution to policy, practice and theory in contemporary schools. Abingdon: Routledge.

Day, C., Sammons, P., Hopkins, D., Harris, A., Leithwood, K., Gu, Q. & Brown, E. (2010). 10 strong claims about sucessful school leadership. Nottingham: College for Leaderhip of Schools and Children’s Services

Eliot, M., Cornell, D., Gregory, A. & Fan, X. (2010). Supportive school climate and student willingness to seek help for bullying and threats of violence. Journal of School Psychology, 48 (6), 533–553.

Hattie, J. (2009). Visible learning: a synthesis of over 800 meta-analyses relating to achievement. London: Routledge.

Holzberger, D., Philipp, A. & Kunter, M. (2013). How teachers’ self-efficacy is related to instructional quality: A longitudinal analysis. Journal of Educational Psychology, 105 (3), 774–786.

Isac, M. M., Dinis da Costa, P., Araújo, L., Soto Calvo, E. & Albergaria-Almeida, P. (2015). Teaching practices in primary and secondary schools in Europe: Insights from large-scale assessments in education. Luxembourg: Publications Office of the European Union.

Klassen, R. M., Tze, V. C., Betts, S. & Gordon, K. (2011). Teacher efficacy research 1998–2009: Signs of progress or unfulfilled promise? Educational Psychology Review, 23 (1), 21–43.

Klassen, R. M. & Tze, V. M. C. (2014). Teachers’ self-efficacy, personality, and teaching effectiveness: A meta-analysis. Educational Research Review, 12, 59–76.

Klusmann, U., Kunter, M., Trautwein, U., Lüdtke, O. & Baumert, J. (2008). Teachers’ occupational well-being and quality of instruction: The important role of self-regulatory patterns. Journal of Educational Psychology, 100 (3), 702–715.

Kunter, M., Klusmann, U., Baumert, J., Richter, D., Voss, T. & Hachfeld, A. (2013). Professional competence of teachers: Ef-fects on instructional quality and student development. Journal of Educational Psychology, 105 (5), 805–820.

Locke, E. A. (1969). What is job satisfaction? Organizational behavior and human performance, 4 (4), 309–336.

Muijs, D. & Reynolds, D. (2002). Teachers’ beliefs and behaviors: What really matters? Journal of Classroom Interaction, 37 (2), 3–15.

O’Dwyer, L. M., Wang, Y. & Schields, K. A. (2015). Teaching for conceptual understanding: A cross-national comparison of the relationship between teachers’ instructional practices and student achievement in mathematics. Large-scale Assess-ments in Education, 3 (1), 3–30.

16 2 – Rahmenkonzept zu TALIS 2018

OECD (2018a). Teaching and Learning International Survey (TALIS) 2018 Conceptual Framework (OECD Education Working Papers Nr. 187). Paris: OECD Publishing. https://doi.org/10.1787/799337c2-en

OECD (2018b). Teaching in Focus. Changing interests and sustained knowledge in the TALIS 2018 framework. Paris: OECD Publishing. https://doi.org/10.1787/9550aa4e-en

OECD (2015). Immigrant Students at School: Easing the Journey towards Integration. Paris: OECD Publishing. https://dx.doi.org/10.1787/9789264249509-en

OECD (2005). Teachers Matter. Attracting, Developing and Retaining Effective Teachers. Paris: OECD Publishing. https://doi.org/10.1787/9789264018044-en

Schachner, M. (2014). Contextual conditions for acculturation and school-related outcomes of early adolescent immigrants in Germany. Ort der Publikation: University of Jena and Tilburg University.

Skaalvik, E. M. & Skaalvik, S. (2010). Teacher self-efficacy and teacher burnout: A study of relations. Teaching and Teacher Education, 26 (4), 1059–1069.

Stewart, V. (2015). ISTP 2015 Final Report. Implementing highly effective Teacher Policy and Practice, ISTP. http://istp2015.org/Documents/ISTP-Asia-Society-report_Final_EN.pdf

Thapa, A., Cohen, J., Guffey, S. & Higgins-D’Alessandro, A. (2013). A review of school climate research. Review of Educational Research, 83 (3), 357–385.

Tschannen-Moran, M. & Woolfolk Hoy, A. (2001). Teacher efficacy: capturing an elusive construct. Teaching and Teacher Education, 17 (7), 783–805.

Wang, M. & Degol, J. (2016). School climate: A review of the construct, measurement, and impact on student outcomes. Educational Psychology Review, 28 (2), 315–352. http://dx.doi.org/10.1007/s10648-015-9319-1

Watt, H. M. & Richardson, P. W. (2008). Motivations, perceptions, and aspirations concerning teaching as a career for different types of beginning teachers. Learning and Instruction, 18 (5), 408–428.

Woolfolk Hoy, A. & Davis, H. A. (2006). Teacher self-efficacy and its influence on the achievement of adolescents. In F. Pajares und T. Urdan (Eds.), Self-efficacy beliefs of adolescents (pp. 117–137). Greenwich, CT: Information Age.

TALIS 2018 – Technischer Bericht 17

3 Fragebögen Juliane Schmich

Für TALIS wurden Fragebögen entwickelt, die zum einen für Lehrer/innen und zum anderen für Schulleiter/innen konzipiert worden sind. Im Folgenden werden die Struktur und die Themenbereiche der Fragebögen näher erläutert.

3.1 Entwicklung der Fragebögen

Die Entwicklung der Fragebögen und die damit verbundene Auswahl der Fragebogen-Items orientieren sich am in Kapitel 2 beschriebenen Rahmenmodell. Die Fragbogenentwicklung und -konstruktion oblag einer Expertengruppe (IDEG, siehe Kapitel 1) der OECD, die eine internationale Version der Fragebögen erstellte. Für den Feldtest sowie auch für die Hauptbefragung mussten der Lehrer- und der Schulleiter-fragebogen jeweils übersetzt und verifiziert werden.

3.2 Übersetzung und Verifikation

Die Übersetzung der Lehrer- und Schulleiterfragebögen in die jeweilige Zielsprache des Teilnehmerlandes unterlag speziellen Vorgaben. Im Rahmen der Qualitätssicherung bildete die Einhaltung dieser Richtlinien und Vorgaben eine wesentliche Grundlage, um die Vergleichbarkeit zwischen den Fragebogen-Versionen der teilnehmenden Länder zu gewährleisten und schließlich eine hochwertige Datenbasis erhalten zu können. Die Richtlinien wurden vonseiten des internationalen Zentrums festgelegt und im Handbuch für nationale Projektmanager (NPM-Manual) beschrieben.

3.2.1 Übersetzungsrichtlinien

Die Übersetzung der Fragebögen erfolgte, wie oben erwähnt, nach bestimmten Richtlinien. Hierbei waren die Übersetzer dazu angehalten, die Fragen in größtmöglicher Überein-stimmung mit der internationalen Version zu übersetzen, jedoch kulturelle Anpassungen vorzunehmen, wenn es not-wendig erschien.

Um dies zu gewährleisten, wurden der Übersetzung folgende Kriterien zugrunde gelegt:

�� Wörter und Sätze mussten gleichbedeutend mit denen der internationalen Version sein.�� Die Bedeutung des Textes durfte sich nicht verändern.�� Die übersetzten Fragen mussten dasselbe wie die inter-

nationale Version erfassen.�� Es war darauf zu achten, dass sich durch die Übersetzung

das Layout nicht änderte.

Im Weiteren sollten bei der Übersetzung auch sprachliche Gegebenheiten des Landes berücksichtigt werden:

�� Die Übersetzungen sollten die gleiche Sprach- und Form-ebene aufweisen wie die internationale Version.�� Die Texte mussten grammatikalisch korrekt formuliert

sein.�� Bei den Übersetzungen sollten weder Informationen weg-

gelassen noch hinzugefügt werden.�� Redewendungen sollten passend übersetzt werden, wobei

nicht zwangsläufig Wort für Wort übersetzt werden musste.�� Rechtschreibung, Grammatik sowie Groß- und Klein-

schreibung musste je nach Zielsprache und kulturellem Hintergrund verwendet werden.

3.2.2 Qualifikationsanforderungen an die Über-setzer/innen und Reviewer/innen

Für die Einhaltung der Übersetzungsrichtlinien wurden an den nationalen Zentren zum einen qualifizierte Übersetzer/innen ausgewählt, die die Fragebögen in die jeweilige Ziel-sprache überführten. Zum anderen wurden Reviewer/innen ausgesucht, die im Anschluss die übersetzten Dokumente zur Durchsicht übermittelt bekamen und die Übersetzung hin-sichtlich Verständlichkeit beurteilten. Um eine hohe Qualität der Übersetzung zu gewährleisten, empfahl die OECD, die Übersetzer/innen und Reviewer/innen nach den folgenden Kriterien auszuwählen:

�� Exzellente Beherrschung der englischen Sprache,�� muttersprachliche Kenntnisse der jeweiligen Zielsprache

und�� Erfahrungen im Bildungswesen des Landes.

Darüber hinaus sah das Handbuch für die Reviewer/innen noch zwei weitere Auswahlkriterien vor:

�� Vertrautheit mit den in der Studie eingesetzten Instru-menten und�� wenn möglich Vertrautheit mit dem Thema der Studie.

3.2.3 Arbeitsabläufe beim Übersetzen der Instrumente

Die Bestimmung der Zielsprache der Übersetzung erfolgte innerhalb der Länder. Sofern in Ländern mehrere Sprachen gesprochen werden, wurde empfohlen, Übersetzer/innen aus-zusuchen, die mit der jeweiligen Zielsprache vertraut sind, um die Gleichwertigkeit der Übersetzungen sicherzustellen. In Österreich wurden die Fragebögen aufgrund der Stich-probenzusammensetzung ins Deutsche übersetzt.

18 3 – Fragebögen

Für das Übersetzen wurden den Übersetzerinnen und Über-setzern die internationalen Versionen der Fragebögen, ein Übersetzungsleitfaden, im Feldtest der Zugang zur On-line-Übersetzungsplattform (eAssessement-Designer der IEA) sowie allgemeine Informationen zur Studie und der organisatorische Ablaufplan für die Übersetzungsphase übergeben. Die bei der Übersetzung vorgenommenen An-passungen mussten in der Online-Plattform eingetragen werden. Im Anschluss wurden die übersetzten Dokumente an die Reviewer/innen übergeben, die diese begutachteten und falls notwendig Veränderungen bzw. Modifizierungen vornahmen.

Für die Hauptbefragung mussten die Fragebögen nach dem Feldtest nochmals überarbeitet werden. Dabei kam der eAssessment-Designer der IEA aus Zeitgründen nicht mehr zum Einsatz, sondern die sogenannte „national adaptation form“ (NAF), die bereits auch in anderen Studien mehr-fach verwendet wurde (TIMSS, PIRLS etc.). Dabei handelt es sich um eine Excel-Datei, in der alle Fragen der beiden Fragebögen sowie alle Ausprägungen und Anleitungen zu den Fragen enthalten sind. In dieser Datei wurden etwaige nationale Änderungen dokumentiert.

3.2.4 Übersetzung in Österreich

Wie oben bereits erwähnt, wurde in Österreich die Frage-bogenerhebung in Deutsch durchgeführt.

Die englische Fragebogen-Version wurde von einer Über-setzerin auf der Onlineplattform (im FT) ins Deutsche über-führt und an österreichische Sprachgegebenheiten angepasst. Die Änderungen vom Feldtest zur Hauptbefragung wurden am nationalen Zentrum erledigt und in der NAF eingetragen.

3.2.5 Internationale Übersetzungsverifikation

Die übersetzten Fragebögen sowie die eingetragenen An-passungen wurden zur Verifikation an das IEA-Sekretariat geschickt, wo die Reviewer/innen die Dokumente im Hin-blick auf die Qualität der Übersetzung überprüften. Die Reviewer/innen waren bei ihrer Prüfung dazu angehalten, ihre Korrekturen und Vorschläge anhand eines Zahlen-codes von 1 bis 4 zu dokumentieren, der die Schwere einer eventuellen Übersetzungsabweichung angab. Anschließend wurden die verifizierten Dokumente vom IEA-Sekretariat an die nationalen Projektzentren zurückgesandt, damit die Korrekturen und Vorschläge eingearbeitet werden konnten. Gegebenenfalls musste das Formular zur nationalen An-passung entsprechend (NAF) modifiziert werden.

Für länderspezifische Veränderungen der Fragebögen musste darüber hinaus eine Genehmigung bei der OECD eingeholt werden. Dies war z. B. notwendig bei einer Anpassung an das nationale Schulsystem.

3.2.6 Verifikation des Layouts

Nachdem die übersetzten Fragebögen verifiziert und an die nationalen Projektzentren zurückgesandt worden waren, wurden die Änderungsvorschläge der Übersetzungsreviews in die Fragebögen eingearbeitet und in einem letzten Schritt hinsichtlich des Layouts verifiziert. Die Layout-Verifizierung und die Überprüfung der richtigen Zusammenstellung der Dokumente fanden wiederum am internationalen Zentrum statt. Nach Freigabe der Fragebögen wurden diese an-schließend im jeweiligen Land vervielfältigt bzw. eine On-line-Version erstellt.

3.2.7 Einsatz von Qualitätskontrollen

In Österreich wurden vor der Feldtestung 2017 der Lehrer- und der Schulleiterfragebogen Lehrkräften zur Begutachtung vorgelegt, die diese hinsichtlich inhaltlicher und sprachlicher Verständlichkeit beurteilten.

3.3 Die Fragebögen im Feldtest 2017

Beim Feldtest 2017 wurden die Fragebögen sowie sämt-liche organisatorischen Abläufe erprobt, um zum einen die Qualität der Fragebogen-Items zu überprüfen und zum anderen Probleme und Schwierigkeiten bei der Organisation zu identifizieren, bevor eine endgültige Version für den Haupttest entwickelt wurde. Im Hinblick auf die Qualität der Fragebogen-Items diente der Feldtest zum einen dazu, Fragen herauszufiltern, die eine hohe Ausfallquote auf-grund fehlender Werte aufwiesen. Zum anderen wurden insbesondere Analysen durchgeführt, um Fragen zu identi-fizieren, die möglicherweise auf ein bestimmtes Antwortver-halten schließen ließen.

Beim Feldtest wurden insgesamt 72 internationale und fünf nationale Fragen im Lehrerfragebogen und insgesamt 55 internationale und vier nationale Fragen im Schulleiterfrage-bogen getestet.

Der Lehrerfragebogen wurde im Feldtest in drei rotierten Versionen (A, B, C) eingesetzt. Jede der drei Formen be-inhaltete fixe Themenbereiche (z. B. zur Lehrperson) sowie spezifische Themenbereiche, die dann jeweils nur in einer der drei Versionen vorkamen. Dies diente dazu, möglichst viele Themenbereiche erfassen zu können, um die Fragen danach aufgrund der internationalen Analysen der Feldtestdaten nach datenbasierten und inhaltlichen Argumenten auf die in der Hauptbefragung verwendeten Themenbereiche und Fragen zu reduzieren.

Auch der Schulleiterfragebogen wurde aufgrund der inter-nationalen Analysen der Feldtestdaten nach datenbasierten

TALIS 2018 – Technischer Bericht 19

und inhaltlichen Argumenten auf die in der Hauptbefragung verwendeten Themenbereiche und Fragen reduziert.

3.4 Die Fragebögen in der Hauptbefragung 2018

3.4.1 Lehrerfragebogen

Der Fragebogen für die Lehrkräfte besteht aus insgesamt 57 Fragen.

Dabei handelt es sich zumeist um geschlossene Fragen. Dies umfasst beispielsweise Antwortvorgaben in Form von Ja-nein-Antworten oder aber Mehrfachantworten in Form einer Häufigkeitsdifferenzierung von „sehr oft“ bis „nie“ oder einer Abstufung im Zustimmungsbereich von „stimme ganz zu“ bis „stimme gar nicht zu“.

Bei wenigen Fragen wurden die Lehrer/innen gebeten, ihre Antwort als Zahl anzugeben („offene Fragen“). Dies war beispielsweise erforderlich bei der Angabe zur Anzahl an Stunden, die die Lehrkräfte für verschiedene Tätigkeiten auf-wenden, bei der prozentualen Verteilung der Aufgaben, bei der Anzahl der Schüler/innen in der Klasse u. ä. m.

Die Lehrer/innen wurden zu folgenden Bereichen befragt:

�� Demografische Informationen zur Lehrperson,�� Rahmenbedingungen und Inhalte der Erstausbildung,�� Fortbildung: Fortbildungsaktivitäten; Rahmenbe din-

gungen der Fortbildung; Fortbildungsbedarf; Mentoring und Induktion,�� Unterrichten im Allgemeinen: Lehrmethoden und -ein-

stellungen; Kooperation von Lehrpersonen unter-einander; Individualisierung/Differenzierung im Unter-richt,�� Unterricht in einer bestimmten Klasse,�� Art, Häufigkeit und Effekte von Feedback,�� Schulklima und Arbeitszufriedenheit; Herausforde rungen,�� Unterrichten in vielfältigen Lernwelten (Heterogenität),�� Schulleitung und�� Klassenklima.

Im Rahmen der nationalen Zusatzerhebung wurden die Lehrer/innen zu folgenden Themenbereichen befragt:

�� Nutzung von Informations- und Kommunikations-technologien (IKT), Internet und digitalen Medien im Unterricht,�� Selbstwirksamkeitsüberzeugungen bei Lehrer/innen

(Skalen von 2008) und�� Schulleitung (Skalen von 2008).

3.4.2 Schulleiterfragebogen

Der Schulleiterfragebogen bestand aus 48 Fragen, wobei es sich größtenteils um geschlossene Antwortformate handelt.

Auch hier sollten u. a. die Antworten in Form von Ja/Nein-Angaben angegeben werden. Darüber hinaus waren ebenfalls Mehrfachantworten vorgegeben, beispielsweise in Form von Häufigkeitsangaben von „oft“ bis „nie“ sowie im Zustimmungsbereich von „stimme zu“ bis „stimme nicht zu“ oder hinsichtlich der Wichtigkeit von „sehr wichtig“ bis „überhaupt nicht wichtig“. Bei sechs Fragen waren die Schul-leiter/innen aufgefordert, ihre Antwort als Zahl einzutragen z. B. bei der Angabe über die Anzahl der Lehrpersonen an der Schule oder der prozentualen Verteilung von bestimmten Tätigkeiten u. Ä. m.

Der Fragebogen der Schulleiter/innen setzt sich aus Fragen zu folgenden Themenbereichen zusammen:

�� Demografische Informationen zur Person der Schul-leiterin/des Schulleiters,�� Hintergrundinformationen zur Schule,�� Schulressourcen,�� Art und Ausmaß von Schulevaluation,�� Bedeutung und Effekte von Schulevaluation,�� formale Begleitung für Berufseinsteiger/innen,�� Verhalten von Lehrerinnen und Lehrern,�� Entscheidungsstrukturen an der Schule,�� Schulleitung,�� Art der Lehrer-Beurteilung und/oder Rückmeldung,�� Effekte von Lehrer-Beurteilung und/oder Rückmeldung,�� Lehreinstellungen und -haltungen sowie�� Schulklima.

3.5 Qualitätssicherung

Die qualitätssichernden Maßnahmen beziehen sich auf die Einhaltung der vorgegebenen Aufgaben und Abläufe, angefangen von der Entwicklung der Fragebögen bis hin zur Übersetzung der Materialien in die jeweiligen Landes-sprachen.

Eine Qualitätsgrundlage bei der Fragebogenentwicklung bildeten die Frameworks sowie die damit verbundenen Themenschwerpunkte. Auf Basis der Frameworks wählte eine internationale Expertengruppe die Fragen aus, entwickelte die Fragebögen und legte diese den teilnehmenden Ländern zur Begutachtung vor.

Die Qualität der Übersetzung der Fragebögen wurde durch die im Folgenden aufgeführten Bestimmungen gewährleistet:

20 3 – Fragebögen

�� Verbindliche Einhaltung der vorgeschriebenen Über-setzungsrichtlinien (gleiche Sprachebene, kein Verändern, Weglassen oder Hinzufügen bei den übersetzten Text-passagen) sowie�� verbindliche Einhaltung der vorgeschriebenen Über-

setzungs abläufe (Auswahl qualifizierter Übersetzer/ innen und Reviewer/innen nach bestimmten Kriterien, Doku-mentation der vorgenommenen Anpassungen, Veri-fikation der Fragebögen und des Layouts auf inter-nationaler Ebene.

Die Verifikation der Fragebögen und des Layouts diente vor allem dazu, die Qualität der Übersetzung und die

vorgenommenen Anpassungen zu begutachten und An-merkungen bei Textpassagen in der nationalen endgültigen Fragebogenversion zu berücksichtigen.

Eine weitere Möglichkeit, eine hohe Qualität zu gewähr-leisten, ist die Durchführung eines Feldtests, in dem Prozeduren sowie Materialien getestet werden. Nach dem Feldtest wurden die Feldtestdaten analysiert und für den Haupttest konnten Veränderungen bzw. Modifizierungen vorgenommen werden. Es wurden nur solche Fragen über-nommen, die länderübergreifend zufriedenstellende Ergeb-nisse aufwiesen.

TALIS 2018 – Technischer Bericht 21

4 Stichprobendefinition und -ziehung Juliane Schmich

In diesem Kapitel werden grundlegende Definitionen der TALIS-Population und Richtlinien der Stichprobenziehung be-schrieben sowie die Realisierung der Stichproben für Feldtest und Hauptbefragung von TALIS 2018 in Österreich erläutert.1

1 Der vorliegende Text ist angelehnt an das Kapitel zu Sampling-Design und Stichproben im technischen Bericht zu PISA 2015 (Pareiss, 2016).

4.1 Die Zielgruppe von TALIS

Die Definition der Zielpopulation ist eine wichtige Fest-legung, die bei einer Studie getroffen wird.

International gesehen gibt es drei verschiedene Möglichkeiten von Zielpopulationen:

�� Volksschule (ISCED 1),�� Sekundarstufe I (ISCED 2) und�� Sekundarstufe II (ISCED3).

Österreich hat sich bei der Erhebung für die Sekundarstufe I entschieden. Bei der ersten TALIS-Erhebung im Jahr 2008 gab es nur eine Zielgruppe, nämlich die Sekundarstufe I.

Die Population, über die für Österreich bei TALIS 2018 Aus-sagen gemacht werden, ist folgendermaßen definiert:

Lehrer/innen, deren Hauptaufgabe in der Schule die Erteilung von Unterricht ist. Dabei ist sowohl das Unterrichten ganzer Klassen als auch Unterricht für kleine Gruppen von Schülerinnen und Schülern sowie von einzelnen Schülerinnen oder Schültern gemeint.

Für TALIS sind nur Lehrer/innen relevant, die in der Sekundarstufe I unterrichten. Dies betrifft im Allgemeinen Lehrer/innen, die im Rahmen ihrer Dienstpflichten an der Neuen Mittelschule oder der AHS-Unterstufe (Schulstufen 5–8) unterrichten.

4.2 Von der allgemeinen Definition zum konkreten Stichprobenplan

Die „International Desired Target Population“, die inter-national gewünschte Zielpopulation, ist im Prinzip jene Population, die durch die zuvor angeführte und erläuterte Populationsdefinition beschrieben ist. Für die Teilnahme an der Erhebung 2018 kommen laut Vorgabe der OECD alle Lehrer/innen an Schulen infrage, die im Schuljahr 2017/2018 Schüler/innen der Sekundarstufe I unterrichten. Das schließt

auch Personen ein, die an dieser Schule nur auf Teilzeitbasis unterrichten.

Die Festlegung der „National Desired Target Population“, der national gewünschten Zielpopulation, ist die „Übersetzung“ der internationalen Vorgaben in die Begriffe und Strukturen eines Landes. Die OECD empfiehlt allen Teilnehmerländern eine möglichst vollständige Abdeckung der international ge-wünschten Zielpopulation. Alle Abweichungen zwischen der international und der national gewünschten Zielpopulation müssen genau dokumentiert und von internationaler Seite genehmigt werden. Wenn größere Teile der international ge-wünschten Zielpopulation durch die national gewünschte Zielpopulation nicht abgedeckt sind, führt das dazu, dass die Ergebnisse aus TALIS nicht für das betreffende nationale Schulsystem repräsentativ sind.

4.3 Das allgemeine internationale Sampling-Design

Auch wenn TALIS Aussagen über die Population der Lehrer/innen und Schulleiter/innen der Sekundarstufe I machen möchte, ist es weder notwendig noch sinnvoll, alle Lehrer/innen und Schulleiter/innen zu befragen. Um zuverlässige Schätzer für die Einstellungen und Erfahrungen und andere Merkmale der Lehrer/innen zu erhalten, reicht die Befragung einer Stichprobe aus, sofern diese groß genug ist und die Auswahl der Lehrer/innen bzw. Schulen gemäß theoretisch fundierten Methoden erfolgt.

4.3.1 Stichprobenziehung in zwei Schritten

Die Stichprobenziehung bei TALIS erfolgt nach einem zweistufigen Sampling-Design. Im ersten Schritt wird eine Auswahl aus allen Schulen getroffen, an denen zum Zeit-punkt der TALIS-Erhebung Schüler/innen der Sekundar-stufe I unterrichtet werden. Laut Vorgaben der OECD muss die Stichprobe mindestens 200 Schulen umfassen bzw. alle Schulen mit TALIS-relevanten Schülerinnen und Schülern, wenn es davon weniger als 200 gibt. Die Schulen werden systematisch mit Wahrscheinlichkeiten, die proportional zu ihrer Größe sind, ausgewählt (Probabilities Proportional to

22 4 – Stichprobendefinition und -ziehung

Size – PPS). Die Größe einer Schule ist dabei durch die Anzahl an Schülerinnen und Schülern der Sekundarstufe I definiert.

Für den zweiten Schritt muss von jeder teilnehmenden Schule eine Liste aller Lehrer/innen, die Schüler/innen der Sekundar-stufe I unterrichten, vorliegen. Bei TALIS werden aus diesen Listen je 20 Lehrer/innen nach dem Zufallsprinzip für die Teilnahme an der Befragung ausgewählt. Gibt es an einer Schule weniger als 31 in Frage kommende Lehrer/innen, sind alle diese Lehrer/innen für die Befragung vorgesehen.

Mit diesen Vorgaben soll eine realisierte Stichprobe von mindestens 4000 Lehrerinnen und Lehrern erreicht werden, wobei ein gewisser Ausfall von Lehrerinnen und Lehrern berücksichtigt werden muss. Dieser Ausfall resultiert aus dem Vorkommen von kleinen Schulen in der Stichprobe (d. h. Schulen mit weniger als 31 Lehrerinnen und Lehrern unabhängig von der Gesamtgröße dieser Schulen). Wenn es in einem Land viele kleine Schulen gibt, müssen ent-sprechend mehr Schulen in die Stichprobe aufgenommen werden, damit die Mindestvorgabe von 4000 auswertbaren Datensätzen erreicht werden kann. Eine Erhöhung der Stich-probengröße kann auch erforderlich sein, wenn ein Land weitergehende Datenvergleiche, z. B. auf regionaler Ebene, anstellen möchte.

4.3.2 Stratifizierung

Um die Präzision der Ergebnisse und die Effizienz der Stichprobe zu steigern, findet beim ersten Samplingschritt von TALIS – der Auswahl der Schulen – die Methode der Stratifizierung Anwendung. Dabei werden alle potenziellen TALIS-Schulen in mehrere Gruppen geteilt. Aus jeder dieser Gruppen („Strata“) wird dann entsprechend ihrer Größe (= ihres Anteils an der Population aller Schulen mit Schülerinnen und Schülern in der Sekundarstufe I) eine be-stimmte Anzahl an Schulen ausgewählt.

In Österreich wurde bei TALIS 2018 (wie schon bei der vorhergehenden TALIS-Erhebung 2008) eine Stratifizierung nach Schulformen gewählt. Explizite Stratifizierung bedeutet, dass die Schulpopulation in die verschiedenen Strata auf-geteilt und die Stichprobenziehung separat in jedem Stratum erfolgt. Die Populationsdefinition bedeutet für Österreich, dass für die TALIS-Befragung Lehrer/innen aus drei Schul-formen in Frage kommen. Bei diesen drei Gruppen (Strata) handelt es sich um die Neue Mittelschule, um die Unter-stufe der allgemeinbildenden höheren Schulen sowie um die Schulen mit Öffentlichkeitsrecht, die Schüler/innen auf der Sekundarstufe 1 unterrichten (z. B. Waldorfschulen).

Es ist möglich, in das Sampling-Design auch implizite Strati-fizierungsvariablen einzubeziehen. Nach diesen Merkmalen

werden die Schulen vor der systematischen Auswahl sortiert. Dies dient dazu, eine gute Verteilung der Stichprobe über die Gruppen der impliziten Stratifizierungsvariablen zu er-reichen (umfangreiche Erläuterungen zur Stratifizierung von Stichproben finden sich u. a. bei Kish, 1995, S. 75 ff. oder Thomson, 1992, S. 101 ff.). Bei TALIS 2018 kommen in Österreich zwei Variablen zur impliziten Stratifizierung zur Anwendung: Urbanisierungsgrad (dünn/mittel/dicht) und Bundesland (in dieser Reihenfolge).

4.3.3 Die Auswahl der Schulen

Die Ausgangsbasis für die Auswahl der Schulen bestand aus zwei Teilen:

1. Informationen über die Anteile der Lehrer/innen der Population an den expliziten Strata.

2. Eine Liste aller Schulen der Sekundarstufe I inklusive Daten zur Schulgröße (= Anzahl der Schüler/innen).

Für den Fall, dass einzelne Schulen nicht an TALIS teil-nehmen können, werden im Zuge der Schulauswahl je ge-sampelter Schule zwei sogenannte Replacement-Schulen (Ersatzschulen) gezogen. Als Replacement-Schulen werden die in der Schulliste eines Stratums einer gesampelten Schule jeweils direkt vorangehende und folgende Schule gekenn-zeichnet. Durch die vorherige Sortierung der Schullisten der einzelnen Strata nach den impliziten Stratifizierungs-variablen ist sichergestellt, dass die Replacement-Schulen den ausgewählten Schulen hinsichtlich der impliziten Strati-fizierungsmerkmale ähnlich sind. Die Einbeziehung von Replacement-Schulen sollte so gering wie möglich gehalten werden, um eine Verzerrung der Stichprobe zu minimieren. Bei der Vorgabe von Mindestrücklaufquoten auf Schulebene wird deshalb zwischen der Teilnahme von ursprünglich ge-sampelten und Replacement-Schulen unterschieden (siehe Kapitel 7.x.x).

Die Bereitstellung der für den Samplingvorgang notwendigen Populationsdaten liegt in der Verantwortung der nationalen Projektzentren. Für TALIS 2018 erfolgt die Ziehung der Schulstichprobe wie schon bei der vorhergehenden Er-hebung 2008 durch Statistics Canada (als für das Sampling verantwortlicher Partner des internationalen Projekt-konsortiums). Den nationalen Zentren kommt dabei eine Kontrollfunktion zu.

4.3.4 Die Auswahl der Lehrer/innen

Nach der Ziehung der Schulstichprobe werden die aus-gewählten Schulen kontaktiert und gebeten, eine Liste aller Lehrer/innen, die der Definition (s. o.) entsprechen, an das nationale Projektzentrum zu übermitteln. Aus dieser Liste werden (maximal) 20 Lehrer/innen zur Teilnahme an der

TALIS 2018 – Technischer Bericht 23

Befragung zufällig ausgewählt bzw., falls es an einer Schule weniger als 31 in Frage kommende Lehrer/innen gab, waren alle diese Lehrer/innen für die Befragung vorgesehen. Die Lehrerauswahl geschieht durch die von IEA-DPC ent-wickelte Software WinW3S. Dieses Programm führt eine systematische Stichprobenziehung innerhalb der Schule in Bezug auf Geschlecht, Alter und Fächerverteilung durch. Durch eine systematische Ziehung ist – im Gegensatz zu einer einfachen Zufallsauswahl – sichergestellt, dass die Stichprobe gleichmäßig über die Population streut (in diesem Fall über die Lehrer/innen der Schule).

4.4 Vorgaben der OECD bezüglich der zu erzielenden Rücklaufquoten

4.4.1 Mindestrücklaufquoten auf Schulebene

Die Mindestrücklaufquote auf Schulebene beträgt (nach dem Ersatz von Schulen) 75 %. Obwohl Ersatzschulen als Ersatz für nicht teilnehmende Schulen in Anspruch genommen werden können, sollte das Möglichste getan werden, um die Teilnahme der Schulen aus der ursprünglichen Stichprobe zu erreichen. Mit zunehmender Anzahl von Ersatzschulen verliert die Stichprobe ihre probabilistischen Eigenschaften und wird zunehmend „zweckorientiert“. Diese Entwicklung würde die Zuverlässigkeit, Gültigkeit und Interpretierbarkeit der Ergebnisse des Landes unterminieren.

Eine „teilnehmende Schule“ ist eine, deren Schulleitung sich an TALIS beteiligt. Zum Zwecke der Gewichtung, Beurteilung und Tabellierung von Schuldaten werden aus-gewählte Schulen, deren Schulleitung den Schulfragebogen nicht bearbeitet/beantwortet, als nichtteilnehmend be-trachtet, obwohl eine ausreichende Anzahl von Lehrerfrage-bögen vorliegen kann.

4.4.2 Mindestrücklaufquoten auf Lehrerebene

TALIS 2018 gibt vor, dass mindestens 75 % der ausgewählten Lehrer/innen aller teilnehmenden Schulen (Originalstich-probe oder Ersatzschule) an der Befragung teilnehmen.

In einer „teilnehmenden Schule“ nehmen mindestens 50 % der ausgewählten Lehrer/innen teil. Ausgewählte Schulen, die für die in die Stichprobe einbezogenen Lehrkräfte eine Teil-nahmequote von mindestens 50 % nicht erreichen, werden als „nicht teilnehmend“ betrachtet.

Die Rücklaufquote auf Lehrerebene wird über alle teil-nehmenden Schulen berechnet, unabhängig davon, ob die Schulen in der Originalprobe waren oder als Ersatz verwendet wurden.

4.4.3 Bewertung der Rücklaufquoten

Die Daten jedes Landes erhalten (nach den Berechnungen von Statistics Canada) eine von vier Bewertungen: gut, mittel, schlecht oder nicht ausreichend. Die Bewertungen hängen von den Rücklaufquoten vor und nach dem Ersatz von Schulen ab.

Die Bewertung „gut“ bedeutet, dass die Schuldaten des Landes zur vollständigen Aufnahme in internationale Ver-gleiche empfohlen werden. Die Bewertung „mittel“ be-deutet, dass die Schuldaten des Landes möglicherweise nicht für die vollständige Aufnahme in internationale Vergleiche empfohlen werden und nur aufgenommen werden können, wenn der NPM erhebliche Belege dafür liefert, dass eine Non-Response-Verzerrung wahrscheinlich unbedeutend ist. Die Bewertung „schlecht“ bedeutet, dass die Schuldaten des Landes nicht für die Aufnahme in internationale Vergleiche empfohlen werden. Schließlich wird eine Schulbeteiligung unter 50 % als „nicht ausreichend“ eingestuft.

Es werden sowohl gewichtete als auch ungewichtete Rücklauf-quoten für Schulen mit und ohne Ersatzschulen produziert. Außerdem werden die gewichteten und ungewichteten Rück-laufquoten für Lehrkräfte berechnet. Die Analyseergebnisse für jedes Land können mit Anmerkungen versehen werden, je nachdem, ob die Anforderungen an die Rücklaufquote angemessen erfüllt wurden oder nicht.

4.5 Die österreichische Stichprobe im Feldtest 2017

Die Stichprobe eines Feldtests bestimmt zu großen Teilen, ob der Feldtest seine Funktion erfüllen kann. Der Feldtest zu TALIS 2018 diente vor allem den folgenden Zwecken:

�� Erprobung neu entwickelter Items im Lehrer- und Schul-fragebogen (internationale sowie nationale Items) und�� Testung der Erhebungsprozeduren (insbesondere Ziehung

der Lehrerstichprobe, Durchführung der Befragung an den Schulen).

Die Feldteststichprobe wurde zeitgleich mit der Haupt-befragungsstichprobe gezogen und dadurch eine Über-schneidungskontrolle durchgeführt: Schulen, die für den Feld-test 2017 vorgesehen waren, wurden für die Hauptbefragung 2018 ausgeschlossen. Diese Vorgehensweise ist im Feldtest un-bedenklich, da lediglich die Tauglichkeit der Instrumente und Prozeduren überprüft wurde, ohne dabei Daten für inhaltliche Auswertungen zu sammeln. 30 Schulen in ganz Österreich mit Schülerinnen und Schülern auf der Sekundarstufe I nahmen am Feldtest 2017 (06. März 2017 bis 24. März 2017) teil.

24 4 – Stichprobendefinition und -ziehung

4.6 Die österreichische Stichprobe bei der Hauptbefragung 2018

Für die Hauptbefragung 2018 wurden die Vorgabe der OECD bezüglich Stichprobengröße (200 Schulen) ein-gehalten und die Stichprobengröße auf 279 erhöht, um bei der späteren Auswertung der Daten statistisch gesicherte Ver-gleiche zwischen zwei der Gruppen der bereits erwähnten ex-pliziten Stratifizierung (NMS, AHS-Unterstufe) vornehmen zu können.

4.7 Auswahl der Schulen

Als Grundlage für die Festlegung der Anzahl auszuwählender Schulen pro Schulform diente die österreichische Bildungs-dokumentation. Die zum Zeitpunkt der Ziehung der Feld-test-Stichprobe (im September 2016) aktuellsten verfügbaren Daten waren jene des Schuljahrs 2014/15. Die Anzahl an Schülerinnen und Schülern an einem Schulstandort diente als Schätzer für die Anzahl zu erwartender Lehrer/innen der Zieldefinition. Ein zweiter Schätzer ergab sich aus einer Hochrechnung der geschätzten Anzahl der Lehrer/innen an Schulen je nach Schulform, Bundesland und Urbanisierungs-grad, basierend auf Daten aus dem Nationalen Bildungs-bericht 2015 (vgl. Lassnigg, Bruneforth & Vogtenhuber, 206, S. 305 ff.).

Von vornherein ausgeschlossen wurden Schulen, an denen ausschließlich in einer anderen Sprache als Deutsch unter-richtet wird. Das betraf bei TALIS 2018 eine österreichische Schule (0,45 % der gewünschten Zielpopulation) – alle

anderen Schulen mit Lehrerinnen und Lehrern der TALIS-Definition wurden in die Auswahl der Schulen aufgenommen.

4.8 Maßnahmen zur Qualitätssicherung

Die Qualitätssicherung beim Sampling-Design bezieht sich vor allem auf die Repräsentativität der Stichprobe in den Teilnehmerländern, um aussagefähige Daten zu erhalten und diese vergleichen zu können.

Für das Sampling-Design und die Durchführung der Stich-probenziehung sind von der OECD bestimmte Vorgaben festgelegt worden, um eine möglichst hohe Stichprobenquali-tät zu erzielen:

�� Festlegung eindeutiger Standards für das Sampling-Design und die Stichprobenziehung im Feld- und Haupt-test.�� Detaillierte Beschreibung der Standards für das Sampling

im Sampling-Handbuch einschließlich der Vorgaben zu den Rücklaufquoten.�� Abstimmung von Abweichungen oder Anpassungen vom

internationalen Sampling-Plan mit dem TALIS-Sampling-Team.�� Unterstützung bei der Erstellung des Stichprobenplans

durch Statistics Canada.�� Auswahl der Schulen aus einer Liste nach Zufallsprinzip,

die durch Statistics Canada durchgeführt wird.�� Dokumentation des Stichprobenplans und des Ablaufs

der Stichprobenziehung mithilfe von einheitlichen Formularen.

Bibliographie:

Kish, L. (1995). Survey Sampling. New York [u. a.]: Wiley.

Pareiss, M. (2016). 4. Sampling-Design und Stichproben. In B. Suchań & S. Breit (Hrsg.), PISA 2015. Technischer Bericht (S. 33–46). Abgerufen am 07.08.2018 von https://www.bifie.at/wp-content/uploads/2017/09/PISA15_Technischer-Bericht.pdf

Thompson, S. K. (1992). Sampling. New York [u. a.]: Wiley.

TALIS 2018 – Technischer Bericht 25

5 Organisation und Durchführung der Datenerhebung Ralf Lanzdorf & Juliane Schmich

Zur Durchführung der TALIS-Befragung an den Schulen ist eine Kooperation zahlreicher Personen notwendig. Kooperations-partner/innen des BIFIE sind vor allem die Schulleitungen und die Schulkoordinatorinnen und -koordinatoren. Um eine reibungslose Kommunikation zwischen allen Beteiligten zu gewährleisten, ist es nötig, die erforderlichen Schritte und Abläufe sorgfältig zu planen und aufeinander abzustimmen. Dieses Kapitel behandelt insbesondere die Aufgaben der Schulkoordi-natorinnen und -koordinatoren sowie die Vorbereitung, Durchführung und Nachbereitung der Befragung an den Schulen1.

1 Dieser Text basiert auf dem entsprechenden Kapitel im nationalen technischen Bericht zu PISA 2015 (Suchań, Höller & Toferer, 2016).

Tabelle 5.1 gibt einen Überblick über die zeitliche Abfolge der wichtigsten Tätigkeiten im Bereich der Befragungs-organisation und -durchführung, die in weiterer Folge in diesem Kapitel im Detail beschrieben werden. Die Befragung zu TALIS 2018 fand in Österreich im Frühjahr 2018 statt, der Feldtest im Frühjahr 2017.

5.1 Kooperation mit Schulbehörden und Schulleitungen

Für den Erfolg der TALIS-Studie und die Qualität der er-hobenen Daten ist die Unterstützung seitens der ausgewählten Schulen und der Schulbehörden von entscheidender Be-

deutung. Ein guter Informationsfluss zwischen allen Be-teiligten ist daher besonders wichtig.

5.1.1 Information der Schulbehörden

Die Ziehung der Schulstichprobe durch den internationalen Vertragspartner Statistics Canada erfolgte im Oktober 2016. Die Ziehung der Stichproben für den Feldtest und die Haupt-befragung fand zeitgleich statt. Dabei wurde darauf geachtet, dass Schulen, die für den Feldtest ausgewählt wurden, jeden-falls bei der Hauptbefragung nicht mehr für die Stichprobe gezogen wurden (Genaueres dazu in Kapitel 4).

Die für die dabei ausgewählten Schulen zuständigen Behörden wurden im Dezember 2016 (für den Feld-

MonatTätigkeiten

Feldtest 2017 Hauptbefragung 2018

Oktober 2016 Oktober 2016Information des internationalen Vertragspartners Statistics Canada an das BIFIE, welche Schulen für den Feldtest 2017 sowie für die Hauptbefragung 2018 aus­gewählt wurden

Dezember 2016 Dezember 2017Information des BIFIE an die Landesschulratspräsidentinnen/­präsidenten sowie an den Stadtschulratspräsidenten von Wien über TALIS und die ausgewählten Schulen

Dezember 2016 Dezember 2017Information des BIFIE an die Landesschulinspektorinnen/­inspektoren über TALIS und die ausgewählten Schulen; diese leiteten die Information ggf. an die Pflichtschul­inspektorinnen/­inspektoren weiter

Jänner 2017 Jänner 2018Erstinformation an die ausgewählten Schulen; Ernennung einer Kontaktperson an der Schule (Schulkoordinator/in) durch die Schulleitung

Jänner 2017 Februar 2018Anschreiben an Schulkoordinatorinnen und ­koordinatoren mit der Bitte um Über­mittlung einer Liste der Lehrer/innen, die Schüler/innen auf der Sekundarstufe I unterrichten

Februar 2017 März 2018 Aufbereitung der Lehrerlisten und Ziehung der Lehrerstichprobe am BIFIE

März 2017 März 2018 Vorbereitung und Verpackung der Materialien für die Onlinebefragung

März 2017 April 2018Übermittlung der Liste der ausgewählten Lehrer/innen an die Schulkoordinatorinnen und ­koordinatoren und Versand der Materialien

06.03 bis 17.03.2017 09.04. bis 09.05.2018 Durchführung der Onlinebefragung an den Schulen

April 2017 Mai 2018 Rücklaufkontrolle der Befragungsmaterialien

Tabelle 5.1: Chronologie der Befragungsorganisation (TALIS 2018)

26 5 – Organisation und Durchführung der Datenerhebung

test) und im Dezember 2017 (für die Hauptbefragung) kontaktiert. Dabei informierte das BIFIE die Landesschul-ratspräsidentinnen/-präsidenten sowie den Stadtschulrats-präsidenten von Wien und die Landesschulinspektorinnen und -inspektoren im Detail über die Studie, deren Ablauf und die für die Teilnahme an der Erhebung ausgewählten Schulen im jeweiligen Zuständigkeitsbereich. Die Landes-schulinspektorinnen und -inspektoren wurden gebeten, diese Informationen ggf. auch an die betreffenden Pflichtschul-inspektorinnen und -inspektoren weiterzuleiten.

5.1.2 Information und Aufgaben der Schulleitungen

Die Schulleiter/innen der ausgewählten Schulen wurden im Jänner 2017 (für den Feldtest) bzw. im Jänner 2018 (für die Hauptbefragung) vom BIFIE über die vorgesehene Teilnahme an TALIS 2018 informiert.

Die Schulleiter/innen wurden mit diesem ersten Anschreiben gebeten, an der Schule eine Schulkoordinatorin/einen Schul-koordinator für TALIS zu bestimmen (in weiterer Folge wird für Personen mit dieser Funktion die Abkürzung „SK“ verwendet). Die/der SK fungierte als Ansprechpartnerin/Ansprechtpartner für das BIFIE und traf die zur Durchführung der Erhebung erforderlichen organisatorischen Vorbereitungen an der Schule. Die Rolle der/des SK konnte von einer Lehrerin/einem Lehrer, der Administratorin/dem Administrator oder auch von der Schulleitung selbst übernommen werden.

5.2 Aufgaben der TALIS-Schulkoordinato-rinnen und -koordinatoren (SK)

5.2.1 Erstellung einer Liste aller Lehrer/innen der Zielpopulation

Im Anschreiben an die SK im Februar 2018 (Feldtest: Jänner 2017) wurden diese ersucht, eine Liste aller Lehrer/innen zu erstellen, die in diesem Schuljahr in der betreffenden Schule Schüler/innen der Sekundarstufe I unterrichteten. Diese Liste sollte – neben Kontaktinformationen der Schule und der/des SK – folgende Daten zu jeder Lehrerin/jedem Lehrer, die der TALIS-Definition entsprach, enthalten:

�� Lehrername (diese Information wurde vor der Über-mittlung der Liste an das BIFIE an der Schule wieder gelöscht)�� Fortlaufende Nummerierung�� Geschlecht�� Geburtsmonat und -jahr�� Hauptsächlich unterrichtetes Unterrichtsfach

2 WinW3S ist eine Software, die den TALIS-Teilnehmerländern von internationaler Seite zur Verfügung gestellt wird und die für die Verwaltung der test-administrativen Schul- und Lehrerdaten und für die Stichprobenziehung auf Lehrerebene verwendet wird.

Tabelle 5.2 enthält die Angaben, wie eine Lehrperson bei TALIS definiert ist bzw. welche Lehrpersonen gegebenenfalls auszuschließen waren.

Neben einer detaillierten Anleitung zur Erstellung der Liste aller Lehrer/innen sowie einer Anleitung per Onlinevideo erhielten die SK eine elektronische Vorlage in Excel-Format. Dadurch sollte die Listenerstellung vereinfacht sowie sichergestellt werden, dass die benötigten Informationen in einer möglichst einheitlichen Form an das BIFIE ge-sendet wurden.

Die Version der Liste aller Lehrer/innen MIT Namen wurde ausschließlich an der Schule gespeichert. Das BIFIE erhielt eine anonymisierte Version der Liste ohne Lehrernamen (dazu mussten die SK die entsprechende Spalte mit dem Namen löschen). Die Erhebung der Daten erfolgte damit „indirekt personenbezogen“ und entsprach den Vorgaben des zum Zeitpunkt der Erhebung gültigen Datenschutzgesetzes 2000 (BGBl. I Nr. 165/1999).

Die übermittelten Listen aller Lehrer/innen wurden am BIFIE hinsichtlich der Vollständigkeit der anzugebenden Daten kontrolliert, wo notwendig, in das einheitliche elektronische Format gebracht, und in das Programm WinW3S2 importiert. Auf diesen Lehrerlisten führten die SK insgesamt 12.286 Lehrer/innen an, die der Definition einer TALIS-Lehrkraft entsprachen. Mithilfe der Sampling-Funktion der Soft-ware erfolgte anschließend für jede Schule die Ziehung der Lehrerstichprobe. In Österreich wurden pro Schule maximal 30 Lehrer/innen für eine Teilnahme an TALIS ausgewählt. An Schulen mit bis zu 30 Lehrer/innen der Zielpopulation nahmen automatisch alle Lehrer/innen an TALIS teil. An Schulen mit mehr als 30 Lehrerinnen und Lehrern zog die Software eine Stichprobe von 20 Lehrpersonen.

Insgesamt wurden auf diesem Weg 5687 Lehrer/innen in insg. 277 Schulen für die TALIS-Haupterhebung 2018 durch die Software per Zufall ausgewählt.

5.2.2 Kontrolle und Ergänzung der TALIS-Lehrerliste

Nach Ziehung der Lehrerstichprobe (aus den o. a. 5687 Lehrerinnen und Lehrern) produzierte WinW3S für jede der 277 Schulen eine TALIS-Lehrerliste, auf der die aus-gewählten Lehrer/innen mit ihrer fortlaufenden Nummer aus der ursprünglichen (von der Schule erstellten) Liste aller Lehrer/innen sowie alle weiteren Lehrerdaten (Geschlecht etc.) angeführt waren. Die SK wurden nach der postalischen Zu-sendung dieser TALIS-Lehrerliste gebeten, alle Einträge zu prüfen und ggf. zu aktualisieren.

TALIS 2018 – Technischer Bericht 27

5.2.3 Information der Lehrer/innen und Schul leitungen

Die SK wurden gebeten, das Schulkollegium über die TALIS-Studie zu informieren. Die Erstinformation erfolgte meist im Rahmen einer Lehrerkonferenz.

5.2.4 Verteilung der Zugangsdatenkuverts

Nach Erhalt des Schulkuverts (siehe 5.3.2) sollten die SK die Zugangsdaten für die Onlinebefragung an die in die Stich-probe gekommenen Lehrer/innen verteilen. Dazu erhielten

sie die individuellen Zugangsdaten in verschlossenen Kuverts, auf die jeweils nur die fortlaufende Nummer als Identifikation aufgedruckt war, sowie eine genaue schriftliche Anleitung, wie die Lehrerliste (mit Namen, die nur an der Schule auflag) und die TALIS-Lehrerliste zu verwenden sind, sodass jede Lehrerin/jeder Lehrer das für sie/ihn bestimmte Zugangs-datenkuvert sowie einen TALIS-Folder erhielt. Das Verteilen der Zugangsdatenkuverts wurde zusätzlich in einem Online-video erklärt, um verschiedenen Arbeitsweisen gerecht zu werden. Das Zugangsdatenkuvert für die Schulleitung war zur einfacheren Identifizierung mit einem grünen Punkt beklebt.

Definition einer TALIS-Lehrperson

Lehrer/innen, deren Hauptaufgabe in der Schule die Erteilung von Unterricht ist. Dabei ist sowohl das Unterrichten ganzer Klassen als auch Unterricht für kleine Gruppen von Schülerinnen und Schülern sowie von einzelnen Schülerinnen oder Schülern gemeint.Für TALIS sind nur Lehrer/innen relevant, die in der Sekundarstufe 1 unterrichten, dies betrifft im Allgemeinen Lehrer/innen, die im Rahmen ihrer Dienstpflichten Schüler/innen der Neuen Mittelschule oder der AHS­Unterstufe (Schulstufen 5–8) unterrichten.

Wer ist in die Lehrerliste aufzunehmen?Nicht in die Liste der Lehrer/innen aufzunehmen sind folgende Gruppen von Personen (sofern an der Schule vorhanden):

Alle Lehrer/innen der Sekundarstufe 1. Das bedeutet, dass Lehrer/innen ALLER Fächer bei TALIS berücksichtigt werden.

Praktikantinnen/Praktikanten sind nicht einzubeziehen, wenn sie eher kurzfristig an der Schule sind und/oder nicht verantwortlich für den Unterricht (in der Sekundarstufe 1) sind (Studierende an Pädagogischen Hochschulen sowie Schulpraktikantinnen und ­praktikanten).

Lehrer/innen, die auch an anderen Schulen unterrichten, sind in die Liste aufzunehmen (falls sie obiger Definition entsprechen), wenn sie zumindest eine Unterrichtseinheit/Woche an dieser Schule unterrichten (egal welchen Anteil ihrer Lehrverpflichtung sie anderen Schulen absolvieren).

Lehrer/innen, die ausschließlich Erwachsene unterrichten.

Lehrer/innen, die auch in anderen Schulstufen (z. B. der AHS­Oberstufe oder in der Polytechnischen Schule) unterrichten, sind ebenfalls aufzunehmen, sofern sie in diesem Schuljahr an dieser Schule Schüler/innen der Sekundarstufe 1 unterrichten.

Lehrer/innen, die längerfristig abwesend sind (z. B. Eltern­/ Bildungskarenz, Sabbatical).

Praktikantinnen/Praktikanten sind einzubeziehen, wenn sie lang­fristig an der Schule sind (zumindest das gesamte Schuljahr) und selbst Unterricht in der Sekundarstufe 1 erteilen (z. B. Unterrichts­praktikantinnen und ­praktikanten an AHS).

Springer/innen (z. B. als Ersatz für Lehrer/innen im Krankenstand).

Wenn die Schulleiterin/der Schulleiter Schüler/innen der Sekundar­stufe 1 unterrichtet, ist sie/er ebenfalls in die Lehrerliste aufzuneh­men, aber entsprechend zu kennzeichnen.

„Assistentinnen/Assistenten“: Typischerweise wären das nicht oder nur teilweise ausgebildete Personen, die Lehrer/innen im Unterricht unterstützen.

Pädagogische Unterstützungskräfte: Personen, die Leistungen anbieten, die die Schüler/innen beim Lernen unterstützen, wie Berater/innen, Bibliothekarinnen/Bibliothekare u. Ä.

Unterstützungskräfte im Bereich Gesundheit und Soziales: Schul­ärztin/Schularzt, Krankenschwester/­pfleger, Psychologin/Psycho­loge, Therapeut/in, Sozialarbeiter/in sowie Zivildiener.

Tabelle 5.2: TALIS-Lehrerdefinition (TALIS 2018)

28 5 – Organisation und Durchführung der Datenerhebung

5.2.5 Aktualisierung des Teilnahmestatus und Über-mittlung der TALIS-Lehrerliste

Die SK dokumentierten auf der TALIS-Lehrerliste den Teilnahmestatus für jede Lehrerin/jeden Lehrer. Dazu er-hielten die SK vom BIFIE ca. einmal pro Woche per E-Mail Informationen über den aktuellen Teilnahmestatus der Lehrer/innen, um Lehrer/innen und/oder Schulleitungen, die die Fragebögen nicht oder teilweise ausgefüllt hatten, individuell ansprechen zu können. Wie in Tabelle 5.3 er-sichtlich, konnten für eine Nichtteilnahme mehrere Gründe ausschlaggebend sein.

Code Teilnahmestatus

2 „Fragebogen bearbeitet“

3 „Fragebogen nicht bearbeitet“

4 „Lehrer/in ist nicht mehr an der Schule tätig“

5„Lehrer/in passt nicht mehr zur TALIS­Stichprobe (z. B. unterrichtet keine Schüler/innen der 5.–8. Schul­stufe mehr)“

6„Lehrer/in hat auch im Feldtest zu TALIS teil­genommen“

7„Lehrer/in nimmt auch an einer anderen Schule an TALIS teil“

Tabelle 5.3: Teilnahmestatus (TALIS 2018)

Im Anschluss an die Datenerhebung sandten die SK die aktualisierte TALIS-Lehrerliste dem BIFIE wieder zurück. Dies diente vor allem dem Abgleich von Lehrpersonen, die im Befragungszeitfenster aufgrund von z. B. Langzeitkranken-ständen, Kuraufenthalten u. Ä. m. den Fragebogen nicht ausfüllen konnten.

5.3 Befragungsmaterialien vorbereiten

5.3.1 Produktion und Kontrolle der Befragungs-materialien

Die Bereitstellung einwandfreier Befragungsmaterialien und die korrekte Verteilung der personalisierten Zugangsdaten-blätter an die Lehrer/innen und die Schulleitung sind bei TALIS unbedingt zu gewährleisten. Die personalisierten Zu-gangsdatenblätter wurden in einer Druckerei gedruckt sowie kuvertiert. Die Kuverts wurden nach Lehrernummer auf-steigend in Kartons sortiert und danach ans BIFIE geliefert.

Nach der Übersetzung, nationalen Anpassung und Veri-fikation der Fragebögen (siehe Kapitel 3) wurden diese vom

internationalen Zentrum für den Onlinebefragungsmodus freigeschaltet.

5.3.2 Logistik der Befragungsmaterialien

Für jede teilnehmende Schule wurde ein Kuvert („Schul-kuvert“) zusammengestellt, in dem alle für die Durchführung der Befragung benötigten Materialien enthalten waren:

�� eine Checkliste aller Materialien�� die TALIS-Lehrerliste �� je Lehrer/in ein kuvertiertes Zugangsdatenblatt für die

Onlinebefragung�� je Lehrer/in ein TALIS-Folder�� ein kuvertiertes Zugangsdatenblatt für die Schulleitung�� ein TALIS-Folder für die Schulleitung�� ein TALIS-Plakat zum Aufhängen (z. B. im Konferenz-

zimmer)

Die Konfektionierung der Schulkuverts fand am BIFIE statt und wurde unter Anleitung und Kontrolle eines BIFIE-Mitarbeiters von Hilfskräften durchgeführt. Nach Fertig-stellung aller Kuverts wurden alle auf ihre Korrektheit und Vollständigkeit hin überprüft.

Die Schulkuverts wurden mit der Post an die Schulen ge-sendet.

5.4 Maßnahmen zur Qualitätssicherung

Um eine hohe Qualität und Vergleichbarkeit der Daten aller teilnehmenden Länder zu gewährleisten, sind für die Daten-verarbeitung – sowie bei sämtlichen anderen Prozessen von TALIS – umfangreiche Maßnahmen zur Qualitätssicherung vorgesehen. Nur so kann sichergestellt werden, dass die Daten aller Länder, welche später in der finalen internationalen Datenbasis enthalten sind, eine hohe Qualität aufweisen und eine Vergleichbarkeit der daraus berechneten Ergebnisse er-möglichen. Die Qualitätssicherung bei der Testorganisation und -durchführung zählt zu den wesentlichen Aufgaben des BIFIE.

5.4.1 Der Feldtest als Probelauf

Ein wichtiger Bestandteil der Qualitätssicherung im Bereich der Befragungsorganisation und -durchführung ist der Feld-test. Ein Jahr vor der Haupterhebung wurden im Rahmen eines Feldtests sämtliche Prozeduren der Erhebung für die Hauptbefragung hinsichtlich ihrer Tauglichkeit geprüft. Treten im Feldtest Probleme auf, können entsprechende Korrekturen und Veränderungen für die Hauptbefragung vorgenommen werden.

TALIS 2018 – Technischer Bericht 29

5.4.2 Zusammenarbeit mit Schulen

Die Zusammenarbeit mit den ausgewählten Schulen ist ein wichtiger Bestandteil der Durchführung der gesamten Er-hebung. Das BIFIE hat vom Bundesministerium für Bildung, Wissenschaft und Forschung (BMBWF) den Auftrag er-halten, TALIS 2018 in Österreich durchzuführen. Die Teil-nahme der Schulen sowie die jeder einzelnen Lehrperson erfolgte auf freiwilliger Basis. Darüber hinaus ist ohne vor-bereitende und begleitende Tätigkeiten engagierter schul-interner Personen, sog. Schulkoordinatorinnen und -ko-ordinatoren, die Durchführung der Befragung nicht möglich.

Um die Kooperation zwischen den Schulen und dem BIFIE zu fördern und zu sichern, war daher die Minimierung des Arbeitsaufwands für die Schulen wesentlich. Die SK wurden vom BIFIE in drei Anschreiben und drei kurzen Schulungs-videos informiert und instruiert, um die an der Schule zu erledigenden Aufgaben mit möglichst geringem Aufwand bewältigen zu können.

Das internationale Zentrum IEA Hamburg stellte eine internationale Vorlage für ein SK-Handbuch bereit, das die zu erledigenden, notwendigen Schritte im gesamten Projektverlauf erläutert. In Österreich wurde dieses Hand-buch nicht in dieser Form eingesetzt. Stattdessen wurden die Koordinatorinnen und Koordinatoren mittels der zuvor erwähnten zeitversetzten Informationsschreiben sowie der Schulungsvideos instruiert, die sämtliche Inhalte des inter-nationalen Handbuchs abdeckten. Der Vorteil dieser ge-staffelten Informationsübermittelung lag darin, dass die SK die im Projektverlauf nötigen Instruktionen zeitgerecht für die im Moment zu erledigenden Aufgaben erhielten. Die inhaltliche Übereinstimmung mit der internationalen Version des Handbuchs sowie die sprachliche Qualität dieser Informationsschreiben wurden vom internationalen Konsortium im Zuge des Verifikationsprozesses durch den International Quality Observer (IQO, siehe 5.4.4) geprüft.

5.4.3 Materiallogistik

Wie bereits weiter oben erwähnt, wurden alle Schul-kuverts vor Versendung an die Schulen nochmals am BIFIE hinsichtich ihrer Vollständigkeit und Korrektheit der einzel-nen Elemente kontrolliert.

5.4.4 Qualitätssicherung und -kontrolle

Die oben beschriebenen Maßnahmen stellen sicher, dass der international vorgeschriebene Ablauf von TALIS von allen Teilnehmerländern eingehalten wird. Falls unerwartete Probleme während der Befragung auftauchen sollten, stand den SK eine Telefon-Hotline ab 8 Uhr morgens zur Ver-fügung, um Rücksprache mit einer BIFIE-Mitarbeiterin/einem BIFIE-Miarbeiter zu halten.

Auf internationaler Ebene wurde der Ablauf der Befragungen in allen teilnehmenden Staaten durch den Einsatz von so ge-nannten International Quality Observers (IQO) kontrolliert. Diese Personen werden vom internationalen Zentrum IEA Hamburg beschäftigt und eingeschult, wobei jedes nationale Zentrum im Vorfeld geeignete Personen für diese Tätigkeit nominierte. IQO haben die Aufgabe, zufällig ausgewählte Schulen im jeweiligen Teilnehmerland zu besuchen und den Ablauf der Befragung anhand eines Protokolls zu dokumentieren sowie ein kurzes Interview mit der/dem SK zu führen. Ziel des Einsatzes internationaler IQO ist die Dokumentation der beobachteten Abläufe und Gescheh-nisse, um dem internationalen Zentrum einen Einblick in die Qualität der Testdurchführung in den einzelnen Ländern zu ermöglichen.

In Österreich war bei der Hauptbefragung 2018 eine Person als IQO im Einsatz, die im Auftrag des internationalen Zentrums IEA Hamburg insgesamt 20 Schulen besuchte und die Durchführung der Befragung dokumentierte. Die Ergeb-nisse der Schulbesuche wurden direkt an das internationale Zentrum übermittelt.

Darüber hinaus führte das BIFIE ein „National Quality Monitoring“ (NQM) durch, um die Einhaltung der inter-national vorgeschriebenen Abläufe an den Schulen zu über-prüfen. Dabei wurden ca. 20 % der SK nach Beendigung des Befragungsfensters in Form einer Onlinebefragung zu den folgenden Prozessaspekten befragt: Vorbereitende Tätig-keiten, Verständnis der Studienabläufe, Brauchbarkeit der Schulungsvideos, Inkonsistenzen in der Kommunikation mit dem BIFIE, Verwendung und Vollständigkeit der Lehrerlisten, Einhaltung der Datenschutzbestimmungen (Aufbewahrung der Lehrerlisten), Verteilungsprozesse der personalisierten Begleitschreiben, Kommunikation zwischen SK und Lehrerkollegium, Kooperation in Bezug auf die Be-fragungsteilnahme, Bearbeitungsdauer des Fragebogens, all-gemeine Verbesserungsvorschläge für die nächsten TALIS-Zyklen. Die Ergebnisse wurden aufgearbeitet und werden in die Prozessplanung der nächsten Studienzyklen einfließen.

30 5 – Organisation und Durchführung der Datenerhebung

Bibliographie:

Suchań, B., Höller, I. & Toferer, B. (2016). 5. Testorganisation und Testdurchführung. In B. Suchań & S. Breit (Hrsg.), PISA 2015. Technischer Bericht (S. 47–63). Abgerufen am 03.01.2019 von https://www.bifie.at/wp-content/uploads/2017/09/PISA15_Technischer-Bericht.pdf

TALIS 2018 – Technischer Bericht 31

6 Datenerfassung und Datenverarbeitung Juliane Schmich & Ralf Lanzdorf

Im Rahmen des Haupttests zu TALIS 2018 wurden in Öster-reich 5687 Lehrer/innen der Sekundarstufe 1 und 277 Schul-leitungen befragt. Die Daten der Lehrpersonen und Schul-leitungen wurden erstmals bei TALIS ausschließlich mithilfe eines Onlinefragebogens erhoben. Die Tatsache, dass – im Gegensatz zu TALIS 2008 – nicht mehr die Antworten von Lehrerinnen und Lehrern und Schulleitungen auf dem Papier von Fragebögen, sondern elektronische Daten die primäre Datenquelle darstellten, brachte auch neue Anforderungen an den Prozess der elektronischen Datenverarbeitung mit sich. Dieses Kapitel beschreibt, wie die Lehrer- und Schulleiter-antworten, welche mithilfe des elektronischen Befragungs-systems gesammelt wurden, elektronisch erfasst und ver-arbeitet wurden und welche Prozesse notwendig waren, um eine internationale Datenbasis mit den Rohdaten aller an TALIS teilnehmenden Länder zu erstellen. Da der Feldtest im Hinblick auf die Datenerfassung und -verarbeitung haupt-sächlich der Erprobung der Prozeduren diente und diese im Feld- und Haupttest zu TALIS 2018 weitgehend überein-stimmen, beschränken sich die Darstellungen in diesem Kapitel auf die Hauptbefragung.

6.1 Datenerfassung

Die Lehrer/innen und die Schulleitung jeder Schule füllten die jeweiligen Fragebögen online aus. Das Befragungszeit-fenster für den Feldtest erstreckte sich vom 06. März 2017 bis zum 17. März 2017. Das Befragungszeitfenster für die Hauptbefragung war vom 9. April 2018 bis zum 9. Mai 2018 (vgl. dazu auch Tabelle 5.1).

Anhand der an die Lehrpersonen und an die Schulleitung ausgeteilten personalisierten Zugangsdatenkuverts, die den Zugang zur Internetseite des IEA Online Survey Systems, eine Benutzerkennung sowie ein Passwort enthielten, konnten sich die Lehrpersonen und Schulleitungen auf dieser Internetseite einloggen und den Fragebogen online ausfüllen. Die An-gaben der Lehrpersonen und Schulleitungen wurden damit direkt auf einem Server der IEA Hamburg gesammelt und gespeichert.

6.2 Datencleaning

Um eine hohe Qualität der Daten zu gewährleisten, müssen die nationalen Zentren vor der Übermittlung der Daten an das internationale Zentrum eine Reihe von vorgeschriebenen Kontrollen durchführen. Im Zuge dieser Kontrollen wurden die eingegebenen Daten geprüft, indem die Werte ver-

schiedener Tabellen und Listen bzw. Instrumente miteinander verglichen, Unstimmigkeiten und unplausible Daten auf-gezeigt und mögliche Fehlerquellen ausgewiesen werden. Traten bei den Kontrollen Diskrepanzen auf, mussten diese vor der Übermittlung der Daten an das internationale Zentrum geprüft und beseitigt werden. Verbleibende Un-stimmigkeiten mussten gegenüber dem internationalen Zentrum erklärt werden.

6.3 Datenübermittlung

Datenfiles zu den Schul- und Lehrerfragebögen mussten nicht übermittelt werden, da die Angaben zu den online zu beantwortenden Fragebögen auf einem Server der IEA Hamburg gespeichert waren und somit der IEA Hamburg direkt zur Verfügung standen. Das BIFIE informierte die IEA Hamburg jedoch über das nationale Ende der Online-datenerhebung, danach wurden die Onlinefragebögen vom Netz genommen.

Die so genannte Data Submission bestand daher in der elektronischen Übermittlung der zwei folgenden Elemente an das internationale Zentrum IEA Hamburg:

�� Die exportierte WinW3S-Datenbank mit Teilnahme-daten im accessbasierten Format (*.mdb). �� Die von den Schulen übermittelten TALIS-Lehrerlisten.

6.4 Kontrolle und Aufbereitung der Daten am internationalen Zentrum IEA Hamburg

Die IEA Hamburg war von internationaler Seite für die weitere Datenverarbeitung verantwortlich. Dort wurden die Daten aller teilnehmenden Staaten mit standardisierten Prüf-programmen umfassend kontrolliert. Die durchgeführten Kontrollen können inhaltlich in drei Gruppen unterteilt werden:

1. Prüfung der Datenstruktur: Da sämtliche nationalen Daten am Ende zu einer internationalen Datenbasis zu-sammengefügt wurden, war es erforderlich, dass alle Länderdaten eine einheitliche Struktur aufwiesen. Durch nationale Änderungen/Anpassungen der Erhebungs-instrumente kam es jedoch zu vereinzelten Abweichungen in der Datenstruktur, die sich in den nationalen Datenfiles widerspiegelten. Diese Abweichungen sind in eigenen Dateien, sogenannten Codebooks, dokumentiert. Im

32 6 – Datenerfassung und Datenverarbeitung

Rahmen der umfangreichen Kontrollen zur Struktur der Daten wurden die nationalen Datenfiles auf ggf. fehlende internationale Variablen, zusätzlich hinzugefügte nationale Variablen, Änderungen an internationalen Variablen sowie Änderungen in der Reihenfolge der Variablen hin geprüft. Festgestellte Inkonsistenzen und Abweichungen wurden mit den National Adaptation Forms (vgl. Kap. 3) abgeglichen, sorgfältig dokumentiert und in späterer Folge in eine einheitliche Struktur re-codiert.

2. Prüfung des Teilnahmestatus: Der Teilnahmestatus gab Auskunft darüber, ob eine bestimmte Lehrperson an der Befragung teilgenommen hat und wenn nicht, aus welchen Gründen. Diese Angaben, die in der Software WinW3S für jede Lehrperson erfasst wurden, waren vor allem für die spätere Gewichtung der Daten von be-sonderer Bedeutung. Nur wenn diese Angaben voll-ständig und fehlerfrei vorlagen, war später eine korrekte Gewichtung der Daten möglich. Um dies zu gewähr-leisten, wurden die Angaben zum Teilnahmestatus hin-sichtlich ihrer Übereinstimmung mit den vorliegenden Daten in den Erhebungsinstrumenten geprüft.

3. Prüfung der Daten in und zwischen einzelnen Variablen: In den elektronischen Codebooks konnten für jede Variable gültige Werte oder Wertebereiche definiert werden. Für jede Variable wurde erneut geprüft, ob Werte vorlagen, die nicht diesen Gültigkeitsregeln ent-sprachen.

Nach Klärung sämtlicher Auffälligkeiten in enger Zusammen-arbeit mit den nationalen Zentren erstellte das internationale Zentrum für jedes teilnehmende Land einen Datensatz, der dem jeweiligen nationalen Zentrum übermittelt wurde, um die Richtigkeit der vorgenommenen Recodierungen zu über-prüfen, ggf. zu korrigieren und zu kommentieren.

Bevor die Länder eine Draft-Version ihrer Daten erhielten, wurden diese vom internationalen Zentrum gewichtet und skaliert. Eine Rohversion aller internationalen Daten stand den Teilnehmerländern für ihre Berichterstattung ab März 2019 zur Verfügung. Die in ihrer Struktur einheitlichen Datensätze aller teilnehmenden Länder können für Be-rechnungen und Vergleiche auf länderübergreifender Ebene zusammengeführt werden. Die ersten Ergebnisse von TALIS 2018 wurden der Öffentlichkeit im Juni 2019 präsentiert.

6.5 Maßnahmen zur Qualitätssicherung

Um eine hohe Qualität und Vergleichbarkeit der Daten aller teilnehmenden Länder zu gewährleisten, sind für die Daten-

verarbeitung – sowie bei sämtlichen anderen Prozessen von TALIS – umfangreiche Maßnahmen zur Qualitätssicherung vorgesehen. Nur so kann sichergestellt werden, dass die Daten aller Länder, welche später in der finalen internationalen Datenbasis enthalten sind, eine hohe Qualität aufweisen und eine Vergleichbarkeit der daraus berechneten Ergebnisse er-möglichen. Die Qualitätssicherung bei der Testorganisation und -durchführung zählt zu den wesentlichen Aufgaben des BIFIE.

Folgende Rahmenbedingungen leisten dabei wesentliche Bei-träge zu einer hohen Qualität der Datenverarbeitungsprozesse aller Teilnehmerländer:

�� Verwendung standardisierter Software für sämtliche Prozesse der Datenverarbeitung:Das internationale Zentrum stellt für die nationalen Zentren die Software-Anwendung WinW3S zur Ver-fügung, die für die notwendigen Schritte der Daten-verarbeitung zu verwenden ist (vgl. Kapitel 5). Diese Anwendung wurde spezifisch für die jeweiligen Ver-wendungszwecke programmiert/konfiguriert und bereits über mehrere Zyklen hinweg eingesetzt und weiter-entwickelt. Die Verwendung von WinW3S stellte sicher, dass – unabhängig von den sonstigen infrastrukturellen Gegebenheiten in den nationalen Zentren – die Ver-arbeitung der Daten in allen teilnehmenden Ländern (jedenfalls im Kern) in gleicher Art und Weise durch-geführt wurde. Darüber hinaus wurde so auch sicher-gestellt, dass die von den nationalen Zentren über-mittelten Daten und Dokumentationen ein durch die jeweiligen Anwendungen definiertes einheitliches Format aufweisen. Die nationalen Datenmanager wurden im Rahmen von Präsenzschulungen/-workshops vom inter-nationalen Zentrum in der Handhabung der verwendeten Software-Produkte geschult.

�� Handbücher mit exakten Anleitungen und Vorgaben zur Datenverarbeitung:Ergänzend zu den oben beschriebenen Anwendungen stellte das internationale Zentrum umfangreiche Hand-bücher und Anleitungen zur Verfügung, welche klare Anweisungen und Richtlinien für die einzelnen Daten-verarbeitungsschritte enthalten.

�� Permanenter Support des internationalen Zentrums:Während des gesamten Prozesses der Datenerfassung und -verarbeitung können an den unterschiedlichsten Stellen Fragen oder Probleme (z. B. mit den Software-An-wendungen) auftreten. Der vom internationalen Zentrum geleistete Support bezüglich technischer, aber auch inhalt-licher Fragen und Problemstellungen leistete daher einen wesentlichen Beitrag zur Qualität des Datenerfassungs-prozesses.

TALIS 2018 – Technischer Bericht 33

�� Umfangreicher Prozess der Datenkontrolle nach Ver-arbeitung am internationalen Zentrum:Einen wesentlichen Baustein zur Sicherung der Qualität der internationalen TALIS-Datenbasis stellte der an die Datenübermittlung folgende Prozess der mehrmaligen Retournierung von Daten an die nationalen Zentren dar. In mehreren Stadien der Datenaufbereitung wurden den Teilnehmerländern in diesem Zeitraum vom inter-nationalen Zentrum Daten und Ergebnisse bereitgestellt mit der Möglichkeit, diese zu prüfen und ggf. Korrekturen zu veranlassen. Eine Involvierung der nationalen Zentren ist hier von großer Wichtigkeit, da die Identifikation be-stimmter Auffälligkeiten in den Daten nur von Personen erfolgen kann, welche die nationalen Besonderheiten der Schulsysteme kennen.

6.5.1 Der Feldtest als Probelauf

Ein wichtiger Bestandteil der Qualitätssicherung im Bereich der Befragungsorganisation und -durchführung ist der Feld-test. Ein Jahr vor der Haupterhebung wurden im Rahmen eines Feldtests sämtliche Prozeduren der Erhebung für die Hauptbefragung hinsichtlich ihrer Tauglichkeit geprüft.

Treten im Feldtest Probleme auf, können entsprechende Korrekturen und Veränderungen für die Hauptbefragung vorgenommen werden.

6.5.2 Qualitätssicherung und -kontrolle

Die oben beschriebenen Maßnahmen stellten sicher, dass der international vorgeschriebene Ablauf von TALIS von allen Teilnehmerländern eingehalten wird. Falls unerwartete Probleme während der Befragung auftauchen sollten, stand den SK eine Telefon-Hotline ab 8 Uhr morgens zur Ver-fügung, um Rücksprache mit einer BIFIE-Mitarbeiterin/einem BIFIE-Mitarbeiter zu halten.

Eine abschließende Qualitätsüberprüfung erfolgte durch das „Survey Activities Questionaire“ (SAQ) der IEA Hamburg und richtete sich an die National Project Managers (NPM). Das internationale Zentrum bat die NPMs um ausführliche Rückmeldungen zu allen Phasen und Abläufen von TALIS, um Informationen über die Implementation der TALIS Hauptbefragung in den einzelnen Teilnehmerländern zu sammeln.

TALIS 2018 – Technischer Bericht 35

7 Stichprobe und TeilnahmequotenJuliane Schmich

Bei internationalen Studien ist die Qualität der Stichprobe aller teilnehmenden Länder eines der wichtigsten Kriterien für die Vergleichbarkeit der Ergebnisse. In Kapitel 4 wurde das standardisierte Vorgehen bei der Stichprobenziehung für TALIS 2018 im Detail beschrieben. Neben der Ziehung einer Zufallsstichprobe (Sampling) nach vorgegebenen Krite-rien sind die jeweiligen Ausschluss- und Teilnahmequoten und damit die im jeweiligen Land realisierte Stichprobe von besonderer Wichtigkeit für die Datenqualität. Geringe Teilnahmequoten mindern die Aussagekraft und Verlässlichkeit der Daten und erhöhen die Gefahr möglicher Verzerrungen der Ergebnisse. Aus diesem Grund gibt es bei TALIS inter-nationale Mindeststandards bezüglich der Ausschluss- und Teilnahmequoten. In diesem Kapitel werden die in Österreich realisierten Stichproben auf Schul- und Lehrerebene sowie die erreichten Teilnahmequoten im Feld- und Haupttest be-schrieben. Darüber hinaus wird auf die Qualitätssicherung hinsichtlich der realisierten Stichprobe und der Erreichung der Teilnahmequoten eingegangen.1

1 Dieser Text basiert auf dem entsprechenden Kapitel im nationalen technischen Bericht zu PIRLS 2016 (Hafner, Schmich & Pointinger, 2017).

7.1 Realisierte Stichprobe und Teilnahme-quoten beim Feldtest zu TALIS 2018

Der Feldtest zu TALIS 2018, der im März 2017 durchgeführt wurde, diente in erster Linie der Überprüfung der Prozeduren und der (neu entwickelten bzw. neu übersetzten) Erhebungs-materialien. Zu diesem Zweck forderte die IEA Hamburg 30

auswertbare Schuldatensätze mit je ca. 20 Lehrerinnen und Lehrern an diesen Schulen, was zu einer Stichprobengröße von ca. 600 Lehrerinnen und Lehrern führt.

Von den 30 für den Feldtest 2017 vorgesehenen Schulen waren 8 AHS-Unterstufen, 18 NMS und 4 Schulen mit Öffentlichkeitsrecht (z. B. Waldorfschulen). Die Tabellen

Stratum

Gesamt-zahl aus-gewählter Schulen

Davon nicht in Frage

kommende Schulen

Nicht teil-nehmende

Schulen

Teilnehmende Schulen Teilnahmequote

Ausge-wählte

Schulen

Erste Ersatz-schulen

Zweite Ersatz-schulen

Vor Ersatz

Nach Ersatz

AHS-Unterstufe 8 0 1 7 0 0 87.5 % 87.5 %

NMS 18 0 2 15 1 0 83.3 % 88.9 %

Schule mit Öffent-lichkeitsrecht

4 0 2 1 1 0 25.0 % 50.0 %

Total 30 0 5 23 2 0 76.7 % 83.3 %

Tabelle 7.1: Teilnahmequote auf Schulebene beim Feldtest 2017 (TALIS 2018)

StratumGesamtzahl

ausgewählter Lehrer/innen

Teilnehmende Lehrer/innen

TeilnahmequoteAusgewählte Lehrer/innen

Lehrer/innen in Schulen des ers-

ten Ersatzes

Lehrer/innen in Schulen des

zweiten Ersatzes

AHS-Unterstufe 157 123 0 0 78.3 %

NMS 336 277 19 0 88.1 %

Schule mit Öffentlichkeitsrecht

11 8 2 0 90.9 %

Total 504 408 21 0 85.1 %

Tabelle 7.2: Teilnahmequote auf Lehrerebene beim Feldtest 2017 (TALIS 2018)

36 7 – Stichprobe und Teilnahmequoten

7.1 und 7.2 zeigen die Verteilung der Feldtestschulen auf Schul- und Lehrerebene nach Stratum (die Schularten wurden in Österreich als explizite Stratifizierungsvariable bei der Stichprobenziehung verwendet) und die entsprechenden Teilnahmequoten.

Als „teilnehmende Schulen“ wurden solche berücksichtigt, bei denen mindestens 50 % der Lehrer/innen an der Be-fragung teilnahmen. In der Folge sind „nicht teilnehmende Schulen“ solche, bei denen die Teilnahmequote von 50 % bei den Lehrerinnen und Lehrern nicht erreicht werden konnte.

Tabelle 7.2 zeigt die Verteilung der Feldtestschulen auf Lehrerebene nach Stratum und die entsprechenden Teil-nahmequoten.

7.2 Realisierte Stichprobe und Teilnahme-quoten bei der Hauptbefragung zu TALIS 2018

Insbesondere im Rahmen der TALIS-Hauptbefragung gelten strenge Vorgaben zur Einhaltung internationaler Mindest-standards bezüglich der Teilnahmequoten, um die Re-präsentativität der Daten zu gewährleisten.

Bei den Teilnahmequoten gibt es auf jeder Ebene Vorgaben bezüglich zu erreichender Werte. Auf Schulebene beträgt die geforderte Teilnahmerate 75 %. Erreicht ein Land diese Quote nur durch den Einsatz von (beim Sampling mitaus-gewählten) Ersatzschulen (Replacementschulen) bzw. selbst mithilfe dieser Replacementschulen nicht, so wird dies in den internationalen Ergebnisberichten jeweils angemerkt. Innerhalb der Schulen, die an TALIS teilnehmen, ist auf Lehrerebene eine Teilnahme von zumindest 50 % aller aus-gewählten Lehrer/innen gefordert.

Die Teilnehmerländer müssen für eine uneingeschränkte Berichterstattung im internationalen Bericht entweder auf

beiden Ebenen (Schule und Lehrer/innen) die Teilnahme-quoten erfüllen oder eine kombinierte Quote (Schulteil-nahmequote x Lehrerteilnahmequote) von mindestens 75 % aufweisen.

Die Größe der Stichprobe für die TALIS-Hauptbefragung orientiert sich an der von der OECD festgelegten angestrebten Genauigkeit der Parameterschätzungen für die jeweilige nationale Population. Diese Schätzungen der entsprechenden Werte der Population sollen auf Schul- und Lehrerebene be-stimmte (a priori festgelegte) Konfidenzintervalle aufweisen. Die daraus berechneten Mindestanforderungen an die Stich-probengröße lauten für die Hauptbefragung, dass am Ende auswertbare Daten von zumindest 4000 Lehrerinnen und Lehrern aus mindestens 200 Schulen vorliegen müssen. Um die 4000 Datensätze auf Lehrerebene zu erreichen, wird jedoch empfohlen, eine größere Stichprobe zu ziehen. Die Anzahl der Lehrpersonen an den Schulen kann zum Zeitpunkt der Stich-probenziehung nur aus der jeweils vorliegenden aktuellsten Datenbank der Schulstatistik geschätzt werden, da die Haupt-test-Stichprobe gleichzeitig mit jener des Feldtests – und somit etwa zweieinhalb Jahre vor der eigentlichen Datenerhebung – gezogen wird. Dies geschieht vor allem, um eine doppelteAuswahl von Schulen zu verhindern. Als Datenbasis für dieStichprobenziehung im Feldtest und der Hauptbefragungstanden in Österreich die Schulstatistik-Daten aus dem Schul-jahr 2014/15 zur Verfügung.

Für die Hauptbefragung 2018 wurden die Vorgabe der OECD bezüglich Stichprobengröße (200 Schulen) ein-gehalten und die Stichprobengröße auf 279 Schulen erhöht, um bei der späteren Auswertung der Daten statistisch ge-sicherte Vergleiche zwischen zwei der Gruppen der bereits erwähnten expliziten Stratifizierung (NMS, AHS-Unterstufe) vornehmen zu können.

Von den insgesamt 279 für die Hauptbefragung ausgewählten Schulen mussten zwei nachträglich vom Sampling Frame ausgeschlossen werden. Es handelte sich bei einer Schule um eine Schule mit nur englischsprachigen Lehrpersonen. Eine

Stratum

Gesamt-zahl aus-gewählter Schulen

davon nicht in Frage

kommende Schulen

Nicht teil-nehmende

Schulen

Teilnehmende Schulen Teilnahmequote

Ausge-wählte

Schulen

Erste Ersatz-schulen

Zweite Ersatz-schulen

Vor Ersatz

Nach Ersatz

AHS-Unterstufe 109 0 4 105 0 0 96.3% 96.3%

NMS 160 0 25 129 5 1 80.6% 84.4%

Schule mit Öffent-lichkeitsrecht

10 2 2 4 1 1 50.0% 75.0%

Total 279 2 31 238 6 2 85.9% 88.8%

Tabelle 7.3: Teilnahmequote auf Schulebene bei der Hauptbefragung (TALIS 2018)

TALIS 2018 – Technischer Bericht 37

weitere Schule fiel dadurch weg, dass es an der betreffenden Schule keine Schüler/innen auf der Sekundarstufe 1 gab. Diese beiden Schulen wurden (auch international) bei der Berechnung der Teilnahmequote nicht berücksichtigt. Tabelle 7.3 zeigt die Verteilung der Schulen unter Berücksichtigung der Teilnahmequoten auf Lehrerebene für die drei Schul-arten (Strata).

Als „teilnehmende Schulen“ wurden wiederum solche be-rücksichtigt, bei denen mindestens 50 % der Lehrer/innen an der Befragung teilnahmen. In der Folge sind „nicht teil-nehmende Schulen“ solche, bei denen die Teilnahmequote

von 50 % bei den Lehrerinnen und Lehrern nicht erreicht werden konnte.

Auf Lehrerebene betrachtet zeigt Tabelle 7.4 die Verteilung der Teilnahmequoten für die drei Schularten (Strata).

Statistics Canada ermittelt für Österreich auf Grund dieser Daten eine Teilnahmequote von 75 % („overall participation rate“). Damit weisen die österreichischen TALIS-2018-Daten eine gute Datenqualität auf und können ohne Ein-schränkungen verwendet und die Ergebnisse der Analysen interpretiert werden.

Bibliographie:

Hafner, J., Schmich, J. & Pointinger, M. (2017). 5. Stichprobe und Teilnahmequoten. In C. Wallner-Paschon & U. Itzlinger- Bruneforth (Hrsg.), PIRLS 2016. Technischer Bericht (S. 45–52). Verfügbar unter https://www.bifie.at/wp-content/up-loads/2017/12/05_Kapitel5_PIRLS-2016_TB_final.pdf

StratumGesamtzahl

ausgewählter Lehrer/innen

Teilnehmende Lehrer/innen

TeilnahmequoteAusgewählte Lehrer/innen

Lehrer/innen in Schulen des ers-

ten Ersatzes

Lehrer/innen in Schulen des

zweiten Ersatzes

AHS-Unterstufe 2132 1814 0 0 85.1%

NMS 2836 2275 91 17 84.0%

Schule mit Öffentlichkeitsrecht

71 44 10 4 81.7%

Total 5039 4133 101 21 84.4%

Tabelle 7.4: Teilnahmequote auf Lehrerebene bei der Hauptbefragung (TALIS 2018)

www.bifie.at