www.statistik.at Wir bewegen Informationen

Das Mixed Mode Design von EU-SILC in Österreich

Elisabeth KafkaSTATISTIK AUSTRIA

Direktion Bevölkerung

Statistiktage 2011 Graz

7. 9. 2011

www.statistik.at Folie 2 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Überblick

• Die Erhebung EU-SILC

• Vor- und Nachteile eines Mixed Mode Designs

• Implementierung des Mixed Mode Designs in EU-SILC Stichprobe Ausschöpfung Messung

• Fazit und Ausblick

www.statistik.at Folie 3 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

EU-SILC in Österreich• = European Community Statistics on Income and Living

Conditions

• Jährliche Haushaltsbefragung in Privathaushalten, alle Personen ab 16 Jahren werden persönlich befragt, Dauer je nach HH-Größe, durchschnittl. ~40 min/HH

• Einkommen aller HH-Mitglieder, finanzielle Situation, Wohnen, Gesundheit, Arbeit, Kinderbetreuung, Zufriedenheit

• Seit 2004 kombinierte Quer- und Längsschnitterhebung im Rotationsdesign

• Seit 2010 nationale Verordnung zur Verwendung von Administrativdaten

www.statistik.at Folie 4 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Befragungsmethoden bei EU-SILC in Österreich

• 2004 – 2006: nur CAPI (Computer Assisted Personal Interviewing)

• 2007: Machbarkeitsstudie bei Teil der Folgebefragungen zum Einsatz von CATI (n=750)(Computer Assisted Telephone Interviewing)

• Ab 2008 Mixed Mode Design: Erstbefragungen CAPI Folgebefragungen CAPI oder CATI Follow-up bei CATI-Nonrespondents (NR) im Modus CAPI

www.statistik.at Folie 5 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Mixed Mode Design – Vorteile

• Vorteile von CATI

Entlastung der RespondentInnen Kosten Organisation der Feldsituation• Regional und zeitlich flexibler• Auslastung verteilt• Bearbeitung der Stichprobe besser steuerbar

Kontrolle der Interviewsituation• Standardisierung• Supervision

www.statistik.at Folie 6 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Mixed Mode Design – Herausforderungen

Komplexe Organisation: • Koordination von CATI und CAPI-Feld • Verwaltung der Haushalte und Präferenzen

Unterschiedliche Fehlerquellen von CATI/CAPI• Coverage Error• Nonresponse Error

– Bindung der RespondentInnen – Erreichbarkeit

• Measurement Error – InterviewerInneneinfluss – Kommunikationskanäle – Fragebogendesign

www.statistik.at Folie 7 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Mixed Mode Design – Herausforderungen

Ist Vergleichbarkeit der erhobenen Daten gewährleistet?

Wegen Konfundierung schwierig zu unterscheiden zwischen

Methodeneffekten Selektionseffekten realen Unterschieden

Nur im experimentellen Design möglich => Machbarkeitsstudie

www.statistik.at Folie 8 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Implementierung – Stichprobe

Erstbefragung: Adressenstichprobe aus ZMR Kein Telefonregister in Ö verfügbar Erhebung der Telefonnummern für Folgebefragung

Folgebefragung:Seit 2010 gezielte Zuweisung zu Modus => weniger CATI-NR

Follow-up im Modus CAPI• Modus im Vorjahr• Präferenz der RespondentInnen• Bei within-household-Nonresponse CAPI• Fremdsprachige InterviewerInnen nur im CATI Studio

www.statistik.at Folie 9 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Befragungsmethoden bei EU-SILC in Österreich

Jahr

Stichprobe davon CATI CATI-NR Follow-up (CAPI)

von CATI BruttoBrutto Netto Brutto Netto

n in % in %2008 4.877 3.772 63 45 382009 4.606 3.793 85 66 322010 4.724 4.124 69 60 19

Quelle: EU-SILC 2008-2010, Folgebefragungen ohne neue Splithaushalte.

CATI-Anteile

www.statistik.at Folie 10 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Implementierung – Ausschöpfung

JahrCAPI CATI

CATI-NR Follow-up

(CAPI)

CATI + CATI-NR Follow up

in %2008 74 55 63 79 2009 80 64 58 83 2010 83 76 68 89

Quelle: EU-SILC 2008-2010, Folgebefragungen ohne neue Splithaushalte. Ausschöpfung=Netto/Brutto.

Ausschöpfung nach Befragungsmethode

www.statistik.at Folie 11 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

CATI Nonresponse Follow-up

 

Gründe für CATI-NR Follow-up mittels CAPI in %

Befragung telefonisch nicht möglich da nie oder nicht mehr erreicht

56

Falsche Telefonnummer 19

Gesundheitliche Gründe/Alter 8

Möchte am Telefon keine Auskunft geben 7

Zu langes Telefonat 5

Andere Gründe 5

Gesamt 100Quelle: EU-SILC 2011, vorläufige Zahlen. n=658.

www.statistik.at Folie 12 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Implementierung – Messung

Visuelle Befragungshilfen: Klassifikationen• automatische Codierung mit Wörterbuch (Look-up) (z.B.

Beruf, Wirtschaftszweig)• Hierarchische Filterung von Fragen (z.B. berufliche

Stellung) Auflistung von Beispielen • CAPI: Weiterverwendung von visuellen Befragungshilfen• CATI: Vorlesen durch InterviewerInnen

Skalen • CAPI: Weiterverwendung von visuellen Befragungshilfen• CATI: Schulung und Supervision der InterviewerInnen

www.statistik.at Folie 13 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Mixed Mode Design – Fazit

CATI wichtige Ergänzung für die Längsschnittkomponente, aber nur in Kombination mit CAPI möglich

Laufendes Monitoring von Qualitätsindikatoren im Hinblick auf Methodeneffekte notwendig

Impulse für Qualitätssicherung durch direktes Feedback bei CATI

Vertiefende methodische Analysen möglich! (z.B. Recency Effect bei Skalen, multivariate Analysen zu Methodeneffekten)

Ausblick: Administrativdaten, CATI bei Erstbefragung, Dependent Interviewing

www.statistik.at Folie 14 | 7.9.2011E. Kafka - Das Mixed Mode Design von EU-SILC in Österreich

Rückfragen bitte an:Elisabeth Kafka

Kontakt:Guglgasse 13, 1110 Wien

Tel: +43 (1) 71128-7278elisabeth.kafka@statistik.gv.at

Herzlichen Dank für Ihre Aufmerksamkeit!

http://www.statistik.at/web_de/frageboegen/private_haushalte/eu_silc/index.html