Gewichtung in der Umfragepraxis - Institut für Soziologie...

Gewichtung in der Umfragepraxis

Seminar: Praxis der Umfrageforschung

Lehrstuhl fr Empirische Sozial- und Wirtschaftsforschung

WiSo Fakultt Universitt Kln

Martin Pfister

27.6.2006

SD/DG

TNS Infratest in Deutschland 2006 Fakten & Zahlen

Full Service-Gesellschaften inMnchen, Bielefeld, Berlin, Frankfurt, Hamburg und Wetzlar

1.050 Mitarbeiter, davon 525 Projekt-manager, Forscher und Berater

Mit einem Marktanteil von 10,8 Prozentund 189,7 Millionen Euro Umsatz in 2005 die Nummer 2 in Marketing- und Sozialforschung in Deutschland

Rund 4.000 Forschungs- und Beratungs-projekte pro Jahr

Mitglied von ADM, BVM, ESOMAR, WAPOR

Hamburg

BielefeldBerlin

Wetzlar

Mnchen

Frankfurt

2 GewichtungUmfragepraxis

TNS Infratest in Deutschland 2006 Professionelle Datenerhebung

4.000 Interviewer

950 CATI-Stationen in 8 Telefonstudios

1.500 CAPI-Stationen

Mehr als 5 Millionen Interviews pro Jahr

Access Panels: Marktfhrer in Deutschlandmit 50.000 Haushalten(Europa: 135.000; USA: 600.000)

Online Access Panel mit 138.000 Teilnehmernin Deutschland (Europa: 576.000)


Leslie Kish 1990: common questions about weighting

why should sample data be weighted?

when do sample data need weighting?

when is it proper to weight sample data?

when is it important to weight data? when does it make a real difference?

how to calculate proper and accurate wheights?

how to apply weight to cases, tapes, and statistics?

how to apply weights in formulas and software?


Reprsentativitt ist

Stat. Bundesamt, Stichproben in der amtlichen Statistik, 1960, S.13Eine Teilmenge heit reprsentativ, wenn sie in der Verteilung aller interessierenden statistischen Merkmale der Gesamtmasse entspricht, d.h. ein verkleinertes, aber sonst wirklichkeitsgetreues Abbild der Gesamtheit darstellt.

Friedrichs, Methoden empirischer Sozialforschung, 1973, S.125Die Stichprobe mu ein verkleinertes Abbild der Grundgesamtheit hinsichtlich der Heterogenitt der Elemente und hinsichtlich der Reprsentativitt der fr die Hypothesenprfung relevanten Variablen sein.

Kish, Survey Sampling, 1965, S.26Representative sampling is a term easier to avoid in general, it oftendenotes the aims of representing a population well with a sample.

also die Forderung, das Untersuchungsdesign so zu gestalten, dass die Ergebnisse auf die Grundgesamtheit hochgerechnet werden knnen.


Reprsentativitt wird erreicht durch

eine korrekte und vollstndige Definition der Grundgesamtheitsachlich: z.B. Bevlkerung im Alter ab inkl. 20 Jahrenzeitlich: im Jahre 2006rtlich: mit Hauptwohnsitz in Nordrhein-Westfalen

.. die Verwendung eines Auswahlverfahren, das dem Prinzip der Zufallsselektion folgtjeder Auswahleinheit eine berechenbare Auswahlchance >0 einrumtjedem Befragten die gleiche Inklusionswahrscheinlichkeit gibt

=> ex ante durch die Stichprobenanlage=> ex post durch die Gewichtung (= Schichtung a posteriori)

=> nur unter diesen drei Bedingungen sind die Wahrscheinlichkeitstheoreme anwendbar!

.. eine adquate Auswahlgrundlage

Und wie war das noch mit der Fallzahl?


Warum Gewichtung?

Alle Stichproben haben Verzerrungen, da sich die Ausflle nicht proportional zur Grundgesamtheit verteilen (Redressement)

-> Disproportionalitt durch unterschiedliche Erreichbarkeit / Teilnahmebereitschaft (auch bei Totalerhebungen!)

Durch den Stichprobenplan bedingte unterschiedliche Auswahl-wahrscheinlichkeiten mssen gewichtet werden (Designgewichtung)

-> Disproportionalitt bei Stichprobenanlage

Anpassung von abgefragten Variablen an bekannte Strukturen der Grundgesamtheit fhrt zu besseren Schtzern (Schichtung a posteriori)

-> Gewichtung nach Alter und Geschlecht verbessert den Schtzer fr die Haushaltsgre

-> Gewichtung nach Schulbildung verbessert die Messung der Reichweite von Zeitschriften


Beispiel aus der Praxis: Monatliche Telefonerhebung des ILO-Erwerbsstatus fr das Statistische Bundesamt

Projekt: Arbeitsmarkt in Deutschland

Auftraggeber: Statistisches Bundesamt der BRD

Machbarkeitsstudie fr die monatliche Erhebung im Mikrocensus

Grundgesamtheit: Bevlkerung der BRD zw. 15 und 74 Jahren: rund 64 Mio., Zeitraum 2003-2005

CATI-Erhebung, 10 000 Flle monatlich

Stichprobe: multistratifizierte Haushaltsstichprobe gemss ADM-Design, rotierendes Panel


Flchenstichprobe: KonzeptionGemeindeleitdatei des Stat. BA:

Amtliche Regionalsystematik

Wohnbevlkerung insg. und differenziert nach Geschlecht

ADM / BIK:

Jhrliche Aktualisierung der BIK-Typen auf Gemeindeebene

Das Verflechtungsmodell wird nur unregelmig aktualisiert

Mikrocensus:

Haushaltszahlenzahlen auf Ebeneder Regierungsbezirke

Andere amtliche Sekundarstatistiken:

Geburten und SterbeflleZuzge und Fortzge

TNS Infratest GEMEINDE-DATENBANK

ADM / BIK: Webb-Typen Schtzmodell


Flchenstichprobe: Umsetzungsschritte

Bedeutungsgewicht bereits vorhandenneue Berechnung oder Schtzung

Definition der Schichten fr die Bruttostichprobe (abhngig von der Erhebungsmethode die Netto-Soll-Vorgabe und den Realisierungsvorschriften)

Allokationsrechnung Berechnung des Ziehungssoll auf Bruttoebene

und / oder Berechnung der Netto-Soll-Vorgabe

Bindeglied Allokation - Ziehung

Durchfhrung der Stichprobenziehung (Brutto)

Weitergabe von Stichprobe und Nettosoll sowie Dokumentation


ADM-Auswahlgrundlage

ADM-Basisdatei:

Block: 089/8411300 ....... 089/8411399Eintrge: 40 Nummern

davon mit GKZ: 09730000 (20); 09751123 (12); 09751456 (8)

Beispiel: Datensatz fr eine generierte Nummer GKZ1 W1 GKZ2 W2 GKZ3 W3

089/8411302 09730000 0,50 09751123 0,30 09751456 0,20

Infratest-Telefon-Master-Sample Ziehungsdatenbank (SQL):

Zufallsauswahl einer GKZ fr jede generierte Rufnummer proportionalzur Verteilung der GKZ-Wahrscheinlichkeiten

GKZ-Verteilung der nicht-eingetragenen Nummern entspricht derjeweiligen Verteilung der eingetragen Nummern pro Block


Anwendung ADM-TelefonstichprobenGrundzge des Designs

Ziehung aus der ADM Auswahlgrundlage

Zufallsallokation (Cox Verfahren) auf Basis der jeweilig aktuellen Haushaltszahlen der Gemeindedatei

Zufallsauswahl der Telefonnummern in einem mutlistratifizierten Schichttableau

Zufallsauswahl der Zielperson im Haushalt mit Schwedenschlssel

1. Stufe

2. Stufe

=> Haushaltsstichprobe auf Flchenbasis! Bindeglied: GKZ

=> Personenstichproben im Zuge der Realisierung !


Die rotierende Panelstichprobe

Erstbefragung 100%

1. Nachbefragung: 70% des Vormonats

weitere Nachbefragungen, maximal 6-mal: 83% des jeweiligen Vormonats

1 1667 1 4149 2 2912 3 2417 4 2006 5 1665 6 1382 1 3167 2 2223 3 1845 4 1531 5 12711 1667 2 1170 1 3202 2 2248 3 1866 4 1549 5 1285 6 1067 1 2991 2 2100 3 1743 4 14461 1667 2 1170 3 971 1 2916 2 2047 3 1699 4 1410 5 1170 6 972 1 2889 2 2028 3 16831 1667 2 1170 3 971 4 806 1 2742 2 1925 3 1598 4 1326 5 1101 6 914 1 2828 2 19851 1667 2 1170 3 971 4 806 5 669 1 2606 2 1830 3 1519 4 1260 5 1046 6 868 1 27831 1667 2 1170 3 971 4 806 5 669 6 555 1 2495 2 1751 3 1453 4 1206 5 1001 6 831

ung 58,5% 68,0% 70,8% 70,1% 71,1% 71,7% 72,2%72,6% 73,9% 75,1% 68,3%10000 10000 1000010000 10000 10000 10000 1000010002 10000 10000 10000

Sep Okt Nov DezMai Jun Jul AugJan Feb Mar Apr


Netto-Stichproben-struktur im Vergleich zurFortschreibung

Bevlkerungs-fortschreibung

a)

ILO-Mon (2003)b)

Stand:

31.12.2001 April Mai Juni Juli Anzahl 63.738.502 10.000 10.000 10.000 10.000 Geschlecht Mnnlich 50,1% 45,4% 45,5% 44,9% 44,7% Weiblich 49,9% 54,6% 54,5% 55,1% 55,3% Summe 100,0% 100,0% 100,0% 100,0% 100,0% Alter Bis 24 Jahre 14,7% 13,0% 12,8% 12,9% 12,6% 25 bis 44 Jahre 39,3% 39,3% 39,4% 38,7% 38,4% 45 bis 54 Jahre 17,3% 21,3% 21,8% 21,1% 21,0% 55 bis 64 Jahre 16,2% 16,4% 15,2% 15,6% 15,8% 65 Jahre und lter 12,5% 9,8% 10,8% 11,6% 12,0% Keine Angabe - 0,3% 0,2% 0,2% 0,3% Summe 100,0% 100,0% 100,0% 100,0% 100,0% Staatsangehrigkeit Deutsch 90,7% 95,8% 96,2% 96,2% 96,4% Nicht deutsch 9,3% 4,0% 3,8% 3,8% 3,6% Keine Angabe - 0,2% 0,0% 0,0% 0,0% Summe 100,0% 100,0% 100,0% 100,0% 100,0% a) Quelle: Fortschreibung B15 Gesamtbevlkerung 15-74 Jahre, Stand 31.12.2001. b) Personenstichprobe durch Gewichtung mit Umwandlungsfaktor



ErstbefragungZweitbefragung

April Mai

Mai Juni

Juni Juli

Geschlecht Frau 0,007 0,103 0,113

Alter

25 - 44 Jahre 0,242 ** 0,192 0,288 45 bis 54 Jahre 0,465 *** 0,685 ** 0,398 ** 55 - 64 Jahre 0,259 ** 0,706 ** 0,491 ** 65 Jahre oder lter -0,291 0,388 0,253 Keine Angabe -2,209 *** -1,830 ** -1,332 **

Staatsangehrigkeit Nicht deutsch -0,509 *** -0,212 -0,739 ***

Kinder unter 15 Jahren im Haushalt Ja 0,360 *** 0,462 ** 0,196

West/Ost Ost 0,037 -0,212 -0,251 **

Schulbildung Mittlere Bildung inklusive POS 0,209 ** 0,326 ** 0,205 Hohe Bildung 0,261 *** 0,150 0,030 Schler ohne Fachhochschule/ Abitur 0,446 ** 0,875 ** 0,399

Meldung beim Arbeitsamt Arbeitsuchend 0,186 0,360 -0,089 Arbeitslos ohne Leistung -0,165 -0,424 0,099 Arbeitslos mit Leistung -0,137 0,146 -0,300

Erwerbsstatus Erwerbslos, verfgbar 0,032 -0,076 -0,133 Erwerbslos, nicht verfgbar -0,023 -1,322 ** -0,190 Nichterwerbspersonen 0,108 0,499 * -0,372 *

Interesse an Erwerbsttigkeit Kein Interesse, k.A. -0,581 *** -0,898 ** -0,027

Konstante 1,004 *** 0,533 ** 0,738 ***

Modellverbesserung 212,0 *** 57,4 *** 56,4 *** Freiheitsgrade 19 19 19 Pseudo-R2 0,02 0,03 0,02

Wiederteilnahme ander Befragung:Erklrung durchLogit-Modell

Gewichtung: mehrstufiger Prozess

Designgewichtung

1: Auswahlchance Anzahl Rufnummern

3: Auswahlchancen Anzahl Zielpersonen

5: ggf. Rckwandlung

Stichprobenbasis

Rufnummern

Haushalte

Personen

Haushalte

Redressement /Schichtung a posteriori

2: Haushalte nach Schichttableau

4: Personen nach demographischen Strukturen, Panelgewichtung


Personengewichtung 4. Stufe

Eingangsfaktor aus der 3. Stufe, folgende Matrizen liegen zugrunde:

Erwerbsstatus Vorwelle x Alter ("Panelgewichtung", nur fr Panelflle)

1. aBL/nBL x deutsch/nicht deutsch x Geschlecht

2. aBL/nBL x Alter (15-24,25-40,41-50,51-64,65-74) x Geschlecht

3. aBL/nBL x Bildung x Alter (bis 50 / ber 50)

4. Bundesland x Geschlecht

5. Erwerbsttigenzahl aktuell laut VGR

6. Arbeitslosenzahl aktuell laut BA x aBL/nBL


Berechnung der Gewichtungsfaktoren

Berechnung anhand eines Iterativen Randsummenverfahrens (Deming and Stephan, 1940; Cochran 1968).

Gewichtungsfaktoren werden auf ein vorgegebens geschlossenes Intervall begrenzt, z.B. 0,1 bis 5,9.

Konvergenzkriterium: jede Randverteilung hat z.B. maximal 0,1% Abweichung in der Summe der einzelnen Zellen.

Abbruch der Iteration, wenn die Anpassung nicht verbessert wird.

Prfung auf: hohe und niedrige Faktoren in den einzelnen Zellen,Zellenbesetzung, Effektivitt.


Wie gut ist eine Gewichtung?

Gewichtung erhhte die Varianz in der Stichprobe -> Effektivittsverlust

Gewichtung soll przisionssteigernde Effekte besitzen

Abschtzung des Zufallsfehlers unter Bercksichtigung des Gewichtungsverfahrens -> Mglichkeit via ResamplingVerfahren (Bootstrap)

Abschtzung bei einfacher Zufallauswahl in unserem Beispiel:

4 Mio. Erwerbslose, GG = 64 Mio., Konfidenzintervall +-320000 (+- 8%)


Masszahl einer Gewichtung: Effektivitt einer Stichprobe

= n

n

n

n

ng

gE

1

2

2

1

*))((

)(Mit: E = Effektivitt

gn = Gewicht / Gewichtungsfaktor fr n-ten Falln = Fallzahl (ungewichtet)

Jeder Fall erhlt ein(en) Gewicht(ungsfaktor). Wenn alle Gewichte genau 1 sind, dann ist E = 1 (100%ige Effektivitt). Bei zunehmender Varianz der Faktoren wird die Effektivitt kleiner.

Proportionale Stichprobe: n=600 Flle, Effektivitt von 90% derDesigngewichtung -> effektive Stichprobengre (600*90%) = 540 Flle

Effektive Fallzahl nach der Designgewichtung ist in der Formel fr die Berechnung der Fehlertoleranzen zu bercksichtigen.


Bootstrap: Theoretische Grundlagen

Resampling Verfahren: Fehlerabschtzung ohne Annahme eines parametrischen Modells

1. Grundlage: Schtzmodell T fr Anteil Erwerbslose

2. Bootstrap-Stichprobe mit Zurcklegen aus Ursprungsdaten, N = 10000

3. Neuberechnung der Schtzung anhand der Bootstrap-Stichprobe inklusive Gewichtung / Hochrechnung

4. Wiederholung der Schritte 2 und 3 n-mal, n = 1000

5. Berechnung der Konfidenzintervalle


Bootstrap-Simulation: STP GEW - Hochrechnung

Verteilung der hochgerechneten Anzahl der Erwerbslosen aus 1000 BootstrapStichproben eines Querschnittmonats

Design-gewichtet Demografie-gewichtet Demografie + Arbeitslos. -gewichtetKonfidenzinterval 90% Mittelwert Konfidenzinterval 90% Mittelwert Konfidenzinterval 90% Mittelwert282085 8,0% 3531455 305611 7,2% 4225919 261448 6,5% 4037082


3.000.000,003.200.000,003.400.000,003.600.000,003.800.000,004.000.000,00

pgew5

0

20

40

60

80

100

120

Hu

figke

it

Mean = 3.531.455,3464Std. Dev. = 171.479,73473N = 1.000

3.600.000,003.800.000,004.000.000,004.200.000,004.400.000,004.600.000,004.800.000,00

pgew6

0

20

40

60

80

100

120H

ufig

keit

3.600.000 3.900.000 4.200.000 4.500.000

pgew8

0

20

40

60

80

100

120

Hu

figke

it

Mean = 4.037.782,01Std. Dev. = 158.934,659N = 1.000Mean =

4.225.918,8626Std. Dev. = 185.781,77744N = 1.000

Leslie Kish 1990: common misleading statements

Weighting survey data is usually a simple process: each response weighted inversely to its probability of selection, with adjustment for non-response

I cannot find any justification for weighting in sampling theory, except for nonresponse

It is best to select a simple random sample in order to obtain a self-weighting sample

It is unethical to weight sample cases, because the process can be misused to produce biased results


TNS Infratest in Deutschland 2006 Fakten & ZahlenTNS Infratest in Deutschland 2006 Professionelle DatenerhebungLeslie Kish 1990: common questions about weightingReprsentativitt ist Reprsentativitt wird erreicht durch Warum Gewichtung?Beispiel aus der Praxis: Monatliche Telefonerhebung des ILO-Erwerbsstatus fr das Statistische BundesamtFlchenstichprobe: KonzeptionFlchenstichprobe: UmsetzungsschritteADM-AuswahlgrundlageAnwendung ADM-TelefonstichprobenGrundzge des DesignsDie rotierende PanelstichprobeNetto-Stichproben-struktur im Vergleich zurFortschreibungWiederteilnahme ander Befragung:Erklrung durchLogit-ModellGewichtung: mehrstufiger ProzessPersonengewichtung 4. StufeBerechnung der GewichtungsfaktorenWie gut ist eine Gewichtung?Masszahl einer Gewichtung: Effektivitt einer StichprobeBootstrap: Theoretische GrundlagenBootstrap-Simulation: STP GEW - HochrechnungLeslie Kish 1990: common misleading statements

Gewichtung in der Umfragepraxis - Institut für Soziologie...

Documents

Transcript of Gewichtung in der Umfragepraxis - Institut für Soziologie...