Ludwig-Maximilians-UniversitätInstitut für Statistik

Non-Response-Analyse(Vorbereitungsmaterial)

Vortrag am 22.Dezember 2010

von Benjamin Knöferl

Betreuerin: Andrea Wiencierz

im Rahmen des Seminars

„Statistische Herausforderungen sozialwissenschaftlicher Studien“

1

Gliederung

1. Einleitung

2. Einführung in die Problematik

2.1 Definitionen

2.2 Der Non-response Bias

3. Non-response adjustment

3.1 Definition

3.2 Korrelation der Zusatzvariablen mit Survey-Variablen & response-Indikator

3.3 Richtungswechsel und Effekt auf die Varianz

4. Berechnung der Response-Anteile

5. Reduzierung des Non-response Bias

6. Literaturverzeichnis

2

1. EinleitungIn der Non-Response-Analyse geht es um die Untersuchungen derjenigen Merkmale,

welche Personen inne haben, die an einer Survey nicht teilnehmen, sowie der

Auswirkung der Non-response. Es gibt verschiedene Formen dieser Umfrage,

angefangen mit dem fac-to-face Interview bis hin zu Mail Surveys.

Ein kurzes Beispiel soll die Problematik der Non-response einläuten:

Man nehme an, dass in einem Büro für einen Tag Fragebögen bereit liegen, auf denen die

Büromitarbeiter ihre Arbeitsbelastung dokumentieren können. Je nach Arbeiter ist diese

(etwas) verschieden. Gemessen werden soll die durchschnittliche Arbeitsleistung. Des

weiteren gibt es ein Gruppe A von Mitarbeitern die aufgrund ihrer hohen

Arbeitsbelastung keine Gelegenheit besitzen den Fragebogen auszufüllen, was im

Rückschluss bedeutet, dass der hohe Messwert der Personen aus A nicht in das

Endergebnis einfließt. Er wird also sozusagen verschwiegen. Ein Gruppe B von

Büromitarbeitern mit geringer Arbeitsbelastung hat hingegen Zeit den Fragebogen

auszufüllen. Das heißt ihr geringer Messwert fließt im Gegensatz zu dem hohen der

Gruppe A in das Ergebnis mit ein.

Das Endergebnis der durchschnittlichen Arbeitsbelastung wird also dadurch das Gruppe

A nicht an dieser Umfrage teilnimmt verzerrt, da die Personen daraus wahrscheinlich

eine andere Antwort als die der Gruppe B gegeben hätten. Diese Verzerrung nennt man

den Non-response Bias. Kennt man die Merkmale der Nonrespondenten, so kann man

mögliche Verzerrungen korrigieren.

Der Non-response Bias hängt wie man an diesem Beispiel sieht zum einen von den

Unterschieden bezüglich der untersuchten Merkmale der Antwortgeber und der

„Antwortverschweiger“ ab, sowie sinnvollerweise zum anderen vom Anteil der

Letztgenannten.

3

2. Einführung in die Problematik

2.1 Definitionen Non-response erscheint dann wenn keine bzw. keine vollständige Datenerhebung bei den

ausgewählten Individuen gelingt.

Es gibt zwei verschiedene Typen der Non-response:

➢ unit Non-response:

◦ Alle Angaben der Zielperson fehlen

(Beispielsweise wird ein Interview verweigert oder ein Fragebogen nicht

ausgefüllt)

➢ item Non-response:

◦ Einzelne Angaben der Zielperson fehlen

(Beispielsweise werden bei einem Fragebogen nicht alle Fragen beantwortet oder bei

einzelnen Fragen in einem Interview wird die Antwort verweigert)

Da es keine klaren Richtlinien gibt, wann genau eine Person Respondent oder

Nonrespondent ist, ist es empfehlenswert Kriterien zu entwickeln die erfüllt sein müssen,

damit jemand ein Antwortgeber ist. Beispiele für diese Kriterien sind die Beantwortung

der Schlüsselfragen im jeweiligen Survey, sowie der Anteil der beantworten Fragen.

Oftmals ist es die Aufgabe der Forscher der Survey zu entscheiden, ab wann eine Person

nun Antwortgeber oder Antwortverschweiger ist.

Der Non-response Bias (Schweigeverzerrung) bezeichnet eine Verzerrung des

Ergebnisses, die dadurch entsteht, dass Respondenten andere Antworten geben als

Nonrespondenten. Seine Ursache ist somit ein systematischer Antwortausfall.

4

Y = tr Yr + tnr Ynr

Y : Mittelwert der Gesamtpopulation

Ynr : Mittelwert der Nonrespondenten

tnr : Erwarteter Anteil der Nonrespondenten in der Gesamtpopulation

Yr : Mittelwert der Respondenten

tr : Erwarteter Anteil der Respondenten in der Gesamtpopulation

Des weiteren gilt:

1 – tr = tnr

tnr =MN

M : Anzahl der Nonrespondenten

N: Gesamtanzahl der Population

Die graue Box auf der symbolisiert den Anteil an Personen, die unter der aktuellen

Methode nicht antworten. Die Respondenten der Stichprobe sind aus dem weißen

Bereich.

Zieht man eine Stichprobe aus einer Population, so ignoriert der Ziehungsprozess die

Unterscheidung zwischen Antwortgebern und Personen von denen man keine Antworten

5

bekommt, solange man diese beiden Gruppen nicht unterscheidet. Das kann man

allerdings erst, nachdem man die einzelnen Personen versucht hat zu kontaktieren und

gegebenenfalls zur Teilnahme an der Survey zu überreden.

→ Letzten Endes hat man also nur Daten von den Respondenten

Die gedankliche Teilung in diese zwei Gruppen ist ein einfaches deterministisches

Modell. In der Realität ist es allerdings deutlich komplizierter, da etwa verschiedene

Befragungsverfahren zu unterschiedlichen Aufteilungen der Population in Respondenten

und Nonrespondenten führen.

Dadurch, dass Response-Anteile derselben Population bei verschiedenen Studien stark

variieren kommt man zur Ansicht, dass jede Person der Stichprobe ein potentieller

Nonrespondent oder Respondent, abhängig von der jeweiligen Situation, ist.

Das bedeutet, jeder hat eine nicht überwachbare Wahrscheinlichkeit ein Respondent oder

eben Nonrespondent zu sein. Diese soll im folgenden als ρi dargestellt sein.

Unter diesen Gesichtspunkt gibt es einen weiteren Ausdruck, der eine Approximation des

bias vom Mittelwert der Respondenten ist:

Bias ( Yr) = ( σyρ / ρ )

wobei σyρ : Kovarianz zwischen dem Untersuchungsmerkmal y und der

Antwort-“Neigung“ ρ

und ρ : Mittelwert der „Neigung“ in der Zielpopulation über

Stichprobenrealisationen

→ Der Non-response Bias erscheint als Funktion, wie stark die Korrellation zwischen der

„Neigung“ und den untersuchten Attributen ist

Es gibt aber noch andere Ausdrücke für den Bias. Ein Beispiel dafür ist die Differenz der

mittleren Anzahl an Arztbesuchen bei Frauen und Männern. Das heißt es gibt zwei

Untergruppen in der Stichprobe. Der oben genannte Ausdruck wird hier erweitert zu:

Bias (Yr1 – Yr2) ≈ ( σy1ρ1 / ρ1 ) - ( σy2ρ2 / ρ2 )

wobei die Indexe 1 und 2 für die zwei Unterklassen (Frauen und Männer) stehen.

6

2.2 Der Non-response Bias

BNR = (1 – tr) (Yr – Ynr)

RBNR = (1 – tr) (Yr – Ynr) / Y

(Yr – Ynr) : Differenz der Mittelwerte bezüglich des untersuchten Merkmals

Beispiel 1:

Man nehme an, dass bei einer Telefonumfrage der Response-Anteil bei 90% liegt.

→ tr = 0,9 → tnr = 1 - tr = 0,1

Des weiteren weiß man dass das durchschnittliche Einkommen der Respondenten bei

107.000€ und das der Nonrespondenten bei 89.000€ liegt.

Also: Yr = 107.000€ , Ynr = 89.000€

→ (Yr – Ynr) = 107.000€ – 89.000€ = 18.000€

Y = 0,9 x 107.000€ + 0,1 x 89.000€ = 105.200€

und RBNR = 0,1 x 18.000 / 105.200 = 0,017

Das heißt, der relative bias liegt bei 1,7% wenn an dieser Survey 10% der Befragten nicht

teilnehmen und der Unterschied (Yr – Ynr) 18.000€ beträgt.

Beispiel 2:

Gegeben seien:

Yr = 100.000€ , Ynr = 65.000€

sowie tr = 0,7 → tnr = 1 - tr = 0,3

→ (Yr – Ynr) = 100.000€ – 65.000€ = 35.000€

Y = 0,7 x 100.000€ + 0,3 x 65.000€ = 89.500€

und RBNR = 0,3 x 35.000 / 89.500 = 0,117

7

Durch die wesentlich größere Differenz (Yr – Ynr) und den höheren Anteil an

Nonrespondenten ist der relative Bias hier mit 11,7% wesentlich höher als in Beispiel 1.

Das bedeutet die Verzerrung des Ergebnisses ist sehr viel größer!

Es kann auch vorkommen, dass man den Bias für höhere bzw. geringere Antworter-

Anteile oder auch für unterschiedliche Differenzen (Yr – Ynr) auswerten möchte. Für

dieses Problem betrachten wir folgende Grafik:

Diese Grafik veranschaulicht die Beziehung zwischen dem relativen BNR (y-Achse in %)

und der relativen Differenz zwischen den Respondenten und den Nonrespondenten auf

der x-Achse ( (Yr – Ynr) / Y ).

Beispiel:

Man betrachte den Graphen für tr = 0,7 (70% der Befragten nehmen an der Survey teil).

Vermutet man die relative Differenz zwischen Antwortgebern und Nonrespondenten liege

zwischen 20% und 30%, so erhält man für die untere Grenze (20%) einen RBNR von ca.

6% und für die obere Grenze (30%) einen RBNR von ca. 9%. Unser Bereich für den RBNR

liegt also zwischen 6 und 9%.

→ RBNR ϵ [0.06 , 0.09]

8

Diese Grafik veranschaulicht, dass der Bias nicht nur eine Funktion der Response-Rate

ist.

Zwar liegt ein großes Augenmerk auf den Antworter-Anteilen in Surveys – manche

wurden aufgrund geringer Response-Anteile sogar eingestellt ohne den bias auszuwerten

– aber der bias hängt sehr wohl auch von der Differenz (Yr – Ynr) ab. Ist diese gleich

Null, so gibt es logischerweise keine Verzerrung des Ergebnisses, also keinen Bias.

In der Realität ist es dementsprechend sogar möglich, dass der Bias trotz einer unerwartet

niedrigen Antworter-Rate akzeptabel ist.

Fazit: Der BNR ist eine Funktion des Non-response-Anteils, sowie der Differenz zwischen

Respondenten und Nonrespondenten bezüglich des untersuchten Merkmals.

9

3. Non-response adjustment3.1 Definition

In diesem Kapitel geht es um die mögliche Korrektur des Non-response Bias.

Das Ziel der Non-response adjustment ist es mit Hilfe von Zusatzvariablen den Bias zu

reduzieren, ohne dabei die Varianz zu erhöhen.

Mittlerweile werden bei vielen Studien Zusatzdaten, wie beispielsweise Beobachtungen

und Eindrücke des Interviewers gesammelt. Haben diese ergänzenden Variablen eine

hohe Korrelation mit dem interessierenden Merkmal und mit dem response-Indikator so

sind sie vielversprechende Kandidaten für die Non-response Korrektur.

Ein Hauptaspekt der Non-response adjustment ist das „weighting“.

Eine Simulation von Little & Vartivarian hat gezeigt, dass weighting sehr effektiv in der

Reduzierung des Bias ist ohne dabei die geschätzte Varianz zu erhöhen. Allerdings ist das

nur der Fall, wenn die für die Konstruktion der Gewichte verwendeten Variablen, stark

korreliert sind mit dem interessierenden Merkmal, sowie mit der Neigung, auf die Survey

zu antworten.

10

3.2 Korrelation der Zusatzvariablen mit Survey-Variablen & dem response-

Indikator

Um die angesprochenen Korrelationen zu veranschaulichen betrachten wir folgende

Grafik, für die fünf verschiedene Studien (UMTRI, MEPS, ESS, ANES und NSFG)

verwendet wurden:

x-Achse: Korrelation zwischen dem response-Indikator r und der Zusatzvariable z

y-Achse: Korrelation zwischen der jeweiligen Zusatzvariable z und einer ausgewählten

Anzahl an Survey-Variablen y

Man kann sehen, dass die meisten Zusatzvariablen nur einen schwachen Zusammenhang

mit dem response-Indikator r besitzen. Lediglich für die ANES-Studie ist die Schätzung

der Korrelation zwischen z und r (|ρ (z,r)|) größer als 0,1.

11

Die geschätzten Korrelationen auf der y-Achse sind allesamt kleiner als 0,5 was bedeutet,

dass zwischen den Zusatzvariablen und den interessierenden Merkmalen kein sehr großer

Zusammenhang besteht.

Des weiteren erkennt man das |ρ (z,y)| für fast jede gegebene Schätzung von |ρ (z,r)| stark

variiert. Das weißt auf die Schwierigkeit hin, eine einzige passende Variable zu finden,

die das Potential hat den Bias in Bezug auf sämtlichen Survey-Variablen, zu reduzieren.

3.3 Richtungswechsel und Effekt auf die Varianz

Bislang haben die Zusatzvariablen nur ein mäßige Potential im Hinblick auf ihre

Nützlichkeit für die Non-response Korrektur, gezeigt.

Jetzt stellt sich die Frage ob die Hinzunahme dieser zusätzlichen Variablen zu den

bestehenden weighting-Prozeduren zu einer Veränderung der geschätzten Mittelwerte

führt, wenn ja, ob diese Veränderungen zu einer Reduzierung des Bias gelangen, und was

die Konsequenzen für die geschätzten Varianzen sind.

Betrachten wir im folgenden die UMTRI-Studie näher.

UMTRI ist eine Studie an der junge Erwachsene welche einen gültigen Führerschein

besitzen teilnehmen. Das UMTR Institut konnte die Stichprobe dieser Survey mit Hilfe

der Verkehrssünder-Kartei von Michigan erweitern.

In der Befragung geht es um die verschiedenen Fahrgewohnheiten sowie die

Risikobereitschaft. Es sind Informationen über Alter und Geschlecht vorhanden, die für

die Non-response adjustment verwendet werden.

Es wurden fünf Zusatzvariablen aufgezeichnet:

– Punkte in der Verkehrssünder-Kartei

– Ernsthafte Verkehrsdelikte

– Normale Verkehrsdelikte

– Unfälle

– Ernsthafte Unfälle

wobei alle fünf Zusatzvariablen für den Zeitraum der vergangenen 12 Monate betrachtet

werden.

12

Die interessierenden Merkmale dieser Studie sind:

– Anzahl an Punkten in der Verkehrssünder-Kartei

– Wurde der Führerschein bereits entzogen (binär)

– Bei Kurzstrecken nie einen Gurt tragen (binär)

– Bei Langstrecken nie einen Gurt tragen (binär)

Untersuchungen dieser Studie vermuten, dass es Personen gibt die Bedenken habe

eventuell gesellschaftlich unerwünschte Informationen preiszugeben (beispielsweise nie

einen Gurt zu tragen). Daher erwartet man nach der Einberechnung der Zusatzvariablen

eine Erhöhung in den Mittelwerts-Schätzungen.

Die folgende Tabelle zeigt den nicht-korrigierten Mittelwert, die korrigierten Mittelwerte

sowie die Standardabweichungen dieser beiden, für die vier Survey-Variablen:

Hier sieht man beispielsweise, dass die „nicht-korrigierte“ Schätzung des Anteil an

jungen Erwachsenen, denen der Führerschein schon einmal entzogen wurde bei 18,80%

liegt. Unter Verwendung der ursprünglich eingeplanten Gewichtung (das heißt unter

Einbeziehung der Variablen Alter und Geschlecht) erhält man einen geschätzten Anteil

von 19,43%. Fügt man auch noch die fünf Zusatzvariablen hinzu, so gelangt man zu

einem Wert von 19,85%.

Das bedeutet, dass man eine Veränderung in die richtige Richtung erhält, woraus eine

Reduzierung des Bias folgt.

13

Betrachtet man die Standardabweichung, so erkennt man, dass sich diese bei der

Hinzunahme der Zusatzvariablen nur leicht erhöht.

Das Resultat daraus ist, dass das Verhältnis R geringfügig kleiner als 1 ist, wobei R die

geschätzte Varianz zu Beginn, dividiert durch die geschätzte Varianz nach Hinzunahme

aller Zusatzvariablen ist. Folglich bedeutet ein Wert der gegen 1 geht, dass sich die

Varianz gering bis gar nicht verändert hat.

Zusammenfassend kann man bei dieser Studie feststellen, dass die Verwendung der

Zusatzvariablen in der Gewichtung ihren Zweck, den Bias zu reduzieren erfüllt haben,

während sich die Varianz nur sehr leicht erhöht.

14

4. Berechnung der Response-AnteileDa die Neigung eines jeden Stichprobenelements nicht genau bestimmt werden kann,

d.h. ob die Person zu den Antwortgebern oder den Antwortverschweigern gehört, gibt es

keine allgemein gültige Definition von Response-Anteilen.

Zur Erinnerung: Der Response-Anteil ist eine Schätzung der Quantität tr (erwarteter

Response-Anteil). Wenn wir tr genau schätzen können, so haben wir die bestmögliche

Information um den Bias zu bestimmen.

Die Grafik auf der nächsten Seite wurde von Hidiroglou et al. (1993) angepasst um ein

Model zur Berechnung von Response-Anteilen zu erörtern. Zum Verständnis sind im

folgenden wichtige Definitionen aufgeführt:

- In scope:

Eine Person in scope ist ein Teilnehmer der Zielpopulation und sollte deshalb in der

Stichprobe sein

- Out of scope:

Nicht in der Zielpopulation

Beispiel: Bei einer Studie über Agrarwirtschaft sind die Haushalte ohne Landwirtschaft

out of scope, da sie nicht Teil der Grundgesamtheit sind.

- RDD (Random-Digit-Dialing)-Verfahren:

Bei einem eingetragenen privaten Telefonanschluss werden die letzten Ziffern durch

zufällig generierte Ziffern ersetzt. Dieses Verfahren wird angewandt, damit auch solche

Haushalte in die Stichprobe gelangen können, die nicht im Telefonbuch verzeichnet sind.

Ein Problem bei der Bestimmung der Response-Anteile ergibt sich oft dadurch, dass man

keine Informationen über das untersuchte Merkmal besitzt. Das ist gewöhnlich für das

RDD-Verfahren, da man hier oft keine Antwort und somit keine Information von den

ausgewählten Individuen bekommt. Man weiß beispielsweise nicht ob der

Telefonanschluss zu einer Hotline, einem normalen Haushalt oder einem Unternehmen

gehört, wenn niemand an das Telefon geht. Hat man keine Informationen, so kann man

auch nicht entscheiden ob jemand/etwas in oder out of scope ist.

15

Erklärung:

- Total units (1): Repräsentiert die komplette Stichprobe

- Resolved (2): Es wurde bereits bestimmt ob das Stichprobenelement in oder out

of scope ist

- Unresolved (3): Man kann nicht sagen ob die Einheit in oder out of scope ist (Siehe

Problematik bei RDD-Verfahren)

• Estimated Units in scope (3A)

• Estimated Units out of scope (3B)

Resolved units in scope(4):

- Respondents (6):

• Refusial Conversion (11): Personen die zunächst verweigert haben, dann aber

doch an der Studie teilgenommen haben

• Other Respondents (12): Haben nie verweigert sondern von Beginn an bei der

Studie teilgenommen

- Nonrespondents (7):

• Refusals (13): Personen die weiterhin ihre Teilnahme verweigern

• Noncontacts (14): Es konnte kein Kontakt aufgenommen werden

• Other Nonrespondents (15): Personen die aufgrung von Sprachbarrieren,

Krankheit, etc. nicht teilnehmen konnten bzw. nicht erreichbar waren

16

Resolved units out of scope(5):

- Nonexistent units (8): Einheiten sind zwar immer noch auf dem Frame,

existieren aber bereits nicht mehr

- Temporarily out of scope units (9): Personen die früher in scope waren, jetzt aber

out of scope sind (Bsp.: Ehemalige Landwirte die

mit der Agrarwirtschaft aufgehört haben)

- Permanently out of scope (10): Einheiten out of scope, die keine Perspektive haben,

jemals zur Zielpopulation zu gehören

Der Response-Anteil ist die Anzahl von Respondenten, dividiert durch die Anzahl der

Stichprobenelemente in scope. Dies ist auch der beste Schätzer für tr, bei Stichproben in

denen jedes Element mit gleicher Wahrscheinlichkeit ausgewählt wird. Falls dies nicht

der Fall ist verwendet man gewichtete Schätzer.

Da der Nenner einer beliebigen Messung eines Response-Anteils die Anzahl an

Elementen in scope ist, muss man zur Berechnung der Antworter-Rate den Anteil der

unresolved units schätzen, der wirklich in scope ist.

Falls keine Information vorhanden ist, gibt es eine sehr grobe Lösung dieses Problems:

Bezeichne pres. den Anteil von resolved units in scope und nunres. die Anzahl der

unresolved units.

→ Anteil an resolved units in scope ≈ (pres. x nunres.)

Dies ist aber eine sehr unelegante und äußerst grobe Lösung dieses Problems.

Man stelle sich beispielsweise eine Stichprobe von 3300 Personen vor von welchen 1800

zu den resolved units in scope gehören, sowie 4000 von 8000 unresolved Personen als in

scope geschätzt werden.

→ 4000 ≈ 8000 x (1800 / 3300) = 4360

Ein Hauptgrund warum Standards zur Berechnung des Response-Anteils nicht allgemein

angenommen werden ist die Schwierigkeit den Nenner der Antworter-Rate zu berechnen.

Grund dafür ist die Existenz der unresolved units in der Stichprobe. Daher addiert man

die resolved units in scope mit den geschätzten unresolved units in scope, um auf den

Response-Anteil zu kommen.

17

Für unsere Grafik bedeutet dass:

Response-Anteil = (6) / ( (4) + (3A))

In der Realität gibt es allerdings einige Fehler, die hierbei auftreten. Manchmal werden

die geschätzten units in scope vergessen, oder es wird angenommen, dass alle unresolved

units out of scope sind. Ein Beispiel für Letztgenanntes findet sich oftmals im RDD-

Verfahren wieder. Hier werden beispielsweise Personen angerufen, die im Urlaub sind

oder aus anderen Gründen unkontaktiert beigelegt werden. Diese Menschen müssen nicht

zwangsläufig out of scope sein, allerdings wird das immer wieder angenommen.

Besitzt man keine andere nützliche Information um die Anzahl der unresolved units in

scope zu schätzen, so gibt es eine einfache und weitgehend akzeptierte Annäherung

dafür:

(3A) = (5) / ((2) x (3))

und (3B) = (3) – (3A)

Im folgenden steht eine kurze Zusammenfassung oft ausgerechneter Anteile:

Response-Anteil = (6) / ((4) + (3A))

Kooperations-Anteil = (6) / ((6) + (13))

Verweigerer-Anteil = (13) / (4)

Non-response-Anteil = ((7) + (3A)) / ((4) + (3A))

Noncontact-Anteil = ((14) + (3A)) / ((4) + (3A))

Bisher wurden nur ungewichtete Antworter-Anteile besprochen. Wenn die Stichprobe

allerdings gewählt ist, unter Verwendung verschiedener Wahrscheinlichkeiten der

Auswahl, so sind gewichtete Response-Anteile geeignetere Schätzungen von tr und

dadurch eine bessere Messung des potentiellen Bias-Effekts.

18

Variiert die Auswahlwahrscheinlichkeit für Stichprobenelemente erheblich, so sind

gewichtete und ungewichtete Antworter-Anteile womöglich sehr unterschiedlich.

Beispiel:

Es wird eine Stichprobe gezogen, in der Personen die in den vergangenen Jahren

verhaftet wurden überrepräsentiert sind.

Die Teilgesamtheit sei etwa 3% der Grundgesamtheit. Aber in der Stichprobe sind es 50%

der Stichprobe. Man nehme an, dass der Response-Anteil dieser Gruppe bei 40% und der

für den Rest bei 80% liege.

Die ungewichtete Antworter-Rate ist der Mittelwert dieser beiden und beträgt damit 60%.

Der gewichtete Response-Anteil geht jedoch auf die Grundgesamtheit ein und berechnet

sich wie folgt:

0,03 x 40% + 0,97 x 80% = 78,8%

wobei 0,03 für die 3% der Grundgesamtheit steht (→ 1 – 0,03 = 0,97), 40% dem

Response-Anteil der Häftlinge entspricht und 80% der Antworter-Anteil der Nicht-

Häftlinge ist.

Das ergibt also einen Unterschied von 78,8% - 60% = 18,8%

Der gewichtete Response-Anteil ist in Stichproben mit nicht gleich-wahrscheinlichen

Elementen eine Schätzung von tr, hingegen der ungewichtete nicht.

19

5. Reduzierung des Non-response BiasDer Bias hängt sowohl vom Non-response-Anteil als auch von der Differenz (Yr – Ynr) ab. Da der Anteil der Antwortverschweiger leichter zu reduzieren ist, liegt unser

Hauptaugenmerk darauf.

Oftmals stellt sich die Frage, was denn ein akzeptabler Antworter-Anteil ist. Diese Frage

ist aber kaum zu beantworten, da der Bias schließlich auch von der Differenz der

Mittelwerte der Respondenten und Nonrespondenten, bezüglich des untersuchten

Merkmals abhängt.

→ Es ist nicht sinnvoll über akzeptable/inakzeptable Non-response-Anteile zu sprechen

solange man nichts über (Yr – Ynr) weiß.

➢ Ursachen und Effekt der Non-response:

Es gibt eine Vielzahl an Faktoren die den Non-response-Anteil beeinflussen.

Einige davon werden im folgenden aufgelistet:

In Haushaltsstudien oder Befragungen von Einzelpersonen:

• Fehlende Motivation

• Zeitmangel

• Angst registriert zu werden

• Nichtverfügbarkeit (wg. Krankheit, Urlaub, Arbeit, etc.)

• Sprachbarrieren

Bei Umfragen in Unternehmen:

• Vorgesehene Person zunächst antreffen und anschließend die Erlaubnis bekommen ihre

Daten zu erfassen

• Personalveränderungen

• Geringe Priorität auf Seiten des potentiellen Antwortgebers

• Mangelndes Wissen

20

Des weiteren gibt es innerhalb der Survey-Organisationen Faktoren die den Bias

beeinflussen:

• Auslastung des Interviewers

• Zu kurze Zeitperioden für die Datenerfassung

• Langweilige/Lästige/Komplizierte Fragebögen

Aus Erfahrung weiß man, dass eine Einteilung der Non-response in verschiedene

Kategorien sehr nützlich sein kann, da die Methoden zur Reduzierung von Typ zu Typ

variieren.

Beispielsweise werden Personen die schwer zu kontaktieren sind („Noncontact“) mit

effektiven Rückverfolgungsprozeduren angesprochen, wohingegen man Verweigerern

(„Refusal“) oft überzeugende Argumente entgegenbringt, oder auch die Befragung so

angenehm wie möglich macht, um sie zur Teilnahme zu überreden. Bei anderen Ursachen

der Non-response, wie Krankheit, Urlaub, Sprachbarrieren, etc. („Other“) befragt man oft

Personen, die im Namen des eigentlichen Stichprobenelements antworten.

Es gibt dementsprechend drei verschiedene Kategorien:

◦ Refusal

◦ Noncontact

◦ Other

Diese Kategorisierung macht es einfacher den jeweiligen Fällen geeignete Methoden zur

Reduzierung des Non-response-Anteils zuzuordnen.

21

Betrachten wir im folgenden die beiden Hauptkategorien (Refusal und Noncontact)

näher:

Noncontact:

Als Beispiel nehme man eine telefonische Umfrage. Dabei versucht der Interviewer die

Anzahl der Noncontacs zu reduzieren, indem er mehrmals an verschiedenen Tages-

Zeitpunkten sowie verschiedenen Wochentagen die Person anruft, um Kontakt

herzustellen. Bei einem Feld-Interview läuft diese Prozedur ähnlich ab, nur dass der

Interviewer direkt zur vorgegebenen Adresse fährt, um die Person zu erreichen.

Das heißt man kann den Beitrag der Nocontacts am Non-response-Anteil nur dadurch

verringern, dass man hartnäckig bleibt und die Personen mehrmals versucht zu erreichen,

bis man schließlich aufgeben muss.

Refusal:

Die Verweigerer stellen in Gegensatz zu den Noncontacts ein komplexeres Problem dar.

Es gibt viel Information darüber, warum manche Menschen an einer Studie nicht

teilnehmen wollen. Oft wird diese Information auf einem sogenannten regular Bias

gesammelt. Das bedeutet, dass der Interview diejenigen Personen die verweigert haben

nach dem Grund dafür befragt. Erstaunlicherweise nennen die meisten der Refusals einen

Grund dafür, warum sie verweigern.

Laut einer Umfrage des Research Triangle Instituts, sagten 42,7% der Verweigerer dass

sie nicht interessiert seien. Solche Surveys sind zwar interessant, aber nicht besonders

hilfreich, da man nicht viele Möglichkeiten hat die Personen zu überreden, wenn das

Thema tatsächlich einen Großteil der Bevölkerung nicht interessiert.

Groves (1992) nennt eine Anzahl an Faktoren, welche die möglichen Verweigerungen

beeinflussen:

• Stichprobendesign

• Art der Datenerhebung

• Entscheidung des potentiellen Antwortgebers

• Länge des Interviews

• Thema der Studie

• Design des Fragebogens

22

Groves sagt weiter, dass die Charakteristiken von Respondenten und Interviewern einen

Einfluss haben.

Dazu gehören bei den möglichen Antwortgebern:

• Alter

• Geschlecht

• Einkommen

• Gesundheit

• Wohnort (Stadt – Land)

• Kriminalitätsrate am Wohnort

• Bildung

Bei den Interviewern:

• Alter

• Geschlecht

• Rasse

• Vermeintliches (vom Respondenten wahrgenommenes) Einkommen

• Erfahrung

• Umgang mit abgeneigten Respondenten

• Selbstbewusstsein

• Kürzliche Erfahrung

• Motivation (möglicherweise gering bei schlechter Bezahlung)

Zudem gibt es noch gesellschaftliche Faktoren:

• Gesellschaftliche Verantwortung

• Rechtmäßigkeit der Studie (objektiv)

Im folgenden sind einige Theorien der Studien-Teilnahme aufgeführt, die das

Verweigerer-Problem verdeutlichen und mögliche Lösungen darstellen. Cialdini (1984)

beschrieb dazu 6 psychologische Faktoren, die großen Anteil am Refusal-Anteil besitzen.

23

6 Psychologische Faktoren:

1. Reciprocation:

Cialdini sagt, dass Menschen mehr dazu geneigt sind, an einer Umfrage teilzunehmen,

wenn sie die Beantwortung der Fragen als eine Art Rückzahlung für ein Geschenk/eine

Bezahlung ansehen, oder wenn die Personen denken, die Teilnahme an der Studie bringe

ihnen einen Nutzen. Dies ist die wissenschaftliche Grundlage, warum man Respondenten

teilweise „Fördermittel“ gibt.

Detaillierte Forschungen (Berk et al. 1987) haben gezeigt, dass vorausgezahlte

„Fördermittel“ wesentlich effektiver sind als versprochene. Letztgenannte bewirken oft

sogar das Gegenteil, das heißt, dass es noch mehr Verweigerer gibt, da der potentielle

Antworter die Bezahlung für unangemessen sieht.

Die reciprocation-Theorie sagt wie oben erwähnt auch, dass eine Person eher dazu gewillt

ist Teilzunehmen, wenn sie denkt, die Teilnahme begünstige sie.

2. Consistency:

Hier versucht der Interviewer Übereinstimmungen des Survey-Themas mit den

Einstellungen des Respondenten zu finden. Sagt ein möglicher Antwortgeber von Beginn

an, er habe große Sorgen um die Umwelt, so versucht sich der Interviewer einen Vorteil

aus dieser Zusatzinformation zu schaffen und beschreibt, wenn irgendwie möglich,

warum die Teilnahme an der Studie einen Vorteil für die Umwelt bringt

3. Social validation:

Social validation bedeutet, dass viele Menschen mehr Bereitschaft zeigen an einer Studie

teilzunehmen, wenn sie denken, dass auch sehr viele andere daran teilnehmen. Das

spiegelt sich bei Interviewern die von Tür zu Tür gehen wieder. Sie erklären dem

Antworter, dass einige Personen aus der Nachbarschaft an der Studie teilgenommen

haben, da sie überzeugt von der Wichtigkeit dieser seien. Obwohl der Angesprochene

eventuell noch nichts über die Survey weiß, weckt das sein Interesse daran.

24

4. Authority

Die Einwilligung zur Teilnahme an der Studie ist wahrscheinlicher, wenn die Anfrage von

einer rechtmäßigen Autorität kommt. Nach Biemer & Lymberg (2003) haben ältere

Untersuchungen gezeigt, dass staatlich unterstützte Studien einen geringeren Anteil an

Verweigerern besitzen als Surveys die von Privatorganisationen ausgeführt werden.

Allerdings ist das nicht in allen Ländern so, da nicht jede Regierung einen guten und

seriösen Ruf hat.

5. Scarcity

Häufig scheint es dass jemand eher bereit ist, an einer Umfrage teilzunehmen, wenn er es

als seltene Möglichkeit sieht. Daher sagen einige Interviewern den Respondenten, dass es

der letzte Tage dieser Befragung ist, oder dass nur jeder tausendste kontaktiert wird und

die Antworten jetzt benötigt werde, sonst komme eine Teilnahme nicht mehr in Frage.

6. Liking

Es wird meist eine höhere Bereitschaft zur Teilnahme erreicht, wenn der Interviewer

sympathisch auf den Antworter wirkt, gleiche Werte und Einstellungen hat, dieselbe

Sprache spricht (eventuell Dialekt), und denselben sozialen Hintergrund oder

persönlichen Style hat. Viele Interviewer haben daher gelernt, sich in Gegenden mit

geringen Einkommen lockerer anzuziehen und in Gebieten mit hohem Einkommen

dementsprechend besser zu kleiden.

➢ Diskretion und Datenschutz

Unter Diskretion versteht man das Ausmaß, in welchem bereits gesammelte

Informationen vor dem Zugriff Unbefugter geschützt sind.

Datenschutz bedeutet, dass die Individuen und Unternehmen das Recht besitzen, selbst zu

entscheiden, welche Informationen über sie gesammelt werden dürfen.

Durch die Verwendung von sensiblen Fragen in einer Befragung resultiert häufig eine

Item-Non-response. Hierbei kann es vorkommen, dass der Respondent diese Fragen nicht

beantworten will. Sollte man für die Studie jedoch eine Antwort benötigen, ist es oft

25

hilfreich, anstatt einer genauen Antwort auf ein Intervall auszuweichen. Dabei gilt die

einfache Regel: Je größer das Intervall, desto weniger Personen verweigern ihre Antwort.

Zudem kann sich eine gut gewählte Reihenfolge der Fragen, positiv auf die Item-

Response auswirken.

Wenn alle Fragen gut ausformuliert sind, ist es allgemein empfohlen sensible Fragen erst

am Ende der Befragung zu stellen um Unit-Non-response zu vermeiden, da eine zu

Beginn gestellte sensible Frage möglicherweise Personen dazu veranlasst, den Rest des

Fragebogens nicht mehr zu betrachten und somit nicht auszufüllen.

Ist die Beantwortung der sensiblen Frage sehr wichtig für die Studie, so sollte des

bestmögliche Datenschutz gewährleistet sein, damit den Respondenten versichert ist, dass

ihre Antworten vertraulich behandelt werden.

Es gibt eine Anzahl an Methoden, welche die Vertraulichkeit der Befragungsdaten

garantieren. Fienberg & Willenbourg (1998) haben einige dieser Methoden näher erläutert

wovon fünf Methoden im folgenden aufgeführt sind.

1. Anonymization:

Merkmale die eine Person identifizieren können werden vom Datensatz entfernt

(Sozialversicherungsnummer, Adresse,...)

2. Suppression:

Ein veränderbarer Wert wird für einige oder alle Respondenten gelöscht.

3. Internal Values:

Der wahre Wert wird durch ein Intervall in dem er liegt ersetzt

4. Adding noise:

Ein wahrer Wert X wird durch einen Wert X + a ersetzt, wobei a eine sehr kleine

Zufallszahl ist

5. Encryption:

Daten werden mit einem Verschlüsselungs-Algorithmus kodiert

26

➢ Wahl der Datenerfassungsmethode

Die Wahl der Methode zur Datenerfassung ist wichtig um den Non-response-Anteil zu

reduzieren. Eine allgemein akzeptierte Ordnung der Methoden nach ihren erwarteten

Response-Anteilen ist:

1. face-to-face-Befragung

2. Telefonische Umfragen

3. Mail-Surveys und andere selbst verwaltende Methoden

Wobei die face-to-face Befragung den größten Response-Anteil besitzt.

Viele Studien zeigen allerdings, dass die meisten Respondenten lieber eine Mail-Survey

ausfüllen als interviewt zu werden. Auf der anderen Seite ist es für einen Antwortgeber

allerdings schwerer die Anfrage eines Interviewers abzulehnen, als die Fragen in einer

Mail-Umfrage nicht auszufüllen.

Die Erhebungsmethode wird auch nicht allein vom Antworter-Anteil beeinflusst. Hinzu

kommen Kostenaspekte, Messaspekte, Pünktlichkeit, etc.

Häufig werden mehrere Methoden (mixed-mode) genutzt. Nach Verwendung einer

Hauptmethode die am geeignetsten für die Studie scheint wird eine andere Methode

angewandt. Dieser mixed-mode ist sehr effektiv, da er einen Vorteil aus der Tatsache, dass

die Vorlieben bezüglich der Befragungsmethode unter den potentiellen Antwortgebern

variieren, schafft. Zudem macht es den Antwortern möglicherweise bewusst, dass die

Survey wichtig ist.

Wenn der Kostenaspekt eine wichtige Rolle spielt, so wird bei einem mixed-mode

gewöhnlicherweise mit einer kostengünstigen Methode (z.B. Mail-Survey) begonnen und

anschließend mit einer teuren (z.B. Telefonische Befragung) fortgefahren. Es können aber

auch kostengünstige Methoden mit einem wichtigen Faktor, wie einem geringen

Messfehler übereinstimmen. Man weiß beispielsweise, dass Antworten auf sensible

Fragen möglicherweise in Mail-Surveys genauer beantwortet werden, als bei face-to-

face-Interviews.

27

➢ Belastung der Respondenten

Ein wichtiger Zusammenhang zur Non-response ist die Belastung die ein Antwortgeber

wahrnimmt, wenn er an einer Studie teilnimmt.

Diese Belastung besteht unter anderem aus:

• Länge des Interviews/Fragebogens

• Arbeitsbelastung (Zeit und Aufwand)

• Möglicher Druck der auf dem Respondenten lastet, wenn er Fragen gestellt

bekommt

• Anzahl an Anfragen zur Teilnahme an einer Studie, die der Antwortgeber

innerhalb eines bestimmten Zeitraums erhält

Daher sollte die benötigte Zeit zum Beantworten der Fragen so gering wie möglich sein.

Man sollte sich bei der Entwicklung des Fragebogens für jede Frage folgendes überlegen:

• Ist die Frage notwendig

• Für wen antwortet der Respondent (sich selbst, Unternehmen,..)

• Ist die Frage mit einem vertretbaren Aufwand zu beantworten

• Ist sie überhaupt beantwortbar (Hätte man selbst Probleme mit der Beantwortung)

• Leitet der Fragebogen eindeutig und verständlich von Frage zu Frage

Hat man alles gemacht um die Belastung für einen Antworter so gering wie möglich zu

halten so kann es je nach Erfolg noch notwendig sein sogenannte Fördermittel zu

verwenden um den Response-Anteil zu erhöhen. Oft werden dabei Lotterie-Tickets oder

Kalender verwendet um den Willen zur Teilnahme zu erhöhen. Dies führt wieder zur

reciprocation, die bereits angesprochen wurde.

28

➢ Rückverfolgungen

Sind Personen aus der Stichprobe abgeneigt zu antworten und verweigern zunächst, so

versucht man sie erneut zu kontaktieren und zur Teilnahme zu überreden. Es gibt

verschiedene Formen dieser Rückverfolgung. In Mail-Surveys erhalten Nonrespondenten

mehrere Erinnerungsschreiben, wobei zu beachten ist, dass diese nicht identisch sind.

In telefonischen Umfragen oder auch face-to-face Befragungen mit telefonischer

Rückverfolgung sollte der Interviewer hartnäckig bleiben. Wichtig ist es dabei nicht

immer zur selben Zeit anzurufen.

Kulka & Weeks (1988) haben die besten Kombination an Anrufzeiten entwickelt, wenn

man drei Anrufversuche hat.

Am besten ist:

Wochentag (Abends), Sonntag, Sonntag

Am schlechtesten:

Wochentag (Nachmittag), Wochentag (Nachmittag), Wochentag (Nachmittag)

Eine face-to-face Rückverfolgung hingegen ist aufgrund der damit verbundenen Kosten

äußerst ungewöhnlich, es sei denn der Interviewer führt in der Nachbarschaft des

Nonrespondenten Befragungen durch.

➢ Korrigierung der Non-response

Trotz aller Bemühungen Non-response zu minimieren nehmen normalerweise weniger,

meist sogar erheblich weniger als 100% der Befragten an einer Studie teil.

Es gibt auch nach der Datenerhebung Methoden, um den Effekt der Non-response auf

die Schätzung zu reduzieren.

29

Dabei gibt es zwei Hauptgruppen:

- Weighting (siehe Kapitel 3)

- Imputation (≈ Zurechnung)

Imputation wird vor allem bei Item-Non-response verwendet. Dillman (2002) erläuterte

einige Beispiele der Imputation. Drei davon sind im folgenden dargestellt:

• In hot deck imputation:

Fehlende Werte werden durch die eines anderen Respondenten ersetzt.

Meist wählt man dabei einen Antwortgeber aus, der ähnliche Eigenschaften

besitzt

• Nearest-neighbor imtputation:

Der fehlende Wert wird von dem Respondenten der dem Nonrespondenten am

nächsten ist (Distanz) verwendet

• In direct modeling:

Ein Modell wird entwickelt, dass den fehlenden Wert vorhersagt. Dabei werden

Punkte der Studie verwendet, die eine hohe Korrelation zu der fehlenden

Eigenschaft besitzen. Beispielsweise sagt ein Imputation Modell für das

Einkommen, das fehlende Einkommen für einen Respondenten, unter

Verwendung der Werte von Ausbildung, Alter, Geschlecht, etc. voraus

30

6. Literaturverzeichnis

• Journal of the Royal Statistical Society A (2010) 173, Part2

• Robert M. Groves: Nonresponse rates and nonresponse bias in household surveys

Public Opinion Quarterly, Vol. 70, No. 5, Special Issue 2006

• Paul Biemer, Lars E. Lyberg: Introduction to Survey Quality

Wiley Series in Survey Metodology (2003)

• Roderick T. A. Little: Nonresponse Adjustments for Estimates of Means

International Statistical Review Vol.54, No.2 (1986)

31