Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in...

Philosophische Fakultät – Institut für Kommunikationswissenschaft

Ringvorlesung: Einführung in die Methoden der empirischen

Sozialforschung II

Grundlagen der standardisierten Befragung

PD Dr. Wolfgang Schweiger

2

Was ist eine Befragung?

Befragung =

• Instrument zur

• systematischen Erhebung

• der Aussagen von Individuen

• über Kenntnisse, Erfahrungen, Verhaltensweisen, Einstellungen & Emotionen

• in der Gesamtbevölkerung oder in Teilgruppen

3

Anwendungsgebiete in der Kommunikationswissenschaft (1)

Mediennutzungsforschung

• Welche Medientypen nutzen bestimmte Bevölkerungsgruppen in welchem Umfang?

Medienwirkungsforschung

• Wie beeinflusst die Medienberichterstattung Meinung und Verhalten von Wählern?

• Welche politischen Themen hält die Bevölkerung für wichtig?

• Werbewirkungsforschung

4

Anwendungsgebiete in der Kommunikationswissenschaft (2)

Kommunikatorforschung

• Journalistenbefragungen

• Befragungen von PR-Experten

Berufssoziologie

Sonstiges

• Absolventenbefragungen

5

Ziele / Verwertungszusammenhänge (1)

Deskription (Beschreibung)

• Beantwortung praktischer Forschungsfrageno Publikumsforschungo Konsumverhalteno Markenimages

ökonomische Relevanz

• Beschaffung von Daten zur Bevölkerungsstrukturo Statistik: Volkszählung, Mikrozensus (1% der Bevölkerung) o Demoskopie: politische Einstellungen, Wahlprognosen

politisch-administrative Relevanz

Univariate Befunde – absolute Aussagen erforderlich

6


Überprüfung bzw. Verbesserung von Theorien und Hypothesen

• Agenda-Setting

• Kultivierung

• Mediengewalt & Jugendgewalt

• Uses-and-Gratifications

wissenschaftliche, evtl. politische Relevanz

Multivariate Befunde – relative Aussagen über Zusammenhänge zwischen Variablen erforderlich

7


Instrumentalisierung von Befragungen

• Beeinflussung der Befragten: Befragung als Werbe- bzw. Marketing-Maßnahme

• Sammeln von Adressdaten

Ethisch problematisch

8

Beispiel – Missbrauch

9

Beispiel – Missbrauch (2)

10

Gliederung - Grundparameter einer Befragung

Ausschöpfung & Stichprobe

• Wie viele Personen werden befragt und wie werden sie ggf. ausgewählt?

Standardisierung des Fragenprogramms

• Wie einheitlich und geplant wird befragt?

Untersuchungsdesign

• Wann und wie oft wird befragt?

Frage- und Antworttypen

• Welche Fragen werden verwendet und welche Antworten sind möglich?

Befragungsmodus

• Auf welche Weise wird befragt?

11

Ausschöpfung & Stichprobe

12

Ausschöpfung

Vollerhebung

• Befragung aller Mitglieder einer Grundgesamtheit (GG)

• Vollerhebung selten möglich (z.B. Befragung maltesischer Journalisten)

Repräsentativität!

Stichprobe

• Befragung eines Teil der Grundgesamtheit

• Teilgruppe als verkleinertes Abbild der Grundgesamtheit

Repräsentativität?

13

Stichproben & Repräsentativität

Deskriptive Forschung

• Demoskopie oder kommerzielle Forschungo Absolute Befunde nötig

Stichprobenqualität von zentraler Bedeutung

Hypothesenprüfende Forschung

• Universitäre Grundlagenforschung

• Relative Aussagen ausreichend

Stichprobenqualität weniger wichtig

Je genauer Befunde über Grundgesamtheit sein sollen, desto wichtiger ist die Repräsentativität der Stichprobe.

14

Kriterien der Stichprobengröße

• Forschungsökonomie

• Tolerierter Standardfehler bzw. gewünschtes Konfidenzintervall

• Anzahl bzw. Größe der Teilstichproben / Subgruppen= Tiefe der Analyse

• Irrelevant: Größe der Grundgesamtheit

• Wichtiger: Qualität

Noelle-Neumann: „Gesetz der Großen Zahl“

15

Stichprobenqualität – ein klassisches Beispiel

Zeitschrift Literary Digest

• 10 Mio. Fragebögen versandt

• Rücklauf: 2,3 Mio.

• Falsche Vorhersageo Prognose:

Landon: 55% - Roosevelt: 41%o Ergebnis:

Landon: 37% - Roosevelt: 61%

George Gallup

• 3.000 persönliche Interviews

• Richtige Voraussage

Ursachen bei Literary Digest

• Ausschöpfung gering (25 %) & verzerrt

• Ausgangsstichprobe: eigene Abonnenten und Telefon- & Autobesitzer

Ärmere Bevölkerungsschichten unterrepräsentiert

Squire, P. (1988): Why the 1936 literary digest poll failed. Public Opinion Quarterly, 52, 129-133.

16

Stichproben

einstufig mehrstufig

Systematische VerfahrenZufallsstichproben

einfacheStichprobe

geschichteteStichprobe

Klumpen-stichprobe

Quoten-stichprobe

SystematischeAuswahl

Stichprobenverfahren im Überblick

17

Stichproben



einfacheStichprobe


Klumpen-stichprobe

Quoten-stichprobe



18

Zufallsstichproben

Einfache Stichproben

• Reine Zufallsauswahl: Jedes Element der Grundgesamtheit muss die gleiche und von Null verschiedene Chance haben, in die Stichprobe zu gelangen.

Geschichtete Stichproben

• Vorsortierung nach einem Merkmal (Schicht), um über alle Schichten repräsentative Aussagen machen zu können

• Disproportionalo z.B. Ost- vs. Westdeutschland, Onliner vs. Offliner

Klumpenstichproben

• Auswahl von örtlichen Sample Points (Klumpen), um nicht flächendeckend vorgehen zu müsseno z.B. Bundesländer, Wahlkreise, Nielsengebiete

19

Stichproben



einfacheStichprobe


Klumpen-stichprobe

Quoten-stichprobe



20

Systematische Verfahren – Quotenstichprobe

Festlegen von Quoten bestimmter Merkmale in der Stichprobe entsprechend externen Merkmalen

• Externe Merkmale: Alter, Geschlecht, Bildung, Region

• Quellen externer Merkmale: Volkszählung, Mikrozensus

• Jeder Interviewer hält persönliche Quote ein

• Faustregel: Je mehr Merkmale einbezogen, …o desto repräsentativer die Stichprobe o desto komplizierter die Auswahl der Zielpersono Keine gravierenden Unterschiede zwischen Zufalls- &

Qoutenstichproben (ALLBUS-Studie)

Einfache Durchführung

Starke Verbreitung

21

Quotenstichprobe – unabhängige vs. kombinierte Quoten

ohne Abitur mit Abitur Summe

männlich 40% 10% 50%

weiblich 10% 40% 50%

Summe 50% 50% 100%

ohne Abitur mit Abitur Summe

männlich 25% 25% 50%

weiblich 25% 25% 50%

Summe 50% 50% 100%

Beispiel: Unabhängige Quoten

Beispiel: Kombinierte Quoten

22

Systematische Auswahl

Sinnvoll bei kleinen / schwer erreichbaren Grundgesamtheiten

• Bewusste Auswahl von Personen nach theoretischen und praktischen Erwägungen

Ziele

o Repräsentativität im engen Sinn unmöglicho Exploration: Erste Hinweise auf Mehrheitsverteilungeno Varianz: Vertreter unterschiedlicher Positioneno (vgl. qualitative Forschung)

Beispiele

o Befragung von Medienwächtern (Medienpolitiker & Mitglieder in Rundfunkräten)

o Befragung von China-Korrespondenten

23

Mehrstufige Stichprobenbildung – Beispiel: ADM-Stichproben für Haustürinterviews

• ADM: Arbeitskreis deutscher Markt- und Sozialforschungsinstitute

Dreistufiges Stichprobensystem

• 1. Stufe: Klumpeno ca. 80.000 Wahlbezirke 39.000 Sample-Points

(ADM-Mastersample)

• 2. Stufe: Random Walko Vorgegebene Startadressen und Wegbeschreibungen

• 3. Stufe: Auswahl der Zielperson im Haushalto „Schwedenschlüssel”o „next/last birthday-Verfahren”

24

Stichproben & systematische Ausfälle

Non-Response-Fehler = Diskrepanz zwischen Befragungsergebnis und tatsächlicher Verteilung (in GG) durch systematische Ausfälle

Abdeckungsfehler: Noncontacts

• bestimmte Mitglieder der GG werden durch Stichprobenverfahren nicht abgedeckt, z.B. o nur Telefonbesitzer bei Telefonumfrageno keine Berufstätigen & Gehbehinderten bei Untertags-Befragung in

Fußgängerzone

Nicht-Befragbare (‚unable to answer‘)

• Personen, bei denen Befragung erschwert ist, z.B. Sprachprobleme, Akustikprobleme

Verweigerer/Refusals

• Personen, die Befragungsteilnahme verweigern

25

Antwortraten bei University of Michigan’s Survey of Consumer Attitudes

Curtin, R.; Presser,S.; Singer, E. (2005). Changes in Telephone Survey. Nonresponse over the Past Quarter Century. Public Opinion Quarterly 69, 87-98, S. 91.

Ausfälle bei Telefonbefragungen –Antwortraten

26

Ausfälle bei Telefonbefragungen – Noncontacts


Curtin, R.; Presser, S.; Singer, E. (2005). Changes in Telephone Survey. Nonresponse over the Past Quarter Century. Public Opinion Quarterly 69, 87-98, S. 93.

27

Ausfälle bei Telefonbefragungen – Verweigerer


Curtin, R.; Presser, S.; Singer, E. (2005). Changes in Telephone Survey. Nonresponse over the Past Quarter Century. Public Opinion Quarterly 69, 87-98, S. 91.

28

Ausfälle im Zeitverlauf – Fazit

1979 bis 1996

• Steigende Noncontacts

• Hauptursache: steigende Mobilität

Seit 1996

• Zunehmend Verweigerer

• Hauptursache: steigende ‘Befragungsmüdigkeit’

• Hintergrundo ‘Überfischung’ der Bevölkerung durch Befragungeno Missbrauch von Befragungen als Marketing-Instrument

Curtin, R.; Presser,S.; Singer, E. (2005). Changes in Telephone Survey. Nonresponse over the Past Quarter Century. Public Opinion Quarterly 69, 87-98.

29

Darstellung der Stichproben-Ausschöpfung

Brutto-Stichprobe

Zufällige/qualitätsneutrale Ausfälle

Systematische Ausfälle

• Noncontacts

• Nicht-Befragbare

• Verweigerer

Netto-Stichprobe

30

Rücklaufkontrolle

StichprobeBrutto

Stichprobe-NettogusschöpfunRücklauf/A

31

Standardisierung von Befragungen

32

Standardisierung des Messinstruments

Offenheit

= jeder Befragte wird individuell & situativ unterschiedlich befragt und kann das Interview selbst steuern

optimale Exploration (Entdeckung von Phänomenen)

Standardisierung

= alle Befragten werden mit vorher festgelegtem Messinstrument gleich befragto Frageno Antwortvorgabeno Fragen-Reihenfolgeo Präsentationo Interviewer & Situation

optimale Vergleichbarkeit

Intensiv-Interview

Leitfaden-Interview

StandardisiertesInterview

33

Untersuchungsdesigns

34

Untersuchungsdesigns im Überblick

Einfache Befragung

• Querschnittstudie bzw. One-shot-study

Wiederholte Befragung

• Trendbefragung: wiederholte Befragung mit unterschiedlichen Personen

• Panelbefragung: wiederholte Befragung derselben Personen

Feldexperiment

• Einfache Befragung mit unterschiedlichen Fragebögen (Split-Ballot)o z.B. Methodenexperimente

• Wiederholte Befragung mit unterschiedlichen Fragebögen

35

Trend- vs. Panelbefragung (1)

Durchschnitt Durchschnitt

Trendbefragung

Panelbefragung

1. Welle 2. Welle

36

Trend- & Panelbefragung (2)

Trendbefragung

• Vorteileo Messung von Veränderungen

auf Aggregatniveau (z.B. Parteipräferenz)

o einfach & preiswert

• Nachteileo Gefahr ‚ökologischer

Fehlschluss‘

Panelbefragung

• Vorteile: Messung …o individueller Veränderungeno individueller Ursachen für

Veränderungen (S-O-R)

• Nachteileo aufwändigo Zuordnung erfordert

eingeschränkte Anonymität der Teilnehmer

o Gewöhnungseffekt bei Teilnehmern (‚Reifung‘)

o Panelmortalität

37

Konstruiertes Beispiel ‚ökologischer Fehlschluss‘ (1)

CDU CDU

CDU CDU

SPD SPD

SPD SPD

Trendbefragung1. Welle: 50% CDU, 50% SPD2. Welle: 50% CDU, 50% SPD keine Veränderung

PanelbefragungPerson 1: keine VeränderungPerson 2: keine VeränderungPerson 3: keine VeränderungPerson 4: keine Veränderung keine Veränderung

1. Welle 2. Welle

38

Konstruiertes Beispiel ‚ökologischer Fehlschluss‘ (2)

CDU SPD

CDU CDU

SPD CDU

SPD SPD

Trendbefragung1. Welle: 50% CDU, 50% SPD2. Welle: 50% CDU, 50% SPD keine Veränderung

PanelbefragungPerson 1: VeränderungPerson 2: keine VeränderungPerson 3: VeränderungPerson 4: keine Veränderung 50% Veränderung

1. Welle 2. Welle

39

Beispiel Panelbefragung - TV-Duell

TV-Duell zur Wahl 2002

• Repräsentative deutschlandweite Telefonbefragung

Interviews

• t1: n=1.310 Befragte

• t2: n=550 Befragte

• t3: n=843 Befragte

Donsbach, W. & Jandura, O. (2005). Urteile mit Verfallsdatum. Einflüsse auf die Wahrnehmung des ersten Fernsehduells. In Noelle-Neumann, E., Donsbach, W. & Kepplinger, H. M. (Hrsg.), Wählerstimmungen in der Mediendemokratie. Analysen auf der Basis des Bundestagswahlkampfs 2002 (S. 141-163). Freiburg, München: Alber.

40

TV-Duell: Untersuchungsdesign

TV-Duell (25.08.2002)

41

Frage: "Einmal ganz allgemein gefragt, was glauben Sie, wer das Fernseh-Duell gewonnen hat, wer besser abgeschnitten hat?"

40

36

25

Schröder Stoiber Schwer zu sagen0

10

20

30

40

50Prozent

TV-Duell: direkt danach – kein eindeutiger Sieger

42

Frage: "Einmal ganz allgemein gefragt, was glauben Sie, wer das Fernseh-Duell gewonnen hat, wer besser abgeschnitten hat?"

40

36

25

38

31 31

Schröder Stoiber Schwer zu sagen0

10

20

30

40

50 Kurz nach dem Duell Einige Tage später

Prozent

TV-Duell: einige Tage später – Stoiber verliert

43

TV-Duell: Meinungsänderungen zum wahrgenommenen Duell-Sieger (1)

44

Tabelle 3: Fluktuation in der Wahrnehmung des Siegers

Einige Tage später

Schröder Unentschieden Stoiber

Schröder 70% 24% 6%

Unentschieden 24% 54% 22% Direkt nach dem ersten Duell Stoiber 15% 17% 68%

Lesebeispiel: 70 Prozent derer, die Schröder direkt nach dem TV-Duell als Sieger identifizierten, waren wenige Tage später noch immer dieser Meinung, während 24 Prozent sich nicht mehr sicher waren bzw. 6 Prozent nun Stoiber den Sieg zusprachen.

TV-Duell: Meinungsänderungen zum wahrgenommenen Duell-Sieger (2)

45

Unabhängige Variablen beta

Wahrgenommener Duell-Sieger laut Medien 0,16*

Interpersonale Kommunikation 0,13

Allgemeine Mediennutzung: TV-Nachrichten 0,16*

Allgemeine Mediennutzung: Zeitung 0,00

Kandidatenpräferenz 0,08

Parteipräferenz 0,01

Soziodemographie n.s.

Erklärte Varianz r=28%

*p<0,05

TV-Duell: Ursachen Meinungsänderungen

46

Split-Ballot

Split-Ballot

• Mehrere Fragebogenversionen mit unterschiedlichen Fragen

• Teilen der Stichprobe nach Zufallsprinzip in gleich große Teilstichproben

Vorteile

• Platz- bzw. Zeitsparen (Aufteilung von Fragen auf halbe oder Drittel-Stichproben)

• Rotation von Stimulus-Abfolgen (Vermeidung von Primacy-/Recency-Effekten)

• Feldexperiment o Methodenexperiment zur Fragebogengestaltungo Paper-and-pencil-Experiment

47

Beispiel Split-Ballot

(18a) Stellen Sie sich vor, einige Leute auf der Straße fangen an, über das Thema Waldschlösschenbrücke zu reden. Würden Sie sich gerne an der Unterhaltung beteiligen oder würden Sie das nicht? Ja, würde mich gern einschalten 46% Nein, würde das nicht 47% Weiß nicht/k.A. 7%

(18b) Stellen Sie sich vor, einige ihrer Freunde fangen an, über das Thema Waldschlösschenbrücke zu reden. Würden Sie sich gerne an der Unterhaltung beteiligen oder würden Sie das nicht? Ja, würde mich gern einschalten 73% Nein, würde das nicht 25% Weiß nicht/k.A. 2%

Split A Split B

DNN-Barometer Mai 2006

49

AusschöpfungVollerhebung Zufallsstichprobe

Stichprobe Quotenstichprobe

geschlossene

offene FragenStandardisierung

Intensiv-Interview

Standardisiertes Interview

Zusammenfassung

Leitfaden-Interview

Einmalbefragung

Mehrfach-Befragung Trend

Panel

UntersuchungsdesignSplit-Ballot

Einfache Befragung

Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in...

Documents

Transcript of Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in...