Messung, Skalen und Indizes

Julia MichlGerald PosautzMichael Schuster

11. März 2005 [2]Methoden der quantitativen Sozialforschung

Agenda

» Einleitung» Skalen, Indizes und Operationalisierung» Objektivität, Reliabilität, Validität

» Testtheorie» Grundlagen» Polaritätsprofil» Guttmann-Skalierung

» Meßtheorie» Skalenniveaus, Skalenhierarchie

11. März 2005 [3]Methoden der quantitativen Sozialforschung

Agenda

» Einleitung» Skalen, Indizes und Operationalisierung» Objektivität, Reliabilität, Validität

» Testtheorie» Grundlagen» Polaritätsprofil» Guttmann-Skalierung

» Meßtheorie» Skalenniveaus, Skalenhierarchie

11. März 2005 [4]Methoden der quantitativen Sozialforschung

Wir beobachten um zu erkennen

Welt

Zusammenhänge,Aussagen

ForscherIn

11. März 2005 [5]Methoden der quantitativen Sozialforschung

Nicht alles lässt sich direkt beobachten

Theoretische Konstrukte

Zufriedenheit, Einstellung, Zustände

Skalen und Indizes

Zusammenhänge,Aussagen

ForscherIn

11. März 2005 [6]Methoden der quantitativen Sozialforschung

Beispiele für indirekte Messung

IntelligenztestMessung anhand von einzelnen Indikatoren wie Problemlösung,

Kreativität, räumliches Denken, etc.

TornadostärkeMessung der Stärke

eines Tornados anhand des Zustandes

eines Huhns

Vgl. Franke (2000)

11. März 2005 [7]Methoden der quantitativen Sozialforschung

Trennschärfemessung mittels Korrelation

12 3 4 5

Operationalisierung mittels Likert

Skala*

* Approximiert Normalerverteilung

Fragebogenmit 15 Items

Ergebnisse für jedes Item und n

Personen

A 1 3 2 1 2 2 2

B 4 5 4 3 1 5 4

C 2 3 2 1 4 3 1

…

Itemsummefür jedes Item

Berechnung der Korrelation zwischen einzelnen Ergebnissen und der Itemsumme

Trennschärfekorrelation zeigt Qualität der

Items

11. März 2005 [8]Methoden der quantitativen Sozialforschung

Objektivität

Qualitätskriterien

Validität

Reliabilität

In Durchführung und Auswertung

Methoden: Paralleltest, Test-Retestund Testhalbierung

Inhalts-, Kriteriums-und Konstruktvalidität

11. März 2005 [9]Methoden der quantitativen Sozialforschung

Beispiel für die Anwendung der Qualitätskritierien

Tachometer zeigt objektiv das selbe

Ergebnis

Verlässlich wenn er nur dann das Ergebnis ändert, wenn die Geschwindigkeit verändert wird

Gültig wenn die tatsächliche

Geschwindigkeit angezeigt wird

11. März 2005 [10]Methoden der quantitativen Sozialforschung

Agenda

» Einleitung» Skalen, Indizes und Operationalisierung» Objektivität, Reliabilität, Validität

» Testtheorie» Grundlagen» Polaritätsprofil» Guttmann-Skalierung

» Meßtheorie» Skalenniveaus, Skalenhierarchie

11. März 2005 [11]Methoden der quantitativen Sozialforschung

Testtheorie – Grundaussage

» Einzelne Messungen weichen vom realen Wert um einen Messfehler ab (Annahme 1) – Intelligenztest - Müdigkeit

» Bei Zutreffen gewisser Annahmen (1-5) entspricht bei ausreichend vielen Messungen der Mittelwert der Messwerte (X) dem realen Wert (T oder true score).

11. März 2005 [12]Methoden der quantitativen Sozialforschung

Annahme 2

» der Mittelwert der Messfehler ergibt 0, ist also manchmal positiv, manchmal negativ

» Beispiel: Aufwachen in der Früh – ohne Wecker (manchmal früher, manchmal später)

» Gegenbeispiel: Erhebung durchschnittlicher Preise für Mittagessen durch Befragung über die Ausgaben – Trinkgeld ist immer eine positive Abweichung

» Reliabilität: je größer die Schwankungsbreite des Messfehlers, desto geringer die Reliabilität des Messinstruments.

» IT: richtiges Raten, Müdigkeit

11. März 2005 [13]Methoden der quantitativen Sozialforschung

Annahme 2: Messfehler gleichen sich aus

00,5

11,5

22,5

33,5

44,5

5

1 2 3 4 5 6 7 8 9 10

MessungWert

Messwerte weichen von tatsächlichen

Werten ab> Messfehler

Der Mittelwert der Messfehler ergibt 0,

je größer die Schwankungsbreite desto geringer die

Reliabilität

Intelligenztest

Richtiges Raten, Müdigkeit

11. März 2005 [14]Methoden der quantitativen Sozialforschung

Annahme 3

» Der wahre Wert und der Messfehler sind nicht korreliert

» Beispiel: Sandwaage misst immer um bis zu 1 kg falsch – keine Korrelation (bei 10 kg – 9-11, bei 100 kg – 99-101 kg)

» Gegenbeispiel: Sandwaage misst jeweils um bis zu 10% des Sollgewichts falsch – Korrelation (bei 10 kg – 9-11, bei 100 kg – 90-110).

» IT: Fehlereinflüsse sind bei Personen mit hoher und niedriger Intelligenz in gleicher Weise wirksam

11. März 2005 [15]Methoden der quantitativen Sozialforschung

Annahme 3: Wert und Messfehler korrelieren nicht

Beispiel:Waage misst immer 1 kg

falsch,bei 10 kg liegt der

Messwert zwischen 9 – 11 kg,

bei 100 kg zwischen 99 – 101 kg

> Keine Korrelation

Gegenbeispiel:Messfehler der Waage

beträgt 10 % des tatsächlichen Gewichtes

> Starke Korrelation

IntelligenztestFehlereinflüsse bei

Personen mit niedriger oder hoher Intelligenz

gleich wirksam

11. März 2005 [16]Methoden der quantitativen Sozialforschung

Annahme 4

» Es besteht keine Abhängigkeit zwischen zwei Messungen – das Messinstrument darf kein Gedächtnis haben.

» Beispiel: Besucherzahlen bei IKEA an zwei Tagen

» Gegenbeispiel: LV-Evaluationen bei denen» IT: Personen die einmal sehr müde sind,

sollten beim nächsten Test keine analogen Müdigkeitserscheinungen aufweisen

11. März 2005 [17]Methoden der quantitativen Sozialforschung

Annahme 4: Kein Zusammenhang zwischen zwei Messungen

Beispiel:Besucherzahlen von Ikea an zwei verschiedenen

Tagen> Keine Korrelation

Gegenbeispiel:LV Evaluierung

> Starke Korrelation

IntelligenztestÄußere Einflüsse sollten an zwei

verschiedenen Tagen unterschiedlich sein

(zB Müdigkeit)

11. März 2005 [18]Methoden der quantitativen Sozialforschung

Annahme 5

» Messfehler der ersten Messung darf nicht systematisch mit dem „true score“ der zweiten Messung verknüpft sein

» IT: Messfehler eines IT sollten nicht mit Testangst oder Konzentrationsfähigkeit korrelieren???

11. März 2005 [19]Methoden der quantitativen Sozialforschung

Annahme 5: Messfehler der ersten Messung darf keinen systematischen Zusammenhang

mit zweiter Messung haben

Gegenbeispiel:LV Evaluierung

> Starke Korrelation

IntelligenztestÄußere Einflüsse sollten an zwei

verschiedenen Tagen unterschiedlich sein

(zB Müdigkeit)

11. März 2005 [20]Methoden der quantitativen Sozialforschung

Polaritätsprofil

» Methode zur Beschreibung von Objekten anhand von Charakteristika – Beispiel Studium FH (*) – Uni (<>)

-3 -2 -1 0 1 2 3

Org. Unterstützung * <>

Selbstorganisation

Berufsausbildung * <>

Berufsvorbildung

Persönliches Verhältnis * <>

Anonymität

Viele Wahlmöglichkeiten innerhalb des Studiums

<>

* Wenig Wahlmöglichkeiten

Fördert Selbständigkeit <>

* Erlaubt Unselbständigkeit

11. März 2005 [21]Methoden der quantitativen Sozialforschung

Guttman-Skalierung

» Items können nach dem Grad ihrer wahrscheinlichen Zustimmung geordnet werden (Schwierigkeitsgrad)

» Es ergibt sich ein idealtypisches Antwortmuster (Hypothese oder getestet)

» Möglichkeit, „kulturelle“ Unterschiede zu erkennen, wenn die Antwortmuster stark abweichen

11. März 2005 [22]Methoden der quantitativen Sozialforschung

Guttman-Skalierung Beispiel

Items Typ ITyp

IITyp

IIITyp

IVTyp

V

ich werde das Studium fortsetzen 0 1 1 1 1

ich würde mich wieder für das Studium entscheiden 0 0 1 1 1

ich empfehle das Studium Freunden weiter 0 0 0 1 1

ich werde nach dem Abschluss ein weiteres Studium an dieser Institution beginnen 0 0 0 0 1

11. März 2005 [23]Methoden der quantitativen Sozialforschung

Guttman-Skalierung Güte der Übereinstimmung

» Die erwartete Antwortmatrix wird der beobachteten gegenübergestellt

» coefficient of reproducability (CR): hoher CR – brauchbare Guttman-Skala

CR = 1 – FehlerzahlAnzahl Items * Anzahl

Befragte

11. März 2005 [24]Methoden der quantitativen Sozialforschung

Agenda

» Einleitung» Skalen, Indizes und Operationalisierung» Objektivität, Reliabilität, Validität

» Testtheorie» Grundlagen» Polaritätsprofil» Guttmann-Skalierung

» Meßtheorie» Skalenniveaus, Skalenhierarchie

11. März 2005 [25]Methoden der quantitativen Sozialforschung

Messtheorie

» „Zuordnung von Zahlen zu Objekten nach bestimmten Regeln“ (Stevens, 1951)

» Strukturkonforme Abbildung der Objekte auf eine Menge von Zahlen

» Skalenniveau (Messniveau) als wichtiger Bestandteil

11. März 2005 [26]Methoden der quantitativen Sozialforschung

Skalenniveaus

» Nominalskala (unterste Hierarchieebene)

» Ordinalskala (Rangskala)» Intervallskala

» Ratioskala (Verhältnisskala)» Absolutskala

11. März 2005 [27]Methoden der quantitativen Sozialforschung

Skalenniveaus bestimmen

» zulässigen Transformationen der Skalenwerte

» Zulässigkeit von Aussagen

» Rechenoperationen (statistische Kennzahlen)

11. März 2005 [28]Methoden der quantitativen Sozialforschung

Nominalskala

» Gleichheit oder Verschiedenheit»

» Kodierung der Äquivalenzklasse: Mann: 0 Frau: 1

» Modalwert (Modus)Klasse mit höchster Besetzungszahl

Mann oder Frau

11. März 2005 [29]Methoden der quantitativen Sozialforschung

Ordinalskala (Rangskala)

» Rangordnung nach einer Eigenschaft» Lieblingsurlaubsziele

» Rangfolgebewahrende Transformationen erlaubt

» Abstände zwischen Skalenwerten nicht interpretierbar

» Median (trennt oberen 50% von den unteren 50%)

11. März 2005 [30]Methoden der quantitativen Sozialforschung

Intervallskala

» Rangordnung und Abstände zwischen Messwerten

» Willkürlicher Nullpunkt

» Berechnung von %-Zuwächsen unzulässig» Positive lineare Transformation erlaubt

» Arithmetischer Mittelwert

11. März 2005 [31]Methoden der quantitativen Sozialforschung

Ratioskala (Verhältnisskala)

» Natürlicher Nullpunkt (0 € Einkommen)» Skaleneinheit frei wählbar» Prozentuale Vergleiche/Aussagen über

Verhältnisse

» Positiv proportionale Transformation zulässig

» Geometrischer Mittelwert

11. März 2005 [32]Methoden der quantitativen Sozialforschung

Absolutskala

» Skaleneinheit ist vorgegeben» Häufigkeiten/Wahrscheinlichkeiten

» Prozentuale Vergleiche/Aussagen über Verhältnisse

» Nur identitätswahrende Transformationen zulässig

» Geometrischer Mittelwert

11. März 2005 [33]Methoden der quantitativen Sozialforschung

Skalenhierarchie

» Mit steigendem Skalenniveau» sinken die zulässigen Transformationen» steigt die Bedeutsamkeit» steigt der Umfang erlaubter

Rechenoperationen/ Aussagen» können auch Kennzahlen eines

niedrigeren Niveaus berechnet werden

11. März 2005 [34]Methoden der quantitativen Sozialforschung

Auswahl des Messverfahrens

» Mehrdimensional statt eindimensional

» Möglichst hohes Skalenniveau

» Ausgewähltes Skalenniveau bestimmt statistischen Auswertungsverfahren

Danke!