Analyse von Häufigkeiten Log-lineare Modelle Kompaktkurs, Teil I FB Psychologie...

Analyse von Häufigkeiten Log-lineare Modelle

Kompaktkurs, Teil I

FB PsychologieJohannes-Gutenberg-Universität

Mainz25.05 – 28.05.2010

U. Mortensen

Log-lineare Modelle (1)

, , 1

( , )

( , )

/

= beobachtete Häufigkeit der KategorienKombination

wahre Häufigkeit von

i ij j ij i jj i i j

ij i j

ij i j

ij ij

n A B

n A B

n N

Unter Ho ( Unabhängigkeit von Zeilen und Spalten) erwartete

Häufigkeiten: i jij i j

n ne N

N

Log-lineare Modelle (1a)

Warum keine lineare Analyse, -- wie etwa die Varianzanalyse?

ij i j ij ijn e

Additiver Fehler Wie ist ein additiver Fehler bei Häufigkeiten zu denken?

Häufigkeiten hängen nichtlinear von unabhängigen Variablen ab.

log log log logij i ji j

ij i j e Nn n

e NN


Entspricht dem varianzanalyt. Modell ij i j

(Wenn keine Wechselwirkungen existieren!)

Repräsentiert Wechselwirkung zwischen Ai und Bj.


Modell für die wahren Häufigkeiten, mit

Dies definiert das „saturierte Modell“ – für jeden „Haupteffekt“ und jeden Wechselwirkungseffekt existiert ein Parameter.

Das Modell passt trivialerweise zu den Daten, für jede Zelle der Tabelle gibt es einen Parameter.

Beziehung Modell und Wahrscheinlichkeiten:

logA B ABi j ijA B AB

ijij i j ijn n e

1 1 1 1

A B ABi j ij

I J I J

ij

i j i j

n n e

A B ABi j ij

A B ABr s rs

ij

r s

e

e


A B ABi j ij

A B ABr s rs

ij

r s

e

e

Saturiertes Modell:

22

1 1

( ), df = ( 1)( 1)

I Jij ij

i j ij

n eI J

e

Test für die Existenz von Abhängigkeiten:

Spezielle Modelle: bestimmte freie Parameter werden gleich Null gesetzt, insbesondere solche, die Interaktionen repräsentieren.

Die freien Parameter werden dann geschätzt. Die Schätzung hängt aber von der Erhebungsmethode ab. Deshalb zunnächst die gängigen Erhebungsmethoden:


Erhebungsmethoden

1. Das produkt-multinomiale Schema:

Es gibt eine Reihe von unabhängigen Variablen in verschiedenen Ausprägungen. Es wird eine Stichprobe von n Personen oder Objekten gebildet. Bei jeder Person oder jedem Objekt wird geprüft, welche Ausprägung jeder der unabhängigen Variablen vorhanden ist; dann wird die Person/das Objekt der entsprechenden Zelle der Kontingenztabelle zugefügt. Am Ende wird die Anzahl der Fälle pro Zelle ausgezählt.

Beispiel entspricht einer einfaktoriellen ANOVA


1. Das produkt-multinomiale Schema: Fortsetzung

Die Häufigkeitsverteilung in einer Zeile folgt einer Multinomialverteilung:

Unter Ho sind alle Wahrscheinlichkeiten gleich groß:

i jij

n ne

n

Für die erwarteten Häufigkeiten gilt


3. Dasmultinomiale Schema:

• Stichprobe vom Umfang n wird gebildet• Personen werden nach Maßgabe der Kategorien in eine Kategorien – kombination eingezählt.• Randsummen liegen nicht fest, bis auf den Sachverhalt, dass die Gesamt – summe gleich n sein muß.

Verteilung der Häufigkeiten: multinomial:


3. Das Produkt-Multinomial-Schema:

Für jede Kategorie einer Klasse – etwa für jede Zeilenkategorie wird eine Stichprobe vom Umfang ni gezogen, aus einer entprechenden Teilpopulation. (Beispiel: Studierende verschiedener Fachrichtungen)

Jedes Element einer solchen Stichprobe wird genau einer der Spaltenkategorien zugeordnet. (Beispiel: Studierender einer Fachrichtung gibt eine Kategorie zur Beurteilung einer von allen Fachrichtungen besuchten Statistikvorlesung an)

Bedingte Wahrscheinlichkeiten!


3. Das Produkt-Multinomial-Schema:

Beispiel:

Aufteilung der Gesamtstichprobe in eine Placebo- und eine Aspiringruppe,Blindstudie; Beobachtungszeitraum – 5 Jahre


4. Das Poisson-Schema

• Die Erhebung wird während eines bestimmten Zeitraums durchgeführt• Eine Person/ein Objekt wird nach Maßgabe der beobachteten Kategorien in die Tabelle einsortiert. Die Anzahl der Beobachtungen ist nicht a priori fixiert, sondern Poisson- verteilt.

( )!

ij

ij

n

ijij

ij

P n en

Multiplikatives Poisson-Modell


Untersuchungsarten – Beispiel Unfallarten

1. Poisson-Schema: Unfälle über Zeitraum registrieren und kategorisieren2. 200 Unfallberichte der Polizei auswerten – Multinomialschema3. 100 Berichte über Unfälle mit tödlichem + 100 Berichte mit nicht-tödlichem Ausgang auswählen -- Produkt-Multinomial-Schema4. Experimental-Design: Stichprobe von 200 Leuten aussuchen, 100 mit und 100 ohne Gurt fahren lassen, alle müssen Unfall machen (unethisch!)


709 Patienten, die im Laufe eines Jahres in eines von 20 Krankenhäusern Londons wegen Lungenkrebs eingeliefert wurden. Raucher: wer fürdie Dauer eines Jahres mindestens eine Zigarette täglich geraucht hatte.

Analog 709 dazu Patienten, die nicht wegen Lungenkrebs eingeliefert wurden.

Es wird nachträglich festgestellt, ob Patient Raucher oder Nichtraucher war, Deshalb Retrospektives Design, -- Case Congtrol Study

Geliefert werden bedingte Wahrscheinlichkeiten: Raucher oder Nichtraucher, gegeben sie haben Lungenkrebs oder nicht.


Üblicherweise wird aber die Inverse bedingte Wahrscheinlichkeit gefordert:

Wahrscheinlichkeit, Liungenkrebs zu bekommen, gegeben man ist Raucher oder Nichtraucher.

Man könnte Bayes‘ Theorem anwenden, aber Case Control Studies liefern i. A. nicht die notwendigen absoluten Häufigkeiten:

( )( | ) ( | )

( )

P AP A B P B A

P B


Prospektive Studien:

Clinical Trials: Gruppe von Teenagern erheben. Die Hälfte bekommt den-Auftrag, zu Rauchen, die anderen dürfen nicht rauchen, wenn sie 60 sind, wird geprüft, wer Lungenkrebs hat und wer nicht. (unethisch!)

Allgemein: Probanden werden zu Beginn einer Bedingung K oder einer Kontrollbedingung n-K zugeordnet. Nach Ablauf einer Periode wird „Erfolg“ oder „Nichterfolg geprüft“.

Cohort Studies:

Cohort Studies: Teenager entscheiden selbst, ob sie rauchen oder nicht und bilden auf diese Weise „Kohorten“. Nach einer Periode wird der Effekt geprüft.

Cross-sectional Studies:

Stichprobe wird zufällig gebildet und nach (i) Rauchverhalten, (ii) LungenkrebsOder ken Lungenkrebs klassifiziert.

Alle diese Studien sind Beobachtungsstudien: es existiert die Möglichkeit systematischer Fehler (Bias), im Unterschied zu Experimentalstudien.


Schätzung der Parameter in Abhängigkeit vom Erhebungsschema:

0Unter gilt stets /ij i jH n n n n

Beim Poisson-Schema ist / äquivalent zu

log ohne weitere Nebenbedingungen

ij i j

A Bij i j

n n n n

n

,

Beim Multinomial-Schema ist / äquivalent zu

log und der Nebenbedingung A Bi j

ij i j

A Bij i j

i j

n n n n

n n e

,

Beim Produkt-Multinomial-Schema ist / äquivalent zu

log und der Nebenbedingung A Bi j

ij i j

A Bij i j i

i j

n n n n

n n e


Allgemein: Wettchance (odds) ; Logits log log1 1

p p

p p

1 1

2 2

( | )Für Kontingenztabelle: log log

( | )i i

i i

P B A n

P B A n

Unabhängigkeitshypothese:

d.h. die Logits sind für alle i identisch!

11 22

12 21

Das Kreuzproduktverhältnis:

11 22 12 21 11

0 11

log 4

Unter : log 0 0.

AB AB AB AB AB

ABH


Verhängen von Todesurteilen in den USA: werden Schwarze häufiger verurteilt als Weiße?

Chi-Quadrat nicht signifikant!

Aber: es kommt noch eine dritte Dimension hinzu: Täter – Opfer-Relation_

Weißer

Schwarzer

Weißen

Schwarzen


3-dimensionale Tabellen

Partialtabellen: Entstehen durch einen „Schnitt“ durch die 3-d-Tabelle

Marginaltabellen: Aggregation über eine Dimension.

Abhängigkeiten: marginale Assoziationen

Abbhängigkeiten in einer Marginaltabelle können sich stark von denen einer Partialtabelle unterscheiden!

Saturiertes Modell_


Modelle: Das saturierte Modell kann in jedem Fall angepasst werden, es ist nur eine Paraphrasierung der Daten.

Was sind die interessanten Modelle?


Erste Einschränkung des saturierten Modells:

( 0)ABC

In Bezug auf das Beispiel bedeutet dies, dass es keine Wechselwirkung zwischen (i) der Farbe des Opfers,(ii) der Farbe des Täters und(iii) der Verhängung der Todesstrafe gibt!

Aber es sind noch Wechselwirkungen zwischen (i) Farbe des Opfers und Farbe des Täters(ii) Farbe des Täters und Verhängung der Todesstrafe(iii) Farba des Opfers uind Verhängung der Todesstrafe möglich!


Natürlich ist auch 0 möglich, und mindestens eine der

Zweierinteraktionen ist gleich Null.

ABC

Das Modell der bedingten Unabhängigkeit:


A und B seien bedingt unabhängig von C; dann gilt das Modell

Beispiel: A Farbe Täter, B Farbe Opfer, C Todesstrafe ja/nein

Chi-Quadrat = 8.047P = .0046

Chi-Quadrat = 107.7p = .000

Täter X Opfer nicht bedingt unabhängig, Signifikanzen trotz der Nichtsignifikanz der aggregierten Tabelle!


Unabhängigkeit von einer Variablen

Zum Beispiel: 0ABC AB

Der Faktor B ist gemeinsam unabhängig (jointly independent)

von den Faktoren A und C, wenn .ijk i k j

B A C

Die Werte von AC sind gewissermaßen Werte einer neuen Variablen, die von der Variablen B unabhängig ist

log A B C ACijk i j k ikn

Das log-lineare Modell ist: (AC/B)Es fehlen die Interaktionen AB, BC und ABC

Im Beispiel: „Todesstrafen“: B = „Opfer“ ist unabhängig von (i) Verhängung der Todesstrafe (BC) und (ii) der Farbe des Täters/der Täterin, d.h. es gibt auch keine Beziehung zwischen der Farbe des Täters und der des Opfers (AB)


Das Modell vollständiger Unabhängigkeit A/B/C

Die Faktoren A, B und C heißen wechselseitig unabhängig, wenn

, und dementsprechend

log log log log ,

entsprechend dem log-linearen Modell

log

ijk i j k

ijk i j k

A B Cijk i j kn

Keinerlei Interaktionen!


Hierarchische Modelle

Man läßt erst die Interaktion 2-ter Ordnung (ABC) weg, dann Interaktionen 1-ter Ordnung (AB, oder AC, oder BC, oder AB und AC, etc

Typen von Unabhängigkeit:


Hautfarbe und Todesstrafe

(A, B, C) = es existiert keinerlei Abhängigkeit zwischen Hautfarbe des Opfers, des Täters, und der Verhängung der Todesstrafe. Klar signifikant - Das Modell wird verworfen

(A, BC) Todesstrafe unabhängig von der Farbe des Opfers und des Täters, aber zwischen B und C kann Abhängigkeit bestehen. Signifikante Abweichung Modell u. Daten.

(AB, C) Todesstrafe hängt von Farbe des Opfers ab, nicht von der des Täters. Signifikant, Modellwird verworfen.

(AC, B) Todesstrafe hängt von Farbe des Täters, nicht des Opfers ab. Signifikant, Modell wird verworfen-

(AB, AC) TS hängt einerseits vom Farbe des Täters, andererseits von der des Opfes ab: wenn ein Schwarzer tötet, ist ers verwerflich, wenn ein Weißer getötet wird,auch. Signifikant!

(AB, BC) TS hängt von Farbe des Opfers ab, und es existiert Beziehung Farbe Täter u Opfer,akzeptabel!

(AB, AC, BC) Es gibt paarweise Abhängigkeiten,Noch akzeptabler, -- aber ist es das beste Modell(Sparsamkeit!)?


(AB, BC) kann als das beste Modell betrachtet werden: es hat einen Parameter weniger als das Modell paarweiser Unabhängigkeit und der p-Wert ist nur unwesentlich kleiner.

Zusammenfassung: Es gibt einen Zusammenhang (i) zwischen der Farbe des Opfers, -- es ist schlimm, wenn ein Weißer getötet wird

(ii) zwischen der Farbe des Täters und des Opfers – Weiße töten eher Weiße, und Schwarze eher Schwarze.


Das Problem der Aggregierbarkeit – Simpsons Paradox

Gegeben sei eine (I x J x K)-Tabelle. Summation über eine der Variablen liefert eine Marginaltabelle. Betrachtet man eine einzelne Scheibe des Würfels((I x J), (I x K), (J x K)), so betrachtet man eine Partialtabelle.

Partialtabellen enthalten bedingte Häufigkeiten: es sind Häufigkeiten unter der Bedingung der Stufe des Faktors, aus dem die Partialtabelle gebildet wurde.

Problem der Marginaltabellen: sie können Zusammenhang oder Nicht-Zusammenhang suggerieren, der keinem Zusammenhang in den Partialtabellen entspricht.


Aggregation über

Opfer Täter

Chi-Quadrat = .222,p = .638

Chi-Quadrat = 5.615,p = .0178

Aggregation über Todesstrafe:

Chi-Quadrat = 115.01P = .000


Simpson‘s Paradox:

Zeigen Marginal- und Partialtabellen verschiedene Richtungen der Abhängigkeiten an, so hat man Simpson‘s Paradox.

Aggregiert man über einen Faktor C, so kann sich zwischen A und B ein Zusammenhang zeigen, der nicht an sich existiert.

Chi-Quadrat = 8.00P = .0047

Chi-Quadrat = 9.404P = .0022

Chi-Quadrat = 20.20P= .000


Unter welchen Bedingungen kann aggregiert werden?


Log-lineare Modelle und logistische Regression

Log-lineare Modelle: es werden die Assoziationen zwischen den Stufen der Kategorien A, B, C, … untersucht; keine dieser Kategorien ist „unabhängig“, keine ist „abhängig“

Logistische Regression (allgemein: Kategoriale Regression): dieStufen einer Kategorie werden als abhängige Variable (response variable), und der anderen Kategorien als unabhängige Variable (explanatory variables) aufgefasst.

1 2( , , , )ijk rn x x x Unabhängige Variablen

Geeignet gewählte Funktion


Logistische Regression

1( | , , ),

0 Indikatorvariable

1

ijij n

np P Y x x

n

Y

Y zeigt an, ob ein zufälliges Ereignis eingetreten ist oder nicht.

1Y S

Herzinfarkt (Y = 1) genau dann, wenn die Verkalkung der Herzkranzgefäße größer alsS ist.

( )

1 1( )

11

s AS BP S

ee

ist Funktion der unabhängigen

Variablen, also Reparametrisierung:

B

( )

1( )

1 i j ij ijP S pe

log1

1j iji

iji j ij

ij

ij

ij

p

p

pe e e e

p


log1

1j iji

iji j ij

ij

ij

ij

p

p

pe e e e

p

Logit:

Odds, (Wett-)Cance

Man kann nun etwa die Variable „Todesstrafe“ (0 = „nein“, 1 = „Ja“) als abhängige Variable auf der Basis der Hautfarbe von Täter und Opfer„vorhersagen“.


Messwiederholungen (repeated measurements).

Bisher: alle Beobachtungen wurden stochastisch unabhängig voneinander gewonnen.

Was geschieht, wenn die Häufigkeiten von den gleichen Personen etwa in einem vorher-nachher-Design erhoben werden?


Zusammenfassung der Daten:

Man unterscheidet zwischen• Marginalen, und• Konditionalen Modellen


1. Marginale Modelle

Für gegebene Person seien die Antworten durch (Y1, Y2) kodiert:

1, "ja", positive Antwort, etc

0, ''nein'', nicht geantwortet, Merkmal nicht vorhandentY

2 1

1 1 2

2 1

( 1) ( 1)

0, link ( 1) , mit ( 1) , ( 1)

1,

( 1)link Logit( ( )) (Logit-Transformation)

1 ( 1)

t t t

tt t

t

P Y P Y

P Y x x P Y P Y

P YP Y x

P Y

Mittelung über die Population/Stichprobe (population average)


Maximum-Likelihood-Schätzung (ML-Schätzung)

1 2

2 12

p p

p p

Die Schätzung hängt von den Randsummen ab: deshalb Marginalmodell

Konditionale Modelle

link( ( 1))it i tP Y x

ß beschreibt eine bedingte Assoziation in einer durch eine Person definierte Schicht einer 3-dimensionalen Tabelle; der Effekt ist subjekt-spezifisch, es wird nicht über die Stichprobe gemittelt.

Für das Identitäts-link sind die Effekte für alle Personen identisch:

2 1( 1) ( 1) für alle i iP Y P Y i


Bei Mittelung über alle Personen folgt

Ist link = Logit, so hat man

( 1) .1

i t

i t

x

it x

eP Y

e

Mittelung über die i ergibt kein Modell der Form

( 1) .1

t

t

x

x

eP Y

e

Anmerkung: das Modell entspricht demRasch-Modell! Für die i-te Person hat man

1 2( 1) , ( 1) .1 1

i i

i ii i

e eP Y P Y

e e


Für die Odds erhält man

1 2

1 2

( 1) ( 1),

1 ( 1) 1 ( 1)i ii i

i i

P Y P Ye e e

P Y P Y

Dh die Odds unterscheiden sich nur um den Faktor exp(ß)!

Analyse von Häufigkeiten Log-lineare Modelle Kompaktkurs, Teil I FB Psychologie...

Documents

Transcript of Analyse von Häufigkeiten Log-lineare Modelle Kompaktkurs, Teil I FB Psychologie...