BAYESianische Statistik für EinsteigerMCMC

Verteilungen a priori Dr. rer. pol. R. VONTHEIN, Dipl. Statistiker (Univ.)

Institut für Medizinische Biometrie und Statistik,Universitätsklinikum Schleswig-Holstein, Campus Lübeck,

Universität zu Lübeck

Dr. sc. hum. J. KÖNIG, Dipl. Mathematiker

Inst. für Med. Biometrie, Epidemiologie und Informatik,Universitätsmedizin Mainz

154. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

Inhalt

MCMC

1. GIBBS Sampler und METROPOLIS-HASTINGS-Schritte

2. Reparametrisierung und „Blockbildung“

3. Konvergenzdiagnose

Verteilungen a priori

1. Konjugierte Verteilungen

2. Uneigentliche Verteilungen

3. Elizitieren

2

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

54. GMDS, Essen 09.09.2009

MCMC

Idee: Aus Vorschlagsverteilungen werden

Werte für die Parameter generiert („Monte-Carlo-Methode“).

Die Vorschlagsverteilungen werden aufdatiert, so dass

die Parameterwerte eine azyklische MARKOV-Kette bilden

und die Verteilung der generierten Werte gegen

die Verteilung a posteriori konvergiert.

Die Startverteilung ist die a-priori-Verteilung.

1. GIBBS Sampler und METROPOLIS-HASTINGS-Schritte

2. Reparametrisierung und „Blockbildung“

3. Konvergenzdiagnose

354. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

GIBBS Sampler

Algorithmus

1. Vollständig bedingte Verteilungen für die ParameterQ(j x,1, .. ,j1, j+1, .. ,J)

2. Iterieren bis zur Konvergenz

1. generiere einen m-ten Wert j(m) aus

Q(j(m)

x,1(m), .. ,j1

(m), j+1(m1), .. ,J

(m1))

2. datiere die nächste vollständig bedingte Verteilung auf

3. Simulieren aus der Verteilung a posteriori

4. Parameter schätzen aus der generierten Stichprobe

454. GMDS, Essen 09.09.2009

Geman S, Geman, D. Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images. IEEE-PARMI 1984;6:721-741 Gelfand AE, Smith, AFN. Sampling-based approaches to calculating marginal densities. JASA 1990;85:398-409

xLdxf

xfxXq ;

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

METROPOLIS-HASTINGS-Schritte

1. generiere Wert j(m) aus einfacher Vorschlagsdichte g,

welche aber auch aufdatiert wird

2. akzeptiere mit Wahrscheinlichkeit 3. sonst bleibe bei j

(m)j(m1)

4. hängt davon ab, ob die vollständig bedingte Dichte ansteigt

554. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

Metropolis N, Rosenbluth A, Rosenbluth M, Teller A, Teller E. Equation of state calculation by fast computing machines. J Chem Physics 1953;21:1087-92Hastings WK. Monte Carlo sampling methods using Markov chains and their applications. Biometrika 1970;57:97-109

)1()()1(

)()1()(

||

||,1min

mmm

mmm

gx

gx

Reparametrisierung

Korrelierte Parameter führen zu

Autokorrelation der Iterationen, langsamer Konvergenz,

geringem effektivem Stichprobenumfang

654. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

„Blockbildung“

und werden aus einer gemeinsamen multivariaten

Verteilung gleichzeitig generiert

754. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

Konvergenzdiagnose

Autokorrelationsfunktion fällt exponentiell

Korrelation zwischen Parametern ist gering

rapid mixing der MARKOV-Ketten im Graph, per ANOVA

Einschwingen (burn in) des Polygonzugs ist beendet

854. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

Verteilungen a priori

Idee: Vorinformation formulieren

1. Konjugierte Verteilungen(s. Einleitung)

2. Uneigentliche Verteilungen als nicht-informative Verteilungen

3. Elizitieren Quantile, Momente, mit Elicitor

954. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

Konjugierte Verteilungen

1. Konjugierte Verteilungen (s. Einleitung)

2. z.B. Exponentialfamilien; s. neuesten TAS

3. Information in Anzahl Beobachtungen messbar, z.B. im Beta-Binomial-Modell die Summe der Parameter der Beta-Verteilung

4. Sichern Existenz der Parameter der a-posteriori-Verteilung

1054. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

Uneigentliche Verteilungen

als nicht-informative Verteilungen:

minimiere FISHER-Information (maximiere Varianz),

SHANNON-Information (maximiere Entropie)

a popsteriori

Konstante Dichte bedeutet Unfug: f(0) = f(10100)

Translations- und Skalen-Invarianz für verschiedene Parameter

erfordern verschiedene a-priori-Verteilungen

uneigentliche a-posteriori-Verteilung leichter möglich

1154. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

Elizitieren

„Herauslocken“ und formulieren der Vorinformation

Lange Diskussion der Literatur!

Diskontiere historische Kontrollen!

Wahl der Verteilung nach Träger und Konjugiertheit

Hyperparameter bestimmen

über Quantile („unwahrscheinlich“, „gleichwahrscheinlich“)

über Momente (Erwartung, Median)

mit Programm Elicitor (WinBUGS für logistische Regression)

1254. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

Beispiel: historische Kontrolle

1354. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –

Fauchére J-C, Dame C, Vonthein R, Koller B, Arri S, Wolf M, Bucher HU. An approach to using recombinant erythropoietin for neuroprotection in very preterm infants. Pediatrics 2008:122:375-82

Beispiel: historische Kontrolle

1454. GMDS, Essen 09.09.2009

…

– – MCMC 1 – 2 – 3 Prior 1 2 3 – –