Ermittlung der a-priori-Verteilung in klinischen Studien

Dirk HasencleverIMISE, Leipzig

Bayes-Workshop: MCMC Methoden in Theorie und Praxis

Leipzig, 06.12.2002

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 2

MCMC: Interessenten-Gruppen

• Mathematik der MCMC-Methoden• Interesse komplexe Modellen zu rechnen

(Bayes-Formulierung wird z.T. in Kauf genommen)

• Bayessche Methoden zu Planungszwecken• Likelihoodratios und ihre Bayesianische

Interpretation als grundlegendes Paradigma zur Bewertung statistischer Evidenz.

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 3

Studienprior wozu?

• Good Conceptual Practice in der Studienplanung– Präzisierung der Fragestellung /

Evidenzsynthese– Erwartbarer Unterschied / Fallzahlkalkulation– Ethische Vertretbarkeit der Studie

• Studien-Monitoring und Unterstützung von Abbruchentscheidungen

• Bayesianische Interpretation der Ergebnisse

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 4

Typen von Studienprior

• Argumentationslogische Prior– Randomisierte Studie als wissenschaftliches

Argument• Studiengruppen-Prior

– Interne Überzeugungskraft der Studie• Evidenzsynthese-Prior

– Versuch der Zusammenfassung vorliegender Evidenz in einem Prior (Planungsgrundlage)

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 5

Argumentationslogischer Bayes

• Stilisiere das Spektrum möglicher Prior durch seine Ränder:– Skeptischer, aber erfahrungsoffener Prior:

„Unwahrscheinlich, dass es einen relevanten Unterschied gibt, aber Studie ist sinnvoll“

– Moderat enthusiastischer Prior: „Gute Chance für einen relevanten Unterschied;

trotzdem ist die Studie ethisch noch vertretbar, um legitime Skeptiker zu überzeugen“

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 6

Skeptischer / Enthusiastischer Prior

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 7

Argumentationslogischer Bayes II

• Definitive Studie sollte idealiter solange laufen, bis – Der Skeptiker von einem relevanten

Unterschied überzeugt ist: pr(relevant | Daten, Skepsis) > (1-y)

oder– Der Enthusiast enttäuscht ist

pr(relevant | Daten, Enthusiast) < y • Dies liefert rationale Abruchstrategie.

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 8

Bsp.: CHART-trialParmer, Griffiths, Spiegelhalter, Souhami, Altman, van

der Scheuren (2001) Lancet 358: 375-81

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 9

Fragebogen auf StudientreffenVon Ihnen erwarteter Unterschied in den 3-Jahres FFTF-Ratenbei Hinzunahme von NEUESPRÄPARAT®:.

ACHTUNG: Vorzeichen positiv: NEUESPRÄPARAT® besser, Vorzeichen negativ: NEUESPRÄPARAT® schlechter

a) erwartete Differenz: ______% Differenz in 3 J. FFTFb) Obere Überraschungsgrenze: ______% Differenz in 3 J. FFTFc) Untere Überraschungsgrenze: ______% Differenz in 3 J. FFTF

( [Untere Überraschungsgrenze , Obere Überraschungsgrenze]entspricht 95% credible interval. )

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 10

Study group prior on Rituximab effect

Frankfurt/M, February, 5th 2001

difference in 3 year FFTF rates

,25,20,15,10,050,00-,05-,10-,15-,20

clin

icia

ns' m

ixtu

re p

rior d

ensi

ty

12

11

10

9

8

7

6

5

4

3

2

10

95% credible interval[-0.7%, 21,5%]

Median estimate

9,9%

Pr( delta < 0%) = 3,2% Pr( delta > 10% ) = 49%

Prior der Studiengruppe zum Effekt von NEUESPRÄPARAT®

!Evidenz kommt nur aus Daten..!

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 11

Fallstudie: Evidenzsynthese-Prior

• Problemkontext:– Kurative Therapie aus mehreren

Therapieblöcken– Zwischen den Blöcken Diagnostik

• Ziel: Response adapted therapy (RAT)– Stopp in bereits geheilten Patienten– Ggfl. intensivere Therapie in noch nicht

geheilten Patienten

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 12

Kinder Hodgkin-Lymphom frühe Stadien (GPOH)

RT

CH

EMO

+-

CH

EMO

PET

?Stopp

Gesamtergebnisse mit RT für alle ca. 95% Heilung

Response adapted therapy (RAT) ?

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 13

Evidenzsynthese

• Sammle Evidenz für vier relevante Größen:– Sensitivität– Spezifität– Rate Test(–) in gegebener Situation– Gesamterfolgsrate mit voller Therapie für alle

• Grundgleichungen für diagnostische Tests• Synthetisiere Prior für Studienergebnis

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 14

Diagnostische GrundgleichungenBayes-Theorem

= negative_predictive_value ( ) − 1 prevalence specificity + ( ) − 1 prevalence specificity prevalence ( ) − 1 sensitivity

= positive_predictive_value prevalence sensitivity + prevalence sensitivity ( ) − 1 prevalence ( ) − 1 specificity

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 15

Eliminiere Prävalenz durch T(+)

Die wahre Prävalenz ist eine unbeobachtbare Größe.-> Drücke Prävalenz durch die beobachtbareRate Test(+) aus:

= prevalence + − test_positive specificity 1 + − specificity sensitivity 1

[ T(+) = richtig positiv + falsch negativ ]

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 16

1-specificity

sensitivity

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 17

Erfolgsraten mit verkürzter Therapie

= negative_predictive_value ( ) + − test_negative sensitivity 1 specificitytest_negative ( ) + − specificity sensitivity 1

NPV ist die Erfolgsrate bei Abbruch der Therapie in Test(-)

PPV ist die Erfolgsrate bei Abbruch der Therapie in Test(+)

= positive_predictive_value ( ) + − test_positive specificity 1 sensitivitytest_positive ( ) + − specificity sensitivity 1

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 18

Erfolgsrate mit voller Therapie in Test(+)

•Geheilte Patienten bleiben geheilt. •Bestimme Erfolgsrate in Test(+) so, dass Gesamterfolgsrate mit voller Therapie erreicht wird.

= success_with_full_treatment_in_true_positive + − true_positive success_rate_overall 1true_positive

•Elimination der Prävalenz:

(Versager werden mit Sensitivität in der Zwischendiagnostik positiv sein.)

= success_full_treatment_in_test_positive − 1 ( )− + success_rate_overall 1 sensitivitytest_positive

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 19

Response adaptation with CT GPOH HD-95

TG 2 + 3TG 2 + 3mit / ohne RT (ohne Ereignisse unter Therapie)

keine CR ⇒ RTn=477 31 Ereign.0.92 SD=0.02CR ⇒ keine RTn=109 17 Ereign.0.82 SD=0.04

CT+ mit RT

CT- ohne RT

Wahrscheinlichkeit des krankheitsfreien Überlebens mit und ohne Radiotherapie in den Therapiegruppen 2 und 3 Ausgewertet wurden 586/1018 Patienten, die zwischen 8/95 - 7/01 in die Studie aufgenommen wurden (Stand: 15.05.02)

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 20

Interpretation of HD-95Response adaption with CT

low test-negative rate= 20% -> bad NPV Assume STNF=0.97: Data with CT suggests

sensitivity=~0.91 specificity~0.28

Red: CT-neg. no RT

Green: CT-ps. with RT

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 21

[sensitivity ,specificity] = [0.95,9,95] black, [0.90,9,90] green, [0.8,0.8] blue, [0.7,0.7] red

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 22

PET-Studien bei LymphomenN Sens Spez FP TP FN TN

Dittmann 2001 26 ,88 ,94 1 7 1,0 17Weihrauch 2001 29 ,67 ,80 4 6 3,0 16Spaepen 2001 60 ,50 1,00 0 5 5,0 50De Wit 2001 48 ,91 ,68 12 10 1,0 25Cremerius 2001 41 ,84 ,86 3 16 3,0 19Jerusalem 1999 54 ,43 1,00 0 6 8,0 40Mikhaeel 2000 32 ,80 ,95 1 8 2,0 21Wickmann HD-95 48 ,88 ,68 10 15 2,0 21Kostakoglu 2002 23 ,45 ,92 1 5 6,0 11Naumann 2001 40 1,00 ,92 3 1 ,0 36Stumpe 1998 43 ,85 ,96 1 17 3,0 22TOTAL 440 ,739 , 885 36 96 34,0 278

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 23

Diagnostic studies

SENSITIVITY

1,11,0,9,8,7,6,5,4,3,2,10,0

SPEC

IFIC

ITY

1,1

1,0

,9

,8

,7

,6

,5

,4

,3

,2

,1

0,0

Simply pooling data

Sensitivity = 73.9% [66,82]%

Specificity = 88.5% [85,92]%

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 24

Pooled Estimates from “meta”-analysis

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 25

Bestimmung eines „Evidenz“-Priors für die Sensitivität

model{ # Estimate Sensitivity

for (i in 1:10) {s[i]~dbin(p[i],n[i]) # raw data binomialp[i]~dbeta(a,b) # study specific sensitivities drawn

# from beta hyper distribution# to model heterogeneity

}a~dgamma(1.0E-3,1.0E-3) # vague priorsb~dgamma(1.0E-3,1.0E-3)# mean and heterogeneity from mixing distributionmy<- a/(a+b)hetero<-sqrt(a*b/(a+b)/(a+b)/(a+b+1))}

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 26

Bestimmung eines „Evidenz“-Priors für die Sensitivität II

Nodestatisticsnode mean sd MC error 2.5% median 97.5% start samplea 27.25 51.93 2.432 1.681 9.521 183.6 10001 100000b 10.64 21.12 1.016 0.7205 3.756 68.08 10001 100000deviance 34.42 4.932 0.1364 26.56 33.82 44.55 10001 100000my 0.7118 0.06088 4.837E-4 0.5809 0.7153 0.8209 10001 100000hetero 0.1214 0.05839 0.001862 0.02753 0.1173 0.247 10001 100000

my sample: 100000

0.2 0.4 0.6 0.8

0.0 2.0 4.0 6.0 8.0 ≅ beta ( 40, 16 )

Idee: effektive Fallzahl

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 27

Potentielle Prior (Sensitivität)

Pooled data

Pooled dataNeff=N/2

Prior for mean

Heterogeneity

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 28

Spezifität

my sample: 100000

0.4 0.6 0.8

0.0 2.5 5.0 7.5 10.0 ≅ beta ( 40, 6 )

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 29

Prior für Rate Test-negativspärliche Pilotdaten

TNEG

,975

,925

,875

,825

,775

,725

,675

,625

,575

,525

,475

,425

,375

,325

,275

Prior test-negative rate = BETA(8,2),10

,08

,06

,04

,02

0,00

Std.abw . = 16,35 Mittel = ,801

N = 1,00

Problem: Randbedingung:NPV in [ 0, 1 ]

Lösung:Simuliere und filtriere!

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 30

NPV

1,00

,95,90,85,80,75,70,65,60,55,50,45,40,35,30,25,20,15,10,050,00

Evidenzsynthese-Prior

für Therapieergebnis mit Stopp bei PET-,3

,2

,1

0,0

Pr( Erfolg ≥ 90%) = 65%Pr( Erfolg < 80%) = 14%

-> Studie sinnvoll und vertretbar!

06.12.2002 Dirk Hasenclever, IMISE, Leipzig 31

Good conceptual practice

• Bei randomisierten Studien sollte standardmäßig – ein Studiengruppen-Prior und– ein Evidenzprior (sofern möglich)dokumentiert werden (auch falls frequentistisch formuliert..).

• Nutzen:– Transparente Dokumentation der

Relevanz und Vertretbarkeit der Studie– Grundlage zur Studienplanung– Unterstützung bei Abbruchentscheidungen– Ggfls. Motivation der Wahl argumentationslogischer Prior