1

ValidierungValidierung molekularmolekular--diagnostischerdiagnostischer MethodenMethodenffüürr dasdas akkreditierteakkreditierte LaborLabor

Franz J. ConrathsFranz J. Conraths

FriedrichFriedrich--LoefflerLoeffler--InstitutInstitutBundesforschungsinstitut fBundesforschungsinstitut füür Tiergesundheitr Tiergesundheit

Institut fInstitut füür Epidemiologier EpidemiologieWusterhausen Wusterhausen

Riemser Diagnostiktage 2005

Warum Tests Warum Tests validierenvalidieren??

(ideal)

chance

Systematicerror (Bias)

(reality)

Validity

Rel

iabi

lity

Thrusfield, M., Veterinary Epidemiology, 1995

2

Laboratory Laboratory AccreditationAccreditation

ISO 17025ISO 17025�� QualityQuality ManualManual

�� ProceduresProceduresControlControl of of nonnon--conformingconforming workwork

CorrectiveCorrective actionsactions

PreventivePreventive actionsactions

EstimationEstimation of of uncertaintyuncertainty

�� QualityQuality recordsrecordsTests and Tests and specificationsspecifications

ISO/IEC International Standard 17025 (1999). General Requirements for the Competence of Testing and CalibrationLaboratories. International Organisation for Standardisation (ISO), ISO Central Secretariat, 1 rue de Varembé, CasePostale 56, CH - 1211, Geneva 20, Switzerland.

Stadien der Stadien der TestvalidierungTestvalidierung

1.1. MachbarkeitsstudienMachbarkeitsstudien2.2. Testentwicklung und StandardisierungTestentwicklung und Standardisierung

�� Optimieren von Reagenzien, GerOptimieren von Reagenzien, Gerääten und Protokollenten und Protokollen�� Wiederholbarkeit Wiederholbarkeit –– vorlvorlääufige Schufige Schäätzungentzungen�� Bestimmen kritischer KontrollparameterBestimmen kritischer Kontrollparameter�� Analytische SensitivitAnalytische Sensitivitäät und t und SpezifitSpezifitäätt�� MessbereichMessbereich

3.3. Bestimmen der LeistungsfBestimmen der Leistungsfäähigkeithigkeit�� Diagnostische SensitivitDiagnostische Sensitivitäät und t und SpezifitSpezifitäätt�� Wiederholbarkeit und ReproduzierbarkeitWiederholbarkeit und Reproduzierbarkeit

4.4. MonitoringMonitoring der Validitder Validitäät der Leistungsft der Leistungsfäähigkeithigkeit5.5. ÜÜberwachung und Bestberwachung und Bestäätigung der tigung der ValidierungskriterienValidierungskriterien

http://www.oie.int/eng/normes/mmanual/A_00014.htm

3

Optimieren Optimieren

von Reagenzien und Gervon Reagenzien und Geräätenten

Optimieren von ReagenzienOptimieren von ReagenzienAuswahl der ReagenzienAuswahl der Reagenzien

�� QualitQualitäätsstandards: Produktzertifizierungtsstandards: Produktzertifizierungz.B. ISO 9000 z.B. ISO 9000 andere Zertifikateandere ZertifikateQualitQualitäätsgesicherte Produktiontsgesicherte Produktion

�� Kontrollproben: Kontrollproben: 44--5 aus verschiedenen Regionen des geplanten Messbereichs, Negati5 aus verschiedenen Regionen des geplanten Messbereichs, Negativkontrolle; evtl. vkontrolle; evtl. nationale oder internationale Standards einbeziehennationale oder internationale Standards einbeziehenWahrer Status sollte bekannt sein; gut definiertWahrer Status sollte bekannt sein; gut definiertMMööglichst keine Poolsglichst keine PoolsAliquotierungAliquotierung

OptimierenOptimieren�� SchachbrettSchachbrett--TitrationTitration konzentrationsabhkonzentrationsabhäängiger Reagenzienngiger Reagenzien�� Bestimmung der fBestimmung der füür den Untersuchungszweck gr den Untersuchungszweck güünstigsten Parameter nstigsten Parameter

(Konzentrationen, (Konzentrationen, pHpH, Temperatur , Temperatur ……))�� Alle Optimierungsversuche unter identischen Bedingungen durchfAlle Optimierungsversuche unter identischen Bedingungen durchfüühren, stets hren, stets

nur einen Parameter nur einen Parameter äändernndern

Ergebnisse auch verwertbar zur Bestimmung kritischer KontrollparErgebnisse auch verwertbar zur Bestimmung kritischer Kontrollparameterameter

4

Vergleichbarkeit quantitativer DatenVergleichbarkeit quantitativer Daten

In einem Testdurchgang:In einem Testdurchgang:�� BezBezüüge zu Ergebnissen der Kontrollproben ge zu Ergebnissen der Kontrollproben

herstellen:herstellen:�� StandardkurveStandardkurve�� S/PS/P--RatioRatio�� IndexIndex�� ……

Zwischen TestdurchgZwischen Testdurchgäängenngen�� Toleranzen der Messwerte fToleranzen der Messwerte füür Kontrollen festlegen r Kontrollen festlegen

und Messwerte der Kontrollen zwischen und Messwerte der Kontrollen zwischen TestdurchgTestdurchgäängen vergleichenngen vergleichen

Optimieren von GerOptimieren von Geräätenten

Auswahl der GerAuswahl der Geräätete�� QualitQualitäätsstandards: Produktzertifizierungtsstandards: Produktzertifizierung

z.B. ISO 9000 z.B. ISO 9000 andere Zertifikateandere ZertifikateQualitQualitäätsgesicherte Produktiontsgesicherte Produktion

KalibrierungKalibrierung�� Ermittlung der Abweichung der Anzeige eines MessgerErmittlung der Abweichung der Anzeige eines Messgerääts vom wahren ts vom wahren

Wert der MessgrWert der Messgrößöße: e: RRüückfckfüührung auf nationales Normalhrung auf nationales NormalDem GerDem Geräät Objekt mit bekannten Mat Objekt mit bekannten Maßßen vorlegen (en vorlegen (NoNormalrmal) ) Abweichung der Anzeige vom bekannten MaAbweichung der Anzeige vom bekannten Maßß bestimmenbestimmenErgebnis und die zugehErgebnis und die zugehöörige rige MessunsicherheitMessunsicherheit dokumentierendokumentieren

Optimieren variabler ParameterOptimieren variabler Parameter�� ZeitZeit�� TemperaturTemperatur�� pHpH

Ergebnisse auch verwertbar zur Bestimmung kritischer Ergebnisse auch verwertbar zur Bestimmung kritischer KontrollparameterKontrollparameter

5

Optimieren von ProtokollenOptimieren von Protokollen

Definition des PrDefinition des Prüüfvorgangsfvorgangs

Wo beginnt die Analyse?Wo beginnt die Analyse?�� ProbennahmeProbennahme�� Eingesendete ProbeEingesendete Probe

Vorbereitungsschritte zu Analyse erforderlichVorbereitungsschritte zu Analyse erforderlich�� Beispiele: DNABeispiele: DNA--Extraktion aus Gewebeprobe, Extraktion aus Gewebeprobe, ZentrifugierenZentrifugieren

von Blutproben zur von Blutproben zur SerumgewinnungSerumgewinnung

Vorbereitungsschritte nicht erforderlichVorbereitungsschritte nicht erforderlich�� SerumprobeSerumprobe

Auswahl geeigneter Kontrollen zur Auswahl geeigneter Kontrollen zur ÜÜberwachung des gesamten Analysevorgangsberwachung des gesamten Analysevorgangs�� Kontrolle der Vorbereitungsschritte (Prozesskontrolle)Kontrolle der Vorbereitungsschritte (Prozesskontrolle)�� Kontrolle der Analyse im engeren SinnKontrolle der Analyse im engeren Sinn

6

Beispiel: Diagnostische PCRBeispiel: Diagnostische PCR

VermeidungVermeidung falschfalsch--positiverpositiver PCRPCR--ErgebnisseErgebnisse�� LaborLabor--bezogene Problemebezogene Probleme

Das Protokoll beginnt mit der Probenaufbereitung!!!Das Protokoll beginnt mit der Probenaufbereitung!!!�� PrPrüüfung der Probenqualitfung der Probenqualitäät vor und wt vor und wäährend der hrend der

Probenaufbereitung.Probenaufbereitung.

Kreuzkontaminationen verhindern!Kreuzkontaminationen verhindern!

‚‚Carry Carry overover‘‘ (Verschleppen von Probenmaterial) (Verschleppen von Probenmaterial) verhindern!verhindern!

Beispiel: Diagnostische PCRBeispiel: Diagnostische PCR

VermeidungVermeidung falschfalsch--positiverpositiver PCRPCR--ErgebnisseErgebnisse�� LaborLabor--bezogene Problemebezogene Probleme

LLöösungsmsungsmööglichkeitenglichkeiten: : �� separate Rseparate Rääume, separate Pipetten, spezielle Pipettenspitzen, ume, separate Pipetten, spezielle Pipettenspitzen,

separate Laborkleidung etc.separate Laborkleidung etc.

�� MitfMitfüühren von Prozesskontrollenhren von Prozesskontrollen

�� Dekontamination (UV, Chlorbleiche)Dekontamination (UV, Chlorbleiche)

�� TubeTube--ÖÖffner verwendenffner verwenden

�� singlesingle--tubetube teststests (?)(?)

�� Vermeiden von Vermeiden von nestednested--PCRsPCRs

�� UracilUracil--DNADNA GlycosylaseGlycosylase

katalysyiertkatalysyiert das Entfernen von das Entfernen von UracilUracil aus saus s-- und und dsds--DNADNA, , die in Gegenwart von dUTP2 synthetisiert wurde.die in Gegenwart von dUTP2 synthetisiert wurde.

7

Beispiel: Diagnostische PCRBeispiel: Diagnostische PCR

�� TestTest--bezogene Problemebezogene Probleme

Unzureichende OptimierungUnzureichende Optimierung

Unzureichende LeistungsfUnzureichende Leistungsfäähigkeit des Tests higkeit des Tests �� LLöösung:sung: Beispiel: Steigern der Beispiel: Steigern der SpezifitSpezifitäätt durch durch HybridisierungHybridisierung

oder oder SequenzierungSequenzierung, RFLP, , RFLP, ……

Beispiel: Diagnostische PCR Beispiel: Diagnostische PCR

VermeidungVermeidung falschfalsch--negativernegativer PCRPCR--ErgebnisseErgebnisse�� Inhibition, SensitivitInhibition, Sensitivitäätsverlusttsverlust

Das Protokoll beginnt mit der Probenaufbereitung!!! Das Protokoll beginnt mit der Probenaufbereitung!!! PipettierfehlerPipettierfehler

LLöösung: sung: �� MitfMitfüühren von Prozesskontrollenhren von Prozesskontrollen

�� FremdFremd--NukleinsNukleinsääuren als Kontrolle zusetzenuren als Kontrolle zusetzen

DNA DNA mimicsmimics

ArmoredArmored RNARNA

�� DNA als Kontrolle nutzen, die natDNA als Kontrolle nutzen, die natüürlich in allen Proben vorkommtrlich in allen Proben vorkommt

�� FFüür r realreal--timetime und und MultiplexMultiplex--PCRPCR

HousekeepingHousekeeping--GeneGene

WirtsWirts--DNADNA, z.B. , z.B. ßß--ActinActin, GAPDH, , GAPDH, ribosomaleribosomale RNA RNA

8

Kontrollen fKontrollen füür diagnostische PCRr diagnostische PCR

Hoorfar et al. 2004. APMIS 112: 808–14

Wiederholbarkeit prWiederholbarkeit prüüfenfen

RepeatabilityRepeatability: : „„agreementagreement betweenbetween replicatesreplicateswithinwithin and and betweenbetween runsruns of of thethe assayassay““

�� 44--5 Ans5 Ansäätze jeder Probe in mindestens 5 Anstze jeder Probe in mindestens 5 Ansäätzen an tzen an 5 verschiedenen Terminen pr5 verschiedenen Terminen prüüfen.fen.

�� Variationskoeffizient (CV) bestimmen:Variationskoeffizient (CV) bestimmen:Standardabweichung der Standardabweichung der ReplicasReplicas / arithmetisches Mittel der / arithmetisches Mittel der ReplicasReplicasZiel: CV unter 20% in diesem Stadium der Ziel: CV unter 20% in diesem Stadium der TestvalidierungTestvalidierungFertig Fertig validiertevalidierte Tests: CV sollte Tests: CV sollte << 10% sein !!!10% sein !!!

http://www.oie.int/eng/normes/mmanual/A_00014.htm

9

Analytische SensitivitAnalytische Sensitivitäät und t und SpezifitSpezifitäätt

Analytische SensitivitAnalytische Sensitivitäätt

SmallestSmallest detectabledetectable amountamount of of thethe analyteanalyte in in questionquestion

Bestimmung:Bestimmung:�� EndpunktverdEndpunktverdüünnungnnung

Bestimmung der VerdBestimmung der Verdüünnung, in welcher der nnung, in welcher der AnalytAnalyt gerade gerade noch oder gerade nicht mehr nachweisbar ist.noch oder gerade nicht mehr nachweisbar ist.

�� AntikAntiköörperbestimmungenrperbestimmungen

�� Geringste Menge des Geringste Menge des AnalytenAnalyten, die nachgewiesen , die nachgewiesen werden kann.werden kann.

�� Erregernachweise, PCRErregernachweise, PCR

http://www.oie.int/eng/normes/mmanual/A_00014.htm

10

AnalyticalAnalytical specificityspecificity

degreedegree to to whichwhich thethe assayassay doesdoes notnot crosscross--reactreactwithwith otherother analytesanalytes

Bestimmung:Bestimmung:�� Untersuchung von Proben von Individuen, die mit Untersuchung von Proben von Individuen, die mit

verwandten Krankheitserregern infiziert sind oder verwandten Krankheitserregern infiziert sind oder waren waren

�� Untersuchung ausgewUntersuchung ausgewäählter, mehr oder weniger hlter, mehr oder weniger verwandter Organismen (z.B. verschiedene verwandter Organismen (z.B. verschiedene Protozoen bei einer PCR fProtozoen bei einer PCR füür r T. T. gondiigondii))

http://www.oie.int/eng/normes/mmanual/A_00014.htm

Die Bestimmung der Die Bestimmung der analytischenanalytischen SensitivitSensitivitäät t

und und SpezifitSpezifitäätt stellt fstellt füür sich r sich allein keine ausreichende allein keine ausreichende

ValidierungValidierung dar!!!dar!!!

11

Messbereich festlegen Messbereich festlegen

BasisBasis�� Ergebnisse der OptimierungErgebnisse der Optimierung

�� Werte der KontrollenWerte der Kontrollen

�� Ggf. EichkurveGgf. Eichkurve

Diagnostische SensitivitDiagnostische Sensitivitäät und t und SpezifitSpezifitäätt

12

ÜÜbereinstimmung zwischen Testsbereinstimmung zwischen Tests

KappaKappa--SStatistiktatistik

Agreement Agreement beyondbeyondchancechance�� ohne Goldstandardohne Goldstandard

�� κκ liegt zwischen liegt zwischen --1 und 11 und 10: 0: chancechance

00--0.2: 0.2: slightslight

0.210.21--0.4: fair0.4: fair

0.410.41--0.6: moderate0.6: moderate

0.610.61--0.8: substantial0.8: substantial

>0.81: >0.81: almostalmost perfectperfect

1: 1: completecomplete agreementagreement 2 Methoden vergleichen: - 2 PCRs- PCR mit Direktnachweis

http://www.clive.ed.ac.uk/winepiscope/

Diagnostische Se und Diagnostische Se und SpSp

Goldstandard benGoldstandard benöötigttigt�� Ca. 300 pos. und 1000 Ca. 300 pos. und 1000 negneg. .

Proben anhand Proben anhand Goldstandard zuordnen Goldstandard zuordnen ((„„DiseaseDisease““))

�� Mit neuer Methode testenMit neuer Methode testen

�� Ergebnisse in 2x2Ergebnisse in 2x2--Tafel Tafel eingebeneingeben

�� DD--Se, Se, DD--SpSp, positiven und , positiven und negativen Vorhersagewert negativen Vorhersagewert berechnenberechnen

http://www.clive.ed.ac.uk/winepiscope/

13

NNB+DB+DA+CA+CSummenSummen

C+DC+DDDCCnegativnegativ

A+BA+BBBAApositivpositiv

SummenSummenneinneinjaja

Disease (Goldstandard)

Test

A: wahr positivB: falsch positivC: falsch negativD: wahr negativN: Summe

Diagnostische Se (%) =100*A/(A+C)Diagnostische Sp (%) =100*D/(D+B)

Wahre Prävalenz (%) =100*(A+C)/Nscheinbare Prevalence (%) = 100*(A+B)/N

Positiver Vorhersagewert (%) = 100*A/(A+B)Negativer Vorhersagewert (%) = 100*D/(C+D)

Likelihood Ratio (LR+) = (A/A+C)/(B/B+D)Likelihood Ratio (LR-) = (C/A+C)/(D/B+D)

Diagnostische Se und Diagnostische Se und SpSp

EinflEinflüüsse auf Dsse auf D--Se und Se und DD--SpSp

DD--SeSe

InfektionsstadiumInfektionsstadium

Dauer der InfektionDauer der Infektion

IntensitIntensitäät der Infektiont der Infektion

WirtsfaktorenWirtsfaktoren

DD--SpSp

Geografische LokalisationGeografische Lokalisation�� verschiedene coverschiedene co--

endemische Krankheitenendemische Krankheiten

ImpfungImpfung

Nutzung gesunder/nicht Nutzung gesunder/nicht infizierter Kontrollen oder infizierter Kontrollen oder Nutzung von Tieren mit Nutzung von Tieren mit einer Krankheit, die ein einer Krankheit, die ein äähnliches klinisches Bild hnliches klinisches Bild hervorrufthervorruft

14

Probleme mit GoldstandardsProbleme mit GoldstandardsWenn der alternative Test Wenn der alternative Test sensitiversensitiver als der Goldstandard ist, erscheint dies als der Goldstandard ist, erscheint dies als verminderte als verminderte DD--SpezifitSpezifitäätt..

Wenn der alternative Test Wenn der alternative Test spezifischerspezifischer als der Goldstandard ist, erscheint als der Goldstandard ist, erscheint dies als verminderte Ddies als verminderte D--SensitivitSensitivitäät.t.

NNB+DB+DA+CA+CSummenSummen

C+DC+DD D CCnegativnegativ

A+BA+BBBAApositivpositiv

SummenSummennegativnegativpositivpositiv

Goldstandard

alternativerTest

Sensitivität (%)=100*A/(A+C)Spezifität (%)=100*D/(D+B)

0 10 20 30 40 50 60 70 80 90 100

True prevalence [%]

0

20

40

60

80

100

%

apparent prevalence

pos. predictive value

neg. predictive value

LeistungsfLeistungsfäähigkeit und higkeit und PrPräävalenzvalenz

Test:Se: 98%Sp: 95 %

TP = 20%+PV= 83,05%

TP = 1 %+PV= 16,51%

15

0 10 20 30 40 50 60 70 80 90 100

True prevalence [%]

0

20

40

60

80

100

%

apparent prevalence

pos. predictive value

neg. predictive value

LeistungsfLeistungsfäähigkeit und higkeit und PrPräävalenzvalenz

Test:Se: 98%Sp: 95 %

TP = 20%+PV= 83,05%

TP = 1 %+PV= 16,51%

‚‚GoldstandardGoldstandard--freiefreie‘‘ ValidierungValidierung

BayesianischeBayesianische AnsAnsäätzetze

�� OrrOrr KA, KA, OO‘‘ReillyReilly KL, Scholl DT. 2003. KL, Scholl DT. 2003. EstimationEstimation of of sensitivitysensitivity and and specificityspecificity of of twotwo diagnosticsdiagnostics teststests forfor bovine bovine immunodeficiencyimmunodeficiency virusvirus usingusing BayesianBayesiantechniquestechniques..PrevPrev VetVet Med.Med. 61, 7961, 79--89. 89.

�� Smith T & Smith T & VounatsouVounatsou P. 2003. Estimation of infection and recovery rates for P. 2003. Estimation of infection and recovery rates for highly polymorphic parasites when highly polymorphic parasites when detectabilitydetectability is imperfect, using hidden is imperfect, using hidden Markov models. Markov models. Stat Med Stat Med 22, 170922, 1709--24. 24.

�� FrFröösslingssling J, Bonnett B, Lindberg A & BjJ, Bonnett B, Lindberg A & Bjöörkman C. 2003. Validation of a rkman C. 2003. Validation of a NeosporaNeosporacaninumcaninum iscomiscom ELISA ELISA withoutwithout a gold a gold standardstandard. . PrevPrev VetVet MedMed 57, 14157, 141--53. 53.

Latent Latent classclass--AnalyseAnalyse� Hui, S.L., Walter, S.D. 1980. Estimating the error rates of diagnostic tests.

Biometrics 36, 167–171.� Enøe, C., Georgiadis, M.P. and Johnson, W.O. 2000. Estimation of sensitivity

and specificity of diagnostic tests and disease prevalence when the true diseasestate is unknown. Prev. Vet. Med. 45, 61–81.

16

ROC AnalyseROC Analyse

ReceiverReceiver--Operator CharakteristikOperator Charakteristik�� Se gegen 1Se gegen 1-- SpSp auftragenauftragen

NNüützlich ftzlich füür quantitative Tests: r quantitative Tests: Quantitative PCRQuantitative PCR�� Tests, die eine kontinuierliche GrTests, die eine kontinuierliche Größößen en

(Messergebnisse) liefern, die (Messergebnisse) liefern, die dichotomisiertdichotomisiert(pos./(pos./negneg.) werden m.) werden müüssen.ssen.

Ergebnis der Ergebnis der ROCROC--AnalyseAnalyse�� Die FlDie Flääche unter der Kurve ist ein Mache unter der Kurve ist ein Maßß ffüür das r das

DiskriminierungsvermDiskriminierungsvermöögen des Testsgen des Tests

�� Nutzung zur Nutzung zur CutCut--offoff--BestimmungBestimmung

ROCROC--KurveKurve

http://www.chemsilico.com/CS_prGT/GT_graphics/ROC-curve.gif

-

- keine Diskriminierung

◊ Test-Ergebnisse

17

ExplorativeExplorative plottingplotting

Scatter plotData of test A plottedversus data of test B as pairsfor any tested sample- Agreement

Difference-Mean plotDifferences of any sample pairs examined in tests A and B plotted vs. means of these datapairs (Bland & Altman, 1986) - Agreement, repeatability

Externe Externe ValidierungValidierung

EignungsprEignungsprüüfungenfungen

RingversucheRingversuche

MultiMulti--centredcentred studiesstudies

18

ContinuousContinuous monitoringmonitoring

CombinedCombined ShewhartShewhart--CUSUMCUSUM ControlControl ChartChart�� ÜÜberwachung der mit Referenzmaterial berwachung der mit Referenzmaterial

erzielten Ergebnisse (Kontrollen)erzielten Ergebnisse (Kontrollen)

�� CumulativeCumulative sumssums

�� WarnregelnWarnregeln

�� AblehnungsregelnAblehnungsregeln

Westgard et al., 1977, Clin. Chem. 23/10, 1881-87

SchlussfolgerungenSchlussfolgerungenTestzulassung gemTestzulassung gemäßäß TierimpfstoffTierimpfstoff--VOVO und und ValidierungValidierung ffüür die Testanwendung im r die Testanwendung im Labor sind verschieden.Labor sind verschieden.

Die fDie füür die Zulassung von Tests gemr die Zulassung von Tests gemäßäß TierimpfstoffTierimpfstoff--VOVO erforderlichen Daten kerforderlichen Daten köönnen nnen nur einen Teil der nur einen Teil der TestvalidierungTestvalidierung beinhalten, die im akkreditierten Labor erforderlich beinhalten, die im akkreditierten Labor erforderlich ist.ist.

Unter den Bedingungen der Akkreditierung dUnter den Bedingungen der Akkreditierung düürfen nur rfen nur validiertevalidierte Tests eingesetzt Tests eingesetzt werden. Die Validitwerden. Die Validitäät muss in jedem Labor nachgewiesen werden.t muss in jedem Labor nachgewiesen werden.

Die Die ValidierungValidierung muss zeigen, dass der Test muss zeigen, dass der Test „„fit fit forfor purposepurpose““ ist.ist.

Die Einzelheiten, wie die Die Einzelheiten, wie die ValidierungValidierung zu erfolgen hat, legt die Przu erfolgen hat, legt die Prüüfleitung fest.fleitung fest.