1

Reicht positiv und negativ aus?

Qualitätskontrolle bei qualitativen Untersuchungen

Nürnberg, Köln, Hamburg, 2018

Ilka Richert, Bio-Rad Laboratories

2

FAQ‘s – Rili-BÄK

Wie sind hinsichtlich der Zuordnung zum Teil B1 infektionsserologische Verfahren einzustufen, deren Ergebnisse als Index oder Sample/Cut-Off ermittelt werden?

Es handelt sich bei der Ergebnisdarstellung zwar um die Angabe einer Zahl. Diese ist aber lediglich das Vielfache einer wie auch immer definierten Entscheidungsgrenze. Somit ist der Richtlinienteil B 1 nicht anzuwenden. Diese Verfahren werden üblicherweise bereits vom Hersteller als qualitative oder semiquantitative Verfahren klassifiziert. Im Übrigen gehören auch die semiquantitativen Verfahren zu den qualitativen Verfahren und sind dem Richtlinienteil B 2 zuzuordnen.

3

Rili-BÄK Teil B 2

4

Neustart

Kalibration

Reparatur

Wartung

Reagenz-chargenwechsel

(Verdünnung…)

Rili-BÄK Teil B 2

5

Sample Abs = 1054

Cut-off Abs = 456Sample S/CO

= 2,31

Befund:

Reaktiv

Der Weg zum Befund in der Infektionsserologie

• Validierung der Methode durch Hersteller definiert Einsatz als quantitativ oder nur qualitativ

• Auch qualitative Methoden arbeiten mit quantitativen Werten

6

Cut-Off Infektionsserologie

• Erfassung Serokonversion so früh wie möglich nach Infektion

• Unterscheidung negativ (nicht krank)

und positiv (krank)

• Überlappungsbereich (Graubereich)

• Festlegung Cut-Off-Wert kann durch Fehlklassifikationsrate beeinflusst werden:– Je höher der Cut-Off-Wert, desto weniger Patienten werden

erkannt (niedrige Trefferquote bzw. Sensitivität)

– Je niedriger der Cut-Off-Wert, desto mehr Patienten werden erkannt, aber auch falsch-positive Zuordnung (geringe Spezifität)

7

Festlegung des Cut-Off-Wertes

• 2 Standardabweichungen über dem Cut-Off-Wert der Gesunden

• 2 Standardabweichungen unter dem Mittelwert der Kranken

• ROC-Analyse

• Cut-Off-Werte können aufgrund empirischer Daten oder theoretisch festgelegt werden

• Messfehler des Tests ist zu beachten

8

Sensitivität & Spezifität

Anzahl richtig positiver Ergebnisse

Anzahl der KrankenSensitivität =

Anzahl richtig negativer Ergebnisse

Anzahl der GesundenSpezifität =

9

Hohe Sensitivität

Hohe Spezifität

Richtig positive Ergebnisse

Richtig negative Ergebnisse

Präzision/System stabil/RG-Chargen-

Wechsel?

Wichtige Aspekte in der Infektionsserologie

10

Bewertung der Kontrollergebnisse

Adäquates Kontrollmaterial

2 Voraussetzungen, um die Richtigkeit der Patientenergebnissesicherzustellen :

5.6.2 Qualitätssicherung5.6.2.1 AllgemeinesDas Laboratorium muss Verfahren zur Qualitätssicherung entwickeln, durch die das Erreichen der vorgesehenen Qualität der Ergebnisse nachgewiesen wird.

Wie kann Qualitätskontrolle helfen?

11

Unabhängige Kontrolle

• Ist nicht auf bestimmteReagenzien/Kalibratoreneingestellt

• Lange Laufzeit der Kon-trolle ermöglicht die Verlaufskontrolle über einen langen Zeitraum

• Kontrolle ist im klinischrelevanten, schwachpositiven Bereich (=Entscheidungsbereicheingestellt

• Multianalytkontrolle

In-Kit Kontrolle

ist zumeist das gleiche Material wie der Kalibrator

hat eine kurze Haltbarkeit od. an RG-Lot gebunden -keine langfristige Beurteilung

i.d.R. hoch positiv

wird oft zur Festlegung des S/C benötigt, ist deshalb auf den Test eingestellt und deshalb keine echte Kontrolle

In-house Kontrolle(Patientenpools)

Schwierig: Proben mit niedriger

Reaktivität

Handling

Stabilität für langfristige Beurteilung

Kontrolle derGerätehersteller

Ist immer eineEinzelkontrolle

Meist nur Angabedes Messbereichs

i.d.R. hoch positiv

Qualitätskontrollen in der Infektionsserologie

12

ISO 15189 – 5.6.2 Qualitätssicherung

5.6.2.2 QualitätskontrollmaterialienAnmerkung 2: Die Benutzung von Qualitätskontrollmaterialien einer unabhängigen Drittstelle sollte entweder anstelle oder zusätzlich zu den Qualitätskontrollmaterialien in Betracht gezogen werden, die durch den Hersteller der Reagenzien oder des Messgeräts geliefert werden.

5.6.2.2 QualitätskontrollmaterialienAnmerkung 1: Das Laboratorium sollte nach Möglichkeit bei den Qualitätskontrollmaterialien Konzentrationen aussuchen, welche speziell bei klinischen Entscheidungswerten oder nahe der klinischen Entscheidungswerte liegen, um die Validität der getroffenen Entscheidungen sicherstellen.

13

Infektionsserologie - Medizinisch relevante Konzentrationen

14

ISO 15189 - Risikomanagement

4.14.6 RisikomanagementDas Laboratorium muss die Auswirkung der Arbeitsprozesseund potenzieller Störungen auf die Untersuchungsergebnisse vor allem hinsichtlich der Patientensicherheit bewerten und muss Prozesse verändern, um die festgestellten Risiken zu verringern oder zu beseitigen und die Beschlüsse und Handlungen dokumentieren.

5.6.2.2 QualitätskontrollmaterialienQualitätskontrollmaterialien müssen regelmäßig und mit einer Häufigkeit untersucht werden, die auf der Stabilität des Verfahrens und dem Risiko einer möglichen Schädigung eines Patienten aufgrund eines fehlerhaften Ergebnisses beruht.

15

Häufigkeit: geringSchweregrad: hoch

Proben imCutoff-Bereich

Patient in Serokonversions-Phase:• Häufigkeit: 1:100.000 (Jahr) – geringes Risiko ABER• Schweregrad: Ein falsches Ergebnis hat ernste Folgen

Eine schwach positive Kontrolle kann das Risiko für fehlerhaftePatientenwerte minimieren

Risikomanagement

16

normal positiv

Falsch Neg. Falsch Pos.

VK 5 %

VK 10 %

Cut-offSpezifität Sensitivität

Kann eine Änderung in der Performance einRisiko sein?

17

Cut off

PositivNegativ

VK 15%

Graubereich +/- 5%

Unpräzision im Entscheidungsbereich

Quantifizierung/statistische Bewertung der Kontrollergebnisse:• Mittelwert• Standardabweichung• Variationskoeffizient• Fehlergrenze: 3 s Bereich

18

Anforderungen der Rili-BÄK

B 2 Qualitative laboratoriumsmedizinische Untersuchungen

2.1.2 (1)Die Bewertung der Untersuchungsergebnisse der Kontrollen hat unverzüglich nach Vorliegen des Ergebnisses zu erfolgen. Die Bewertung erfolgt an Hand der dem Kontrollmaterial zugewiesenen Zielvorgaben.

19

28,5 S/CO

X

Cut-Off-Bereich

HIV – Herstellerkontrolle mit großem Bereich

9,5 S/CO

1,0 S/CO

0,9 S/CO

Tage

Positiv

Negativ

+ 3s = + 9,51 S/CO

- 3s = - 9,51 S/CO

+ 2s = + 6,34 S/CO

+ 1s = + 3,17 S/CO

- 1s = - 3,17 S/CO

- 2s = - 6,34 S/CO

= 19 S/CO

20

InKit Kontrollen Positiv/Negativ

21

• Test: Anti-HCV, Hersteller XY

• Kontrolle: Bio-Rad Assayed VIROTROL-I

• Zielvorgaben Kontrolle

• Werte innerhalb der

Zielvorgaben:

→ Freigabe von Patientenwerten

Interne Qualitätssicherung: Rili-BÄK B 2

22

• Test: Anti-HCV, Hersteller XY

• Kontrolle: Bio-Rad Assayed VIROTROL-I

Warnung: 2s-BereichAbweisung: 3s-

Bereich

Interne Qualitätssicherung: 2 s / 3 s Bereiche

23

Grafische Beurteilung

24

- Wie sicher fühlen Sie sich bei Wechsel der Reagenz-charge?- Jede Reagenzcharge zeigt kleinere Variationen von Messung

zu Messung

- Jede neue Reagenzcharge kann größere Variationen zeigen

2 unterschiedlicheReagenzchargen

interne QC evtl. ok

mit unterschiedlicherPerformance

Einfluss auf die Patientenergebnisse?

MAABER

Patientenrisiko minimieren...

25

Labor startet mitneuer Virotrol Lot

am 28. März

Bis 6. Juni , MW : 6,47S/CO

VK : 5,68%außerhalb 3 s

6. Juni :Neue Reagenz-Lot

=> Ergebnisseaußerhalb 3 s

Erklärung fürShift:

Neue Reagenz-Lot

Reagenzchargenschwankungen

26

Performance mitalter Reagenz-Lot

MW: 6,47S/CO

VK : 5,68%

Auswirkung Shift ?

Performance mitneuer Reagenz-Lot

MW = 4,50 S/CO

VK = 3,6%

Reagenzchargenschwankungen

27

Reagenzchargenschwankungen

28

Alte Reagenz-Lot

GlobalePerformance des Test ist anders als

für einzelneReagenz-Lot

VK: 18,7%

Reagenzchargenschwankungen

29

Signifikante Veränderung der Ergebnisse -

Interpretation (falsch negativ)?

Die Verwendung einer neuer Reagenz-Lot hat einensignifikanten Einfluss auf die Kontrollergebnisse: Sind

Patientenergebnisse auch betroffen?

Interpretation

30

VK der Methode = 18,7%, Patientenergebnis = 3 s/co, Wiederfindungzwischen 1,88 and 4,12 ( 2s : 95,5% Vertrauensbereich)

Sample/cutoff

0 1 2 3 4

HerstellerWenn Patient < 1 S/Co

HIV negativ

HerstellerWenn Patient > 1 S/Co

HIV positiv

Labor Erfahrung :niedrigster

(Seroconversion) HIV positiv Wert

= 3 S/CO

5,15

Virotrol MW = 5,15VK = 18,7%

1,32 3 4,681,32 (-3s) 3 (+3s) 4,681,88 (-2s) 3 (+2s) 4,121,88 (-2s) 3 (+2s) 4,12

Interpretation

31

Hersteller XKontrolle

Hersteller XReagenz

UnabhängigeQualitätskontrolle

Kontroll-Lot 1

Reagenz-Lot 1

Kontroll-Lot 1

Kontroll-Lot 2 Kontroll-Lot 3

Reagenz-Lot 2 Reagenz-Lot 3

Zeit

Langfristige Beurteilung

32

• Beispiel: VIROTROL-I

Kontrolldatenvergleichsprogramm

33

Kontrolldatenvergleichsprogramm

Unabhängige Kontrollen

Präzision – Quantifizierung der QC Ergebnisse

Langfristige Beurteilung (RG-Chargen-Wechsel)

Medizinisch relevante Bereiche

Sichere Patientenergebnisse – Was ist zubeachten?