Leistungsbeurteilung des Quo-Test® nach NGSP-Kriterien und Sigma-Metriken

Lenters-Westra, E.

Diagnosticsfor life

Einleitung

Die erste Beurteilung des Quo-Test® wurde vom ERL (Europäisches Referenzlabor) 2009 durchgeführt.1

Diese Beurteilung wurde nicht abgeschlossen, da bereits zu Beginn des Projekts eine Reihe kleiner technischer Probleme beim Analyzer beobachtet wurden.

Ein Jahr später, 2010, wurde eine zweite Beurteilung durchgeführt, die unerwünschte Schwankungen zwischen Chargen zeigte.2 Im Zuge einer dritten Beurteilung3 2014 wurde ein Unterschied bei den Ergebnissen zwischen gefrorenen und frischen Patientenproben festgestellt.

Da der Quo-Test® mit gefrorenem sekundärem IFCC-Referenzmaterial kalibriert wurde, ergaben die frischen Patientenproben einen signifikanten negativen Bias. Nach einer Zusammenarbeit zwischen dem Europäischen Referenzlabor für Glykohämoglobin und Quotient Diagnostics Ltd, einem Unternehmen von EKF Diagnostics, wurde der Quo-Test® zu einer weiteren Beurteilung vorgelegt.

Methoden

Um einen Gesamteindruck der Leistung vor dem Start der CLSI-Protokolle EP-5 und EP-9 zu gewinnen, wurden 12 frische Patientenproben in Doppelbestimmungen getestet. Die Wertzuweisung erfolgte anhand der drei sekundären Referenzmethoden (SRM) unten. Die Präzision wurde ebenfalls mittels Analyse der Proben in Doppelbestim-mungen berechnet. Die Ergebnisse waren ausreichend zufriedenstellend, um die Beurteilung fortzusetzen.

Zur weiteren Untersuchung der Ungenauigkeit des Tests wurde das CLSI-Protokoll EP-5 herangezogen (Doppelmessungen zweimal täglich an zwei Patientenproben über 20 Tage). Aliquote der Patientenproben wurden bis zur Analyse bei minus 80°C gelagert. Die Variationskoeffizienten (VK) wurden ebenfalls ausgehend von den Duplikaten der frischen Patientenproben im Protokoll EP-9 berechnet. Das CLSI-Protokoll EP-9 wurde zwei Mal mit zwei verschiedenen Reagenzienchargennummern durchgeführt und die Daten wurden zur Untersuchung des Bias zwischen dem Quo-Test® und den drei SRM verwendet (n= 48 (normal n=40), fünf Tage, Doppelmessungen). Die Daten wurden zudem zur Berechnung der NGSP-Zertifizierungskriterien verwendet. Ab dem Januar 2014 gibt die NGSP-Zertifizierung vor, dass 37 von 40 Ergebnissen innerhalb von 6% (relativ) einer einzelnen NGSP-SRM liegen müssen, um die Zertifizierung zu bestehen.

Leistungsbeurteilung des Quo-Test® nach NGSP-Kriterien und Sigma-Metriken

Lenters-Westra, E.HbA1c-Forscher, Europäisches Laboratorium für Glykohämoglobin, Isala, Zwolle, Niederlande

Diagnosticsfor life

Die Bestimmung des HbA1c-Wertes der Patientenproben erfolgte mit drei zertifizierten SRM:

• Roche Tina-quant Gen.2 HbA1c auf dem Integra 800, Immunoassay, nach IFCC und NGSP zertifiziert (Roche Diagnostics)

• Premier Hb9210, Affinitätschromatographie, nach IFCC und NGSP zertifiziert (Trinity Biotech) und

• Tosoh G8, Kationenaustausch-HPLC, nach IFCC zertifiziert (Tosoh Bioscience).

Zur Überprüfung von Gesamtkalibrierung und Bias unabhängig von der gewählten SRM wurden die Ergebnisse des Quo-Test® Geräts im EP-9-Verfahren mit dem Mittelwert der drei SRM verglichen und die MDP-Analyse (Medical Decision Point) wurde bei einem HbA1c-Wert von 48 mmol/mol (6,5% DCCT-Einheiten (Diabetes Control and Complications Trial ) und 75 mmol/mol (9,0% DCCT-Einheiten) durchgeführt. Wenn die beiden Methoden statistisch identisch sind, umfasst das 95%-Konfidenzintervall (KI) für jeden y-MDP den entsprechenden x-MDP.

Die Interferenz der häufigsten Hb-Varianten HbAS, HbAC, HbAD, HbAE, HbAJ, A2 erhöht (�-Thalassämie) und HbF wurde anhand des Quo-Test® untersucht. Fünf Proben einer jeden Variante mit unterschiedlichen HbA1c-Werten wurden an einem Tag analysiert.

Ergebnisse

Tabelle 1 zeigt die Ergebnisse des Protokolls EP-5 und VK ausgehend von den im Protokoll EP-9 analysierten Duplikaten.

Tabelle 1: Ungenauigkeitsergebnisse auf der Basis von EP-5 und Duplikaten in EP-9

*Auf der Basis von Duplikaten in EP-9

VK (%) SI-Einheiten VK (%) DCCT-Einheiten

3,3 (49 mmol/mol) 2,2 (6,6%)

1,8 (75 mmol/mol) 1,3 (9,0%)

Chargennummer 1* 1,9 1,3

Chargennummer 2* 1,2 0,9

Quo-Test (EP-5)

Quo-Test (EP-5)

Chargennummer 020268 Chargennummer 020269

Mw. SRM 48,8 (48,5–49,2) 74,6 (74,1-75,2) 49,2 (48,9-49,5) 75,9 (75,4-76,5)

Tosoh G8 48,9 (48,3–49,4) 73,7 (72,9-74,4) 49,2 (48,7-49,7) 75,0 (74,3-75,7)

Roche Tina-quant Integra 800 48,8 (48,4–49,2) 74,7 (74,1-75,3) 49,1 (48,7–49,5) 76,1 (75,5-76,7)

Premier Hb9210 49,0 (48,7-49,3) 75,1 (74,6-75,6) 49,3 (49,0–49,7) 76,5 (76,0-77,0)

Deming-Regression Chargennummer 020268 Bias SEE Out ± 6% SRM NGSP-Kriterien

Quo-Test (Y) vs Premier (X) Y=0,96X + 0,33 0,07 0,13 0 Bestanden

im Vgl. zu Tina-quant (X) Y=0,96X + 0,43 0,09 0,16 2 Bestanden

im Vgl. zu Tosoh G8 (X) Y=0,96X + 0,58 0,06 0,20 4 Bestanden*

Deming-Regression Chargennummer 020269 Bias SEE Out ± 6% SRM NGSP-Kriterien

Quo-Test (Y) vs Premier (X) Y=1,00X + 0,14 0,12 0,14 0 Bestanden

im Vgl. zu Tina-quant (X) Y=0,96X + 0,24 0,14 0,18 1 Bestanden

im Vgl. zu Tosoh G8 (X) Y=0,96X + 0,41 0,11 0,20 3 Bestanden

Tabelle 2 zeigt die NGSP-Zertifizierungskriterien für Bestanden/Nicht bestanden hinsichtlich der Ergebnisse des mit frischen Patientenproben durchgeführten Protokolls EP-9.

Tabelle 2: Ergebnisse des Protokolls EP-9 in DCCT-Einheiten und Berechnungen von NGSP-Zertifizierungskriterien

*37 von 40 Ergebnissen müssen innerhalb von 6% (relativ) einer einzelnen NGSP-SRM fallen, um die Zertifizierung zu bestehen. In dieser Studie wurden 48 Proben anstatt 40 analysiert.

Abbildung 1 zeigt die Ergebnisse von EP-9 im Vergleich zum Mittelwert der drei SRM. Der mittlere Bias der beiden verwendeten Chargennummern im Vergleich zum Mittelwert der drei SRM beträgt < 2 mmol/mol (Bias Chargennummer 020268 = 0,6 mmol/mol und Chargennummer 020269 = 1,1 mmol/mol).

Abbildung 1: Quo-Test im Vgl. zu Mw. Premier Hb9210, Tosoh G8 und Roche Tina-quant auf Integra 800.

Diagnosticsfor life

Tabelle 3 zeigt die Ergebnisse der MDP-Analyse von 48 mmol/mol und 75 mmol/mol im Vergleich zum Mittelwert der drei SRM und der einzelnen SRM.

Tabelle 3: MDP von 48 mmol/mol und 75 mmol/mol (95%-KI in Klammern) im Vergleich zu den verschiedenen Referenzmethoden

Abbildung 2 zeigt die analytische Leistung des Quo-Test in Sigma-Metriken.

Abbildung 2: Analytische Leistung des Quo-Test in Sigma-Metriken.

*Auf der Basis von Duplikaten in EP-9

Quo-Test im Vgl. zu Mw. SRM

Lenters-Westra, E.HbA1c-Forscher, Europäisches Laboratorium für Glykohämoglobin, Isala, Zwolle, Niederlande

Leistungsbeurteilung des Quo-Test® nach NGSP-Kriterien und Sigma-Metriken

Chargennummer 020268 Y = 0,96 + 3,0 Bias = 0,6 mmol/mol

Chargennummer 020269 Y = 0,99X + 1,6 Bias = 1,1 mmol/mol

Linear (X=Y)

Linear (-10%)

Linear (10%)

HbA1c (mmol/mol) Mw. SRM

Hb

A1c

(m

mo

l/m

ol)

Quo

-Test

0,7 1,4 2,0 2,7 3,4

0,0

9

0,18

0

,28

0,3

7

0

,46

A =Chargennummer 20269 bei 75 mmol/molB =Chargennummer 20268 bei 49 mmol/molC= Chargennummer 20268, Duplikate EP-9D= Chargennummer 20268, Duplikate EP-9

CV in %

Bia

s

IFCC

NGSP

NG

SP

IFC

C

Abbildung 3 zeigt die Ergebnisse von frischen normalen nicht-varianten Proben (n=48) und gefrorenen Hb-varianten Proben (n=5 pro Hb-Variante). Die mittlere relative Differenz der Hb-Varianten gemessen in SI-Einheiten (mmol/mol) im Vergleich zum zugewiesenen Wert betrug für HbAS 1,1%, HbAC 1,2%, HbAD 5,1%, HbAE 9,2%, HbAJ 0,7%, A2 erhöht 5,3% und HbF -7,0%. Die HbF-Prozentwerte in den Proben betrugen 3,2%, 4,6%, 8,6%, 15% und 18%. Diese Ergebnisse wurden nicht hinsichtlich des Bias mit gefrorenen normalen nicht-varianten Proben korrigiert.

Abbildung 3: Interferenz von Hb-Varianten beim Quo-Test

Diskussion

Der VK im Protokoll EP-5 bei einem HbA1c-Wert von 49 mmol/mol liegt etwas (3,3% bei SI-Einheiten und 2,2% bei DCCT-Einheiten) über dem Kriterium von <3% bei SI-Einheiten (<2% bei DCCT-Einheiten). Die VK bei einem HbA1c-Wert von 75 mmol/mol und die VK der Duplikate im Protokoll EP-9 lagen jedoch eindeutig innerhalb der akzeptablem Kriterien.

Die Kalibrierung des Quo-Test® ist ausreichend und wurde durch das erfolgreiche Bestehen der NGSP-Kriterien im Vergleich mit den drei SRM bestätigt. Der mittlere Bias im Vergleich mit dem Mittelwert der SRM lag klar innerhalb des akzeptablem Kriteriums von <2 mmol/mol. Die MDP-Analyse bei einem HbA1c-Wert von 48 mmol/mol und 75 mmol/mol zeigte eine signifikante statistische Differenz im Vergleich zum Mittelwert der SRM und der einzelnen SRM.

Diagnosticsfor life

Aus klinischer Sicht sind diese Unterschiede jedoch gering und daher akzeptabel. Die kombinierte Leistung bei Sigma-Metriken ist sehr gut. Sigma ist >2 bei 48 mmol/mol und bei einem HbA1c-Wert von 75 mmol/mol > 4. Bei Untersuchung der VK der Duplikate ist klar ersichtlich, dass eine Chargennummer einen Sigma-Wert von >6 aufweist; dies ist ein sehr gutes Leistungsniveau.

Aus der vorhergehenden Studie wissen wir, dass der Quo-Test® einen negativen Bias von ca. 2 mmol/mol bei frischen Patientenproben aufweist, früher das sekundäre IFCC-Referenzmaterial zur Kalibrierung des Quo-Test® verwendet wurde und sich herausstellte, dass dieses Material nicht mit der Quo-Test®-Methode austauschbar ist. Zur Untersuchung der Interferenz von Hb-Varianten wurden gefrorene Proben in der Studie verwendet. Bemerkenswerterweise zeigte der Quo-Test® keine Interferenz der häufigsten Hb-Varianten HbAS, HbAC, HbAD, HbAE, HbAJ, A2 erhöht (-Thalassämie) und HbF <8,6% (Abbildung 2). Die wesentlichste negative relative Differenz der Hb-Varianten im Vergleich zur Studie aus dem Jahr 2014 war, dass diese Studie durch die ange-passte Kalibrierung mit frischen Patientenproben kom-pensierte, außer für HbAE. In der Studie aus dem Jahr 2014 wies der Quo-Test® eine positive relative Differenz der HbAE-Proben im Vergleich zur Referenzmethode auf. Nun betrug die mittlere relative Differenz aufgrund der angepassten Kalibrierung 9,2%.

Schlussfolgerungen:

Der Quo-Test® erfüllte die allgemein anerkannten Leistungskriterien für HbA1c.

Quellenangabe

1. Lenters-Westra E, Slingerland RJ. Six of eight Hemoglobin A1c point-of-care instruments do not meet the general accepted analytical performance criteria. Clinical Chemistry 2010;56:44-52.2. Lenters-Westra E, Slingerland RJ. Evaluation of the Quo-Test Hemoglobin A1c point-of-care instrument: second chance. Clin Chem 2010;56:1191-1193.3. Lenters-Westra E, Slingerland RJ. Three of Seven Hemoglobin A1c Point-of-Care Instruments Do Not Meet the Generally Accepted Analytical Performance Criteria. Clinical Chemistry 2014;1062-72.4. Weykamp C, John G, Gillery P, English E, Ji L, Lenters-Westra E, Little RR, Roglic G, Sacks DB, Takei I. Investigation of 2 Models to Set and Evaluate Quality Targets for HbA1c: Biological Variation and Sigma-Metrics. Clinical Chemistry 2015;61:752-9.

Quo-Test® im Vgl. zu Premier Hb9210(HbF mit Menarini HA8180)

Lenters-Westra, E.HbA1c-Forscher, Europäisches Laboratorium für Glykohämoglobin, Isala, Zwolle, Niederlande

Leistungsbeurteilung des Quo-Test® nach NGSP-Kriterien und Sigma-Metriken

Chargennummern 020268 nicht-variante Proben

HbAS

HbAC

HbAD

HbAE

A2 erhöht

HbF

HbAJ

Identitätslinie X = Y

-10%

+10%

Hb

A1c

(m

mo

l/m

ol)

Quo

-Test

HbA1c (mmol/mol) Premier Hb9210