GRADE Methodik: Analyse eines Beispiels Holger Schünemann.

GRADE Methodik:Analyse eines Beispiels

Holger SchünemannHolger Schünemann

(Klinische) Fragestellung

Population: Patienten mit chronischem Vorhofflimmern ohne neurologische Vorgeschichte

Intervention: Vitamin K Antagonisten (Coumadin) (comparison) vs. keine aktive Therapie

Outcome: Hirnembolie, intrazerebrale Blutung, Mortalität

Die Evidenz

Systematischer Review*

5 RCTs

2.313 Patienten randomisiert

Warfarin in allen Studien

1,5 Jahre durchschnittliche Beobachtungsdauer

Endpunkte/Outcomes: Hirninfarkt, Blutungen (extra- und intrazerebral), Mortalität (vaskulär vs. allgemein), Abhängigkeit

*Systematischer Review: Aguilar & Hart. Cochrane Database of Systematic Reviews 2005,

Issue 3.

Population: Patienten mit chronischem Vorhofflimmern ohne neurolgische Vorgeschichte

Intervention: Vitamin K Antagonisten (Coumadin) (comparison) vs. keine aktive Therapie

Outcome: Hirnembolie, intrazerebrale Blutung, Mortalität

Unterschiedl. Basisrisiko:Niedrig, moderate, hoch

Andere “outcomes”: Lebensqualität

(Einschränkungen)

(Klinische) Fragestellung

Alle Hirninfarkte (isch. Strokes)

Disabling oder fatal stroke (isch. und hemorrh.)

Intrazerebrale Blutung

Schwere extrazerebrale Blutung

Mortalität (allgemein)

Mortalität (vaskulär)

*Systematischer Review: Aguilar & Hart. Cochrane Database of Systematic

Reviews 2005, Issue 3.

Outcomes (Endpunkte)


Wie bedeutsam ist ein Endpunkt für die Entscheidungsfindung?

Für jeden Endpunkt wird die klinische Bedeutung auf einer Skala von 9 (höchstbedeutsam) bis 1 (geringste Bedeutung) eingeschätzt.

• Zuordnung von 7 – 9: der Endpunkt ist entscheidend.

• Zuordnung von 4 – 6: der Endpunkt ist klinisch wichtig, aber nicht entscheidend.

• Zuordnung von 1 – 3: der Endpunkt ist klinisch nicht relevant.

Alle Hirninfarkte (isch. Strokes)

Disabling oder fatal stroke (isch. und hemorrh.)

Intrazerebrale Blutung


Mortalität (allgemein)

Mortalität (vaskulär)

*Systematischer Review: Aguilar & Hart. Cochrane Database of Systematic

Reviews 2005, Issue 3.


7

9

9

7

8

9

Qualität der Evidenz

Studiendesign Herabstufen falls* Heraufstufen falls *

HochRandomisierte Studie

Studienqualität: Schwerwiegende Einschränkungen ….... -1 Sehr schwerwiegende Einschränkungen ........ -2 Widersprüchliche Effekte Wesentl. inkonsistente Effekte ......................... -1Direktheit** Einige Unsicherheit ..... -1 Große Unsicherheit ….. -2Vorhandene Daten Wenige oder ungenaue Daten ......................... -1Reporting Bias Hohe Wahrscheinlichkeit für Reporting Bias ......... -1

die Assoziation .... stark, ohne plausible Confounder, konsistente u. direkte** Evidenz ........... +1 .... sehr stark, ohne Einschränkung d. Validität, konsistente und direkte** Evidenz......................... +2Dosis-Wirkungsbeziehung Evidenz für eine Dosis- Wirkungsbeziehung.... +1Confounder Alle plausiblen Confounder hätten den beobachteten Effekt verringert ............. +1

Mittel/moderat

NiedrigBeobachtungs-Studie

Sehr niedrig Sonstige Evidenz

Disabling oder fatal stroke

Studiendesign:

5 Randomisierte kontrollierte Studien

Ausgangsqualität der Evidenz für diesen Endpunkt:

Hoch


Studienqualität (detailed design and execution):

Geheimhaltung der Verblindungsfolge/ Concealment

Vollständigkeit der Nachbeobachtung/Follow-up

In zwei Studien waren Patienten und Gutachter der Endpunkte verblindet (CAFA; SPINAF); in den anderen Studien waren nur die Gutachter der Endpunkte verblindet.

Qualität der Evidenz für diesen Endpunkt nun:

-1 Moderat/mittel


Konsistenz der Resultate (consistency):

Keine Inkonsistenz (no inconsistency)


Moderat/mittel


Direktheit der Evidenz (directness):

Population, Intervention, Endpunkte

Direkt


Moderat/mittel


Vorhandene Daten/unpräzise oder spärliche Datenlage (imprecise or sparse data):

Würden wenige Fälle oder grӧssere Studien die Ergebnisse entscheidend verändern?


Vorhandene Daten/unpräzise oder spärliche Datenlage (imprecise or sparse data):

Keine unpräzise oder spärliche Datenlage


Moderat/mittel


Publikationbias (reporting bias):

Nicht vorhanden


Moderat/mittel


Starke Assoziation?

Vorhanden (RR = 0.46)


+1 Hoch (von mittel/moderat)

stark, ohne plausible Confounder, konsistente

u. direkte** Evidenz

Dosis-Wirkungsbeziehung

Evidenz für eine Dosis-

Wirkungsbeziehung.... +1

Confounder

Alle plausiblen Confounder

hätten den beobachteten

Effekt verringert ............. +1

Plausible Faktoren, die in Studien zum Vergleich von

Mortalitätsraten von profit- und nicht-profitorientierten

Krankenhäusern nicht zur Adjustierung

verwendet wurden, hätten den

beobachteten Effekt bereits reduziert


• Studiendesign: 4 RCTs → Qualität: Hoch

• Studienqualität/Ausführung:

• nicht verblindet: - 1 → Moderat/mittel

• Keine Inkonsistenz/direkt

• Vorhandene Daten/unpräzise oder spärliche Datenlage (imprecise or spase data):

Herabstufung der Qualität der Evidenz aufgrund einer unpräzisen oder spärlichen Datenlage → Vorgehensweise:

• Der Schwellenwert, Daten als unpräzise oder spärlich zu bezeichnen, sollte bei Einzelstudien niedriger ausfallen. Ergebnisse von Einzelstudien mit kleinen Fallzahlen (oder niedrigen Ereignisraten) und damit großen Konfidenzintervallen – die daher einen potentiellen klinischen Nutzen wie auch Schaden mit einschließen – sollten als unpräzise oder spärliche Daten beschrieben werden

• Effektschätzer mit ausreichend großen Konfidenzintervallen, welche, ungeachtet anderer Outcomes, zu widersprüchlichen Empfehlungen führen, sollten mit dem Attribut unpräzise oder spärliche Daten versehen werden


• Studiendesign: 4 RCTs → Qualität: Hoch

• Studienqualität/Ausführung:

• nicht verblindet: - 1 → Moderat/mittel

• Keine Inkonsistenz/direkt

• Vorhandene Daten/unpräzise oder spärliche Datenlage (imprecise or spase data): - 1 → Niedrig

GRADE Evidence Profile Author(s): Schunemann Date: 8/28/2005 Question: Should warfarin vs placebo or no treatment be used for patients with non-valvular atrial fibrillation? Patient or population: Patients with non-valvular atrial fibrillation Settings: Long term outpatient management Systematic review: Aguilar MI, Hart R. Oral anticoagulants for preventing stroke in patients with non-valvular atrial fibrillation and no previous history of stroke or transient ischemic attacks. The Cochrane Database of Systematic Reviews 2005, Issue 3. Art. No.: CD001927.pub2. DOI: 10.1002/14651858.CD001927.pub2.

Summary of findings Quality assessment

No of patients Effect

No of studies

Design Limitations Consistency Directness Other

considerations warfarin

placebo or no treatment

Relative (95% CI)

Absolute (95% CI)

Quality Importance

Disabling or Fatal Stroke (ischemic and hemorrhagic) (Neuroimaging or autopsy6 Follow up: Mean: 1.5 years)

5 Randomised trials

Serious limitations (-1)8,12

No important inconsistency

No uncertainty

Strong association (+1)13

18/1154 (1.6%)

39/1159 (3.4%)

RR 0.46 (0.27 to 0.81)

20/1 000 (30 fewer/1000 to 10 fewer/1000)

High

914

Intracranial Hemorrhage (Clinical diagnosis confirmed by CT or post-mortem Follow up: Mean follow-up: 1.5 years)

5 Randomised trials

No limitations


No uncertainty

Imprecise or sparse data (-1)10

5/1154 (0.4%)

2/1159 (0.2%)

RR 1.87 (0.51 to 6.82)

3/1 000 (0 more/1000 to 10 more/1000)

Moderate

8

Extracranial hemorrhage (Transfusion or invasive procedure requirement1 Follow up: 1.5 years)

4 Randomised trials

Serious limitations (-1)8


No uncertainty


17/1154 (1.5%)

16/1159 (1.4%)

RR 1.06 (0.54 to 2.09)

0/1 000 (10 fewer/1000 to 10 more/1000)

Low

7

All cause mortality3,5 (Direct patient follow-up Follow up: 1.5 years)

5 Randomised trials

No limitations15


No uncertainty

None 69/1225 (5.6%)

99/1236 (8%)

RR 0.70 (0.52 to 0.95)

20/1 000 (40 fewer/1000 to 1 fewer/1000)

High

9

Vascular death2 (Death due to stroke, heart disease, hemorrhage and sudden death Follow up: 1.5 years)

5 Randomised trials

No limitations15


No uncertainty

None 43/1154 (3.7%)

51/1159 (4.4%)

RR 0.85 (0.57 to 1.26)

1/1 000 (3 fewer/1000 to 1 more/1000)

High

9

All ischemic stroke (Neuroimaging or autopsy6,7 Follow up: 1.5 years)

5 Randomised trials

No limitations8,9


No uncertainty


22/1154 (1.9%)

69/1159 (6%)

RR 0.32 (0.20 to 0.51)

40/1 000 (60 fewer/1000 to 20 fewer/1000)

High

7

Qualität aller Endpunkte

Footnotes:

1. required transfusion of two or more units of red blood cells, hospitalization, or invasive procedures to control bleeding and those that resulted in death or permanent functional impairment (e.g. blindness) were included.

2. These consisted of death due to stroke, heart disease, hemorrhage and sudden deaths of unknown cause.

3. All cause mortality: death from any cause (vascular and non- vascular) within 30 days from onset of stroke symptoms. For this outcome, results of published data, which included about 6% of patients with prior stroke or TIA, were used.

4. The diagnosis of MI was usually based upon electrocardiographic changes, elevation of enzymes or post-mortem examination.

5. From Fig 10

6. Follow-up for this outcome was less than 100%.

7. Ischemic stroke was an identified outcome in all trials, with the ischemic nature conrmed by neuroimaging or autopsy in the majority of cases.

8. In two studies (CAFA; SPINAF) patients and outcome assessors were blind to OAC administration, while in the remaining trials treatment was given open label with outcomes verified by those unaware of treatment assignment.

9. Methodological quality was not downgraded because the lack of blinding in some studies did not have important impact on the results

10. Only 5 events in the OAC group and 2 events in the control group, confidence intervals wide

11. Only 17 events in the OAC and 16 events in the control group

12. Loss to follow-up not reported in AFASAK I and CAFA, ranged from 0 to 3% in the other studies

13. Strong association present: RR 0.46

14. Importance is rated on a scale from 1 to 9. 1 represents least important (not important for decision making) and 9 most important (for decision making).

15. Lack of blinding in two trials of lesser concern


Beispiel beobachtende Studien und

kontinuierliche Daten Bewertung der Qualität der Evidenz Zusammenfassung der Ergebnisse

Anzahl der Patienten Effektschätzer

Anzahl der Studien

Design Qualität Konsistenz Direktheit Andere Faktoren*

SSRIs TZAs Relativ (95% KI)

Absolut Qualität Wichtigkeit

Ausprägung der Depression (auf der Hamilton Depressionsskala nach 4 bis 12 Wochen Therapie)

Citalopram (8) Fluoxetine (38) Fluvoxamine (25) Nefazodone (2) Paroxetine (18) Sertraline (4) Venlafaxine (4)

Randomisierte, kontrollierte Studien

Keine schwer-wiegenden Limitierungen

Keine wichtige Inkonsistenz

Ungewissheit bezüglich der Direktheit der Evidenz (Outcome)†

Keine 5044 4510 WMD 0,0034 (-0,007; 0,075)

Kein Unter-schied

Mittlere Qualität

8

Vorübergehende unerwünschte Wirkungen die zur Beendigung der Therapie führten

Citalopram (8) Fluoxetine (50) Fluvoxamine (27) Nefazodone (4) Paroxetine (23) Sertraline (6) Venlafaxine (5)

Randomisierte, kontrollierte Studien

Keine schwer-wiegenden Limitierungen

Keine wichtige Inkonsistenz

Direkt Keine 1948/703 2 (28%)

2072/6334 (33%)

RRR 13% (5%; 20%)

5/500 Hohe Qualität

8

Tödlich verlaufende Überdosierungen§

UK Office for National Statistics (1)

Beobachtungs-studien

Schwer-wiegende Limitierung‡

Nur eine Studie

Direkt Sehr starke Assoziation

1/100.000 Behand-

lungsjahre

58/100.000 Behand-

lungsjahre

RRR 98% (97%; 99%)§

6/10.000 Mittlere Qualität

8

Risikogruppen

Risiko für Kardioembolischen Hirninfarkt:

Hoch (prior TIA or stroke*, > 75 Jahre, LVEF/CHF, HTN oder DM): 10%/Jahr

Moderat (65 bis 75 Jahre) oder ein Risikofaktor: 1% bis 2%/year

Niedrig (< 65 Jahre): 0,5%/Jahr

Durchschnittliches Risiko in den Kontrollgruppen aller “RCTs”: 3.4%/year

GRADE Profiler

GRADEpro©

Visual studio.net

Windows based (Mac version coming)

Easy installation

Help file

Will be integrated with Revman (trial)

Free availability

Beta version

Erstellung von GRADE profiles




No of studies




Relative (95% CI)

Absolute (95% CI)

Quality Importance


5 Randomised trials



No uncertainty


18/1154 (1.6%)

39/1159 (3.4%)

RR 0.46 (0.27 to 0.81)

20/1 000 (30 fewer/1000 to 10 fewer/1000)

High

914


5 Randomised trials

No limitations


No uncertainty


5/1244 (0.4%)

2/1159 (0.2%)

RR 1.75 (0.47 to 6.41)

3/1 000 (0 more/1000 to 10 more/1000)

Moderate

8

Extracranial hemorrhage (Transfusion or invasive procedure requirement1 Follow up: )

4 Randomised trials



No uncertainty


17/1244 (1.4%)

16/1159 (1.4%)

RR 0.93 (0.48 to 1.79)

0/1 000 (10 fewer/1000 to 10 more/1000)

Low

7

All cause mortality3,5 (Direct patient follow-up Follow up: )

5 Randomised trials

No limitations15


No uncertainty

None 69/1225 (5.6%)

99/1236 (8%)

RR 0.70 (0.52 to 0.95)

20/1 000 (40 fewer/1000 to 1 fewer/1000)

High

9

Vascular death2 (Death due to stroke, heart disease, hemorrhage and sudden death Follow up: )

5 Randomised trials

No limitations15


No uncertainty

None 43/1244 (3.5%)

51/1159 (4.4%)

RR 0.79 (0.53 to 1.17)

1/1 000 (3 fewer/1000 to 1 more/1000)

High

9


5 Randomised trials

No limitations8,9


No uncertainty

None 22/1154 (1.9%)

69/1159 (6%)

RR 0.32 (0.20 to 0.51)

40/1 000 (60 fewer/1000 to 20 fewer/1000)

High

7

8. In two studies (CAFA; SPINAF) patients and outcome assessors were blind to OAC administration, while in the

remaining trials treatment was given open label with

outcomes verified by those unaware of treatment

assignment.




No of studies




Relative (95% CI)

Absolute (95% CI)

Quality Importance


5 Randomised trials



No uncertainty


18/1154 (1.6%)

39/1159 (3.4%)

RR 0.46 (0.27 to 0.81)

20/1 000 (30 fewer/1000 to 10 fewer/1000)

High

914


5 Randomised trials

No limitations


No uncertainty


5/1154 (0.4%)

2/1159 (0.2%)

RR 1.87 (0.51 to 6.82)

3/1 000 (0 more/1000 to 10 more/1000)

Moderate

8

Extracranial hemorrhage (Transfusion or invasive procedure requirement1 Follow up: 1.5 years)

4 Randomised trials



No uncertainty


17/1154 (1.5%)

16/1159 (1.4%)

RR 1.06 (0.54 to 2.09)

0/1 000 (10 fewer/1000 to 10 more/1000)

Low

7

All cause mortality3,5 (Direct patient follow-up Follow up: 1.5 years)

5 Randomised trials

No limitations15


No uncertainty

None 69/1225 (5.6%)

99/1236 (8%)

RR 0.70 (0.52 to 0.95)

20/1 000 (40 fewer/1000 to 1 fewer/1000)

High

9

Vascular death2 (Death due to stroke, heart disease, hemorrhage and sudden death Follow up: 1.5 years)

5 Randomised trials

No limitations15


No uncertainty

None 43/1154 (3.7%)

51/1159 (4.4%)

RR 0.85 (0.57 to 1.26)

1/1 000 (3 fewer/1000 to 1 more/1000)

High

9


5 Randomised trials

No limitations8,9


No uncertainty


22/1154 (1.9%)

69/1159 (6%)

RR 0.32 (0.20 to 0.51)

40/1 000 (60 fewer/1000 to 20 fewer/1000)

High

7

Footnotes:

1. required transfusion of two or more units of red blood cells, hospitalization, or invasive procedures to control bleeding and those that resulted in death or permanent functional impairment (e.g. blindness) were included.

2. These consisted of death due to stroke, heart disease, hemorrhage and sudden deaths of unknown cause.

3. All cause mortality: death from any cause (vascular and non- vascular) within 30 days from onset of stroke symptoms. For this outcome, results of published data, which included about 6% of patients with prior stroke or TIA, were used.

4. The diagnosis of MI was usually based upon electrocardiographic changes, elevation of enzymes or post-mortem examination.

5. From Fig 10

6. Follow-up for this outcome was less than 100%.

7. Ischemic stroke was an identified outcome in all trials, with the ischemic nature conrmed by neuroimaging or autopsy in the majority of cases.

8. In two studies (CAFA; SPINAF) patients and outcome assessors were blind to OAC administration, while in the remaining trials treatment was given open label with outcomes verified by those unaware of treatment assignment.

9. Methodological quality was not downgraded because the lack of blinding in some studies did not have important impact on the results

10. Only 5 events in the OAC group and 2 events in the control group, confidence intervals wide

11. Only 17 events in the OAC and 16 events in the control group

12. Loss to follow-up not reported in AFASAK I and CAFA, ranged from 0 to 3% in the other studies


14. Importance is rated on a scale from 1 to 9. 1 represents least important (not important for decision making) and 9 most important (for decision making).

15. Lack of blinding in two trials of lesser concern


GRADEpro

• Reproduzierbar

• Transparent– Footnotes

– Entscheidungen/Judgments

• GRADE profile– Zusammenfassung

• Integration mit Revman

• Abrufbar und aktualisierbar

GRADE Methodik: Analyse eines Beispiels Holger Schünemann.

Documents

Transcript of GRADE Methodik: Analyse eines Beispiels Holger Schünemann.