Nationale Qualitätsmessungen Erwachsenenpsychiatrie 2012: … · 2019-09-30 · Nationale...

Nationale Qualitätsmessungen Erwachsenenpsychiatrie 2012: Methoden und Ergebnisse

ANQ Ausserordentliche Mitgliederversammlung 20. November 2013, Olten Dr. Bernhard Bührlen, Simone McKernan MSc, Dr. Evita Harfst UPK Basel [email protected]

mailto:[email protected]



Aufgaben des Auswertungsinstituts

› Entwicklung Auswertungskonzept für faire Klinikvergleiche

› Entwicklung Schema für Benchmark-Berichte

› Umsetzung der Entscheidungen des Qualitätsausschusses Psychiatrie ANQ Rückmeldungen zur Datenqualität Vergleichsberichte Outcome und Datenqualität

› Beratung der Kliniken beim Datenmanagement

› Datenlogistik

… alles in enger Kooperation mit dem Qualitätsausschuss Psychiatrie des ANQ:

- konzeptionelle Genehmigung durch ANQ

- Abnahme Berichte durch ANQ

20.11.2013 ANQ Ergebnisse Psychiatrie Erwachsene 2012 2

Die Partner und Kliniken haben erhalten:

› Nov. 2012: Vergleichsbericht zur Datenqualität Klinikrückmeldung zur Qualität der Daten erhoben 31.07.2012 – 30.09.2012

› März 2013: Vergleichsbericht zur Datenqualität Klinikrückmeldung zur Qualität der Daten erhoben 31.07.2012 – 31.12.2012

Im Juni 2013: Vollständiger Satz von jährlichen Berichten zu den Daten erhoben 31.07.2012 – 31.12.2012:

› Nationaler Vergleichsbericht Outcome 2012 Ergebnisse bezüglich Ergebnisqualität aller Kliniken im Vergleich

› Klinikindividueller Bericht Outcome 2012 (nur an die Kliniken) Ergebnisse bezüglich Ergebnisqualität einzelne Klinik

› Nationaler Vergleichsbericht Datenqualität 2012 Ergebnisse bezüglich Datenqualität aller Kliniken im Vergleich

› Sept. 2013: Vergleichsbericht zur Datenqualität Klinikrückmeldung zur Qualität der Daten erhoben 01.01.2013 – 30.06.2013

3 20.11.2013 ANQ Ergebnisse Psychiatrie Erwachsene 2012

METHODEN

Basis: Nationaler Vergleichsbericht Outcome 2012


Qualitätsindikatoren


Indikator Selbsteinschätzung durch den/die Patienten/in

Fremdeinschätzung durch behandelndes Personal

Medizinische Statistik

Erhebung während stationärem Aufenthalt, Erfassung spätestens 2 Monate nach Austritt

− Basisdatensatz BFS − Psychiatrie

Zusatzdatensatz BFS

Symptomschwere

Differenz zwischen Eintritts- und Austrittsmessung

− BSCL (Kurzform des SCL-90)

− HoNOS

Freiheitsbeschränkende Massnahmen

Verlaufsdokumentation aller freiheitsbeschränkenden Massnahmen

− Bogen EFM entspr. Pilotprojekt ergänzt um geronto-typische Massnahmen

Daten

› 58 Kliniken haben im Februar 2013 ihre Daten ans Auswertungsinstitut geliefert.

› Entsprechend der noch nicht überall befriedigenden Datenqualität werden die Kliniknamen vorläufig durch Nummern verschlüsselt.

› Die Ergebnisse zu freiheitsbeschränkenden Massnahmen werden noch nicht veröffentlicht.


Statistische Analysen für «faire» Klinikvergleiche

› Die Kliniken weisen unterschiedliche Ausgangsbedingungen auf, die sich in einer unterschiedlichen Zusammensetzung ihrer Patientenklientel niederschlagen.

› Da verschiedene Alters-, Geschlechts-, Diagnose- oder andere Gruppen (der «Case-mix» der Kliniken) sich in ihren Chancen auf ein gutes Behandlungsergebnis unterscheiden, wären die Kliniken, die eine ungünstige Zusammensetzung ihrer Patienten aufweisen, im direkten Klinikvergleich benachteiligt.

› Für aussagekräftige Klinikvergleiche ist es notwendig, diese Unterschiede in den Ausgangsbedingungen zu korrigieren.

› Dieses geschieht über ein statistisches Verfahren, welches nicht die Rohdaten der Kliniken vergleicht, sondern die Residualwerte, aus denen der Einfluss der Störgrössen («Confounder») eliminiert wurde.


Risikoadjustierung

Regressionsverfahren zur Elimination der Störeinflüsse: › Daten der Gesamtstichprobe Schätzung des Ergebniswertes,

der für jeden einzelnen Fall zu erwarten ist (= «Erwartungswert»)

› Vergleich: Erwartungswert – tatsächlicher Ergebniswert jedes Falls Differenz = «Residualwert»

› Standardisierung der Residualwerte (Mittelwert = 0, Standardabweichung = ± 1)

› Wenn Residualwert Klinik X > Durchschnittwert aller Kliniken hohe Qualität (Ergebnis ist besser, als aufgrund der Fallmerkmale zu erwarten wäre)


1. Alter bei Eintritt 2. Geschlecht 3. Hauptdiagnose

(Austrittsdiagnose) 4. Schweregrad der Krankheit bei

Eintritt 5. Fürsorgerische Unterbringung 6. Nationalität 7. Bildungsstand 8. Zivilstand

9. Beschäftigung vor Eintritt 10. Aufenthaltsort vor Eintritt 11. Aufenthalt nach Austritt 12. Behandlung nach Austritt 13. Versicherungsart

(allgemein, halb-privat, privat)

14. Einweisende Instanz 15. Entscheid für Austritt 16. Behandlungsdauer

Risikoadjustierung – Kandidaten für Störgrössen Folgende Variablen aus den Daten des Einzelfalls werden bzgl. ihres Einflusses auf das Outcome und Notwendigkeit der Risikoadjustierung geprüft. Der Qualitätsausschuss Psychiatrie des ANQ hat entschieden, Strukturvariablen nicht als Confounder zu berücksichtigen.

| 9 20.11.2013 ANQ Ergebnisse Psychiatrie Erwachsene 2012

Confounderanalyse – Ergebnisse bezügl. Outcomes


β (HoNOS )

β (BSCL)

β (HoNOS)

β (BSCL)

Alter bei Eintritt 0.014 -0.098* Zivilstand max. 0.080* max. 0.062*

Geschlecht 0.008 0.027 Beschäftigung vor Eintritt

max. -0.077*

max. -0.046 *

Hauptdiagnose max. 0.172*

max. 0.081

Aufenthaltsort vor Eintritt

max. 0.037* max. -0.035

Schweregrad bei Eintritt (HoNOS)

0.571* 0.073* Versicherungsart (allg, halb-priv., priv.)

max. -o.057

max. -0.048

Fürsorgerische Unterbringung

0.056* -0.023 Einweisende Instanz max. 0.021

max. -0.032

Nationaliät 0.016

0.025 Entscheid für Austritt max. 0.072* max. 0.044

Bildungsstand max. -0.046*

max. -0.043

Behandlungsdauer 0.16 0.050*

Lineare Regression; Methode der kleinsten Quadrate; β= standard. Regressionsparameter (Grad des Zusammenhangs zwischen erklärender und erklärter Variable); *: α<0.01

Erklärte Varianz: Outcome HoNOS: 33.5%; Outcome BSCL: 4.1%

Confounder-Analyse – Gesamtbewertung

Alle statist. signifikanten Variablen + Geschlecht werden in die Regressionsmodelle aufgenommen: › Alter bei Eintritt › Geschlecht › Hauptdiagnosegruppe › HoNOS-Gesamtwert bei Eintritt › Fürsorgerische Unterbringung › Beschäftigung vor Eintritt › Bildungsstand › Zivilstand › Aufenthaltsort vor Eintritt › Entscheid für Austritt › Behandlungsdauer


STICHPROBEN-BESCHREIBUNG



Eingeschlossene Fälle

› Daten erhoben 01.07.2012 – 31.12.2012

› In 58 Kliniken Psychiatrie Erwachsene

› 24‘509 cas


Hauptdiagnose


Verweildauer

Maximale Dauer 184 Tage (nur 1/2 Jahr Beobachtung!)


Symptomschwere bei Eintritt


Maximalwert HoNOS: 48 Maximalwert BSCL: 212

VERGLEICHENDE ERGEBNISSE OUTCOME



Fehlerbalkendiagramm mit dem Gesamtmittelwert und zugehörigem 95%-Konfidenzintervall als Referenzbereich Solche Diagramme befinden sich im Kapitel 4 zur Beschreibung der Behandlungsqualität im Klinikvergleich: Fremdbewertung: HoNOS Gesamtscore, Selbstbewertung: BSCL Gesamtscore.

Y-Achse mit der Ausprägung der

gemessenen Werte

X-Achse mit den einzelnen Kliniken

Lesebeispiel: Das Ergebnis der Klinik 23 liegt im durchschnitt-lichen Bereich (das 95%-Konfidenzintervall der Klinik schneidet den Referenzbereich). Das Ergebnis der Klinik 51 liegt im unterdurch-schnittlichen Bereich.

95%-Konfidenzintervall der Gesamtstichprobe

(=Referenzbereich) (Bereich zwischen grünen Linien)

Standardisierter Mittelwert der Gesamt-stichprobe (schwarze Linie)

Standardisierter Mittelwert der

einzelnen Klinik

95%-Konfidenzintervall der einzelnen Klinik


Behandlungsergebnis gemessen mit dem HoNOS


Behandlungsergebnis gemessen mit dem BSCL


Rapport individuel clinique: Résultats non ajustés


HoNOS: Gesamt-wert: -48 … +48 Skalenwerte: -4 …+4

BSCL: Gesamtwert: -212 … +212 Skalenwerte: É1: -28 …+28 É2, É4, É5: -24 … +24 É6, É7, É8, É9: -20…+20 É3: -16…+16

DATENQUALITÄT

Basis: Nationaler Vergleichsbericht Datenqualität 2012


Kumuliertes Säulendiagramm Solche Diagramme befinden sich im Kapitel 6 zur Datenqualität: Anzahl auswertbarer Fälle HoNOS, Anzahl auswertbarer Fälle BSCL. Lesebeispiel: Von Klinik 37 können die Daten von 50% der Fälle in die Auswertung einfliessen (Daten mit auswertbarer Qualität). Dies liegt jedoch unter dem Erwartungswert des ANQ (80% auswertbare Fälle). Bei 14% der Fälle der Klinik 37 liegt ein Dropout vor, 11 % der Fälle haben mangelhafte und 25% der Fälle fehlende Angaben und können daher nicht in die Analyse eingeschlossen werden.

Y-Achse mit dem Anteil der

Fälle

X-Achse mit den einzelnen

Kliniken

Legende der Kategorien Resultate der Gesamtstichprobe

Anteil der Fälle, die in die Analyse

eingeschlossen werden können.

Anteil der Fälle, die wegen eines

Dropouts nicht in die Analyse

eingeschlossen werden können.

Anteil der Fälle, die wegen

mangelhafter oder fehlender Angaben nicht in die Analyse eingeschlossen

werden können.

Erwartungswert des ANQ für den Anteil auswertbarer Fälle


Datenqualität HoNOS 2012


Datenqualität HoNOS 2012

› 19 von 58 Kliniken haben eine Rate von 80% oder mehr Fällen erreicht, die in die Klinikvergleiche eingeschlossen werden können.

› Mehr als zwei Drittel der Kliniken haben mehr als 50% ihrer Fälle mit auswertbarer Qualität erfasst.

› Nur wenige Kliniken haben ihre Fälle so ungenügend dokumentiert, dass weniger als 30% ihrer Fälle für die Klinikvergleiche auswertbar waren.

› In einigen Kliniken gibt es noch eine grosse Zahl von HoNOS-Datensätzen, die vollständig und ohne Erklärung fehlen.


Datenqualität BSCL 2012


Datenqualität BSCL 2012

› Die 40% gepaarte Fragebögen von Ein- und Austritt, die vom ANQ als Erwartungswert festgelegt wurden, zusammen mit den notwendigen soziodemographischen Daten, wurden von 21 der 58 Kliniken erreicht.

› 45 Kliniken haben zumindest 20% von Datensätzen BSCL erzielt, welche in die Klinikvergleiche aufgenommen werden konnten.

› Auch im BSCL ist der Anteil von gerechtfertigten und dokumentierten Dropouts, aber auch von undokumentierten Datensätzen noch sehr hoch.


Vergleich Datenqualität HoNOS 2. Hj. 2012 vs. 1. Hj. 2013

| 28

0%10%20%30%40%50%60%70%80%90%

100%

05 26 59 22 08 58 55 13 15 48 24 52 06 07 37Ge

sam

t49 43 10 21 47 44 30 46 54 27 40 29 39 23 28 31 02 03 35 34 36 12 18 38 32 33 16 50 01 11 51 19 56 57 45 53 42 17 41 04 09 14

Ante

il de

r Fäl

le

Kliniken

(1.7. - 31.12.2012)

0%

20%

40%

60%

80%

100%

61 26 08 22 25 48 13 24 05 06 07 37 34 49 63 31Ge

sam

t21 15 47 46 54 10 30 43 03 44 40 29 59 18 53 23 28 35 58 39 32 38 52 02 09 19 33 17 12 27 55 36 50 51 56 11 01 16 42 04 14 45 57 60 62

Ante

il de

r Fäl

le

Kliniken

(1.1.-30.6.2013)

Komplett Auswertbar Dropout (nicht beeinflussbar) Dropout (beeinflussbar)Mangelhaft Fehlt Erwartungswert

Anteil auswertbarer Fälle für HoNOS-Berechnungen (beinhaltet MedStat + Psych. Zusatzdaten + HoNOS Eintritt + HoNOS Austritt)

20.11.2013

ZUSAMMENFASSUNG UND METHODOLOGISCHE SCHLUSSFOLGERUNGEN


Zusammenfassung und Schlussfolgerungen

› Die angewandte Methodik erlaubt es, Klinikvergleiche zu erstellen.

› Bedeutsamkeit der Datenqualität für die Aussagekraft der Ergebnisse

› Verbesserungen erforderlich in einigen Kliniken

Motivation der Fallverantwortlichen

Integration der Messungen in die Routine (Diagnostik, Therapie)

Motivation der Patienten/-innen

Kontrolle der Datenerfassung und -eingabe

Mindestens Dokumentation der Dropout-Gründe

› Details der Methodik werden weiter diskutiert (Aufnahme welcher Confoundervariablen, Darstellung der Ergebnisse…)


Vielen Dank für Ihre Aufmerksamkeit!

Simone McKernan, MSc Tel. (061) 325 5286 [email protected]

| 31 20.11.2013 ANQ Ergebnisse Psychiatrie Erwachsene 2012

Ihre Ansprechpersonen:

Dr. Bernhard Bührlen Tel. (061) 325 5793 [email protected]

Dr. Evita Harfst Tel. (061) 325 5286 [email protected]

www.upkbs.ch




Nationale Qualitätsmessungen Erwachsenenpsychiatrie 2012: … · 2019-09-30 · Nationale...

Documents

Transcript of Nationale Qualitätsmessungen Erwachsenenpsychiatrie 2012: … · 2019-09-30 · Nationale...