DELFI-20041 Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle...

Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 1

Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Alexander Hörnlein1, Stanislaus Reimer2, Christian Kneitz2,Christian Betz1, Frank Puppe1

1Universität Würzburg, Lehrstuhl für Künstliche Intelligenz und Angewandte Informatik2Poliklinik der Universitätsklinik Würzburg

Gliederung:1. Motivation: Verbindung von Klinik und Lehre2. Arztbriefe und fallbasierte Trainingssysteme3. Beispiel4. Evaluation5. Zusammenfassung und Ausblick


Motivation: Verbindung von Klinik & Lehre• Tradition in vielen medizinischen Vorlesungen und Praktika

– Vorstellung von aktuellen Patienten– Diskussion der Interpretation und Entscheidungsfindung– Aktuell: Aufwertung durch Problembasiertes Lernen

• Trend: ePatientenakte (EPA) & eLearning

• Idee: Nutzung der EPA für fallbasierte Trainingssysteme (FTS)– Automatischer Transfer von Daten aus EPA in FTS– Didaktische Nachbearbeitung des FTS– Beibehaltung der Tradition mit neuen Medien

• Aufgaben eines FTS:– Patientenpräsentation– Stellen von Aufgaben: Wahl von Untersuchungen, Diagnosen,

Therapien; (Bild)Befundung

• Daten in EPA– Arztbrief: Untersuchungen mit Patientendaten, Diagnosen, Therapien– Bilder


Erstellung von fallbasierten Trainingssystemen

Bisher: beträchtlicher Aufwand zur Erstellung eines Falles

• Seitenbasierter Ansatz: – Aufbereitung des Basismaterials– Erstellen der Verknüpfungen– Stellen von Aufgaben

• Wissensbasiertes Ansatz:– Erstellen einer Wissensbasis (aufwändig)– Eingabe des Falles (einfach)– automatische Generierung der Ablaufoberfläche

Kombination: – Basismaterial aus Arztbrief (semistrukturiert) in wissens-basierten

Ansatz übernehmen, ggf. nachbearbeiten


Anatomie eines Arztbriefes• Typische Struktur:

– "Vorspann": Absender, Adresse, Anrede, … – Diagnosen– Untersuchungen

• Untersuchungsname• Untersuchungsergebnisse

– Beurteilung (einschl. Therapien)– "Nachspann": Grüsse, Unterschrift

• Automatische Extraktion von Informationen:– Diagnosen– Untersuchungsnamen– Untersuchungsergebnisse


Optionale Nachbearbeitung des Arztbriefes• Vorgabe einer Standardterminologie

– Diagnosen– Untersuchungen– Therapien

• Redaktionelle Textänderungen – Anonymisieren (automatisch mit Heuristiken)– ggf. Vereinfachung der Untersuchungsergebnisse– ggf. Übernahme der Standardterminologie durch Kopieren und

Ersetzen– Einleitungs- und Fallabschlusskommentar markieren

• Bewertungswissen präzisieren:– Diagnosen gewichten– Zwischendiagnosen hinzufügen, bewerten und gewichten– Therapien hinzufügen und gewichten

• Bilder zu Untersuchungen hinzufügen

Umsetzung: – Standardtextsystem (Microsoft Word) mit automatischem Import in

d3web.Train– Bewertungen & Gewichte durch Markierungen (z.B. fett, kursiv)


Beispiel – Hierarchien

therapien.txt diagnosen.txt


Beispiel – Briefvorbereitung

Original-Fall

Nachbearbeitete Version


Beispiel – Briefvorbereitung


Beispiel – d3web.Train


Evaluation• Vorlesungsbegleitender Kurs der Rheumatologie an der Medizinischen

Poliklinik in Würzburg– 12 Fälle– 200 Studenten– Fallbearbeitung optional– Klausur optional – „Papierform von d3web.Train“

• Vorlesungsbegleitender Kurs der Hämatoonkologie an der Medizinischen Poliklinik in Würzburg

– 17 Fälle– 250 Studenten– Fallbearbeitung optional– Klausur mit konventionellen MC-Fragen (IMPP)


Ergebnisse - Rheumatologie

Teilnahme39 aktive Teilnehmer / 187 Fallbearbeitungen

0123456789

10

1 2 3 4 5 6 7 8 9 10 11 12

number of processed cases

nu

mb

er o

f st

ud

ents



Bewertung des Systems (16 Angaben)

2,00

1,501,60

1,271,20

1,87

2,50

1,561,81

0

1

2

3

4

5

Einarb

eitun

g

Gesta

ltung

Bedien

ung

neue

Ken

ntnis

se

weiter

hin a

rbeit

en

nuet

zlich

e Erg

aenz

ung

Schuln

ote

für P

rogr

amm

Schuln

ote

für E

insat

z

weiter

er E

insat

z sinn

voll (

2=ja)

1=+

+, 5

=--



Bewertung der Fälle (41 Angaben)

Lehrreich Schwierigkeit Feedback

0%

25%

50%

75%

100%

ange

mes

sen

zu sc

hwer

zu le

icht

0%

25%

50%

75%

100%

fair

zu g

ut

zu s

chle

cht

gänz

lich

unpa

ssen0

1

2

3

4

5

1=+

+,

5=--



Ergebnis der Klausur(Teilnahme freiwillig, Angabe auf der Klausur optional)

0,87

0,810,850,84

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

keine Fälle (12Teilnehmer)

1 - 4 Fälle (12Teilnehmer)



Kla

usu

rerg

ebn

is


Ergebnisse - Hämatoonkologie

Teilnahme47 aktive Teilnehmer / 435 Fallbearbeitungen

0

1

2

3

45

6

7

8

9

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

Number of processed cases

stu

den

ts



Bewertung des Systems (18 Angaben)

1,281,441,171,22

22

1,33

2

0

1

2

3

4

5Orie

ntat

ion

Desig

nUsa

bility

New kn

owle

dge

gaine

d

Inte

nded

futu

re u

se

usef

ul co

mple

men

t

Tota

l gra

de fo

r pro

gram

(1-6

)

Grade

for s

cena

rio (1

-6)

Gra

des

(1=

++;

5 =

--)



0%

25%

50%

75%

100%

ange

mes

sen

zu le

icht

zu sc

hwer

Bewertung der Fälle (67 Angaben)

Lehrreich Schwierigkeit Feedback

1,50

1

2

3

4

5

1 =

++;

5 =

--

0%

25%

50%

75%

100%

fair

zu g

ut

zu sc

hlec

ht

gänz

lich

unpa

ssen

d



Ergebnis der Klausur(Angabe auf der Klausur optional)

8,8 8,8 7,4 8,0

0

1

2

3

4

5

6

7

8

9

10

11 studentsprocessing 11-17

cases


cases


cases

26 studentsprocessing no

cases

Kla

usu

rerg

ebn

is (

max

. 10)


Evaluation - Zusammenfassung

• Teilnahme: ca. 20%, ca. 5/10 Fälle pro Student

• Bewertung des Systems: gut bis sehr gut– Ausnahme: „nur“ genügende Bedienung

• Einsatz des Systems im Kurs: gut bis sehr gut

• Fälle sind lehrreich und angemessen schwer

• Feedback größtenteils fair– Aber: „zu schlecht“ für 15%, 40%(!)

• Umgesetzte Fälle wurden kaum getestet

• Klausurergebnisse– Kein Ergebnis bei optionaler Klausur– Vorgeschriebene Klausur: Studenten, die das System intensiver

nutzten, waren bei MC-Klausur signifikant besser!


Zusammenfassung und Ausblick

• Implementierung fertig in d3web.Train– Effiziente Fallerstellung– optionale und inkrementelle Nachbearbeitung

• Erfolgreicher Einsatz mit> 30 nachbearbeiteten Arztbriefeneinigen Musterfälle

• Weitere Evaluationen– Einsatz im WS 04/05– Neu hinzugekommene Features evaluieren:

• Bildfragen• Folgesitzungen (Therapiesteuerung)

• Beziehungswissen durch Markierung von relevanten Textabschnitten

• Weitere Nachbearbeitung durch schrittweise Wissensformalisierung– Angabe von Kosten zu Untersuchungen und Therapien– Bereitstellung von relationalem Wissen über Beziehungen von

Diagnosen zu Untersuchungen und zu Therapien

• Besseres Feedback durch zusätzliche Erläuterungen


Fragen?

Kontakt: http://www.d3webtrain.de

DELFI-20041 Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle...

Documents

Transcript of DELFI-20041 Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle...