Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von...

23
Semantik und Bilddaten: wie Terminologien in der Radiologie helfen Henning Müller

Transcript of Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von...

Page 1: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Semantik und Bilddaten: wie Terminologien in der Radiologie helfen�

Henning Müller�

Page 2: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Motivation: Datenwachstum, Komplexität�

•� Exponentielles Wachstum der Anzahl der Bilder�

•� 30% weltweiter Speicherkapazität ist medical imaging�•� Nach Schätzungen der EU�

•� Komplexität der Bildgebung steigt�

•� Bilder sind in allen Abteilungen verfügbar�•� Alle klinischen Daten auch�

•� Integration vieler Daten ist notwendig�2�

Page 3: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Was ist Semantik?�

•� Semantik (von Altgriechisch ��������� sēmaínein ‚ �bezeichnen‘, ‚zum Zeichen �gehörig‘), auch Bedeutungslehre, nennt man�die Theorie oder Wissenschaft von der�Bedeutung der Zeichen. �

•� Zeichen können in diesem Fall Wörter, Phrasen oder Symbole sein. �

•� Die Semantik beschäftigt sich typischerweise mit den Beziehungen zwischen Zeichen und Bedeutungen dieser Zeichen�

3�

Page 4: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Semantik in der Medizin�

•� MeSH – Medical Subject headings�

•� UMLS – unified medical language system�•� Methathesaurus verschiedener Terminologien�

•� Kostenlose, und nicht freie Terminologien�

•� SNOMED – Systemized Nomenclature in Medicine�•� Teuer, da kommerziell gepflegt�

•� Teilweise kaufen Länder die gesamte Terminologie�

•� LinkedLifeData�•� Offen, freie Basis, 10 Mia Fakten�

4�

Page 5: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

RadLex�

•� Nicht Teil von UMLS�

•� Teilweise basiert auf anderen Terminologien�

•� Deutsche Version existiert�•� Wird aber (meines Wissens) nicht mehr upgedated�

5�

Page 6: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Khresmoi Projekt�

•� Mix von mehrsprachigen Ressourcen mit multimedia Daten für verschiedene Benutzer�•� Fokus auf 2D und 3D Bildsuche�

6�

Page 7: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Wo helfen Terminologien & Semantik?�

•� Beschreibung von Inhalten in eindeutiger Form�•� Synonyme, Bedeutungshierarchien, Abkürzungen�

•� Interoperabilität oder Austausch von Daten�•� Innerhalb und außerhalb der Institution�

•� Mehrsprachige Dokumentation und Suche�

•� Structured reporting und Wiederbenutzung von Templates�•� Effizienzgewinn�

•� Verlinken von Text und visuellen Inhalten�

7�

Page 8: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Wo gibt es Probleme mit Semantik?�

•� Standardisierte Beschreibung ist häufig weniger ausdruckstark�•� Vielleicht Freitext zusätzlich zu Terminologien?�

•� Automatische Auswahl nach Freitexteintrag�

•� Sehr große Terminologien sind nicht einfach zu lernen�•� SNOMED in Dänemark, langfristige Sicht ist notwendig�

•� Eindeutige Kodierung ist nicht unbedingt gegeben�

•� Am Anfang mehr Aufwand, später potentielle Zeitgewinne�

8�

Page 9: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Eindeutige Beschreibung�

•� Herzinfarkt, Myokardinfarkt, Herzmuskelinfarkt, …�•� Viele Synonyme�

•� ICD10-I20: MI, STEMI, NSTEMI, ACS�•� Viele Abkürzungen, die man lokal versteht, aber die

nicht Standard sind�

•� Auch “visuelle” Terminologien sind nicht eindeutig�•� Ground glass, Fibrosen, … mit Beispielen�

9�

Page 10: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Interoperabilität�

•� Mehr Patienten wechseln �den Arzt�

•� Generell mehr Mobilität�

•� Elektronische Daten�können einfacher �ausgetauscht werden�

•� Personal health records�

•� Vollständige Patientenakte�hat viele Vorteile�

•� eHealth Strategien in vielen Ländern�10�

Page 11: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Mehrsprachigkeit�

•� Vor allem in der Schweiz ein wichtiges Thema!�

•� Literatur ist englisch, klinische Dokumente deutsch/französisch/italienisch, …�

•� Teaching files in vielen Sprachen�

•� In RadLex/MeSH ist jeder Begriff in allen Sprachen derselbe�

11�

(EN) x-ray of a tibia with a fracture�(DE) Röntgenbilder einer gebrochenen Tibia�(FR) Radiographies du tibia avec fracture�

Page 12: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

www.RadReport.org�•� Viele Templates für structured reporting�

12�

Page 13: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

LinkedLifeData�

13�13

Page 14: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Klassifizieren von Journal Figuren�

•� Bilder in Artikeln sind�zum Grossteil nicht �klinische Bilder�

•� Caption erlaubt es �häufig nicht, den Typ zu�bestimmen�•� Visuelle Information kann �

helfen�

•� Typen auf RadLex/MeSH gemapped, ganze Struktur kann eingesetzt werden�•� Benutzung auch in Goldminer, um relevante Artikel

zu finden �14�

Page 15: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Bilder in der Literature - Subfigures�

15�

EHR, PACS�

Page 16: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Visuelle Semantik�

16�

Page 17: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Khresmoi Suchinterface�

17�

Page 18: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Extraktion von Begriffen�

18�

Page 19: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

•� Automatische Identifikation von Organen und Landmarks im Körper (etwa 50 Strukturen, 15 landmarks, RadLex terms)�•� Benchmark für die Bildverarbeitungscommunity�

•� Vergleichen von Algorithmen auf 10-40 TB Daten�

•� Gold standard und silver standard für Organe�

19�

Page 20: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Big data�

•� Sehr große Datenmengen müssen �automatisiert analysiert werden (>150 TB)�•� Ähnlich wie Google im Web mit Billionen Webseiten�

•� Man findet immer “ähnliche” Fälle�•� Auch für seltene Krankheiten�

•� Selbes Alter und ähnliche co-Morbiditäten�

•� Ähnliche CT und MR Generation, ähnliche Protokolle�

•� Auch normale Fälle als Vergleich�

•� Anonymisierung und Konfidentialität sind sehr wichtig, aber das Potential ist enorm �

20�

Page 21: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Nächste Schritte�

•� Extraktion von einfacher Semantik aus Bildern�•� Inhaltsbasierte Suche in Regionen�

•� Manuell annotierte Datenbanken sind nötig�•� Auch Kommentare und social bookmarking�

•� Verbinden von 2D, 3D, 4D�•� Visuelle Verbindung und über klinische Daten�

•� Klinische Bilder, Teaching files und die medizinische Literatur�

•� Einsatz in Klinik, Forschung und Lehre�

•� Suche wie in Google in ähnliche Fällen�•� Visualisierung von Beziehungen� 21�

Page 22: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Fazit�

•� Radiologie produziert immer mehr und immer komplexere Bilder�

•� Semantik kann helfen die Fälle zu beschreiben und Fälle später wiederzufinden�•� Statistiken und Vergleiche können automatisiert werden

wenn gut annotiert wird�

•� Austausch von Daten zwischen Klinikern wird einfacher�

•� Visuelle Analyse kann helfen Semantik in Bildern zu finden �•� Lokale Bildanalyse ist notwendig�

•� Automatisches Messen und Finden ähnliche ROIs�22�

Page 23: Semantik und Bilddaten: wie Terminologien in der ... · Was ist Semantik? • Semantik (von Altgriechisch sēmaínein ‚ bezeichnen‘, ‚zum Zeichen gehörig‘), auch Bedeutungslehre,

Kontakt und mehr Information�

•� Mehr informationen unter:�•� http://khresmoi.eu/�

•� http://visceral.eu/�

•� http://medgift.hevs.ch/�

•� http://publications.hevs.ch/�

•� Kontakt:�•� [email protected]

23�