PETRUS-Workshop „Automatische Erschließungsverfahren“am 21./22. März 2011

Morpho-semantische Analyse von Texten

Dr. Kornél MarkóDr. Katrin Tomanek

Averbis GmbH

Über Averbis…

Herkunft: Spin-off des Universitätsklinikums Freiburg

Gründung: 2007

Standort: Freiburg im Breisgau

Mitarbeiter: Expertenteam aus Linguisten, Ärzten und Entwicklern

Kooperationen: mit führenden Forschungseinrichtungen

Fokus: Skalierbare Textanalyse-Software

Branchen: Gesundheit, Pharma, Verlage, Bibliotheken

Textanalyse / Sprachtechnologien

• Methoden zur Verarbeitung von elektronisch gespeicherten Freitexten• Linguistische Analyse statt Betrachtung von Zeichenketten

– Morphologische Analyse (Wortebene)– Syntaxanalyse (Satzebene)

• … kombiniert mit Methoden maschinellen Lernens

• Verschlagwortung– Vergabe von Schüsselwörtern– Abgleich mit kontrollierten

Vokabularien

• Textklassifikation– Zuweisung von Kategorien

• Information Retrieval – Suchmaschinen

• Information Extraction– Extrahieren von Fakten aus

Freitexten, Strukturierung

• Text Mining– Generierung von neuem Wissen

durch Analyse großer Dokumentenbestände

Hypertonie ?

Bluthochdruck ?

Hoher Blutdruck

Herausforderung

Hypertonie ?

Bluthochdruck ?

Hoher Blutdruck

Herausforderung

Hypertonie ?

Bluthochdruck ?

Hoher Blutdruck

D006973

D006973

D006973

D006973

D006973

D006973

Herausforderung

– Orthografische Varianten:

• Kolonkarzinom, Coloncarcinom,

• Ösophagus, Oesophagus,

• ulzerierend, ulcerierend

– Flexion: Erkrankungen, Bluthochdrucks, Risiken

– Derivation: Krankheit, diastolisch, leukozytär

– Synonyme:

Sarkoidose, Morbus Besnier-Boeck-Schaumann, Lupus pernio, Benigne Lymphogranulomatose, Febris uveoparotica….

– Komposition:

Gemeinde|krank|en|pflege|station|en

– Akronyme: AIDS, SARS, OECD

– Eigennamen: Aspirin, ASS

Sprachliche Variationen

Morphem-Thesaurus

Innovation: Subwortlexika

sprachübergreifend verlinkt übersemantische Gruppen (Konzepte)

Morpho-semantische Analyse

myo kard itiskox arthros eKlavikula fraktur

herz muskel entzuend unggelenkverschleiss an der hueft eschluesselbein bruch

ZerlegungsalgorithmusSubwort-Lexikon

MyokarditisKoxarthroseKlavikulafraktur

Original

HerzmuskelentzündungGelenkverschleiß an der HüfteSchlüsselbeinbruch

myokarditiskoxarthroseklavikulafraktur

herzmuskelentzuendunggelenkverschleiss an der huefteschluesselbeinbruch

OrthografischeRegeln

Orthografische Normalisierung

#muscle #heart #inflamm#cox #arthros#clavicle #fracture

Interlingua

#heart #muscle #inflamm#arthros # cox#clavicle #fracture

Subwort-Thesaurus

Semantische Normalisierung

Subwort-Lexika

Kerneigenschaften

Typ Suche nach…Mapping von…

Findet…nach…

SonstigeMethoden MSI

Tippfehler Brutskrebs Brustkrebs

Rechtschreibfehler Appoplex Apoplex

Phonetik Syfilis Syphilis

Singular/Plural Risiko Risiken

Wortarten leukozytär Leukozyt

Vertauschungen Chronische Bronchitis Bronchitis, chronisch

Zusammenhänge Brustkrebs Karzinom des Brustdrüsengewebes ---

Komposita Darmkrebsrisikoreduzierung Reduktion des Risikos von Darmkrebs ---

Synonyme Schlaganfall Apoplex ---

Abkürzungen WHO Weltgesundheitsorganisation ---

Laie/Experte Darmkrebs Kolonkarzinom ---

Mehrsprachigkeit Herzmuskelentzündung Inflammation of the heart muscle, myocarditis ---

MEDPILOT.DE

Präzision / Abdeckung

• Morpho-semantische Analyse erhöht sowohl die Abdeckung als auch die Qualität in einem IR-Szenario

Dzeyk, W. (2010). Effektiv und nutzerfreundlich. Einsatz von semantischen Technologien und Usability-Methoden zur Verbesserung der medizinischen Literatursuche. Köln: Verlag ZB MED.

• Aber: Vereinzelt kommen neue Fehlerklassen hinzu:– Medizinpersonal -> Personal (Medizin)– Personalisierte Medizin -> Personal (Medizin)– Wüste -> Verwüstung

• Reperaturmechanismen, Einstellung am Zielvokabular

• Empirie: „Nutzen ist höher als Schaden“

• Evaluation mit Goldstandard

Morpho-semantische Analyse übertragen auf PETRUS-Szenario

Verschlagwortung & Klassifikation

• Verschlagwortung– Extraktion von Schlüsselwörtern– Zuweisung von Termen aus einem (großen)

kontrollierten Vokabular (Deskriptoren)• Maschinelles Lernen oder regelbasiert

• Klassifikation– Assoziation von Textmustern zu (wenigen)

Kategorien• Maschinelles Lernen

Verschlagwortung IDie Myokarditis ist eine Sammelbezeichnung

für entzündliche Erkrankungen des Herzmuskels

mit unterschiedlichen Ursachen.

Original

Deskriptor: Synonyme:

Herzmuskelentzündung -

Kollektivum Sammelbezeichnung

Deskriptor: Synonyme:

Entzündung Inflammatio

Ursache -

Verschlagwortung IDie Myokarditis ist eine Sammelbezeichnung

für entzündliche Erkrankungen des Herzmuskels

mit unterschiedlichen Ursachen.

Original

Deskriptor: Synonyme:

Herzmuskelentzündung -

Kollektivum Sammelbezeichnung

Deskriptor: Synonyme:

Entzündung Inflammatio

Ursache -

Annotationen original: Kollektivum

Verschlagwortung IIDie Myokarditis ist eine Sammelbezeichnung

myokarditis sammelbezeichn

für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskel

mit unterschiedlichen Ursachen. unterschied ursach

Original

Stems

Deskriptor: Synonyme:

Herzmuskelentzündung -Herzmuskelentzundung -

Kollektivum SammelbezeichnungKollektivum sammelbezeichnung

Deskriptor: Synonyme:

Entzündung InflammatioEntzündung inflammatio

Ursache -ursach -

Annotationen original: Kollektivum

Verschlagwortung IIDie Myokarditis ist eine Sammelbezeichnung

myokarditis sammelbezeichn

für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskel

mit unterschiedlichen Ursachen. unterschied ursach

Original

Stems

Deskriptor: Synonyme:

Herzmuskelentzündung -Herzmuskelentzundung -

Kollektivum SammelbezeichnungKollektivum sammelbezeichnung

Deskriptor: Synonyme:

Entzündung InflammatioEntzündung inflammatio

Ursache -ursach -

Annotationen original: KollektivumAnnotationen stems: Kollektivum, Ursache

Verschlagwortung IIIDie Myokarditis ist eine Sammelbezeichnung

myokarditis sammelbezeichnmyo kard itis sammel bezeich

für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskelentzuend krank herz muskel

mit unterschiedlichen Ursachen. unterschied ursachunterschied ursach

Original

Stems

Segments

Deskriptor: Synonyme:

Herzmuskelentzündung -Herzmuskelentzundung -herz muskel entzuend -

Kollektivum SammelbezeichnungKollektivum sammelbezeichnungkollektiv sammel bezeich

Deskriptor: Synonyme:

Entzündung InflammatioEntzündung inflammatioentzuend inflamm

Ursache -ursach -ursach -

Annotationen original: KollektivumAnnotationen stems: Kollektivum, Ursache

Verschlagwortung IIIDie Myokarditis ist eine Sammelbezeichnung

myokarditis sammelbezeichnmyo kard itis sammel bezeich

für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskelentzuend krank herz muskel

mit unterschiedlichen Ursachen. unterschied ursachunterschied ursach

Original

Stems

Segments

Deskriptor: Synonyme:

Herzmuskelentzündung -Herzmuskelentzundung -herz muskel entzuend -

Kollektivum SammelbezeichnungKollektivum sammelbezeichnungkollektiv sammel bezeich

Deskriptor: Synonyme:

Entzündung InflammatioEntzündung inflammatioentzuend inflamm

Ursache -ursach -ursach -

Annotationen original: KollektivumAnnotationen stems: Kollektivum, UrsacheAnnotationen segments: Kollektivum, Entzündung, Ursache

Verschlagwortung IVDie Myokarditis ist eine Sammelbezeichnung

myokarditis sammelbezeichnmyo kard itis sammel bezeich #musle #heart #inflamm #collect #designat

für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskelentzuend krank herz muskel#inflamm #disorder #heart #muscle

mit unterschiedlichen Ursachen. unterschied ursachunterschied ursach#distinguish #etiolog

Original

Stems

Segments

MIDs

Deskriptor: Synonyme:

Herzmuskelentzündung -Herzmuskelentzundung -herz muskel entzuend -#heart #muscle #inflamm -

Kollektivum SammelbezeichnungKollektivum sammelbezeichnungkollektiv sammel bezeich#collect #collect #designat

Deskriptor: Synonyme:

Entzündung InflammatioEntzündung inflammatioentzuend inflamm#inflamm #inflamm

Ursache -ursach -ursach -#cause -

Annotationen original: KollektivumAnnotationen stems: Kollektivum, UrsacheAnnotationen segments: Kollektivum, Entzündung, Ursache

Verschlagwortung IVDie Myokarditis ist eine Sammelbezeichnung

myokarditis sammelbezeichnmyo kard itis sammel bezeich #musle #heart #inflamm #collect #designat

für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskelentzuend krank herz muskel#inflamm #disorder #heart #muscle

mit unterschiedlichen Ursachen. unterschied ursachunterschied ursach#distinguish #etiolog

Original

Stems

Segments

MIDs

Deskriptor: Synonyme:

Herzmuskelentzündung -Herzmuskelentzundung -herz muskel entzuend -#heart #muscle #inflamm -

Kollektivum SammelbezeichnungKollektivum sammelbezeichnungkollektiv sammel bezeich#collect #collect #designat

Deskriptor: Synonyme:

Entzündung InflammatioEntzündung inflammatioentzuend inflamm#inflamm #inflamm

Ursache -ursach -ursach -#cause -

Annotationen original: KollektivumAnnotationen stems: Kollektivum, UrsacheAnnotationen segments: Kollektivum, Entzündung, Ursache Annotationen mids : Herzmuskelentzündung, Kollektivum, Entzündung, Ursache

Termgewichtung & Selektion

• Kriterien zur Gewichtung:– TF: Häufigkeit des Terms im Dokument– Position: Erste Position des Terms im Dokument– Metainformation: Term erscheint im Titel

• Selektion:– Top n– Gewichtung > t

Kategorisierung: Maschinelles Lernen

• Erlernen von Assoziationen von (Text-) Mustern zu Kategorien anhand Trainingsmenge

• Unterschiedliche Lernverfahren

• SVM, k-NN, MaxEnt, Neuronale Netze

• Open-Source-Bibliotheken (Mallet, libSVM)

• Zentrale Überlegung: Merkmalsrepräsentation der zu erlernenden Muster (Linguistik & Semantik)

Klassifizierung

• Herausforderung: Großer Merkmalsraum, Sparse Data, widersprüchliche Daten, „Ausreißer“, Performanz

• Ziel: Sinnvolle Verkleinerung des Merkmalraums, Reduktion von Sparse Data … mittels Linguistik und Semantik

Korpus Kategorien

Wort 1Wort 2Wort 3Wort 4Wort 5

…Wort n

Kategorie 1Kategorie 2Kategorie 3Kategorie 4Kategorie 5

…Kategorie m

> 2.000.000 ~ 100

Maschinelles Lernen

w2

w1

Maschinelles Lernen

Ein Teilgebiet der Systematischen Musikwissenschaft ist die Erforschung universeller Gesetzmäßigkeiten beim Musizieren und Musik hören mit den Methoden der Psychologie.

MUSIKPSYCHOLOGIE

Maschinelles Lernen

Ein Teilgebiet der SystematischenMusikwissenschaft ist die Erforschung universellerGesetzmäßigkeiten beim Musizieren und Musikhören mit den Methoden der Psychologie.

MUSIKPSYCHOLOGIE

TeilgebietSystematischen Musikwissenschaft Erforschung universeller Gesetzmäßigkeiten MusizierenMusik hörenMethodenPsychologie

MUSIKPSYCHOLOGIE

Maschinelles Lernen

Aufgabe der Musikpsychologie ist es, die universellen Gesetzlichkeiten beim Musikhören und Musikmachen zu erforschen.

???

TeilgebietSystematischen Musikwissenschaft Erforschung universeller Gesetzmäßigkeiten MusizierenMusik hörenMethodenPsychologie

MUSIKPSYCHOLOGIE

Maschinelles Lernen

Aufgabe der Musikpsychologie ist es, die universellen Gesetzlichkeiten beim Musikhören und Musikmachen zu erforschen.

???

TeilgebietSystematischen Musikwissenschaft Erforschung universeller Gesetzmäßigkeiten MusizierenMusik hörenMethodenPsychologie

MUSIKPSYCHOLOGIE

AufgabeMusikpsychologieuniversellen GesetzlichkeitenMusikhörenMusikmachenerforschen

Maschinelles Lernen

Aufgabe der Musikpsychologie ist es, die universellen Gesetzlichkeiten beim Musikhören und Musikmachen zu erforschen.

???

TeilgebietSystematischen Musikwissenschaft Erforschung universeller Gesetzmäßigkeiten MusizierenMusik hörenMethodenPsychologie

MUSIKPSYCHOLOGIE

AufgabeMusikpsychologieuniversellen GesetzlichkeitenMusikhörenMusikmachenerforschen

Merkmalsrepräsentation

TeilgebietSystematischenMusikwissenschaft Erforschunguniverseller GesetzmäßigkeitenMusizierenMusik hörenMethodenPsychologie

MUSIKPSYCHOLOGIE

AufgabeMusikpsychologieuniversellenGesetzlichkeitenMusikhörenMusikmachenerforschen

Standard: Stemming

?

Merkmalsrepräsentation

Teil gebietSystematischenMusik wissenschaft Erforschunguniverseller GesetzmäßigkeitenMusizierenMusik hörenMethodenPsychologie

MUSIKPSYCHOLOGIE

AufgabeMusik psychologieuniversellenGesetzlichkeitenMusik hörenMusik machenerforschen

Erweitert: Nominalphrasenextraktion, Morpho-semantische Analyse

Merkmalsrepräsentation

Teil gebietSystematischenMusik wissenschaft Erforschunguniverseller GesetzmäßigkeitenMusizierenMusikhörenMethodenPsychologie

MUSIKPSYCHOLOGIE

AufgabeMusik psychologieuniversellenGesetzlichkeitenMusik hörenMusik machenerforschen

Erweitert: Nominalphrasenextraktion, Morpho-semantische Analyse

Fazit

• Linguistische Phänomene erschweren das Information Retrieval

• Analog:– Verschlagwortung– Klassifikation

Methoden der Computerlinguistik– Satzebene (z.B. Nominalphrasenerkennung)– Wortebene (Dekomposition, Morpho-semantische Analyse)– Vgl. Publikationen hierzu

• Empirie: Methoden/Konfigurationen müssen evaluiert werden. Abhängig von:– Korpusgröße (Trainingsmaterial)– Qualität/Komplexität des Zielvokabulars– Konkrete Anwendung– Gewünschte Balance: Precision (Qualität) und Recall (Abdeckung)

• Evaluation ist zentraler Bestandteil von PETRUS

Vielen Dank

Bei Interesse und weiteren Fragen wenden Sie sich bitte an:

Dr. Kornél Markókornel.marko@averbis.com

Dr. Katrin Tomanekkatrin.tomanek@averbis.com

℡ 0761 - 203 97690

Erlernen eines Morphem-Thesaurusam Beispiel AGROVOC

Agrovoc-Term: 444

• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)

Agrovoc-Term: 444

• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)

Konzept: #animal

Agrovoc-Term: 423

• Animal breeding (EN) • Amélioration des animaux (FR)• Mejoramiento animal (ES) • تربية الحيوان (AR)• 动物育种 (ZH)• Melhoramento animal (PT) • šlechtění zvířat (CS) • TIERZUECHTUNG (DE) • állatnemesítés (HU)

Agrovoc-Term: 444

• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)

Konzept: #animal

Agrovoc-Term: 423

• Animal breeding (EN) • Amélioration des animaux (FR)• Mejoramiento animal (ES) • تربية الحيوان (AR)• 动物育种 (ZH)• Melhoramento animal (PT) • šlechtění zvířat (CS) • TIERZUECHTUNG (DE) • állatnemesítés (HU)

Agrovoc-Term: 444

• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)

Konzept: #animal

Agrovoc-Term: 444

• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)

Agrovoc-Term: 423

• Animal breeding (EN) • Amélioration des animaux (FR)• Mejoramiento animal (ES) • تربية الحيوان (AR)• 动物育种 (ZH)• Melhoramento animal (PT) • šlechtění zvířat (CS) • TIERZUECHTUNG (DE) • állatnemesítés (HU)

Konzept: #animal Konzept: #breeding

Agrovoc-Term: 444

• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)

Agrovoc-Term: 423

• Animal breeding (EN) • Amélioration des animaux (FR)• Mejoramiento animal (ES) • تربية الحيوان (AR)• 动物育种 (ZH)• Melhoramento animal (PT) • šlechtění zvířat (CS) • TIERZUECHTUNG (DE) • állatnemesítés (HU)

Konzept: #animal Konzept: #animal #breedingKonzept: #breeding