Netzbasierte Informationssysteme Anwendungen …AG Netzbasierte Informationssysteme 6 Online...

AG Netzbasierte Informationssysteme http://www.ag-nbi.de

Netzbasierte InformationssystemeAnwendungen des Semantic Web

Prof. Dr.-Ing. Robert TolksdorfFreie Universität BerlinInstitut für InformatikNetzbasierte Informationssystememailto: [email protected]://www.robert-tolksdorf.de

AG Netzbasierte Informationssysteme http://www.ag-nbi.de 2

Agenda

• Online-Recruitment mit Semantic Web• Hotelsuche mit Semantic Web• Semantic Web in der Pathologie


Herausforderungen

• Wo kann Semantic Web angewandt werden?• Semantic Web in der Pathologie• Reisewissen• KnowledgeWeb case studies

• Was ist der nützliche Effekt von Semantic Web• Wissensnetze


Vergleich von Bewerber- und Stellenprofilen

Projekt Wissensnetze


Online Recruitment

• Trend weg von Portalen hin zu Suchmaschinen• Portale sind gebührenfinanziert (jobpilot, monster,

stepstone etc.)• Staatliche Portale (Arbeitsagentur, www.ams.se)

• Anbieter veröffentlichen direkt auf ihren Websites• Spezialisierte Suchmaschinen fokussieren sich auf diese

Angebote (wwj, Yahoo HotJobs)

Erstellen derAnzeige

Anzeigeveröffentlichen

Bewerbungenerhalten und

vorselektieren

EndgültigeEntscheidung

Jobprofilüberlegen

Manuelle Sucheoder Jobprofilveröffentlichen

Bewerbungenschreiben undverschicken

Bewerbungs-gespräch

Arb

eitg

eber

Bew

erbe

r

Stelle ausschreiben

Job suchen

Kontrollierte Vokabulare

Dezentral auf Firmen-webseiten

Basiskriterien automatisch

prüfen./.


Online Recruitment mit Semantic Web

• Erhöhte Markttransparenz zum Vorteil des Stellensuchenden• Angebote einfacher zu finden• Suchergebnisse mit höherer Präzision

• Vorteil beim Anbieter• Schnellere und günstigere Stellenbesetzung

• Änderung bisheriger Geschäftsmodelle • Gebührenfinanzierte Portale verlieren Markt• Spezialisierte Suchmaschinen gewinnen

• Zusätzlicher Wert:• Stellenangebote und Bewerberprofile könnten in

HR-Management nach Anstellung übernommen werden

• Wissensnetze (FU, HU Berlin): BMBF-Internetökonomie, Berliner Forschungszentrum "InterVal - Internet and ValueChains"


Online Recruitment mit Semantic Web

• Präzision der Analyse für Suchmaschinen ist mangelhaft• Wie erkennt man zuverlässig ein (aktuelles)

Stellenangebot im Web?• Wie analysiert man ein erkanntes Stellenangebot?

(Stellenprofil, erforderliche Skills)

• Möglichkeiten:• Bei Suchmaschinen: Computerlinguistische Verfahren• Bei Anbietern: Annotation von Angeboten

• Szenario: Einsatzpfad für Semantic Web• Organisatorisch:

• Stellenanbieter nutzen gemeinsames kontrolliertes Vokabular• Stellensuchende nutzen gleiches Vokabular für Stellengesuche

• Technisch:• Einfache Annotation Reichere Annotation

Ersatz von Freitext durch RDF


Einfache Annotation

• Mit RDF und Bezug auf gemeinsames Vokabular (z.B. abgeleitet von HR-XML)<html><head><rdf:RDF xmlns:rdf="…#" xmlns:jpp="…#"><jpp:JobPositionPosting

rdf:about="http://www.example.org/jp1.html"/></rdf:RDF></head><body>…Job posting in free text…</body></html>

• Suchmaschinen können so Stellenangebote identifizieren• Tatsächlich ein Stellenangebot vorliegen zu haben hilft

computerlinguistischen Verfahren und erhöht Präzision der Indexierung


Reichere Annotation

• Erfolg der einfachen Annotation bietet Anreiz zu einer erweiterten Beschreibung

• Präzisere Klassifikation von Angeboten mit Hilfe bestehender Standards und Klassifikationen• Stellenbeschreibungen

• Berufskennziffern (BKZ) – Bundesagentur für Arbeit• Standard Occupation Classification (SOC) System

• Wirtschaftszweige• Klassifikation der Wirtschaftszweige (WZ2003) – Statistisches

Bundesamt• North American Industry Classification System (NAICS)

• Skills• Skills Ontology – KOWIEN Projekt, Uni Essen

• HR-XML – HR-XML Konsortium• HR-BA-XML – Version der Bundesagentur für Arbeit• HR-XML-SE – Schwedische HR-XML Version


Reichere Annotation - Beispiel

<html><head><rdf:RDF xmlns:rdf="…#" xmlns:jpp="…#“xmlns:skills="…#"><jpp:JobPositionPosting

rdf:about="http://www.example.org/jp1.html"/><jpp:requiredCompetence><skills:Java><skills:hasCompetenceLevel

rdf:resource="…#expert"/></skills:Java>

</jpp:requiredCompetence></rdf:RDF></head><body>

… Job posting in free text …</body>

</html>


Ersatz von Freitext durch RDF

• In Konsequenz Ersetzung des Freitexts des Stellenangebots durch RDF Beschreibung:

<?xml version="1.0" encoding="UTF-8" ?><rdf:RDF xmlns:rdf="…#" xmlns:jpp="…#" xmlns:skills="…#"><jpp:JobPositionPosting

rdf:about="#JobPositionPostingId-inf-44"><jpp:hasHiringOrganisation><org:Organisation><org:name>Freie Universität Berlin</org:name>

</org:Organisation></jpp:hasHiringOrganisation>...<jpp:requiredCompetence><skills:Java><skills:hasCompetenceLevel rdf:resource="…#expert"/>

</skills:Java></jpp:requiredCompetence>...</jpp:JobPositionPosting>...</rdf:RDF>


Prototyp: Human Resource Ontology

• Definition von Konzepten für• Stellensuchende, Stellenangebote, Bewerbungen

• Semantic Matching integriert Annotationen mit kontrollierten Vokabularien unter Verwendung von Hintergrundwissen zur Anwendungsdomäne

• Unser Prototyp kann Stellenangebote und Bewerberprofile semantisch vergleichen (statt reinem Textvergleich mit Vektorraummodell)

Bewerberbeschreibung(HR-BA-XML + BKZ)

Organisation

Industrie(WZ2003)Person

Kompetenzen(KOWIEN)

Stellenbeschreibung(HR-BA-XML + BKZ)


Prototyp: Semantic Matching

•Taxonomische Struktur als Basis zur Errechnung semantischer Abstände

•Ähnlichkeit zwischen zwei Konzepten c1 and c2 ist bestimmt durch ihren Abstand dc(c1, c2). Dieser drückt ihre Position in der Konzepthierarchie aus

•dC(Java,C) = (1/64 - 1/512) + (1/64 - 1/256) = 13/512•simC(Java,C) = 1 – 13/512 = 0,97

HöhereProgrammiersprache

Objektorientiert Imperativprozedural

Rein objektorientiert

Java Small talk C++ Delphi

C COBOL Hybridsprachen

m(5) = 1/64

m(6) = 1/128

m(7) = 1/256

m(8) = 1/512


Analyse

• Suchmaschinen können zuverlässiger crawlen und Semantic Matching für höhere Präzision benutzen

• Jobsuchende profitiert von• der erhöhten Markttransparenz • der effizienteren und schnelleren Jobvermittlung• der exakteren Suchergebnissen• dem annotierten Profil

• Arbeitgeber profitiert von• Semantic Matching zur Automatisierung der Vorauswahl• Publikation von Angeboten nur auf eigener Firmen-Website • erhöhter Reichweite der Angebote und der Präzision der

Ansprache potentieller Bewerber• Nutzung der semantisch annotierten Bewerbung für das

firmeninterne Wissens- und Personalmanagement


Semantische Vergleiche bei der Hotelsuche

Projekt Reisewissen


Online Hotelsuche

• Kunde will Hotel buchen www.ehotel.de• Suchergebnis (z.B. London):

> 300 Hotels, nach Preis sortiert• „Bestes Hotel für mich“ ist aber nicht durch den Preis

alleine definiert• Weitere Wünsche:

• Nähe zu Tagungsort• Gute Erreichbarkeit• Passende Ausstattung• …

• Übliche Lösung: • Aufwändiges Durchclicken aller Angebote• Anruf bei Call-Center, Besuch in Reisebüro


Online Hotelsuche mit Semantic Web

• Entwicklung einer „Hotelbewertungs“-Engine• Zuhilfenahme von

• Hotelinformationen• Kundenprofilen (Wünsche, Bedingungen)• Zusatzinformationen (Reiseführer, Bewertungen)• Expertenwissen

• Nutzen:• Zeit-/Kostenersparnis bei Reisendem und Vermittler• Qualitätsverbesserung

• FU Berlin, eHotel AG, Investitionsbank Berlin und EFRE


Ablauf einer Hotelsuche

• Kunde definiert sein Profil, bestehend aus• Constraints• Präferenzen

• Kunde legt Reisedatum und –stadt fest• Verfügbare Hotels für Datum/Stadt werden gesucht• Ergebnismenge wird entsprechend der Constraints

beschnitten• Ergebnismenge wird entsprechend der Präferenzen

sortiert


Wo ist das Semantic Web?

• Ontologien für• Hoteldaten• Zusatzinformationen (z.B. POI)• Kundenprofile (Bedingungen, Präferenzen)

• Regeln für Expertenwissen, z.B.• „Ein Zwei-Sterne-Hotel bietet auch ein Frühstücksbüffetan“• „Ein Hotel mit mehr als 200 Betten gilt auch in

unmittelbarer Umgebung eines Bahnhofs als seriös“


Reisewissen und das Semantic Web


Datenintegration

• Datenquellen werden nach RDF transformiert• Entweder auf Anfrage …• … oder gepuffert (Caching)• Mögliche Datenquellen

• RDF-Repository• Web Services• HTML (Webscraping)• RDF-annotierte Webseiten• SQL-Datenbanken (via D2RQ)

• Regeln prototypisch in Prolog formuliert• Im Produktionssystem die Regeln, die 80% des Nutzens

erbringen in Java ausprogrammieren!


Anfrage mit Profilauswahl


Passende Hotels:nicht der Preis alleine bestimmt


Erläuterung


Anfrage ohne Profilauswahl


Bestes Hotel kommt erst nach 50 billigeren Hotels


Semantischer Vergleich von Befundberichten

Projekt Semantic Web in der Pathologie


Digital Pathology

• Typical diagnostics procedure:• generate and analyze

tissue sample on glass slide• generate medical report• store text and image data

• Extended usage of digital images for diagnostics support and educational purposes in everyday pathology


Digital Pathology

• Pathology data (Institute for Pathology, Charité Berlin):• 15.000 cases annually • per medical case up to 5 pathology reports• per pathology report up to 10 digital images (15GB)

• Problems:• textual and image-based data is stored separately• image-based retrieval is restricted to structural image

characteristics• text-based retrieval is restricted to string matching• expert knowledge can not be shared or reused

(for diagnostics or teaching purposes) without technical know-how


A Semantic Web for Pathology

• Objectives • re-organization of the available and future expert knowledge for

efficient diagnostics and differential diagnostics tasks• reuse text and image data for case-based teaching materials• minimal invasive usage• integration in the available technical infrastructure • provision of good precision values (under-diagnosed cases)

• Improve retrieval capabilities of the pathology archive• pathology reports are textual representations of digital images• content of text and image-based data is represented explicitly• use medical ontologies to refine search features• use rules to describe diagnostics processes• use ontology-based NLP algorithms to extract and represent the

content of the pathology reports (semantic annotation)

• FU Berlin, Uni Potsdam, Charité Berlin, DFG funded


transformation component

knowledge component

knowledge basemanager

lexicon

parser

quality assurance

module

pathologyreports

description component

digitalslides

digital virtualmicroscopeU

SER

INTERFACE

owl

xml

ontology lookup owl

consistency

checkingmedical

ontologies instances


Description Component

• formalization of the pathology reports and metadata for digital slides in XML (SVG, XML-HL7)

• management of the original medical data• report editor, image annotation tool• new text reports are forwarded for annotation to the

transformation component• integration in the current environment


HL 7 Repräsentation

<section><caption>Befund</caption> <section><caption>Makroskopie</caption> <paragraph><content>[1]Zwei Gewebszylinder von 15 und 4 mm

Laenge[1].</content></paragraph></section><section><caption>Mikroskopie</caption> ... <paragraph><content>[2]Stanzbiopsate aus Lungengewebe mit deutlicher Stoerung der alveolaren

Textur, soweit noch nachweisbar deutlich Verbreiterung der Alveolarsepten, stellenweise

Nachweisvon Bronchialepithelregeneraten[2]. [3]Restliche Alveolarlumina z.T. durch

Fibroblastenproliferate verlegt[3]. [4] Im Interstitium ein gemischt entzuendlichesInfiltrat,

bestehend aus Plasmazellen und Lymphozyten[4]. [5] Darunter relativ viele CD3-positivekleine und mittelgrosse T-Lymphozyten und CD68-positive Makrophagen[5].</content> </paragraph>

</section><section><caption>Kritischer_Bericht</caption> <paragraph><content>[6]Stanzbiopsate aus der Lunge mit Zeichen der organisierenden Pneumonie

(klin.Mittellappen)[6].</content> </paragraph></section><section><caption>Kommentar</caption> ...


knowledge component


lexicon

parser

quality assurance

module

pathologyreports


digitalslides


SER

INTERFACE

owl

xml

ontology lookup owl

consistency

checkingmedical




report(OWL)report

(XML)

Transformation Component

• recognizes concept instances from textual pathology reports and image metadata

• generates semantic representation of pathology reports and forwards it to the knowledge component

• suggests ontology extensions for frequent terms

Morph.Lexicon NP Grammar MWE

TokenizerSentence-

splitter

Morph.-synt.

Analysis

POS-tagdisambig.

Chunk-parser

MWE,Concept-Lookup

Res.of

under-spec.

MapFOLto

OWL



<section><caption>Befund</caption> <section><caption>Makroskopie</caption> -<paragraph><content>[1]Zwei Gewebszylinder von 15 und 4 mm Laenge[1].</content></paragraph></section>-<section><caption>Mikroskopie</caption>

... - <paragraph><content>[2] Stanzbiopsate aus Lungengewebe mit deutlicher

Stoerung der alveolaren Textur, soweit noch nachweisbardeutlich Verbreiterung der Alveolarsepten, stellenweise Nachweisvon Bronchialepithelregeneraten [2]. [3] Restliche Alveolarlumina

z.T. durch Fibroblastenproliferate verlegt [3]. [4] Im Interstitiumein gemischt entzuendliches Infiltrat, bestehend aus Plasmazellenund Lymphozyten [4]. [5] Darunter relativ viele CD3-positivekleine und mittelgrosse T-Lymphozyten und CD68-positive Makrophagen [5].</content> </paragraph>

</section>- <section><caption>Kritischer_Bericht</caption> - <paragraph><content>[6] Stanzbiopsate aus der Lunge mit Zeichen der

organisierenden Pneumonie (klin.Mittellappen) [6].</content> </paragraph></section>

- <section><caption>Kommentar</caption> ...

[1] card(x1, 2) AND cylinder(x1) AND length(x1, [15, 14])[2] unspec_plur_det(x2) AND punch_biopsat(x2)

AND from_rel(x2, x3) AND unspec_plur_det(x3) AND lung_tissue(x3) AND with_rel(x3, x4) AND def_det(x4) AND disturbance(x4, x5) AND def_det(x5) AND texture(x5) AND alveolar(x5) unspec_det(x6) AND extension(x6, x7) AND def_det_plur(x7)AND aleveolar_septum(x7) AND unspec_det(x8) AND evidence(x8, x9) AND indef_det(x9) AND epithelial(x9) AND bronchial(x9) AND regenerates(x9)

[3] def_det(x10) AND alveolarlumina(x10)unspec_det_plur(x11) AND fibrolastial_proliferate(x11)

[4] def_det(x12) AND interstitium(x12)indef_det(x13) AND inflammatory(x13) AND infiltrate(x13)

AND consisting_of_rel(x13, x14) AND unspec_det_plur(x14) AND konj(x14, x15, x16) AND plasma_cell(x15) AND lymphocyte(x16)

[5] indef_det_plur(x17) AND konj(x17, x18, x19) AND t_lymphocyte(x18) AND cd68_positive(x19) AND macrophagus(x19)

[6] indef_det_plur(x20) AND punch_biopsate(x20) AND from_rel(x20, x21) AND def_det(x21) AND lung(x21) AND with_rel(x20, x22) AND evidence(x22, x23) AND def_det(x23) AND organising(x23) AND pneumonia(x23)

LFXML HL7




[1] card(x1, 2) AND cylinder(x1) AND length(x1, [15, 14])[2] unspec_plur_det(x2) AND punch_biopsat(x2)

AND from_rel(x2, x3) AND unspec_plur_det(x3) AND lung_tissue(x3) AND with_rel(x3, x4) AND def_det(x4) AND disturbance(x4, x5) AND def_det(x5) AND texture(x5) AND alveolar(x5)

unspec_det(x6) AND extension(x6, x7) AND def_det_plur(x7)AND aleveolar_septum(x7) AND unspec_det(x8) AND evidence(x8, x9) AND indef_det(x9)

AND epithelial(x9) AND bronchial(x9) AND regenerates(x9)

[3] def_det(x10) AND alveolarlumina(x10)unspec_det_plur(x11) AND fibrolastial_proliferate(x11)

[4] def_det(x12) AND interstitium(x12)indef_det(x13) AND inflammatory(x13) AND infiltrate(x13)

AND consisting_of_rel(x13, x14) AND unspec_det_plur(x14) AND konj(x14, x15, x16) AND plasma_cell(x15) AND lymphocyte(x16)

[5] indef_det_plur(x17) AND konj(x17, x18, x19) AND t_lymphocyte(x18) AND cd68_positive(x19) AND macrophagus(x19)

[6] indef_det_plur(x20) AND punch_biopsate(x20) AND from_rel(x20, x21) AND def_det(x21) AND lung(x21) AND with_rel(x20, x22) AND evidence(x22, x23) AND def_det(x23) AND organising(x23) AND pneumonia(x23)

LF<Lung_Tissue rdf:ID="lung_tissue_x3">

<partOf><Lung_C0024109 rdf:ID="lung1">

<hasSource rdf:resource=“#UWDA"/>... properties of the lung ...

</Lung_C0024109></partOf>

</Lung_Tissue><Punch_biopsat rdf:ID="punch_biopsat_x2"><from rdf:resource="#lung_tissue_x3"/>

</Punch_biopsat><alveola rdf:ID="alveola_x5"><hasTexture rdf:datatype="http:/.../XMLSchema#string">

disturbed</hasTexture><relatedTo rdf:resource="#lung1"/>

</alveola> <Cylinder rdf:ID="cylinder_x1">

<length rdf:datatype="http://www.w3.org/2001/XMLSchema#float">15.0</length>

<formOf rdf:resource="#punch_biopsat_x2"></Cylinder> <Cylinder rdf:ID="cylinder_x2">

<length rdf:datatype="http://www.w3.org/2001/XMLSchema#float">14.0</length>

<formOf rdf:resource="#punch_biopsat_x2"></Cylinder>

OWL



knowledge component


lexicon

parser

quality assurance

module

pathologyreports


digitalslides


SER

INTERFACE

owl

xml

ontology lookup owl

consistency

checkingmedical




Knowledge Component

• Knowledge base• medical ontologies

• ontology of lung anatomy• ontology of lung diseases• model of pathology reports• immunohistology ontology

• generic ontologies • semantic network

• rules (to be done)• Tumor Node Metastasis (tumor classification system)

• instances of the ontology concepts from real pathology reports and digital slides

• reasoner


Basis for Ontology: UMLS

• UMLS (Version 2003AC)• Unified Medical Language System

(National Library of Medicine)• 100 medical libraries (1,5 billion concepts)• integrates libraries into a common data format

(UMLS Semantic Network, UMLS Metathesaurus)• UMLS Semantic Network:

upper level + medicine core concepts• UMLS Metathesaurus:

• library-specific concepts• terms are grouped to single concept id• translation of terms


Ontology Generation and Evaluation

• Top-down approach:• identify relevant UMLS libraries 50% (700.000 concepts)• Map relevant libraries to archive vocabulary ranking of 10

most application relevant UMLS libraries 250.000 concepts

• Bottom-up approach:• start with 5 application relevant keywords • consider neighbored concepts in Metathesaurus 1000 concepts

• Ontology evaluation• Check inconsistencies (reasoner) 5%• Add German translations 5%• Compare archive vocabulary to the ontology vocabulary:

• add pathology-specific knowledge• add generic knowledge (spatial relationships, part-whole ontology)


UMLS Issues

• Not intended for automatic integration in Semantic Web applications:• no precise semantic definition of relationships

(part-of, narrower, broader, related_to, associated_with)• error-prone modeling decisions:

• no consistent upper-level ontology• cyclic concept definitions• erroneous usage of part-of and is-a relationships

(right lobe of lung is-a lung)

• meaning of concepts is encoded in concept names (“ARF-smaller-then-2”, “Unspecified injury of lung with open wound into thorax”)


Zusammenfassung


Was kann man mit Semantic Web machen?

• Semantische Suche:• Suche nach passenden Dokumenten auf Konzeptebene• Nutzung von Ontologien für Inferenzen• Erhöhung von Treffgenauigkeit und Treffervollständigkeit

• ECommerce:• Kunde sucht Produkt mit bestimmten Anforderungen

(Gestaltung, Fähigkeiten, Leistung, Preis, ...) • Welches Angebot passt am besten? • Welche Angebote sind ähnlich?• Inferenzen für Präferenzmix• Erhöhung der Treffgenauigkeit


Weitere Informationen

• Wissensnetzehttp://wissensnetze.ag-nbi.de

• Reisewissenhttp://reisewissen.ag-nbi.de

• Semantic Web in der Pathologiehttp://swpatho.ag-nbi.de

Netzbasierte Informationssysteme Anwendungen …AG Netzbasierte Informationssysteme 6 Online...

Documents

Transcript of Netzbasierte Informationssysteme Anwendungen …AG Netzbasierte Informationssysteme 6 Online...