Semantische Suche in audiovisuellen Daten

Thementag: Effiziente Erschließung digitaler MedienTHESEUS – Innovationszentrum Internet der Dienste Salzufer 6, 10587 Berlin, 20. Juni 2011

Dr. Harald SackHasso-Plattner-Institut für Softwaresystemtechnik

Universität Potsdam

Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011

■ Das HPI wurde im Oktober 1998 im Rahmen einer Public-Private-Partnership gegründet

■ Forschung und Lehre am HPI ist dem „IT Systems Engineering“ gewidmet

■ 10 Professoren und ca. 100 Mitarbeiter in Forschung und Lehre

■ aktuell 450 Studenten in universitären Studiengängen „IT Systems Engineering“

■ CHE-Ranking 2010 sieht HPI auf Top-Rang

■ Research Topics

□ Semantic Web Technologies

□ Ontological Engineering

□ Information Retrieval

□ Multimedia Analysis & Retrieval

□ Social Semantic Web

□ Data/Information Visualization

■ Research Projects

Semantic Technologies & Multimedia Retrieval

http://projekt-mediaglobe.de/

■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur.

■ UseCase Contentus: Technologien für die Mediathek der Zukunft.

■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten.

■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten

■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-Inhalten

■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur.

■ UseCase Contentus: Technologien für die Mediathek der Zukunft.

■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten.

■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten

■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-Inhalten

http://www.yovisto.com/

■ Videoportal für akademische Aufzeichnungen

■ Vorlesungen

■ Konferenzen & Vorträge

■ Lehrfilme

■ über 10.000 internationale Videos zu allen wissenschaftlichen Themen

■ automatisierte Videoanalyse

■ kollaborative Annotation

■ Semantische Analyse & Annotation

■ Semantische Suche

■ Explorative Suche

Wie findet man etwas in einem Videoarchiv?

Wie findet Google etwas in einem Video?

Wie findet man etwas in einem audiovisuellen Archiv?

1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computer-gestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden.

2. Schritt: VerschlagwortungDamit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.

Manuelle Audio-/Videoanalyse

automatisierte inhaltliche Erschließung audiovisueller Daten

Automatisierte Audio- und Videoanalyse

automatische inhaltliche Analyse ist •komplex (fehleranfällig) und•berechnungs-/speicheraufwändig

Genre-Analyse

Face-Detection

Genre-Analyse

Face-Detection

Overlay-text

Genre-Analyse

Face-Detection

Overlay-text

Logo-Detection

Genre-Analyse

Face-Detection

Overlay-text

Logo-Detection

Genre-Analyse

Szenen-text

Face-Detection

Overlay-text

Logo-Detection

Genre-Analyse

Szenen-text{

Audio-Mining

StrukturelleAnalyse

TranskriptionSprecher-

identifikation

• Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten

• Metadaten setzen sich zusammen aus kombinierten Low Level / High Level Deskriptoren

• Metadaten als Basis für traditionelles und semantisches Information Retrieval

Metadata Extractiontime

e.g., person xy

location yz

event abc

e.g., bibliographical data,geographical data,encyclopedic data, ..

Video Analyse /Metadaten Extraktion

Entity Recognition/ Mapping

Semantische Analyse & Annotation

Ontologien

Was bringt ,semantische Suche‘?

Wie findet man etwas im WWW?

Das „Google Dilemma“

Das „Google Dilemma“Suchvorschläge

Multimodale Ergebnisse

Suchfacetten

Das Dilemma mit der SpracheBsp.: Suchbegriff: „Golf“

Homonyme erschweren präzises Suchen

Volkswagen Golf

Volkswagen Rabbit

大众高尔夫

Synonyme erschweren vollständiges Suchen

Volkswagen Golf

Volkswagen Rabbit

大众高尔夫

Noch ein Dilemma....Wie finde ich dieses Auto?

Geodätische Strukturen

Buckminster Fuller

Geodätische Strukturen +Buckminster Fuller +Dymaxion

Buckminster FullerGeodätische Strukturen Geodätische Strukturen +Buckminster Fuller +Dymaxion

Semantische Analyse & Annotation...

textuelleMetadaten

Wissens-repräsentation

Entität A

unstrukturierteMetadaten

Low Level /High Level Deskriptoren

textuelleMetadaten

Entität A

Klasse X

ist ein

textuelleMetadaten

Entität A

Klasse X

ist ein

ist Subklasse von

Klasse Y

textuelleMetadaten

Entität A

Klasse X

ist ein

ist Subklasse von

Klasse Y

steht in Beziehung mit

Klasse Z

textuelleMetadaten

Entität A

Klasse X

ist ein

ist Subklasse von

Klasse Y

Klasse Z

ist ein

Entität B

textuelleMetadaten

Entität A

Klasse X

ist ein

ist Subklasse von

Klasse Y

Klasse Z

ist ein

Entität B

Existiert eine Entität B, die mit Entität A in Beziehung steht?

Named Entity Recognition

• Abbildung von Schlüsselwörtern (Text) auf semantische Entitäten

• Kontextanalyse und Disambiguierung

Truman

Keyterm / User Tag

Truman

Keyterm / User Tag

Truman Capote

Harry S. Truman

Truman, Minesota

The Truman Show

Semantic Entities

RDF graph to find relations between entities co-occurringin a text maintaining the hypothesis that disambiguationof co-occurring elements in a text can be obtained byfinding connected elements in an RDF graph [7]. In orderto regard the special compilation of non-textual data, staticand user-genrated metadata in audio-visual content our novelapproach combines the use of semantic technologies andLinked Data with linguistic methods.

III. METHOD

According to a study about structure and characteristicsof folksonomy tags [8] an average of 83% of user-generatedtags are single terms. Also, an average of 82% of thereviewed tags are nouns. Based on these study results, weignore tag practices, such as camel case (”barackObama”)and treat tags as subjects or categories describing a resource.As a tag could also be part of a group of nouns representingan entity or a name (”flying machine”,”albert einstein”) thetags stored as single words without any given order have tobe combined in term groups of two or more terms to findall appropriate entities. Hence, every tag or group of tagswithin a given context may represent a distinct entity. Theterm combination process and subsequent mapping of termsand term groups to entities are described in sect. III-B.

To disambiguate ambiguous terms we combine two meth-ods: a co-occurences analysis of the terms in the context inWikipedia articles and an analysis of the page link graph ofthe Wikipedia articles of entity candidates. The scores forboth analysis steps are calculated to a total score.

A. Context Definition

Metadata exists in a certain context and has to be inter-preted according to this context. For tags of audio-visualcontent we identified two dimensions:

• temporal dimension• user-centered dimensionIn the temporal dimension a context can be defined as the

entire video, a segment or a single timestamp in the video.The user-centered dimension classifies a context by howmany users created the concerning metadata - only tags by acertain user or all tags regardless of which user. Fig. 1 showsthe combinations of the two dimensions of contexts formetadata in audio-visual content the interpretation regardingthe significance of a context.

Audio-visual content also provides the opportunity tosupply spatial information. Thus, tags in the same regionof a video frame are considered as related to each other.In the current approach we did not consider this contextdimension.

To describe our approach we use a sample context of ourtest set (see sect. IV). This sample context is composed oftags by only one user at a certain timestamp in the video.The video containing this sample context is a presentation

Figure 1. Dimensions of context definition in audio-visual content

by Dr. Garik Israelian at the TED conference3 entitled ”Howspectroscopy could reveal alien life”4. Our sample contextconsists of the tags ”hubble”, ”spitzer”, ”carbon”, ”dioxide”,”methan”, ”co2”, and ”water”.

B. Preprocessing

Term Combination: Our combination algorithm takesall tags of a specified spatio-temporal context (at a certaintimestamp/in a certain segment of a video, of a singleURL/image and generates every possible combination of atmost three terms of the context in every possible order. Inthat way we make sure to rectify groups of single termsthat belong together. We chose to generate combinationsof three words to make sure to also hit named entitiesconsisting of more than two words, such as ”public keycryptography” or ”alberto santos dumont”. About 90% ofthe DBpedia [9] labels consist of at most three words, butless than 5% consist of 4 words. Due to these numbersand performance issues we decided to limit the number ofterms to be combined to three. Subsequently in this paperby terms we will refer to single terms as well as generatedterm groups. The number c of combinations is calcultaed byc =

�jk=1

n!(n−k)! .

For our sample context containing 7 tags and at most3 terms in a combination (j = 3), 259 combinations aregenerated.

Term Mapping: The terms then have to be mapped tosemantic entities. For our approach we use entities of theLinked Open Data Cloud [10], in particular of the DBpedia,version 3.5.1.

DBpedia provides labels for the identification of distinctentities in 92 languages. We use English and German aswell as Finnish labels, as we noticed that neither English northe German labels contain important acronyms as labels, butthe Finnish language version does. As tagging users prefer tokeep it simple and short[2], resources dealing with ”DomainName System” would rather be tagged with ”DNS” than”Domain Name System”.

After simple string matching of the terms of the contextto DBpedia URIs, the URIs are revised for redirects and

3http://www.ted.com4http://yovisto.com/play/14415

Kontextanalyse und Disambiguierung

Wie setzt sich Kontext in AV-Daten zusammen?

• Temporale Kohärenz der Metadaten

• Spatiale Kohärenz der Metadaten

• Provenienz der Metadaten

TrumanKeyterm / User Tag

Semantische Analyse & AnnotationKontextanalyse und Disambiguierung

PotsdamEisenhower

Inauguration

Context 1

other User Metadatawithin same segment

PotsdamEisenhower

Inauguration

Context 1

other User Metadatawithin same segment Black&White

Indoor

Context 2

AnalyticalMetadata

within same segment

Truman becomes President

Millions mourn Roosevelt

PotsdamEisenhower

Inauguration

Context 1

other User Metadatawithin same segment Black&White

Indoor

Context 2

AnalyticalMetadata

within same segment

Truman becomes President

Millions mourn Roosevelt

Context 3

Authoritative Metadata

for entire videoNews Parade of 1945

This Castle newsreel shows us war-related news highlights of the year 1945.

Kontextanalyse und Disambiguierung(1) Kookkurrenz-Analyse

PotsdamEisenhower

Inauguration

Context

Truman

basierend auf Wikipedia

Tauchen die Kontext-Terme gemeinsam in den zu disambiguierenden Artikeln auf?

PotsdamEisenhower

Inauguration

Context

Truman

Tauchen die Kontext-Terme gemeinsam in den zu disambiguierenden Artikeln auf?

Kontextanalyse und Disambiguierung(1) Kookkurrenz-Analyse

basierend auf Wikipedia

Truman

Keyterm / User Tag

LOD Cloud

Eisenhower

InaugurationPotsdam

Context

Semantische Analyse & AnnotationKontextanalyse und Disambiguierung(2) semantische Graphanalyse

Suchen ist nicht gleich Suchen....

Suchen ist nicht gleich SuchenVariante 1: Der Benutzer weiß genau, was er sucht....

•Ein einfaches Beispiel:

Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe...

Suchen ist nicht gleich SuchenVariante 1: Der Benutzer weiß genau, was er sucht....

Variante 1: Der Benutzer weiß genau, was er sucht....

Suchen ist nicht gleich Suchen

Wem die Stunde schlägt. - Ernest H E M I N G W A Y. (Stockholm usw., Bermann-Fischer Verlag, 1941) 560 S. 8“

II 1, 2506, 34548

Variante 1: Der Benutzer weiß genau, was er sucht....

Suchen ist nicht gleich Suchen

Wem die Stunde schlägt. - Ernest H E M I N G W A Y. (Stockholm usw., Bermann-Fischer Verlag, 1941) 560 S. 8“

II 1, 2506, 34548

Suchen ist nicht gleich SuchenVariante 2: ...was, wenn man nicht genau weiß, was man sucht?

Mir hat das Buch „Wem die Stunde schlägt“ von Ernest Hemingway gefallen und ich weiß nicht genau, was ich als nächstes lesen soll....

Suchen ist nicht gleich SuchenVariante 2: ...was, wenn man nicht genau weiß, was man sucht?

Mir hat das Buch „Wem die Stunde schlägt“ von Ernest Hemingway gefallen und ich weiß nicht genau, was ich als nächstes lesen soll....

Explorative Suche• Was, wenn der Benutzer nicht weiß, welchen Suchbegriff er/sie benutzen soll?

• Was, wenn der Benutzer komplexere Antworten sucht?

• Was, wenn er/sie das Wissensgebiet, über das er sich informieren will, nicht (gut) kennt?

• Was, wenn er/sie wissen möchte, welche Dokumente es insgesamt zu einem speziellen Thema in einem Repository gibt?

• ...einen Überblick gewinnen• ...,Stöbern‘ statt ,Suchen‘• ...etwas ,zufällig‘ finden• ...Serendipity

Wie kann man eine explorative Suche realisieren?

e.g., person xy

location yz

event abc

e.g., bibliographical data,geographical data,encyclopedic data, ..

Video Analyse /Metadaten Extraktion

Semantische Videosuche...

Data is a precious thing and will last longer than the systems themselves. (Tim Berners-Lee) http://linkeddata.org/

The Web of Data - The Semantic Web

http://dbpedia.org/

Explorative Suche

dbpedia:For_Whom_the_Bell_Tolls

Wie soll das semantischeNetzwerk um dbpedia:For_Whom_the_Bell_Tollsherum durchsucht werden?

http://dbpedia.org/page/For_Whom_the_Bell_Tolls

Vielleicht sind andereBücher desselben Autorsfür mich interessant...?

Explorative Suche

dbpedia-owl:author

dbpedia:Ernest_Hemingwaydbpedia:For_Whom_the_Bell_Tolls

Explorative Suche

dbpedia-owl:author

Explorative Suche

dbpedia-owl:author

Explorative Suche

dbpedia-owl:author

Explorative Suche

Gibt es Autoren, diein ähnlicher Weise geschrieben haben...?

Explorative Suche

dbpedia-owl:author

Explorative Suche

dbpedia-owl:author

dbpedia:Raymond_Carver

dbpedia-

owl:influenced_by

Explorative Suche

dbpedia-owl:author

dbpedia-

owl:influenced_by

dbpedia:Jack_Kerouac

dbpedia-

owl:influenced_by

Explorative Suche

dbpedia-owl:author

dbpedia-

owl:influenced_by

dbpedia-

owl:influenced_by

dbpedia-owl:influenced_by

dbpedia:Jerome_D._Salinger

Explorative Suche

dbpedia:Jerome_D._Salinger

und was sollte man von diesen eigentlich gelesen haben...?

Explorative Suche

dbpedia:Jack_Kerouac dbpedia:Raymond_Carverdbpedia:Jerome_D._Salinger

Explorative Suche

dbpedia-owl:notableWork

Explorative Suche

dbpedia-owl:notableWork dbpedia-owl:notableWork

Explorative Suche

dbpedia-owl:notableWork dbpedia-owl:notableWork dbpedia-owl:notableWork

Explorative Suche

...und wie sieht eine explorative Videosuche aus?

29 Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.

29 Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.http://mediaglobe.yovisto.com:8080/

Kontakt:Dr. Harald Sack / Jörg WaitelonisHasso-Plattner-Institut für SoftwaresystemtechnikUniversität PotsdamProf.-Dr.-Helmert-Str. 2-3D-14482 Potsdam

Homepage:http://www.hpi.uni-potsdam.de/meinel/team/sack.html

Blog: http://moresemantic.blogspot.com/

E-Mail: harald.sack@hpi.uni-potsdam.de

joerg.waitelonis@hpi.uni-potsdam.de

Twitter: lysander07 / biblionomicon / yovisto

Vielen Dank für

Ihre Aufmerksamkeit!

Semantische Suche in audiovisuellen Daten

Technology

Transcript of Semantische Suche in audiovisuellen Daten

Umsätze der audiovisuellen Medien in Deutschland ...

Semantische Sprachverarbeitung Vorlesung 7 Diskursrepräsentationstheorie.

Semantische Grundbegriffe Busch/ Stenschke Kap . 11

Lexikologische Semantik Inhalt 1. Semantische Relationen 1.1 Interne semantische Relationen 1.1.1 Polysemie 1.1.2 Kontextuelle Varianz 1.1.3 Homonymie.

Einführung in die semantische Suche in Massendaten

Semantische Relationen in Dokumentationssprachen … · Semantische Relationen in Dokumentationssprachen vom Thesaurus zum semantischen Netz Felix Boteram Fachhochschule Köln ...

SEMANTISCHE SUCHE @ ZEIT ONLINE - intrafind.de · Automatische Verschlagwortung für neue und archivierte redaktionelle Inhalte und ... Die Online-Redaktion mit Sitz in Berlin berichtet

GraphTalk - Semantische Netze mit structr

Semantische Analyse einer Echtzeitprogrammiersprache mittels Verhaltensmustern Semantische Analyse einer Echtzeitprogrammiersprache mittels Verhaltensmustern.

Neo4j GraphTalks - Semantische Netze

Semantische und logische Datenmodellierung ... · Kurzfassung 2 Kurzfassung Diese Diplomarbeit beschreibt die semantische und logische Datenmodellierung mehr-dimensionaler Datenbanken.

I views semantische-netze

Semantische Aufwertung der elektronischen Patientenakte ...

Projekt Big Data: Semantische Suche mit Apache Solr...Projekt Big Data: Semantische Suche mit Apache Solr Eike Nils Knopp , Minh Hieu Nguyen 29. März 2018 Universität Hamburg - MIN

Semantische Technologien, Interoperabilität und ...ixtrieve.fh-koeln.de/reseda/depot/Goedert_SeTIW.pdf · Semantische Wissensrepräsentation und Interoperabilität Teil 1: Interoperabilität

Semantische Content Optimierung für Kollaborationsplattformen

Semantische Suche im audiovisuellen Kulturerbe - Das Projekt mediaglobe

Tag-Cluster – Semantische Suche in Tag-Clouds · Mit Hilfe des Dienstes Delicious haben Nut-zer die Möglichkeit, ihre Bookmarks abzu-speichern, mit Tags inhaltlich zu erschließen

Europeana - Status - Metadaten - Semantische Interoperabilität

Semantische Suche - Wie baut man Entitäten auf? - ContentDay 2015