Explorative Suche vs. traditionelle Suche

Dr. Harald Sack

Hasso-Plattner-Institut für Softwaresystemtechnik

Universität Potsdam

23. April 2009

Explorative Suche vs. Schlüsselwort-basierte Sucheam Beispiel audiovisueller Daten

Dienstag, 28. April 2009

Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam

2

Explorative vs. Schlüsselwort-basierte Suche

1. Kurzvorstellung HPI

2. Schlüsselwort-basierte Suche

3. Suche in Audiovisuellen Daten

3.1 automatisierte Videoanalyse und Metadatengewinnung

3.2 yovisto.com - Akademische Videosuche

4. Semantisch unterstützte Suche

5. Explorative Suche


cinearchiv digital, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam 23. Mai 2009

1. Kurzvorstellung Hasso Plattner Institut für IT Systems EngineeringUniversität Potsdam

• im Oktober 1998 im Rahmen einer Public Private Partnership gegründet

• An-Institut der Universität Potsdam

• zwei universitäre Informatik-Studiengänge IT Systems Engineering mitAbschlüssen

• Bachelor of Science (6 Semester) und

• Master of Science (4 Semester)

• 10 Professuren und 438 Studenten

• 284 Bachelor Studenten

• 154 Master Studenten

• 81 Doktoranden

3




• Studiengang IT Systems Engineering4

So

ftware

-Arch

itectu

ren

Info

rmatio

n S

yste

ms

Inte

rnet T

ech

no

log

ies

an

d S

yste

ms

Op

era

tion

Syste

ms

an

d M

idd

lew

are

Bu

siness P

roce

ss Tech

no

log

y a

nd

Wo

rkflo

w

Gra

ph

ics an

d

Virtu

al re

ality

/V

isualiza

tion

Co

mm

un

icatio

n a

nd

Netw

ork

s

HC

I -Hu

man

Co

mp

ute

r In

tera

ction

Desig

n

IT Systems Engineering

Research School „Service-Oriented Systems Engineering“



1. Kurzvorstellung Hasso Plattner Institut für IT Systems Engineering

• HPI School of Design Thinking

• Started in October 2007 HPI offersEurope‘s first „Design Thinking“ program

• Program is inspired and performed in close cooperation with thed-School (Hasso Plattner Institute of Design) at the StanfordU, USA

• Interdisciplinary teacher teams teach interdisciplinary student teams how to create new (IT-) products & services in a more creative and user friendly way

5



Dr. Harald Sack■ Promotion Uni Trier, 2002: formale Verifikation

■ 2002-2008: PostDoc FSU Jena

■ 2007-2009: Gastwissenschaftler am HPI

■ seit 1.1.2009: Senior Researcher am HPI

■ Forschungsschwerpunkte:

□ Semantic Web Technologien

□ Multimedia Retrieval

■ Videosuchmaschine yovisto.com

6




7



yovisto.com• Videosuchmaschine mit dem Schwerpunkt

akademischer Lehrveranstaltungen

• aktuell mehr als 6.000 Vorlesungen undwissenschaftliche Vorträge aus der ganzen Welt

• automatische Segmentierung und Videoanalyse

• benutzergenerierte Co-Annotation

• Social Tagging

• Diskussionen

• Rezensionen

• Wikis

• Lernmaterialien

• Zielgenauer Zugriff auf gesuchte Videoinhalte


8




9 yovisto.com - Arbeitsweise

WWWWWW

upload your ownacademic videorecording

analyze and link toany available academic video recording in the WWW

video analysis andsearch index creation

search forvideo content

browse, play, and annotate video results

search engine frontend




10











Das ,Google Paradigma‘11

2. Schlüsselwort-basiertesInformation Retrieval im WWW



Das ,Google Paradigma‘•Eingabe einer Suchphrase

•Boolesche Verknüpfung einzelner Suchbegriffe

•Volltextsuche

•Normalisierung ...

•Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste

•TF/IDF ...

•PageRank

•Personalisierung (Logdatenanalyse, etc.)

14




Probleme•Es werden viele nicht-relevante Ergebnisse gefunden

•Homonyme

•Kontext / Weltwissen

•Pragmatik

•Es werden nicht alle relevanten Ergebnisse gefunden

•Synonyme

•Metaphern und Umschreibungen

•Kontext / Weltwissen

15




Das WWW ist ,ziemlich groß`•ca. 25 x 109 in Suchmaschinenindizierte Dokumente (TNL Blog: Google has 24 billion items index, considers MSN search nearest competitor, September 2005)

•Web Crawler: > 1012 Dokumente(The Official Google Blog: We knew the Web was Big....., Juli 25, 2008)

•DeepWeb (Darkweb) schätzungsweise bis zu 550 mal größer als das Surface Web (Bergman, 2001)

16


Probleme:• Aktualität des Suchmaschinenindex• syntaktische / semantische Inkonsistenzen im Suchmaschinenindex• Skalierbarkeit der Suchmaschinenanwendung• ...


http://www.tnl.net/blog/2005/09/27/google-has-24-billion-items-index-considers-msn-search-nearest-competitor/




http://googleblog.blogspot.com/2008/07/we-knew-web-was-big.html

http://googleblog.blogspot.com/2008/07/we-knew-web-was-big.html


Noch mehr Probleme...•Informationskonsument

•Wie finde ich die richtigen Informationen?

•Was ist wichtig, was nicht?

•Ist die Information vollständig?

•Informationsproduzent

•Wie sorge ich dafür, dass jemand die von mir angebotenen Informationen tatsächlich findet?

•Kann die Informationssuche (zuverlässig) automatisiert werden?

•Kann ich der angebotenen Information auch tatsächlich vertrauen?

17




18











19

3. Suche in Audiovisuellen Daten3.1 Automatisierte Analyse und Metadatengewinnung

http://labs.google.com/gaudi

http://www.yovisto.com



Wie findet man etwas in einem audiovisuellen Archiv?

• Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.

20




Wie findet man etwas in einem audiovisuellen Archiv?

•

21

automatische inhaltliche Analyse ist • schwierig und• berechnungs-/speicheraufwändig

Marlene Dietrich ????????

„...ich bin von Kopf bis Fuß...“

{




22 Wie findet man etwas in einem audiovisuellen Archiv? • Suche in traditionellen

(textbasierten) Medien

• Digitalisierung, Texterfassung, Texterkennung und Suche ist bereits auf hohem Niveau möglich und skalierbar

• Suche in audiovisuellen Medien

• Digitalisierung

• Erschließung

• manuell

• automatisiert

• zusätzliche Dimension (Zeit)




23 Wie findet man etwas in einem audiovisuellen Archiv?

• Fazit: Wir benötigen textuelle Beschreibungen

• des Inhalts

• des Produktionsprozesses

• der technischen Parameter

• etc....

Metadaten

AV-Analysemanuell

automatisch




24 Automatische Metadatengewinnung in AV-Daten

•Typische Aufgaben:

•Segmentierung (Shot-, Szenen-, Kapiteldetektion)

•Videoanalyse

•kombinierte Audio-/Videoanalyse...

•Intelligent Character Recognition (ICR)

•Objekterkennung / Objektverfolgung

•Gesichtserkennung / Identifikation ...

•Kontextdetektion

•in-/outdoor, Landschaft, Gebäude,...

•Genreerkennung

•Nachrichten, Sport, Werbung,...

•Eventanalyse

•Tennis, Fußball etc. ...




25 Videosuchmaschine - prinzipielle Architektur

VideoDatabase

MetadataServer

MPEG-Dekoder

temporaleVideo-

segmentierung

Extraktion vonMPEG-7

Deskriptoren

Inde

xier

ung

Retrieval

User-interfaceQuery input, Player, Timeline, Summary,...

Metadatengenerierung




26 Videosegmentierung

sub-shot 1 sub-shot 2 sub-shot 3 sub-shot 4 sub-shot 5

scene 1 scene 2 scene 3 scene 4 scene 5

shot 1 shot 2 shot 3

frames

scenelevel

shotlevel

framelevel

sub-shotlevel

news feature film commercials feature filmprogram/clip level

frames




27 Szenenerkennung

•Eine Szene ist ein zeitliches Videosegment mit 3 konsistenten Eigenschaften:

•Ereignis

•Kameraeinstellung

•Zeitraum




28 Keyframe Extraktion

Shot-/Subshotdetection

Color:DominantColor,ScalableColor,ColorLayout,ColorStructureTexture:EdgeHistogram,HomogeneousTexture,TextureBrowsingShape:Contour-basedShape,Region-basedShape

Motion:GoF/GoP,MotionActivity,CameraMotion,MotionTrajectory,ParametricMotion

shot01 shot02




29











Strukturelle (temporäre) Segmentierung■ Grobsegmentierung (rein strukturell)

□ --> Zerlegung Einzelbilder/Blöcke, Histogrammvergleich

■ Feinsegmentierung (inhaltsbasiert)

□ --> Objekterkennung/-verfolgung

□ --> OCR/ICR

□ --> Korrelation Audio/Video (NLP)

30

Zeit

ZeitZusammenfassen Verfeinern Zusammenfassen

3. Suche in Audiovisuellen Daten3.2 yovisto.com - Akademische Videosuchmaschine



Inhaltsbezogene Videoanalyse■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen

Metadaten

■ Metadaten setzen sich zusammen aus kombinierten Low Level/ High Level Deskriptoren

■ Metadaten als Basis für traditionelles Information Retrieval

31

ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten




32

ICR / OCR

ASR

Dic

tiona

ry

Keyterm Spotting

Metadatengewinnung




33 Benutzergenerierte Metadaten□ automatische Analyse nur begrenzt leistungsfähig

□mangelnde Genauigkeit / Vollständigkeit

□ Benutzergenerierte Metadaten können qualitativ zuverlässiger sein

□ autoritative Metadaten

□ strukturierte Daten

□ unstrukturierte (textuelle) Daten

□ nicht-autoritative Metadaten

□ Tags

□ Kommentare

□ Diskussionen

□ Rezensionen

□ Feedback

□ etc...




Kollaborative Annotation34

AutorRessourceBenutzer

autoritativeMetadaten

Apfel

Frucht

nicht-autoritativeMetadaten

Apfel

apple

Obst

Frühstück

kaufen




35 Kollaborative Annotation -- Social Tagging

•Visualisierung der Benutzerannotation als Tag-Cloud




Temporale Annotation der Videodaten36

• Nutzer1: Informatik • Nutzer4: Vorlesung• Nutzer3: Dr. Sack…

• Nutzer1: Sprache • Nutzer2: Kehlkopf, Sprache• Nutzer3: Spracherzeugung• Nutzer4: Klausur• ...

• Nutzer2: Phonogramm• Nutzer3: Piktogramm, Ideogramm• Nutzer4: Klausur, Schriftzeichen, Logogramme• ...

0:00:00 0:02:34 0:13:57


Key Frame 01 Key Frame 02 Key Frame 03

Zeit



Spatiale Annotation37

(xmin, ymin, xmax, ymax)Hieroglyphen mitKönigskartusche,Haute-Relief

(xmin, ymin, xmax, ymax)Harald Sack




Metadaten für Audiovisuelle Medien■ Dublin Core

■ LOM / SCORM

■ Metadaten beziehen sich auf Zeitpunkt / Ort in den AV-Daten(spatio-temporale Annotation)

■ Metadaten sind benutzerbezogen (Social Tagging)

38

ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten




MPEG-7 Metadata Description Framework■ umfassender XML-basierter Standard zur strukturellen und inhaltlichen

Beschreibung von multimedialen Daten

39

<!xml version=“1.0“ encoding=“iso-8859-1“><Mpeg7 xmlns=urn:mpeg:mpeg7:schema:2001 …>…<AudioVisualSegment> <TextAnnotation type=“heading“ xml:lang=“de“> <FreeTextAnnotation> Der Computer als universales Kommunikationsmedium </FreeTextAnnotation> </TextAnnotation> ….. <MediaTime> <MediaTimePoint> T00:03:42.2 </MediaTimePoint> <MediaDuration> PT1M28.6S </MediaDuration> </MediaTime> ….




MPEG-7 Metadata Description Framework■ Nutzung von MPEG-7 Datenstrukturen für die benutzergenerierte

Annotation

40

<CreationInformation> <Classification> <MediaReview> <Rating> <RatingValue>9.1</RatingValue> <RatingScheme style="higherBetter"/> </Rating> <FreeTextReview> tag1, tag2, tag3 </FreeTextReview> <ReviewReference> <CreationInformation> <Date>...</Date> </CreationInformation> </ReviewReference> <Reviewer xsi:type="PersonType" > <Name>Harald Sack</Name> </Reviewer> </MediaReview> <MediaReview>...</MediaReview> </Classification></CreationInformation>

encode tagging information as( {tag set}, user, date, [rating] )




41











Dokumentenzentrierte Verarbeitung im WWW•Das WWW ist für die Nutzung durch den Menschen bestimmt

•Das Problem mit der Vielfalt:

•Informationen sind verstreut, liegen in unterschiedlichen Formaten vor und müssen vom Menschen verstanden und zusammengeführt werden

• Ein Beispiel: Reiseplanung

42




Das Semantic Web - Datenzentrierte Verarbeitung •Die Bedeutung der Informationen (Semantik) wird durch standardisierte Wissensrepräsentationen (Ontologien) explizit formalisiert (strukturiert)

• Damit wird es möglich,

•die Bedeutung der Informationen maschinell zu verarbeiten

•unterschiedliche (heterogene) Daten miteinander in Beziehung zu setzen

•implizite (nicht offensichtliche) Information aus der vorhandenen (offensichtlichen) Information automatisch zu folgern

43


Das Semantic Web ist eine Art globaler Datenbank, dieein universales Netz semantischer Aussagen bereit hält



Das Semantic Web - Datenzentrierte Verarbeitung •Architektur und Standardisierung

44




Das Semantic Web - Datenzentrierte Verarbeitung •Ziel des Semantic Web: ...to create a ,Web of Data‘

45




Semantische Videoanalyse■ Ursprüngliche Metadaten enthalten

□ OCR/ICR - Textdaten

□ Textdaten aus Audio-Transkribierung

□ Low Level Deskriptoren

■ Identifiziere relevante Schlüsselwörter

□ traditionell TF/IDF, OKAPI, TF-ICF, KLD, etc.

■ Mapping der relevanten Schlüsselwörter auf Domain-Ontologie

□ Statistische Auswahl der relevanten Domain-Ontologie (Kategorisierung)

□ Manuelle Auswahl durch Autor/Ersteller

■ Instanz-Erkennung / Konzept-Erkennung

□ Disambiguierung durch Koreferenz-/Kontextanalyse, Clustering, Machine Learning, etc.

46




Semantische Videoanalyse■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen

semantischen Metadaten (Instanzen, Konzepte)

47

ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten

semantische Metadaten(z.B. als DC-RDF / MPEG7-COMM u.a.)




48

ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten

z.B. bibliografische Daten, geografische Daten, enzyklopädische Daten, ....




49











Mehr Licht.....• Benutzer sieht die Welt durch das Fenster der Suchmaschine

• Der Überblick über den Suchraum bleibt dem Benutzer (üblicherweise) verschlossen

• Semantische Annotationen ermöglichen eine Verbesserung der traditionellen Schlüsselwort-basierten Suche durch

• Erweiterung / Präzisierung der Suchergebnisse

• Herleitung von impliziten Informationen

• Herstellung von Querverweisen

• Nutzung von semantischen Beziehungen zur Visualisierung und Navigation durch den Suchraum

50


Explorative Suche



Semantische Annotation • Entitätenerkennung in den textuellen Metadaten des

Grunddatenbestand

51


ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten

Person xyOrt yz

Person xyPerson yzOrt xyzEreignis abc



Semantische Annotationen• Entitätenerkennung in den textuellen Metadaten des

Grunddatenbestand

• Mapping der erkannten Entitäten gegen vorhandene Ontologien

52


Person xyOrt yz

Person xyPerson yzOrt xyzEreignis abc




Grunddatenbestand

• Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data)

• Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten

53


Klasse A Klasse BstehtInBeziehungMit




Grunddatenbestand

• Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data)

• Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten

• Nutzung der Querbezüge zur Navigation (Visualisierung) der ursprünglichen Grunddaten

54




Explorative Suche - ein einfaches Beispiel• Suche im Grunddatenbestand nach ,Ernest Hemingway‘

• Identifikation einer Entität dbpedia:Ernest_Hemingway

• Bestimmung eines geeigneten ,Properties‘

55


dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ .dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist ....dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound .dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist ....dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway .dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist .



Explorative Suche - ein einfaches Beispiel• Suche im Grunddatenbestand nach ,Ernest Hemingway‘

• Identifikation einer Entität dbpedia:Ernest_Hemingway

• Bestimmung eines geeigneten „Properties“

• Nutzung des Properties zur Navigation/Visualisierung

• Erweitere Suche mit asoziierten Entitäten

56


dbpedia:ontology/influences dbpedia:ontology/influences

Ezra Pound Ernest Hemingway J.D. Salinger



57


Waitelonis, Sack: Augmenting Video Search with Linked Open Data, 2009

Explore Window



Implementierung einer explorativen Suche• NPBibSearch

• bibliografische Suche auf ECCC(Electronic Colloquium of Computational Complexity)

58


(NP-Ontologie, Sack, Niedermeier, Vogel )

decision problem complexity classis a member ofhas member

can be reduced to

is weaker / stronger

is special/general variant

SAT 3-SATColorability

is a is a

NP P

NP-complete

is a is a

graph problem logic problem set problem… problem

is a is a



Implementierung einer explorativen Suche• NPBibSearch

• bibliografische Suche auf ECCC(Electronic Colloquium of Computational Complexity)

59


reducible to

reducible to

SAT

3-SAT

Colorability

CNF-SAT

2-SAT

SATSAT

Knapsack

Vertex Cover

generalization

weakerversion

Sack: NPBibSearch - an Ontology Augmented Bibliographic Search, SWAP 2005Sack, Krüger, Dom: A Knowledge Base on NP-complete Decision Problems and its Application in Bibliographic Search, XML-Tage Berlin, 2006



60




Explorative Suche• liefert dem Benutzer Vorschläge zur Fortsetzung seiner Suche

• orientiert sich am aktuellen Kontext

• ermöglicht eine schrittweise Erkundung des Suchraums

• ToDo:

• Verallgemeinerung und Ausweitung des Konzepts der explorativen Suche zur (sinnvollen) Anwendung in beliebigen Retrieval Operationen

• Skalierbarkeit der Suchmaschine setzt offline Indexierung der möglichen Querverknüpfungen voraus

61




62









Vielen Dank für Ihre Aufmerksamkeit !Fragen....?

Links:• Yovisto: www.yovisto.com• Blogs: http://moresemantic.blogspot.com/ http://yovisto.blogspot.com/




http://moresemantic.blogspot.com

http://moresemantic.blogspot.com

http://yovisto.blogspot.com

http://yovisto.blogspot.com

Explorative Suche vs. traditionelle Suche

Technology

Transcript of Explorative Suche vs. traditionelle Suche