Archivierung, Analyse, Interaktion und Remix von wissenschaftlichen Online-Vorträgen

Dr. Harald SackHasso-Plattner-Institut für SoftwaresystemtechnikUniversität PotsdamWissenschaft auf neuer Bühne2. Meilenstein-Tagung des Forschungsverbundes „Interactive Science – Interne Wissenschaftskommunikation über digitale Medien“Schloss Rauischholzhausen, 13. Oktober 2010

Archivierung, Analyse, Interaktion und Remix von wissenschaftlichen Online-Vorträgen

Archivierung, Analyse, Interaktion und Remix von wissenschaftlichen Online-Vorträgen, 13.10.2010, Dr. Harald Sack, HPI Potsdam

■ Senior Researcher am HPI, Forschungsgruppe „Semantische Technologien“

■ Forschungsschwerpunkte:

□ Semantic Web Technologien

□ Multimedia Retrieval

■ Projekte:

2

Dr. Harald Sack - Vorstellung


■ Das HPI wurde im Oktober 1998 im Rahmen einer Public Private Partnership gegründet

■ Forschung und Lehre sind dem IT-Systems Engineering gewidmet

■ 12 Professoren und ca. 100 Mitarbeiter in Forschung und Lehre

■ ca. 450 Studenten

□ 290 BA / 150 MA

■ HPI School of Design Thinking, Potsdam und Stanford

■ HPI Research School at Capetown University, Südafrika

■ HPI Research School at Technion, Haifa, Israel

3

Hasso Plattner Institut - HPI


4

•Wissenschaftliches Präsentieren - ein persönlicher Rückblick

•Wissenschaftliches Präsentieren im Internet

• Archivierung und Suche wissenschaftlicher Präsentationen im Internet

• Vom Suchen zum Finden - Der Weg ist das Ziel

• Fazit



5

Wissenschaftliches PräsentierenEin persönlicher Rückblick

Präsentationen 1997-2010...(Power Point, LaTeX, Keynote)


6


1997


7


1997


8


1998


9


1999


10


2000


11


2000


12


2001


13


2001


14


2001


15


2001


16


2003


17


2004


18


2004


19


2004


20


2004


21


2005


22


2005


23


2006


24


2006


25


2006


26


2006


27


2006


28


2006


29


2007


30


2007


31


2007


32


2007


33


2008


34


2008


35


2008


36


2009


37


2009


38


2010


39


2010


40


2010


41





• Fazit



42

Wissenschaftliches Präsentieren im InternetPrä-Internet

• Universitäre Lehre (wissenschaftliche Präsentation) im Wandel...


43

Wissenschaftliches Präsentieren im InternetTechnische Grundlagen

• An den Universitäten wird die Präsenzlehre seit mehr als einer Dekade durch Vorlesungsaufzeichnungen ergänzt, die über das WWW zur Verfügung gestellt werden

• zur Archivierung

• zur Nachbereitung des Lehrstoffes

• zum Fernstudium

• ...

• Bereitstellung der Aufzeichnung über das Internet

• als PodCast (Audio)

• als Enhanced Podcast (Präsentation+Audio)

• als VideoCast

• via Media-Streaming


44


• Synchonisation mehrere Medien-Datenströme Präsentation

VideobildDozent

Zusatz-InformationLinks, etc.


45


• Synchonisation mehrere Medien-Datenströme Präsentation

VideobildDozent


46


tele-TASK -- Teleteaching Anywhere Solution Kit

• seit 2002 zuerst an der Universität Trier, dann am HPI im Einsatz

• mobile (low-cost) Aufzeichnung, Encoding, Streaming out-of-the-box


47


tele-TASK -- Teleteaching Anywhere Solution Kit

• Keine spezielle Software auf dem Präsentationsrechner nötig

• Aufzeichnung des kompletten Bildschirms und aller Nutzeraktionen

• tele-TASK nimmt auf, encodiert und streamt in das Internet oder über das Intranet in einen anderen Hörsaal


48

Wissenschaftliches Präsentieren im InternetBereitstellung, Interaktion und Remix

Bereitstellung der wissenschaftlichen Präsentation im Internet

• klassisch: direkte Verlinkung über Homepage/Website

• Social Web:

• Blogs ermöglichen asynchrone Interaktion/Feedback

• Twitter (Instant Messaging) ermöglicht synchrone Interaktion/Feedback


49



• Blogs ermöglichen asynchrone Interaktion/Feedback

•

http://sewe0910.blogspot.com/




50



• Twitter (Instant Messaging) ermöglicht synchrone Interaktion/Feedback


51





52




53



54





• Fazit



55

Archivierung und Suche wissenschaftlicher Präsentation im Internet Video-Portale


• Spezialisierte Video-Portale, z.B. tele-TASK

• Klassischer Weg über das Internet Portal www.tele-task.de

• Zugriff auf archivierte Videos

• Livestream ausgewählter Veranstaltungen

• Video-Podcasts für portable Abspielgeräte

• Export als RSS-Feed z.B. nach iTunesU

http://www.tele-task.de/

http://www.tele-task.de/


56 Bereitstellung der wissenschaftlichen Präsentation im Internet

• Beispiel tele-TASK (Statistik)

• 3000 Vorlesungen

• 400 Serien

• 6700 Videopodcasts

• 800 Dozenten

• Ø 50.000 Klicks pro Tag

• Zugriffe über iTunes U

• Ø 25.000 Downloads pro Woche

• Peak: 80.000 Downloads pro Woche




• Allgemeine Video-Portale und Videosuchmaschinen

• youTube




yovisto.com• Videosuchmaschine mit dem

Schwerpunkt akademischer Lehrveranstaltungen

• aktuell mehr als 10.000 Vorlesungen und wissenschaftliche Vorträge aus der ganzen Welt

• automatische Segmentierung und Videoanalyse

• benutzergenerierte Co-Annotation

• Social Tagging• Diskussionen• Rezensionen• Wikis• Lernmaterialien

• Zielgenauer Zugriff auf gesuchte Videoinhalte


www.yovisto.com

http://www.yovisto.com

http://www.yovisto.com


60

Archivierung und SucheWissenschaftlicher Präsentation im Internet


• Akademische Videosuchmaschine yovisto



• Akademische Videosuchmaschine yovisto

zeitbezogeneUser Tags undKommentare



62





• Fazit



63



64

Vom Suchen zum FindenDer Weg ist das Ziel

Das WWW ist ,ziemlich groß‘•ca. 25 x 109 in Suchmaschinen

indizierte Dokumente (TNL Blog: Google has 24 billion items index, considers MSN search nearest competitor, September 2005)

•Web Crawler: > 1012 Dokumente(The Official Google Blog: We knew the Web was Big....., Juli 25, 2008)

•Google Search Index Caffeine umfasst ca.100 Million Gigabytes i.e. 1017 Byte (SMX Video: Google’s Matt Cutts On Caffeine Launch, June 9, 2010,

http://searchengineland.com/smx-video-googles-matt-cutts-on-caffeine-launch-43933)

•DeepWeb (Darkweb) schätzungsweise bis zu 550 mal größer als das Surface Web (Bergman, 2001)

http://www.tnl.net/blog/2005/09/27/google-has-24-billion-items-index-considers-msn-search-nearest-competitor/




http://googleblog.blogspot.com/2008/07/we-knew-web-was-big.html

http://googleblog.blogspot.com/2008/07/we-knew-web-was-big.html

http://searchengineland.com/smx-video-googles-matt-cutts-on-caffeine-launch-43933

http://searchengineland.com/smx-video-googles-matt-cutts-on-caffeine-launch-43933


65 Wie findet man etwas in einem audiovisuellen Archiv?

• Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.



65 Wie findet man etwas in einem audiovisuellen Archiv?

• Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.

Manuelle Analyse und Annotation



66 Retrieval in Audiovisuellen (zeitabhängigen) Daten

•

automatische inhaltliche Analyse ist • fehlerbehaftet und•berechnungs-/speicheraufwändig

© Friedrich Wilhelm Murnau Stiftung, DFI




•


Marlene Dietrich





•


Marlene Dietrich ????





•


Marlene Dietrich ????????





•


Marlene Dietrich ????????

„...ich bin von Kopf bis Fuß...“

{




Inhaltsbezogene Videoanalyse■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten

■ Metadaten setzen sich zusammen aus kombinierten Low Level/ High Level Deskriptoren

■ Metadaten als Basis für traditionelles Information Retrieval

67

Metadata Extractiontime



68 Automatische Metadatenextraktion



68

ICR / OCR

Automatische Metadatenextraktion



68

ICR / OCR

ASR




68

ICR / OCR

ASR

Dic

tiona

ry

Keyterm Spotting




69


The World According to Google....

• Gezielte Suche

• Suche nach einem/mehreren speziellen Dokument(en)

• Benutzer weiß, was er/sie sucht



70




71




71

Was aber, wenn ich nach einem Dokument suche, das in der Ergebnisliste auf Position 1.123.456 ist ...?



The World According to Google....72

• Was aber, wenn der Benutzer nicht genau weiß, welches Dokument bzw. was er/sie überhaupt finden möchte

• „was gibt es denn alles zu einem Thema?“

• „welchen Suchbegriff soll ich wählen, um ans Ziel zu kommen?“

• „wo fängt das Thema an, wo hört es auf?“

• „ich möchte einen Gesamtüberblick...“

• ...



Explorative Suche• Was, wenn der Benutzer nicht weiß, welchen Suchbegriff er/sie benutzen soll?

• Was, wenn der Benutzer komplexere Antworten sucht?

• Was, wenn er/sie das Wissensgebiet, über das er sich informieren will, nicht (gut) kennt?

• Was, wenn er/sie wissen möchte, welche Dokumente es insgesamt zu einem speziellen Thema in einem Repository gibt?

• Das Problem ist nicht neu....

• ...,Stöbern‘ statt ,Suchen‘

• ...etwas ,zufällig‘ finden (Serendipity)

• ...einen Überblick gewinnen

73



74


Wie kommt man vom Suchen zum Finden...?


75 Wie kommt man vom Suchen zum Finden...?

Voraussetzung:

• Inhalte können von Maschinenkorrekt gelesen und interpretiert(=verstanden) werden

Semantic Web• Web-Inhalte in natürlicher Sprache

werden explizit annotiert mit semantischen Metadaten

• Semantische Metadaten kodieren die Bedeutung (Semantik) des Web-Inhalts und können von Maschinen korrekt gelesen und interpretiert werden

Natural Language Processing• Technologie des klassischen Information

Retrievals (WWW Suchmaschinen)



76 Inhalte im Web maschinell „verstehen“ (I)




Text: „Jetzt spricht Poldi“





Lukas Podolski ?

Entitäty MappingDisambiguierung

• DisambiguierungAuflösung sprachlicher Mehrdeutigkeiten

Leopold Holusek ?

Leopold Kielholz ?

Deutscher Fußballspieler

Deutscher Tischtennisspieler

Schweizer Fußballspieler

Poldi Kladno ? Tschechischer Fußballverein

Poldi ? Drache bei „Hallo Spencer“

Lukasz Podolski ? Polnischer Radrennfahrer


Inhalte im Web maschinell „verstehen“ (II)


77


Lukas Podolski

Entitäten-zuweisung

Entität

• Die Bedeutung (Semantik) der Entitätenund Klassen muss ebenfalls explizit definiert werden.




77


Lukas Podolski


Entität

Fußballspieler

ist ein

Klasse• Die Bedeutung (Semantik) der Entitäten

und Klassen muss ebenfalls explizit definiert werden.




77


Lukas Podolski


Entität

Fußballspieler

ist ein

Klasse

Person

ist eine

Klasse

• Die Bedeutung (Semantik) der Entitätenund Klassen muss ebenfalls explizit definiert werden.


Inhalte im Web maschinell „verstehen“ (III)


78

Lukas Podolski (entity)

Fußballspieler

ist ein

(class)

Class-membership hat Typ

• Bedeutung (Semantik) wird über geeignete Wissensrepräsentationen (Ontologien) ausgedrückt


Inhalte im Web maschinell „verstehen“ (III)


78

Lukas Podolski (entity)

Fußballspieler

ist ein

(class)

Class-membership hat Typ

Person

ist ein

(class)

superclass

subclass

Ist Subklasse von



Inhalte im Web maschinell „verstehen“ (IV)


79


Lukas Podolski

Fußballspieler

Person

ist einEntities

Classes

ist ein




79


Lukas Podolski

Fußballspieler

Person PlacehasBirthPlace

ist einEntities

Classes

ist ein




79


Lukas Podolski

Fußballspieler

Person PlacehasBirthPlace

ist einEntities

Classes

ist ein

GliwicehasBirthPlace

ist ein




79


Lukas Podolski

Fußballspieler

Person PlacehasBirthPlaceDate hasBirthDate

ist einEntities

Classes

ist ein


ist ein




79


Lukas Podolski

Fußballspieler

Person PlacehasBirthPlaceDate hasBirthDate

ist einEntities

Classes

ist ein


ist ein

hasBirthDate1985-06-04

ist ein


Inhalte im Web maschinell „verstehen“ (V)


80

Lukas Podolski

LivingPeople

PersonDate

hasBirthDate1985-06-04

hasBirthDate

is a

is a

is a

DeadPeople∩ =∅

logical constraint

is a

∀x.∃y.hasDeathDate(x,y) ∧ Person(x) ∧ Date(y) → DeadPeople(x)

entities

classes




81Was ist das Semantic Web?

„The Semantic Web is an extension of the current web in which information is given well-defined meaning, better enabling computers and people to work in cooperation"

Tim Berners-Lee, James Hendler, Ora Lassila: The Semantic Web, Scientific American, 284(5), pp. 34-43(2001)


http://www.bibsonomy.org/author/Berners-Lee

http://www.bibsonomy.org/author/Berners-Lee

http://www.bibsonomy.org/author/Hendler

http://www.bibsonomy.org/author/Hendler

http://www.bibsonomy.org/author/Lassila

http://www.bibsonomy.org/author/Lassila


82 ■ Improving Retrieval with Semantic Annotation

time

e.g., person xy

location yz

event abc

e.g., bibliographical data,geographical data,encyclopedic data, ..

Metadata Extraction

Entity Recognition/ Mapping



83 ■How to Explore the Web of Data?

dbpedia:Ernest_Hemingway

Wie soll das semantischeNetzwerk um dbpedia:Ernest_Hemingwayherum durchsucht werden?

http://dbpedia.org/page/Ernest_Hemingway





Explorative Suche - ein einfaches Beispiel• Suche im Grunddatenbestand nach ,Ernest Hemingway‘

• Identifikation einer Entität dbpedia:Ernest_Hemingway

• Bestimmung eines geeigneten „Properties“

• Nutzung des Properties zur Navigation/Visualisierung

• Erweitere Suche mit asoziierten Entitäten

• „Suche Texte von Autoren, die ähnlich schreiben wie Ernest Hemingway.....“

84

dbpedia:ontology/influences dbpedia:ontology/influences

Ezra Pound Ernest Hemingway Jack Kerouac



29

Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.

mediaglobe.yovisto.com:8080/

http://mediaglobe.yovisto.com:8080/

http://mediaglobe.yovisto.com:8080/


86





• Fazit



87


Wissenschaftliches Präsentieren im Internet-Zeitalter• Von der Rede zur animierten Präsentation

• ...wird dadurch das Verstehen einfacher?

• ...um zu Verstehen muss man Arbeit investieren

• Aufzeichnung der wissenschaftlichen Präsentation

• ...löst den Akt des Erkenntnisgewinns von Zeit und Raum

• ...beeinflusst die Form der Präsentation durch infrastrukturelle Restriktionen

• Die vernetzte Präsentation im WWW

• ...erschließt ein neues Publikum

• ...ermöglicht neue Wege der Interaktion und Nutzung (Wiederverwendung)

• ...ermöglicht direktes und indirektes Feedback


88


Wissenschaftliches Präsentieren im Internet-Zeitalter

• Wie sucht man wissenschaftliche Präsentationen im WWW?

• Verlinkung über Homepages

• Verlinkung über Social Networking Werkzeuge

• Sammlung in (spezialisierten) Portalen

• allgemeine Suchmaschinen

• spezialisierte Suchmaschinen

• Beeinflusst die Möglichkeit der Suche (und des Findens) im WWW den Inhalt und die Form der Präsentation?


89


Wissenschaftliches Präsentieren im Internet-Zeitalter

• Wie findet man wissenschaftliche Präsentationen im WWW?

• Automatische Analyseverfahren zur Extraktion inhaltlicher beschreibender Metadaten

• Aggregation der Metadaten zu semantischen Metadaten, deren inhaltliche Bedeutung maschinell erschlossen werden kann

• Explorative Suche kann zum Erkenntnisgewinn beitragen undzu unerwarteten Ergebnissen führen


90





• Fazit


Kontakt:Dr. Harald SackHasso-Plattner-Institut IT Systems Engineering Universität PotsdamCampus Griebnitzsee14482 PotsdamTel: 0331 5509-527

http://www.hpi-web.de

Web: http://www.hpi.uni-potsdam.de/meinel/team/sack.htmlBlog: http://moresemantic.blogspot.com/Twitter-User: lysander07 / biblionomicon



http://www.hpi.uni-potsdam.de/meinel/team/sack.html

http://www.hpi.uni-potsdam.de/meinel/team/sack.html

http://moresemantic.blogspot.com

http://moresemantic.blogspot.com

Archivierung, Analyse, Interaktion und Remix von wissenschaftlichen Online-Vorträgen

Technology

Transcript of Archivierung, Analyse, Interaktion und Remix von wissenschaftlichen Online-Vorträgen