10. Juli 2019 Welcome / Willkommen

Semantisches TV Wie KI den Inhalt bewegter Bilder erkennt

Dr. Matthieu Deru Senior Software Engineer / UX Designer für Interaktive Systeme

Deutsches Forschungszentrum für Künstliche Intelligenz DFKI GmbH / Saarbrücken

3

Künstliche Intelligenz

Deep Learning KI+TV Social Web

Interaktivität Big Data

Was ist KI?

EPG

</>

Was ist Machine/Deep Learning?

EPG

</>

Das semantische Fernsehen

Verknüpfung von Wissen mit Videos

Intelligente Verknüpfung mit dem Semantic Web

Que

lle: h

ttps:

//ww

w.y

outu

be.c

om/u

ser/F

orm

ula1

Wissensextraktion mit KI

EINGABE AUSGABE

OCR

KI

Wissensextraktion mit KI

AUDIOANALYSE

VIDEOANALYSE

OCR-ANALYSE

SEMANTISCHE TEXTANALYSE

OCR

OBJEKTERKENNUNG PROMIERKENNUNG

SPEECH-TO-TEXT IN-BILD TEXTERKENNUNG OCR

„Was steht im Text?“

Neuronale Netze

AUSGABE EINGABE

Klasse oder Kategorie Pixeldaten

Neuronale Netze

AUSGABE EINGABE

Klasse oder Kategorie

Text/ Textblöcke

A

Neuronale Netze

NEURONALES NETZ

AUSGABE EINGABE

Ferrari 250 GT Berlinetta

Ford Mustang

Bilderkennung

DETEKTION (POSITION IM BILD)

SEGMENTIERUNG

KLASSIFIKATION

SEMANTISCHE VERARBEITUNG

Neuronale Netze

Semantic Web

Annotationen / Metadaten

Que

lle: Z

DF

Que

lle: w

ww

.you

tube

.com

/use

r/For

mul

a1

</>

Wissensextraktion durch OCR

Houilles Paris Champs-Elysées

Daniel Ricciardo Renault

OCR

Merz AKK Düsseldorf

Que

lle: F

ranc

e 2

Que

lle: h

ttps:

//ww

w.y

outu

be.c

om/u

ser/F

orm

ula1

Que

lle: n

-tv

Wissensextraktion

Quelle: DenseCap: Fully Convolutional Localization Networks for Dense Captioning Justin Johnson*, Andrej Karpathy*, Li Fei-Fei 2016

Wissensextraktion aus Texten

„[...] Sebastian Vettel fuhr in Hockenheim die beste Runde [...]“

PERSON>SPORTSMAN>DRIVER

!  Entitätserkennung in unstrukturierten / streambasierten Texten !  KI: NLP / NLU Module zum Sprachverständis

EPG </>

HOCKENHEIM>PLACE>CIRCUIT>GERMANY

Stimmungsanalyse

!  Kontextbezogene Inhalte werden

besser bzw. positiver wahrgenommen

!  Zuschauer wird mehr interagieren Que

llen:

RTL

/ZD

F

!  Zusatzinformation wird erst später

vom Zuschauer aufgerufen (z.B. Spannung bei Thriller oder

historische Reportage über einen Krieg)

Que

llen:

AR

D/Z

DF

Daten, Daten, Daten...

KI+TV: Mehrwert für Content-Provider

!  Intelligente Extraktion von Wissen und Kontext

!  Bessere Verwertung von Archiv / Mediatheken

!  Neue Mehrwertdienste entstehen

!  Unterstützung der Semantifizierung durch redaktionelle Werkzeuge (Swoozy-SKRPTR)

Mehrwert für den Zuschauer

!  Hohes Interaktivitätspotential

!  Zuschauer entscheidet wonach er sucht

!  Neue personalisierte Mehrwertdienste

!  Video wird ein mehrdimensionaler Träger von Wissen

KI + TV => post-Netflix Ära

21

Das semantische Fernsehen