Bridging the Semantic GapSeminar

Universität MannheimLehrstuhl für Praktische Informatik IV

Sommersemester 2006

Victor Schanvschan@rumms.uni-mannheim.de

MPEG-7

Inhalt

Überblick

Struktur

Ausgewählte Deskriptoren

Distanzmaß

Anwendungen

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Fazit

Einleitung

Einleitung

MPEG-7 ist

- kein Kompressionsstandard wie seine Vorgänger MPEG 1/2.

- kein (semi-)automatisches Verfahren zur Merkmals- extraktion aus Multimediadokumenten.

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

(Quelle: http://www.members.cox.net, 2004)

Einleitung

- universelle Beschreibungssprache für multimediale Daten

- Metadaten werden in einem XML-Dokument gespeichert.

- XML-Darstellung kann verlustfrei in eine binäre Dar- stellung umgewandelt werden (z.B. für Streaming).

- Informationen über Informationen (Metadaten)

- Format und Medium spielen keine Rolle.

MPEG-7:

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Einleitung

- stetig wachsender Informationsberg

Motivation:

- große Multimediabibliotheken

- effizient suchen

- in Multimediadaten enthaltene Metadaten effizient und intelligent nutzen

- neue Anwendungen

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

(Quelle: http://www.ibm.com, 2004)

Überblick Struktur Deskriptoren Distanzmaß Anwendungen

Der MPEG-7 Standard:

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Syst

ems

DDL

VisualDescriptors

AudioDescriptorsMD

SR

efer

ence

Sof

twar

e

Confor

mance

Extraction & Useof descriptors

Profiles

Schem

a

Definition

Fazit

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Erzeugung undProduktion

VerwendungMedientyp

semantischeAspekte

strukturelleAspekte

Audio Bild / Video

Inhaltsmanagement

Inhaltsbeschreibung

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

(Quelle: Ohm, 2005)

“A” “B”

“D”

“1”

“2”

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Description Scheme

S

S

Descriptor

Description Value

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

(Quelle: Höynck, 2004)

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Description Definition Language (DDL)

- basiert auf XML

- erweitert XML um Datentypen wie z.B. Arrays, Matrizen, Ländercodes, ...

- erlaubt die Erstellung eigener Descriptions und Description Schemes (DS)

- kann bestehende Descriptions und DS erweitern und modifizieren

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Media Description Schemes (MDS)

Collections ModelsContent organisation

Navigation& Access

Basic elements

Summaries

Basicdatatypes

Links & media localisation

Basictools

Creation andProduction

UsageMedia

Semanticaspects

Structuralaspects

Content management

Content description Views

Variations

SchemaTools

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

(Quelle: Martinez, 2004)

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

(Quelle: Martinez, 2004)

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

gelb

schwarz

Color Structure Descriptor

kompakt

sehr unstrukturiert

- unabhängig vom Format- unabhängig von der Größe

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Gelb

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

Orange

Dominant Color Descriptor

- charakterisiert einen Ausschnitt anhand der dominanten Farbe

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Homogeneus Texture Descriptor

- Man kann ein Bild auch als Mosaik aus homogenen Texturen betrachten.

- Blickwinkel und Entfernung spielen keine Rolle.

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Objekterkennung ist ein wichtiger Bestandteil der Videoanalyse.

- Das menschliche Gehirn erkennt anhand der Kontur(änderung) dreidimensionale Objekte.

MPEG-7 Contour Shape Descriptor

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

(Quelle: Kopf, 2006)

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

Contour Shape Descriptor

(Quelle: Kopf, 2006)

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Suchanwendungen benötigen ein Maß, mit dem Eigenschaften verglichenwerden können

Euklidische Distanz:

Da viele Deskriptoren als Vektoren(paare) dargestellt werden können,ist die Verwendung der Euklidischen Distanz sehr verbreitet.

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

Distanzmaß

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

- Multimodale Suche: Skizze oder Sprache anstatt eines Begriffs

- Inhaltsadaption: Speech-to-Text, Picture-to-Text, ...

- Videoüberwachung: Erkennung von gefährlichen Objekten

- Video-on-Demand: Untertitel, Sprache oder Musik nach persöhnlichen Präferenzen

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit

Vorteile von MPEG-7:

Nachteile von MPEG-7:

- sehr komplex

- durch DDL erweiterbar

- universell einsetzbar

- Binärformat für Streaming

- wird bisher nur vereinzelt eingesetzt

Anwendung

Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006

Offene Fragen ?