Institute of Media Technology Technische Universität Ilmenau 1 Anwendungssysteme für MPEG-4 H....

1Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Anwendungssysteme für MPEG-4

H. Drumm, U. Kühhirt, M. Rittermann

Das Forschungsprojekt„Interaktive Audiovisuelle Anwendungssysteme“

20. FKTG-Jahrestagung, 11. Juni 2002, Zürich


tp://

ww

w.ia

vas.

de/ Medien-

objekte

Wo ist all dies umgesetzt?

MPEG-4

aber

universelles Multimedia-

format

spezialisierteA/V Codecs

3D-Szenen

hohe Codier-effizienz


tp://

ww

w.ia

vas.

de/

Anwendungen: viele Schlagworte

ShapedVideo

DigitalCinema Advanced

Audio Coding

Text2SpeechVideo viaInternet

Interaktionin 3D-Szenen

FacialAnimation

VideoConferencing

Medien-objekte

Very Low-BitSpeech

SpriteCoding


tp://

ww

w.ia

vas.

de/

MPEG-4

Part 1: Systems

Part 2: Visual Part 3: Audio

Part 5: Reference Software

Part 8: 4 on IP

...

...

...

Part 6: DMIF


tp://

ww

w.ia

vas.

de/

Der „Systems“-Grundgedanke

auditiv

System

visuell

•2D-, 3D-Szene•Objektbeschreibung•Interoperation

•natürliches Video•shaped Video •Gesichtsanimation•2D-, 3D-Meshes•Skalierbarkeiten

•AAC•Sprachsynthese •parametrische Codierung


tp://

ww

w.ia

vas.

de/

Die digitale Medienkette

•Aufnahme•Modellierung•Authoring•Metadaten

1. Produktion2. Codierung,Transmission

3. InteraktiveApplikation

•Objekt-Codierung•Datenmanagement•Adaption an Transportschicht

•Rendering visuell auditiv

•verschiedene End-geräte/Applikationen•Hardware-Beschleunigung•Java-API


tp://

ww

w.ia

vas.

de/

Warum Anwendungssysteme?Inhaltsadaptive Beschreibung von der Generierung bis

zur Präsentation• im 3D-Kontext

mehrere Perspektiven, Perspektivwahl Wiedergabe auf 3D-Display

• objektbezogen Interaktion, Interoperation

• Skalierbarkeit Wiedergabe auf verschiedenen Plattformen

• Wiederverwendbarkeit nutzbar für weitere Produktionen


tp://

ww

w.ia

vas.

de/

Forschungsprojekt IAVASInteraktive Audiovisuelle Anwendungssysteme

• Institut für Medientechnik

• Projektleiter: Prof. Dr.-Ing. Karlheinz Brandenburg• 6 (+2) Wissenschaftler, Studenten, etc.• Laufzeit: 3 Jahre

• Vernetzt mit Fraunhofer IIS


tp://

ww

w.ia

vas.

de/

Typische Beispiele• Wahl der Perspektive in einer Theaterszene


tp://

ww

w.ia

vas.

de/

Typische Beispiele• Fußballspiel: Perspektivenwahl, Objektwahl, Infos

Steckbrief

John Brown28 JahreLondon13 Länderspiele9 Tore3 Gelbe Karten1 Rote Karte

Steckbrief


tp://

ww

w.ia

vas.

de/

IAVAS-Szenario

x

y

z

background

Sound

synthetic3D objects

shapedvideo object

3D Audio

directivitytopography

camera trackingmotion

reaction

Compositor


tp://

ww

w.ia

vas.

de/

Produktion im MPEG-4 Kontext• Veränderung des Produktionsprozesses• Erzeugung von Shaped Video Objekten• Platzierung natürlicher&synthetischer 2D/3D-Objekte• Tracking- und Animationsdaten• Beispiel: räumliche Erfassung von Shaped Video und

Audio-Objekten

x

y

z


tp://

ww

w.ia

vas.

de/

Szenenkomposition• BInary Format for Scenes (BIFS)

– virtuelles Set, A/V-Objekte, Interaktionsskripte

x

y

z

Szenengraph

2D-Layer3D-Layer

2D-Layer


tp://

ww

w.ia

vas.

de/

• Vergabe von Materialeigenschaften• Reproduktion natürlicher Effekte

– Lichteffekte, atmosphärische Effekte, Schatten, spiegelnde Reflexionen

• Reproduktion technischer Effekte– Bewegungsunschärfe, Tiefenschärfe, etc.

Szenenrealismus - AFX (Advanced Framework eXtensions)

x

y

z


tp://

ww

w.ia

vas.

de/

Virtuelle Raumakustik• Platzierung und Animation von Audioquellen

– Aufzeichnung von „trockenen“ Audiosignalen

• Zuweisung von akustischen Materialeigenschaften Materialbibliothek

– Absorption, Reflexion, Transmission

• Raumsimulation „Hören mit den Ohren der Kamera“

x

y

z


tp://

ww

w.ia

vas.

de/

Interaktivität• freie Wahl des Betrachterstandortes• Nutzung von Metainformationen durch den Zuschauer• aktive Beteiligung des Zuschauers am Sendeablauf

durch Interaktion• Austausch von einzelnen Media-Objekten

x

y

z


tp://

ww

w.ia

vas.

de/

DatenmanagementZielstellung:• Organisation von Objekten und Szenen• Unterstützung eines auf mehrere Autoren verteilten

Authoring-Prozesses• Erfassung und Verwaltung der anfallenden Meta-Daten• Mehrfachnutzung der erstellten Inhalte• Suchmöglichkeiten• Steuerung des Zugriffes für Produzent und Konsument• Archivierung


tp://

ww

w.ia

vas.

de/

Datenmanagement

Anforderungen an das System:• Verwaltung von Objekten (Media-Objects)• Verwaltung von Baumstrukturen

(Scene Description, XML, VRML, X3D, ...) • Bearbeitung und Speicherung von Teilbäumen• strukturierte Zugriffskontrolle• Rechte der Benutzer und Benutzergruppen

administrierbar• Sicherheitsmechanismen auf Knotenebene anwendbar• Integrierbarkeit in Authoringsysteme

(APIs für gängige Programmiersprachen)


tp://

ww

w.ia

vas.

de/

DatenmanagementXML-Server


tp://

ww

w.ia

vas.

de/

Präsentationsplattformen

Anforderungen:• Konformität bzgl. der für das Endgerät geeigneten

Profiles und Levels• bidirektionale Kommunikation zur Nutzung der

erweiterten Funktionalität (z. B. Interaktion, Endgeräteadaption)

• klientenseitige Nutzerverwaltung ermöglicht gezielte Wiedergabe und dessen Eigenschaften

• Wiedergabe auf verschiedenen Endgeräten über verschiedene Transportwege (z. B. DVB, IP, ADSL, ...)

• Beispiel: Messeszene


tp://

ww

w.ia

vas.

de/

BeispielHardwareunterstützte Berechnung von

Virtueller Akustik

• Hardwareunterstützung: Entlastung der CPU• Einsatz von APIs für „3D-Audio“:

– OpenAL– Creative EAX 3.0 = EAX ADVANCED HD™ (SB Audigy)

• Gewinnung von EAX listener und source properties aus Szenenbeschreibung (MPEG-4 Knoten)

• Integration in ein VRML-Projekt• To Do: Einbindung in MPEG-4 Technologie / Player


tp://

ww

w.ia

vas.

de/

Demonstrationen• Demonstrator auf Basis eines VRML-Browsers

– Demonstration eines IAVAS-Szenarios

– look-and-feel

– MPEG-4 nahe Umsetzung

• Messeszene– Integration von MPEG-4-konformen shaped

Videosequenzen in 3D-Szenen

• Authoring Tool für Interaktionsskripte– Bearbeitung von MPEG-4 Szenengraphen und

Objektbeschreibungen


tp://

ww

w.ia

vas.

de/

Demonstrator


tp://

ww

w.ia

vas.

de/

Messeszene


tp://

ww

w.ia

vas.

de/

Authoring Tool für Interaktionsskripte


tp://

ww

w.ia

vas.

de/

Vielen Dankfür Ihre Aufmerksamkeit.

Institute of Media Technology Technische Universität Ilmenau 1 Anwendungssysteme für MPEG-4 H....

Documents

Transcript of Institute of Media Technology Technische Universität Ilmenau 1 Anwendungssysteme für MPEG-4 H....