1Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Anwendungssysteme für MPEG-4

H. Drumm, U. Kühhirt, M. Rittermann

Das Forschungsprojekt„Interaktive Audiovisuelle Anwendungssysteme“

20. FKTG-Jahrestagung, 11. Juni 2002, Zürich

2Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/ Medien-

objekte

Wo ist all dies umgesetzt?

MPEG-4

aber

universelles Multimedia-

format

spezialisierteA/V Codecs

3D-Szenen

hohe Codier-effizienz

3Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Anwendungen: viele Schlagworte

ShapedVideo

DigitalCinema Advanced

Audio Coding

Text2SpeechVideo viaInternet

Interaktionin 3D-Szenen

FacialAnimation

VideoConferencing

Medien-objekte

Very Low-BitSpeech

SpriteCoding

4Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

MPEG-4

Part 1: Systems

Part 2: Visual Part 3: Audio

Part 5: Reference Software

Part 8: 4 on IP

...

...

...

Part 6: DMIF

5Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Der „Systems“-Grundgedanke

auditiv

System

visuell

•2D-, 3D-Szene•Objektbeschreibung•Interoperation

•natürliches Video•shaped Video •Gesichtsanimation•2D-, 3D-Meshes•Skalierbarkeiten

•AAC•Sprachsynthese •parametrische Codierung

6Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Die digitale Medienkette

•Aufnahme•Modellierung•Authoring•Metadaten

1. Produktion2. Codierung,Transmission

3. InteraktiveApplikation

•Objekt-Codierung•Datenmanagement•Adaption an Transportschicht

•Rendering visuell auditiv

•verschiedene End-geräte/Applikationen•Hardware-Beschleunigung•Java-API

7Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Warum Anwendungssysteme?Inhaltsadaptive Beschreibung von der Generierung bis

zur Präsentation• im 3D-Kontext

mehrere Perspektiven, Perspektivwahl Wiedergabe auf 3D-Display

• objektbezogen Interaktion, Interoperation

• Skalierbarkeit Wiedergabe auf verschiedenen Plattformen

• Wiederverwendbarkeit nutzbar für weitere Produktionen

8Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Forschungsprojekt IAVASInteraktive Audiovisuelle Anwendungssysteme

• Institut für Medientechnik

• Projektleiter: Prof. Dr.-Ing. Karlheinz Brandenburg• 6 (+2) Wissenschaftler, Studenten, etc.• Laufzeit: 3 Jahre

• Vernetzt mit Fraunhofer IIS

9Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Typische Beispiele• Wahl der Perspektive in einer Theaterszene

10Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Typische Beispiele• Fußballspiel: Perspektivenwahl, Objektwahl, Infos

Steckbrief

John Brown28 JahreLondon13 Länderspiele9 Tore3 Gelbe Karten1 Rote Karte

Steckbrief

11Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

IAVAS-Szenario

x

y

z

background

Sound

synthetic3D objects

shapedvideo object

3D Audio

directivitytopography

camera trackingmotion

reaction

Compositor

12Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Produktion im MPEG-4 Kontext• Veränderung des Produktionsprozesses• Erzeugung von Shaped Video Objekten• Platzierung natürlicher&synthetischer 2D/3D-Objekte• Tracking- und Animationsdaten• Beispiel: räumliche Erfassung von Shaped Video und

Audio-Objekten

x

y

z

13Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Szenenkomposition• BInary Format for Scenes (BIFS)

– virtuelles Set, A/V-Objekte, Interaktionsskripte

x

y

z

Szenengraph

2D-Layer3D-Layer

2D-Layer

14Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

• Vergabe von Materialeigenschaften• Reproduktion natürlicher Effekte

– Lichteffekte, atmosphärische Effekte, Schatten, spiegelnde Reflexionen

• Reproduktion technischer Effekte– Bewegungsunschärfe, Tiefenschärfe, etc.

Szenenrealismus - AFX (Advanced Framework eXtensions)

x

y

z

15Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Virtuelle Raumakustik• Platzierung und Animation von Audioquellen

– Aufzeichnung von „trockenen“ Audiosignalen

• Zuweisung von akustischen Materialeigenschaften Materialbibliothek

– Absorption, Reflexion, Transmission

• Raumsimulation „Hören mit den Ohren der Kamera“

x

y

z

16Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Interaktivität• freie Wahl des Betrachterstandortes• Nutzung von Metainformationen durch den Zuschauer• aktive Beteiligung des Zuschauers am Sendeablauf

durch Interaktion• Austausch von einzelnen Media-Objekten

x

y

z

17Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

DatenmanagementZielstellung:• Organisation von Objekten und Szenen• Unterstützung eines auf mehrere Autoren verteilten

Authoring-Prozesses• Erfassung und Verwaltung der anfallenden Meta-Daten• Mehrfachnutzung der erstellten Inhalte• Suchmöglichkeiten• Steuerung des Zugriffes für Produzent und Konsument• Archivierung

18Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Datenmanagement

Anforderungen an das System:• Verwaltung von Objekten (Media-Objects)• Verwaltung von Baumstrukturen

(Scene Description, XML, VRML, X3D, ...) • Bearbeitung und Speicherung von Teilbäumen• strukturierte Zugriffskontrolle• Rechte der Benutzer und Benutzergruppen

administrierbar• Sicherheitsmechanismen auf Knotenebene anwendbar• Integrierbarkeit in Authoringsysteme

(APIs für gängige Programmiersprachen)

19Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

DatenmanagementXML-Server

20Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Präsentationsplattformen

Anforderungen:• Konformität bzgl. der für das Endgerät geeigneten

Profiles und Levels• bidirektionale Kommunikation zur Nutzung der

erweiterten Funktionalität (z. B. Interaktion, Endgeräteadaption)

• klientenseitige Nutzerverwaltung ermöglicht gezielte Wiedergabe und dessen Eigenschaften

• Wiedergabe auf verschiedenen Endgeräten über verschiedene Transportwege (z. B. DVB, IP, ADSL, ...)

• Beispiel: Messeszene

21Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

BeispielHardwareunterstützte Berechnung von

Virtueller Akustik

• Hardwareunterstützung: Entlastung der CPU• Einsatz von APIs für „3D-Audio“:

– OpenAL– Creative EAX 3.0 = EAX ADVANCED HD™ (SB Audigy)

• Gewinnung von EAX listener und source properties aus Szenenbeschreibung (MPEG-4 Knoten)

• Integration in ein VRML-Projekt• To Do: Einbindung in MPEG-4 Technologie / Player

22Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Demonstrationen• Demonstrator auf Basis eines VRML-Browsers

– Demonstration eines IAVAS-Szenarios

– look-and-feel

– MPEG-4 nahe Umsetzung

• Messeszene– Integration von MPEG-4-konformen shaped

Videosequenzen in 3D-Szenen

• Authoring Tool für Interaktionsskripte– Bearbeitung von MPEG-4 Szenengraphen und

Objektbeschreibungen

23Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Demonstrator

24Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Messeszene

25Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Authoring Tool für Interaktionsskripte

26Institute of Media TechnologyTechnische Universität Ilmenauht

tp://

ww

w.ia

vas.

de/

Vielen Dankfür Ihre Aufmerksamkeit.