MPEG-4 Overview Michael Hübner 706771 Semantic Media Showcase – Universität Potsdam November...

MPEG-4 MPEG-4 OverviewOverview

Michael Hübner 706771Semantic Media Showcase – Universität Potsdam

November 2003

Semantic Media Showcase - MPEG 42

starkes Zusammenwachsen von Computer, Fernsehen und Telekommunikation in den letzten Jahren

Informationen aus dem Internet sollen überall, jederzeit und egal womit abrufbereit sein

Interaktivere Gestaltung von Fernsehen (Video On Demand - VoD, Änderungen von Handlungsabläufen durch Nutzer)

Qualität der Information durch unterschiedliche Übertragungs-geschwindigkeiten bestimmt:

- Fernsehen durch Kabel bzw. Satelliten mehrere MBit/s (unidirektional)

- Computer durch ISDN-Kanal maximal 64 kBit/s bzw. DSL maximal 768 kBit/s

- Mobilfunk durch Handys nur noch 9,6 KBit/s

Warum MPEG-4Warum MPEG-4


Standard für Multimediaanwendungen (derzeit viele verschiedene, z.T. inkompatible Standards

Einheitliches Format zum Austausch von Audio- und Videoinformationen in den Bereichen:

- gute Skalierbarkeit auf En- und Decoder Seite

- Inhaltsbasierter Datenzugriff

- Hohes Maß an Interaktivität

- Darstellungsmöglichkeit von natürlichen und synthetischen Audio- und Videoinformationen

MPEG - 4 soll dies alles erfüllen

Warum MPEG-4 (Fort.)Warum MPEG-4 (Fort.)


Geschichte von MPEG-4Geschichte von MPEG-4

MPEG-4 ist ein ISO/IEC Standard (ISO/IEC 14496), entwickelt von MPEG (Moving Picture Experts Group)

Als Version 1 1998 verabschiedet, 2000 folgt Version 2 (geringe Erweiterungen, abwärtskompatibel)

Vorgänger waren MPEG-1 und MPEG-2 erfüllen nur unzureichend oben genannte Erwartungen

3 Felder: Digitales Fernsehen, interaktive grafische Applikationen und interaktives Multimedia (im World Wide Web, für Verteilung von Inhalten und Zugang zu Inhalten)

ISO/IEC 14496-1 (Systems): Tools (z.B. File Format, Descriptors, etc.)

ISO/IEC 14496-2 (Visual): nat. & syn.Coding, Animations

ISO/IEC 14496-3 (Audio): Sprach Coding, General Audio Coding


Was ist MPEG-4Was ist MPEG-4

ist keine Ersetzung von MPEG-1 & MPEG-2

ist Ergänzung der bisherigen MPEG-Standards

kein einheitliches Kompressionsverfahren festgelegt, Tools vonverschiedenen Audio- und Videokompressionsverfahren

Einheiten aus akustischem, visuellem oder audiovisuellem Inhalt, sog.„media objects“ (natürliche & synthetische Objekte)

MPEG-1Tools

MPEG-2Tools

MPEG- 4Tools

beschreibt durch Komposition derObjekte eine audiovisuelle Szene

Multiplexen und Synchronisieren derDaten der Objekte zum Transportüber geeignete Netzwerke (QoSanhand der Art der Objekte)

Interaktion Endnutzer audio-visuellen Szene


MPEG-4 StrukturMPEG-4 Struktur

Kodieren & Decodieren einer Szene bzw. Szeneninhalts,bisherige Codecs arbeiten mit einer Pixelmatrix

Szenen (audio-visuell), werden aus mehreren einfachen (primitiven)media objects (natürliche und synthetische)

Primitive media objects:

- unbewegte Bilder (still images), z.B. fester Hintergrund

- Videoobjekte (video objects), z.B. sprechende Personohne den Hintergrund, ohne Ton

- Audioobjekte (audio objects), z.B. Stimme zu einer Person,Hintergrundgeräusche, Musik

- Text, Grafiken, animierte künstliche Gesichter & Personen,synthetische Klänge


MPEG-4 Struktur (Fort.)MPEG-4 Struktur (Fort.)

Szenengraph beschreibt Szene (ist auch primitives media object)

- platzieren von media objects in einem Koordinatensystem

- Verändern der geometrischen oder akustischen Erscheinung eines media objects

- Kompositionvon einfachen media objects zu gemischten media objects wichtig beim Decoding

- interaktives Ändern an beliebigen Stellen innerhalb der Szene durch den Endnutzer

Konzept für Interaktion bzw. Szenenbeschreibung und Komposition beruhen auf der Virtual Reality Modeling language (VRML)


MPEG-4 BeispielMPEG-4 Beispiel

2D-Video-Objekt

3D-Video-Objekt

Audio (Hintergrund- musik) (syn.)

Audio (Geräusche) (natt.)

2D Hintergrund Video oder Bild


MPEG-4 EncodingMPEG-4 Encoding

S cene

Ocean-Sound

Ocean-Object

Person-Object

Person-Sound

Person-Video

Ocean-Video

Ball-3D-ObjectM usic

Szenegraph enthält Information über die Komposition der media objects

Objekte (inkl. Szenengraph) werden separat komprimiert und zu einem Datenstrom (mp4-Datei) zusammengefasst


MPEG-4 DecodingMPEG-4 Decoding

D elive ryLayer

O 1xx :xx

xx :xx

xx :xx

O 2

D M IF

O n

S ynchron isa tionLayer

D ecom pressionLayer

N e tw ork, C D ,H ard D isk

S ce ne

O ce a n -S o u n d

O ce a n -O b je ct

P e rso n -O b je ct

P e rso n -S o u n d

P e rso n -V id e o

O ce a n -V id e o

B a ll-3 D -O b je ctM u s ic


Audio-visuelle SzeneAudio-visuelle Szene


Tools zur KomprimierungTools zur Komprimierung

Natürliches Audio

- Sprachkodierung für Mobilfunk & InternettelephonieHVXC (Harmonic Vector eXcitation Code) &CELP (Code Excitat Linear Prediction)

- reine Musikkodierung MPEG - 2 AAC (Advanced AudioCoding) & TwinVQ (Transform-domain Weighted Interleave Vector Quantization)

Synthetisches Audio

- Text zu Sprache (Text to Speech - TTS)

- Integration des MIDI-Standard (Musical Digital Interface)

- Structured Audio Orchestra Language (SAOL) Sprache zurBeschreibung synthetischer Musik


Tools zur Komprimierung (Fort.)Tools zur Komprimierung (Fort.)

Natürliches Video

- Shape CodingBinary und Gray Scale Shape Coding

- Motion estimation und compensationin aufeinanderfolgenden Bildern einer Szene ändert sich der Inhalt wenig Speicherung aufeinanderfolgender Bilder nicht nötig

- Texture Codingdiskrete Kosinustransformation (DCT) & Quantisierungsprozess

- Sprite Codingstatisches Hintergrundbild, Verlust geringer Bewegungen

Synthetisches Video - Erweiterung der VRML

- facial animation Darstellung und Animation von Gesichtern

- body animation Darstellung und Animation von Körpern

- 2D-meshes Darstellung und Animation von 2D-Gittermodellen


Und noch mehr ToolsUnd noch mehr Tools

Profiles

- Profile: Simple , Advanced... Bitraten , Tools, Max. der Objekte etc.

MPEG-J

- Ansteuerung von Decodern mit Java-Code

- Szenengraph API, Ressourcen Manager API, Media Decoder API,Network API

Digitale Wasserzeichen

- Objekte mit digitalem Wasserzeichen versehen

- Qualitätsverlust beim Kopieren

- Soll freigiebiges Tauschen einschränken


AusblickAusblick

MPEG 7 - Multimedia Content Description Interface

- Toolset um MM-Inhalte zu beschreiben (Metadaten, Strukturen, Beziehungen...)

- Einfachere Suche nach MMI im Netz und Datenbanken

- Ergänzt MPEG 4

- Beinhaltet keine Kompression

MPEG 21

- umfassende Lösung für Zugriff auf Digitale Medien

- beinhaltet anbieten, suchen, kaufen


Quellennachweis & LinksQuellennachweis & Links

Quellennachweis

- Michael Repplinger: Seminar Computergraphik "Digitale Medien" Thema „Überblick über den neuen MPEG-4 Standard“ Fachbereich Informatik, Universität des Saarlandes Januar 2000 unter [email protected] http://graphics.cs.uni-sb.de/Courses/ws9900/cg-seminar/Ausarbeitung/Michael.Repplinger/index.html

- Rob Koenen: MPEG-4 Overview - (Seoul Version); Seoul, March 1999 unterhttp://drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm

Bildnachweis

- Beispielbilder aus Corel Draw 8 Objects & Photos

Links

- http://www.research.ibm.com/mpeg4 Authoring-Tools + Demos

- http://www.m4if.org/mpeg4 MPEG-4 Industry Forum

mailto:[email protected]




http://graphics.cs.uni-sb.de/Courses/ws9900/cg-seminar/Ausarbeitung/Michael.Repplinger/index.html














http://drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm















http://www.research.ibm.com/mpeg4

http://www.m4if.org/mpeg4


Links (Fort.)Links (Fort.)

CELPhttp://www.causalproductions.com/TEMP/INDEX/IC97S202.HTM

Sprachkodierunghttp://rice.ecs.soton.ac.uk/jason/speech_codecs/index.html

MIDIhttp://midi.org/ und Complete MIDI 1.0 Detailed Specification

MPEG-2 AAChttp://www.tnt.uni-hannover.de/project/mpeg/audio/

SAOLhttp://sound.media.mit.edu/mpeg4/

TwinVQ http://sound.splab.ecl.ntt.co.jp/twinvq-e/

MPEG-4 Overview Michael Hübner 706771 Semantic Media Showcase – Universität Potsdam November...

Documents

Transcript of MPEG-4 Overview Michael Hübner 706771 Semantic Media Showcase – Universität Potsdam November...