23 Januar 2003MPEG 4 Seminararbeit von Martin Goralczyk 1 /46 MPEG 4 Eine Übersicht Einleitung...

23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

1 /46

MPEG 4

Eine Übersicht

• Einleitung

• Strukturen

• Audio

• Video

• Extras


2 /46

Warum MPEG 4?

• Verbreitung von Multimediaanwendungen

• interaktives Fernehprogramm

• Fernsehen übers Internet

Mehr Daten an viele verschiedene Geräte

• Einleitung– Warum?

– Erwartungen

– Interessen

– DivX;-)

– History

– Realität

– Hierarchie

– Vergleich

– Standart

• Strukturen

• Audio

• Video

• Extras


3 /46

Welche Erwartungen?

• überall kompatibel (Standard)

• CoDec gut skalierbar

• Echte Interaktivität

• CoDec gut adaptierbar auf diverse Eingangsinformationen


– Erwartungen

– Interessen

– DivX;-)

– History

– Realität

– Hierarchie

– Vergleich

– Standart

• Strukturen

• Audio

• Video

• Extras


4 /46

Nutzerinteressen

• Video-Pendant zur MP3

• Tauschen von DVD-Filmen übers Internet – >Aushebeln von CSS– >Datenreduktion ohne sichtbaren

Qualitätsverlust


– Erwartungen

– Interessen

– DivX;-)

– History

– Realität

– Hierarchie

– Vergleich

– Standart

• Strukturen

• Audio

• Video

• Extras


5 /46

Mythos DivX;-)

• 1999 hackte Jerome Rota (Gej) den damaligen M$ MPEG4-Codec

• nicht ISO-kompatibel

• erzeugt .avi’s


– Erwartungen

– Interessen

– DivX;-)

– History

– Realität

– Hierarchie

– Vergleich

– Standart

• Strukturen

• Audio

• Video

• Extras


6 /46

Geschichte

• Oktober 1998 beim 45ten MPEG-Treffen: MPEG 4 Standard definiert

• Dezember 1999 beim 50ten MPEG-Treffen: MPEG 4 Version 2 wird bekanntgegeben (abwärtskompatibel)


– Erwartungen

– Interessen

– DivX;-)

– History

– Realität

– Hierarchie

– Vergleich

– Standart

• Strukturen

• Audio

• Video

• Extras


7 /46

Realität

• ISO-Standard (nicht kostenlos!)

• Multimedia-Bitstromformat für– natürliches Audio und Videomaterial

– synthetisches Audio und Videomaterial

– 5KBit/s bis 10MBit/s

• Sehr umfangreiche Toolsammlung für Video und Audiokompression


– Erwartungen

– Interessen

– DivX;-)

– History

– Realität

– Hierarchie

– Vergleich

– Standart

• Strukturen

• Audio

• Video

• Extras


8 /46

Hierarchie

• MPEG4 soll die Vorgänger nicht ersetzen, nur ergänzen


– Erwartungen

– Interessen

– DivX;-)

– History

– Realität

– Hierarchie

– Vergleich

– Standart

• Strukturen

• Audio

• Video

• Extras


9 /46

Vorab-Vergleich

• 640x480, 25fps, 500kbit/s Video, 128 kbit/s Audio, beste Qualität

• Quelle: DVD

• -> MPEG 1 (TMPGEnc)

• -> MPEG 2 (TMPGEnc)

• -> MPEG 4 (3ivX)


– Erwartungen

– Interessen

– DivX;-)

– History

– Realität

– Hierarchie

– Vergleich

– Standart

• Strukturen

• Audio

• Video

• Extras


10 /46

ISO/IEC 14496

• ISO/IEC 14496-1 (Systems)Tools: BiFS, Object Descriptors, FlexMux, MP4 File Format, etc.

• ISO/IEC 14496-2 (Visual)Natürliches und synthetisches Coding, sowie Gesichts und Körperanimation

• SO/IEC 14496-3 (Audio)Sprach Coding, General Audio Coding, Structured Audio, Text to Speech interface,...

• ...

• SO/IEC 14496-8


– Erwartungen

– Interessen

– DivX;-)

– History

– Realität

– Hierarchie

– Vergleich

– Standart

• Strukturen

• Audio

• Video

• Extras


11 /46

Grundstrukturen

• Speichern von Szeneninhalten anstatt von Pixeln

• Mischkodieren von natürlichen und synthetischen Objekten

• Szenengraph speichert deren Position vierdimensional

• Einleitung

• Strukturen– Szene

– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


12 /46

Bestandteile einer SzenePrimitive Objekte

Video Objekte (VO) Audio Objekte (AO)

natürlich synthetisch natürlich synthetisch

• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


13 /46

Der Szenengraph

• Gerichteter, zyklenfreier Graph

• verfügt über ein Koordinatensystem in das die Objekte eingebettet werden

• verfügt über eine virtuelle Kamera, die den sichtbaren Ausschnitt festlegt

• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


14 /46

Der Szenengraph (nodes)• grouping nodes

– fassen die Objekte einer Szene zusammen

• children nodes– Kinder der gn, repräsentieren Objekte

• bindable children nodes– spezifische Kinder, die in jeder Szene nur

eine Instanz haben dürfen

• sensor nodes– Sensoren für Benutzereingaben

• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


15 /46

Beispiel einer Szene• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


16 /46

Passender Szenengraph• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


17 /46

Eigenschaften einer Szene

• Objekte separat codiert, also manipulierbar– Objekte austauschen, anfügen und

löschen– falls Verbindung bidirektional,

müssen nur gewünschte Objekte übertragen werden

– Wahl der Perspektive (3D-Objekte) oder des Ausschnitts möglich

• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


18 /46

MPEG-J

• Java API in MPEG 4– steuert den Decoder “intelligent”– passt z.B. das Video der Hardware

des Benutzers an

• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


19 /46

BIFS/VRML(ab MPEG 4 v.2)

• Sprache zur Beschreibung von 3D Objekten

• VideoObjekte können mit Sensoren versehen werden

• Java-Code in Skriptnodes

Beispiel 1

Beispiel 4Beispiel 3

Beispiel 2

• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


20 /46

Schichtenmodel• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


21 /46

Schichtenmodell

• Delivery Layer– DMIF sendet Pointer um richtige

Daten zu laden– in elementare Ströme demultiplexen

• Sync Layer– Sync., Zeitstempel, Fehlerkorrektur

• Decompression Layer– decodieren, zusammenstellen

• Einleitung


– Szenengraph

– Beispiel

– Eigenschaften

– Extras

– Schichten

• Audio

• Video

• Extras


22 /46

Audiocodierung

• Natürlich– Sprache– Musik

• Synthetisch– Text to Speech– MIDI– Structured Audio Orchestra Language

• Einleitung

• Strukturen

• Audio– Übersicht

– nat. Sprache

– nat. Musik

– syn.Sprache

– syn. Musik

• Video

• Extras


23 /46

Natürliche Sprache

• Harmonic Vector eXcitation Code (HVXC)– 2-6kBit/s bei 8kHz

• Code Excitat Linear Prediction (CELP)– 6-24kBit/s bei 8 bis 16 kHz

• Einleitung

• Strukturen


– nat. Sprache

– nat. Musik

– syn.Sprache

– syn. Musik

• Video

• Extras


24 /46

Natürliche Musik

• MPEG 2 AAC– bei 96 kBit/s vergleichbar zu MP3 mit128 kBit/s

– sehr niedrige Bitraten möglich (ab 16 kBit/s)

Mp4 Beispiel mit 48 kBit/s

• Einleitung

• Strukturen


– nat. Sprache

– nat. Musik

– syn.Sprache

– syn. Musik

• Video

• Extras

Mp3 Beispiel mit 48 kBit/s


25 /46

Natürliche Musik• TwinVQ

– bei 96 kBit/s vergleichbar zu MP3 mit128 kBit/s

– längere Komprimierungsdauer

• Einleitung

• Strukturen


– nat. Sprache

– nat. Musik

– syn.Sprache

– syn. Musik

• Video

• Extras


26 /46

Text to Speech

• Liest Texte vor

• Reine Schnittstellendefinition

• ermöglicht es Phoneme zu definieren

• ermöglicht Animation computergenerierter Gesichter

• Einleitung

• Strukturen


– nat. Sprache

– nat. Musik

– syn.Sprache

– syn. Musik

• Video

• Extras


27 /46

MIDI

• Nur Informationen über Instrument, Note, Lautstärke, Dauer etc. werden übertragen

• Qualität von Instrumentendatenbank abhängig– dadurch unflexibel

• Nur für Musik einsetzbar

Soundbeispiel 3:41min in 67KB

• Einleitung

• Strukturen


– nat. Sprache

– nat. Musik

– syn.Sprache

– syn. Musik

• Video

• Extras


28 /46

SAOL

• Structured Audio Orchestra Language (vom MIT Media Laboratory)

• Verbesserung von MIDI: ausser Noten können auch Instrumente und Samples übertragen werden

• Einleitung

• Strukturen


– nat. Sprache

– nat. Musik

– syn.Sprache

– syn. Musik

• Video

• Extras


29 /46

Videocodierung

• Wiederum wird unterschieden zwischen– natürlichen Videoobjekten– synthetischen Videoobjekten

• Einleitung

• Strukturen

• Audio

• Video– Übersicht

– natürlich

– synthetisch

• Extras


30 /46

Natürliche Videokodierung

• Für verschiedene Bandbreiten besser skalierbar

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


31 /46

Shape Coding• Es wird in einer Matrix (Bitmap) binär gespeichert, ob

ein Bereich zum VO gehört oder nicht

– wird zur effektiven Speicherung in 16x16 Blöcke geteilt die verlustfrei oder -behaftet komprimiert werden

• Mit 255 Werten kann man einen Transparenzgrad speichern (Grey Scale Shape Coding)

– DCT Beispiel

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


32 /46

Motion Coding

• Wie in MPEG 2– Zeitliche Redundanz wird verringert– nicht blockbezogen sondern auf

Videoobjekte

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


33 /46

Texture Coding

• bewegte Texturen– Wie in MPEG 2– 8x8 Block DCT->Quantisieren– Möglichkeit der DCT-Koeffizienten

Vorhersage

• statische Texturen– Abbilden auf Polygone möglich– Wavelet Transformation

Vergleich mit JPEG

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


34 /46

DCT-Prediction

• Bildgradient entscheidet ob Zeilen oder Spalten vorhergesagt werden.

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


35 /46

Sprite Coding

• Hintergrund wird nur einmal übertragen, und relevante Objekte dann gestreamt

Wetterkarte

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


36 /46

Synthetische Videokodierung

• VRML-Standart integriert

• facial and body animation

• 2D-Meshes

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


37 /46

Facial Animation

• 84 FDP’s beschreiben ein neutrales Gesicht und können dann animiert werden

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


38 /46

Facial and Body Animation

• Nur sinnvolle Punkte lassen sich animieren

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


39 /46

2D-Meshes

• Über zweidimensionale Objekte kann ein Gitternetz gespannt werden

• Texturen werden auf Polygone gelegt anstatt auf das ganze Objekt

• Einleitung

• Strukturen

• Audio


– natürlich

– synthetisch

• Extras


40 /46

Profile

• Sehr viele Möglichkeiten um zu komprimieren

• viele verschiedene Clients

• viele MP4-Lösungen– > Profile beschränken den Encoder

• Tools

• Bitrate

• Bildgröße

• max. Anzahl der Objekte– Level 0 / 1 unterstützen bis zu 99 Macroblöcke.

– Level 2 / 3 unterstützen bis zu 396 Macroblöcke.

• Einleitung

• Strukturen

• Audio

• Video

• Extras– Profile

– Sicherheit

– Ergebnisse

– Beispiele

– Ausblick

– Quellen


41 /46

Sicherheit

• Objekte können mit digitalem Wasserzeichen versehen werden

• Qualitätsverlust beim kopieren

• Soll freigiebiges Tauschen einschränken

• Einleitung

• Strukturen

• Audio

• Video


– Sicherheit

– Ergebnisse

– Beispiele

– Ausblick

– Quellen


42 /46

Ergebnisse

• Erster Multimediastandard, der natürliche und synthetische Ursprungsdaten in gleichem Maße gut komprimiert

• Encoder arbeitet inhaltssensitiv, nicht nur Blockbasiert

• gut skalierbar, also für viele Nutzer interessant

• auch für Home-Entertainment Bereich verwendbar, da ISO-Standart

– wird erst dann auch akzeptiert

• Einleitung

• Strukturen

• Audio

• Video


– Sicherheit

– Ergebnisse

– Beispiele

– Ausblick

– Quellen


43 /46

Weitere Beispiele

• -> Video on Demand

• -> Start Up Trailer

• Vergleich:-> Flash(190KB) mit -> BIFS(136KB)

• Einleitung

• Strukturen

• Audio

• Video


– Sicherheit

– Ergebnisse

– Beispiele

– Ausblick

– Quellen


44 /46

Ausblick

• MPEG 7 - Multimedia Content Description Interface– Toolset um MM-Inhalte zu

beschreiben (Metadaten, Strukturen, Beziehungen...)

– Einfachere Suche nach MMI im Netz und Datenbanken

– Ergänzt MPEG 4– Beinhaltet keine Kompression

• Einleitung

• Strukturen

• Audio

• Video


– Sicherheit

– Ergebnisse

– Beispiele

– Ausblick

– Quellen


45 /46

Noch Ausblickender

• MPEG 21– umfassende Lösung für Zugriff auf

Digitale Medien– beinhaltet anbieten, suchen, kaufen,

DRM, etc.

• Einleitung

• Strukturen

• Audio

• Video


– Sicherheit

– Ergebnisse

– Beispiele

– Ausblick

– Quellen


46 /46

Quellen

• Internet– Google

– www.m4if.org

– www.envivio.com

– graphics.cs.uni-sb.de/Courses/ws9900/cg-seminar

• Einleitung

• Strukturen

• Audio

• Video


– Sicherheit

– Ergebnisse

– Beispiele

– Ausblick

– Quellen

23 Januar 2003MPEG 4 Seminararbeit von Martin Goralczyk 1 /46 MPEG 4 Eine Übersicht Einleitung...

Documents

Transcript of 23 Januar 2003MPEG 4 Seminararbeit von Martin Goralczyk 1 /46 MPEG 4 Eine Übersicht Einleitung...