MPEG-4Ein Überblick
Vortrag in der Projektgruppe „Verteilte Multimedia-Serversysteme“
WS 00/01
2
Gliederung
EinführungEinführung
VisualVisual
AudioAudio
DMIFDMIF
SystemsSystems
ProfilesProfiles
3
Wiederholung
Technik von MPEG-2:Intraframe-Codierung
DCT, RLE
Interframe-CodierungMotion CompensationI-, P-, B-Frames
hierarchische CodierungBase LayerEnhancement Layer
Einführung DMIFAudioVisual Systems Profiles
4
Überblick (1)
offizielle Bezeichnung: ISO/IEC 14496 Lizenzierung kostenpflichtig
Tools auf CD-ROM für $40 erhältlich
fertiggestellt im Oktober 1998 Anfang 1999: internationaler Standard Ende 1999: MPEG-4 Version 2
nur Erweiterungen, keine Veränderungen
neue Erweiterungen in Arbeit
Einführung DMIFAudioVisual Systems Profiles
5
Überblick (2)
MPEG2 Kompression von Videodaten
MPEG4 erweiterte FunktionalitätKompressionFlexibilitätkeine Festlegung auf bestimmtes Verfahren
oft nur Interfaces standardisiert
stattdessen: Sammlung verschiedener Tools
Einführung DMIFAudioVisual Systems Profiles
6
Anwendungen
Videos Fußball im Pay-TV
nicht bezahlt: kein Ballbezahlt: Ball erscheint
Mobilfunk Internettelefonie Interaktive Videospiele Videokonferenzen
Einführung DMIFAudioVisual Systems Profiles
7
Zielgruppen
AutorenWiederverwendbarkeitFlexibilitätRechteverwaltung
NetzwerkbetreuerFramework - „Unterbau“ muss vom
Netzwerkbetreiber bereitgestellt werden
Endbenutzerhohes Maß an InteraktivitätQualität auch bei niedrigen BitratenFehlerrobustheit mobil
Einführung DMIFAudioVisual Systems Profiles
8
Grundidee
Szene wird in „Einheiten“ unterteilt Media Objects
Zusammensetzung der Media Objects wird gespeichert Szenengraph
Einführung DMIFAudioVisual Systems Profiles
9
Media Objects
Video ObjectsNatural
Kamera
Synthetic computergeneriert
Audio ObjectsNatural
Mikrofon
Synthetic computergeneriert
Einführung DMIFAudioVisual Systems Profiles
10
Szenengraph (1)
Szenengraph sorgt für korrekte Positionierung der Media Objectsräumlichzeitlich
Realisiert durch gerichteten, azyklischen Graphen scene
Person 2D Background Video
picturevoice
Einführung DMIFAudioVisual Systems Profiles
11
Szenengraph (2)
jedes Media Object besitzt ein eigenes Koordinatensystem
Szenengraph verfügt selbst auch über ein Koordinatensystem
durch Berechnung: „virtuelle Kamera“ möglichBlickwinkelAusschnitt
Einführung DMIFAudioVisual Systems Profiles
12
Hierarchie
Media Objects einer Szene sind hierarchisch sortiert
Blätter: Primitive Media ObjectsStill Images - unbewegte Bilder (z. B.
Hintergrund)Video Objects (z. B. Person)Audio Objects (z. B. Stimme)
Bild einer Person
Stimme einer Person
„komplette“Person
Einführung DMIFAudioVisual Systems Profiles
13
Streams
MPEG-Standards basieren auf Datenströmen (Streams)
in MPEG-2 drei Arten von StreamsPacketized Elementary Stream
Audio- oder Videostrom (in Pakete aufgeteilt)
Program Stream „Programme“ codiert als PES Anwendungen ohne Fehler (DVD, ...)
Transport Stream für unsichere Übertragungskanäle
Einführung DMIFAudioVisual Systems Profiles
14
Übertragung
SenderObjekte komprimieren
1 Primitive Media Object 1 Stream
Zusammenfassen zu einem Stream (Multiplex)
EmpfängerStream trennen (Demultiplex)
in Elementary Streams zerlegen Objekte einlesen (Decode)
Szenengraph einlesen 1 Elementary Stream (Decode)
Zusammensetzen (Composition) und Aufbauen (Rendering) der Szene
Einführung DMIFAudioVisual Systems Profiles
15
Schichtenmodell
Dekodieren der Datenströme
Netzwerk / CD / Kabel
Delivery Layer
Synchronisation Layer
Decompression Layer
Aufbauen der Szene
ZeitstempelFehlerkorrektur
DatenempfangDemultiplex
16
Aufbauen einer SzeneCompositionRendering
.
.
.
Media Objects
Scene Graph
Einführung DMIFAudioVisual Systems Profiles
Syn
chro
nisa
tion
Layer
17
Gliederung
EinführungEinführung
VisualVisual
AudioAudio
DMIFDMIF
SystemsSystems
ProfilesProfiles
18
Visual
Kodierung von visuellen Objekten in natürlichen und synthetischen, bewegten Bildern
Verknüpfung mit Ton möglich
Ziel:breites Anwendungsfeldeffiziente Komprimierung erreichen
Einführung DMIFAudioVisual Systems Profiles
19
Videoformate
Bitratenmin. 5kbit/smax. 10 Mbit/s
Formateprogressiveinterlaced
Auflösungenmin. sub-QCIF (172 x 144 Pixel)max. > HDTV (1440 x 1152 Pixel)
Einführung DMIFAudioVisual Systems Profiles
20
„Content-based“ Funktionalität
Video Objects einzeln kodiert
Random Access auf einzelnen Objekten play, pause, forward, ...
Manipulation einzelner Video ObjectsBsp.: Text auf sich bewegendes Video Object
legen
Einführung DMIFAudioVisual Systems Profiles
21
Skalierbarkeit (1)
Complexity Scalability (Encoder)Streams verschiedener Komplexität erzeugen
Complexity Scalability (Decoder)festen Stream in verschiedenen
Komplexitätsstufen abspielen schwache Decoder decodieren nur Teil des Streams
Einführung DMIFAudioVisual Systems Profiles
22
Skalierbarkeit (2)
Spatial Scalability (Decoder)Auflösung einzelner Video Objects skalierbar
Temporal Scalability (Decoder)nicht alle Frames werden wiedergegeben
Quality Scalability (Encoder)Benutzung verschiedener Layer (s. MPEG-2)
Einführung DMIFAudioVisual Systems Profiles
23
Natural Video Objects
natürliches Video Object besteht aus folgenden Informationen:Form (shape)Texturen (texture)Bewegungsinformationen (motion)
zusätzliche Kompressionsmöglichkeit:Sprite Coding
Einführung DMIFAudioVisual Systems Profiles
24
Shape Coding
Binary Shape CodingMatrix (Binary Alpha
Map)definiert, ob Pixel zu
Objekt gehört0 - liegt nicht drin255 - liegt drin
Alpha Shape Codingdefiniert TransparenzWert zwischen 0
(transparent) und 255 (undurchsichtig)
0 255
0 255 255 255
255 255 255
255 255 255
00
0
255
0 0
0
255
255
0
0
0
0
255255
255
Einführung DMIFAudioVisual Systems Profiles
25
Texture Coding
gleiche Kodierung wie bei MPEG-2Diskrete Kosinustransformation (DCT)Quantisierung
Mapping auf 2D-/3D-Oberflächen möglichspezielle Transformation (Wavelet)
Einführung DMIFAudioVisual Systems Profiles
26
Motion Coding
Motion Compensation Ähnlichkeiten in Bildfolgen ausnutzen
I-VOP
P-VOPB-VOP
Zeit
Einführung DMIFAudioVisual Systems Profiles
27
Sprite Coding
Hintergrund (Sprite) wird nur einmal übertragen
auf Decoder-Seite in Buffer gespeichert nur noch Kamerapositionen werden geändert gute Kompressionsrate
Einführung DMIFAudioVisual Systems Profiles
28
Synthetic Video Objects
Facial Animation - Animation von Gesichtern
Body Animation
2D Meshes
3D Meshes
View-dependent Scalability
Einführung DMIFAudioVisual Systems Profiles
29
Facial Animation
Form, Textur und Gesichtsausdruck werden nur durch Parameter übergebenFacial Definition Parameters (FDP)
Gesicht wird durch 84 FDPs beschrieben FDPs werden vom Decoder in Gesicht
umgesetzt Animation:
Facial Animation Parameters Gesichtsausdrücke
Body Animation analog
Einführung DMIFAudioVisual Systems Profiles
30
2D Meshes
Aufteilung des 2-dimensionalen Raumes in Polygonein MPEG-4 nur Dreiecke
Textur wird über das Gittermodell gelegt Texture Mapping
Animation Verschieben der
Knotenpunkte
Einführung DMIFAudioVisual Systems Profiles
31
View-dependent Scalability
wird in 3D-Welten benutzt ermöglicht Übertragung von Texturen nur sichtbare Informationen werden
übertragen spart Bandbreite
Berechnung auf Encoder- und Decoder-Seite Rückkanal erforderlich
Einführung DMIFAudioVisual Systems Profiles
32
Gliederung
EinführungEinführung
VisualVisual
AudioAudio
DMIFDMIF
SystemsSystems
ProfilesProfiles
33
Audio
Tools fürRepräsentation (Sprache, Musik)
KompressionSkalierbarkeitEffekte
künstliche HerstellungDaten in Textform übergebenEffekte (Widerhall, ...)
meistens nur Interfacekonkrete Implementierung flexibel
Einführung DMIFAudioVisual Systems
34
Natural Audio Objects
Sprachespezielle Standards für Sprachoptimierung
geringer Frequenzbereich geringe Bitrate
MusikTwinVQ
besser als MP3
MPEG-2 Advanced Audio Coding (AAC)
Einführung DMIFAudioVisual Systems Profiles
35
Synthesized Speech
Text To Speech (TTS)-InterfaceDecoder wandelt Text in gesprochene Sprache
um extrem niedrige Bitraten
Unterstützung fürphonetische ParameterSynchronisation mit Lippenbewegungenpause, resume, jump forward/backwardDialekte, Sprachunterstützung
Einführung DMIFAudioVisual Systems Profiles
36
Synthesized Audio
MIDI (Musical Instrument Digital Interface)Synthesizer auf Decoder-Seitenur Noten und Information über Instrument
werden übertragen spart Bandbreite
Erweiterung: SAOL (Structured Audio Orchestra Language)Funktionalität von MIDIDefinition des Instrumentes kann im Stream
mitgeschickt werden Decoder setzt Instrumente und Noten zusammen
Einführung DMIFAudioVisual Systems Profiles
37
Gliederung
EinführungEinführung
VisualVisual
AudioAudio
DMIFDMIF
SystemsSystems
ProfilesProfiles
38
Streaming
MPEG-4 Standard stellt flexibles Handling für Streams zur Verfügung kann auf beliebige Protokolle aufsetzen
Verschiedenste Nutzungsarten möglichInternetBroadcastDVD, CD etc.
Einführung DMIFAudioVisual Systems Profiles
39
DMIF
Delivery Multimedia Integration FrameworkSitzungsprotokoll Framework
ähnlich FTPUnterschied: statt Daten werden Pointer
übertragen, wo zu streamende Daten zu finden sind
stellt Interface für Applikationen zur VerfügungDMIF Application Interface (DAI)
Einführung DMIFAudioVisual Systems Profiles
40
Aufbau des DMIF
FlexMux
RTP UDP/IP MPEG-2 TS Datei
SLSL ......synchronisation
layer
deliverylayer
DMIFlayer
TransMuxlayer
DAI
DNI
ESI
Einführung DMIFAudioVisual Systems Profiles
41
DMIF AblaufLocal DMIF
Application
DMIF
Remote DMIF
Application
DMIF
1. App. (local) DMIF (local) spricht DAI an Aufbau Sitzung zwischen
DMIF und Applikation
2. DMIF (local) DMIF (remote) Kommunikation über DNI baut Netzwerksitzung auf
3. DMIF (remote) App. (remote) Aufbau Sitzung zwischen DMIF und App. (lokal)
4. App. (remote) App. (local) Kommunikation über 1, 2 und 3
1
2
3
4
Einführung DMIFAudioVisual Systems Profiles
42
Gliederung
EinführungEinführung
VisualVisual
AudioAudio
DMIFDMIF
SystemsSystems
ProfilesProfiles
43
Systems
Sammlung von Tools
beschreiben Verhältnis zwischen den Objekten einer Szene
Verhältnis wird auf 2 Ebenen beschriebenBinary Format for Scenes (BIFS)Object Descriptors (ODs)
beschreiben Verhältnis der Streams eines Objekteszusätzliche Informationen (URL, Intellectual Property,
...)
Einführung DMIFAudioVisual Systems Profiles
44
Zusätzliche Themen
User Interaction FlexMux Tool
s. DMIF
MPEG-4 File Format MPEG-J Transportschicht-Unabhängigkeit
s. DMIF
Intellectual Property-Verwaltung
Einführung DMIFAudioVisual Systems Profiles
45
BIFS (1)
Sprache zur Beschreibung von 3D-Szenenkomplett abgeleitet aus VRML (Virtual Reality
Modeling Language)
Möglichkeit zur Gruppierung von MOs Szenenbeschreibung
Position der MOs in Raum und Zeit
Änderung der Attribute
Einführung DMIFAudioVisual Systems Profiles
46
BIFS (2)
Andere ManipulationenEreignismodell
Userinteraktion
vorgefertige Funktionen zur Konstruktion von Szenen Graphics Primitives
Advanced BIFS (Version 2)Advanced Sound Environment Modeling
Widerhall, ...
und mehr
Einführung DMIFAudioVisual Systems Profiles
47
User Interaction
muss explizit vom Autor erlaubt werden client-seitige Interaktion
Änderung des Inhalts erfolgt beim EndbenutzerGrößenänderungSichtbarkeitPosition, ...
durch Events (Mausklick, Tastatur)
server-seitige Interaktionähnlich, jedoch erfolgen Änderungen beim
SenderRückkanal (back channel) erforderlich
Einführung DMIFAudioVisual Systems Profiles
48
Intellectual Property (1)
Management und Schutz von geistigem Eigentum (intellectual property)schnelle Entwicklung dieses Gebietes stellt nur System zur Verfügung, keine konkrete
Implementierung
in einem MO kann eine Intellectual Property Identification (IPI) gespeichert werdenInhaltArt des InhaltsRechteinhaber
Einführung DMIFAudioVisual Systems Profiles
49
Intellectual Property (2)
Version 2: Schnittstelle für Intellectual Property Management and Protection (IPMP) Systemkann die Daten aus IPIs benutzen
Funktionen, die vom IPMP System unterstützt werden:kontrollierter Zugang zu geistigem Eigentum;
Kontrolle erfolgt vom ProviderVerifikation der Authentizität des SendersVerifikation Integrität des IPsSchutz vor Raubkopien
Einführung DMIFAudioVisual Systems Profiles
50
Intellectual Property Schema
Szenen-graph
Demux
MPEG-4Stream MO
Decode
Objekt-deskriptoren
CompositionRendering
IPMPS
Stream flow controller
Einführung DMIFAudioVisual Systems Profiles
51
MPEG-J
Erlaubt, MPEG4-Decoder über Javacode zu bedienen
stellt APIs zur VerfügungKontrollmechanismen für MPEG-4 Medien in
Java möglich
Java-Applikation wird als eigener Elementary Stream übertragenÜbergeben an MPEG-J runtime environmentApplikation kann auf Komponenten und Daten
des MPEG-4-Players zugreifen
Einführung DMIFAudioVisual Systems Profiles
52
MPEG-J APIs
Scene Graph APIHinzufügen/Entfernen von MOs, ...
Resource Manager APIRegelt Performance
Network APIErlaubt Interaktion mit DMIF
Media Decoders APIKontrolliert die Decoder, die am aktuellen
Rechner verfügbar sind
Einführung DMIFAudioVisual Systems Profiles
53
MPEG-J Schema
MPEG-JEin-/Ausgabe
NW API MD API SG API RM API
DMIF
Demux
BIFS Decoder Szenengraph
Media Decoder
CompositionRendering
Einführung DMIFAudioVisual Systems Profiles
54
MP4 File Format
basiert auf dem QuickTime Format (Apple)
besteht aus objekt-ähnlichen Einheiten: Atoms
alle Atoms, die Informationen zu einem movie enthalten, bilden ein Movie Atom
Eigentliche Mediendatenin der MP4-Datei selbst (Media Data Atoms)außerhalb (Zugriff via URL)
Einführung DMIFAudioVisual Systems Profiles
55
MP4 File Aufbau
MP4-Datei
movie atom
Media Data Atom
initialobject
descriptor
BIFS
OD
video
audio MP4-Datei
BIFS units
Media Data Atom
Einführung DMIFAudioVisual Systems Profiles
56
Gliederung
EinführungEinführung
VisualVisual
AudioAudio
DMIFDMIF
SystemsSystems
ProfilesProfiles
57
Profiles
Profiles limitieren Tools, die der Decoder implementieren kann optimale Qualität für spezielle Anwendungen
Beispiel MPEG-2: Main Profile@Main Level ein Profile besteht aus 1 oder mehr Levels Profiles existieren für
Audio VisualScene DescriptionMPEG-JObject Descriptors
Einführung DMIFAudioVisual Systems Profiles
58
Visual/Audio Profiles
Visualinsgesamt 15 ProfilesSimple
Effizient, schnell, für rechteckige Videoobjekte
MainBeliebig geformte, skalierbare ObjekteZiel: Entertainment, DVD-Anwendungen
AudioInsgesamt 8 ProfilesSpeech ProfileMain Profile
Einführung DMIFAudioVisual Systems Profiles
59
MPEG-4 >Version 2
nur noch Änderungen bei Visuals/Systems Visual
Tools für MPEG-4 in professionellen StudiosDigital Cinema: Codieren ohne Verlust
SystemsBIFS Extensible MPEG-4 Textual Format
Szene durch Text beschreiben
2D und 3D Animation
Einführung DMIFAudioVisual Systems Profiles
60
Ende
Danke
Top Related