MPEG-4 Szenenbeschreibung in Telepräsenz-Szenarien fileDanksagung Diese Dissertation entstand...

Click here to load reader

  • date post

    10-Oct-2019
  • Category

    Documents

  • view

    0
  • download

    0

Embed Size (px)

Transcript of MPEG-4 Szenenbeschreibung in Telepräsenz-Szenarien fileDanksagung Diese Dissertation entstand...

  • MPEG-4 Szenenbeschreibung in Telepräsenz-Szenarien

    Jan Leupold

  • TECHNISCHE UNIVERSITÄT MÜNCHEN

    Lehrstuhl für Realzeit-Computersysteme

    MPEG-4 Szenenbeschreibung in Telepräsenz-Szenarien

    Jan Leupold

    Vollständiger Abdruck der von der Fakultät für Elektrotechnik und Informationstechnik der Technischen Universität München zur Erlangung des akademischen Grades eines

    Doktor-Ingenieurs (Dr.-Ing.)

    genehmigten Dissertation.

    Vorsitzender: Univ.-Prof. Dr. sc.techn. (ETH) A. Herkersdorf

    Prüfer der Dissertation: 1. Univ.-Prof. Dr.-Ing. G. Färber

    2. Univ.-Prof. Dr.-Ing. K. Diepold

    Die Dissertation wurde am 12.03.2008 bei der Technischen Universität München eingereicht und durch die Fakultät für Elektrotechnik und Informationstechnik am 04.06.2008 angenom- men.

  • Danksagung

    Diese Dissertation entstand als Ergebnis meiner Tätigkeit als wissenschaftlicher Mitarbei- ter am Lehrstuhl für Realzeit–Computersysteme der Technischen Universität München. Teile der Arbeit wurden von der Deutschen Forschungsgemeinschaft (DFG) als Teil des Sonderforschungsbereichs

    ” Wirklichkeitsnahe Telepräsenz und Teleaktion“ gefördert.

    An erster Stelle möchte ich mich hier bei Professor Färber bedanken. Nicht nur als Dok- torvater für die Erstellung dieser Dissertation, sondern auch in allen anderen Aspekten des Lehrstuhllebens hat er stets ein ausgewogenes Verhältnis von Freiräumen und notwen- diger Pflicht gefunden. Bei Professor Diepold will ich insbesondere deswegen bedanken, dass er mir die Idee mit MPEG-4

    ” in den Kopf gesetzt hat“. Natürlich darf hier auch nicht

    unerwähnt bleiben, dass ich ohne die Informationen, die mir Prof. Diepold im Umfeld zu MPEG-4 zukommen hat lassen, nur schwerlich weitergekommen wäre.

    Bei allen meinen Kollegen am RCS will ich mich für die gute Zusammenarbeit, das ange- nehme Arbeitsklima und das ebenso angenehme

    ” Nicht-Arbeits“-Klima bedanken. Ebenso

    will ich diesen Dank an die zahlreichen Kollegen richten, mit denen ich im Verlauf meiner bisherigen Tätigkeit in Kooperationsprojekten zusammengearbeitet habe.

    Was das Telepräsenz-Team am RCS angeht – die manchmal auch nur ” Teletubbies“ ge-

    nannt werden – bedanke ich mich bei Georg Passig und Tim Burkert für die angenehme Teamarbeit in der dritten Phase des SFB 453. Für die vierte Phase geht mein besonderer Dank an Stephan Behrendt: einen besseren Freund, Bürokollegen und Teletubbie kann man sich nicht wünschen.

    Mein Studium und die anschließende Dissertation wäre nicht ohne die stetige Un- terstützung durch meine Eltern möglich gewesen. Mir war immer bewusst, dass ich auf Euch zählen kann.

    La última y persona más importante a la que quiero dar las gracias, es mi mujer Cecilia. Te agradezco much́ısimo el apoyo que me has dado durante todos estos años.

    München, im März 2008

  • Inhaltsverzeichnis

    Verzeichnis der verwendeten Symbole vii

    1 Einleitung 1

    2 Stand der Technik und verwandte Arbeiten 5

    3 MPEG-4 Grundlagen 15 3.1 MPEG-4 Systemaufbau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.2 Binary Format for Scenes – BIFS . . . . . . . . . . . . . . . . . . . . . . . 17

    3.2.1 Struktur des Szenengraphen . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 Mehrfachverwendung von Knoten . . . . . . . . . . . . . . . . . . . 18 3.2.3 In dieser Arbeit verwendete Knotentypen . . . . . . . . . . . . . . . 19 3.2.4 Benutzerinteraktion . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.5 Beispiel eines BIFS-Szenengraphen . . . . . . . . . . . . . . . . . . 22 3.2.6 Binäre Kodierung – BIFS-Update Kommandos . . . . . . . . . . . . 23

    3.3 BIFS Kompressionswerkzeuge . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.3.1 EfficientFloat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.3.2 Quantisierung und das CoordIndex Verfahren . . . . . . . . . . . . 27 3.3.3 Predictive MFField . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

    3.4 Object Descriptor Framework . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.4.1 Verwendung von URLs . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.4.2 BIFSConfig . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

    3.5 SyncLayer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.6 Delivery Multimedia Integration Framework – DMIF . . . . . . . . . . . . 37

    4 BIFS Daten-Kompression 39 4.1 Modellrekonstruktion aus Sensordaten . . . . . . . . . . . . . . . . . . . . 39

    4.1.1 Sensordaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.1.2 Einzelbild-Rekonstruktion . . . . . . . . . . . . . . . . . . . . . . . 41 4.1.3 Modifizierte Einzelbild-Rekonstruktion . . . . . . . . . . . . . . . . 43 4.1.4 Raumaufteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

    4.2 BIFS Kompressionswerkzeuge . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.2.1 EfficientFloat Enkoderstrategien . . . . . . . . . . . . . . . . . . . . 47 4.2.2 Quantisierung und CoordIndex . . . . . . . . . . . . . . . . . . . . 50 4.2.3 Predictive MFField . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

    4.3 Zwischenresümee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.4 IFS Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

    v

  • Inhaltsverzeichnis

    4.5 Modellgenerierung bei quantisierter Kodierung . . . . . . . . . . . . . . . . 64 4.6 Zusammenfassung und Vergleich der Werkzeuge . . . . . . . . . . . . . . . 69

    5 MPEG-4 angewendet im Haptisch-Visuell-Auditorischen Arbeitsraum (HVA) 73 5.1 Anforderungen des HVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5.2 Grundlegende Vorgehensweise zur Einbindung von MPEG-4 . . . . . . . . 76

    5.2.1 Duplex Übertragung für BIFS-Update Kommandos . . . . . . . . . 76 5.2.2 Weiterleitung von Elementary Streams . . . . . . . . . . . . . . . . 79 5.2.3 Optimierung der Weiterleitung . . . . . . . . . . . . . . . . . . . . 82 5.2.4 Verteilte Modellrekonstruktion über Medienknoten . . . . . . . . . 86 5.2.5 Validierung der Vorgehensweise und Messergebnisse . . . . . . . . . 91

    5.3 Erweiterung: Level of Detail mit blickpunktabhängigem Bandbreitenbedarf 99 5.3.1 Vorgehensweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.3.2 Das Testszenario . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 5.3.3 Messergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

    5.4 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

    6 Zusammenfassung und Ausblick 107

    A Anmerkungen zum MPEG-4 Standard 111

    B Eingesetzte Hard- und Software 115 B.1 Kapitel 4: BIFS-Kompression . . . . . . . . . . . . . . . . . . . . . . . . . 115 B.2 Kapitel 5: MPEG-4 angewendet im HVA . . . . . . . . . . . . . . . . . . . 116

    C MPEG-4 Details 117 C.1 Datenfelder der verwendeten Knoten . . . . . . . . . . . . . . . . . . . . . 117 C.2 Bitbedarf zur Kodierung von Feldern und Knoten . . . . . . . . . . . . . . 120 C.3 SL-Paket Header . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

    Literaturverzeichnis 125

    vi

  • Verzeichnis der verwendeten Symbole

    AU Access Unit, Seite 16 B-rep Boundary Representation, Seite 5 BIFS Binary Format for Scenes CSG Constructive Solid Geometry DMIF Delivery Multimedia Integration Framework IEC International Engineering Consortium IFS Indexed Face Set, Seite 20 ISO International Organization for Standardization HVA Haptisch-Visuell-Auditorischer Arbeitsraum, Seite 3 LASeR Lightweight Application Scene Representation LOD Level of Detail OCR Object Clock Reference, Seite 37 ODS Object Descriptor Stream, Seite 32 PMF Predictive MFField, Seite 30 PROTO Benutzerspezifischer Knotentyp, Seite 18 QP Quantization Parameter, Seite 21 ROUTE Signalpfad für Benutzerinteraktion, Seite 22 SL SyncLayer: zeitliche Synchronisierung von Elementary Streams SL-Paket Datenpakte mit SyncLayer-Informationsheader SVG Scalable Vector Graphics VRML Virtual Reality Modeling Language

    vii

  • Verzeichnis der verwendeten Symbole

    viii

  • Zusammenfassung

    Für Telepräsenz-Szenarien steht ein Ziel immer sehr deutlich im Vordergrund: der Bedie- ner eines ferngesteuerten Roboters soll sich fühlen, als ob er an Stelle des Roboters die gestellte Aufgabe selber ausführen würde. Um dies technisch umzusetzen, müssen viele Daten von der Umgebung des Roboters erfasst und dem Bediener mit hoher Qualität dargestellt werden. Zu diesen Daten gehören auch Informationen über die Geometrie der Roboterumgebung. Sobald ein dreidimensionales Umgebungsmodell verfügbar ist, kann dem Benutzer durch leistungsfähige Computergrafik eine Ansicht der entfernten Umge- bung aus beliebiger Perspektive dargestellt werden. Die vorliegende Arbeit befasst sich mit der Problemstellung, die Daten eines dreidimensionalen Umgebungsmodells vom Standort des Roboters zum Standort des Benutzers mit möglichst geringem Ressourcenbedarf und trotzdem ausreichender Qualität zu übertragen.

    Als Teil des MPEG-4 Standards wird mit BIFS (Binary Format for Scenes) unter anderem ein Protokoll definiert, um dreidimensionale Geometriedaten zu übertragen. Das BIFS Protokoll enthält bereits einige Kompressionswerkzeuge, um das benötige Datenvolumen für Geometriedaten zu reduzieren. In dieser Arbeit wird vorgestellt, wie di