Perspektiven der MultimediakommunikationKonrad Froitzheim, TU Freiberg, Germany

frz@tu-freiberg.de

• Status quo und die 'öffentliche' Vision

• Technische Grundlagen

• Reality-Check

• Noch eine Vision

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Status quo/ Kleine Taxonomie der technischen Kommunikation

Konsum Kooperation

Interaktion

TV Rundfunk

Interactive TV

Video-on-Demand

Teleteaching

Telepräsenz

Telearbeit

Arbeitsprozesse

InformationssystemeTelefon

Telekonferenz

ElektronischePost

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Status quo/Dialogkommunikation

• Kommunikation in der realen Welt– sehen-und-kommunizieren

– Reichweite der Sinne

• Soziale Protokolle– Aufdringlichkeit

– Unterbrechung

• Verbindungskontrolle– anschauen und …

– implizites Filtern

• Dialogsteuerung– CSMA/CD

– warten bis man dran ist

– Wirkung beobachten

• Telephonie verändert sich– mobil und allgegenwärtig

– flat rate

– ständige Unterbrechung

• Empfangsbereitschaft– Ort

– Tätigkeit

– Gemütslage

• Verbindungssteuerung– Zahlen, Zahlen, …

– Telefonbuch, Anrufliste

– lange Startzeit

– explizit

• Dialogsteuerung primitiv

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Status quo/Konsumtive Dienste

• Informationsdienste– sehen-und-konsumieren

– anreizgetrieben

– Papier extrem billig

– Radio und TV

• Medien– Text

– Diagramme und Bilder

– Audio, Video

• Suche: Mustererkennung

• Steuerung– physisch

– Nehmen-Lesen-Weglegen

– Programmwahl, Zap

• Broadcast

• Konsumtive Multimediadienste – computerbasiert

– 'ubiquitär'

– integriert in alle Tätigkeiten

– ständig eingeschaltet

• Steuerung = Suche– >1000 Programme?

– Links, Linklisten

– Programmzeitung ~ Yahoo

– Suchmaschinen

• Bewertung– Bsp: blogs

– Vertrauenswürdigkeit

– Popularität

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Status quo/Games

• Spiele in der realen Welt– teilnehmen

– evtl. bewegen und anstrengen

– Reichweite der Sinne

• Interagieren– Brettspiele, Quiz

– Wettkampf

– Mannschaftssport

• Steuerung– verabreden, teilnehmen

– Regeln

• Computerspiel – virtuelle Welten

– jederzeit, mühelos

– online-Spiele

• Verfügbarkeit– Ort, Zeit

– Tätigkeit

– Gemütslage

• Anonyme Interaktion

• Steuerung– Zahlen, Zahlen, …

– Chatroom, …

– lange Startzeit

– explizit

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Öffentliche Vision

• Größer– höhere Auflösung (HDTV)

• Überall– UMTS, 4G, …

– W-LAN, Hotspots, …

• Videoiger– Videotelefonie, Video-Mail

– Handy-TV

• Kontrollierter– Firewalls, Inhaltsfilter, …

– im Namen der Sicherheit

• Konsumorientiert

• Gewinnorientiert– Bezahlung pro Konsumvorgang

– Detailabrechnung vs. flat-rate

QuickTime™ and aPhoto - JPEG decompressor

are needed to see this picture.

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Technische Grundlagen/Kanal

• Signalausbreitung im Medium– Geschwindigkeit 200.000 - 250.000 km/s

– Dämpfung, Störungen, Reflektionen, Überlagerung, …

– => Rauschen, Fehler

• Drahtgebundene Übertragung– Kupferkabel, Glasfasern, Waveguides

– Glasfaser: Terabit/s

– xDSL: Mbit/s, Cat5e: Gbit/s

• Broadcast-Funk– zelluläre Struktur

– digitales TV: 2-4 Mbit/s pro Kanal

• Unicast-Funk: Kbit/s - Mbit/s– Millionen Nutzer

– zelluläre Struktur

– Zeit und Durchsatz limitiert

MantelHülle

Kern

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Technische Grundlagen/Kanal/Multiplex

• Raummultiplex– mehrere Adern im Kabel

– viele Kabel

– Phased-Array?

• Frequenzmultiplex (FDMA)– mehrere (Funk-)Frequenzen

– WDM in Glasfasern

• Zeitmultiplex (TDMA)– feste Sequenz: ISDN, GSM

– statistisch: Paketvermittlung

• Codemultiplex (CDMA)

• Beispiele– TV und Radio: FDMA

– GSM: TDMA (+ FDMA)

– UMTS: TDMA oder CDMA (+ FDMA)

– Telefonie, ISDN, DSL: Raummultiplex, TDMA, FDMA

Hz103 105 107 109 1011 1013 1015

twistedpair

Tiefsee-kabel

Koax-kabel Hohlleiter Glasfaser

Infrarot optischeÜbertragung

Mikro-wellen

TVKWMWLW

leitungsgebundene Übertragung

drahtlose Übertragung

SignalPN-codeCode

Signal-Bit

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Technische Grundlagen/Audio

• Aufnahme und Digitalisierung– Mikrofon und Filter

– Abtastung und Diskretisierung

– 64 kbit/s - 1.5 Mbit/s

• Kompression– Differenzkodierung, Prädiktion

– gezielt weglassen

– mp3: 192 kbit/s

– AAC: 64 - 128 kbit/s

– GSM, LPC: 2-13 kbit/s

• Wiedergabe– Signalrekonstruktion

– Fehlerkorrektur

– Lautsprecher, Kopfhörer

– Surround-Sound?

0

20

40

60

80

100 1.000 10.00020

t

U

…001

…010

…011

…100

…101

…000

t

k

t

k+1

t

k+2

t

k+3

t

k+4

t

k+5

t

k+6

t

k+7

t

k+7

t

k+7

t

k+8

U(t)

Û(t)

Prädiktor

Δ ΣPrädiktor

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Technische Grundlagen/Video

• Aufnahme– Kamera, Beleuchtung kritisch

• Digitalisierung– CCD-Chips mit hoher Auflösung und Rate möglich

– Grenzen der Miniaturisierung: Verstärkung und Rauschen

– ITU601: 720*625*24*50/2 [Bit/s] ~ 270 MBit/s

– HDTV: 1920*1080*24*24 [Bit/s] ~ 1,2 GBit/s

• Kompression– Transformation

– Verlust akzeptieren

– nur Differenzen kodieren

– JPEG, MPEG-1/2/4

– ITU-601: 2-4 Mbit/s, HDTV: 17-20 MBit/s

– Objekte identifizieren und Szenen zerlegen

• Wiedergabe– Bildschirm oder Projektion

SiO2SubstratP+Inseln

Element

BIFS

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Technische Grundlagen/Kompression/Beispiel JPEG

• Farbraum– Kamera: RGB

– YUV: Unterabtastung Farbraum

• Transformation– Ziel: unwichtiges weglassen

– Frequenzraum

– hohe Frequenzen = Detail

• Quantisierung (Runden)– niedrige Frequenzen

– hohe Frequenzen

• Kodierung– Linearisieren

– Nullen unterdrücken

– Kode mit variabler Länge

FDCTQuantizer

Zigzag Order

and Zero

Suppression

Huffman

Coder

Huffman

Decoder

DeZigzag:

Matrix

Reconstr.

De-

Quantizer

IDCT

Color

Space

Converter

Compressed image data

Color

Space

Converter

x

x

y

y

1

2

2

1

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Technische Grundlagen/Übertragung komprimierter Daten

• Fehler im Kanal– Überlagerung, Interferenzen etc.

– Verfälschung: Bit- und Burstfehler

– Paketverlust

• Kode = Information + Redundanz– Kompression reduziert Redundanz im Medium

– Kodierung versucht Koderate zu verbessern

• Störanfälligkeit ~ 1/Redundanz– gezielt Redundanz einführen

– Fehlerkorrektur-Kodes

• Kompression und Paketisierung– Kompressionspipeline

– Bytes für Pakete sammeln

– Umlaufzeit

500 byte 20 msec

sehr gut: mp3 192 kbit/s 21 msec 500 bytemittel: ADPCM 32 kbit/s 125 msec 80 byteTelefon: ADPCM 16 kbit/s 250 msec 40 bytemäßig: GSM 13 kbit/s 307 msec 32.5 byteschlecht: hrGSM 4 kbit/s 1 sec 10 byte

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Reality Check/Mythos Mobilfunk

• Funkkanal störanfällig– zelluläres System begrenzt Sendeleistung

– mehr Teilnehmer => mehr Störungen

• Durchsatz der Funksysteme beschränkt– raffinierte Fehlerkorrektur nötig

– geteilte Kapazität

– multimediale Inhalte stark komprimiert

• Realistisches Nutzungsmuster– viele Benutzer

– kurze Benutzungsdauer

• Handy-TV– realistisch als Broadcast-Dienst

– Satelliten (DMB) und DVB-H0

0,1

0,2

0,3

0,5

0,6

0,7

0 2 4 6 8 10 12 14 16 18 20

0,4

0,8

0,9

1,0

p(fail)

angebotene Last= 10 Erlang

Leitungen

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Reality Check/Video für alles

• Videotelefon: Live-Bild selten präsentabel– Beleuchtung, Kameraführung

– Kleidung, Aufräumen, Schminken, …

• Nischen-Märkte– Reisezeit >> Sprechzeit

– Großeltern-Abwehr

– Konferenzstudios (Polycom etc)

• Mobiles Videotelefon– 'animierte Briefmarken'

– Display+Kamera+Mikro+Lautsprecher

• Produktionskosten hoch– Drehbuch

– Aufnahme, Schnitt

– Kompression

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Dialogdienste/Vision

• Flat rate und Überall-Telefonie– Telefon klingelt ständig

– Verbindungen werden länger

– neue Wege beim Anruf-Management

• Erweiterung der 'lokalen' Mechanismen– 'Hans ---- wann fahren wir los?

– 'ich möchte mit dem Verkäufer vom Montag sprechen'

• Telefone– finden Nummern wie Bookmarks und Google

– nehmen Anrufe entsprechend Situation an

– Dauerverbindungen mit Aktivierung/Deaktivierung

• 3D-Szenen mit Avataren– Blickkontakt

– Video kann Illusion verbessern

– Anordnung der Stimmen im Raum

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

imDialogdienste/Herausforderungen

• Präsentations-Hardware– Projektion, Audio

– HUD, auch portabel

– 3D-Video, 3D-Sound

• Störungen managen– Präsenz in Kommunikationsräumen

– Bewertung und Kommunikation von Anrufparametern

• Assoziation von Namen|Konzepten und Nummern– Spracherkennung

– Durchsuchen aller Kommunikationsvorgänge [Gray: Personal Petabyte]

– Suchen im Web und anderen Verzeichnissen [Bush: Memex]

• Verbindungen besser managen– Präsenzinformation kommunizieren und visualisieren

– Dauerverbindungen

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Dialogdienste/Präsenz

• Reale Welt– Entfernung [Meter]

– Soziale Metriken …

• WebSpace [CoBrow, 1996]– Zeit + Ort: Link-Distanz

– keywords und content

• Project BuddySpace

• Präsenz = Ort + Ansprechbarkeit

• Telefon– Kommunikationssituation

– Arbeitssituation

– Kalender in PC und PDA

• Mobiltelefonie– fahren, gehen, rennen, …

– physischer and mentaler Stress

/TU

Fre

iber

g/In

tern

et M

ultim

edia

/Kon

rad

Fro

itzhe

im/Vision/Kommunikation mit Mechanismen der realen Welt

• Integration Dialog- und Konsumdienste– Dialog im Web => CoBrow

– Suche statt Telefonbuch

– Commpage statt Homepage

• Kommunikationsraum Holodeck– Ziele als Avatare

– natürliche Sprachsteuerung

– Dialogsteuerung wie in der realen Welt

– Blickkontakt, Ansprechen, …

• Kommunikationswohnung– Büro, Spiel, Unterhaltung, Bibliothek, …

– Metaverse [Neal Stephenson: Snow Crash]