Oliver Lietz – Mobile Software

Embedded SystemsEmbedded SystemsAusgewählte Themen (ES-M)Ausgewählte Themen (ES-M)

Beuth-Hochschule WS 2010Beuth-Hochschule WS 2010

Oliver LietzOliver LietzDipl.-Ing.Dipl.-Ing.

Digitale VideotechnikDigitale Videotechnik

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

ÜberblickÜberblick

Digitale VideotechnikDigitale Videotechnik

CodecsCodecs

StreamingStreaming

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Virtuelles Video-StudioVirtuelles Video-Studio

Aufzeichnung und Streaming von Live-VideoAufzeichnung und Streaming von Live-Video

KameraKamera PC-Workstation PC-Workstation AndroidAndroidUSB, HDMI, SDIUSB, HDMI, SDI iPhoneiPhone

PC/FlashPC/Flash

ErfassungErfassung Aufzeichnung/VerarbeitungAufzeichnung/Verarbeitung Streaming Streaming (Capture) (Capture) CodierungCodierung Server (IP) PlayoutServer (IP) Playout

Streaming.BoxStreaming.Box

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

ProduktionsstreckeProduktionsstrecke

TechnischTechnisch

Video

Übertragung

Audio

Wiedergabe /Playback

Codierung

Codierung

Aufzeichnung /Speicherung

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Video-Aufzeichnung (Capture)Video-Aufzeichnung (Capture)Eingabe-Gerät (Capture Device): Video/Audio getrenntEingabe-Gerät (Capture Device): Video/Audio getrennt

Codierung (Encoder): Video/Audio getrenntCodierung (Encoder): Video/Audio getrennt

Multiplex: Video/Audio kombiniertMultiplex: Video/Audio kombiniert

Ziel (Datei oder IP-Stream / Socket)Ziel (Datei oder IP-Stream / Socket)

uncompressed uncompressed ↑↑ compressed compressed ↑↑

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Video-WiedergabeVideo-Wiedergabe

Hilfsmittel (Tool): „GraphEdit“ (Microsoft) / „GraphStudio“ (OpenSource)Hilfsmittel (Tool): „GraphEdit“ (Microsoft) / „GraphStudio“ (OpenSource)

Beispiel Beispiel DirectShowDirectShow: „Filter“ über „Pins“ verbunden„Filter“ über „Pins“ verbunden

Datenfluss durch den „Filter-Graphen“Datenfluss durch den „Filter-Graphen“

Datenfluss: Datenfluss:

Datei oder IP-Stream, Splitter, Decoder A/V getrenntDatei oder IP-Stream, Splitter, Decoder A/V getrennt

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Web-Streaming Web-Streaming Adobe Flash Media Live EncoderAdobe Flash Media Live Encoder

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

nanoStream Live Video EncodernanoStream Live Video EncoderLive Encoding/Streaming aus dem BrowserLive Encoding/Streaming aus dem Browser

Aufzeichnung, Encoding, StreamingAufzeichnung, Encoding, Streaming– Webcam oder Profi-KameraWebcam oder Profi-Kamera

Flash-kompatibel (RTMP-Protokoll)Flash-kompatibel (RTMP-Protokoll)

3D-Video (Stereoskopie)3D-Video (Stereoskopie)

Plugin-Basiert fürPlugin-Basiert fürInternet Explorer, Firefox, …Internet Explorer, Firefox, …

3D-Video (Stereoskopie)3D-Video (Stereoskopie)

Javascript-APIJavascript-API

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Live Playback mit FlashLive Playback mit Flash

Encoder spielt auf Encoder spielt auf

Media ServerMedia Server

Player (Flash) holt von Player (Flash) holt von

Media ServerMedia Server

Flash Media ServerFlash Media Server

Wowza Media ServerWowza Media ServerPhoto © Rob WatkinsPhoto © Rob Watkins

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Live Streaming - BrowserbasiertLive Streaming - Browserbasiert

Live EncoderLive Encoder Wowza/Flash Media Server Flash Player Wowza/Flash Media Server Flash Player

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Bild-Erfassung / DigitalisierungBild-Erfassung / Digitalisierung

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Bild-ErfassungBild-ErfassungOptische Abbildung mit Auge / KameraOptische Abbildung mit Auge / Kamera

LichtCCD ChipFilmNetzhaut

3D ObjektLinse(n)

Projektion

2D Abbildung

Film/Video/Auge: Mehrere Einzelbilder pro Sekunde

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Digitale Bilderfassung / AbtastungDigitale Bilderfassung / Abtastung

CCD – Charge Coupled DevicesCCD – Charge Coupled Devices

1969 Boyle/Smith - Nobelpreis 2009 1969 Boyle/Smith - Nobelpreis 2009

Prinzipien: Prinzipien: – Matrix aus HalbleiternMatrix aus Halbleitern– Photoelektrischer EffektPhotoelektrischer Effekt– Endliche AuflösungEndliche Auflösung

(„Megapixel“)(„Megapixel“)

Ähnlich: CMOSÄhnlich: CMOS– Tendenziell billigerTendenziell billiger– mehr Rauschenmehr Rauschen

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

1-Chip-CCD1-Chip-CCD Farbe: unterschiedliche Arten von Filtern/SensorenFarbe: unterschiedliche Arten von Filtern/Sensoren

„ „Bayer-Matrix“Bayer-Matrix“

Nachteil: Verringerung der Auflösung, Interpolation Nachteil: Verringerung der Auflösung, Interpolation (Störungen an scharfen Kanten)(Störungen an scharfen Kanten)

http://en.wikipedia.org/wiki/Bayer_filterhttp://www.matrix-vision.com/info/articles/pdf/art_bayermosaic_de.pdf

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

CCD-TypenCCD-Typen

Interline und Frame TransferInterline und Frame Transfer

http://www.ccd-sensor.de

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

3CCD3CCD Farbe: unterschiedliche Farbfilter über „Dichroitisches Prisma“Farbe: unterschiedliche Farbfilter über „Dichroitisches Prisma“

Nachteil: aufwendige Optik (teuer)Nachteil: aufwendige Optik (teuer)

Einsatz in Professioneller StudiotechnikEinsatz in Professioneller Studiotechnik

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Film / VideoFilm / Video

Film/Video = „Bewegte Bilder“Film/Video = „Bewegte Bilder“

2D+t (Ort+Zeit)2D+t (Ort+Zeit)

BildelementeBildelemente(Picture Elements, Pixels)(Picture Elements, Pixels)

Auflösung (Ort)Auflösung (Ort)z.B.z.B. 720x576 720x576 Pixel, 1920x1080 Pixel, 1920x1080

Auflösung (Zeit): Bildrate (Frame Rate, FPS)Auflösung (Zeit): Bildrate (Frame Rate, FPS)z.B. 24, z.B. 24, 2525, 30 Bilder/Sekunde, 30 Bilder/Sekunde

Format: 16:9, 4:3, …Format: 16:9, 4:3, …

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

TV / HDTVTV / HDTVSDTV: Standard Definition SDTV: Standard Definition – PAL: PAL: 720x576i 25 (Europa)720x576i 25 (Europa)– NTSC: NTSC: 720x480i 30 (USA)720x480i 30 (USA)– Gleiches Format bei DVD und DVBGleiches Format bei DVD und DVB

HDTV: High DefinitionHDTV: High Definition– 1280x720p 50: 1280x720p 50: = „720p“= „720p“– 1920x1080i 25 1920x1080i 25 = „1080i“= „1080i“– 1920x1080p 50 1920x1080p 50 = „1080p“= „1080p“

Mobil:Mobil:– 640x480640x480– 352x288352x288– … … (viele Formate!)(viele Formate!)

Zahlreiche Kamera/Kompressions-/SpeicherformateZahlreiche Kamera/Kompressions-/Speicherformate– MP4, H264, MPEG, WMV, WebM, …MP4, H264, MPEG, WMV, WebM, …

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Video-Bildgrößen (Auflösungen)Video-Bildgrößen (Auflösungen)

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

BildgrößenBildgrößen

Bildgrößen / Pixel abhängig vom Motiv und Bildgrößen / Pixel abhängig vom Motiv und WiedergabegerätWiedergabegerät– Beispiel: 128x100 Pixel, vergrößert auf 800x600Beispiel: 128x100 Pixel, vergrößert auf 800x600

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

BildgrößenBildgrößen

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

PixelPixel

Ortsauflösung x,yOrtsauflösung x,y

Farbauflösung (Bits/Pixel)Farbauflösung (Bits/Pixel)

s/w: 1 Bit/Pixel (an/aus) s/w: 1 Bit/Pixel (an/aus) RGB: 8 Bit/Farbe = 24 Bit/PixelRGB: 8 Bit/Farbe = 24 Bit/Pixel

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Digitales Video: DemosDigitales Video: Demos TV, Kino/DVD, HDTV, Kino/DVD, HD

TV: SportTV: Sport Kino/DVD: Bourne - TrailerKino/DVD: Bourne - Trailer Kino/HD: Piraten der KaribikKino/HD: Piraten der Karibik Podcast/Stream: TagesschauPodcast/Stream: Tagesschau 3D-Video: Avatar3D-Video: Avatar

Demo

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Datenmenge VideoDatenmenge Video

Anzahl Pixel/Bild:Anzahl Pixel/Bild:

Auflösung x * yAuflösung x * y– 720*576 (PAL-TV, ITU 601, Europa)720*576 (PAL-TV, ITU 601, Europa)

Datenmenge je Pixel:Datenmenge je Pixel:– RGB: 3*8=24 Bit = 3 ByteRGB: 3*8=24 Bit = 3 Byte

Datenmenge je Sekunde: Datenmenge je Sekunde: – Bildrate (Frame Rate, FPS)Bildrate (Frame Rate, FPS)

z.B. 24, 25, 30 Bilder/Sekundez.B. 24, 25, 30 Bilder/Sekunde

Beispiele: Beispiele: SDTV: 720 x 576 x 3 x 25 Bytes/Sek. = 30 MB / s = 100 GB / h SDTV: 720 x 576 x 3 x 25 Bytes/Sek. = 30 MB / s = 100 GB / h

HDTV: 1920 x 1080 x 3 x 25 Bytes/Sek. = 150 MB / s = 500 GB / hHDTV: 1920 x 1080 x 3 x 25 Bytes/Sek. = 150 MB / s = 500 GB / h

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Video-KompressionVideo-Kompression

Datenmengen:Datenmengen:– 2K-/HD-Kamera: 2K-/HD-Kamera:

1920x1080 Pixel 1920x1080 Pixel = 2 Mega-Pixel= 2 Mega-Pixel

3 Bytes/Pixel3 Bytes/Pixel

6 MB / Bild6 MB / Bild

6 MB x 25 Bilder/s = 150 MByte / s 6 MB x 25 Bilder/s = 150 MByte / s

Vergleich DSL: 6 Mbit/sVergleich DSL: 6 Mbit/s

Notwendige Kompression: 1:200 Notwendige Kompression: 1:200

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Videocodierung/Komprimierung – wozu?Videocodierung/Komprimierung – wozu?

SpeicherungSpeicherung– DVD, BluerayDVD, Blueray– Kamera (Flash, Memorystick, Band, …)Kamera (Flash, Memorystick, Band, …)– FestplatteFestplatte– Mobiltelefon (UMTS, 3GPP), PDAMobiltelefon (UMTS, 3GPP), PDA

ÜbertragungÜbertragung– Digital-TV (DVB)Digital-TV (DVB)– Internet / Video on DemandInternet / Video on Demand– Mobiltelefon (UMTS, 3GPP)Mobiltelefon (UMTS, 3GPP)– Digital Cinema (HDTV, 2K, 4K)Digital Cinema (HDTV, 2K, 4K)

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Demos BildkompressionDemos Bildkompression

Komprimierungs-BeispieleKomprimierungs-Beispiele 1:40 … 1:7001:40 … 1:700

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

JPEG BeispieleJPEG Beispiele

211 kbyte, Faktor 3,64Original 768 kbyte

512x512 Pixel, 24 bit Farbe

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

JPEG BeispieleJPEG Beispiele

22,8 kbyte, Faktor 16,1Original 768 kbyte

512x512 Pixel, 24 bit Farbe

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

JPEG BeispieleJPEG Beispiele

7,36 kbyte, Faktor 104Original 768 kbyte

512x512 Pixel, 24 bit Farbe

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

JPEG BeispieleJPEG Beispiele

2,87 kbyte, Faktor 268Original 768 kbyte

512x512 Pixel, 24 bit Farbe

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Datenrate / BitrateDatenrate / Bitrate

Datenrate/Bitrate: Datenmenge pro Zeit, Bits/sDatenrate/Bitrate: Datenmenge pro Zeit, Bits/s

Datenrate unkomprimiert: aus Orts/ZeitauflösungDatenrate unkomprimiert: aus Orts/Zeitauflösung– PAL 720x576: PAL 720x576: Datenrate ca. 30 MB/s = 240 MBit/sDatenrate ca. 30 MB/s = 240 MBit/s– HDTV 1920x1080: HDTV 1920x1080: Datenrate ca. 150 MB/s = 1,2 GBit/sDatenrate ca. 150 MB/s = 1,2 GBit/s– DSL: 6 MBit/sDSL: 6 MBit/s– Kompression notwendig: 1:40 … 1:200Kompression notwendig: 1:40 … 1:200

Bitraten in der Praxis für komprimierte Videos: Bitraten in der Praxis für komprimierte Videos: – MPEG-2 / DVD: MPEG-2 / DVD: 4…8 MBit/s4…8 MBit/s– H.264 Mobil: H.264 Mobil: unter 1 MBit/sunter 1 MBit/s– H.264 HDTV: H.264 HDTV: 10…20 Mbit/s10…20 Mbit/s

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Tagesschau - KompressionsbeispielTagesschau - Kompressionsbeispiel

„„Tagesschau in 100s“Tagesschau in 100s“– Spielt das Video flüssig über UMTS-Leitung mit 256 kBit/s ?Spielt das Video flüssig über UMTS-Leitung mit 256 kBit/s ?

Altes Format Altes Format – 320x240, 25 fps320x240, 25 fps– Dateigröße 2,5 MBDateigröße 2,5 MB

2,5 MB = 20 MBit2,5 MB = 20 MBitBitrate = 20 MBit / 100s = 200 kBit/sBitrate = 20 MBit / 100s = 200 kBit/s

Neues Format Neues Format – 480x272, 25 fps480x272, 25 fps– Dateigröße 3,8 MBDateigröße 3,8 MB

3,8 MB = 30 MBit3,8 MB = 30 MBitBitrate = 30 MBit / 100s = 300 kBit/sBitrate = 30 MBit / 100s = 300 kBit/s

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

AufzeichnungsformateAufzeichnungsformate

Analoge KamerasAnaloge Kameras– Veraltet - aber viele analoge Schnittstellen!Veraltet - aber viele analoge Schnittstellen!

Digitale KamerasDigitale Kameras– DV, HDV: Consumer: Firewire-Kabel / IEEE1394DV, HDV: Consumer: Firewire-Kabel / IEEE1394– Neuere Consumer-Kameras mit HDMINeuere Consumer-Kameras mit HDMI– IMX, HDCAM, XDCAM: Profis: SDI-KabelIMX, HDCAM, XDCAM: Profis: SDI-Kabel

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Kompression bei der AufzeichnungKompression bei der Aufzeichnung

Digitale Videokameras führen in der Regel eine Digitale Videokameras führen in der Regel eine Kompression durchKompression durch

Je nach QualitätJe nach Qualität– niedrig komprimiert – hohe Bitrate – hohe Qualitätniedrig komprimiert – hohe Bitrate – hohe Qualität– hoch komprimiert – niedrige Bitrate – niedrige Qualitäthoch komprimiert – niedrige Bitrate – niedrige Qualität

– DV, HDV: 25 MBit/sDV, HDV: 25 MBit/s– XDCAM: 50-100 MBit/sXDCAM: 50-100 MBit/s

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

Typische DatenratenTypische Datenraten

DV: (Firewire IEEE 1394): 400 MBit/sDV: (Firewire IEEE 1394): 400 MBit/sUSB 2.0: USB 2.0: 480 MBit/s (USB 3.0: 5 GBit/s)480 MBit/s (USB 3.0: 5 GBit/s)WLAN: WLAN: 100 MBit/s100 MBit/sDVB-TV: DVB-TV: 5 MBit/s 5 MBit/sUMTS: UMTS: 1 MBit/s 1 MBit/s

Digitales Studio: SDI (Serial Digital Interface)Digitales Studio: SDI (Serial Digital Interface)– 1.5 GBit/s -> „uncompressed“ möglich1.5 GBit/s -> „uncompressed“ möglich

Passt unkomprimiertes HD über USB oder Firewire?Passt unkomprimiertes HD über USB oder Firewire?– Antwort: Nein! -> ja, aber mit KompressionAntwort: Nein! -> ja, aber mit Kompression– (150 MB/s = 1,2 GBit/s)(150 MB/s = 1,2 GBit/s)

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

VideokonfigurationVideokonfiguration

Digitales Video: Pixelgröße, FramerateDigitales Video: Pixelgröße, Framerate

TV: fest SD 720x576, HD 1920x1080TV: fest SD 720x576, HD 1920x1080

DVD / DVB: SD 720x576, 5 MBit/sDVD / DVB: SD 720x576, 5 MBit/s

Bluray (HD): 1920x1080, 40 MBit/sBluray (HD): 1920x1080, 40 MBit/s

Internet: kein Standard, frei wählbarInternet: kein Standard, frei wählbar

320x240, 640x480, 1280x720, ….320x240, 640x480, 1280x720, ….

Bitraten 200 … 2000 kBit/sBitraten 200 … 2000 kBit/s