Oliver Lietz – Mobile Software Embedded Systems Ausgewählte Themen (ES-M) Beuth-Hochschule WS...

Oliver Lietz – Mobile Software

Embedded SystemsEmbedded SystemsAusgewählte Themen (ES-M)Ausgewählte Themen (ES-M)

Beuth-Hochschule WS 2010Beuth-Hochschule WS 2010

Oliver LietzOliver LietzDipl.-Ing.Dipl.-Ing.

Digitale VideotechnikDigitale Videotechnik

Oliver Lietz – Mobile Software– http://www.nanocosmos.de/lietz

ÜberblickÜberblick

Digitale VideotechnikDigitale Videotechnik

CodecsCodecs

StreamingStreaming


Virtuelles Video-StudioVirtuelles Video-Studio

Aufzeichnung und Streaming von Live-VideoAufzeichnung und Streaming von Live-Video

KameraKamera PC-Workstation PC-Workstation AndroidAndroidUSB, HDMI, SDIUSB, HDMI, SDI iPhoneiPhone

PC/FlashPC/Flash

ErfassungErfassung Aufzeichnung/VerarbeitungAufzeichnung/Verarbeitung Streaming Streaming (Capture) (Capture) CodierungCodierung Server (IP) PlayoutServer (IP) Playout

Streaming.BoxStreaming.Box


ProduktionsstreckeProduktionsstrecke

TechnischTechnisch

Video

Übertragung

Audio

Wiedergabe /Playback

Codierung

Codierung

Aufzeichnung /Speicherung


Video-Aufzeichnung (Capture)Video-Aufzeichnung (Capture)Eingabe-Gerät (Capture Device): Video/Audio getrenntEingabe-Gerät (Capture Device): Video/Audio getrennt

Codierung (Encoder): Video/Audio getrenntCodierung (Encoder): Video/Audio getrennt

Multiplex: Video/Audio kombiniertMultiplex: Video/Audio kombiniert

Ziel (Datei oder IP-Stream / Socket)Ziel (Datei oder IP-Stream / Socket)

uncompressed uncompressed ↑↑ compressed compressed ↑↑


Video-WiedergabeVideo-Wiedergabe

Hilfsmittel (Tool): „GraphEdit“ (Microsoft) / „GraphStudio“ (OpenSource)Hilfsmittel (Tool): „GraphEdit“ (Microsoft) / „GraphStudio“ (OpenSource)

Beispiel Beispiel DirectShowDirectShow: „Filter“ über „Pins“ verbunden„Filter“ über „Pins“ verbunden

Datenfluss durch den „Filter-Graphen“Datenfluss durch den „Filter-Graphen“

Datenfluss: Datenfluss:

Datei oder IP-Stream, Splitter, Decoder A/V getrenntDatei oder IP-Stream, Splitter, Decoder A/V getrennt


Web-Streaming Web-Streaming Adobe Flash Media Live EncoderAdobe Flash Media Live Encoder


nanoStream Live Video EncodernanoStream Live Video EncoderLive Encoding/Streaming aus dem BrowserLive Encoding/Streaming aus dem Browser

Aufzeichnung, Encoding, StreamingAufzeichnung, Encoding, Streaming– Webcam oder Profi-KameraWebcam oder Profi-Kamera

Flash-kompatibel (RTMP-Protokoll)Flash-kompatibel (RTMP-Protokoll)

3D-Video (Stereoskopie)3D-Video (Stereoskopie)

Plugin-Basiert fürPlugin-Basiert fürInternet Explorer, Firefox, …Internet Explorer, Firefox, …

3D-Video (Stereoskopie)3D-Video (Stereoskopie)

Javascript-APIJavascript-API


Live Playback mit FlashLive Playback mit Flash

Encoder spielt auf Encoder spielt auf

Media ServerMedia Server

Player (Flash) holt von Player (Flash) holt von

Media ServerMedia Server

Flash Media ServerFlash Media Server

Wowza Media ServerWowza Media ServerPhoto © Rob WatkinsPhoto © Rob Watkins


Live Streaming - BrowserbasiertLive Streaming - Browserbasiert

Live EncoderLive Encoder Wowza/Flash Media Server Flash Player Wowza/Flash Media Server Flash Player


Bild-Erfassung / DigitalisierungBild-Erfassung / Digitalisierung


Bild-ErfassungBild-ErfassungOptische Abbildung mit Auge / KameraOptische Abbildung mit Auge / Kamera

LichtCCD ChipFilmNetzhaut

3D ObjektLinse(n)

Projektion

2D Abbildung

Film/Video/Auge: Mehrere Einzelbilder pro Sekunde


Digitale Bilderfassung / AbtastungDigitale Bilderfassung / Abtastung

CCD – Charge Coupled DevicesCCD – Charge Coupled Devices

1969 Boyle/Smith - Nobelpreis 2009 1969 Boyle/Smith - Nobelpreis 2009

Prinzipien: Prinzipien: – Matrix aus HalbleiternMatrix aus Halbleitern– Photoelektrischer EffektPhotoelektrischer Effekt– Endliche AuflösungEndliche Auflösung

(„Megapixel“)(„Megapixel“)

Ähnlich: CMOSÄhnlich: CMOS– Tendenziell billigerTendenziell billiger– mehr Rauschenmehr Rauschen


1-Chip-CCD1-Chip-CCD Farbe: unterschiedliche Arten von Filtern/SensorenFarbe: unterschiedliche Arten von Filtern/Sensoren

„ „Bayer-Matrix“Bayer-Matrix“

Nachteil: Verringerung der Auflösung, Interpolation Nachteil: Verringerung der Auflösung, Interpolation (Störungen an scharfen Kanten)(Störungen an scharfen Kanten)

http://en.wikipedia.org/wiki/Bayer_filterhttp://www.matrix-vision.com/info/articles/pdf/art_bayermosaic_de.pdf


CCD-TypenCCD-Typen

Interline und Frame TransferInterline und Frame Transfer

http://www.ccd-sensor.de


3CCD3CCD Farbe: unterschiedliche Farbfilter über „Dichroitisches Prisma“Farbe: unterschiedliche Farbfilter über „Dichroitisches Prisma“

Nachteil: aufwendige Optik (teuer)Nachteil: aufwendige Optik (teuer)

Einsatz in Professioneller StudiotechnikEinsatz in Professioneller Studiotechnik


Film / VideoFilm / Video

Film/Video = „Bewegte Bilder“Film/Video = „Bewegte Bilder“

2D+t (Ort+Zeit)2D+t (Ort+Zeit)

BildelementeBildelemente(Picture Elements, Pixels)(Picture Elements, Pixels)

Auflösung (Ort)Auflösung (Ort)z.B.z.B. 720x576 720x576 Pixel, 1920x1080 Pixel, 1920x1080

Auflösung (Zeit): Bildrate (Frame Rate, FPS)Auflösung (Zeit): Bildrate (Frame Rate, FPS)z.B. 24, z.B. 24, 2525, 30 Bilder/Sekunde, 30 Bilder/Sekunde

Format: 16:9, 4:3, …Format: 16:9, 4:3, …


TV / HDTVTV / HDTVSDTV: Standard Definition SDTV: Standard Definition – PAL: PAL: 720x576i 25 (Europa)720x576i 25 (Europa)– NTSC: NTSC: 720x480i 30 (USA)720x480i 30 (USA)– Gleiches Format bei DVD und DVBGleiches Format bei DVD und DVB

HDTV: High DefinitionHDTV: High Definition– 1280x720p 50: 1280x720p 50: = „720p“= „720p“– 1920x1080i 25 1920x1080i 25 = „1080i“= „1080i“– 1920x1080p 50 1920x1080p 50 = „1080p“= „1080p“

Mobil:Mobil:– 640x480640x480– 352x288352x288– … … (viele Formate!)(viele Formate!)

Zahlreiche Kamera/Kompressions-/SpeicherformateZahlreiche Kamera/Kompressions-/Speicherformate– MP4, H264, MPEG, WMV, WebM, …MP4, H264, MPEG, WMV, WebM, …


Video-Bildgrößen (Auflösungen)Video-Bildgrößen (Auflösungen)


BildgrößenBildgrößen

Bildgrößen / Pixel abhängig vom Motiv und Bildgrößen / Pixel abhängig vom Motiv und WiedergabegerätWiedergabegerät– Beispiel: 128x100 Pixel, vergrößert auf 800x600Beispiel: 128x100 Pixel, vergrößert auf 800x600


BildgrößenBildgrößen


PixelPixel

Ortsauflösung x,yOrtsauflösung x,y

Farbauflösung (Bits/Pixel)Farbauflösung (Bits/Pixel)

s/w: 1 Bit/Pixel (an/aus) s/w: 1 Bit/Pixel (an/aus) RGB: 8 Bit/Farbe = 24 Bit/PixelRGB: 8 Bit/Farbe = 24 Bit/Pixel


Digitales Video: DemosDigitales Video: Demos TV, Kino/DVD, HDTV, Kino/DVD, HD

TV: SportTV: Sport Kino/DVD: Bourne - TrailerKino/DVD: Bourne - Trailer Kino/HD: Piraten der KaribikKino/HD: Piraten der Karibik Podcast/Stream: TagesschauPodcast/Stream: Tagesschau 3D-Video: Avatar3D-Video: Avatar

Demo


Datenmenge VideoDatenmenge Video

Anzahl Pixel/Bild:Anzahl Pixel/Bild:

Auflösung x * yAuflösung x * y– 720*576 (PAL-TV, ITU 601, Europa)720*576 (PAL-TV, ITU 601, Europa)

Datenmenge je Pixel:Datenmenge je Pixel:– RGB: 3*8=24 Bit = 3 ByteRGB: 3*8=24 Bit = 3 Byte

Datenmenge je Sekunde: Datenmenge je Sekunde: – Bildrate (Frame Rate, FPS)Bildrate (Frame Rate, FPS)

z.B. 24, 25, 30 Bilder/Sekundez.B. 24, 25, 30 Bilder/Sekunde

Beispiele: Beispiele: SDTV: 720 x 576 x 3 x 25 Bytes/Sek. = 30 MB / s = 100 GB / h SDTV: 720 x 576 x 3 x 25 Bytes/Sek. = 30 MB / s = 100 GB / h

HDTV: 1920 x 1080 x 3 x 25 Bytes/Sek. = 150 MB / s = 500 GB / hHDTV: 1920 x 1080 x 3 x 25 Bytes/Sek. = 150 MB / s = 500 GB / h


Video-KompressionVideo-Kompression

Datenmengen:Datenmengen:– 2K-/HD-Kamera: 2K-/HD-Kamera:

1920x1080 Pixel 1920x1080 Pixel = 2 Mega-Pixel= 2 Mega-Pixel

3 Bytes/Pixel3 Bytes/Pixel

6 MB / Bild6 MB / Bild

6 MB x 25 Bilder/s = 150 MByte / s 6 MB x 25 Bilder/s = 150 MByte / s

Vergleich DSL: 6 Mbit/sVergleich DSL: 6 Mbit/s

Notwendige Kompression: 1:200 Notwendige Kompression: 1:200


Videocodierung/Komprimierung – wozu?Videocodierung/Komprimierung – wozu?

SpeicherungSpeicherung– DVD, BluerayDVD, Blueray– Kamera (Flash, Memorystick, Band, …)Kamera (Flash, Memorystick, Band, …)– FestplatteFestplatte– Mobiltelefon (UMTS, 3GPP), PDAMobiltelefon (UMTS, 3GPP), PDA

ÜbertragungÜbertragung– Digital-TV (DVB)Digital-TV (DVB)– Internet / Video on DemandInternet / Video on Demand– Mobiltelefon (UMTS, 3GPP)Mobiltelefon (UMTS, 3GPP)– Digital Cinema (HDTV, 2K, 4K)Digital Cinema (HDTV, 2K, 4K)


Demos BildkompressionDemos Bildkompression

Komprimierungs-BeispieleKomprimierungs-Beispiele 1:40 … 1:7001:40 … 1:700


JPEG BeispieleJPEG Beispiele

211 kbyte, Faktor 3,64Original 768 kbyte

512x512 Pixel, 24 bit Farbe



22,8 kbyte, Faktor 16,1Original 768 kbyte




7,36 kbyte, Faktor 104Original 768 kbyte




2,87 kbyte, Faktor 268Original 768 kbyte



Datenrate / BitrateDatenrate / Bitrate

Datenrate/Bitrate: Datenmenge pro Zeit, Bits/sDatenrate/Bitrate: Datenmenge pro Zeit, Bits/s

Datenrate unkomprimiert: aus Orts/ZeitauflösungDatenrate unkomprimiert: aus Orts/Zeitauflösung– PAL 720x576: PAL 720x576: Datenrate ca. 30 MB/s = 240 MBit/sDatenrate ca. 30 MB/s = 240 MBit/s– HDTV 1920x1080: HDTV 1920x1080: Datenrate ca. 150 MB/s = 1,2 GBit/sDatenrate ca. 150 MB/s = 1,2 GBit/s– DSL: 6 MBit/sDSL: 6 MBit/s– Kompression notwendig: 1:40 … 1:200Kompression notwendig: 1:40 … 1:200

Bitraten in der Praxis für komprimierte Videos: Bitraten in der Praxis für komprimierte Videos: – MPEG-2 / DVD: MPEG-2 / DVD: 4…8 MBit/s4…8 MBit/s– H.264 Mobil: H.264 Mobil: unter 1 MBit/sunter 1 MBit/s– H.264 HDTV: H.264 HDTV: 10…20 Mbit/s10…20 Mbit/s


Tagesschau - KompressionsbeispielTagesschau - Kompressionsbeispiel

„„Tagesschau in 100s“Tagesschau in 100s“– Spielt das Video flüssig über UMTS-Leitung mit 256 kBit/s ?Spielt das Video flüssig über UMTS-Leitung mit 256 kBit/s ?

Altes Format Altes Format – 320x240, 25 fps320x240, 25 fps– Dateigröße 2,5 MBDateigröße 2,5 MB

2,5 MB = 20 MBit2,5 MB = 20 MBitBitrate = 20 MBit / 100s = 200 kBit/sBitrate = 20 MBit / 100s = 200 kBit/s

Neues Format Neues Format – 480x272, 25 fps480x272, 25 fps– Dateigröße 3,8 MBDateigröße 3,8 MB

3,8 MB = 30 MBit3,8 MB = 30 MBitBitrate = 30 MBit / 100s = 300 kBit/sBitrate = 30 MBit / 100s = 300 kBit/s


AufzeichnungsformateAufzeichnungsformate

Analoge KamerasAnaloge Kameras– Veraltet - aber viele analoge Schnittstellen!Veraltet - aber viele analoge Schnittstellen!

Digitale KamerasDigitale Kameras– DV, HDV: Consumer: Firewire-Kabel / IEEE1394DV, HDV: Consumer: Firewire-Kabel / IEEE1394– Neuere Consumer-Kameras mit HDMINeuere Consumer-Kameras mit HDMI– IMX, HDCAM, XDCAM: Profis: SDI-KabelIMX, HDCAM, XDCAM: Profis: SDI-Kabel


Kompression bei der AufzeichnungKompression bei der Aufzeichnung

Digitale Videokameras führen in der Regel eine Digitale Videokameras führen in der Regel eine Kompression durchKompression durch

Je nach QualitätJe nach Qualität– niedrig komprimiert – hohe Bitrate – hohe Qualitätniedrig komprimiert – hohe Bitrate – hohe Qualität– hoch komprimiert – niedrige Bitrate – niedrige Qualitäthoch komprimiert – niedrige Bitrate – niedrige Qualität

– DV, HDV: 25 MBit/sDV, HDV: 25 MBit/s– XDCAM: 50-100 MBit/sXDCAM: 50-100 MBit/s


Typische DatenratenTypische Datenraten

DV: (Firewire IEEE 1394): 400 MBit/sDV: (Firewire IEEE 1394): 400 MBit/sUSB 2.0: USB 2.0: 480 MBit/s (USB 3.0: 5 GBit/s)480 MBit/s (USB 3.0: 5 GBit/s)WLAN: WLAN: 100 MBit/s100 MBit/sDVB-TV: DVB-TV: 5 MBit/s 5 MBit/sUMTS: UMTS: 1 MBit/s 1 MBit/s

Digitales Studio: SDI (Serial Digital Interface)Digitales Studio: SDI (Serial Digital Interface)– 1.5 GBit/s -> „uncompressed“ möglich1.5 GBit/s -> „uncompressed“ möglich

Passt unkomprimiertes HD über USB oder Firewire?Passt unkomprimiertes HD über USB oder Firewire?– Antwort: Nein! -> ja, aber mit KompressionAntwort: Nein! -> ja, aber mit Kompression– (150 MB/s = 1,2 GBit/s)(150 MB/s = 1,2 GBit/s)


VideokonfigurationVideokonfiguration

Digitales Video: Pixelgröße, FramerateDigitales Video: Pixelgröße, Framerate

TV: fest SD 720x576, HD 1920x1080TV: fest SD 720x576, HD 1920x1080

DVD / DVB: SD 720x576, 5 MBit/sDVD / DVB: SD 720x576, 5 MBit/s

Bluray (HD): 1920x1080, 40 MBit/sBluray (HD): 1920x1080, 40 MBit/s

Internet: kein Standard, frei wählbarInternet: kein Standard, frei wählbar

320x240, 640x480, 1280x720, ….320x240, 640x480, 1280x720, ….

Bitraten 200 … 2000 kBit/sBitraten 200 … 2000 kBit/s

Oliver Lietz – Mobile Software Embedded Systems Ausgewählte Themen (ES-M) Beuth-Hochschule WS...

Documents

Transcript of Oliver Lietz – Mobile Software Embedded Systems Ausgewählte Themen (ES-M) Beuth-Hochschule WS...