„Audio/Video – Delay“ - ein unlösbares Problem? · PDF fileDie...

38
Hartmut Lehmann „Audio/Video – Delay“ - ein unlösbares Problem? < > Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT © SWR 2 Audio/Video-Delay 1972-1974 Ausbildung zum staatl. gepr. Bildtechniker an der Schule für Rundfunktechnik in Nürnberg 1974-1980 Tätigkeit beim SDR als Bildtechniker in den Bereichen Bildkontrolle, Magnetaufzeichnung und Übertragungstechnik 1980-1984 Studium der Nachrichtentechnik an der FH für Technik in Esslingen 1984-1987 Planungsingenieur beim SDR in der Bildmesstechnik 1987-1999 Fachbereichsleiter Studiomesstechnik 1999 Abteilungsleiter SystemService und Projektierung am Standort Stuttgart des SWR Seit 1999 ASF-Vertreter des SWR und seit 2005 stellv. Vorsitzender 1999-2004 auch Lehrbeauftragter an der Hochschule der Medien in Stuttgart Vita

Transcript of „Audio/Video – Delay“ - ein unlösbares Problem? · PDF fileDie...

Hartmut Lehmann

„Audio/Video – Delay“- ein unlösbares Problem?

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 2

Audio/Video-Delay

• 1972-1974 Ausbildung zum staatl. gepr. Bildtechniker an der Schule für Rundfunktechnik in Nürnberg

• 1974-1980 Tätigkeit beim SDR als Bildtechniker in den Bereichen Bildkontrolle, Magnetaufzeichnung und Übertragungstechnik

• 1980-1984 Studium der Nachrichtentechnik an der FH für Technik in Esslingen

• 1984-1987 Planungsingenieur beim SDR in der Bildmesstechnik

• 1987-1999 Fachbereichsleiter Studiomesstechnik

• 1999 Abteilungsleiter SystemService und Projektierung am Standort Stuttgart des SWR

• Seit 1999 ASF-Vertreter des SWR und seit 2005 stellv. Vorsitzender

• 1999-2004 auch Lehrbeauftragter an der Hochschule der Medien in Stuttgart

Vita

Hartmut Lehmann

„Audio/Video – Delay“- ein unlösbares Problem?

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 4

Audio/Video-Delay

Oder alle sprechen von HD....

.....ich auch!

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 5

Audio/Video-Delay

HD :

High Delay zwischen Audio und Video -

ein unlösbares Problem?

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 6

Audio/Video-DelayWarum ist dies heute noch ein Thema?

Stand um 1970: • Rein analoge Bild- oder Audioverarbeitung• Keine Videosynchroniser möglich• Analoge Satellitenübertragung lediglich über Kontinente• Empfänger haben keine relevante Bildaufbauzeit

Innerhalb Deutschland ist das Signal in Lichtgeschwindigkeit quasi von der Kamera bis zum Zuschauer (1000 km) in etwa 10ms bis 20ms!

Stand heute:• Elektronische CCD-Kameras haben eine Zwischenspeicherung und Signal-Prozesslaufzeiten• Digitales Audio- und speziell Videoprozessing dauert länger• Immer mehr Framesynchroniser und Format- und Up-/Down-Converter • Datenreduzierung hat bei En- und Decodierung lange Laufzeiten, Long-GoP!• Geostationäre Satellitenübertragung bei Kontribution und Distribution• Kaskadierung von Codecs

Bei DVB-T z.B braucht das Signal zwischen 5 und 6 Sekunden von der Kamera bis zum Zuschauer!

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 7

Audio/Video-Delay

• Grundlagen– Physikalische Grundlagen– Physiologische Grundlagen– Begriffsdefinition

• Standards und Normen– EBU– ITU

• Möglichkeiten der messtechnischen Erfassung • Audio-/Videodelay in der Produktionstechnik, Beispiel Übertragungs- und

Produktionskette– Akquisition– Signalprozessing– Übertragung– Endgerätetechnik

• Reduzierung des Bild/Tonversatzes

Gliederung

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 8

Audio/Video-Delay

• Schallgeschwindigkeit in Luft 331.6 m/s (bei 0 oC und 1013 mbar)

• Lichtgeschwindigkeit in Luft 299 703 146 m/s (Licht der Wellenlänge 400 nm)

• Bildwiederholzyklus beträgt 40 ms

• Zurückgelegte Wegstrecke des Schalls in 40 ms (1 Vollbild) etwa 13 m

• Zurückgelegte Wegstrecke des Lichtes in 40 ms (1 Vollbild) etwa 12 000 km

• Von einem 1 km weit entfernten Blitz ist der Donner etwa 3 s später hörbar

Physikalische Grundlagen

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 9

Audio/Video-Delay

Video

Audio

DSC (Video + Audio)

10 m30 ms Audiolaufzeit

30 ms Audio vor Video

Beispiel: Audiolaufzeit bei Playbackverfahren

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 10

Audio/Video-Delay

• Der Bild/Tonversatz kann nur empfunden werden– Erfassung des optischen Ereignisses durch den Sehsinn – Erfassung des akustischen Ereignisses durch den Hörsinn– Die Wahrnehmung des Bild/Tonversatzes findet bei der Verarbeitung der

beiden Reize im Gehirn statt• Nacheilender Ton (-) wird als „natürlich“ empfunden

– Bezugssignal ist das Videosignal– “sound delay with reference to vision”

• Voreilender Ton (+) wird als „störend“ empfunden– “sound advanced with reference to vision”

• Sensibilität für den Bild/Tonversatz– Szenenabhängig– Größenabhängig (SD-HD)– Interessenabhängig– Experten etwa doppelt so empfindlich wie Laien

Physiologische Grundlagen

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 11

Audio/Video-DelayBeispiel: Szenen- bzw. bildgrößenabhängige Empfindlichkeit

Quelle:

Universität zu LübeckInstitut für Telematik

Diplomarbeit von Dipl.-Inf. Zhen Ru Dai

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 12

Audio/Video-Delay

• Titel: The relative timing of the sound and vision components of a television signal“

(1986 revised 1997, 2002 and 2006)

• zulässiger Bild/Tonversatz am Sendeübergabepunkt:– 40 ms Ton vor Bild (voreilender Ton (+))– 60 ms Ton nach Bild (nacheilender Ton (-))

• Basierend auf subjektiven Tests– 50 % der Probanten haben größere Bild/Ton-Versätze als

+40 ms bzw. -60 ms erkannt

Standards und NormenFestlegungen in der EBU Recommendation R37

• In der Ausgabe Februar 2006wird außerdem empfohlen, wenn immer es möglich ist Vorkehrungen zu treffen, um den Bild/Tonversatz zu minimieren. Die Genauigkeit des Bild/Tonversatzes sollte an jedem Punkt innerhalb von 5 ms Ton vor Bild und 15 ms Ton nach Bild liegen.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 13

Audio/Video-Delay

• ITU-T J.100 (Section Telecommunication):

„TOLERANCES FOR TRANSMISSION TIME DIFFERENCES BETWEEN THE VISIONAND SOUND COMPONENTS OF A TELEVISION SIGNAL“

• CMTT.717 (Study Programme 21A/CMTT)Bezug auf Report 1081 (Question 35/11)

• Report 412-4 (Study Programme 21A/CMTT)Bezug auf Report 1081 (Question 35/11)

empfehlen

Standards und NormenFestlegungen in der ITU-T

Für internationalen Fernsehsignalaustausch einen Bild/Tonversatz von maximal 20 ms Ton vor Bild und 40 ms Ton nach Bild zuzulassen

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 14

Audio/Video-Delay

• ITU-R BT.1359 (Section Radiocommunication)„RELATIVE TIMING OF SOUND AND VISION FOR BROADCASTING “

Bezug auf Report 1081 (Question 35/11)

Standards und NormenFestlegungen in der ITU-R

empfehlen

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 15

Audio/Video-Delay

Sichtbarkeits- und Akzeptierbarkeitsgrenzen aus der ITU-R BT.1359

Standards und Normen ITU-R BT.1359

-200 -180 -160 -140 -120 -100 -80 -60 -40 -20 0 20 40 60 80 100

0

-0,5

-1

-1,5

-2

Undetectability plateau

Detectability threshold

Acceptability threshold

Sound advanced wrtvision

Sound delayed wrtvision

Delay time (ms)

Subjective evaluation

results (Diffgrate)

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 16

Audio/Video-Delay

CodecCompilation-station

CodecOriginatingStudio

LocalStation

Outside Broadcast

1

1

1‘

1‘

1‘‘

1‘‘

2

2

2‘ 3 3‘ 44‘

5

5‘

6Contribution Distribution

Simplified reference chain television sound/vision timing

6‘

Referenzkanal der ITU-R BT.1359

+90 ms bis –185 ms

+25 ms bis –100 ms

Standards und Normen ITU-R BT.1359

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 17

Audio/Video-Delay

Guidelines for Multichannel Audio in DVBAudio/Video SynchronisationDie Synchronisation von Audio- und Video-Signalen ist eines der großen Probleme und kann sehr störend sein. Es wird auch "lip-sync“ genannt. Das DVB-System nützt den Time-Stamp-Mechanismus für die Synchronisation zwischen Audio und Video des gesendeten Signales.

Das Timing zwischen Encoder und Decoder soll innerhalb 1ms gehalten werden.

Standards und Normen EBU Tech Doc 3311

Analoge und digitale Audio-AusgängeDie Audiosignale sollen synchron mit dem Videosignal (für das gleiche Fernsehprogramm) an allen Kontrollpunkten des Übertragungskanals und die Audio/Video Synchronisation in der Set-Top-Box (STB)

innerhalb einer Toleranz von -5ms (Audio früher) und +15ms (Audio später)zwischen den decodierten Video- und Audioausgängen liegen und sollen nicht driften.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 18

Audio/Video-Delay

Messtechnische Erfassung

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 19

Audio/Video-Delay

• Einfach zu generieren

• Signalisierung von Leitungsunterbrechungen

• Bitfehler (Fehlende oder vertauschte Bits)

• Signalisierung des H - Austastbereich

• Signalisierung des V - Austastbereich

• Signalisierung von Bildversätzen (H und V)

• Leicht in Quellgeräte zu implementieren

• Möglichkeit zur Bestimmung des Bild/Tonversatzes

Messtechnische Erfassung Anforderungen an ein neues Testbild zum Einmessen von Übertragungsstrecken

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 20

Audio/Video-Delay

Markierung des Bildzentrums

Beliebiger Text z.B. Quellenkennzeichnung

Balken läuft zusammen und ist in diesem Moment mit einem Tonburst gekoppelt.

Zägezahn mit 10 bitAuflösung

Farbbalken mit Rotfläche

Die Zeilen 23 , 310, 336, und 623 sind als Weißimpulse über den gesamten Zeilenbereich beginnend vom ersten „End of Line Puls” bis zum letzten „End of Line Puls”auszuführen

Zwei „End of Line Pulse” welche die analoge und digitale Austastung markieren

Auf und ablaufender Balken zum signalisieren von „Leben“

Quadrat zum Erkennen des Bild-Seitenverhältnisses

Messtechnische Erfassung EBU-Bewegttestbild

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 21

Audio/Video-Delay

Messtechnische Erfassung EBU-Bewegttestbild

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 22

Audio/Video-Delay

Messtechnische Erfassung Vistek-Valid

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 23

Audio/Video-Delay

Messtechnische Erfassung Vistek-Valid

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 24

Audio/Video-Delay

Messtechnische Erfassung OmniTek PQA(Picture Quality Analysis Workstation)

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 25

Audio/Video-Delay

Messtechnische Erfassung KorrelationsverfahrenFHS Schweinfurt + IRT

Bild

Ton ÜbertragungTon

Ableitung des charakt. Signals

KorrelationΔt - Bestimmung

Audio-Delay

ÜbertragungBild + charakt. Signal

Auswertung + Nachsteuerung

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 26

Audio/Video-Delay

Studio; Network;...

Audio

Video + Watermark

Video + Watermark

Decoder

Video

Audio

Correction Control

AudioDelay line

Audio synchronized

Videosynchronized

Encoder

Video

Audio

add coded noise Pattern

Audio

Messtechnische Erfassung WatermarkingTektronix

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 27

Audio/Video-Delay

Kontribution/DistributionBild

Ton

Messtechnische Erfassung QuMax-2000K-Will

Bild

Ton

Internet

Synchron-Kennsignalerzeugung

Auswertung/Vergleich

Anzeige

Synchron-Kennsignalerzeugung

Auswertung/Vergleich

Anzeige

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 28

Audio/Video-Delay

Messtechnische Erfassung LipTrackerPixel Instruments

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 29

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Aufnahme mit E-Kamera

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 30

Audio/Video-Delay

Zeitdiskrete Abtastung einer Szene bei elektronischer Kamera

1. field 2. field1. field2. field

t (ms)

0 4020 60 80

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 31

Audio/Video-Delay

Zeitdiskrete Abtastung einer Szene bei elektronischer Kamera

1. field 2. field1. field2. field

t (ms)

0 4020 60 80

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 32

Audio/Video-Delay

Zeitdiskrete Abtastung einer Szene bei elektronischer Kamera

1. field 2. field1. field2. field

t (ms)

0 4020 60 80

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 33

Audio/Video-Delay

Abtastung – Korrelation zur örtlichen Lage des Ereignisses

1. field 2. field1. field2. field

t (ms)

0 4020 60 80

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 34

Audio/Video-Delay

Abtastung – Korrelation zur örtlichen Lage des Ereignisses

1. field 2. field1. field2. field

t (ms)

0 4020 60 80

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 35

Audio/Video-Delay

FKTG

Schlussfolgerung

• Die zeitliche Quantisierung und örtlicher Bezug hat eine Unsicherheit von 0 ms bis zu 20 ms zur Folge.

• Mit einer mechanischen Klappe kann der Bild/Ton-Bezug nicht exakt gemessen werden.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 36

Audio/Video-Delay

Elektronische Kameras (CCD- oder CMOS-Chip)

• Bei CCD-Kameras muss eine Grundverzögerung zwischen 0 ms und 20 ms für das Videosignal Berücksichtung finden.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 37

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Wiedergabe am Display

E-Kam

era

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 38

Audio/Video-Delay

Zeitverhalten eines konventionellen CRT-50 Hz-Monitors

0 20 ms 40 ms 60 ms 80 ms

Leuc

htdi

c hte

Sig

nala

mp

litu d

e

Laufzeitverzögerung

1 Vollbild

Bild-Eingangssignal

elektrooptisches Ausgangs-Signal (Fernsehbild)

1 Halbbild

Quelle:

IRT, Herr Irmer

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 39

Audio/Video-Delay

1 Halbbild

0 20 ms 40 ms 60 ms 80 ms

Leuc

htdi

c ht

eS

igna

lam

plit

u de

1 Vollbild

Bild-Eingangssignal

Laufzeitverzögerung

Laufzeitverzögerung des BildsignalsMessbeispiel: Plasmadisplay (42 Zoll)

elektrooptisches Ausgangs-Signal (Fernsehbild)

Quelle:

IRT, Herr Irmer

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 40

Audio/Video-Delay

L eu c

htdi

c hte

1 Halbbild

0 20 ms 40 ms 60 ms 80 ms

Sig

nala

mp

litu d

e

1 Vollbild

Bild-Eingangssignal

Laufzeitverzögerung

Quelle:

IRT, Herr Irmer

Laufzeitverzögerung des BildsignalsMessbeispiel: TFT-LCD-Fernsehmonitor (18 Zoll)

elektrooptisches Ausgangs-Signal (Fernsehbild)

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 41

Audio/Video-Delay

Flachdisplays

• Flachbildschirme, wie Plasma- und TFT-LC-Displays haben aufgrund der progressiven Darstellung und deren Ansteuerungsmechanismen immereinen Bildspeicher mit einer Verzögerungszeit von etwa 40 ms bis 60 ms.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 42

Audio/Video-Delay

– Fast alle Projektionstechniken basieren auf progressiver Darstellung und haben somit einen Vollbildspeicher

– Beispiele: DMD (DLP), LCD, ILA, Laser

– Einsatz auch in Monitorwänden, Synchronstudios

Projektionstechnologie

Daraus resultierendes Delay bei der Bilddarstellung:

ca. 40 ms

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 43

Audio/Video-Delay

– Für Monitorwände, speziell in Ü-Wagen, können mit einem Monitor oder Flachdisplay mehrere Videosignale gleichzeitig dargestellt werden.

– Einsatz von Bildspeichertechnologie, Synchronisation von asynchronen Signalen, u.U. Progressivwandlung bei PC-Schnittstelle

– Verzögerungszeiten von bis zu 40 ms bei Monitoren und 100 ms beiFlachdisplays

Multiplex-Darstellung auf Videomonitoren und Flachdisplays

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 44

Audio/Video-Delay

CRT-, Flachdisplays und Projektoren im Heimbereich

• 50-Hz-Röhrengerät (CRT) vernachlässigbar• 100-Hz-Röhrengerät (CRT) 10 ms bis 40 ms• Plasma-Display 40 ms bis 60 ms• TFT-LC-Display 30 ms bis 40 ms• LC-Projektor 40 ms bis 60 ms• DMD (DLP)-Projektor ca. 40 ms• ILA-Projektor ca. 40 ms• Heim-PC z.T.“peinlich“

i.d.R keine Verzögerung des Audiosignals bei Endgeräten, es tritt ein Bild/Tonversatz auf (TvB)

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 45

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Drahtloskameraam

Ü-Wagen

E-Kam

era

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 46

Audio/Video-Delay

Einsatz einer Drahtloskamera

CCU

CCU

Video

Master

Control

• Übertragung datenreduziert (Wavelettransformation, MPEG2)

• Moderne Konzepte mit DVB-T- Übertragung (COFDM)

60 ms bis 100 msverzögert (TvB)

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 47

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

SNGMPEG2-Codierung 8

Mbit/s

Drahtlo

s-Kam

era

E-Kam

era

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 48

Audio/Video-Delay

SNG-Übertragung mit MPEG2-Codierung, 8 Mbit/s

• Framesynchroniserfunktion im Encoder bzw. Decoder.

• Ungenauigkeiten beim Auswerten der Präsentation-Timestamps im Empfänger.

• Gemessene Toleranzen: -20 ms bis 40 ms

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 49

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Synchronisation am Studioeingang

Drahtlo

s-Kam

era

E-Kam

era

SNG/8M

bit/s

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 50

Audio/Video-Delay

Synchronisation am Studioeingang

• Die Periodizität des SDI-Signales beträgt 40 ms.

• Die daraus resultierende Verzögerungszeit beträgt zwischen 0 ms und 40 ms.

• Bei Embeded-Audio können Probleme Beim „Stopfen“ bzw. „Weglassen“ von Frames entstehen.

• Bei guter Systemintegration wird dieser Versatz bei separater Signalführung durch ein angekoppeltes Audiodelay kompensiert. Wer macht das??

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 51

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Bearbeitung in derPostpro (am NLE mit

LCD-Monitor)

Drahtlo

s-Kam

era

E-Kam

era

SNG/8M

bit/s

Synch

r. Stu

dio

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 52

Audio/Video-Delay

Arbeiten mit bildverzögernden Displays und Projektoren in Bearbeitungsräumen (Tonregie, Tonbearbeitung, Schnittplatz)

1 3 42 65

1 3 42 65

1 3 42 5

Ton

Bild

BildVerz

Aufgabe: Ton synchron an laufendem Bild anlegen

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 53

Audio/Video-Delay

Arbeiten mit bildverzögernden Displays und Projektoren in Bearbeitungsräumen (Tonregie, Tonbearbeitung, Schnittplatz)

1 3 42 65

1 3 42 65

1 3 42 5

Ton

Bild

BildVerz

Aufgabe: Ton synchron an laufendem Bild anlegen

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 54

Audio/Video-Delay

Arbeiten mit bildverzögernden Displays und Projektoren in Bearbeitungsräumen (Tonregie, Tonbearbeitung, Schnittplatz)

1 3 42 5

1 3 42 65

1 3 42 5

Ton

Bild

BildVerz

Aufgabe: Ton synchron an laufendem Bild anlegenDer Ton wird an das verzögerte Bild angelegt, somit wird der Ton quasi in Bezug zum nicht verzögerten Videosignal um das Delay des Displays verzögert TnB).

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 55

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Zuspielung über Studio und DVE

Drahtlo

s-Kam

era

E-Kam

era

SNG/8M

bit/s

Synch

r. Stu

dio

Postpro

: NLE/L

CD

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 56

Audio/Video-Delay

Zuspielung über Studio und DVE

• Digitales-Video-Effektgerät (DVE).

• Konstante Laufzeit von

40 ms.

• Gilt auch für Format- und Up-/Down-Converter.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 57

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Sendeabwicklung,Playout

Drahtlo

s-Kam

era

E-Kam

era

SNG/8M

bit/s

Synch

r. Stu

dio

Postpro

: NLE/L

CD

Studio

über

DVE

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 58

Audio/Video-Delay

Sendeabwicklung bzw. Playout

• Toleranzen bei Einspiel- und Ausspielvorgang über SDI an den Servern.

• Zeitanpassung überFramesynchroniser beiLivezuspielungen.

• Toleranzbereich -20 ms bis 40 ms

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 59

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Distribution überAntenne, Kabel,

Satellit

Drahtlo

s-Kam

era

E-Kam

era

SNG/8M

bit/s

Synch

r. Stu

dio

Postpro

: NLE/L

CD

Studio

über

DVE

SAW /

Playo

ut

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 60

Audio/Video-Delay

Distribution über Antenne, Kabel, Satellit, Web(Kein „Briefmarkenfernsehen“ wie DVB-H, DMB, ...)

• Zuführung zum Uplink oder IP-Netz über Codec.

• Verteilung von/zu Kopfstellen.

• Multiplexbildung.

• Remultiplex.

• Toleranzen –20 ms bis20 ms.

IPTV

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 61

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Set-Top-Box,Dolby-Decoder

Drahtlo

s-Kam

era

E-Kam

era

SNG/8M

bit/s

Synch

r. Stu

dio

Postpro

: NLE/L

CD

Studio

über

DVE

SAW /

Playo

ut

Distri

bution

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 62

Audio/Video-Delay

Set-Top-Box mit Dolby-Decoder

• Z.T. ungenaue Auswertung der Präsentation-Timestamps.

• Zeitlicher Bezug von AC3-Ausgang/Video.

• Verzögerungszeit derDolby-Decodierung.

• Toleranzbereich ca.-40 ms bis 40 ms.

AC3

5.1

STB

Dolby-Decoder

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 63

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

TvB TnB

100200300400 0 -100 -200 -300 -400

msR 37: 40 ms bis –60ms

ITU-R BT.1359: 90 ms bis –185 ms

Drahtlo

s-Kam

era

E-Kam

era

SNG/8M

bit/s

Synch

r. Stu

dio

Postpro

: NLE/L

CD

Studio

über

DVE

SAW /

Playo

ut

Distri

bution

STB /Dolb

y-Dec

.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 64

Audio/Video-Delay

Beispiel einer Produktions- und Übertragungskette

Prepared by:J. Carl CooperMirko VojnovicChris SmithMarch 27, 2002 (updated August 12, 2004)

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 65

Audio/Video-Delay

Fakten (1)

• Große Verzögerungszeiten treten bevorzugt beim Videosignal auf.

• Nicht alle Fehlerquellen können vollständig kompensiert werden.

• Auch scheinbar geringe Differenzen zwischen Audio- und Videolaufzeiten bei den einzelnen Schritten der Kette spielen in der Summe eine Rolle.

• Durch technologische Weiterentwicklungen wird sich die Situation zukünftig verschärfen (Codecs, Kaskadierung vonCodecs, Formatkonvertierung..).

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 66

Audio/Video-Delay

Fakten (2)

• Surroundtechnik und große Displays erfordern engere A/V-Delay-Toleranzen.

• Die Richtlinien sind zum Teil sehr unbefriedigend.

• Keine automatische Korrektur zukünftig realisierbar bzw. handhabbar oder bezahlbar.

• Bei den Endgeräten treten mit neuer Technologie immer größere A/V-Delays auf und werden derzeit nicht bzw. noch nicht befriedigend kompensiert.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 67

Audio/Video-Delay

?

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 68

Audio/Video-Delay

Alle Beteiligten sind für den Bild/Ton-Versatz verantwortlich ! ! !

• Änderung bei Bewusstsein und Verantwortlichkeit für den Bild/Ton-Versatz bei allen Beteiligten: Gerätehersteller, Softwareentwickler, Systemhäuser, Planer, Produktion, Bearbeitung, Contribution, Sendung (Playout), Distribution, Management, Zuschauer.

• Jeder ist für seinen Abschnitt/Part in der Kette für dengeringstmöglichen Bild/Ton-Versatz verantwortlich.

• Nicht der einzelne Abschnitt/Gerät/Produktionsschritt darf den gesamten Toleranzbereich für sich in Anspruch nehmen.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 69

Audio/Video-Delay

Maßnahmen (1)

• Konsequente Beachtung bei Aufnahme, Bearbeitung und Übertragung.

• Abschnittsweises kompensieren.

• Leicht einschleifbare und einstellbare Audiodelays für Eingangssignale vorsehen bei Hauptschaltraum,Ingestraum, Studio, SAW und Playout.

• Optimale Beurteilungsplätze mit den richtigen Signalen, Bildaufbauverzögerungen der Displays berücksichtigen.

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 70

Audio/Video-Delay

Maßnahmen (2)

• Timing exakt bei Studiokomplexen planen und möglichst wenig Framesynchroniser einsetzen (besser:Linesynchroniser).

• Zeitebenen an Kreuzschienen einrichten.

• Alle laufzeitbestimmenden Geräte sorgfältig wählen.

• Audiodelays auf die Art ihrer Steuerung überprüfen.

• Konzept zur Synchronisation der Taktgeber mit GPS (vergl.Hybnet, Dolby E).

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 71

Audio/Video-Delay

• Handhabung der Richtlinien optimieren, Berücksichtung bei allen neuen Richtlinien.

• Messverfahren und –möglichkeitenweiterentwickeln.

• Displayhersteller sollten generell auch eine Audioverzögerung in den Heimgeräten integrieren.

• „Intelligente Schnittstellen“ im Heimbereich.• Timestamps bzw. Timelabeling für zukünftige

Systeme. • Weitere Untersuchungen bezüglich der tatsächlichen

Bild/Ton-Verhältnisse initiieren.

Weiterführende Maßnahmen (1)

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 72

Audio/Video-Delay

Weiterführende Maßnahmen (2)

• Konsequente Überprüfung von A/V-Delay beiGeräteuntersuchungen, Werkslieferkontrollenund Abnahmen (RBT, IRT,…).

• Schulungsmaßnahmen von Personal (ARD/ZDF-Medienakademie).

• Bestandteil in der Ausbildung (z.B. Mediengestalter).

• Publikationen in der Fachliteratur. (FKT, Heft 10/2006)

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 73

Audio/Video-Delay

Und es gibt schon Erfolge !

• Arbeitet seit November 2007

• Weit über 100 Hersteller und Anwenderorganisationen haben sich der TF schon angeschlossen

• Die aktive Gruppe besteht aus ca. 30 bis 40 Teilnehmern, unser Vertreter: Friedrich Gierlinger (IRT)

• „Request for Technology“ bis März 2008

• Die 30 Jahre alten Standards (z.B. SMPTE 12M) sind zunehmend ungeeignet für das digitale Zeitalter (network content sharing, HDTV, UHDTV, ...)

• „Über-alles-Ansatz“

• Zeitcodelabels in der Essence, definierte Zeitreferenzsignale, ...

„Joint EBU/SMPTE Task Force on Time & Synchronisation“

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 74

Audio/Video-Delay

Spezieller Dank gilt der ASF-Expertengruppe Audio/Video-Delay:

Herr Gierlinger Friedrich IRT (Vorsitz)

Herr Kaiser Martin RBT

Herr Kurz Walter ZDF

Herr Lehmann Hartmut SWR

Herr Schiebener Jörg BR

Frau Wieland Heike RBT/SWR

Das Papier wird derzeit überarbeitet !

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 75

Audio/Video-Delay

Ein Allheilmittel zur Verbesserung der Lippensynchronität gibt es nicht.

Jedoch jede Maßnahme zur Verringerung des Bild/Ton-Versatzes führt in der Gesamtheit zu einer Verbesserung.

Die Zuschauer, unsere Kunden, werden es uns danken !

„A/V-Delay-Pflanze“

< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 76

Audio/Video-Delay