HDR Ein Update: Stand der Technik und Herausforderungen in der … · 2017. 11. 17. · HDR – Ein...

HDR – Ein Update FKTG Vortrag

HDR – Ein Update: Stand der Technik und

Herausforderungen in der Zukunft

FKTG Vortrag

SWR Stuttgart 14.11.2017

Lucien Lenzen


Zu meiner Person

• wissenschaftlicher Mitarbeiter an der Hochschule RheinMain seit 2015

• Fokus sind Forschungsprojekte im Bereich HDR bei Prof. Christmann

• FKT-Fachtagung 2016: "HDR für Jung und Alt"

• IBC2016: "HDR for legacy displays using sectional Tone Mapping" ("Best Young Professional Paper")

• EI2017: "Subjective viewer preference model for automatic HDR down conversion“

• IBC2017: " How tone mapping influences the bit rate and the bit depth of coded sequences"

• FlyingEye

• Beratung für Medieninvestitionen

• Erarbeiten von individuellen Lösungen

2


Fragen für den Workshop

- Welche technischen Entwicklungen gab es auf dem Feld HDR?

- Welches sind die Limitationen der menschlichen Wahrnehmung und was ist die Präferenz des Zuschauers?

- Ausgehend von diesen Punkten: Wo liegen Herausforderungen und "Stolpersteine" bei HDR?

- Es gibt nicht DIE Lösung!

3


[1] Überblick HDR EINE KURZE EINFÜHRUNG


Beyond HD

• Die verschiedenen Dimensionen von UHDTV

• ITU-R BT.2020-2 (https://www.itu.int/rec/R-REC-BT.2020/en)

• Spatiale Auflösung (3840 * 2160 Bildpunkte (UHD-1) und 7680 * 4320 (UHD-2), im Gegensatz zu 4K und 8K)

• Lediglich p-Formate, kein Interlaced!

• HFR (120, 120/1.001, 100, 60, 60/1.001, 50, 30, 30/1.001, 25, 24, 24/1.001)

• Color Gamut (viel mehr Farben darstellbar als heute)

• HDR: Rec. ITU-R BT.2100-0 (https://www.itu.int/rec/R-REC-BT.2100)

5

https://www.itu.int/rec/R-REC-BT.2020/enhttps://www.itu.int/rec/R-REC-BT.2020/enhttps://www.itu.int/rec/R-REC-BT.2020/enhttps://www.itu.int/rec/R-REC-BT.2020/enhttps://www.itu.int/rec/R-REC-BT.2020/enhttps://www.itu.int/rec/R-REC-BT.2100https://www.itu.int/rec/R-REC-BT.2100https://www.itu.int/rec/R-REC-BT.2100https://www.itu.int/rec/R-REC-BT.2100https://www.itu.int/rec/R-REC-BT.2100


Beyond HD – Wide Color Gamut + HDR

6

Quelle: Dolby

Frage: Welche Displays und Projektionssysteme können das gesamte Volumen des BT.2020-Farbraums wiedergeben?

Antwort: im Moment lediglich Laserprojektoren

(PQ) + 2020

+ 709


Beyond HD – HDR

7

Pat Griffis,Dolby, SMPTE 2013


Beyond HD – HDR - Begriffe

Leuchtdichte: Die Menge an Licht wird als Leuchtdichte bezeichnet und definiert die Lichtstärke im Bezug zu einer leuchtenden Fläche. Die Einheit ist Candela/Quadratmeter (cd/m2), wobei im englischsprachigen Raum hierfür auch oft die Einheit „nits“ verwendet wird (1 nit = 1 cd/m2).

Kontrastumfang: Der Kontrastumfang ist das Verhältnis von maximaler zu minimaler Leuchtdichte in der wahrgenommenen Szene. Dabei kann es sich auch um eine Reproduktion auf dem Display oder auf einem analogen Film handeln. Der Kontrastumfang kann über die Blendenöffnungen (f-stops) bestimmt werden. Hierbei findet von einem Wert zum nächsten eine Verdopplung der Helligkeit statt. Damit wird der Blendenumfang definiert als: log2(Ymax) – log2(Ymin). So entsprechen die 10.000 : 1 bzw. 4 Dekaden des simultanen Leuchtdichtenbereichs des Auges ca. 13,3 Blendenstufen.

8


Beyond HD – HDR - Begriffe

Dynamik und Dynamikumfang: Sobald eine Wandlung eines optischen (oder akustischen) Signals in ein elektrisches Signal durchgeführt wurde, spricht man von Dynamik bzw. Dynamikumfang. Aufnahmeseitig, also z. B. bei einem Kamerasensor, ist der Dynamikumfang das Verhältnis von der maximalen zur minimalen (vom Rauschen zu differenzierbaren) Anzahl von Elektronen, welche aus den einfallenden Photonen generiert werden können. Wahrend der gesamten elektrischen Verarbeitung spricht man dann nur noch von Dynamikumfang und nicht von Kontrastumfang. Dies gilt sowohl für rein analoge elektrische als auch für digitale Signale. Der Dynamikumfang kann ebenfalls als Blendenumfang, als Verhältniszahl oder in Dekaden angegeben werden.

Kontrastkompression: Stimmt der Kontrastumfang, welcher aus der Szene eingefangen wurde, nicht mit dem Kontrastumfang, den das Wiedergabedisplays erzeugt, überein, muss eine Kontrastkompression durchgeführt werden, um die Anzeige zu ermöglichen.

9

HDR – Ein Update FKTG Vortrag 10 ausgebrannt

zu dunkel

zu hell


Was genau ist eigentlich HDR?

• HDR bedeutet nicht nur die Erhöhung der (Bildschirm)Helligkeit, sondern die Möglichkeit einen (gegenüber heutigen Systemen) erhöhten Szenenkontrastumfang bei der Aufnahme, dem Prozessing, der Distribution und der Wiedergabe zu realisieren!

• Wir müssen unterschieden zwischen (Szenen) Kontrastumfang und Dynamikumfang (dynamic range)!

11


Was ist das Ziel für HDR? Nicht einfach heller!

12

Quelle: Cotton, Borer BBC 2014


Was genau ist eigentlich HDR?

• HDR-Definition ist sehr unterschiedlich: Bei Automotive z.B. bedeutet HDR einen Szenenkontrastumfang von >20 Blendenstufen. State-of-the-art Digital Cinematography und Broadcast-Kameras erreichen diesen Wert nicht (zw. 13 und 14 Blendemstufen für Broadcast-Kameras)

Der Begriff HDR ist i.M. für Broadcast-Kameras also eigentlich nicht adäquat verwendet (besser: Enhanced Dynamic Range?)

• HDR wird i.d.R. im Zusammenhang mit UHDTV (BT.2100) verwendet. HDR ist aber unabhängig von UHDTV (spatialer Auflösung generell) und kann auch in Kombination mit der spatialen Auflösung bei HDTV verwendet werden (s. BT.2100).

13


Beyond HD - HDR

14

TV heute


Beyond HD - HDR

15

HDR

Festlegung

OLED: 0.0005 - 540 cd/qm

LCD: 0.05 - 1000 cd/qm


[1] Überblick Techniktrends

INDUSTRIEUPDATE


Techniktrends Kameras

• Die beste, zurzeit am Markt verfügbare UHD 2/3"-Kamera löst im HD-Modus einen Szenenkontrastumfang von 15,3 Blendenstufen auf. Im Gegensatz zu der von uns ebenfalls getesteten HD-Version bedeutet das eine Zunahme von ca. 2 Blendenstufen!

• Allerdings gibt es kein standarisiertes Messverfahren, welches einen Grenzwert für Rauschen definiert – entsprechend sind eher max. 14 Blendenstufen realistisch

17


Techniktrends Kameras

• In Japan und Korea ist man schon weiter:

• im Bild zu sehen: Sony 8K (UHD-2)-Kamera (IBC 2017)

1,25” Sensor (und warum nicht 2/3”?)

7680 x 4320 Pixel bei 120 fps

9 Blendenstufen Dynamikumfang (das ist nicht HDR…)

• Auflösung und Framerate senken den Dynamikumfang!

• Alle UHDTV-Parameter gleichzeitig zu erreichen ist doppelt schwierig

18

Quelle: FTV


Techniktends Displays

19

Quelle: 4k.com


Techniktrends Displays

• Local-Dimming ist eine Technik bei HDR-Fernsehern, die auf einem LCD mit LED-Hintergrundbeleuchtung basieren

• Local-Dimming ist das Gegenteil von Edge-LED

• Edge-LED sind LEDs, die seitlich im Rahmen untergebracht sind und mithilfe einer Folie das Display von hinten beleuchten

• beim Local-Dimming, oder auch als Direct-LED bezeichnet, sind die LEDs hinter der gesamten Fläche gleichmäßig verteilt

• LEDs können in der Folge separat angesteuert werden und sind dimmbar

• können sich dem Bildinhalt adaptieren

• Vorteil: besseres schwarz, geringer Energieverbrauch

• Nachteil: Halo-Artefakte

20



• Q-LED Quantum Dots im Heimbereich z.B. Samsung

• QD basierte LEDs sind gekennzeichnet durch eine sehr präzise Farbwiedergabe mit einem sehr schmalbandigen Frequenzspektrum. Es gelingt das Spektrum der Primärvalenzen auf 25nm(!) zu reduzieren.

• Durch dieses sehr schmale Spektrum der einzelnen Farbvalenzen ist es natürlich auch möglich, einen sehr großen Farbraum darzustellen. Außerdem ist die Effizienz entsprechend hoch.

• Die ausgestrahlte Wellenlänge kann sehr einfach durch die Größe der Quantum Dots verändert werden.

21

Quelle: Samsung



• QD-LED Strukturen können über den gesamten, sichtbaren Wellenlängenbereich von 460 nm (blau) bis 650 nm (rot) verändert werden.

• Nur wenige 4k-Fernseher sind HDR-fähig!

• Problem: Leuchtdichte und Farbraum

• Achtung: Q-LEDs beinhalten häufig hochgiftige Substanz!

• Eine Vielzahl von Übertragungskennlinien und Standards (PQ, HLG, HDR10, DolbyVision, HDR10+, …)

• Nur die neuste Generation kann die HLG-Kurve interpretieren

• 4k-Fernseher verschiedenster Generationen

22

Quelle: Infotip


Techniktrends Displays – maximale Leuchtdichte

• Maximale Helligkeit wurde erhöht; maximale Helligkeit extrem von Größe der Weißfläche abhängig => je größer die Weißfläche, desto geringer der erzielbare maximale Helligkeitswert!

• Gilt allgemein zurzeit für alle OLEDs und für (fast) alle LCDs!

• Im Standard (ITU BT.2100) wird die Helligkeit leider nicht auf die Größe der Fläche bezogen.

23



• Neuartiges LCD-Display von Panasonic => bestehend aus zwei kaskadierten LC-Schichten, damit wird die Lichtabsorbtion extrem verbessert, was wiederum den erzielbaren, minimalen Schwarzwert verbessert.

• Technologie findet bereits in ersten Displays Verwendung

24

Quellen: Panasonic

ABER: • extrem hohe

Verlustleistung! • dafür teilweise kein

Local-Dimming


[3] Die Herausforderungen

TECHNISCH?

ZUSCHAUER?


Die Technik

• Kompatibilitätsprobleme durch erweiterten Farbraum

Fehlinterpretation

YCbCr vs. ICtCp

• Kompatibilitätsprobleme durch neue Übertragungsfunktionen und Metadaten

• Leistungsfähigkeit der Broadcastkameras und der Infrastruktur

Kontrastumfang und Rauschverhalten

12G-SDI vs. IP nach BT.2110

• Leistungsfähigkeit der Heimempfänger

• Verhindern eines separaten Workflow für UHDTV

26

bereits angesprochen

bereits angesprochen


Der Zuschauer

• Wahrnehmungsgrenzwerte beim Kontrast (Unterschied zwischen hell und dunkel)

sequenzieller Kontrast

simultaner Kontrast

• „Lautheit-Problem“ beim Kontrast

• Wahrnehmung von Farbunterschieden

Unterschiedliche Farbabständigkeit

YCbCr entspricht nicht der Wahrnehmung für stark gesättigte und / oder helle Farben

• Visuelle Zuschauerpräferenz

27


[4] Menschliche Wahrnehmung

WAS KANN DER MENSCH SEHEN?

WAS WILL DER MENSCH SEHEN?


SDTV

720p50

1080i25

1080p50

UHD1 (4k)

UHD2 (8k)

(m) Betrachtungsabstand

Bildschirmdiagonale

(Zoll)

Bildschirmauflösung

UHD2 (8k)

UHD1-(4k) 1080p50

SDTV

720p50 1080i25

Bildschirmauflösung

29

29


Barten Kurve

30

Quelle: Dolby

Alle Zunahmen unterhalb

der gestrichelten Linie sind

NICHT sichtbar

Alle Zunahmen oberhalb der

gestrichelten Linie sind

sichtbar


Beyond HD – HDR - Wahrnehmbarer Schwarzwert

31


Beyond HD – HDR - Wahrnehmbarer Schwarzwert

32

gray box width

noticeable luminance (min.) – height 20

noticeable luminance (max.) – height 160

pattern umgebend verändert konstant umgebend verändert konstant

10 388:1 261:1 261:1 238:1

20 826:1 550:1 550:1 550:1 434:1 316:1

30 826:1 625:1 826:1 550:1

40 962:1 715:1 625:1 826:1 550:1 550:1

k v u


Fazit Schwarzwahrnehmung

• der wahrnehmbare Schwarzwert ist abhängig von der Bildvorlage

• hellere Bildpartien (deren Größe und Position) reduzieren die Wahrnehmbarkeit dunkler Bildpartien signifikant

• 10:000:1 idealer simultaner Kontrastumfang des menschlichen Auges

• in vorliegenden Test teilweise auf ca. 250:1 reduziert!

• im Falle einer hohen Helligkeit (besonders bei HDR) können die feinen Abstufungen im Dunklen nicht mehr wahrgenommen werden

• stimmt mit der "Homogenisierungs-Hypothese" überein

• HDR löst somit das Problem einer inhomogenen Szenenausleuchtung nicht!!!

• es kann sie nur (nahezu) komplett darstellen

• Hoher simultaner Kontrastumfang ist für den Menschen nicht wahrnehmbar oder extrem unangenehm

33


Schwarzwahrnehmung & Simultankontrast

Die Schwarzwahrnehmung und der wahrnehmbare Simultankontrast sind außerdem abhängig von:

Der Größe des betrachteten Bildes (TV-Bildschirm) und des Betrachtungsabstandes (Sichtfeld)

Der Umgebungshelligkeit

aktuelle Forschung!

34


Beyond HD - „Lautheit“ bei HDR

• unterschiedliche Helligkeit bei Programmwechsel, Szenenwechsel, Werbung

• extrem große Helligkeitssprünge möglich

• Wann wird es für den Zuschauer unangenehm?

• Untersuchungen der BBC

35

Quelle: Katy Noland, BBC


Visuelle Präferenz

• 5 Coloristen-Gradings im direkten Vergleich

• Hoher Kontrast und viel Sättigung erwünscht

• Hohe Helligkeit erwünscht

• Mäßiges Clipping erwünscht

Broadcast = alle Bildinformationen einfach zugänglich

das rechte Bild wird vom Zuschauer deutlich bevorzugt

36

Rohmaterial:

Jan Fröhlich, HdM Stuttgart


Probandentest

• 30 Probanden erstellen ihr eigenes Grading

• 4 Regler (Helligkeit, Kontrast, Sättigung, Homogenisierung)

• 6 Bilder von Fußballszenen, 6 weitere Bilder

• Test wird 5 mal wiederholt (Display- und Raumhelligkeit werden variiert)

• Display (100, 300, 1000 nits)

• Raum (0.5, 10, 50 nits)

• 100/0.5, 300/0.5, 300/10, 300/50, 1000, 10

37


Probandentest

38

HDR – Ein Update FKTG Vortrag 39

HDR – Ein Update FKTG Vortrag 40


41

41


Fazit des Probandentests

• Mehr Kontrastumfang, weniger Kontrast (etwa 12 Blendenstufen)

• Helligkeit hängt leicht von Display und Raum ab, an hellen Displays wird zurückgeregelt

• Sättigung überall konstant um 0,75 (Faktor hinsichtlich Luminanzänderung) → Wie wirkt sich eine Helligkeitsänderung auf die Sättigung aus?

• Homogenisierung wird auch an HDR-Displays durchgeführt

• Gesamtfazit: Der Qualitätsgewinn von HDR kommt hauptsächlich von der gesteigerten Kontrastumfangswiedergabe nicht vom Kontrast oder der Helligkeit des Displays!

• Kontrastumfang der Szene kann auch mit Hilfe von Tonemapping auf SDR gebracht werden

• SDR-Displays können massiv von HDR-Produktion profitieren!

42


[5] Technische Anforderungen

LEISTUNGSFÄHIGKEIT DER AKTUELLEN INFRASTRUKTUREN?

MÖGLICHKEITEN ZUR KOMPATIBILITÄT UND SYNERGIE?


Erweiterte Farbräume – YCbCr nicht mehr gut geeignet

• YCbCr ist ein Non-Constant Luminance Format => Chrominanz und Luminanz sind nicht korrekt dekorreliert

• erzeugt Fehler bei der Unterabtastung (4:2:0)

• Luminanz entspricht nicht der wahrgenommenen Helligkeit

• Problem wird bei stark gesättigten und / oder hellen Farben sichtbar

• deshalb bei Rec. 709 und Gamma noch kein großes Problem

• Durch aufwendige Rekursivberechnungen kann das Problem behoben werden, oder….

44

Bildquelle: Olie Baumann, Ericsson Television

Links: nach herkömmlicher Unterabtastung in 4:2:0 ;

Rechts: nach Unterabtastung in 4:2:0 mit Luminanzanpassung


Erweiterte Farbräume – YCbCr nicht mehr gut geeignet

45

Quelle: Olie Baumann, Ericsson Television


Erweiterte Farbräume – ICtCp wäre eine Alternative

• ICtCp ist in der BT. 2020 und BT.2100 erwähnt, allerdings (im Moment) “…The Constant Intensity (CI) format is newly introduced in this Recommendation and should not be used for programme exchange unless all parties agree….”

46

Quelle: Dolby


Fehlinterpretation der Farbräume

47

709

2020

out/in 709 2020

entsättigt

übersättigt


OETF und EOTF

• HDR = extrem breites Spektrum an Leuchtdichtewerten

• Klassische Gamma-Kurve nicht ausreichend

• Alternativen: PQ und HLG (oder eine logarithmische (Log) Übertragungskennlinie)

48


OETF und EOTF – relativ vs. absolut

SDR HDR500 HDR1000

PQ

HLG

49

nicht kompatibel

teils kompatibel

identisch

rechts heller Quelle: https://cameramanben.github.io/LUTCalc/LUTCalc/index.html


HDR-Übertragungskurven vs. -Übertragungsstandard

HDR10 - nur statische Metadaten für einen ganzen Film - lizenzfrei - HDR Blu-Ray basiert auf diesem Konzept DolbyVision - auch dynamische Metadaten einer Szene oder sogar eines einzelnen Bildes - darauf basierendes Tonemapping wird im Empfängerdisplay durchgeführt - Produkte müssen dafür von Dolby lizensiert sein (Lizenzkosten) - LG unterstützt DolbyVision HDR10+ - Konzept ähnlich dem von DolbyVision allerings ohne Lizenzkosten - wurde von Samsung als Konkurrenz zu DolbyVision entworfen - Samsung wollte nicht von Dolby abhängig sein und Lizenzkosten zahlen - Samsung wollte keine genauen Geräteinterna gegenüber Dolby offenlegen - Panasonic und Philips unterstützen dieses Verfahren

50


Fazit Metadaten

Weder Metadaten noch 2-Layer scheinen für den Broadcast geeignet!

• Probleme mit proprietären Rechten bei 2-Layer

• Probleme bei Verlust der Metadaten über die verschiedensten Wege und Geräte hinweg

• Problem bei Zukauf aus oder Verkauf in das Ausland

• Problem mit altem Material, welches nicht HDR ist

• Problem die HDR-Version im Ü-Wagen zu erzeugen (zu hell)

• Problem bei Live: Dynamischen Metadaten könnten erst am Ende einer Szene bestimmt werden → nicht möglich

51


Fazit HDR-Übertragungskurven

• HLG bietet die beste Alternative

• HDR und SDR in einem Signal

• keine Layer, keine Metadaten, nicht proprietär, kann zwischen altes Material gemischt werden

• allerdings optisch schlechter als heutiges SDR

Wie kann HLG optisch verbessert werden?

Wie kann SDR von HDR profitieren?

52


EVI

53

global tone mapping Virtuelle Blende (global)

Virtuelle Blende (16x9) SDR + EVI (sektional)


EVI für SDR und HDR-HLG

Von links oben nach rechts unten:

• TV-Gamma

• EVI-Gamma

• TV-HLG

• EVI-HLG

54


Ziel erreicht?

HLG

+EVI

55

TV S

imula

tion


HDR Kameras + Objektive

• Dynamikumfang und Falschlichtperformanz

• Test Setup

• Ulbricht-Kugel (Integrationszylinder): Image Engineering LC6

• Testchart: TE 269 OECF36, 36 Patches, Kontrastumfang: 1.000.000:1 (20 Blendenstufen)

56



Testresultate Dynamikumfang und Falschlichtperformanz (HLG, Scene Referred)

• OETF von 7 verschiedenen Objektiven (und verschiedenen Kameras)

• Jede Messung wurde in HD durchgeführt (nicht UHD!)

• Niedrigster Helligkeitswert (0,002cd/m2) startet (bestenfalls) bei Code Value 5

• 2 Dekaden (6 Blendenstufen) zw. dem ersten und dem zweiten Patch, aber im Durchschnitt nur 10 Code Values

• Differenzierung möglich bis ca. 1000cd/m2 (wie im Standard definiert)

• Ca. 1000 (von 1024) Code Values werden verwendet.

57



Testresultate Dynamikumfang und Falschlichtperformanz (PQ, Display Referred)

• OETF von 6 verschiedenen Objektiven und verschiedenen Kameras

• Jede Messung wurde in HD durchgeführt (nicht UHD!)

• Niedrigster Helligkeitswert (0,002cd/m2) startet (bestenfalls) bei Code Value 132

• 2 Dekaden (6 Blendenstufen) zw. dem ersten und dem zweiten Patch, aber im Durchschnitt nur 14 Code Values

• Max. Code Value (1000cd/m2) bei ca. 832

• ca. 660 (von 1024) Code Values werden lediglich verwendet. -> Höhere Wahrscheinlichkeit für Banding

• Positiv: PQ erlaubt die Kodierung von Helligkeitswerten bis zu 10.000cd/m2. Sehr gut geeignet für Szenen mit lediglich sehr hellen Bildanteilen (z.B. Skirennen ohne Schatten im Bild).

58


Zusammenfassung

• HDR löst nicht das Problem inhomogen ausgeleuchteter Szenen

• HDR kann für den Zuschauer unangenehm sein

• Der Zuschauer möchte sehen, was in allen Bereichen des Bildes passiert (für Broadcast)

• UDHTV bringt viele Parameter ins Spiel, welches die Komplexität erhöht

• Wichtiger denn je ist die Frage: Was möchte ich überhaupt machen/erreichen?

• YCbCr ist für Wide Gamut und HDR nur bedingt geeignet

• HLG und PQ haben zwei grundsätzlich verschiedene Ansätze (relativ vs. absolut)

• HLG und PQ sind nur bedingt kompatibel

• HDR, HFR und 4k sind eigentlich entgegengesetzte Ziele (aus Sicht des Sensors)

59


Vielen Dank für ihre Aufmerksamkeit

HDR Ein Update: Stand der Technik und Herausforderungen in der … · 2017. 11. 17. · HDR – Ein...

Documents

Transcript of HDR Ein Update: Stand der Technik und Herausforderungen in der … · 2017. 11. 17. · HDR – Ein...