1G. Fischer

Verlustbehaftete Kompressionvon Kamera Rohdaten

Prof. Dr. G. Fischer, Prof. Dr. D. Kunz, Katja Köhler

Fachhochschule Köln

Institut für Medien- und Phototechnik

2G. Fischer

Übersicht

• Aktuelle Situation

• Konzept

• Modellierung der JPEG Kompression

• Experiment

• Ergebnisse

• Zusammenfassung

3G. Fischer

Übersicht

• Aktuelle Situation

• Konzept

• Modellierung der JPEG Kompression

• Experiment

• Ergebnisse

• Zusammenfassung

4G. Fischer

Aktuelle Situation

Dateigrößen der Rohbilder verschiedener DSLRs:

Aber:

• Steigende Sensor- und Dateigrößen

• Datentransferzeit zwischen Kamera und Speichermedium

• Datentransferzeit zwischen Speichermedium und PC zur Nachverarbeitung

• Datentransferzeit über Netzwerk insbesondere für medizintechnische

Anwendungen

Rohdatei-größe

Sensor Größe

DSLR Modell

9 MByte12.4 MPixNikon D2Xs

13 MByte12 MPixCanon EOS 5D

11 MByte10 MPixCanon EOS 1D Mark III

25MByte12 MPixFuji S3 / S5

5G. Fischer

Konzept

Bildverarbeitung und Datenfluß:

CFASensor Data

LossyCompression

Encoder

LossyCompression

Decoder

Data Storageand Transfer

SensorCorrection

(Defect Pixel)Demosaicking

RenderedImage

10 MPix/14bit10 MPix/14bit

5 MByte?

ImagePostprocessing

DSC internal DSC external

6G. Fischer

Prüfverfahren

• Kompressionsmethode: 12 bit baseline JPEG

• LUT: Lineare Funktion 16 bit -> 12 bit

• Auswertung des Differenzbilds:

– Pegel des Kompressionsrauschens (Standardabweichung σ)

Raw ImageData

JPEGCompression

JPEGDecompression

DifferenceDifference

Image

Original Image

CompressedImage

file*.jpg

7G. Fischer

JPEG Artefakte –kein Bildrauschen

• Verunschärfung für niedrige Kanten

• Ringing nimmt mit der Kantenhöhe zu

• Ab einer gewissen Kantenhöhe bleibt Ringing konstant

Original

Komprimiert

Differenz x 10

8G. Fischer

JPEG Artefakte –kein Bildrauschen

• Verunschärfung für niedrige Kanten

• Ringing nimmt mit der Kantenhöhe zu

• Ab einer gewissen Kantenhöhe bleibt Ringing konstant

• Für die Rohdatenanwendung unbedingt zu vermeiden!

Original

Komprimiert

Differenz x 10

9G. Fischer

JPEG Verarbeitungsstruktur

DCT

CompressedImage

QuantizerSorting &

Entropy Coding

EntropyDecoding &Re-Sorting

Re-QuantizerIDCT

OriginalImage

10G. Fischer

JPEG Verarbeitungsstruktur

• Verluste durch die Quantisierungsstufe

• Steuerparameter: Qualitätsfaktor (0 … 100)

DCT

CompressedImage

QuantizerSorting &

Entropy Coding

EntropyDecoding &Re-Sorting

Re-QuantizerIDCT

OriginalImage

11G. Fischer

JPEG Artefakte –Bildrauschen

• Bildrauschen wirkt als Ditherrauschen für den Quantisierer

• Ringing Artefakte verschwinden!

Original

Komprimiert

Differenz x 10

12G. Fischer

JPEG Modellierung

DecompressionCompression

DCT QuantizerSorting &

Entropy CodingCompressed

Image

EntropyDecoding &Re-Sorting

Re-Quantizer IDCTOriginalImage

DCT QuantizerCompressed

ImageRe-Quantizer IDCT

OriginalImage

13G. Fischer

JPEG Modellierung

DecompressionCompression

DCT QuantizerSorting &

Entropy CodingCompressed

Image

EntropyDecoding &Re-Sorting

Re-Quantizer IDCTOriginalImage

DCT QuantizerCompressed

ImageRe-Quantizer IDCT

OriginalImage

DCTCompressed

ImageIDCT

OriginalImage +

Nq(f)

14G. Fischer

JPEG Modellierung

Nq(f):

• Quantisierungsrauschen durch den Quantisierer

• Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten

DCTCompressed

ImageIDCT

OriginalImage +

Nq(f)

15G. Fischer

JPEG Modellierung

Nq(f):

• Quantisierungsrauschen durch den Quantisierer

• Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten

• Compressed Image = Original Image + IDCT( Nq(f))

� IDCT( Nq(f)) = Compressed Image - Original Image

DCTOriginal Image

+ IDCT (Nq(f))IDCT

OriginalImage +

Nq(f)

16G. Fischer

DCTOriginal Image

+ IDCT (Nq(f))IDCT

OriginalImage

+ IDCT (Nq(f))DCT( IDCT( Nq(f))) =

Nq(f)

JPEG Modellierung

Nq(f):

• Quantisierungsrauschen durch den Quantisierer

• Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten

• Compressed Image = Original Image + IDCT( Nq(f))

� IDCT( Nq(f)) = Compressed Image - Original Image

• DCT( IDCT( Nq(f))) = Nq(f)

� IDCT( Nq(f)) ist das minimale Eingangsrauschen, um JPEG Artefakte zu

vermeiden

17G. Fischer

Kompressionsrauschen (Qualitätsfaktor = 50)

• Rauschpegel unabhängig von der Bildhelligkeit

• Hochpaß Rauschspektrum

Original + Noise

3 3.5 4 4.5 50

50

100

150

200

250

300

350

400

lg( A)

σD

I

0 100 200 300 400 500 6000

0.5

1

1.5

2

2.5

3x 10

5

fx

Com

pN

oise

Difference Image = IDCT( Nq)

Compression NoiseStandard Deviation

NoiseSpectrum

18G. Fischer

Kompressionsrauschen (Qualitätsfaktor = 50)

• Rauschpegel unabhängig von der Bildhelligkeit

• Hochpaß Rauschspektrum

Original + Noise

3 3.5 4 4.5 50

50

100

150

200

250

300

350

400

lg( A)

σD

I

0 100 200 300 400 500 6000

0.5

1

1.5

2

2.5

3x 10

5

fx

Com

pN

oise

Difference Image = IDCT( Nq)

Compression NoiseStandard Deviation

NoiseSpectrum

19G. Fischer

Kamera Rauschmodell

• Ausgangssignal A ist linear zur Belichtung

• Rauschpegel wächst mit σCamera~A0.5

• Rauschspektrum ist weiß

lg Hlg Hmax

lg Amax Signal

lg A

A~ Noise

A~

20G. Fischer

Anpassung des Sensorrauschens

JPEGCompression

JPEGDecompression

LUT LUT-116 12 12 16

file*.jpg

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Idee:

• Gleichverteilung des Sensorrauschens durch die Gammafunktion y=x0.5

.2

1

2

1' const

AAyCameraq ==⋅=⋅=⇒ σσ

21G. Fischer

Anpassung des Sensorrauschens

Idee:

• Gleichverteilung des Sensorrauschens durch die Gammafunktion y=x0.5

• Anpassung des Qualitätsfaktors an den Pegel des Sensorrauschens

JPEGCompression

JPEGDecompression

LUT LUT-116 12 12 16

file*.jpg

QF

22G. Fischer

Vollständiges Kompressionsmodell

• Farbseparation: 4 Kanäle (R, G1, G2, B)

• 1D Compression LUT: 16 -> 12 bit Gammafunktion

• JPEG: 12 bit baseline standard

CFASensor Data

ColorSeparation

1D CompressionLUT

1D CompressionLUT

1D CompressionLUT

1D CompressionLUT

JPEG EncoderR

JPEG EncoderG1

JPEG EncoderG2

JPEG EncoderB

C o

m p

r e

s s

e d

D a

t a

R16

G116

G216

B16

R12

G112

G212

B12

23G. Fischer

Experiment

• 6 Beispiele von Rohbildern mit Canon‘s EOS 5D (12.8 MPix,

12 – 15 MByte Dateigrößen)

24G. Fischer

Ergebnisse –Kompressionsrauschen

• Die schwarze Linie markiert

JPEG Quantisierungsrauschen

• Abweichungen von diesem

Rauschverhalten, wenn das

Kamerarauschen zu niedrig wird

(QF <= 85)

50 60 70 80 90 1000

50

100

150

200

250

300

350

Quality Factor

Com

pre

ssio

n N

ois

e

image1image2image3image4image5image6JPEG

25G. Fischer

Ergebnisse –Kompressionsrauschen

• Die schwarze Linie markiert

JPEG Quantisierungsrauschen

• Abweichungen von diesem

Rauschverhalten, wenn das

Kamerarauschen zu niedrig wird

(QF <= 85)

50 60 70 80 90 1000

50

100

150

200

250

300

350

Quality Factor

Com

pre

ssio

n N

ois

e

image1image2image3image4image5image6JPEG

26G. Fischer

Ergebnisse –Kompressionsrauschen

• Die schwarze Linie markiert

JPEG Quantisierungsrauschen

• Abweichungen von diesem

Rauschverhalten, wenn das

Kamerarauschen zu niedrig wird

(QF <= 85)

50 60 70 80 90 1000

50

100

150

200

250

300

350

Quality Factor

Com

pre

ssio

n N

ois

e

image1image2image3image4image5image6JPEG

27G. Fischer

Ergebnisse –Artefakte vs. Qualitätsfaktor

• Alle Bilder wurden 3 mal durch den Photoshop Standard Filter

verschärft

Original QF=50

28G. Fischer

Original QF=80

Ergebnisse –Artefakte vs. Qualitätsfaktor

• Alle Bilder wurden 3 mal durch den Photoshop Standard Filter

verschärft

29G. Fischer

Original QF=90

Ergebnisse –Artefakte vs. Qualitätsfaktor

• Alle Bilder wurden 3 mal durch den Photoshop Standard Filter

verschärft

30G. Fischer

Ergebnisse – Kompressionsrate

50 60 70 80 90 1000

1

2

3

4

5

6

7

8

9

10

Quality Factor

Com

pres

sion

Rat

io

31G. Fischer

Zusammenfassung

• Ein verlustbehaftetes Kompressionsmodell auf der Basis 12 bit

baseline JPEG wurde entwickelt und auf Rohdaten angewendet

• JPEG Artefakte sind zu vermeiden durch Anpassung des Modells an

das spezifische Kamerarauschen

• Kompressionsraten von über 4 wurden erreicht ohne visuelle

Qualitätsverluste bezüglich

– JPEG Artefakte,

– Schärfe und

– Bildrauschen.