1G. Fischer
Verlustbehaftete Kompressionvon Kamera Rohdaten
Prof. Dr. G. Fischer, Prof. Dr. D. Kunz, Katja Köhler
Fachhochschule Köln
Institut für Medien- und Phototechnik
2G. Fischer
Übersicht
• Aktuelle Situation
• Konzept
• Modellierung der JPEG Kompression
• Experiment
• Ergebnisse
• Zusammenfassung
3G. Fischer
Übersicht
• Aktuelle Situation
• Konzept
• Modellierung der JPEG Kompression
• Experiment
• Ergebnisse
• Zusammenfassung
4G. Fischer
Aktuelle Situation
Dateigrößen der Rohbilder verschiedener DSLRs:
Aber:
• Steigende Sensor- und Dateigrößen
• Datentransferzeit zwischen Kamera und Speichermedium
• Datentransferzeit zwischen Speichermedium und PC zur Nachverarbeitung
• Datentransferzeit über Netzwerk insbesondere für medizintechnische
Anwendungen
Rohdatei-größe
Sensor Größe
DSLR Modell
9 MByte12.4 MPixNikon D2Xs
13 MByte12 MPixCanon EOS 5D
11 MByte10 MPixCanon EOS 1D Mark III
25MByte12 MPixFuji S3 / S5
5G. Fischer
Konzept
Bildverarbeitung und Datenfluß:
CFASensor Data
LossyCompression
Encoder
LossyCompression
Decoder
Data Storageand Transfer
SensorCorrection
(Defect Pixel)Demosaicking
RenderedImage
10 MPix/14bit10 MPix/14bit
5 MByte?
ImagePostprocessing
DSC internal DSC external
6G. Fischer
Prüfverfahren
• Kompressionsmethode: 12 bit baseline JPEG
• LUT: Lineare Funktion 16 bit -> 12 bit
• Auswertung des Differenzbilds:
– Pegel des Kompressionsrauschens (Standardabweichung σ)
Raw ImageData
JPEGCompression
JPEGDecompression
DifferenceDifference
Image
Original Image
CompressedImage
file*.jpg
7G. Fischer
JPEG Artefakte –kein Bildrauschen
• Verunschärfung für niedrige Kanten
• Ringing nimmt mit der Kantenhöhe zu
• Ab einer gewissen Kantenhöhe bleibt Ringing konstant
Original
Komprimiert
Differenz x 10
8G. Fischer
JPEG Artefakte –kein Bildrauschen
• Verunschärfung für niedrige Kanten
• Ringing nimmt mit der Kantenhöhe zu
• Ab einer gewissen Kantenhöhe bleibt Ringing konstant
• Für die Rohdatenanwendung unbedingt zu vermeiden!
Original
Komprimiert
Differenz x 10
9G. Fischer
JPEG Verarbeitungsstruktur
DCT
CompressedImage
QuantizerSorting &
Entropy Coding
EntropyDecoding &Re-Sorting
Re-QuantizerIDCT
OriginalImage
10G. Fischer
JPEG Verarbeitungsstruktur
• Verluste durch die Quantisierungsstufe
• Steuerparameter: Qualitätsfaktor (0 … 100)
DCT
CompressedImage
QuantizerSorting &
Entropy Coding
EntropyDecoding &Re-Sorting
Re-QuantizerIDCT
OriginalImage
11G. Fischer
JPEG Artefakte –Bildrauschen
• Bildrauschen wirkt als Ditherrauschen für den Quantisierer
• Ringing Artefakte verschwinden!
Original
Komprimiert
Differenz x 10
12G. Fischer
JPEG Modellierung
DecompressionCompression
DCT QuantizerSorting &
Entropy CodingCompressed
Image
EntropyDecoding &Re-Sorting
Re-Quantizer IDCTOriginalImage
DCT QuantizerCompressed
ImageRe-Quantizer IDCT
OriginalImage
13G. Fischer
JPEG Modellierung
DecompressionCompression
DCT QuantizerSorting &
Entropy CodingCompressed
Image
EntropyDecoding &Re-Sorting
Re-Quantizer IDCTOriginalImage
DCT QuantizerCompressed
ImageRe-Quantizer IDCT
OriginalImage
DCTCompressed
ImageIDCT
OriginalImage +
Nq(f)
14G. Fischer
JPEG Modellierung
Nq(f):
• Quantisierungsrauschen durch den Quantisierer
• Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten
DCTCompressed
ImageIDCT
OriginalImage +
Nq(f)
15G. Fischer
JPEG Modellierung
Nq(f):
• Quantisierungsrauschen durch den Quantisierer
• Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten
• Compressed Image = Original Image + IDCT( Nq(f))
� IDCT( Nq(f)) = Compressed Image - Original Image
DCTOriginal Image
+ IDCT (Nq(f))IDCT
OriginalImage +
Nq(f)
16G. Fischer
DCTOriginal Image
+ IDCT (Nq(f))IDCT
OriginalImage
+ IDCT (Nq(f))DCT( IDCT( Nq(f))) =
Nq(f)
JPEG Modellierung
Nq(f):
• Quantisierungsrauschen durch den Quantisierer
• Minimales Ditherrauschen zur Vermeidung von JPEG Artefakten
• Compressed Image = Original Image + IDCT( Nq(f))
� IDCT( Nq(f)) = Compressed Image - Original Image
• DCT( IDCT( Nq(f))) = Nq(f)
� IDCT( Nq(f)) ist das minimale Eingangsrauschen, um JPEG Artefakte zu
vermeiden
17G. Fischer
Kompressionsrauschen (Qualitätsfaktor = 50)
• Rauschpegel unabhängig von der Bildhelligkeit
• Hochpaß Rauschspektrum
Original + Noise
3 3.5 4 4.5 50
50
100
150
200
250
300
350
400
lg( A)
σD
I
0 100 200 300 400 500 6000
0.5
1
1.5
2
2.5
3x 10
5
fx
Com
pN
oise
Difference Image = IDCT( Nq)
Compression NoiseStandard Deviation
NoiseSpectrum
18G. Fischer
Kompressionsrauschen (Qualitätsfaktor = 50)
• Rauschpegel unabhängig von der Bildhelligkeit
• Hochpaß Rauschspektrum
Original + Noise
3 3.5 4 4.5 50
50
100
150
200
250
300
350
400
lg( A)
σD
I
0 100 200 300 400 500 6000
0.5
1
1.5
2
2.5
3x 10
5
fx
Com
pN
oise
Difference Image = IDCT( Nq)
Compression NoiseStandard Deviation
NoiseSpectrum
19G. Fischer
Kamera Rauschmodell
• Ausgangssignal A ist linear zur Belichtung
• Rauschpegel wächst mit σCamera~A0.5
• Rauschspektrum ist weiß
lg Hlg Hmax
lg Amax Signal
lg A
A~ Noise
A~
20G. Fischer
Anpassung des Sensorrauschens
JPEGCompression
JPEGDecompression
LUT LUT-116 12 12 16
file*.jpg
0 0.2 0.4 0.6 0.8 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0 0.2 0.4 0.6 0.8 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Idee:
• Gleichverteilung des Sensorrauschens durch die Gammafunktion y=x0.5
.2
1
2
1' const
AAyCameraq ==⋅=⋅=⇒ σσ
21G. Fischer
Anpassung des Sensorrauschens
Idee:
• Gleichverteilung des Sensorrauschens durch die Gammafunktion y=x0.5
• Anpassung des Qualitätsfaktors an den Pegel des Sensorrauschens
JPEGCompression
JPEGDecompression
LUT LUT-116 12 12 16
file*.jpg
QF
22G. Fischer
Vollständiges Kompressionsmodell
• Farbseparation: 4 Kanäle (R, G1, G2, B)
• 1D Compression LUT: 16 -> 12 bit Gammafunktion
• JPEG: 12 bit baseline standard
CFASensor Data
ColorSeparation
1D CompressionLUT
1D CompressionLUT
1D CompressionLUT
1D CompressionLUT
JPEG EncoderR
JPEG EncoderG1
JPEG EncoderG2
JPEG EncoderB
C o
m p
r e
s s
e d
D a
t a
R16
G116
G216
B16
R12
G112
G212
B12
23G. Fischer
Experiment
• 6 Beispiele von Rohbildern mit Canon‘s EOS 5D (12.8 MPix,
12 – 15 MByte Dateigrößen)
24G. Fischer
Ergebnisse –Kompressionsrauschen
• Die schwarze Linie markiert
JPEG Quantisierungsrauschen
• Abweichungen von diesem
Rauschverhalten, wenn das
Kamerarauschen zu niedrig wird
(QF <= 85)
50 60 70 80 90 1000
50
100
150
200
250
300
350
Quality Factor
Com
pre
ssio
n N
ois
e
image1image2image3image4image5image6JPEG
25G. Fischer
Ergebnisse –Kompressionsrauschen
• Die schwarze Linie markiert
JPEG Quantisierungsrauschen
• Abweichungen von diesem
Rauschverhalten, wenn das
Kamerarauschen zu niedrig wird
(QF <= 85)
50 60 70 80 90 1000
50
100
150
200
250
300
350
Quality Factor
Com
pre
ssio
n N
ois
e
image1image2image3image4image5image6JPEG
26G. Fischer
Ergebnisse –Kompressionsrauschen
• Die schwarze Linie markiert
JPEG Quantisierungsrauschen
• Abweichungen von diesem
Rauschverhalten, wenn das
Kamerarauschen zu niedrig wird
(QF <= 85)
50 60 70 80 90 1000
50
100
150
200
250
300
350
Quality Factor
Com
pre
ssio
n N
ois
e
image1image2image3image4image5image6JPEG
27G. Fischer
Ergebnisse –Artefakte vs. Qualitätsfaktor
• Alle Bilder wurden 3 mal durch den Photoshop Standard Filter
verschärft
Original QF=50
28G. Fischer
Original QF=80
Ergebnisse –Artefakte vs. Qualitätsfaktor
• Alle Bilder wurden 3 mal durch den Photoshop Standard Filter
verschärft
29G. Fischer
Original QF=90
Ergebnisse –Artefakte vs. Qualitätsfaktor
• Alle Bilder wurden 3 mal durch den Photoshop Standard Filter
verschärft
30G. Fischer
Ergebnisse – Kompressionsrate
50 60 70 80 90 1000
1
2
3
4
5
6
7
8
9
10
Quality Factor
Com
pres
sion
Rat
io
31G. Fischer
Zusammenfassung
• Ein verlustbehaftetes Kompressionsmodell auf der Basis 12 bit
baseline JPEG wurde entwickelt und auf Rohdaten angewendet
• JPEG Artefakte sind zu vermeiden durch Anpassung des Modells an
das spezifische Kamerarauschen
• Kompressionsraten von über 4 wurden erreicht ohne visuelle
Qualitätsverluste bezüglich
– JPEG Artefakte,
– Schärfe und
– Bildrauschen.