irena kpogbezan & moritz brettschneider seminar ... · seminar computational photography...
Post on 03-Nov-2019
0 Views
Preview:
TRANSCRIPT
1
Irena Kpogbezan & Moritz Brettschneider
Seminar Computational Photography
Super-Resolution
2
Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung von Informationen
für den menschlichen Beobachter
Super-Resolution – Was ist das?
3
Zwei Verschiedene Methoden
MultiframeMehrere Bilder
Rekonstruktion
Example basedEin Bild + DatenbankVerwendung von
Fremdinformationen
4
Example Based SR
5
Example Based SRK
ontra
stno
rmal
isie
rung
Interpolation
Algorithmus
Ausgangsbild
gewünschtes Resultat
6
Trainingset
7
Räumliche Informationen
8
Markov-Network
9
One Pass Algorithm
10
geeignete Training Sets
11
ungeeignete Training Sets
+ =
12
Anwendungsbeispiele
Handyfoto als WallpaperAusschnitt aus einem Bild als Bild
sparen von Speicher ohne übermäßigem QualitätsverlustFahndungsfotos
13
Multiframe Superresolution
14
Multiframe SuperresolutionIdee:
Eingabe von mehreren niedrig aufgelösten Bildern der selben Szene, welche um Subpixel verschoben sind
dadurch mehr Informationen, mit denen das Hochaufgelöste Ergebnis rekonstuiert werden soll
Besonderheit: kein Raten, Rekonstruktion
15
Vorteile
billigere Sensoren nutzbarmehrfache Aufnahme kostet nichtstrotzdem hohe Auflösung erreichbar
16
Anwendung von Multiframe SR
Texterkennung (z.B.Kennzeichen)
MedizinSatelliten FotosVideoüberwachungVideovergrößerungMikroskopie
17
Problemstellung
Realität
athmosphärische Unschärfe
Bewegung(Verschiebung, Drehung, Größenveränderung)
18
Problemstellung (2)
kamerainterne Unschärfe
Unterabtastung des Bildes (kleine Auflösung)
Rauschen
Niedrigaufgelöstes Bild
19
Mathematische Darstellung
X Realität
H_k^atm athmosphärische Unschärfe
F_k Transformation zwischen den hochaufgelöstes Bildern
H_k^cam kamerainterne Unschärfe
D_k Unterabtastung des Bildes
V_k Verrauschen der Daten durch das Sensorelement
Y_k Bildsequenz der niedrig aufgelösten Bilder
20
Mathematische Darstellung
X Realität
H_k Unschärfe
F_k Bildregistrierungsschritt, transformiert das hochaufgelöstes Bild
D_k Unterabtasstung des Bildes
V_k Verrauschen der Daten durch das Sensorelement
Y_k Bildsequenz der niedrig aufgelösten Bilder
21
Teilverfahren
Registrierung der Bilder der Sequenz auf ein Referenzbild(Bewegungsschätzung)
Schätzung der Einflüsse bei der Aufnahmeoptische UnschärfeVerrauschen der Daten durch das Sensorelement
Rekonstruktion des hochaufgelösten Bildes
22
Bildregistrierung
23
Bildregistrierung
Aufgabe: mehrere Bilder derselben Szene, in bestmögliche Übereinstimmung miteinander bringen
einer der wichtigsten Schritte für die Qualität des Verfahrens
kleine Fehler können Unschärfe des Resultates bewirken
Ziel: Bildsequenz ohne geometrische Veränderung
24
Bildregistrierung (2)
Schritte:1. Merkmalsdetektion2. Matching von Merkmalen3. Parameterbestimmung der Transformation4. Transformation und Resampling der Bilder
25
Rauschunterdrückung
Verschlechterung eines elektronisch aufgenommenen Bildes durch Störungen, ohne Bezug zum eigentlichen Bildinhalt
z.B: Teager-Filter
26
Kameraunschärfe
Punktverbreiterungsfunktion:beschreibt, wie ein punktförmig angenommenes
Objekt durch Einflüsse der Optik und des Empfängers in ein flächenhaftes Gebilde verbreitert wird
27
Unterabtastung des Bildes
bestimmt durch Auflösung des LR-Bildes
28
Rekonstruktion des hochaufgelösten Bildes
29
Rekonstruktion des hochaufgelösten Bildes
Abstandsfunktion
Summe der Abstände
möglichst klein
30
Rekonstruktion des hochaufgelösten Bildes
31
Beispiel 1
32
Beispiel DVD - Lola Rennt
33
„Unfortunately, there is no general theory for determining what is `good' image enhancement when it comes to human perception. If it looks good, it is good!“
Robyn Owens
34
QuellenWilliam T. Freeman, Thouis R. Jones, Egon C Pasztor, "Example-Based Super-
Resolution," IEEE Computer Graphics and Applications, vol. 22, no. 2, pp. 56-65, Mar./Apr. 2002, doi:10.1109/38.988747
top related