![Page 1: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/1.jpg)
1
Irena Kpogbezan & Moritz Brettschneider
Seminar Computational Photography
Super-Resolution
![Page 2: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/2.jpg)
2
Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung von Informationen
für den menschlichen Beobachter
Super-Resolution – Was ist das?
![Page 3: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/3.jpg)
3
Zwei Verschiedene Methoden
MultiframeMehrere Bilder
Rekonstruktion
Example basedEin Bild + DatenbankVerwendung von
Fremdinformationen
![Page 4: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/4.jpg)
4
Example Based SR
![Page 5: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/5.jpg)
5
Example Based SRK
ontra
stno
rmal
isie
rung
Interpolation
Algorithmus
Ausgangsbild
gewünschtes Resultat
![Page 6: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/6.jpg)
6
Trainingset
![Page 7: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/7.jpg)
7
Räumliche Informationen
![Page 8: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/8.jpg)
8
Markov-Network
![Page 9: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/9.jpg)
9
One Pass Algorithm
![Page 10: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/10.jpg)
10
geeignete Training Sets
![Page 11: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/11.jpg)
11
ungeeignete Training Sets
+ =
![Page 12: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/12.jpg)
12
Anwendungsbeispiele
Handyfoto als WallpaperAusschnitt aus einem Bild als Bild
sparen von Speicher ohne übermäßigem QualitätsverlustFahndungsfotos
![Page 13: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/13.jpg)
13
Multiframe Superresolution
![Page 14: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/14.jpg)
14
Multiframe SuperresolutionIdee:
Eingabe von mehreren niedrig aufgelösten Bildern der selben Szene, welche um Subpixel verschoben sind
dadurch mehr Informationen, mit denen das Hochaufgelöste Ergebnis rekonstuiert werden soll
Besonderheit: kein Raten, Rekonstruktion
![Page 15: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/15.jpg)
15
Vorteile
billigere Sensoren nutzbarmehrfache Aufnahme kostet nichtstrotzdem hohe Auflösung erreichbar
![Page 16: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/16.jpg)
16
Anwendung von Multiframe SR
Texterkennung (z.B.Kennzeichen)
MedizinSatelliten FotosVideoüberwachungVideovergrößerungMikroskopie
![Page 17: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/17.jpg)
17
Problemstellung
Realität
athmosphärische Unschärfe
Bewegung(Verschiebung, Drehung, Größenveränderung)
![Page 18: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/18.jpg)
18
Problemstellung (2)
kamerainterne Unschärfe
Unterabtastung des Bildes (kleine Auflösung)
Rauschen
Niedrigaufgelöstes Bild
![Page 19: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/19.jpg)
19
Mathematische Darstellung
X Realität
H_k^atm athmosphärische Unschärfe
F_k Transformation zwischen den hochaufgelöstes Bildern
H_k^cam kamerainterne Unschärfe
D_k Unterabtastung des Bildes
V_k Verrauschen der Daten durch das Sensorelement
Y_k Bildsequenz der niedrig aufgelösten Bilder
![Page 20: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/20.jpg)
20
Mathematische Darstellung
X Realität
H_k Unschärfe
F_k Bildregistrierungsschritt, transformiert das hochaufgelöstes Bild
D_k Unterabtasstung des Bildes
V_k Verrauschen der Daten durch das Sensorelement
Y_k Bildsequenz der niedrig aufgelösten Bilder
![Page 21: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/21.jpg)
21
Teilverfahren
Registrierung der Bilder der Sequenz auf ein Referenzbild(Bewegungsschätzung)
Schätzung der Einflüsse bei der Aufnahmeoptische UnschärfeVerrauschen der Daten durch das Sensorelement
Rekonstruktion des hochaufgelösten Bildes
![Page 22: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/22.jpg)
22
Bildregistrierung
![Page 23: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/23.jpg)
23
Bildregistrierung
Aufgabe: mehrere Bilder derselben Szene, in bestmögliche Übereinstimmung miteinander bringen
einer der wichtigsten Schritte für die Qualität des Verfahrens
kleine Fehler können Unschärfe des Resultates bewirken
Ziel: Bildsequenz ohne geometrische Veränderung
![Page 24: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/24.jpg)
24
Bildregistrierung (2)
Schritte:1. Merkmalsdetektion2. Matching von Merkmalen3. Parameterbestimmung der Transformation4. Transformation und Resampling der Bilder
![Page 25: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/25.jpg)
25
Rauschunterdrückung
Verschlechterung eines elektronisch aufgenommenen Bildes durch Störungen, ohne Bezug zum eigentlichen Bildinhalt
z.B: Teager-Filter
![Page 26: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/26.jpg)
26
Kameraunschärfe
Punktverbreiterungsfunktion:beschreibt, wie ein punktförmig angenommenes
Objekt durch Einflüsse der Optik und des Empfängers in ein flächenhaftes Gebilde verbreitert wird
![Page 27: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/27.jpg)
27
Unterabtastung des Bildes
bestimmt durch Auflösung des LR-Bildes
![Page 28: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/28.jpg)
28
Rekonstruktion des hochaufgelösten Bildes
![Page 29: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/29.jpg)
29
Rekonstruktion des hochaufgelösten Bildes
Abstandsfunktion
Summe der Abstände
möglichst klein
![Page 30: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/30.jpg)
30
Rekonstruktion des hochaufgelösten Bildes
![Page 31: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/31.jpg)
31
Beispiel 1
![Page 32: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/32.jpg)
32
Beispiel DVD - Lola Rennt
![Page 33: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/33.jpg)
33
„Unfortunately, there is no general theory for determining what is `good' image enhancement when it comes to human perception. If it looks good, it is good!“
Robyn Owens
![Page 34: Irena Kpogbezan & Moritz Brettschneider Seminar ... · Seminar Computational Photography Super-Resolution. 2 Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung](https://reader033.vdokument.com/reader033/viewer/2022041422/5e2001a116301c37cd209b93/html5/thumbnails/34.jpg)
34
QuellenWilliam T. Freeman, Thouis R. Jones, Egon C Pasztor, "Example-Based Super-
Resolution," IEEE Computer Graphics and Applications, vol. 22, no. 2, pp. 56-65, Mar./Apr. 2002, doi:10.1109/38.988747