![Page 1: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/1.jpg)
Vorlesung Digitale BildverarbeitungSommersemester 2015
Sebastian HoubenFolien zu Teilen von Dr. Susanne Winter
Institut für Neuroinformatik
![Page 2: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/2.jpg)
Evaluation
• 100% Studierende der AI• 100% haben das Ziell, die Prüfung abzulegen
• Zeitaufwand für Nachbereitung: 1 – 3 Stunden ok, mehr eher nicht• 91% halten Stoffmenge und Tempo für angemessen• 84% wurden die Themenzusammenhänge deutlich• 82% erkennen den Praxisbezug• > 85% bei Vortragsstil, Fragen, Lernatmosphäre, Medieneinsatz
• 50% fanden das Niveau der Übungen zu hoch• 0% fanden das Thema der Übungen für die Vorlesung „selten
hilfreich“
![Page 3: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/3.jpg)
Evaluation
• 100% Studierende der AI• 100% haben das Ziell, die Prüfung abzulegen
• Zeitaufwand für Nachbereitung: 1 – 3 Stunden ok, mehr eher nicht• 91% halten Stoffmenge und Tempo für angemessen• 84% wurden die Themenzusammenhänge deutlich• 82% erkennen den Praxisbezug• > 85% bei Vortragsstil, Fragen, Lernatmosphäre, Medieneinsatz
• 69% halten die Folien für verständlich• 47% fanden die Folien „teilweise hilfreich“• Bei 28% war das vorausgesetzte Wissen nicht vorhanden
![Page 4: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/4.jpg)
Evaluation
• Durchschnittliche Gesamtnote: 2,2 (1 – 5)• 50 % bewerten die Qualität im oberen, 50 % im mittleren Drittel• Konkret angesprochen:
– Folien z.T. schwer verständlich, zu wenig Erklärungen– Matlab– Fragen (vom Dozenten) zu leicht / überflüssig– Hough-Transformation intensiver behandeln
• Ideen zur Verbesserung:– Überarbeitung der Folien– Umfangreichers Matlab-Tutorial– Cheatsheet Mathematik– Voraussetzungen deutlich kommunizieren
![Page 5: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/5.jpg)
Registrierung
![Page 6: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/6.jpg)
Anwendung 2: Kalibrierung einer Kamera• Ziel: Es soll die Transformation gefunden werden, mit der die
Aufnahme einer beliebigen Kamera entzerrt wird
Tamaki, Yamamur: „Correcting Distortion of Image by Image Registration“ (2002)
![Page 7: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/7.jpg)
Anwendung 2: Kalibrierung einer Kamera – Erinnerung
Tamaki, Yamamur: „Correcting Distortion of Image by Image Registration“ (2002)
dx
zrmax
rd
y
![Page 8: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/8.jpg)
Anwendung 2: Kalibrierung einer Kamera• Bei der Registrierung einer unkalibrierten Kamera wird
folgendermaßen vorgegangen:
• Ein unverzerrtes Foto wird ausgedruckt und mit der unkalibrierten Kamera aufgenommen
• Dann werden die beiden Bilder miteinander registriert
![Page 9: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/9.jpg)
Anwendung 2: Kalibrierung einer Kamera• Welche Transformation ist
geeignet um diese Abbildung zu lösen?
• Projektive Abbildung• Radiale Verzerrung• Unterschiede in der
Beleuchtung
![Page 10: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/10.jpg)
Anwendung 2: Kalibrierung einer Kamera• Welches Maß ist
geeignet, um die Ähnlichkeit der Bilder bei Überlagerung zu beschreiben?
• Abs. Grauwertdifferenz?• Norm.
Kreuzkorrelationskoeffizient?
![Page 11: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/11.jpg)
Anwendung 2: Kalibrierung einer Kamera• Die projektive Abbildung wird durch 8 Parameter bestimmt
• Die radiale Verzerrung durch 5 Parameter
2I)( 12 xPRx
xP
xx
x cdkdkscxx
4
22
11)(R
yyy cdkdkcyy 42
211)()(R
22)( yx cyscxd
),,,,( 21 skkcc yx
![Page 12: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/12.jpg)
Anwendung 2: Kalibrierung einer Kamera• Als Ähnlichkeitsmaß wird die Grauwertdifferenz verwendet, wobei
ein Beleuchtungsunterschied berücksichtigt wird
• Sechs Parameter beschreiben die Beleuchtungskorrektur
yxIyxIH 654321 )()(),),(( xxx
),),(( 21 xxIHIe
N
iieE
1
2
61 ...
![Page 13: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/13.jpg)
Anwendung 2: Kalibrierung einer Kamera• Bei der Registrierung werden gleichzeitig die Parameter der
Transformation und die der Beleuchtungskorrektur optimiert.Es werden also 8 + 5 + 6 = 19 Parameter optimiert
![Page 14: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/14.jpg)
Anwendung 2: Kalibrierung einer Kamera• Das Ergebnis liefert die Transformation
und die Beleuchtungskorrektur
![Page 15: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/15.jpg)
Registrierung
Bei einem Registrierproblem müssen Sie sich Gedanken machen über:
• Fehlermaß / Ähnlichkeitsmaß• Transformation• Optimierung
![Page 16: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/16.jpg)
Inhalt
• Crash-Course in Machine Learning• Klassifikationsverfahren
– Grundsätzliches– K-Nearest-Neighbour-Klassifizierer (KNN)– Linear Discriminant Analysis (LDA)– Support Vector Machine (SVM)
![Page 17: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/17.jpg)
Maschinelles Lernen: Klassifikation
![Page 18: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/18.jpg)
Was ist maschinelles Lernen (Machine Learning)?• Nachbildung menschlicher Lern- und Verständnisleistungen
– Überwachtes Lernen (Supervised Learning)– Unüberwachtes Lernen (Unsupervised Learning)– Verstärkendes Lernen (Reinforcement Learning)– Mischformen
• Vertiefende Vorlesungen– Laurenz Wiskott:
Machine Learning: Unsupervised Methods– Tobias Glasmachers:
Machine Learning: Supervised Methods– Rolf Würtz:
Artificial Neural Networks, Sehen in Mensch und Maschine
![Page 19: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/19.jpg)
Was ist ein Klassifikator?
• Regression vs. Klassifikation– Regression versucht einen kontinuierlichen Wert zu erlernen
(Lernen einer Funktionsvorschrift)– Klassifikation versucht einen diskreten von endlich vielen Werten
zu erlernen• Regression kann über Einführung von Schwellen in Klassifikation
umgewandelt werden
Merkmal
Wert
Merkmal
Klasse
Merkmal
Klasse
![Page 20: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/20.jpg)
Was ist ein Klassifikator?
Klassifikator
Training(Daten, Label)
Vorfahrt achten / Fahrtrichtichtung links /
Gefahr Baustelle
Gesicht / kein Gesicht
Heimmannschaft / Auswärtsmannschaft /
Torwart / SchiedsrichterTest
(Daten, ?)
• Im Rahmen dieser Vorlesung behandeln wir nur binäre Klassifikation, Label = 0 / 1
![Page 21: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/21.jpg)
Was ist ein Klassifikator?
• Beim Training werden an Hand von bekannten Beispielen die Parameter des Klassifikators gewählt– Der Klassifikator kann selbst mit optimalen Parametern noch
Fehler auf der Testmenge machen • Beispiele sind falsch gelabelt• Modell der Klassifkators reicht nicht aus für die
Trainingsmenge• Die Merkmale erlauben keine genaue Trennung
– Anteil der falsch klassifizierten Beispiele heißt Trainingsfehler• Beim Test wird an Hand von bekannten Beispielen die Performance
des Klassifkators ermittelt• Anteil der falsch klassifizierten Beispiele heißt Testfehler
![Page 22: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/22.jpg)
Feature-Räume
• Zu klassifizierende Beispiele werden durch Charakteristika (Features) beschrieben
• Diese lassen sich durch Punkte in einem Vektorraum abstrahieren• Wir betrachten bis auf
Weiteres nur binäre Klassifikation (genau zwei Klassen)
![Page 23: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/23.jpg)
Ein erster Klassifikator: K-Nearest-Neighbour
• Idee: – Merke Dir alle Beispiele aus dem Training– Gib beim Test die Klasse des Trainingsbeispiels zurück, das am
nächsten zum betrachteten liegt
![Page 24: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/24.jpg)
Ein erster Klassifikator: K-Nearest-Neighbour
• Idee: – Merke Dir alle Beispiele aus dem Training– Gib beim Test die Klasse des Trainingsbeispiels zurück, das am
nächsten (im Feature-Raum) zum betrachteten liegt
![Page 25: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/25.jpg)
Ein erster Klassifikator: K-Nearest-Neighbour
– Merke Dir alle Beispiele aus dem Training– Gib beim Test die Klasse DER MEHRHEIT DER K
TRAININGSBEISPIELE zurück, die am nächsten zum betrachteten liegen
![Page 26: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/26.jpg)
Ein erster Klassifikator: K-Nearest-Neighbour
– Merke Dir alle Beispiele aus dem Training– Gib beim Test die Klasse DER MEHRHEIT DER K
TRAININGSBEISPIELE zurück, die am nächsten zum betrachteten liegen
![Page 27: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/27.jpg)
Datentreue vs. Generalisierung
• Wie sollte man k wählen?• Je höher k ist, desto rauschunempfindlicher sollte die Klassifizierung
sein. => bessere Performance• Je höher k ist, desto größer ist der Bereich des Feature-Raums, aus
dem die Beispiele stammen. => schlechtere Performance• k zu klein => Overfitting
(Überanpassung)• k zu groß => Underfitting
(Unteranpassung)
![Page 28: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/28.jpg)
KNN – Hallo, wach!
• Was sind Vor- und Nachteile des KNN-Klassifikators?– Einfach– Training ist schnell (bzw. nicht nötig)– Test ist langsam
• Bessere Datenstrukturen: Angepasste Suchbäume• Clustern der Trainingsmenge zu Prototypen
– In der Praxis sind die Ergebnisse brauchbar
![Page 29: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/29.jpg)
Linear Discriminant Analysis (LDA)
• Idee:– Stelle Menge der Beispiele einer Klasse durch parametrisierte
Verteilung dar– Mehrdimensionale Normalverteilung ist parametrisiert durch
Mittelwert und Kovarianzmatrix
![Page 30: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/30.jpg)
Linear Discriminant Analysis (LDA)
• Idee:– Stelle Menge der Beispiele einer Klasse durch parametrisierte
Verteilung dar– Mehrdimensionale Normalverteilung ist parametrisiert durch
Mittelwert und Kovarianzmatrix
![Page 31: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/31.jpg)
Linear Discriminant Analysis (LDA)
• Mathematische Einfachheit durch Annahme gleicher Kovarianz• Es existiert dann eine Trennebene
![Page 32: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/32.jpg)
Linear Discriminant Analysis (LDA)
• Mathematische Einfachheit durch Annahme gleicher Kovarianz• Es existiert dann eine Trennebene
![Page 33: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/33.jpg)
Linear Discriminant Analysis (LDA)
• Gleichsetzen um Trennebene zu finden
• Gemeinsame Kovarianzmatrix– Mache Daten Mittelwertfrei
![Page 34: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/34.jpg)
Linear Discriminant Analysis (LDA)
• Linearer Klassifizierer– Lesbar (hohe Werte in stehen für wichtige Features)– Einfach– Schnell
![Page 35: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/35.jpg)
Einfaches Beispiel
Training
![Page 36: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/36.jpg)
LDA – Hallo, wach!
• Was sind die Vor- und Nachteile des LDA?– Einfach– Training schnell– In der Praxis gute Ergebnisse
• Gute Generalisierung durch starke Modellannahmen• Abhängig von Wahl der Features (dazu später mehr)
– In manchen Fällen ungeeignet
![Page 37: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/37.jpg)
LDA – Hallo, wach!
• Was sind Unterschiede zwischen LDA und KNN?
• LDA– Schnelles Training– Starke
Modellannahmen– Linearer Klassifikator
(schnell)– Teils gute
Generalisierung
• KNN– kein Training– Keine Modellannahmen– Gute Datentreue– Langsamer Test– Teils gute
Generalisierung
![Page 38: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/38.jpg)
Machine Learning – Hallo, wach!
• Wie sieht ein linearer Klassifikator aus, wenn man nur ein Feature hat?
0 x
![Page 39: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/39.jpg)
Linear Discriminant Analysis (LDA)
• Reicht ein linearer Klassifikator immer aus?
0 x 0 x
x2
![Page 40: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/40.jpg)
Dimension des Feature-Raums
• Dimension => Komplexität des Klassifikators• Komplexität vs. Generalisierung• Trainings-Performance
vs. Test-Performance• Um in einem Feature-Raum
hoher Dimension zu lernen,benötigt man viele Trainings-Beispiele.
![Page 41: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/41.jpg)
Fluch der Dimensionalität
• Hohe Dimensionalität => mehr Trainingsbeispiele nötig• Beispiel zweiwertiger Vektor• 2D:
• 3D:
• 4D:
(00)(10)(01)(11)
(000)(100)(010)(110)(001)(101)(011)(111)
![Page 42: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/42.jpg)
Fluch der Dimensionalität
• 2D:
• 3D:
• 4D:
• Für jeden Punkt sollte ein Label bekannt sein (oder der Klassifikator muss (evtl. falsche) Annahmen) treffen
(00)(10)(01)(11)
(000)(100)(010)(110)(001)(101)(011)(111)
![Page 43: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/43.jpg)
Zurück zur Bildverarbeitung
Klassifikator
• Übergabe von Bilddaten an den Klassifikator
Vorfahrt / Links abbiegen
Gesicht / Kein Gesicht
Heim / Auswärts
![Page 44: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/44.jpg)
Feature Extractor
• Bilder sind komplexe, hochdimensionale Datenstrukturen• Feature Extractor
– Reduziert die Feature-Dimension– Implementiert Vorwissen
KlassifikatorVorfahrt / Links abbiegen
Gesicht / Kein Gesicht
Heim / Auswärts
Feature Extractor
![Page 45: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/45.jpg)
Haar(-like) Feature
• Ähnlich zu den Haar-Wavelets (daher der Name)• Gesichtsdetektion (2001)• Heute in genereller Objektdetektion einsetzbar
![Page 46: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/46.jpg)
Haar(-like) Features
• Definiert durch Position von – zwei oder mehr Rechtecken – einer Vorzeichenzuordnung dieser Rechtecke
• Berechnung: Summe der Helligkeitswerte unter der weißen Regionminus Summe der Helligkeitswerte unter der schwarzen Region
![Page 47: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/47.jpg)
Haar(-like) Features
• Definiert durch Position von – zwei oder mehr Rechtecken – einer Vorzeichenzuordnung dieser Rechtecke
• Berechnung: Summe der Helligkeitswerte unter der weißen Regionminus Summe der Helligkeitswerte unter der schwarzen Region
• Haar-Features geben also an, ob bestimmteeinfache Kanten an bestimmten Stellenim Bild vorhanden sind
![Page 48: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/48.jpg)
Haar(-like) Features
• Trick zur effizienten Berechnung: Integralbild• Integralbild enthält für jedes Pixel die Summe aller Helligkeitswerte,
die eine kleinere Zeile oder Spalte haben• Berechnung in O(1)
![Page 49: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/49.jpg)
Haar(-like) Features
• Trick zur Berechnung
![Page 50: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/50.jpg)
Haar(-like) Features
• Trick zur Berechnung
![Page 51: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/51.jpg)
Haar(-like) Features
• Trick zur Berechnung
![Page 52: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/52.jpg)
Haar(-like) Features
• Trick zur Berechnung
![Page 53: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/53.jpg)
Haar(-like) Features
• Trick zur Berechnung
![Page 54: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/54.jpg)
Haar(-like) Features
• Umformung der Rechtecksummen
![Page 55: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/55.jpg)
Haar(-like) Features - Hallo, wach!
• Unter welchen Umständen ist der Einsatz eines Integralbildes sinnvoll?
![Page 56: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/56.jpg)
Haar(-like) Features - Hallo, wach!
• Unter welchen Umständen ist der Einsatz eines Integralbildes sinnvoll?– Wenn man viele Haar-Features berechnen muss– Wenn die Fläche der zu berechnenden Haar-Features größer
als die Fläche des Bildes ist
![Page 57: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/57.jpg)
Haar(-like) Feature
• Jedes Haar-Feature liefert einen skalaren Wert• Diese können zum Feature-Vektor konkateniert werden
![Page 58: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/58.jpg)
Haar(-like) Feature
• Woher weiß man, welche Haar-Features man nehmen muss, um z.B. ein Gesicht zu erkennen?
• Dieses Problem nennt sich Feature-Selection.
![Page 59: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/59.jpg)
Feature Selection
• Problem: Welche Features (z.B. Haar-Features) sind wichtig für mein Klassifikationsproblem?
• Zwei Features können abhängig sein, d.h., wenn man das eine Feature kennt, hat das andere weniger Information für die Klassifikation– Beispiel: Klassifikation von Männern und Frauen– Größe und Gewicht korrelieren stark, daher braucht man von
diesen Merkmalen nur eines zu nehmen• Zwei Features können einzeln wenig Information enthalten,
zusammen aber viel– Hüft- und Taillenumfang können allein nicht stark zur
Klassifikation von Männern und Frauen beitragen, erst ihr Verhältnis liefert wichtige Information
![Page 60: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/60.jpg)
Feature Selection
• Problem: Welche Features (z.B. Haar-Features) sind wichtig für mein Klassifikationsproblem?
• Zwei Features können abhängig sein, d.h., wenn man das eine Feature kennt, hat das andere weniger Information für die Klassifikation
• Zwei Features können einzeln wenig Information enthalten, zusammen aber viel.
• Theoretisch müssen alle Kombinationen von Features durchprobiert werden
• Aufwand: Um k Features aus n auszuwählen, müsste man theoretisch auf Feature-Mengen trainieren und testen
![Page 61: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/61.jpg)
Feature Selection
• Problem: Welche Features (z.B. Haar-Features) sind wichtig für mein Klassifikationsproblem?
• Ansätze zur Lösung dieses Problems werden später eingeführt
![Page 62: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/62.jpg)
Haar(-like) Feature
• Vorteile:– Schnell (sehr schnell)– Skalierbarkeit
(für größere Bilder kann man die Feature entsprechend skalieren, ohne zusätzlichen Rechenaufwand)
• Nachteile:– nicht so aussagekräftig
![Page 63: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/63.jpg)
Histogram of Oriented Gradients (HOG)
• Dalal & Triggs 2005• Zuerst bei Fußgängererkennung verwendet• Lokale Gradientenverteilung
![Page 64: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/64.jpg)
HOG - Methodik
• Unterteile Bildausschnitt in Zellen (Cells)
![Page 65: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/65.jpg)
HOG - Methodik
• Berechne Gradientenbilder horizontal und vertikal
![Page 66: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/66.jpg)
HOG - Methodik
• Unterteile Bildausschnitt in ZellenBerechne Orientierungshistogramme
![Page 67: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/67.jpg)
HOG - Methodik
• Unterteile Bildausschnitt in ZellenBerechne Orientierungshistogramme
• Orientierung des Gradientenpixels bestimmt den Balken (das Bin)Betrag des Gradientenpixelsbestimmt das Gewicht
![Page 68: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/68.jpg)
HOG - Methodik
• Unterteile Bildausschnitt in Zellen• Fasse mehrere benachbarte Zellen
in Blöcke zusammen• Idee: Setze lokale Gradientenverteilung in
Relation zu einer größeren Umgebung
![Page 69: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/69.jpg)
HOG - Methodik
• Unterteile Bildausschnitt in Zellen• Fasse mehrere Zellen in Blöcke zusammen• Eine Zelle wird i.d.R. von mehreren
Blöcken überlappt
![Page 70: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/70.jpg)
HOG - Methodik
• Unterteile Bildausschnitt in Zellen• Fasse mehrere Zellen in Blöcke zusammen• Eine Zelle wird i.d.R. von mehreren
Blöcken überlappt
![Page 71: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/71.jpg)
HOG - Methodik
• Unterteile Bildausschnitt in Zellen• Fasse mehrere Zellen in Blöcke zusammen• Eine Zelle wird i.d.R. von mehreren
Blöcken überlappt
![Page 72: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/72.jpg)
HOG - Methodik
• Unterteile Bildausschnitt in Zellen• Fasse mehrere Zellen in Blöcke zusammen• Eine Zelle wird i.d.R. von mehreren
Blöcken überlappt• Normiere die Histogramme mit der Summe
der Gewichte aller Gradienten im Block
![Page 73: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/73.jpg)
HOG - Methodik
![Page 74: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/74.jpg)
HOG - Methodik
![Page 75: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/75.jpg)
HOG - Hallo, wach!
• Wie viele Einträge hat ein Feature-Vektor eines Bildausschnitts der Größe 35 x 65, auf dem HOG-Features mit 9 Bins pro Histogramm, 8 x 8 Pixel Zellgröße und 2 x 2 Blocks gerechnet werden?
![Page 76: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/76.jpg)
HOG - Hallo, wach!
• Wie viele Einträge hat ein Feature-Vektor eines Bildausschnitts der Größe 35 x 65, auf dem HOG-Features mit 9 Bins pro Histogramm, 8 x 8 Pixel Zellgröße und 2 x 2 Blocks gerechnet werden?
• (gehen Sie davon aus, dass die Zellen am Rand des Bildes, die nicht von 4 Blocks überdeckt werden können für die Berechnung ignoriert werden)
![Page 77: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/77.jpg)
Hallo, wach!
• Wie viele Einträge hat ein Feature-Vektor eines Bildausschnitts der Größe 35 x 65, auf dem HOG-Features mit 9 Bins pro Histogramm, 8 x 8 Pixel Zellgröße und 2 x 2 Blocks gerechnet werden?
• (gehen Sie davon aus, dass die Zellen am Rand des Bildes, die nicht von 4 Blocks überdeckt werden können für die Berechnung ignoriert werden)
![Page 78: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/78.jpg)
HOG - German Traffic Sign Recognition Benchmark
• 50,000 Bildausschnitte• 43 Klassen• IJCNN 2011• 0-1-loss
![Page 79: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/79.jpg)
HOG - German Traffic Sign Detection Benchmark
• 600 Einzelbilder• IJCNN 2013• Area-Under-Curve
![Page 80: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/80.jpg)
HOG - German Traffic Sign Detection Benchmark
• 600 Einzelbilder• IJCNN 2013• Area-Under-Curve
![Page 81: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/81.jpg)
HOG - German Traffic Sign Detection Benchmark
• 600 Einzelbilder• IJCNN 2013• Area-Under-Curve
![Page 82: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/82.jpg)
HOG - Interpolation
• Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt
![Page 83: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/83.jpg)
HOG - Interpolation
• Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt
A1 A2
A3 A4
• Jede Zelle erhält für sein Histogramm den Betrag des Gradientenpixels gewichtet mit der Fläche des ihm gegenüber liegenden Rechtecks
![Page 84: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/84.jpg)
HOG - Interpolation
• Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt
A1 A2
A3 A4
• Jede Zelle erhält für sein Histogramm den Betrag des Gradientenpixels gewichtet mit der Fläche des ihm gegenüber liegenden Rechtecks (z.B. oben links)
![Page 85: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/85.jpg)
HOG - Interpolation
• Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt:
w2w1
![Page 86: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/86.jpg)
HOG - Interpolation
• Trilineare Interpolation: das Gewicht eines Gradientenpixels wird auf die angrenzenden Zellen und Bins verteilt
• Trilineare Interpolation (= bilineare Interpolation zwischen angrenzenden Zellen + lineare Interpolation zwischen angrenzenden Bins) erhöht die Performance der HOG-Features
• In laufzeitkritischen Anwendungen kann sie vernachlässigt werden
w2w1
![Page 87: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/87.jpg)
HOG – Farbe
• HOG-Features können für jeden Farbkanal (R, G ,B) einzeln berechnet werden (dies verdreifacht die Dimension des Feature-Vektors)
R G B
![Page 88: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/88.jpg)
HOG – Pro und Contra
• Was sind Vor- und Nachteile der HOG-Features?– PRO: gute Ergebnisse– PRO: relativ einfaches Verfahren– CON: langsam (verglichen z.B. mit Haar-Features)– CON: viele Parameter (Binzahl, Zellgröße, Blockgröße)– CON: Ergebnis hängt stark von der Wahl der Parameter ab
![Page 89: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/89.jpg)
Rückblick
• Handwerkzeug um Bildausschnitte binär (!) zu klassifizieren– Haar(-like)-Features, HOG-Features– K-Nearest-Neughbour, LDA
Klassifikator
Vorfahrt / Gefahr Baustelle
Gesicht / kein Gesicht
Heim / Auswärts
Feature Extractor
![Page 90: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/90.jpg)
Detektion: Sliding-Window
• Klassifikation: Ordne Bildausschnitte ein• Detektion: Finde Objekte von Interesse in größeren Bildern
– (z.B.) suche Stoppschilder in Kamerabildern
![Page 91: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/91.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 92: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/92.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 93: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/93.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 94: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/94.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 95: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/95.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 96: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/96.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 97: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/97.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 98: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/98.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 99: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/99.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 100: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/100.jpg)
Sliding-Window
• Idee: Trainiere einen binären Klassifikator mit zwei Klassen von Bildausschnitten: dem zu findenden Objekt und Gegenbeispielen
• Wende den Klassifikator auf „alle möglichen“ Bildausschnitte des Kamerabildes an
• Dies umfasst alle Positionen, Größen (und ev. Rotationen)
![Page 101: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/101.jpg)
Detektion
• Welche Fehler kann ein Detektor machen?– Er findet ein Objekt, wo keines ist. (Falsch positiv, FP)– Er findet kein Objekt, wo eines ist. (Falsch negativ, FN)
• Bewertung über zwei Kenngrößen (TP = richtig erkannte Objekte)
• Verschiedene Einstellungen (Empfindlichkeit) des Detektors können verschiedene Precision-Recall-Wertepaare ergeben
![Page 102: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/102.jpg)
Detektion
• Verschiedene Einstellungen (Empfindlichkeit) des Detektors können verschiedene Precision-Recall-Wertepaare ergeben
![Page 103: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/103.jpg)
AdaBoost
• Verwende viele einfache („schwache“) Klassifikatoren, um einen sehr guten Klassifikator zu konstruieren
• AdaBoost kann auch für Feature-Selection verwendet werden• Einfachster denkbarer Klassifikator:
![Page 104: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/104.jpg)
AdaBoost
• Verwende viele einfache („schwache“) Klassifikatoren, um einen sehr guten Klassifikator zu konstruieren
• AdaBoost kann auch für Feature-Selection verwendet werden• Einfachster denkbarer Klassifikator:
– Linearer Klassifikator im 1D-Featureraum (Schwellwert auf einem Skalar)
![Page 105: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/105.jpg)
AdaBoost
• Idee 1: Baue den starken Klassifikator schrittweise auf, indem man den schwachen Klassifikator dazunimmt, der im aktuellen Schritt am „wertvollsten“ ist.
• Idee 2: Gebe jedem Trainingsbeispiel ein Wichtigkeit. Falls das Beispiel vom aktuellen Klassifikator richtig
klassifiziert wird, senke sein Gewicht.Falls das Beispiel vom aktuellen Klassifikator falsch
klassifiziert wird, erhöhe sein Gewicht.D.h. schwache Klassifikatoren, die aktuell falsch
klassifizierte Beispiele richtig klassifizieren, werden wertvoller.• Idee 3: Bilde (irgendwie) eine Linearkombination der schwachen
Klassifikatoren, um den starken Klassifikator zu konstruieren.
![Page 106: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/106.jpg)
• Gegeben: Trainingsdaten mit Gewichtenund Schwache Klassifikatoren
• Initialisiere: die m positiven Trainingsbeispieledie l negativen Trainingsbeispiele
• Wiederhole: 1, ..., T– Normalisiere Gewichte– Trainiere alle Klassifikatoren, so dass
der gewichtete Trainingsfehler minimiert wird– Merke als schwachen Klassifikator mit minimalem
Trainingsfehler
AdaBoost – Pseudocode
![Page 107: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/107.jpg)
• Gegeben: Trainingsdaten mit Gewichtenund Schwache Klassifikatoren
• Wiederhole: t = 1, ..., T– Normalisiere Gewichte– Trainiere alle Klassifikatoren, so dass
der gewichtete Trainingsfehler minimiert wird– Merke als schwachen Klassifikator mit minimalem
Trainingsfehler– Aktualisiere Gewichte für richtig klassifizierte Beispiele– Merke
• Starker Klassifikator:
AdaBoost – Pseudocode
![Page 108: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/108.jpg)
AdaBoost - Beispiel
• Gegeben sei folgendes Klassifikationsbeispiel• Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature
![Page 109: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/109.jpg)
AdaBoost - Beispiel
• Gegeben sei folgendes Klassifikationsbeispiel• Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature
![Page 110: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/110.jpg)
AdaBoost - Beispiel
• Gegeben sei folgendes Klassifikationsbeispiel• Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature
Feature 1 Feature 2 Feature 3
![Page 111: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/111.jpg)
AdaBoost - Beispiel
• Gegeben sei folgendes Klassifikationsbeispiel• Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature
Feature 1
Fehler: 0,0515Feature 2
Fehler: 0,039Feature 3
Fehler: 0,09
![Page 112: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/112.jpg)
AdaBoost - Beispiel
• Gegeben sei folgendes Klassifikationsbeispiel• Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature
Feature 1
Fehler: 0,0515Feature 2
Fehler: 0,039Feature 3
Fehler: 0,09
1,231 1,5219 0,9658
![Page 113: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/113.jpg)
• Gegeben sei folgendes Klassifikationsbeispiel• Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature• Fehler: • Neue Trainings-Gewichte:
• Normieren.• Klassifikator-Gewicht:
• Aktueller starker Klassifikator:
AdaBoost - Beispiel
Feature 2
Fehler: 0,039
1,5219
![Page 114: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/114.jpg)
AdaBoost – Beispiel
• Aktueller starker Klassifikator:
![Page 115: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/115.jpg)
AdaBoost - Beispiel
• Verbleiben zwei weitere schwache Klassifikatoren
Feature 1 Feature 3
![Page 116: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/116.jpg)
AdaBoost - Beispiel
• Verbleiben zwei weitere schwache Klassifikatoren• Neue Gewichte!
Feature 1 Feature 3
![Page 117: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/117.jpg)
AdaBoost - Beispiel
• Verbleiben zwei weitere schwache Klassifikatoren• Neue Gewichte!
Feature 1
Fehler: 0,0848Feature 3
Fehler: 0,1523
1,7577 1,2499
![Page 118: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/118.jpg)
AdaBoost - Beispiel
• Verbleiben zwei weitere schwache Klassifikatoren• Neue Gewichte!
Feature 1
Fehler: 0,0848Feature 3
Fehler: 0,1523
1,7577 1,2499
![Page 119: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/119.jpg)
• Gegeben sei folgendes Klassifikationsbeispiel• Schwache Klassifikatoren sind 1D-Schwellwerte für jedes Feature• Fehler: • Neue Trainings-Gewichte:
• Normieren.• Klassifikator-Gewicht:
• Aktueller starker Klassifikator:
AdaBoost - Beispiel
Feature 1
Fehler: 0,0848
1,7577
![Page 120: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/120.jpg)
AdaBoost – Beispiel
• Aktueller starker Klassifikator:
![Page 121: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/121.jpg)
AdaBoost – Beispiel
• Aktueller starker Klassifikator:
• Warum sind die Ergebnisse gleich?
Vorheriger Klassifikator Aktueller Klassifikator
![Page 122: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/122.jpg)
AdaBoost - Beispiel
• Verbleibt ein weiterer schwacher Klassifikator• Neue Gewichte!
Feature 3
Fehler: 0,0818
1.2477
![Page 123: Vorlesung Digitale Bildverarbeitung Sommersemester 2015 Sebastian Houben Folien zu Teilen von Dr. Susanne Winter Institut für Neuroinformatik](https://reader035.vdokument.com/reader035/viewer/2022081801/570491c61a28ab14218db216/html5/thumbnails/123.jpg)
AdaBoost – Beispiel
• Aktueller starker Klassifikator:
Vorheriger Klassifikator (Fehler: 7,8 %)
Aktueller Klassifikator(Fehler: 4,6 %)