computer vision1_seite 1 die aufgaben der bildauswertung detektion im bild lokalisierung in der welt...

Computer Vision

1_Seite 1

Die Aufgaben der Bildauswertung

● Detektion im Bild

● Lokalisierung in der Welt

● Verfolgung

● Identifikation (Klassifikation)

● Analyse

Auswertungsaufgaben

Berücksichtigung des zeitlichen Zusammenhangs der einzelnen Bilder:

Bildfolgenauswertung

Computer Vision

1_Seite 2

Bildfolgen Informationsgewinnung

Statische KameraZeit Zeit

Bewegte Kamera

Aufgaben:

● Detektion sich bewegender Objekte

● Lokalisierung sich bewegender Objekte

● Verfolgung sich bewegender Objekte

● Objektklassifikation anhand von Bewegungsmustern

Aufgaben:

● Detektion sich bewegender Objekte

● Lokalisierung sich bewegender Objekte

● Verfolgung sich bewegender Objekte

● Objektklassifikation anhand von Bewegungsmustern

● Eigenbewegungsschätzung

Wie kann die Information über Bewegung in ein System eingebracht werden?

Computer Vision

1_Seite 3

Interpretationszyklus für Bildfolgen Szeneninterpretation

Generische räumliche Beschreibung

Modellwelt

Bildsensor

Signal-verarbeitung

Bildauswertung

t0 + n*d


Modellwelt

Bildsensor

Signal-verarbeitung

Bildauswertung

t0+d


Modellwelt

Bildsensor

Signal-verarbeitung

Bildauswertung

t0

Generische zeitliche Beschreibung

(parametrisierte Modelle für Objekt-, Szenen-,

Beleuchtungs-, Sensordynamik)

. . .

Prädiktion

Prädiktion

Die Nutzung der Mehrinformation (aus Bildfolgen) geht an zwei Stellen ein:

1. Generische zeitliche Beschreibung

2. Signalverarbeitung (genauer: Merkmalsextraktion)

Computer Vision

1_Seite 4

Bildfolgen: Raum-Kanten

Raumkantenbild

Grauwertbild

Flugzeug-

Modell

Raumkanten

Original

Raum-Zeit-Kanten

Raum-Zeit-Kantenbild

Informationsgewinnung

Computer Vision

1_Seite 5


Beispiel für Raum-Zeit-Kanten: Infrarotbild (Luftbild) eines Ausschnitts der Meeresoberfläche

Interpretation einer BildfolgeGt1(x,y), Gt2(x,y), ..., GtN(x,y)

als dreidimensionales FeldG(x,y,t)

Raum-Zeit-Kantenz.B. durch3-D Sobel-Operator


Computer Vision

1_Seite 6


Im Bildstapel statischer Kameras ergeben

● statische Objektpunkte: senkrechte Geraden und

● bewegte Bildpunkte mitgleichförmiger Bewegung:

geneigte Geradenbeschleunigter Bewegung:

gekrümmte Geraden

Bildstapel:


Computer Vision

1_Seite 7

Bildfolgen: Bewegungssegmentierung

Differenzbild


Differenzbilder für statischen Hintergrund mit

sich bewegenden Fahrzeugen

Empfindlich gegen

● Beleuchtungsänderungen

● Rauschen

● Periodische Vorgänge / Muster

Abhilfe:

● Betrachte mehr als ein Bild aus der Vergangenheit

Computer Vision

1_Seite 8

Betrachtung der Vergangenheit:

● Betrachte die letzten M Bilder für jeden Bildpunkt einzeln (x,y): g(t) = g(x,y,t)

● Eine bewegungsbedingte Änderung im Bildpunkt (x,y) zeigt sich z.B. als „Sprung“.

● Liegt keine Änderung vor, so sind die Grauwerte „konstant“.


g(t)

tEinmaliges Ereignis


g(t)

tKonstant mit Rauschen

Computer Vision

1_Seite 9




g(t)

t

g(t)

t

g(t)

t

g(t)

t

g(t)

tIdeal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung

h(q)

q

h(q)

q

h(q)

q

h(q)

q

h(q)

qge

Histogrammbildung

Computer Vision

1_Seite 10



● Anpassen einer Summe von N Gaußfunktionen (= Modellierung der Grauwerthistorie):

● Für ein aktuelles Bild: Entscheidung für eine Änderung, wenn für den aktuellen Grauwert g gilt:


Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung

h(q)

q

h(q)

q

h(q)

q

h(q)

q

h(q)

qge

N

i

q

i

iM

iie

Nqh

1

2

1 22

2

11)(

SchwelleM hgh )(

Computer Vision

1_Seite 11


Übersicht: Für jeden Bildpunkt:

● Berechnung des Histogramms aus den M letzten Bildern.

● Modellierung des Histogramms durch Summe von Gaußfunktionen

● Gilt für den aktuellen Grauwert g: ?

Nein: Eintrag als Hintergrundbildpunkt (z.B. 0)Ja: Eintrag als (Bewegt-) Objektbildpunkt (z.B. 1)


...

...

Letzte M Bilder aktuelles Bild

Histogramm für jedes Pixel

Im Modell

Im ModellBewegungssegment-Bild

SchwelleM hgh )(

Computer Vision

1_Seite 12

Bildfolgen: Bewegungsschätzung

Verfolgung von Merkmalen durch Blockmatching (Schablonenanpassung)


+

Bild zur Zeit t Bild zur Zeit t+t

t

t+ t

Computer Vision

1_Seite 13

Bildfolgen: Bewegungsschätzung

Das Prinzip der Schablonenanpassung

Schablone zur Suche imnächsten Bild ausschneiden.

An welcher Stelle „passt“ die Schablone am besten?Die Suche wird beschränkt auf den Suchbereich um die Schablonenposition im Bild zur Zeit t.

Die Position im Bild zur Zeit t+D, an der die Schablone der Bildstruktur am Ähnlichsten ist.

Bild zur Zeit t+t Bild zur Zeit t+tBild zur Zeit t

Für die Suche nach der optimalen Position wird ein Ähnlichkeitsmaß benötigt!

Computer Vision

1_Seite 14

Bildfolgen: Ähnlichkeitsmaße

Lokale Ähnlichkeitsmaße zwischen einem Bild g der Größe BxH und einer Schablone h:

● Euklidische Distanz:

● City-Block-Distanz:

● Kreuzkorrelation:


x

x

y

y

K

Kx

K

KyE yxhnymxgnmd 2),(),(),(

x

x

y

y

K

Kx

K

KyCB yxhnymxgnmd ),(),(),(

x

x

y

y

K

Kx

K

Ky

yxhnymxgnmKK ),(),(),(Bild g

Schablone h:12 xK

12 yK

Position (m,n)=(4,3)

Computer Vision

1_Seite 15

Bildfolgen: Normierte Kreuzkorrelation

Die Normierung der Kreuzkorrelation

bezüglich der Bildtransparenzen liefert die normierte Kreuzkorrelation

● Die NKK liegt zwischen 0 (völlig ungleiche Muster) und 1 (identische Muster).

● Erinnerung: Faltung von g mit Kern K

x

x

y

y

x

x

y

y

x

x

y

y

K

Kx

K

Ky

K

Kx

K

Ky

K

Kx

K

Ky

yxhnymxg

yxhnymxg

nmNKK

),(),(

),(),(

),(

22

x

x

y

y

K

Kx

K

Ky

yxhnymxgnmKK ),(),(),(


x

y

y

y

K

Kx

K

Ky

yxKynxmgnmg ),(),(),(~

Computer Vision

1_Seite 16

Bildfolgen: Normierte Kreuzkorrelation

Beispiel:


Bild g und Schablone h NKK

Computer Vision

1_Seite 17

Bildfolgen: Bildstabilisierung

Anwendung der Kreuzkorrelation: Bildstabilisierung („Wackelkompensation“) z.B. bei Handycams

Voraussetzungen:

● Nur wenige Objekte in der Szene bewegen sich.

● Translationen der Kamera sind vernachlässigbar.

● Drehungen erfolgen um die Achsen des Bildsensors.


Keine Rotation um den Sehstrahl(Rollwinkel), nur Gier und Nickwinkel.

Feste Szenengegenstände

Kamera-drehung

Bildsensor

Bild Bild

Verschiebung (Translation) im

Bildbereich!!

Computer Vision

1_Seite 18

Bildfolgen: Bildstabilisierung

Vorgehen

● Schätzung der Verschiebung (x, y) im Bildbereich durch Berechnung des Kreuzkorrelationsmaximums der Bilder, z.B. durch die Fouriertransformation.

● Korrektur der Verschiebung


*211 )},({)},({),( yxgFyxgFFyxKKF tt

... ...

xmaxymax

Lage des Maximums der Kreuzkorrelationsfunktion:xmax, ymax

Computer Vision

1_Seite 19

Detektionsmechanismen: dynamisch

Videosequenz: Hindernisdetektion mit optischem Fluss


Lokal geschätzte Flussvektoren1

1) Ein Flussvektor ist ein Vektor, der (in der Bildebene) beschreibt, wie sich die Position eines Szenenpunkts zwischen zwei zeitl. aufeinander folgenden Bildern verschoben hat.

Computer Vision

1_Seite 20

Bildfolgen: Optischer Fluss

Bewegungsschätzung durch optischen Fluss

● Suche für jeden Bildpunkt (x,y) einen Verschiebungsvektor (vx(x,y), vy(x,y)), so dass (x+vx(x,y) y+vy(x,y)) die Position des Szenenpunktes ist, der zuvor auf Bildposition (x,y) abgebildet war.

● Allgemeine optische Flussgleichung:

● Problem: Unterbestimmtheit, so z.B. kommt jeder Grauwert in einem 512x512 Grauwertbild (8 Bit) durchschnittlich 1024 mal vor!

● Dies macht zusätzliche Einschränkungen nötig, z.B.Glattheit des Flussvektorfeldes„Kleine“ Flussvektoren


)),,(),,(()1,,( tyxvyyxvxgtyxg yx

Computer Vision

1_Seite 21

Bildfolgen: Optischer Fluß

Die Lösung der allgemeinen optischen Flussgleichung

erfolgt durch eine Taylor-Entwicklung von unter Vernachlässigung quadratischer und höherer Glieder

Umgeformt ergibt sich pro Bildpunkt eine Gleichung

Diese Gleichung hat jedoch zwei Unbekannte führt also zu einem unterbestimmten Gleichungssystem. Bestimme den jeweiligen Flussvektor unter Betrachtung einer kleinen Umgebung R von (x,y) (Glattheitsbedingung). Dies führt zu einem überbestimmten Gleichungssystem, daher erfolgt die Bestimmung des Flussvektors durch Minimierung von des Fehlers


)),,(),,(()1,,( tyxvyyxvxgtyxg yx

),(),(),(),(),( yxy

gyxvyx

x

gyxvyx

t

gyx

0),(),(),(),(),(

yxt

gyx

y

gyxvyx

x

gyxv yx

2

),(

),(),(),(),(),(

Ryx

yx yxt

gyx

y

gyxvyx

x

gyxvE

Computer Vision

1_Seite 22

Skripte

http://www.home.fh-karlsruhe.de/~laas0002/Skripte/

computer vision1_seite 1 die aufgaben der bildauswertung detektion im bild lokalisierung in der welt...

Documents