prinzipien der informationsverarbeitung im visuellen...
Post on 25-Mar-2019
222 Views
Preview:
TRANSCRIPT
1
INB
Prinzipien der Informationsverarbeitung im
visuellen Cortex
Erhardt Barth
Institut für Neuro- und Bioinformatik
Universität zu Lübeck
2
INB
Übersicht
• Einleitung
• Aus heutiger (und meiner) Sicht grundlegende Eigenschaften der visuellen Informationsverarbeitung
• Übersicht OC-relevante Projekte
• Bewußtsein als Kontrollinstanz des Gehirns (Anregung)
3
INB
Motivation
• Vom biologischen Sehen für das Rechnersehen lernen
• Technische Systeme an den Menschen anpassen
4
INB
Methoden der Hirnforschung• Neurophysiologie, bildgebende Verfahren
– Ganglienzellen der Netzhaut
– Orientierungs-selektive Neurone des primärenvisuellen Cortex
• Psychophysik– hier einige Anregungen zur Selbstbeobachtung
• Mathematische Modelle und Simulationen– Informationstheorie, Lineare Systemtheorie
– Beispiele nichtlinearer Ansätze (am Rande)
5
INB
Rahmen für interdisziplinäre Hirnforschung
• Bisher– Kybernetik
– Neuronale Netze
– Künstliche Intelligenz
– Computational Neuroscience
• Generelle Probleme– zu viel versprochen
– zu sehr „solution in search of a problem“
6
INB
Computational Neuroscience• Metaphors and the brain
• Hydraulic and mechanical metaphors (Hippocrates)
• Electronic and optical metaphors (telegraph brain)
• Computational metaphor (widespread today)
„Surprisingly, ..., there remains today no well established evidence of symbolic manipulation or formal logic rules at the neurobiological level in animal physiology. ...
We should remember that the enthusiastically embraced metaphors of each ‘new era’ can become, like their predecessors, as much the prisonhouse of thought as they at first appeared to represent its liberation.” (J. Daugman)
7
INB
Eigenschaften der visuellen Informationsverarbeitung
• Verhaltensrelevanz
• Anpassung an die Umwelt
• Modularität
• Lernen, Plastizität und Umorganisation
• Aktive, selektive Wahrnehmung
8
INB
9
Behavior of a frog• A frog hunts on land by vision.
• He escapes enemies mainly by seeing them.
• His eyes do not move (but to compensate body motion).
• He has a uniform retina and no fovea.
• His choice of food is determined only by size and movement - he will starve to death surrounded by food if it is not moving!
• His sex life is conducted by sound and touch.
• To escape enemies, he jumps to where it is darker.
10
INB
11
INB
The bug detector
Convexity detectors (type II ganglion cells in the frogs retina) respond best when a dark object enters the receptive field, stops and moves about intermittently thereafter. The response is not affected if the lightning changes or if the background is moving. ‘Could one better describe a system for detecting an accessible bug?’
12
INB
Interpretations
‘One could say that the right way to view the visual system was not as doing information processing but as producing behavior. Computers process information, but brains make animals do the right thing.’ (Anderson)
13
INB
Meeting Jerry Lettvin(is a great experience ....)
The bug detector is even more complex:
yes yesno less
14
INB
Topological features
CON-COFF representation (not further specified)
INPUT
1.00 -3.00 -1.00 0.00 1.00are the normalized integral values of CON-CON. When used to inhibit the CON-COFF representation, they produce the selectivity reported by Lettvin.
15
INB
Optischer Nerv
visueller Cortex
Auge
16
INB
Bemerkung
Bei Säugetieren, speziell den Primaten, sind die frühen Verarbeitungsstufen generischer und werden meistens im Sinne einer Repräsentation verstanden.
Was aber ist der Sinn von Repräsentationen?
17
INB
Eigenschaften der visuellen Informationsverarbeitung
• Verhaltensrelevanz
• Anpassung an die Umwelt
• Modularität
• Lernen, Plastizität und Umorganisation
• Aktive, selektive Wahrnehmung
18
INB
Anpassung an die Umwelt
• Inzwischen eine beliebte Sichtweise: die visuellen Mechanismen entstanden durch Anpassung an die Statistik der natürlichen Umgebung.• Welche Statistik?
• „Klumpenbildung“
• Welche Mechanismen? • laterale Hemmung, Orientierung, d.h. frühe M.
• Welches Kriterium? • minimale Entropie, „sparse coding“
19
INB
20
INB
Cornsweet illusion(Craik-O’Brien effect)
21
INB
Hubel & Wiesel, 1962
22
INB
Information und Entropie
• Information (I)Nachrichten fk (z.B Helligkeit im Bild)
mit Wahrscheinlichkeiten pk, k=1,…,N
Information: Ik = − log2 pk [bit]
H = − pk log2 pk [bits / Nachricht]k =1
N
∑
• Entropie (H)
(mittlere Information)
23
INB
•0
•0,2
•0,4
•0,6
•0,8
•1
•1 •2 •3 •4 •5
H gering H maximal
24
INB
Informationstheoretische Analyse
Input Netzhaut Cortex
25
INB
0.44 0.55 0.71−0.77 −0.16 0.610.44 −0.82 0.36
RGB principal components
R+G+B -R-G+B R-G+B
Optimal color coding
26
INB
R+G+B R-G+B R+G-B
achromatic channel red-green channel yellow-blue c.
The three channels carry different spatial frequencies
Visual color coding
27
INB
Eigenschaften der visuellen Informationsverarbeitung
• Verhaltensrelevanz
• Anpassung an die Umwelt
• Modularität
• Lernen, Plastizität und Umorganisation
• Aktive, selektive Wahrnehmung
28
INB
Cortikale Spezialisierung• Getrennte Verarbeitung von
– Form– Bewegung– Farbe
• V1: orientation• V2: orientation, end-stopping•.V3: orientation, motion, depth• V4: mainly color• MT: mainly motion
29
INB
Tanaka et al., 1991
IT cortex of wake monkeys
30
INB
Sparse coding• Im Gehirn geht es sehr ruhig zu. d.h. es
sind meistens nur sehr wenige Neurone aktiv.
• Desto besser es funktioniert, desto ruhiger.
• Neurone sind stark verbunden jedoch dienen die meisten Interaktionen eher dem „Niederbügeln“ der Aktivität, d.h. dem „sparse coding“.
31
INB
An intermediate conclusion
• “Efficient coding of information is a central problem of the sensory system. At progressively higher levels in the sensory pathway information about the physical stimulus is more abstract and is represented by progressively fewer active neurons. “ (J. Feldman)
32
INB
Cortical organization: specialized visual areas
Diagram of visual pathway and different visual areas (Van Essen et.al.).
Note the massive connections that are both feed-forward and feed-back (bottom-up and top-down pathways).
33
INB
Eigenschaften der visuellen Informationsverarbeitung
• Verhaltensrelevanz
• Anpassung an die Umwelt
• Modularität
• Lernen, Plastizität und Umorganisation
• Aktive, selektive Wahrnehmung
34
INB
Lernen, Plastizität und Umorganisation
• Einige nicht behandelte Themen– „Perceptual learning“
– Gedächtnis
– Zelluläre Mechanismen (LTP)
• Datengetriebene Umorganisation– Seeing in the sound zone
35
INB
Seeing in the sound zone
Experimente von M. Sur u.a. (MIT):
• Nerven aus der Netzhaut von V1 (visueller Cortex) nach A1 (auditorischerCortex) umgeleitet (bei jungen Frettchen)
• A1 zeigt danach Eigenschaften von V1
• Frettchen „sehen“ mit A1
(Lettvins „smellerfrog“)
36
INB
Seeing in the sound zone
Zitate dazu (Merzenich, Nature Vol 404, 2000)
... compelling evidence ... for the exquisite sensitivity of cortical development to external cues.
A1 territory is taken over by visual input.
... much of what typifies the functional organization of V1 can be generated within A1 by delivering retinal inputs to A1.
... the animals ‚see‘ with what was their auditory cortex.
37
INB
Umorganisation neuronaler Verbindungen beim Menschen
Ein Beispiel: Kinder mit nur einer Hirnhälfte verhalten sich später, bei entsprechendem Training, weitgehend normal.
Generelles Prinzip: vor und nach der Geburt bilden sich sehr viele neuronale Verbindungen, die dann im Laufe der Zeit stark und selektiv abgebaut werden.
Im Alter passiert (leider und glücklicherweise) davon nicht mehr viel.
38
INB
Eigenschaften der visuellen Informationsverarbeitung
• Verhaltensrelevanz
• Anpassung an die Umwelt
• Modularität
• Lernen, Plastizität und Umorganisation
• Aktive, selektive Wahrnehmung
39
INB
Aktive, selektive Wahrnehmung
• Aktiv im Sinne einer „top-down“ gesteuerten Sensorik– Hypothesen-getriebene Sensorik
(Animate vision, active vision)
• Aktiv im Sinne einer aktiven Hypothesenbildung– Wahrnehmen was erwartet wird
–Wie wird mit resultierenden Fehlern umgegangen?
40
INB
Seeing as an illusion:the door experiment
D. Simons, Harvard
Itap
41
INB
Basketball count
D. Simons, Harvard
42
INB
Seeing as an illusion:change blindness
43
INB
Seeing as an illusion:change blindness
Demo Kevin O´Regan, Paris.
Itap
44
INB
Kontextabhängige Wahrnehmung
Die Tischkanten sind gleich lang, oder?
45
Philosophie der Wahrnehmung
Erscheinung
Empfindung
Anschauung
Vorstellung
“stuff” (not “things”!)
physiology
active looking, scanpath
cognitive model
bottom-up
top-down
(I. Kant)
(Larry Stark)
46
INB
Bewußtsein als Kontrollinstanz
• Heute beliebt: Suche nach NCC (Crick & Koch)– (neural correlates of consciousness), aber: „There is
no single correlate of conscious vision“.
• Varieties of vision and blindness (P. Stoerig)– Verschiedene Funktionen des Sehens werden von
verschiedenen Modulen ausgeführt und diese funktionieren teilweise auch ohne das Ganze.
• Studien mit Patienten (G. Baumgartner)– Kein Ort im Gehirn, wo alles zusammenläuft!
47
INB
Kinds of blindness• Absolute blindness
• Legal blindness
• Cortical blindness (no conscious sensation)
• Hemianopia (cortical blindness in one half field)
• Blindsight (what we see when cortically blind)
• Apperceptive agnosia (see only color etc. no objects)
• Associative agnosia (see car but not know what it is for)
• Prosopagnosia (see face but not know who’s it is)
48
INB
Baumgartner Hypothesen1. Bewußtsein ist ein biologisches
Phänomen und muß daher evolutiveCharakteristika zeigen
2. Bewußtsein wird in der Großhirnrinde generiert
3. Bewußtsein ist keine Entität
4. Bewußtseinsinhalte sind prinzipiell neuronal korrelierbar
49
INB
Studien mit Patienten• „Visual defects after cortical lesions are
strangely different from analog defects after interruption of the afferent pathways. While a sudden loss of afferent functions is instantly realized, a cortical defect may appear as a peculiar perceptive change, which cannot be clearly described or may not be perceived at all and denied.“
• (G. Baumgartner, 1988)
50
INB
Studien mit Patienten
„We conclude ... that the neuronal activity in different visual areas is related to different visual percepts and that, after local destruction, the perception of the related submodalities disappears as if they never existed.“
(G. Baumgartner, 1988)
51
INB
OC-relevante Projekte
• LOCOMOTOR
• Modkog/Itap
• OoP
• WakeUp
52
INB
Nonlinear analysis of multidimensional signals:
LOcal adaptive estimation of COmplex MOTion and ORientation patterns
LOCOMOTOR
LOCOMOTOR
Frankfurt
Heidelberg
Lübeck
Im DFG Schwerpunkt 1114: “Mathematical methods for time series analysis and digital image processing”http://www.math.uni-bremen.de/zetem/DFG-Schwerpunkt/
Gefördert unter Ba-1176/7Cicero Mota
INB
53
INB
• i0D: constant in all directions:
• i1D: constant in 2 directions:
• i2D: constant in one direction:
• i3D: no constant direction:
Intrinsic dimension in 3D
f (x, y,t) = const.
f (x, y,t) = g(ξ)
f (x, y,t) = g(ξ,ζ )
f( x,y,t) = g(ξ,ζ,τ )
54
INB
Natural scenes show occlusions, noisy data, features at different scales, ...
55
INB
Generierung mehrerer Modelle->
Konfidenzmaße ->
Auswahl des Modells mit höchster Konfidenz
56
INB
Information technology for active perception: Itap
Institute for Neuro- and BioinformaticsUniversity of Lübeck, Germany
Partners:Allgemeine Psychologie, Giessen (Karl Gegenfurtner)Sensomotoric Instruments GmbH (SMI), Teltow/BerlinSIEMENS AG, München
Itap
Itap is part of ModKog, a project funded by
57
INB
Visual communication today: same image but different messages
Figure by M. Dorr, INB.
Itap
58
INB
Visual communication todayThe message that is conveyed by an
image depends very much on the scan-path,
i.e, the sequence of eye movements that are used to look at an image.
Visual communication systems, however, are based on only the classical image attributes luminance and color.
Itap
59
INB
Itap idea
The scan-path and the active component of vision should become part of visual communication systems.
Therefore the scan-path must be sensed, processed, and “displayed“.
Itap
60
INB
Major challenges
Remote, user-friendly eye tracking
Understanding of eye movements
Eye-movement guidance
Development of gaze-contingent interactive displays (GCIDs)
Itap
61
INB
Applications• Vision-based communication systems
– will be defined not only by brightness and color, but will be augmented with a recommendation of what to see, of how to view the images.
• Augmented-vision systems– Attention is directed towards objects or
features that have been detected by a computer-vision system.
Itap
62
INB
Automotive applicationsItap
63
INB
Applications (continued)
• Training systems– Novices can learn to see with the eyes of experts, e.g.
in radiology or in flight simulators.
• Optimal scan path– The scan path of an observer can be optimized by a
computer program according to some objective criteria.
• Reading systems– Itap technology will be used to relax the unnatural scan-
path of reading and therefore has the potential of making GCIDs the reading system of the future.
64
INB
Summary on Itap
• Itap will improve visual communication by helping people see what they are meant to see.
• Itap aims at technology that is active in the background and helps people communicate and interact with other people and with their environments.
Itap
65
INB
Car-passenger sensing
• Recognition of seat occupancy and head tracking for airbag control
OoP system
• Fatigue measurement
– WakeUp system
SMI
66
INB
Intelligent airbagsProblems:• Deployment with kids and OoP (harm)• Useless deployment (cost)
Solution: video-based control
OoP: Out of Position
SMI
67
INB
Intelligent airbags: OoP system
SMI
68
INB
Fatigue and attention measurement
SMI
BMW
WakeUp
top related