1

INB

Prinzipien der Informationsverarbeitung im

visuellen Cortex

Erhardt Barth

Institut für Neuro- und Bioinformatik

Universität zu Lübeck

2

INB

Übersicht

• Einleitung

• Aus heutiger (und meiner) Sicht grundlegende Eigenschaften der visuellen Informationsverarbeitung

• Übersicht OC-relevante Projekte

• Bewußtsein als Kontrollinstanz des Gehirns (Anregung)

3

INB

Motivation

• Vom biologischen Sehen für das Rechnersehen lernen

• Technische Systeme an den Menschen anpassen

4

INB

Methoden der Hirnforschung• Neurophysiologie, bildgebende Verfahren

– Ganglienzellen der Netzhaut

– Orientierungs-selektive Neurone des primärenvisuellen Cortex

• Psychophysik– hier einige Anregungen zur Selbstbeobachtung

• Mathematische Modelle und Simulationen– Informationstheorie, Lineare Systemtheorie

– Beispiele nichtlinearer Ansätze (am Rande)

5

INB

Rahmen für interdisziplinäre Hirnforschung

• Bisher– Kybernetik

– Neuronale Netze

– Künstliche Intelligenz

– Computational Neuroscience

• Generelle Probleme– zu viel versprochen

– zu sehr „solution in search of a problem“

6

INB

Computational Neuroscience• Metaphors and the brain

• Hydraulic and mechanical metaphors (Hippocrates)

• Electronic and optical metaphors (telegraph brain)

• Computational metaphor (widespread today)

„Surprisingly, ..., there remains today no well established evidence of symbolic manipulation or formal logic rules at the neurobiological level in animal physiology. ...

We should remember that the enthusiastically embraced metaphors of each ‘new era’ can become, like their predecessors, as much the prisonhouse of thought as they at first appeared to represent its liberation.” (J. Daugman)

7

INB

Eigenschaften der visuellen Informationsverarbeitung

• Verhaltensrelevanz

• Anpassung an die Umwelt

• Modularität

• Lernen, Plastizität und Umorganisation

• Aktive, selektive Wahrnehmung

8

INB

9

Behavior of a frog• A frog hunts on land by vision.

• He escapes enemies mainly by seeing them.

• His eyes do not move (but to compensate body motion).

• He has a uniform retina and no fovea.

• His choice of food is determined only by size and movement - he will starve to death surrounded by food if it is not moving!

• His sex life is conducted by sound and touch.

• To escape enemies, he jumps to where it is darker.

10

INB

11

INB

The bug detector

Convexity detectors (type II ganglion cells in the frogs retina) respond best when a dark object enters the receptive field, stops and moves about intermittently thereafter. The response is not affected if the lightning changes or if the background is moving. ‘Could one better describe a system for detecting an accessible bug?’

12

INB

Interpretations

‘One could say that the right way to view the visual system was not as doing information processing but as producing behavior. Computers process information, but brains make animals do the right thing.’ (Anderson)

13

INB

Meeting Jerry Lettvin(is a great experience ....)

The bug detector is even more complex:

yes yesno less

14

INB

Topological features

CON-COFF representation (not further specified)

INPUT

1.00 -3.00 -1.00 0.00 1.00are the normalized integral values of CON-CON. When used to inhibit the CON-COFF representation, they produce the selectivity reported by Lettvin.

15

INB

Optischer Nerv

visueller Cortex

Auge

16

INB

Bemerkung

Bei Säugetieren, speziell den Primaten, sind die frühen Verarbeitungsstufen generischer und werden meistens im Sinne einer Repräsentation verstanden.

Was aber ist der Sinn von Repräsentationen?

17

INB

Eigenschaften der visuellen Informationsverarbeitung

• Verhaltensrelevanz

• Anpassung an die Umwelt

• Modularität

• Lernen, Plastizität und Umorganisation

• Aktive, selektive Wahrnehmung

18

INB

Anpassung an die Umwelt

• Inzwischen eine beliebte Sichtweise: die visuellen Mechanismen entstanden durch Anpassung an die Statistik der natürlichen Umgebung.• Welche Statistik?

• „Klumpenbildung“

• Welche Mechanismen? • laterale Hemmung, Orientierung, d.h. frühe M.

• Welches Kriterium? • minimale Entropie, „sparse coding“

19

INB

20

INB

Cornsweet illusion(Craik-O’Brien effect)

21

INB

Hubel & Wiesel, 1962

22

INB

Information und Entropie

• Information (I)Nachrichten fk (z.B Helligkeit im Bild)

mit Wahrscheinlichkeiten pk, k=1,…,N

Information: Ik = − log2 pk [bit]

H = − pk log2 pk [bits / Nachricht]k =1

N

∑

• Entropie (H)

(mittlere Information)

23

INB

•0

•0,2

•0,4

•0,6

•0,8

•1

•1 •2 •3 •4 •5

H gering H maximal

24

INB

Informationstheoretische Analyse

Input Netzhaut Cortex

25

INB

0.44 0.55 0.71−0.77 −0.16 0.610.44 −0.82 0.36

RGB principal components

R+G+B -R-G+B R-G+B

Optimal color coding

26

INB

R+G+B R-G+B R+G-B

achromatic channel red-green channel yellow-blue c.

The three channels carry different spatial frequencies

Visual color coding

27

INB

Eigenschaften der visuellen Informationsverarbeitung

• Verhaltensrelevanz

• Anpassung an die Umwelt

• Modularität

• Lernen, Plastizität und Umorganisation

• Aktive, selektive Wahrnehmung

28

INB

Cortikale Spezialisierung• Getrennte Verarbeitung von

– Form– Bewegung– Farbe

• V1: orientation• V2: orientation, end-stopping•.V3: orientation, motion, depth• V4: mainly color• MT: mainly motion

29

INB

Tanaka et al., 1991

IT cortex of wake monkeys

30

INB

Sparse coding• Im Gehirn geht es sehr ruhig zu. d.h. es

sind meistens nur sehr wenige Neurone aktiv.

• Desto besser es funktioniert, desto ruhiger.

• Neurone sind stark verbunden jedoch dienen die meisten Interaktionen eher dem „Niederbügeln“ der Aktivität, d.h. dem „sparse coding“.

31

INB

An intermediate conclusion

• “Efficient coding of information is a central problem of the sensory system. At progressively higher levels in the sensory pathway information about the physical stimulus is more abstract and is represented by progressively fewer active neurons. “ (J. Feldman)

32

INB

Cortical organization: specialized visual areas

Diagram of visual pathway and different visual areas (Van Essen et.al.).

Note the massive connections that are both feed-forward and feed-back (bottom-up and top-down pathways).

33

INB

Eigenschaften der visuellen Informationsverarbeitung

• Verhaltensrelevanz

• Anpassung an die Umwelt

• Modularität

• Lernen, Plastizität und Umorganisation

• Aktive, selektive Wahrnehmung

34

INB

Lernen, Plastizität und Umorganisation

• Einige nicht behandelte Themen– „Perceptual learning“

– Gedächtnis

– Zelluläre Mechanismen (LTP)

• Datengetriebene Umorganisation– Seeing in the sound zone

35

INB

Seeing in the sound zone

Experimente von M. Sur u.a. (MIT):

• Nerven aus der Netzhaut von V1 (visueller Cortex) nach A1 (auditorischerCortex) umgeleitet (bei jungen Frettchen)

• A1 zeigt danach Eigenschaften von V1

• Frettchen „sehen“ mit A1

(Lettvins „smellerfrog“)

36

INB

Seeing in the sound zone

Zitate dazu (Merzenich, Nature Vol 404, 2000)

... compelling evidence ... for the exquisite sensitivity of cortical development to external cues.

A1 territory is taken over by visual input.

... much of what typifies the functional organization of V1 can be generated within A1 by delivering retinal inputs to A1.

... the animals ‚see‘ with what was their auditory cortex.

37

INB

Umorganisation neuronaler Verbindungen beim Menschen

Ein Beispiel: Kinder mit nur einer Hirnhälfte verhalten sich später, bei entsprechendem Training, weitgehend normal.

Generelles Prinzip: vor und nach der Geburt bilden sich sehr viele neuronale Verbindungen, die dann im Laufe der Zeit stark und selektiv abgebaut werden.

Im Alter passiert (leider und glücklicherweise) davon nicht mehr viel.

38

INB

Eigenschaften der visuellen Informationsverarbeitung

• Verhaltensrelevanz

• Anpassung an die Umwelt

• Modularität

• Lernen, Plastizität und Umorganisation

• Aktive, selektive Wahrnehmung

39

INB

Aktive, selektive Wahrnehmung

• Aktiv im Sinne einer „top-down“ gesteuerten Sensorik– Hypothesen-getriebene Sensorik

(Animate vision, active vision)

• Aktiv im Sinne einer aktiven Hypothesenbildung– Wahrnehmen was erwartet wird

–Wie wird mit resultierenden Fehlern umgegangen?

40

INB

Seeing as an illusion:the door experiment

D. Simons, Harvard

Itap

41

INB

Basketball count

D. Simons, Harvard

42

INB

Seeing as an illusion:change blindness

43

INB

Seeing as an illusion:change blindness

Demo Kevin O´Regan, Paris.

Itap

44

INB

Kontextabhängige Wahrnehmung

Die Tischkanten sind gleich lang, oder?

45

Philosophie der Wahrnehmung

Erscheinung

Empfindung

Anschauung

Vorstellung

“stuff” (not “things”!)

physiology

active looking, scanpath

cognitive model

bottom-up

top-down

(I. Kant)

(Larry Stark)

46

INB

Bewußtsein als Kontrollinstanz

• Heute beliebt: Suche nach NCC (Crick & Koch)– (neural correlates of consciousness), aber: „There is

no single correlate of conscious vision“.

• Varieties of vision and blindness (P. Stoerig)– Verschiedene Funktionen des Sehens werden von

verschiedenen Modulen ausgeführt und diese funktionieren teilweise auch ohne das Ganze.

• Studien mit Patienten (G. Baumgartner)– Kein Ort im Gehirn, wo alles zusammenläuft!

47

INB

Kinds of blindness• Absolute blindness

• Legal blindness

• Cortical blindness (no conscious sensation)

• Hemianopia (cortical blindness in one half field)

• Blindsight (what we see when cortically blind)

• Apperceptive agnosia (see only color etc. no objects)

• Associative agnosia (see car but not know what it is for)

• Prosopagnosia (see face but not know who’s it is)

48

INB

Baumgartner Hypothesen1. Bewußtsein ist ein biologisches

Phänomen und muß daher evolutiveCharakteristika zeigen

2. Bewußtsein wird in der Großhirnrinde generiert

3. Bewußtsein ist keine Entität

4. Bewußtseinsinhalte sind prinzipiell neuronal korrelierbar

49

INB

Studien mit Patienten• „Visual defects after cortical lesions are

strangely different from analog defects after interruption of the afferent pathways. While a sudden loss of afferent functions is instantly realized, a cortical defect may appear as a peculiar perceptive change, which cannot be clearly described or may not be perceived at all and denied.“

• (G. Baumgartner, 1988)

50

INB

Studien mit Patienten

„We conclude ... that the neuronal activity in different visual areas is related to different visual percepts and that, after local destruction, the perception of the related submodalities disappears as if they never existed.“

(G. Baumgartner, 1988)

51

INB

OC-relevante Projekte

• LOCOMOTOR

• Modkog/Itap

• OoP

• WakeUp

52

INB

Nonlinear analysis of multidimensional signals:

LOcal adaptive estimation of COmplex MOTion and ORientation patterns

LOCOMOTOR

LOCOMOTOR

Frankfurt

Heidelberg

Lübeck

Im DFG Schwerpunkt 1114: “Mathematical methods for time series analysis and digital image processing”http://www.math.uni-bremen.de/zetem/DFG-Schwerpunkt/

Gefördert unter Ba-1176/7Cicero Mota

INB

53

INB

• i0D: constant in all directions:

• i1D: constant in 2 directions:

• i2D: constant in one direction:

• i3D: no constant direction:

Intrinsic dimension in 3D

f (x, y,t) = const.

f (x, y,t) = g(ξ)

f (x, y,t) = g(ξ,ζ )

f( x,y,t) = g(ξ,ζ,τ )

54

INB

Natural scenes show occlusions, noisy data, features at different scales, ...

55

INB

Generierung mehrerer Modelle->

Konfidenzmaße ->

Auswahl des Modells mit höchster Konfidenz

56

INB

Information technology for active perception: Itap

Institute for Neuro- and BioinformaticsUniversity of Lübeck, Germany

Partners:Allgemeine Psychologie, Giessen (Karl Gegenfurtner)Sensomotoric Instruments GmbH (SMI), Teltow/BerlinSIEMENS AG, München

Itap

Itap is part of ModKog, a project funded by

57

INB

Visual communication today: same image but different messages

Figure by M. Dorr, INB.

Itap

58

INB

Visual communication todayThe message that is conveyed by an

image depends very much on the scan-path,

i.e, the sequence of eye movements that are used to look at an image.

Visual communication systems, however, are based on only the classical image attributes luminance and color.

Itap

59

INB

Itap idea

The scan-path and the active component of vision should become part of visual communication systems.

Therefore the scan-path must be sensed, processed, and “displayed“.

Itap

60

INB

Major challenges

Remote, user-friendly eye tracking

Understanding of eye movements

Eye-movement guidance

Development of gaze-contingent interactive displays (GCIDs)

Itap

61

INB

Applications• Vision-based communication systems

– will be defined not only by brightness and color, but will be augmented with a recommendation of what to see, of how to view the images.

• Augmented-vision systems– Attention is directed towards objects or

features that have been detected by a computer-vision system.

Itap

62

INB

Automotive applicationsItap

63

INB

Applications (continued)

• Training systems– Novices can learn to see with the eyes of experts, e.g.

in radiology or in flight simulators.

• Optimal scan path– The scan path of an observer can be optimized by a

computer program according to some objective criteria.

• Reading systems– Itap technology will be used to relax the unnatural scan-

path of reading and therefore has the potential of making GCIDs the reading system of the future.

64

INB

Summary on Itap

• Itap will improve visual communication by helping people see what they are meant to see.

• Itap aims at technology that is active in the background and helps people communicate and interact with other people and with their environments.

Itap

65

INB

Car-passenger sensing

• Recognition of seat occupancy and head tracking for airbag control

OoP system

• Fatigue measurement

– WakeUp system

SMI

66

INB

Intelligent airbagsProblems:• Deployment with kids and OoP (harm)• Useless deployment (cost)

Solution: video-based control

OoP: Out of Position

SMI

67

INB

Intelligent airbags: OoP system

SMI

68

INB

Fatigue and attention measurement

SMI

BMW

WakeUp