Patrick Drude High Level Cognition High Level Cognition 1. Einführung - Probleme mit neuronalen...

Patrick Drude High Level Cognition

High Level Cognition

1. Einführung - Probleme mit neuronalen Netzen

- Kombination von Informationen

- Zielgerichtetes Handeln - Context Awareness

2. Ein neuronales Modell zur Kombination von Informationen - prinzipielle Funktionsweise und Begründung des Modells

- Versuchsreihe mit Affen

- Bestandteile des Modells:

1) Feedforward bzw. Feedback Netz

- Verhalten der Feedforward / Feedback Netze

2) Local Microcircuits

- Verhalten der Microcircuits

- Binding problem


• Unmöglichkeit der Erweiterung

• Konstante (benötigte Lernzeit)/(Komplexität der Situation)

• Beides Widerspruch zur Natur

=> Wie speichern/verarbeiten Lebewesen Informationen ?

• Speicherkapazität des Gehirns < Gesamtheit visueller

Informationen

• Speicherung in Form von Modulen

• Nur die Kombinationen müssen erlernt werden

Probleme mit “herkömmlichen” neuronalen Netzen:


Situationsbedingtes Handeln

• wahrgenommene Kombination

• Berücksichtigung der Gesamtsituation } Konkrete Handlung

Präsentation eines neuronalen Netzes, das

• basierend auf Versuchsreihen mit Affen,

• die Identität eines Objekts erkennt,

• aus der Identität des Objekts auf seine Position und

andere Eigenschaften schliessen lässt,

• auf diese Weise zielgerichtetes Handeln ermöglicht.


Vorgehensweise:• Ausführung im Ventral Stream (VS) und im Dorsal

Stream (DS). Sind beide Bestandteil des visuellen Cortex.

• Identifizierung: object - based attention im anterior

inferotemporal cortex (AIT) des VS

• Positionsbestimmung: location - based attention bzw.

spatial attention in den niedrigeren Schichten des VS

• Übermittlung der Positionsinformation an den DS

• Weiterverarbeitung im lateral intraparietal cortex (LIP)


Modell des Ventral Stream und des Dorsal Stream

VS läuft von V1 bis AIT und verarbeitet eingehende Informationen in Feedfor-ward Manier. VS ist der “Was-Strom”.

DS läuft von V1 bis zum parietal cortex (PG), zu dem auch LIP gehört. DS verarbei-tet Positions-information, ist also der “Wo-Strom”.


• RF-Grösse der Neuronen wächst in jeder Schicht x(2 - 2.5)

• Retinotopische Speicherung der Informationen in V2 - PIT

• Positionsinformationen gehen in AIT verloren

• Werden wiedergewonnen durch Zusammenwirken zwischen

FeedForward (FF) und FeedBack (FB) Netzwerk

• Informationen über identifiziertes Objekt werden mit FB von

AIT in niedrigere Schichten des VS zurückgesandt

• Können hier aufgrund der retinotopischen Anordnung der

Neuronen einer bestimmten Position zugeordnet werden

• Kombinierte Informationen werden an DS weitergeleitet

Eigenschaften und Verhalten des Modells


Versuchsreihe mit Affen (1)

• Woher weiss man, daß VS und DS in beschriebener Weise

zusammenarbeiten ?

• Experimente geben hierauf Hinweise:

A

B



Experiment A:

• Beobachtung einzelner AIT-Zellen

• AIT-Zellen wurden so gewählt, daß sie auf ein Objekt

stark und auf die anderen Objekte kaum ansprachen

• Dieselben AIT-Zellen sprachen sowohl auf den Hinweis

als auch das Zielobjekt an, unabhängig von der Position

=> Identifizierung des Zielobjekts unter Verlust der

Positionsinformation



Experiment B:

• Beobachtung einzelner LIP-Zellen, die mind. eines der

Objekte (nicht aber den Hinweis!) in ihrem RF hatten

• Reaktion hing vom Ort des Zielobjekts ab

• Keine Reaktion, falls Hinweis mit keinem Objekt im

RF übereinstimmte

• Falls aber Zielobjekt im RF, dann Reaktion nach dem

Hinweis, aber vor der Augenbewegung

• Reaktion spiegelte also Augenbewegung wieder



Vermutung aus Experimenten A und B:

• Identität eines Objekts wird zunächst im VS festgestellt

• VS teilt dann dem DS mit, “wohin” er gehen soll

• VS markiert also ein Objekt, auf dem DS dann eine

Aktion ausführt

Markieren erfordert Zusammenwirken von FF und FB im VS. Im Folgenden soll gezeigt werden, wie

dieser Vorgang im Detail abläuft.


Bestandteile des Modells (1)

Feedforward und Feedback Netz:

• Zusammenhang in der Aktivierung der V2-PIT Neuronen

im FF bzw. FB Netz

• Wenn FF das Hinweisobjekt verarbeitet und

• FB im selben retinotopischen Bereich das Zielobjekt

verarbeitet,

• Diese grosse Übereinstimmung ist die Grundlage der

Positionsbestimmung

sollte dort grosse Übereinstimmung in den neuronalen Aktivitätsmustern auftreten=>


Implementierung des Modells (1)

V1: 24x24 Matrix = 576 Receptive Fields. Jedes RF besteht aus 4 Neuronen (| _ / \) = 2304 Neuronen (N).

V2 - AIT: Dargestellt mit Hilfe von RFs aus V1, ebenso die Übergänge zwischen V2 - AIT im FF bzw. FB Netzwerk.

V2: 529N mit RF = 2x2 (V1-RF) => 16 V1-N.

V4: 441N mit RF = 4x4 (V1-RF) => 9 V2-N.

PIT: 289N mit RF = 8x8 (V1-RF) => 25 V4-N.

AIT: 4N mit RF = 24x24 (V1-RF) => 289 PIT-N.

Aktivität der N in V2 - AIT =


N NN N

N NN NN NN N

N NN NN NN N

V1 RF, besteht aus 4 Neuronen

V2 Neuron verbunden mit 16

V1 Neuronen

576

529N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

N NN N

441

V4 Neuron verbunden mit 9

V2 Neuronen

Implementierung des Modells (2)


Eigenschaften des Feedforward Netzes

• Hohe Geschwindigkeit der Informationsverarbeitung

lässt auf FF Netz schliessen

• Hierarchische Abfole der einzelnen Schichten V1-PIT

• Neuronen in höheren Schichten repräsentieren

zunehmend komplexere Eigenschaften

• Das FF Netz wurde mit “back - propagation” trainiert,

jedes Objekt aus dem Array an jedem Ort zu erkennen

• Als Folge dieses Trainings entwickelte das Netz eine

verteilte Darstellung der Objekte


Eigenschaften des Feedback Netzes

• FB hat besteht aus denselben Schichten wie FF\{V1},

die Informationen werden aber top - down verarbeitet

• FB wurde mit der “Hebbian - learning rule” trainiert,

jedes Objekt an jedem Ort zu erkennen

• Grundlage hierfür bildeten die neuronalen Aktivitäts-

muster im FF Netz


Verhalten des Feedforward / Feedback Netzes (1)

A B C D



• A: Neuronale Aktivität, wenn das FF Netz das Quadrat

aus der Objektliste identifiziert

• B: Neuronale Aktivität, wenn das FF Netz alle Objekte

aus der Objektliste identifiziert

• C: Neuronale Aktivität im FB Netz, wenn ein identifizier-

tes Objekt (das Quadrat) zur Positionsbestimmung in die

niedrigeren Schichten “zurückgesendet” wird.

• D: Übereinstimmung (rot) bzw. Nichtübereinstimmung

(grün) einander entsprechender Neuronen in FF und FB



• Warum werden im FB Netz auf allen retinotopischen

Positionen Neuronen aktiviert?

Resultiert aus der Art des Trainings sowie Divergenz

der FB Aktivierung

• Warum gibt es eine partielle Übereinstimmung zwischen

FB Zielobjekt und FF Ablenkungsobjekten?

Ursache ist die verteilte Darstellung, die das FF Netz

entwickelt hat, also die Fähigkeit eines Neurons, auf

unterschiedliche Merkmale anzusprechen


Bestandteile des Modells (2)• Wie interagieren FF und FB miteinander?

Mit Hilfe eines Microcircuits (MC), der FF und

FB in allen retinotopischen Bereichen des VS verbindet


Verhalten des Microcircuit (1)

• Kreislauf besteht aus interagierenden Neuronen

• Neuronen in A und B sind anregend, in I hemmend

• Der Kreislauf von I nach I hemmt also die hemmende

Wirkung von I auf A und B (Disinhibition)

• A erhält FF Input und seine Neuronen werden

entsprechend aktiviert

• I erhält FB Input mit ensprechender neuron. Aktivierung

• Die Aktivität der Neuronen in A, die mit dem FB Input

NICHT übereinstimmen, wird unterdrückt (Inhibition)



• Die Aktivität der Neuronen in A, die mit dem FB Input

ÜBEREINSTIMMEN, wird verstärkt (Disinhibition)

• Dies wird bewirkt, indem die normalerweise hemmen-

den Neuronen in I nun ihrerseits unterdrückt werden

(Kreislauf von I nach I)

• Dies verstärkt die Aktivität in A aber nur dann, falls die

dortigen Neuronen zur selben Zeit FF Input erhalten

• Mit Disinhibition lässt sich also die Aktivierung von

“target cells” in A steuern



Aktivität von A, bei Wechsel von FB Übereinstimmung

(M) zu FB Nichtübereinstimmung (NM). A erhält dabei

die ganze Zeit denselben FF Input



• Starke Aktivität in A entspricht der Positionsselektion.

• Daraufhin wird B aktiviert, undzwar durch Kombination

von verstärkter Aktivität aus A und reduzierter Unter-

drückung aus I

• Prinzipiell liesse sich A auch durch direktes FB

ansprechen, also ohne den “Umweg” über den MC.

Was wäre das Ergebnis?



a) entspricht Disinhibition FB von A und anschließender

Aktivierung von B

b) entspricht Direkt FB von A, kaum Aktivierung von B

Ursache: Direkt FB verstärkt sowohl A als auch Unter-

drückung durch I: Beides hebt sich gegenseitig auf



In diesen beiden Fällen liegt KEIN FF Input bei A vor

c) Disinhibition FB; da in A aber kein Vergleichsinput

vorliegt, ergibt sich kaum Aktivität

d) Direkt FB führt zu gewisser Aktivierung von A auch

ohne FF, aber kaum Aktivierung von B



• Aktivität von B auf den einzelnen

Schichten des VS, jeweils vor bzw. nach

Anschalten des Zielobjekts (oben) bzw.

eines Ablenkungsobjekts (unten)

• Hohe Aktivität von B entspricht der also

Auswahl einer Position

• Aktivität von B kann im LIP des DS

“location - selective” Neurone aktivieren


Implementierung des Modells (3)ΤS (dIA/dt) = -IA + JA toA F(IA) - JI toA F(II) + Iff + Ibg

ΤS (dIB/dt) = -IB + JB toB F(IB) - JI toB F(II) + JA toB F(IA) + Ibg

ΤS (dII/dt) = -II + JI toI F(II) - JA toI F(IA) + (-m + nm)Ifb + Ibg

JA toA ; JA toB; JA toI = 1.0 ΤS = 5 msec JB toB = 0.3 Iff = 0.05JI toI = 0.1 Ibg = 0.025JI toA = 0.1 σ = 0.03JI toB = 1.1 Ifb = 0.025

F(I,σ) = 1 / [Tr + Tsp (I,σ)]


Binding Problem (1)

• Im bisherigen Modell wurden nur Form und Position

eines Objekts kombiniert. Es sollte aber möglich sein,

noch mehr Eigenschaften, wie z.B. Farbe oder Bewegung

zu kombinieren, denn diese Eigenschaften haben alle

eines gemeinsam: die Position

• Aus der Position sollten sich also weitere Eigenschaften

ableiten lassen

• Präsentation eines Modells, das aus der Position die

Farbe eines Objekts ermitteln kann


Binding Problem (2)

• Dieses Netzwerk kombiniert Farbe und Form in einer verteilten Darstellung

• Das V1 RF besteht nun aus den vier 2-D sowie drei Farbneuronen. Das Netzwerk wurde trainiert, auf dem AIT Level Form und Farbe zu erkennen


Binding Problem (3)

• Ortsbestimmung erfolgt auf bekannte Weise

• Ist die Position bekannt, kann die Information im dortigen

retinotopischen Berecich genutzt werden, um die Farb-

information wiederzugewinnen

• Problem mit dieser Architektur: Farbe und Form lassen

sich nicht separat trainieren. Trainiert man viele

Kombinationen von Form und Farbe an derselben Stelle,

verliert die FB Information ihre “Fähigkeit”, zu

unterscheiden


Zusammenfassung

• Modell stellt eine gute Antwort auf die vorgestellten

Testreihen dar

• Die Grundlage hierfür ist der Umstand, daß in den

niedrigen Schichten des VS alle Informationen

vorhanden sind

• Offene Fragen: Wie wird die Kombination mehrerer

Eigenschaften desselben Objekts letztlich realisiert?

• Die “Wahrheit” liegt irgendwo zwischen vollkommen

getrennter Verarbeitung und verteilter Darstellung

Patrick Drude High Level Cognition High Level Cognition 1. Einführung - Probleme mit neuronalen...

Documents

Transcript of Patrick Drude High Level Cognition High Level Cognition 1. Einführung - Probleme mit neuronalen...