Kohonen-Feature-Map Selbstorganisierende Neuronale Netze NeuroLabMartin Reiche 20141 Achtung: Wir...

Kohonen-Feature-Map

Selbstorganisierende Neuronale Netze

NeuroLab Martin Reiche 2014 1

Achtung: Wir machen viele Vereinfachungen!

Leistung des Nervensystems

• Das menschliche Gehirn empfängt Nervenimpulse. (mit 100 MB/s)

• Aus den eingehenden Impulsen erzeugt unser Gehirn die gesamte Wahrnehmung der Welt. (mit Hilfe des Gedächtnisses) UND

• Das Gehirn sendet Nervenimpulse.(mit 50 MB/sec)

• Die ausgehenden Impulse steuern unseren Körper inklusive der Sprache.


Wirkungskreislauf bei der Verhaltenssteuerung


Welt

Auge

Gehirn

Beine

Neuro

ne

n

Wichtige Leistung des Gehirns


• Das Gehirn kann wiedererkennen d.h. einen Sinneseindruck einem Gedächtnisinhalt zuordnen.

• Dazu ist es bei Geburt natürlich nicht in der Lage. (Simpler Grund: Die Beschaffenheit der Umwelt ist vor der Geburt ja nicht bekannt.)

• Also muss das Gehirn diese Fähigkeit erwerben.

Konsequenz

Wiedererkennen setzt Lernen voraus. Das wirft zwei Fragen auf:


• Wie wird Gelerntes im Gehirn gespeichert?

• Wie vollzieht sich der Lernvorgang?

Diese Fragen wollen wir an einem Modell untersuchen.

Natürliches Neuron (schematisch)


Vom Aktionspotenzial zur Erregung


Impulsfrequenz

Erregung

0

0,5

1

t

t

t

Modell eines Neurons


Input von anderen Neuronen

Output an andere Neuronen

ΣW2

W1

W3

Synapsengewichte

Summation

Schwellwertfunktion

Beispiel: Auge mit 3 Sehzellen


Netzwerk zur Erkennung


„Netzhaut“

Output-Neurone

Schwellwert-funktion

?

??

?

?

?

?

?

?

0,8

0,8

0,8

Input-Neurone

„Gehirn“

Bedeutsame Bilder A, B, C


Wie müssen die Synapsengewichte gewählt werden, damit das Netzwerk die gewünschte Reaktion zeigt?

(Bei allen anderen Mustern soll kein Output erfolgen)

Lösung


„Netzhaut“

Output-Neurone

Schwellen-funktion

0,5-0,5

0,5

0,3

-0,3

0,3

1

0,3

-0,3

0,8

0,8

0,8

Input-Neurone

„Gehirn“

Modell des Gedächtnisses

Die Frage:Wie wird Gelerntes im Gehirn gespeichert?

Beantworten wir:Das Gelernte steckt in den Synapsengewichten!

Nächste Frage: Wie kommt es dahin?


Lernregel nach Hebb (1949)


„Sind zwei miteinander verbundene Neuronen gleichzeitig aktiv,so verstärkt sich die synaptische Verbindung zwischen ihnen.“ Diese Regel konnte an natürlichen Neuronen experimentell nachgewiesen werden!

Kohonen-Netzwerk


Kohonen-Netzwerk


K o h o n e n s c h i c h t

E i n g a n g s s c h i c h t

Kohonen-Schicht (rot)

Eingangsschicht (blau)

Lernen im Kohonen-Netzwerk

• Man definiert Trainingsmuster, die wiedererkannt werden sollen.

• Diese Muster werden wiederholt auf die Eingangsschicht gelegt.

• Nach jedem Schritt wird die Hebb‘sche Lernregel angewendet.


Lernen in NeuroLab


Synapsengewichte auf Zufallswerte setzen

Ein Trainingsmuster zufällig wählen

Neuron mit maximaler Erregung = gewinnendes Neuron (GN) finden

Synapsengewichte des GN sowie seiner Nachbarn gemäß der Hebb‘schen Regel etwas an das

Trainingsmuster anpassen

Lernrate und Kopplungsradius verringern

Start

Kohonen-Netzwerk

• Die Eingangsneuronen stehen in keinem Nachbarschaftsverhältnis zueinander. Ihre Anordnung ist bedeutungslos.

• Benachbarte Neuronen der Kohonen-Schicht dagegen erregen sich gegenseitig.

• Diese Erregung nimmt mit der Entfernung ab. („Mexican Hat“)

• Modellvereinfachung: Letztere 2 Punkte treffen nur für den Lernvorgang zu. (Der erste Punkt gilt immer)


Lernen in NeuroLab C# Quellcode


Für alle Neuronen der Kohonenschicht und alle Eingabeneuronen i,j:

w[i,j] += hat * eps * (iL.eNorm[i,j] - w[i,j]);

Wirkung: Die Synapsengewichte w des Neurons werden ein Stück in Richtung des Eingabemusters iL.eNorm verschoben.

Lernen in NeuroNet

Die Neuronen der Kohonenschicht organisieren sich:


• Einzelne Neuronen werden durch bestimmte Eingangsmuster erregt, sie repräsentieren diese.

• Ähnliche Eingangsmuster erregen benachbarte Bereiche.

• Es entstehen Karten.

Lernen in NeuroNet: somatotopische Karte (1)


Eingangsversuch:

Beschreibe den Handteller deines Nachbarn - der die Augen geschlossen hält - mit den Buchstaben eines Wortes. Er wird dir das Wort sagen können. Was muss da funktioniert haben?

Im Kopf muss eine Abbildung des Handtellers existieren, von der das Gehirn die Buchstaben ablesen kann.

Diese Abbildung kann aber von Geburt an nicht existieren, denn dazu müsste eine exakte „Verdrahtung“ der afferenten Neurone erfolgen. Die gibt es nicht.



Aber was man nicht kann, kann man ja lernen!

Das Gehirn macht sich die Tatsachen zunutze, dass typischerweise immer mehrere Sensoren zeitgleich aktiviert werden. Das dient dem Gehirn als Hinweis auf Nachbarschaft. So puzzelt sich das Gehirn im Laufe tausender Berührungen an der Körper-oberfläche eine Karte zusammen, die sogenannte somatotopische Karte.

Ähnliches geschieht auch beim Sehen und Hören (retinotopische und tonotopische Karten)



Eine 5x5 Eingangsschicht wird mit einer 10x10 Kohonenschicht verbunden.

Die Neuronen der Eingangsschicht sollen den Tastsinn von 5x5 benachbarten Hautbereichen, z.B. des Handtellers darstellen.

Nun „berühren“ wir den „Handteller“ mit bestimmten Mustern und erwarten, dass sich in der Kohonenschicht eine somatotopische Karte einstellt.



Der Eingangsschicht werden tausende Male folgendeMuster präsentiert:



Nach der Lernphase werden die Eingangsneuronen wie folgt abgebildet:

a e

u y

a

ey

u

Kohonen-Feature-Map Selbstorganisierende Neuronale Netze NeuroLabMartin Reiche 20141 Achtung: Wir...

Documents

Transcript of Kohonen-Feature-Map Selbstorganisierende Neuronale Netze NeuroLabMartin Reiche 20141 Achtung: Wir...