Neuronale Netze

Teil II

Neuronale Netze (Wiederholung)

Modell zur Berechenbarkeit

-> Mathematische Modell

-> Turing

-> Commputer

-> Zellularautomaten

-> Neuronale Netze

Mc Culloch/ Pitts Neuron

-> Keine Gewichte

-> Absolute Hemmung

-> keine Lernregel (Gewichte müssen von Hand angepasst werden)

-> Treppenfunktion als Ausgabe

-> realisierbar zB. And und Or

Perzeptron

-> Gewichte

-> Trennt Eingaberaum in zwei Regionen (als geometrische Veranschaulichung)

->Erweiterter Eingabevektor

-> Relative Hemmung

-> Aus Mc Culloch/ Pitts Neuronen und Perceptronen lassen sich äquivalente Netze konstruieren.

Lernen

Überwachtes Lernen Unüberwachtes Lernen

Korrigierendes Lernen

Verstärkungs Lernen

Konkurrenz

Verstärkung

-> Perzeptron lernen -> Cluster Zuordnung, als Verallgemeinerung des Perzeptrons

Cluster Zuordnung als Beispiel für unüberwachtes Lernen durch Konkurrenz

Aufbau, siehe Tafel

Lernalgorithmus:

Start: Belegung der Gewichte mit zufälligen Werten.

Testen: Ein Eingabevektor wird zufällig ausgewählt, das Neuron das auf diesen mit der Stärksten Erregung antwortet wird korrigiert.

Korrigieren: Gewichtsvektor des stärksten Neuronen wird ersetzt durch Gewichtsvektor plus Eingabevektor, danach Normierung.

Backpropagation

m

iii ytE

1

2

2

1

-> Erfunden in den 70‘ern, richtig bekannt ab 1985 durch Rumelhart et. Al

-> am weitesten verbreitete Lernmethode

-> Sucht Minimum durch Abstieg in Gradientenrichtung der Fehlerfunktion. Dieses Minimum ist dann Lösung.

-> Aktivierungsfunktion ist jetzt Sigmode.

Fehlerfunktion: Sigmode:

cxc exs

1

1)(

Verlauf der Sigmode für verschiedene c.

Gelb: c = 1

Blau: c = 4

Rot: c = 100

Für große c nähert sich die Sigmode immer mehr der Stufenfunktion an.C wird auch Temperatur genannt.

Ableitung der Sigmode ist (bei c = 1):

)(1)(()1(

)(2

xsxse

e

dx

xdsx

x

Da Überall Diffbar., ist auch die Fehlerfunktion überall Diffbar., und fast nirgendwo völlig flach.

Schritte des Lernalgorithmus

Feedforward Berechnung

Backpropagation bis zur Ausgabeschicht

Backpropagation bis zur verborgenen Schicht

Korrektur der Gewichte

1.) Feedforward Berechnung

Eingabevektor o an den Eingabestellen einlegen.

Am Ende wird der Fehler E ausgegeben.

An allen Neuronen wird die Ableitung der Sigmode gespeichert.

2.) Backpropagation bis zur Ausgabeschicht

Finden von der partiellen Ableitung von E nach w2 durch:

1212222

)))(1(( ijijjjjij

ootooow

E

3.) Backpropagation bis zur verborgenen Schicht.

Finden der Ableitung von E nach w1 durch:

ij

k

qqjqjj

ij

owoow

E 1

1

22111

)1(

4.) Korrektur der Gewichte

Jetzt da die partiellen Ableitungen der Fehlerfunktion bekannt sind und damit auch der Gradient, müssen nur noch die Gewichte angepasst werden.

212jiij ow 11

jiij ow

Das ganze in Matrixform:

(an der Tafel)

Variationen des Backpropagation-Verfahrens

Backpropagation mit variabler Schrittlänge

Ändern der Konvergenzgeschwindigkeit durch Variation der Lernkonstante

Backpropagation mit Impuls

1 tt wEw

Wobei alpha empirisch festgelegt wird (Rumelhart, Hinton, Williams: alpha ca. 0,9).

Anwendungen der Backpropagation Netze

Datenkompression, Mustererkennung, Robotik, Spracherkennung, Sprachausgabe, Erkennung von Zeitreihen (Börse)

3 Klassen von Assoziativ Speichern

-> Heteroassoziative S. :

-> Autoassoziative S. :

-> Mustererkennung:

Assoziative Speicher

yx

xx

Rekursive Netze

Skalarix ,

Struktur:

XW=Y , alles Vektoren

Bipolare Vektoren:

-> leichtere Mathematische Ausdrücke

-> einfachere Speicherung orthogonaler Vektoren

->Signum Funktion als Aktivierungsfunktion

Self Organized MapsTeuvo Kohonen, Finne (1982,1984)

Topologieerhaltene Abbildungen

-> keine expliziete Ausgabe

-> keine Fehlerfunktion

-> Lernen während des Betriebes

(selbständige) Kartierung des Eingaberaums

Für Eingabe aus a1 feuert nur ein Neuron

Sensorische Karten im Gehirn

-> biologischer Hintergrund (Gehirn 2D <-> Augen 3D)

-> Topologieerhaltend Abgebildet (Benachtbarter Input -> Benachtbarte Region)(Auge,Tastsinn,Motorische Rinde)

-> benachtbarte Zellen beinflussen sich während der Lernphase

Nachbarschaftsfunktion phi(i,k)

Lernalgorithmus

Start: Zufällige Auswahl der Gewichte. Anfangswerte für Nachbarscahftsradius und Lernkonstante

Schritt 1: Zufällige Eingabe

Schritt 2: Neuron mit maximaler Erregung wird ermittelt. (minimaler Abstand zwischen Eingabe und Gewichten)

Schritt 3: Aktualisierung der Gewichte der Nachbarschaft des Neurons.

))(,(: iii wkiww

Schritt 4: Änderung der Lernkonstante und oder des Radius oder Abbruch

->Auch 2D Raster möglich.

->Projektion auf niedrigere Dimension durch Faltung

Anwendungen:

->Kartierung von Funktionen

(x,y,f(x,y))(adaptive Tabelle für Funktionswerte)

->Kartierung von Räumen (Robotersteuerung)

Quellen:

-> Theroie der neuronalen Netze (Rojas, Springer)

-> Theoretical Neuroscience (Peter Dayan and L.F. Abbott)

-> Diverse Seiten aus dem Internet (Wikipedia ,,,)