Ein Neuronales Netz könnte lernen indem es …

Neuronale Netze

… neue Verbindungen entwickelt

… vorhandene Verbindungen löscht

… Verbindungsgewichte verändert

… Schwellenwerte von Neuronen ändert

… eine oder mehrere der Neuronenfunktionen abwandelt

… neue Neuronen entwickelt

… vorhandene Neuronen löscht

Lernverfahren / LernregelnLernverfahren / Lernregeln

Neuronale Netze

Lernverfahren / LernregelnLernverfahren / Lernregeln

1. Trainingsphase: Lernen anhand des Lernmaterials

supervised learning: Optimierung der Gewichte anhand eines vorgegebenen Outputs

unsupervised learning: Gewichtsveränderung in Abhängigkeit der Ähnlichkeit der Gewichte mit den Inputreizen

2. Testphase: Präsentation von Reizen und Überprüfung des berechneten Outputs

Trainings- und Testphase

Lernregeln

Hebb-Regel

Delta-Regel

Backpropagation

Competetive Learning

Neuronale Netze

Hebb-Regel

Neuronale Netze

"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaft zur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert dies in Wachstumsprozessen oder metabolischen Veränderungen in einer oder in beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug auf die Erzeugung eines Aktionspotentials in B größer wird." (Hebb, 1949)

Das Gewicht zwischen zwei Einheiten wird dann verändert, wenn beide Units gleichzeitig aktiv sind.

Die Größe der Gewichtsveränderung bemisst sich aufgrund dreier Werte:

dem Aktivitätslevel (bzw. Output) der sendenden Unit aj

dem Aktivitätslevel (bzw. Output) der empfangenden Unit ai

einem vorher festgelegten, positiven Lernparameter ε

Formel: Δwij=ε·ai·aj

Neuronale Netze

LernregelnLernregeln

Delta-Regel

δ = ai(gewünscht) - ai(beobachtet)

Grundlage: Vergleich zwischen gewünschtem und dem tatsächlich beobachteten Output einer Output-Unit i

Als Formel:

Neuronale Netze

LernregelnLernregeln

Δwij = ε · δi · aj

Gewichtsver-änderung

zwischen den Einheiten i und j

Konstanter Term:

gibt die Stärke der Gewichts-veränderung pro Lerndurchgang an

δ = ai(gewünscht) - ai(beobachtet)

• Größe der Gewichtsveränderung

proportional zur Größe des Fehlers

• 3 Möglichkeiten:

• beobachtete Aktivität zu niedrig

• beobachtete Aktivität zu groß

• beobachtete und gewünschte

Aktivität gleich groß

diejenigen Gewichte zu den sendenden Units

werden stärker verändert, die einen größeren

Einfluss auf den Fehlerterm ausüben

Neuronale Netze

LernregelnLernregeln

Backpropagation

supervised learning

Hidden-Units

Training durchläuft alternierend 3 Phasen:

1. Forward-Pass

2. Fehlerbestimmung

3. Backward-Pass

Neuronale Netze

LernregelnLernregeln

Backpropagation

Gewichtsanpassung:

Ziel: Anpassung der Gewichte im Backward-Pass, so dass der resultierende Gesamtfehler möglichst klein ausfällt

Gradientenabstiegsverfahren

Neuronale Netze

LernregelnLernregeln

i

i falls i=Output-Unitfalls i=Hidden-Unit= ),()(´ ,lil

LiAkt wnetzinputf

Δwij = ε · δi · aj

= Ableitung der Aktivitätsfunktion an der Stelle des Netzinputs der empfangenden Einheit iL = Nachfolgeschicht nach der empfangenden Schicht (i)l = Nachfolgende Einheit, die sich nach der empfangenden Einheit i befindet

)(´ iAkt netzinputf

,´ beobachtetagewünschtanetzinputf iiiAkt

Probleme des Gradientenabstiegsverfahrens:

Lokale Minima

Flache Plateaus

Oszillation (direkt oder indirekt)

Verlassen guter Minima

Neuronale Netze

Backpropagation

LernregelnLernregeln

Competitive Learning

1. Erregung

2. Wettbewerb

3. Adjustierung der Gewichte

Neuronale Netze

LernregelnLernregeln

unsupervised learning

3 Phasen:

)( ijjj

i wanetzinput

ijjij waw

Beurteilung der Regeln

Neuronale Netze

LernregelnLernregeln

Qualität

Komplexität

Verständlichkeit

Anwendbarkeit

Neuronale Netze

Netztypen

Pattern Associator

Rekurrente Netze

Kompetitive Netze

Kohonennetze

Pattern Associator

Eigenschaften:Eigenschaften:

Generalisierung

Toleranz gegenüber internen Schäden

Toleranz gegenüber externen Schäden

Output der zentralen Tendenz bzw. des

Prototypen der Kategorie

NetztypenNetztypen

Neuronale Netze

Rekurrente Netze

Unterteilung:Unterteilung:

Direkte Rückkopplungen

Indirekte Rückkopplungen

Seitliche Rückkopplungen

Vollständige Rückkopplungen

Neuronale Netze

NetztypenNetztypen

Rekurrente Netze

Simple

Recurrent

Networks

Simple

Recurrent

Networks

Kontext-Units

Hidden-Units

Neuronale Netze

NetztypenNetztypen

Rekurrente Netze

Anwendungen:Anwendungen:

Prognosen über die Zukunft treffen

Simulation von menschlichen Verhaltenssequenzen

Attraktornetze

Neuronale Netze

NetztypenNetztypen

Kompetitive Netze

Keine Hidden-Units

Trainingsphase in 3 Schritten

1. Erregung

2. Wettbewerb

3. Adjustierung der Gewichte

unsupervised Learning

Begrenzung der Gewichtssektoren

Neuronale Netze

NetztypenNetztypen

Kompetitive Netze

Anwendungen:Anwendungen:

Filtern von Redundanzen und Alternative zur Faktorenanalyse

vorgeschaltetes Netz für andere Netztypen

Musterklassifikation

Neuronale Netze

NetztypenNetztypen

Kohonennetze

Erweiterung Kompetitiver Netze

unsupervised Learning

Keine Hidden-Units

Häufig Output-Schicht 2-dimensional aufgebaut

Neuronale Netze

NetztypenNetztypen

Kohonennetze

Berechnung:Berechnung:

1. Startwerte festlegen

2. Auswahl eines Inputvektors

3. Aktivitätsberechnung und Auswahl

4. Gewichtsmodifikation

5. Abbruch

Neuronale Netze

NetztypenNetztypen

Kohonennetze

Anwendungen:Anwendungen:

Approximation von Funktionen

Inverse Kinematik

kürzesten Weg zwischen 2 Punkten finden

n-dimensionale Figuren transformieren

Problem des Handlungsreisenden

Spracherkennung, Unterschriftenerkennung, Gesichtererkennung

Neuronale Netze

NetztypenNetztypen

Literatur

Detlef Nauck, Frank Klawonn und Rudolf Kruse (1994), Neuronale Netze und Fuzzy-Systeme, F. Vieweg & Sohn Verlagsgesellschaft Braunschweig/Wiesbaden;

Klaus Mainzer (1997), Gehirn, Computer, Komplexität, Springer-Verlag Berlin/Heidelberg;

http://cs.uni-muenster.de/Professoren/Lippe/lehre/skripte/wwwnnscript/startseite.html;

http://filestorage.dkriesel.com/neuronalenetze-de-delta-dkrieselcom.pdf;

http://www.andreas-mielke.de/nn.html;

http://www.i4.psychologie.uni-wuerzburg.de/fileadmin/06020400/user_upload/Rey/3_Lernregeln.pdf;

http://www.neuronalesnetz.de;

Neuronale Netze

NetztypenNetztypen