SS 2006 2 41 1 4. Konzepte des Konnektionismus (KNN) R4 4. Konzepte des Konnektionismus – Theorie...

1SS 2006 4. Konzepte des Konnektionismus (KNN) R4

2

41

4. Konzepte des Konnektionismus – Theorie Künstlich Neuronaler Netze

Jörg Krone, Ulrich Lehmann, Hans Brenig, Oliver Drölle, Michael Schneider

SS 2006

2

41

24. Konzepte des Konnektionismus (KNN) R4

Inhalt

a. Zellen des KNN als stark idealisierte Neuronen

b. Komponenten eines KNN

c. Zelltypen nach Position im Neuronalen Netz

d. Beispiel: NN für XOR-Netzwerk mit zwei Eingängen

e. Ausgabe- und Aktivierungsfunktionen

f. Topologie Künstlich Neuronaler Netze

g. Bedeutung des Schwellwertes

h. Lernregel


2

41

Zellen des KNN als stark idealisierte Neuronen (Text)

• Begriffe und Definitionen:

– Konnektionismus:Konnektionismus: Synonym für das Wissensgebiet der künstlich neuronalen Netze = neuronale Modelle

– Def. Konnektionismus:Konnektionismus: Informationsverarbeitung als Interaktion einer großen Zahl einfacher Einheiten (Zellen, Neuronen), die anregende (positive Gewichte) oder hemmende (negative Gewichte) Signale an andere Zellen senden.

– neuronale Zelle = Neuron (Element, Unit)


2

41

Zellen als stark idealisierte Neuronen

Informationsverarbeitung als Interaktion einer großen Zahl einfacher Einheiten (Zellen, Neuronen), die

– anregende (positive Gewichte) Signale oder

– hemmende (negative Gewichte) Signale an andere Zellen senden.


2

41

Komponenten eines Künstlich Neuronalen Netzes (Neuron, Aktivierung, Schwellwert)

• Neuron: Aktivierungszustand (activation) a j(t) gibt den Grad der

Aktivierung einer Zelle an.

• AktivierungsfunktionAktivierungsfunktion f f actact:: Sie gibt an, wie sich ein neuer

Aktivierungszustand a j(t + 1) des Neurons j aus der alten

Aktivierung a j(t) und der Netzeingabe (net input) net j(t) berechnet:

a j(t + 1) = f f act act (a j(t), net j(t), j)

• wobei j der Schwellwert des Neurons j ist.

j


2

41

Komponenten eines Künstlich Neuronalen Netzes (Ausgabe, Gewichte)

• Ausgabefunktion fout: Die Ausgabe der Zelle j wird durch eine sogenannte Ausgabefunktion aus der Aktivierung der Zelle berechnet:

o j = f out (a j) meistens f out = Identität

• Verbindungsnetzwerk der Zellen: Ein neuronales Netz kann als gerichteter, gewichteter Graph angesehen werden, wobei die Kanten die gewichteten Verbindungen zwischen den Neuronen darstellen.

• Das Gewicht (weight) der Verbindung von Zelle i nach j wird hier durch wij bezeichnet!


2

41

Komponenten eines Künstlich Neuronalen Netzes (Propagierung)

• Propagierungsfunktion: gibt an, wie sich die Netzeingabe eines Neurons

aus den Ausgaben der anderen Neuronen und den Verbindungsgewichten

berechnet. Die Netzeingabe von Zelle j berechnet sich:

net j(t) = i oi (t) wij

• aus der Summe der Ausgaben oi (t) der Vorgängerzellen multipliziert mit

dem jeweiligen Gewicht wij der Verbindungen von Zelle i nach Zelle j. Die

Gewichte wij können positiv (anregend) und negativ (hemmend) sein.

SS 2006

2

41

84. Konzepte des Konnektionismus (KNN) R4

Komponenten eines Künstlich Neuronalen Netzes (Lernregel)

• Lernregel: Die Lernregel ist ein Algorithmus, gemäß dem das KNN lernt, für eine vorgegebene Eingabe eine gewünschte Ausgabe oj zu produzieren.

• Lernen erfolgt meist durch Modifikation der Gewicht wij der Verbindungen als Ergebnis der wiederholten Präsentation von p Trainingsmusternp Trainingsmustern (Trainingsdaten). Es werden dazu Inputdaten inp und dazugehörige Targets (Outputdaten) tp angelegt.

• dabei wird versucht, den Fehler EpEp = ½ j (tptpjj – oj)2 zwischen erwarteter Ausgabe und tatsächlicher Ausgabe für alle TrainingsmusterTrainingsmuster zu minimieren.

in1in1 t1t1in2in2 t2t2in3in3 t3t3

inpinp tptpwij EpEp = ½ j (tptpjj – oj)2


2

41

Zelltypen an verschiedenen Positionen im Neuronalen Netz

• Viele Netze in der Praxis haben Verbindungen nur in eine Richtung (die Abb. zeigt einen häufig verwendeteten Spezialfall: Feedforward-Netzwerk mit 3 Verbindungsschichten)

• Signale fließen in Pfeilrichtung von den Eingabeneuronen (input units) in Richtung der Ausgabeneuronen

• die Zellen werden nach ihrer Position im Netz, ihrem Layer (Ausgangsneuron, ...) benannt

• es handelt sich um ein dreistufiges Netz mit 4 Zellschichten, 3 Verbindungsschichten sind trainierbar (in der Regel die Eingabeschicht nicht)

• die Eingabeneuronen haben meistens die Identität als Aktivierungs- und Ausgangsfunktion. Sie leiten die Eingabesignale einfach nur an die Neuronen im Hidden Layer weiter.


2

41

Beispiel: NN in Produktionsphase für XOR-Netzwerk mit zwei Eingängen,

Aufbau

• Gewichte: w13 = 1, w14 = 1, w23 = 1, w24 = 1, w34 = -2

• 3 Layer: Input layer [1,2], Hidden layer [3], Output layer [4]

• Aktivierungsfunktion: binäre Schwellenwertfunktion


2

41

Beispiel: NN für XOR-Netzwerk mit zwei Eingängen, Netzeingaben


2

41

Ausgabe- und Aktivierungsfunktionen a


2

41

Ausgabe- und Aktivierungsfunktionen a,b


2

41

Ausgabe- und Aktivierungsfunktionen a-c


2

41

Ausgabe- und Aktivierungsfunktionen a-d


2

41

Ausgabe- und Aktivierungsfunktionen alle


2

41

Beispiel Demo MATLAB 7.1Toolboxes/Neurons/…

Simple neuron and transfer functions exe, select F:, move w


2

41

Topologie Künstlich Neuronaler Netze a

13

2

1 2

3 4

4

w23w13

Verbindungsmatrix

nach Neuron

von

Neu

ron


2

41

Topologie Künstlich Neuronaler Netze a, b


2

41

Topologie Künstlich Neuronaler Netze a-d


2

41

Topologie Künstlich Neuronaler Netze a-f


2

41

Schwellwert entspricht einem „on“-Neuron


2

41

Schwellwert bewirkt eine Linearverschiebung der Aktivierungsfunktion

net j(t) = (i o i (t) wij) - j

a j(t) = f act (net j(t))

j1j2


2

41


Simple neuron and transfer functions exe, change b for different F:


2

41


• Neuron with vector input exe


2

41

Lernstrategie in NN

1. Überwachtes Lernen (supervised learning)

2. Bestärkendes Lernen (reinforcement learning)

3. Unüberwachtes Lernen (unsupervised learning)


2

41

Lernstrategien für unterschiedliche Netze


2

41

Lernregel für KNN

Theoretisch mögliche Arten des Lernens

1. Entwicklung neuer Verbindungen

2. Löschen existierender Verbindungen

3. Modifikation der Gewichte wij von Verbindungen

4. Modifikation des Schwellwertes von Neuronen

5. Modifikation der Aktivierungs-, Propagierungs- oder Ausgabefunktion

6. Entwicklung neuer Zellen

7. Löschen von Zellen


2

41


• Einfluss auf die Übertragungsfunktion durch die Veränderung der Gewichte und Bias exe Contens Kapitel 11 Network Function


2

41

Hebbsche Lernregel

1949 von Donald O. Hebb formuliert:

• Wenn eine Zelle j eine Eingabe von einer Zelle i erhält und beide gleichzeitig stark aktiviert sind, dann erhöhe das Gewicht wij (die Stärke der Verbindung von i nach j)

• mathematisch: wij = oi aj

– mit wij als Änderung des Gewichtes wij

– eine Konstante, auch Lernrate genannt

– oi die Ausgabe der Vorgängerzelle i

– aj die Aktivierung der nachfolgenden Zelle j


2

41

Delta-Lernregel

Bei der Delta-Regel, auch Widrow-Hoff-Regel gennant:

• ist die Gewichtsänderung wij proportional zur Differenz j der aktuellen Aktivierung aj und der erwarteten Aktivierung tj (teaching input)

• mathematisch: wij = oi (tj – aj) = oi j

• häufig auch: wij = oi (tj – oj) = oi j

wobei jetzt als teaching input tj die erwartete Ausgabe statt der erwarteten Aktivierung angelegt wird

– mit wij als Änderung des Gewichtes wij

– eine Konstante, auch Lernrate genannt

– oi die Ausgabe der Vorgängerzelle i

– aj die Aktivierung der nachfolgenden Zelle j


2

41

Beispiel: Überwachtes Lernen1. Präsentation des Eingabemusters


2

41

Beispiel: Überwachtes Lernen2. Vorwärtspropagierung der angelegten

Eingabe


2

41

Beispiel: Überwachtes Lernen3. Vergleich der berechneten Ausgabe mit

der erwünschten


2

41

Beispiel: Überwachtes Lernen4. Rückwärtspropagierung der Fehler von der Ausgabeschicht zur Eingabeschicht


2

41

Beispiel: Überwachtes Lernen5. Änderung der Gewichte aller Neuronen des Netzes

um die vorher berechnenten Werte


2

41


Überwachtes Lernen nach Hebb‘scher Regel exe Contens Kapitel 7 Supervised Hebb


2

41

Überwachung der Lernkurve

1. Abbruch, wenn der Fehler E eine vorgegebene Grenze unterschreitet

2. Für gute Generalisierungsleistung des KNN sollte ein Abbruch erfolgen, bevor der Validierungsfehler (rot) wieder ansteigt

E = f (Epochen) für 225 Epochen

E

Epochen


2

41

Zusammenfassung:Überwachtes Lernen

Ein typisches überwachtes Lernverfahren, wie Backpropagation, führt für alle Paare von Eingabemustern und erwünschter Ausgabe (Trainingsdaten) folgende Schritte durch:

• Präsentation des Eingabemusters an den Eingabeneuronen

• Vorwärtspropagierung der angelegten Eingabe durch das Netz bis Ausgabe

• Vergleich der Ausgabe mit der erwünschten Ausgabe (teaching input) -> Differenzvektor

• Rückwärtspropagierung der Fehler von der Ausgabeschicht zur Eingabe berechnet Änderungen der Gewichte zur Verringerung des Differenzvektors

• Änderung der GewichteÄnderung der Gewichte aller Neuronen des Netzes mit den berechneten Änderungen


2

41

Fragen

Fragen Sie bitte!


2

41

Danke

C om putationa l In te lligence and C ontro l Laboratory

CIC Lab

Vielen Dank für Ihr Interesse!

SS 2006 2 41 1 4. Konzepte des Konnektionismus (KNN) R4 4. Konzepte des Konnektionismus – Theorie...

Documents

Transcript of SS 2006 2 41 1 4. Konzepte des Konnektionismus (KNN) R4 4. Konzepte des Konnektionismus – Theorie...