Teil 1 Otto-von-Guericke-Universität Magdeburg Institut ...€¦ · Teil 1...

Lehrveranstaltung Künstliche neuronale Netze

Teil 1Teil 1

OttoOtto--vonvon--GuerickeGuericke--Universität Magdeburg Universität Magdeburg

Institut für Elektronik Signalverarbeitung und Institut für Elektronik Signalverarbeitung und Kommunikationstechnik Kommunikationstechnik -- IESKIESK

Dr.Dr.--Ing. Andreas HerzogIng. Andreas HerzogInstitut für Psychologie II Institut für Psychologie II

[email protected]@ovguovgu.de .de

Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog

KNN

2

Lehrveranstaltungen, KNN

• Neuronale Netze Teil 1 (Informationstechnik)Für ET, ITGrundlagen, Neuron, LernvorgängeNetztypen, AnwendungenFragen in Klausur Informationstechnik

• Praktikum InformationstechnikVersuch Künstliche Neuronale Netze

• Neuronale Netze Teil 2(Separate Veranstaltung, Dr. Seiffert)Für IT, ET(Lehrveranstaltung Generische Algorithmen)


KNN

3

Materialien

• Vorlesungsscript (pdf, nn2000):Version 2008 (aktuelle Version)

• Java-Appletszum Veranschaulichen dynamischer Vorgänge

• Literatur:A. Zell: Simulation neuronaler NetzeSimon Haykin: Neural Networks (2nd edition)Matlab KNN-Toolbox – HilfeWikipedia.de


KNN

4

Themen im Teil 1

1. Einführung - Künstliche Neuronale NetzeÜberblick - Anwendungen

Biologischer Hintergrund

2. Mehrschicht - Perzeptron

3. Selbstorganisierende Karten

4. Weitere Netztypen und Anwendungen

• Teil 2


KNN

5

1. Einführung

1.1 Überblick Künstliche Neuronale Netze

1.2 Biologische Grundlagen Künstlicher Neuronaler Netze


KNN

6

Begriff, Aufbau, Bezeichnung

• Künstliche Neuronale Netze sind informationsverarbeitende Systeme, die sich an der Funktionsweise biologischer Gehirnen orientieren.

• Sie bestehen aus einer Anzahl einfachen Einheiten (Zellen, Neuronen), die über gerichtete Verbindungen Informationen austauschen.

Gebräuchliche Abkürzungen:KNN – Künstliches Neuronales NetzANN – Artificial Neural Network

x1

x2y2

y1


KNN

7

Künstliche neuronale Netze

System zur Informationsverarbeitung• lernfähig: Funktion nicht explizit vorgeben, sondern nach Beispielen

lernen • fehlertolerant: Störungen werden unterdrückt• generalisierend: Ähnliche Beispiele werden erkannt

Lernverfahren

KNNEingänge Ausgänge

X Y

Beispiele


KNN

8

Anwendungsbeispiele

• KlassifikationMit/ohne ZielvorgabeZeichenerkennung, SortierungDatenkompressionClusteranalyse

• FunktionsapproximationKennlinienliniearisierung (Interpolation)FilterVorhersage, ExtrapolationDatenkompression


KNN

9

Zusammenfassung der Eigenschaften

• Lernfähigkeit- die Funktion nicht explizit vorgeben- aus Beispielen lernen,

• Approximationsfähigkeit und Fehlertoleranz,- unvollständige oder leicht abweichende Eingabemuster erkennen und richtig verarbeiten,

• Geschwindigkeit- parallele Verarbeitung der Daten (nur bei Spezialhardware oder Parallelrechner)


KNN

10

Realisierung

• Computersimulation (überwiegend)Matlab KNN – ToolboxSNNSJava-Applets Software Bibliotheken

• Spezielle Hardware (selten)Echtzeitanwendungen (Bildverarbeitung)Biologische Simulationenbei Restriktionen (Platz, Stromverbrauch, Datenmenge,...)


KNN

11

Aufbau

• Neuron (Recheneinheit)ein oder mehrere Eingängeein Ausgang

• VerbindungenGerichtet vom Ausgang eines Neurons zum Eingang eines Neurons (Rückkopplung möglich)

• Eingangs- und AusgangssignaleZahlenwerte (nicht dynamisch)Verschiedene Wertebereiche, Diskretisierung

• Eingangsdatenraum des NetzwerksDimension nach Anzahl der Eingänge

Eing

änge

Aus

gang

Lehrveranstaltung Künstliche neuronale Netze

1.2 Biologische Grundlagen künstlicher Neuronaler Netzwerke


KNN

13

Biologisches Neuron

Eingang

Ausgang

Axon

Soma

Mikroskopbild einer Nervenzelle

Dendriten

Synapsen

passive Weiterleitung

Kodierung

Impuls-weiterleitung

tImpulsfolge

tImpulsfolge


KNN

14

Vergleich

• Tabelle Computer – Gehirn

• Gehirnjede Nervenzelle ist mit etwa 10.000 anderen Nervenzellen verbunden (Verbindungen variabel)Lernfähig, flexibel Massiv parallel, Regel- und Lernvorgänge in jeder Verbindung100 Schritt Regel (Erkennen von Personen in 0.1 s)

Menschliches Gehirn Rechner Verarbeitungselemente ca. 10 Milliarden Neurone mehrere Millionen

Transistoren Art massiv parallel im allg. seriell Speicherung assoziativ adreßbezogen Schaltzeit eines Elements ca. 1 ms (1 kHz) ca. 1 µs (1 GHz)


KNN

15

Biologische Grundlagen

• Menschliches Gehirn ist derzeit das Informationssystem mit der

höchsten Komplexität und größten Leistungsfähigkeit

aller bekannten und vergleichbaren natürlichen und künstlichen Systeme.

• Denken und Intelligenzumfaßt eine Vielzahl sehr umfangreicher Operationen

• KNNMustererkennung, Klassifizierung, Approximation


KNN

16

Neuronaler Code

• Informationen im Neuronalen NetzwerkNicht an allen Stellen gleichSpikefrequenzAbstand der Spikes Gruppen von NeuronenSpikemuster


KNN

17

Zusammenspiel biologischer Neurone

Höhere FunktionenSynchronisieren, desynchronisieren Rhythmen spielen große RolleLit: Rhythms of the Brain (G. Buzsáki), 2006


KNN

18

Biologisch plausibles künstliches Neuron

Kabelgleichung

Impulserzeugung

( ) ( ) ( )( ) ( )txIrVtxVt

txVx

txVinjmrestm

mm

m ,,,,2

22 −−+

∂∂

=∂

∂ τλ

DendritenbaumAxonhügel

( ) ( ) ( )LmLKmKNamNaion EVGEVGEVGI −+−+−=

hmgG NaNa3= 4ngG KK =

( )( ) ( ) hmnppVpVdtdp

iiiii ,,;1 =−−= βα

Hodgkin-Huxley Gleichungen

Differentialgleichungen numerisch lösen


KNN

19

Weitere Mechanismen

• Plastizität des Gehirns (Lernen, Entwicklung)Stabilität vs. Plastizität Änderung von Synapsen (STP, STD, LTP, LTD, Scaling, STDP)Umbau der Architektur

• Modelle phänomenologische Modelle molekulare Mechanismen (Systembiologie)

pre post

Izhik

evic

h E

M (

2007)

Cer

ebC

ort

ex


KNN

20

Gehirn Simulieren?

• Kann man das gesamte Gehirn simulieren?Nicht alle Regelvorgänge sind bekannt und können erfaß werdenWas ist eigentlich nötig?Parametrisierung?Initialisierung?

auf absehbare Zeit nicht möglichAnsätze für einen kleines Hirngebiet,FACETS - Projekt


KNN

21

Modellierung

• Moderne Rechentechnik ermöglicht die Implementation einzelner, stark ein-geschränkter Teilsysteme

Verschiedene Ebenen (Molekular, Zellen, Zellgruppen,...) Simulation kognitiver Grundfunktionen

• Verwendung von Universalrechnern,Parallelrechnern,spezieller Hardware (Neurochips)


KNN

22

Warum?

Gesichtspunkte beim Arbeiten mit KNN:• Biologie:

Modell möglichst genau am VorbildVerständnis vergrößernRückschlüsse auf noch ungeklärte EigenschaftenAktiv eingreifen (Krankheiten mindern, heilen)

• Technik:Abstrakte Modelle (schnell rechnen) Nutzen der Vorteile zur Lösung technischer Problemstellungen (Lernen, Generalisieren)


KNN

23

Forschung in Magdeburg

• Neurowissenschaften ist SchwerpunktMehrere Sonderforschungsbereiche Bernsteingruppe CBBS

SFB 779: Einfluß von Dopamin auf das Lernen

• Institut für Neurobiologie (IfN)


KNN

24

Technische Netze

System zur Informationsverarbeitung• lernfähig: Funktion nicht explizit vorgeben, sondern nach Beispielen

lernen • fehlertolerant: Störungen werden unterdrückt• generalisierend: Ähnliche Beispiele werden erkannt

Künstliches Neuronales Netz (KNN)

Lernverfahren

KNNEingänge Ausgänge

X Y

Beispiele


KNN

25

Technische Netzwerke

• Breite AnwendungsgebieteMustererkennung,Signalverarbeitung,Regelungstechnik,Vorhersage,...

• Akzeptanz durch konkrete Realisierungentechnischer Art: z.B. Robotersteuerung,nichttechnischer Art: z.B. Vorhersage von Börsenkursen...


KNN

26

2. Mehrschicht-Perzeptron

2.1 Das Neuron als Grundbaustein


KNN

27

Biologisches Neuron

Eingang

Ausgang

Axon

Soma

Mikroskopbild einer Nervenzelle

Dendriten

Synapsen

passive Weiterleitung

Kodierung

Impuls-weiterleitung

tImpulsfolge

tImpulsfolge


KNN

28

Technisches Neuron

x1

xn

x3

x2 y

Eing

änge

Ausgang

n*

j jj 1

y x w=

= ∑( )*yfy =

Eingangsbereich• Zusammenfassung Eingänge

Aktivität

• Wichten der Eingänge

Kodierung des Ausgangs• Vereinfachung: keine Impulse • Umsetzung der Aktivität in einen

Ausgangswert

Transferfunktion(z.B. Schwellwertfunktion)Gewicht


KNN

29

Technisches Neuron

x1

xn

x3

x2

w1

w2

w3

wn

x0=1

w0(i)

y∑

TransferfunktionSummation

Eingänge Gewichte Bias (Offset)

Ausgang

Θ+= ∑=

n

jjjwxy

1

* ( )*yfy =Schwelle

00wx=Θ

∑=

=n

jjjwxy

0

*

Eingangsbereich: Ausgangsbereich:

Transferfunktion(z.B. Schwellwertfunktion)


KNN

30

Transferfunktionen(gebräuchliche Beispiele)

y*

ySigmoid

y*

yLinear

*yay ⋅=

*

11

yey

−+=

Schwelle

⎩⎨⎧

<−≥

=0101

*

*

ywennywenn

y

y*

y1

-1

y*

yHyperbolischer Tangens

11

2)tanh(

*2

*

−+

=

=

− yey

yy

-1

1

1(Logistische Funktion)


KNN

31

Technisches NeuronTraining

w1 Summation x1

xn

x3

x2w2

w3

wnw0

(i)

y∑

Transferfunktion

Eingänge

Ausgang

( )wx,,, sollwertyfwj =Δ

Lernverfahreny

Sollwert

• Sollwerte -> Lernbeispiele


KNN

32

Anwendungen eines Neuron

• Neuron als Klassifikator • Neuron zur Koordinatentransformation • Neuron als Filter


KNN

33

Klassifikation

• Klassifikation:Einteilung von Objekten anhand ihrer Eigenschaften in Objektklassen

• Eigenschaften des Objekts:Eingänge des Neuron

• Objektklassekodiert im Ausgangswert des Neurons

• Beispiel:Klassifizierung von Zahlen in positiv, negativ

10-53

3257

-8

x y 1-11111

-1

1 1 0= +

=

*

*

y x w w

y sig( y )

1

0

10

==

ww


KNN

34

Technisches NeuronAnwendung als Klassifikator

Beispiel: ein Neuron mit zwei Eingängen

x1

x2

w1

w2

x0=1 w0(i)

y∑

Eingänge

Ausgang

( )02211 wwxwxfy ++=

Umstellen nach x2 :2x

( ) 021

01122 ≠+−−= − wyfwwxwx

( )2

1

2

01

2

12 w

yfwwx

wwx

−

+−−=

1x

0* =y(Geradengleichung)

(Alternativ nach x1 umstellen )


KNN

35

Technisches NeuronAnwendung2

Neuronen mit mehr Eingängen

1x

( ) 0=yf

3x2x

Ebene (3D) oder Hyperebene

• Einzelneuron kann Eingangsdatenraum in zwei Teile teilen


KNN

36

Technisches NeuronAnwendung als Klassifikator

x1

x2y

Bias

x y

Bias

xy<0 y>0

2x

1x

0* =y

y<0y>0

x1

x2 y

Biasx3

1x

3x2x

0* =y0* =y

y<0

y>0

Eindimensional Zweidimensional Dreidimensional

PunktGerade Ebene

> 3D Hyperebene


KNN

37

Technisches NeuronBeispiel OR

Logische Verknüpfungen (OR)2x

2

01

2

12 w

wxwwx −−=

1xx1

x2yOR

x1 x2 y y*0 0 00 1 11 0 11 1 1

⎩⎨⎧

<≥

=0001

*

*

ywennywenn

y

1

1

= 1= 0

5.01

=−=

bm

y* = 0y* < 0

y* > 0

1,1

!0,01

21

212

1

2

1

==

>>−=−

=−

ww

wwww

mww

Berechnung der Gewichte

5.0

15.0

0

22

0

2

0

−=

==−

=−

w

www

bww

bmxx += 12

11

-0.5

x1 x2 y y*0 0 00 11 01 1

-0.50.5

0.51.5


KNN

38

Technisches NeuronBeispiel NOR

Logische Verknüpfungen (NOR)2x

2

01

2

12 w

wxwwx −−=

1xx1

x2y

NOR

x1 x2 y y*0 0 10 1 01 0 01 1 0

⎩⎨⎧

<≥

=0001

*

*

ywennywenn

y

1

1

= 1= 0

5.01

=−=

bm

y* = 0

y* < 0

y* > 0

1,1

!0,01

21

212

1

2

1

−=−=

<<−=−

=−

ww

wwww

mww


5.0

15.0

0

22

0

2

0

=

−==−

=−

w

www

bww

bmxx += 12

-1-1

0.5

x1 x2 y y*0 00 11 01 1

0.5-0.5

-0.5-1.5


KNN

39

Technisches NeuronBeispiel AND

Logische Verknüpfungen (AND)2x

2

01

2

12 w

wxwwx −−=

1xx1

x2y

AND

x1 x2 y y*0 0 00 1 01 0 01 1 1

⎩⎨⎧

<≥

=0001

*

*

ywennywenn

y

1

1

= 1= 0

5.11

=−=

bm

y* = 0y* < 0

y* > 0

1,1

!0,01

21

212

1

2

1

==

>>−=−

=−

ww

wwww

mww


5.1

15.1

0

22

0

2

0

−=

==−

=−

w

www

bww

bmxx += 12

11

-1.5

x1 x2 y y*0 0 00 11 01 1 1

-1.5-0.5

-0.50.5


KNN

40

Technisches NeuronBeispiel NAND

Logische Verknüpfungen (NAND)2x

2

01

2

12 w

wxwwx −−=

1xx1

x2y

AND

x1 x2 y y*0 0 10 1 11 0 11 1 0

⎩⎨⎧

<≥

=0001

*

*

ywennywenn

y

1

1

= 1= 0

5.11

=−=

bm

y* = 0

y* < 0y* > 0

1,1

!0,01

21

212

1

2

1

−=−=

<<−=−

=−

ww

wwww

mww


5.1

15.1

0

22

0

2

0

=

−==−

=−

w

www

bww

bmxx += 12

-1-1

1.5

x1 x2 y y*0 00 11 01 1

1.50.5

0.5-0.5


KNN

41

Technisches NeuronBeispiel XOR

Logische Verknüpfungen (XOR)2x

1x

x1 x2 y0 0 00 1 11 0 11 1 0

1

1

= 1= 0

Keine Trennung mit einer Gerade möglich !

x1 x2 y0 00 11 01 1

XOR - Problem


KNN

42

Technisches NeuronBeispiel

Lineare Separierbarkeit

2x

1x

1

1

= 1= 0

y* = 0

y* < 0

y* > 0

Berechnung der Gewichte aus der Geraden


KNN

43


• Neuron als Klassifikator

• Neuron zur Koordinatentransformation • Neuron als Filter


KNN

44

Koordinatentransformation

Drehung ins Koordinatensystem y*

2x

1x

1

1

α

*y

( ) ( )1 1 2 2

1 2

*

*

y w x w x

y cos x sin x

= +

= α + α

Neue Koordinate y*

( ) ( )1 2w cos , w sin= α = αGewichte

*y0

z.B. Klassifikation:Winkel so wählen, daß Trennung erreicht wird

Transformation 2D -> 1D

0*y =


KNN

45


Drehung ins Koordinatensystem (y1*, y2*)

2x

1x

1

1

α

1*y

( ) ( )1 11 1 2 1 2

1 1 2

*, ,

*

y w x w x

y cos x sin x

= +

= α + α

Neue Koordinaten

( ) ( )( ) ( )

11 2 1

1 2 2 2

, ,

, ,

w cos , w sin

w cos ß , w sin ß

= α = α

= =

Gewichte

0*y =

β

2*y

( ) ( )2 1 2 1 2 2 2

2 1 2

*, ,

*

y w x w x

y cos x sin x

= +

= β + β

11

22

*

*

xcos sinyxsin cosy

⎡ ⎤ α α ⎡ ⎤⎡ ⎤=⎢ ⎥ ⎢ ⎥⎢ ⎥− α α⎣ ⎦ ⎣ ⎦⎣ ⎦

Orthogonale Koordinaten:


KNN

46


Verschiebung

2x

1x

1

1

α

*y

( ) ( )1 2*y cos x sin x d= α + α −

Neue Koordinate y*

( ) ( )1 2

0

w cos , w sinw d

= α = α

= −

Gewichte

*yTransformation

0*y =

d

Bias0


KNN

47


Skalierung

( ) ( ){ }1 2*y s cos x sin x d= α + α −

Neue Koordinate y*

( ) ( )1 2

0

w s cos , w s sinw s d

= ⋅ α = ⋅ α

= − ⋅

Gewichte

*y

Ohne Skalierung

Skalierungsfaktor

0 1-1

*y

Mit Skalierung

0 1-1

Einfluß auf die Transferfunktion


KNN

48


• Neuron als Klassifikator • Neuron zur Koordinatentransformation

• Neuron als Filter


KNN

49

Neuron als Filter

Neuron: Produkt-Summe entspricht linearen FilterFIR-Filter:• ein Neuron pro Ausgang• Gewichte = Filterkoeffizienten• Berechung:

- Filterentwurf- Lernen nach Beispielen

Eingang

Ausgang iy

jw

ix i jx +

1

n

i i j i , jj

y x w+=

= ∑

Neuron i

Anwendung im Auge (Bildverarbeitung):• Kantenerkennung, • Richtung,• Hochpaß, Tiefpaß

• Bildkorrektur


KNN

50

Neuron als Filter

DatenstromFIR-Filter:Eingang

Ausgangjw

tx

1

n

t t j jj

y x w−=

= ∑NeurontΔ tΔ tΔ tΔ

• ein Neuron + Verzögerungen• Gewichte = Filterkoeffizienten• Berechung:

- Filterentwurf- Lernen nach Beispielen

Anwendung (Signalübertragung):• Hochpaß, Tiefpaß, Bandpaß

• Signalrekonstruktion• adaptives Filter


KNN

51

1. Kapitel(Zusammenfassung)

• Vorbild biologisches Neuron, aber stark vereinfacht• Technisches (formales) Neuron:

mehrere gewichtete EingängeSummation der gewichteten EingängeTransferfunktion (meist nichtlinear)

• Übertragungsfunktion kann durch Anpassung der Gewichte geändert werden

• Anwendung eines einzelnen Neuron:KlassifizierenKoordinatentransformationFilter


KNN

52

2.1 Kapitel(Zusammenfassung)

• KlassifizierenNeuron kann Eingangsdatenraum in zwei Teilräume trennen 1D - Punkt; 2D- Gerade; 3D - Ebene

• KoordinatentransformationNeuron kann neue Koordinaten definierenDrehung, Verschiebung, Streckung

• FilterNeuron realisiert lineares Filter


KNN

53

2. MLP

2.2Zusammenschalten der Neuronen

zu mehrschichtigen neuronalen Strukturen


KNN

54

Mehrschichtiges neuronales Netz

Abhängig von der Problemstellung:• Anzahl der Schichten• Anzahl der Neuronen pro Schicht

x1

x2

x3

Eingangsschicht Ausgangsschicht

Verdeckte Schicht(en)(Hidden-Layer)

y2

y1

y3

y4


KNN

55

Verbindungsmodelle

• Vollständige Verbindungen, stochastische Verbindungen

Feedforward, ebenenweise

x1

x2y2

y1

Feedforward mit Shortcut

x1

x2y2

y1

Mit Rückkopplung

x1

x2y2

y1

Laterale Verbindungen

x1

x2y2

y1


KNN

56

Feedforward MLP

x1

x2

x3

Eingangsschicht Ausgangsschicht

Verdeckte Schicht(en)(Hidden-Layer)

y2

y1

y3

y4 Datenfluss im MLP• Eingabeschicht als Zwischenspeicher• jedes Neuron erhält seine Eingangsdaten von allen Neuronen

der vorigen Schicht• Ausgangsschicht ist Netzausgang

• nur aktive Schichten zählen !

Feedforward Multi-Layer-Perceptron(vorwärtsgerichtetes mehrschichtiges Perzeptron)


KNN

57

Anwendungen Multi-Layer-Perceptron

• MLP als Klassifikator • MLP zur Koordinatentransformation

• MLP zur Approximation von Funktionsverläufen


KNN

58

Beispiel MLP 1

Schicht 1Trennung mit Hilfe von Geraden

Schicht 2Zusammenfassung der Ausgängez.B. mit UND-Verknüpfung:

2x

1x

1

1

= 1= 0

y1* > 0

y2* > 0

x1

x2

y1

y2

z

21 yyz ∧=

Zweischichtiges MLP


KNN

59

Beispiel MLP 2

Zweischichtiges Netzwerk- Separierung von konvexen Polygonen- Jeder Ausgang kann ein konvexes Polygon separieren- gemeinsame Nutzung der Hiddenneuronen für mehrere

Ausgänge möglich

Zweischichtiges MLP 2

x1

x2

y1

y2

y3

2x

1x

1

1

= 1= 0

y1* > 0

y2* > 0

z

y3* > 0


KNN

60

XOR

Mehrere Möglichkeiten:• Geraden 90 grad gedreht• andere Ausrichtung

2x

1x

1

1

= 1= 0

y1* > 0

y2* > 0

x1

x2

y1

y2

z

XOR mit drei Neuronen

w1 w2 w0

1 1 -0.511 1 -1.52

-1 -0.53 1

Neuron


KNN

61

XOR

= 1= 0

x1

x2

y1* > 0

2x

1x

1

1

y z

XOR mit zwei Neuronenw12

w11

w22

w21

w32

1. Berechnung von y:

21 xxy ∨=

2. Berechnung von z:( )1 2z x x y= ∨ ∧

2x

1x

y0011

1101

1110

0100

zyx2x1


KNN

62

Beispiel MLP 3

Dreischichtiges Netzwerk- Separierung auch von konkaven Polygonen und

mehreren Gebieten (beliebiger Form)- Ausreichend für alle gängigen Klassifikationsaufgaben- nur Spezialanwendungen benötigen mehr Schichten- u.U. Einsparung von Neuronen bei mehr Schichten

möglich

Dreischichtiges MLP2x

1x

x1

x2x3

y2

y1

y3

y4


KNN

63


• MLP als Klassifikator

• MLP zur Koordinatentransformation • MLP zur Approximation von Funktionsverläufen


KNN

64


x1

x2

y1

y2

w11w12

w10

w21

w22 w20

Zwischenabbildung nach einer Schicht

20222121*2

10212111*1

wwxwxy

wwxwxy

++=

++=

⎥⎦

⎤⎢⎣

⎡+⎥

⎦

⎤⎢⎣

⎡⎥⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡

20

10

2

1

2212

2111*2

*1

ww

xx

wwww

yy

Matrixschreibweise:

Gleichungen:

1011

2022

*

*

wxcos sinywxsin cosy

⎡ ⎤ α α ⎡ ⎤⎡ ⎤⎡ ⎤= +⎢ ⎥ ⎢ ⎥⎢ ⎥⎢ ⎥− α α⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎣ ⎦

Drehung und Verschiebung:

2x

1x

y2

y1

w10w20 α


KNN

65

Encoder - Decoder

Encoder

Eingang

Decoder

Ausgang

• Prinzip: Drehung in ein Koordinatensystem, in dem man ohne Informationsverlust Dimensionen weg lassen kann.

• redundante Informationen werden unterdrückt (Abhängig von Daten)• Dimensionsreduktion• Hauptachsentransformation• Rauschunterdrückung


KNN

66


• MLP als Klassifikator • MLP zur Koordinatentransformation

• MLP zur Approximation von Funktionsverläufen


KNN

67

MLP zur Approximation von Funktionsverläufen

• Prinzip:Funktion mit Transferfunktionen der Neuronen (Basisfunktionen) zusammensetzen

• Aufbau:2 Schichten

x1

y1

y2

y3

z

Zwischenschicht(nichtlineare TF)

Ausgang(lineare TF)


KNN

68


• Zwischenschichtjedes Neuron erzeugt eine angepaßte Basisfunktion (siehe Drehung)Gewichte: Richtung und Skalierung Bias: Verschiebung

• Ausgangsschicht: Basisfunktionen werden gewichtet zusammengefaßt

101* wxwy kk += *

11

yey

−+=

∑=

+=n

kkk wywz

1202


KNN

69


Beispiel:

(Bildschirmfoto Java Applet Funktion)


KNN

70


• Neuronale Netze sind aus einzelnen Neuronen aufgebaut

• Mehrere Neuronen sind in mehreren Schichten angeordnet

• Schichten bilden eine Hierarchie bezüglich des Datenflusses (Zwischenabbildung der Eingangsdaten)

• Neuronen einer Schicht erhalten (in der Regel) den selben Eingangsvektor


KNN

71


• Durch die Zusammenschaltung der Neuronen wird eine hohe Komplexität des Netzwerkes erreicht

• Durch unterschiedliche Anordnungen kann ein unterschiedliches Grundverhalten des Netzwerkes eingestellt werden

• Die genaue Anpassung des Grundverhaltens wird durch die Veränderung der Gewichte während des Lernens durchgeführt


KNN

72

2.3 Lernvorgänge

Lernvorgänge


KNN

73

Lernvorgang

Ziel:Netz lernt die gestellte Aufgabe weitestgehend selbstständig aus

Beispielen

KNNx1x2

xn

y1y2

ym

... ...

LernverfahrenBeispiele

Mögliche Änderungen (freie Parameter):

• Verbindungsstärke (Gewichte)• Hinzufügen oder Löschen von Verbindungen• Hinzufügen oder Löschen von Neuronen (auch ganze Schichten)• Modifikation des Neuronenmodells


KNN

74

Unterscheidung der Lernverfahren

• Überwachtes LernenBeispiele mit Sollergebnissen

• Unüberwachtes LernenNur Beispieldaten ohne Sollergebnisse

• Bestärkendes LernenBeispieldaten und Bewertung der Ergebnisse


KNN

75

Überwachtes Lernen

Überwachtes Lernen (Lernen mit Lehrer, Supervised learning)

.

KNNx y

Lernverfahren

Eingangs-daten

ysollZieldaten

Trainingsbeispiele: bestehen aus Eingangs- und zugehörigen Zieldaten

Lernalgorithmus: versucht Differenz zwischen tatsächlicher und gewünschter Reaktion durch Änderung der Eigenschaften zu Minimieren

Beispielnetzwerk: Multi-Layer-Perceptron mit Backpropagation


KNN

76

Überwachte Klassifikation(Lernen mit Lehrer)

Anwendung:• ähnliche (untrainierte) Daten werden

richtig Klassifiziert

Klassifizierte Beispieldaten (Lern-, Trainingsdaten):K1, K2 und K3

Merkmal 2

Merkmal 1

K2

K1

K3


KNN

77

Unüberwachtes Lernen

Unüberwachtes Lernen (Lernen ohne Lehrer, Unsupervised learning)

Keine direkte Vorgabe

von Zieldaten !

KNNx y

Lernverfahrenysoll

Eingangs-daten

•Trainingsbeispiele: bestehen nur aus Eingangsdaten.• Lernalgorithmus: Daten mit ähnlichen Signaleigenschaften

werden zu Gruppen zusammengefaßt• Selbstlernendes System

• Basiert auf den inneren Eigenschaften der Trainingsdaten

• Beispielnetzwerk: Selbstorganisierende Karten


KNN

78

Unüberwachte Klassifikation(Lernen ohne Lehrer)

Merkmal 2

Merkmal 1Klassengrenzen sind a-priori nicht vorhanden!• gesucht Klassifizierung (z.B. zur Analyse, Datenreduktion)

(hochdimensionale Datensätze unübersichtlich)

Bilden von Klassen anhand der Signalähnlichkeiten:


KNN

79

Bestärkendes Lernen

Bestärkendes Lernen (reinforcement learning)

KNNx y

Lernverfahren

Eingangs-daten

Bewertung

Trainingsbeispiele: bestehen aus Eingangsdaten, die Ergebnisse werden bewertetLernalgorithmus: versucht Bewertung zu Verbessern• langsam, aber biologisch plausibel

Lehrer


KNN

80

Auswahl des Lenverfahrens

• Das Vorhandensein von Zieldaten für jedes Beispiel entscheidet über die Auswahl des Lernverfahrens

• Innerhalb jedes Lernverfahrens stehen verschiedene Netzwerktypen zur Auswahl


KNN

81

Gütekriterium(Lernen mit Lehrer)

Gütekriterium beschreibt den Unterschied zwischen Soll- und Istwert für den aktuell angelegten Eingangsvektor.

Q(s) = Q(s)(y1 ...ym , y1soll ...ymsoll)

KNN... ...

...

( )sx1( )sx2

( )snx

( )sy1( )sy2

( )smy

( )ssolly1

( )ssolly2

( )ssollmyV

ergl

eich


KNN

82

Quadratisches Fehlermaß(Lernen mit Lehrer)

Bei Verwendung eines quadratischen Fehlermaßes:

Q(s) = (y1 - y1soll )2 + (y2 - y2soll )2 + ... + (ym – ymsoll )2

KNN... ...

...

( )sx1( )sx2

( )snx

( )sy1( )sy2

( )smy

( )ssolly1

( )ssolly2

( )ssollmyV

ergl

eich

Lernalgorithmus versucht durch das Verstellen der freien Parameter (z.B. Gewichte) den Fehler für die Lerndaten zu minimieren.


KNN

83

Anlegen der Beispiele(Lernen mit Lehrer)

Dem Netz werden r Paare Lerndaten angeboten:

1. Beispiel x1(1) ... xn

(1) y1soll(1) ... ymsoll

(1)

2. Beispiel x1(2) ... xn

(2) y1soll(2) ... ymsoll

(2)

r. Beispiel x1(r) ... xn

(r) y1soll(r) ... ymsoll

(r)

KNN... ......

( )sx1( )sx2

( )snx

( )sy1( )sy2

( )smy

( )ssolly1

( )ssolly2

( )ssollmyV

ergl

eich

(s = 1 ... r)Ein Durchlauf (alle s) -> Epoche


KNN

84

Ziel des Anlernens(Lernen mit Lehrer)

Ziel des Trainings:

Q = Q(s) => Min.Σ(s)

d.h., die realen y1 (s) ... ym

(s) sollen weitgehend den Solldaten y1soll

(s) ... ymsoll(s) entsprechen.

KNN... ...

...

( )sx1( )sx2

( )snx

( )sy1( )sy2

( )smy

( )ssolly1

( )ssolly2

( )ssollmyV

ergl

eich


KNN

85

Gradientenverfahren (Gradientenabstieg)

( )

( )

( )

( )

( )

( )

( ) ⎥⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

=∇

Ωk

k

k

k

k

k

k

wQ

wQwQ

Q

∂∂

∂∂∂∂

2

1

( ) ( ) ( ) ( )kkkk dww γ+=+1

( ) ( )d k kQ= −∇

Schrittweite(Lernkoeffizient)

Richtung

Parameter:• Startwerte• Schrittweite

Schrittweise Veränderung der Gewichte


KNN

86

Minimierung des Fehlers durch Gradientenabstieg

Q

w

Eindimensionaler Schnittdurch eine stilisierte

FehleroberflächeQstart

wstart

Qi

wi

Qi+1

wi+1

wi+1=

Neues Gewicht

wi+1= wi

Altes Gewicht

wi+1= wi - ∂Q∂w

Gradient von Qbezüglich w

wi+1= wi - γ∂Q∂w

Lernkoeffizient

wi+1= wi - γ∂Q∂w

Qmin

wmin

Q ≤ Qsoll

Abbruch des Lernens


KNN

87

GradientenabstiegZweidimensionaler Fall

w2

w1

Q = const.( )kQ∇

( )kwΔ

( )kQ m in→


KNN

88

Herleitung derGewichtsänderung

• Gewünschter Lernvorgangdw in Richtung der maximalen Abnahme von Qdw ~ - gradT Qdw = - γ ⋅ gradT Q

• Für beliebige Anzahl von Gewichten giltw i+1 = w i - γ ⋅ gradT Q

w1w2

wn i+1

=

w1w2

wn i

- γ ⋅

∂Q∂w1∂Q∂w2

∂Q∂wn


KNN

89

Probleme des Gradientenabstiegs

• Probleme des Gradientenabstiegsoft sehr viele Gewichte (hohe Dimension)Auftreten von Nebenminima, PlateausKonvergenzprobleme (Schrittweite)

Q

w

Eindimensionaler Schnittdurch eine

FehleroberflächeAbsolutes Minimum

Neben-minimum Plateau


KNN

90

Probleme des Gradientenabstiegs

• Schrittweitenanpassung

( ) ( ) ( ) ( )kkkk dww γ+=+1

( ) ( ) 999.0;1 ==+ ααγγ kk

!Schrittweite sollte nicht 0 werden.


KNN

91

Beispiel: Gradientenabstieg mit einem Neuron

x1

x2

x1 x2

y

%Trainings-Datensatz

% x1 x2 ysoll1 2 1 -1 1 02 1 11 -1 0

Initialisieren der Gewichte (mit zufälligen Werten)w1=0.034; w2=0.092

0.034 0.092

∂Q∂w2

= ?∂Q∂w1

= ?

Q = (y - ysoll)2 = (w1x1 + w2x2 - ysoll)2

∂Q∂w1

= 2(w1x1 + w2x2 - ysoll) x1

= 2(w1x1 + w2x2 - ysoll) x2∂Q∂w2

Lineare Transferfunktion


KNN

92

x1

x2

1 2

0.034 0.092


% x1 x2 ysoll1 2 1 -1 1 02 1 11 -1 0


∂Q∂w1

= 2⋅(0.034 + 0.184 - 1)⋅1

= -1.564

∂Q∂w2

= 2⋅(0.034 + 0.184 - 1)⋅2

= -3.128

wi+1 = - 0.2⋅

= + =

0.0340.092

-1.564-3.128

0.0340.092

0.3470.718

0.3130.626

γ =0.2


KNN

93


x1

x2

-1 1

0.347 0.718


% x1 x2 ysoll1 2 1 -1 1 02 1 11 -1 0

∂Q∂w1

= 2⋅(-0.347+0.718-0)⋅(-1)

= -0.742

∂Q∂w2

= 2⋅(-0.347+0.718-0)⋅1

= 0.742

wi+1 = - 0.2⋅

= - =

0.3470.718

-0.7420.742

0.3470.718

0.4950.570

-0.150.148


KNN

94


x1

x2

2 1

0.495 0.570


% x1 x2 ysoll1 2 1 -1 1 02 1 11 -1 0

• Weitere Schritte bis zur Konvergenz

• Wiederholtes Präsentieren der Beispiele in wechselnder Reihenfolge

• Lernkoeffizient γ im Ver-lauf des Trainings verkleinern


KNN

95

Ablauf Lernvorgang

• Trainingsdaten mehrmals präsentierenMehrere Epochen

• Epoche: alle Trainingsdaten einmal präsentiert

• Gewichtsanpassung (Möglichkeiten)Einmal pro Epoche -> Batch-BetriebNach jedem Trainingsdatensatz -> Online-Betrieb


KNN

96

Ablauf Lernvorgang

• Batch: Gewichtsänderungen werden akkumuliert und nur einmal pro Epoche ausgeführtStabil, aber u.U. langsamVorteil bei der Parallelisierung (jeder Trainingsdatensatz bildet eigenen Prozeß)


KNN

97

Ablauf Lernvorgang

• Online:Gewichtsupdate nach jedem Trainingsdatensatzu.U. schneller als Batch Gefahr der Zyklenbildung (Gewicht ändert sich zyklisch hin und her)Abhilfe: Ändern der Reihenfolge der Trainingsdatensätze in jeder Epoche (zufällige Reihenfolge)


KNN

98

Ablauf Lernvorgang

• Übertrainieren, Auswendiglernen:Möglich bei Netz mit zu vielen Neuronen/SchichtenKeine Generalisierung (neue untrainierte Daten werden nicht richtig berechnet)Abhilfe: Testen des Netzes mit untrainierten bekannten Daten -> ggf. Netz ändernTeilung der vorhandenen Daten in:

» Trainingsdaten (etwa 2/3 aller Daten)» Testdaten (etwa 1/3 aller Daten, zufällige Auswahl)


KNN

99


• Verwendung eines Gütekriteriumsbasierend auf

» Eingangsdaten» Ausgangsdaten» Solldaten» Gewichten des Netzes

zur Bestimmung des Fehlers zwischen tatsächlichem Zustand und Sollzustand des Netzeszur Minimierung des o.g. Fehlers durch Veränderung (Optimierung) der Gewichte (Training)


KNN

100


• Verwendung des GradientenabstiegsverfahrensAnteil jedes einzelnen Gewichts am Gesamt-fehler wird durch partielle Ableitung bestimmtZiel ist ein möglichst schnelles Erreichen eines FehlerminimumsProbleme entstehen durch

» Vielzahl der zu optimierenden Parameter » lokale Nebenminima der dann hochdimensionalen

FehleroberflächeBasis für viele unterschiedliche Lernverfahren (u.a. Backpropagation)


KNN

101

2.4 Kapitel

2.4Backpropagation Algorithmus

(Fehlerrückvermittlung)


KNN

102

Zielstellung

Betrachtung des gesamten Netzwerkes als Abbildungsfunktion

deren freie Parameter beeinflussen das GesamtverhaltenZiel: Einstellung dieser Parameter, um die Abweichung (Fehler) zwischen der

» tatsächlichen und der» gewünschten Abbildungsfunktion des Netzwerkes

anhand der Abweichung des» tatsächlichen von dem» gewünschten Ausgangssignal des Netzwerkeszu minimieren


KNN

103

Lösungsansatz

• Abbildungsfunktion des Netzes ist in der Regel nichtlinear

• Menge der freien Parameter (Gewichte) spannt hochdimensionalen Raum auf

• Fehlerkriterium ist hochdimensionale Funktion über diesem Raum

• Suche nach Minimum der Fehlerfunktion mittels Gradientenabstieg


KNN

104

Lösungsansatz

• Ausgangspunkt ist in jedem Fall ein mehrschichtiges Netzwerk mit gerichtetem Datenfluß ...

• Ziel des Backpropagation – AlgorithmusBestimmen der Ableitungen des Fehlers (für das aktuelle Trainingsbeispiel) nach den einzelnen Gewichten in einem mehrschichtigen Netzwerk

• Backpropagation hat 2 Phasen:Vorwärtsvermittlung der DatenRückwärtsvermittlung des Fehlers


KNN

105

Netzwerk mit gerichteten Datenfluß

x1

x2x3

y2

y1

y3

y4

z.B. Vorwärtsgerichtetes Multilayerperzeptron

Datenfluß


KNN

106

1. Phase Vorwärtsvermittlung

x1

x2x3

y2

y1

y3

y4

Bei

spie

l

Solld

aten

Erge

bnis

Fehler1.1 Aktivierung der Eingangs schicht mit einem aus dem

Datensatz ausgewählten Trainingsbeispiel1.2 Schrittweise Ermittlung der Aktivitäten der Neuronen der verdeckten

Schicht(en) und der Ausgangsschicht 1.3 Ermittlung des Gesamtfehlers des Netzwerkes anhand der Ausgangs-

und Solldaten


KNN

107

2. PhaseRückwärtsvermittlung

x1

x2x3

y2

y1

y3

y4Bei

spie

l

Solld

aten

Fehl

er

Fehlerrückvermittlung

2.1 Ermittlung des Fehlermaßes für die Neuronen der Ausgangsschicht2.2 Rückschreitend schichtweise Ermittlung des Fehlermaßes der

Neuronen der verdeckten Schicht(en)2.3 Änderung der Gewichte der Neuronen der Ausgangsschicht und der

verdeckten Schicht(en) anhand ihrer Fehleranteile


KNN

108

Anforderungen an die Transferfunktion

• Transferfunktiondient in diesem Fall nicht nur der Berechnung der Neuronenaktivität in der Phase der Vorwärtsvermittlung, sondern auch der Rückvermittlung der partiellen Fehler

• Anforderungen an die Transferfunktion:im gesamten Bereich stetig und (analytisch) differenzierbarstreng monoton steigendBeschränktheit im Wertebereich (z.B. auf [0; 1])möglichst in der Mitte des Wertebereiches einen Wendepunkt


KNN

109

VerwendeteTransferfunktionen

• Die Klasse der semi-linearen Funktionenvereinigen die Eigenschaften von

linearen Funktionen bezüglich der DifferenzierbarkeitSchwellwertfunktionen bezüglich der Separationsfähigkeit

• Beispiele:Sinus (ggf. Beschränkung des Definitions-bereiches auf eine Periode)Tangens hyperbolicusSigmoid

am weitesten verbreitet}


KNN

110

Beispiele gebräuchlicherTransferfunktionen

Y*

Y

Sigmoid

Y = 1 + e-Y*

1

Y*

Y

Tangens hyperbolicus

Y = e-Y*

e-Y*eY*

eY*

_

+


KNN

111

Beispiele gebräuchlicherTransferfunktionen

Verwendung in derweiteren Herleitung

Y*

Y

Sigmoid

Y = 1 + e-Y*

1

Y*

Y

Tangens hyperbolicus

Y = e-Y*

e-Y*eY*

eY*

_

+


KNN

112

Ableitung der Transferfunktion

( ) 11 pp

e−σ =+

( )21

1p

pe

p e−

−

∂σ′σ = =∂ + 1 1 pe−= +

σ

1 1pe− = −σ

Hilfsrechnung

Funktion:

Ableitung:

( )22

11 1 11

− σ⎛ ⎞′σ = − = σ⎜ ⎟σ σ⎝ ⎠⎛ ⎞⎜ ⎟σ⎝ ⎠

Einsetzen:

( )1′σ = σ − σ

( ) 111

1 −−− +=

+p

p ee

Innere * äußere Ableitung


KNN

113

Berechnung der Ausgangsschicht

Neuron der Ausgangsschicht

iy i solly

Neuron i1iw

2iw

1s

2s

jsijw

... ...

i j ijj

y f s w⎛ ⎞

= ⎜ ⎟⎝ ⎠∑

( )2

i i i sollQ y y= −

Ausgang:

Fehler:

( )212

ii i soll

ij

Q y yw

∂= −

∂

gesucht:


KNN

114

HerleitungAusgangsschicht

( )212

ii i soll

ij

Q y yw

∂= −

∂( ) i

i sollij ij

yQ y yw w

∂∂= −

∂ ∂

äußere Ableitung( )*iy y= σ *

j ijj

y s w= ∑

( )*ij

ij

y y sw

∂ ′= σ∂

*

jij

y sw

∂=

∂

*i i

*ij ij

y y yw y w

∂ ∂ ∂=

∂ ∂ ∂

Transferfunktion:

mit

Erweitern:

( ) ( )** i

* *

y yyy y

∂σ ∂′σ = =∂ ∂

( ) ( )( )1* *ij

ij

y y y sw

∂= σ − σ

∂

( )1′σ = σ − σ

( )*iy y= σ

( )1ii i j

ij

y y y sw

∂= −

∂

gesucht


KNN

115

HerleitungAusgangsschicht

( )1ii i j

ij

y y y sw

∂= −

∂Ergebnis:

( ) ii soll

ij ij

yQ y yw w

∂∂= −

∂ ∂

( ) ( )1i soll i i jij

Q y y y y sw

∂= − −

∂


KNN

116

Herleitung Verborgende Schicht

( ) ( )1i soll i i jij

Q y y y y sw

∂= − −

∂Ausgangsschicht:

Neuron i1uiw

2uiw

1us

2us

ujs

uijw

... ...

1uis +

Rückvermittelter Fehler

11

uku

k k

Q ww

++

∂∂∑

11uw +

12uw +

1ukw +

Zwischenschicht:Zwischenschicht:

( )1 1 11 1u u u u

k i i ju ukij k

Q Q w s s sw w

+ + ++

⎛ ⎞∂ ∂= −⎜ ⎟∂ ∂⎝ ⎠

∑

Ableitungen:


KNN

117

Erweiterungen

• Basierend auf dem Standard-Algorithmus sind viele Ideen zur Verbesserung entstanden

• Ansatzpunkte sind dabei:Beschleunigung der Konvergenz

» Modifikation oder Ersatz des klassischen Gradientenabstiegsverfahrens (Momentum-Term, Quick Prob)

» kumulative Gewichtsänderungen

Vermeidung des Problems der lokaler Minima» stochastische Ansätze» Gewichte “schütteln”

numerisch verbesserte Implementationen


KNN

118

2.4. Kapitel (Zusammenfassung)

• Mehrschichtiges Feed-Forward Netz mit gerichtetem Datenfluss

• Überwachtes Lernen (Supervised Training)• Verwendung der Delta-Regel und des

Gradientenabstiegs• Minimierung des quadratischen Abstandes

zwischen Soll- u. Istwerten bezüglich aller Paare von Ein- / Ausgangsvektoren


KNN

119

2.4. Kapitel (Zusammenfassung)

• Netzwerk mit der weitesten Verbreitung unter den überwacht trainierten Netzen

• Konvergenzprobleme bei Auftreten von mehreren Minima (s.a. Gradientenabstieg)

• Viele Erweiterungen und Modifikationen des originalen Algorithmus

• Zahlreiche realisierte Anwendungen durch universelle Einsetzbarkeit


KNN

120

3. Kapitel

3.Selbstorganisierende Karten

(Kohonen Karten,Kohonen Maps,

Self organizing map - SOM)


KNN

121

Sensorische Karten

• Ausgangspunkt: Sensorische und motorische Karten im Gehirn

• Hochdimensionale Daten werden auf zweidimensionale Karten abgebildet

• Nachbarschaftsbeziehungen bleiben bestehen (Topologieerhaltend)


KNN

122

Teuvo Kohonen(Finnland)

T. Kohonen, Self-Organizing Maps Springer Series in Information Sciences, Vol. 30, Springer, Berlin, Heidelberg, New York, 1995, 1997, 2001. Third Extended Edition, 501pages. ISBN 3-540-67921-9, ISSN 0720-678X

• SOM entwickelt von Teuvo Kohonen


KNN

123

Unüberwachtes Lernen

Unüberwachtes Lernen (Lernen ohne Lehrer, Unsupervised learning)

Ein Trainingsbeispiel besteht nur aus Eingangsdaten.

Keine direkte Vorgabe

von Zieldaten !

KNNx y

Lernverfahrenysoll

Eingangs-daten

• Selbstlernendes System

• Basiert auf den inneren Eigenschaften der Trainingsdaten

• Daten mit ähnlichen Signaleigenschaften werden zu Gruppen zusammengefaßt

•Beispielnetzwerk: Selbstorganisierende Karten


KNN

124

Zielstellung

• Netzwerktraining ohne explizite Vorgabe eines Trainingsziels

keine Verwendung von Zielvektoren für die Ausgangsschicht

» z.B. Backpropagationin vielen Anwendungen sind Zielvektoren nicht verfügbar

» z.B. Klassifikation bei unbekannten Klassengrenzen

• Lernen ohne Lehrer (unsupervised training)• Verwendung der inneren Eigenschaften der

Daten


KNN

125

Lösungsansatz

• Vergleich des exemplarisch abgetasteten Eingangsdatenraumes (Beispiele des Trainingsdatensatzes) mit einem Satz von Prototypen (Gewichte der Neuronen)

• Anpassung der Prototypen an die inneren Eigenschaften des Eingangsdatenraumes

• Zuordnung von Eingangssignalen mit gleichen oder ähnlichen Eigenschaften zum gleichen Prototyp


KNN

126

Lösungsansatz

• Selbstlernendes System• Modellierung des meist hochdimensionalen

Eingangsdatenraumes durch Projektion auf eine zweidimensionale Fläche (Karte von Neuronen)

DatenreduktionAbstraktion auf wesentliche und markante Eigenschaften der EingangsdatenUnterdrückung von Einzelheiten und im Datensatz unterrepräsentierten Eigenschaften


KNN

127

Aufbau einer Selbstorganisierenden Karte

x1

x2

x3

Eingangsschicht

Zweidimensionale Kohonen Schicht


KNN

128

Selbstorganisierende Karte

• Anzahl der Neuronen in der Eingangsschicht:Entspricht Dimension des Eingangsdatenraumes

• Anzahl der Neuronen in der Kohonenschicht:Entspricht der Anzahl der erwarteten oder gewünschten Klassen

• Verbindungen:Jedes Neuron der Eingangsdatenschicht ist mit jedem Neuron der Kohonenschicht verbundenKeine Verbindung der Neuronen in der Kohonenschicht untereinander


KNN

129

Neuronenmodell

• Neuronenmodell unterscheidet sich vom klassischen technischen Neuron

• Euklidischer Abstandsmaß (ohne Wurzel) zwischen Eingangsdaten und Gewichten

• Bestimmen des Neurons mit dem kleinsten Abstand zum angelegten Eingangsdatensatz (Ausgang = 1, sonst 0)

x1

xn

x3

x2

w1

w2

w3

wn

y( )∑=

−=n

iiijj xwy

1

2*

Eingänge Gewichte

Ausgang

( )⎩⎨⎧ ∀=

=sonst

kyyy kjj 0

min1 **Neuron j


KNN

130

Neuronenmodell

• Die Gewichte jedes Neuron lassen sich als Position des Neurons im Eingangsdatenraum interpretieren

• Gewinnerneuron ist das Neuron, das dem angelegten Datensatz am nächsten ist.

2x

1x

1

1

Beispiel:• Eingangsdatenraum mit 2 Dimensionen• Jeder Eingangsdatensatz (blau) wird

dem nächstliegenden Neuron zugeordnet (klassifiziert)

Voronoi –Regionen


KNN

131

Anlernen

• Datensätze einzeln anlegen, Gewinnerneuron bestimmen

• Ändern der Gewichte = Verschieben der Neurone im Datenraum

• Nachbarschaftsbeziehungen in der Karte berücksichtigen

• Gewinnerneuron und Nachbarn in Richtung des aktuellen Datensatzes verschieben

• Schrittweite und Nachbarschaftsbreite beim Lernen anpassen (verringern)

( ) ( ) ( )( )ki

ki

ki wxww −+=+ α1


KNN

132

Anlernen

• Anlernen nach euklidischen Abstand • Eingangsdaten bei Bedarf normieren• Möglichkeiten zur Normierung:

Minimum, MaximumMittelwert, StandardabweichungA-priori Wissen

• Erweiterung:Wachsende Karte


KNN

133

3. Kapitel (Zusammenfassung)

• Netzwerk mit je einer eindimensionalen Eingangsschicht und zweidimensionalen Kohonen Schicht

• Anordnung der Neuronen innerhalb der Kohonen Schicht ist wesentlich

• Positionen der Neuronen im trainierten Zustand der Karte nicht untereinander austauschbar


KNN

134


• Jedes Neuron der Kohonen Schicht ist mit jedem Neuron der Eingangsschicht über Gewichte verbunden

• Keine direkten Verbindungen mit Signalfluß der Neuronen der Kohonen Schicht untereinander

• Indirekte Verbindung der Neuronen der Kohonen Schicht untereinander durch ihre relative Position zueinander


KNN

135


• Eingangsdaten (Beispielvektoren) mit ähnlichen Eigenschaften werden durch benachbarte Neuronen repräsentiert

• Vielzahl von Erweiterungen und Modifikationen des originalen Algorithmus

• Weit verbreiteter Typ unter den unüberwacht trainierten Netzen

• Zahlreiche Anwendungen


KNN

136

6. Kapitel

Assoziativspeicher


KNN

137

Assoziativspeicher

• Informationen werden assoziativ gespeichertInhaltsadressierte Informationsspeicherung

• Gegensatz: Speicherung in einer Liste (RAM)• Speicherkonzept

Information ist über viele Neuronen verteiltsehr robust gegenüber Ausfall eines Teils der NeuronenVerschlechterung des Ergebnisses aber kein “totaler” Ausfallabgelegte Musterpaare (x, y) mit x als Abrufschlüssel (Adresse der Speicherstelle)

• Im Prinzip ist jedes künstliche neuronale Netz ein Assoziativspeicher


KNN

138

Assoziativspeicher Einteilung

• AutoassoziativspeicherEingabemuster = AusgabemusterAusgabe des ungestörten Musters auch bei gestörten oder unvollständiger EingabeRauschunterdrückung, Musterergänzung

• HeteroassoziativspeicherEingabemuster ≠ AusgabemusterBeliebige Zuordnung von Eingabe zu AusgabemusterKlassifikation, Funktionsapproximation, Vorhersagen


KNN

139

Linearer Assoziativspeicher

1x 2x nx

nw112w11w1y

2y

my

21w

1nw

22w

2nw

nw2

mnw


KNN

140

Linearer Assoziativspeicher

Linearer Assoziativspeicher (Korrelations-Matrixmodell)

• Einschichtiges Netz mit linearer Übertragungsfunktion

• Zusammenfassen als Matrixgleichung:

• Bestimmen der Gewichte:Hebb LernregelAusgleichsrechnungAndere Lernverfahren

xy W=


KNN

141

Hebb - Lernregel

• Kopplung zwischen zwei Neuronen wird immer dann verstärkt, wenn sie gleichzeitig erregt sind:

• Biologisch begründet und nachgewiesen

ax ay bxby

abw

baab yyw α=Δ

)()()1( kab

kab

kab www Δ+=+


KNN

142

Ausgleichsrechnung

• Klassisches Optimierungsproblem der Ausgleichsrechnung

• Gegeben X, Y gesucht W• Problem für jedes Muster neu lösen, Korrektur über

Lernen• Geringe Zahl von Mustervektoren

Pseudoinverse, „Moore-Penrose“ Inverse

XY W=( ) ( )

( ) ( )

( ) ( ) ⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢

⎣

⎡

=

...

...

...

21

22

12

21

11

nn yy

yyyy

Y

( ) ( )

( ) ( )

( ) ( ) ⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢

⎣

⎡

=

...

...

...

21

22

12

21

11

nn xx

xxxx

X


KNN

143

Assoziativspeicher mit Rückkopplung

1x

2x

nx

nw112w11w1y

2y

ny

21w

1nw

22w

2nw

nw2

nnw


KNN

144

Assoziativspeicher mit Rückkopplung

• Ausgänge werden auf Eingänge zurückgekoppelt

• Ergebnis steht erst nach einigen Iterationen fest, Eingangswerte sind die Startwerte

• Beispiel: Hopfield - Modell


KNN

145

Hopfield - Modell

• Netz mit Rückkopplung, • Autoassoziativ-Speicher, aus den

eingespeicherten Mustern wird das Muster gesucht, daß dem angelegten Muster am ähnlichsten ist. Anwendung: Mustererkennung (Bilderkennung)

• Entwickelt 1982 von John Hopfield, untersuchte magnetische Anomalien in seltenen Erden (Spingläser)


KNN

146

Hopfield – Modell, Abruf

• Eingegebenes (binäres) Muster als Startwert (Zustand)

• Rückkopplung, Berechnung der AusgabeÜbereinstimmung mit Zustand -> OKUnterschied -> Auswahl eines Neurons -> Änderung des Zustandes

• Wiederholung bis stabiler Zustand erreicht (kein Unterschied mehr)

• Zustand = Ergebnismuster


KNN

147

Hopfield – Modell, Anlernen

• Cohen/Grossberg-Theorem: Stabiles Netz wenn Bedingungen erfüllt:

Symmetrische GewichteDiagonale in Gewichtsmatrix null

• Anlernen nach Hepp• Ausgleichsrechnung:

Formel zum direkten Berechnen der Gewichte

jiij ww =0=iiw


KNN

148

7. Kapitel

7.Anwendungen

künstlicher neuronaler Netze- Regelungstechnik -


KNN

149

Motivation

• Lineare Reglergut entwickeltweit verbreitet

• Nichtlineare Reglerunbefriedigende LösungenSpezialfällemit konventionellen Verfahren schlecht handhabbar

Neue Wege und Lösungen erforderlich


KNN

150

Neuronale Netze in der Regelungstechnik

• Nutzung der Adaptionsfähigkeit neuronaler Netze

• Grundlegende Anpassung des Reglers an reale Systeme

• Adaptionsmöglichkeit an zeitlich oder örtlich veränderliche Systemparameter

• Einige Eigenschaften bereiten Probleme


KNN

151

Klassische Methode

x +F

yK

-


KNN

152

Klassische Methode

F

K

+

-x

y

Prozess(oft kein Modell

vorhanden)

Referenzmodell

-

+ec

ideal:ec → 0


KNN

153

Beispiel 1 (Erläuterung)

• Verwendung eines überwacht trainierten Netzwerkes

• Grundlegende IdeeNeuronales Netz simuliert das Verhalten des Menschen

» Netz lernt das Verhalten eines “menschlichen Reglers” anhand einer Reihe von beispielhaften Vorgängen

» Übernahme der Regelung durch das Netz nach erfolgreichem Training

» durch trainiertes “Wissen” und die Fähigkeit zu generalisieren agiert das Netz dann selbständig


KNN

154

Beispiel 1 (Training)

Regelstrecke

x

Stellsignale?Zustandsvektor

!

Neuronales Netz

- +

Vergleich des Verhaltensdes Netzwerkes mit dem

des MenschenAbweichung

zum Einstellen der Gewichte


KNN

155

Beispiel 1 (Betrieb)

Regelstrecke

Neuronales Netz

x

Stellsignale

Zustandsvektor

Das trainierte neuronale Netz übernimmt die Regelung des Systems.


KNN

156

Beispiel 2(Erläuterung)

• Direkte inverse Steuerung• Grundlegende Idee

neuronales Netz stellt das inverse Modell dar» Abgleich der Netzwerkparameter, dass die

Regelstrecke und das neuronale Netz zusammen die Übertragungsfunktion ”1” haben

» Einsatzmöglichkeiten durch Invertierbarkeit und Genauigkeit begrenzt


KNN

157

Beispiel 2(Training)

Regelstrecke

Neuronales Netz

x

Ausgang

-

+

Abweichung zum Einstellen der Gewichte

F

F-1


KNN

158

Beispiel 2(Betrieb)

Regelstrecke FNeuronales Netz F-1

x

Ausgang


KNN

159

6. Kapitel(Zusammenfassung)

• Nutzung der Adaptionsfähigkeit künstlicher neuronaler Netze

optimale Charakteristiken bei » komplexen Problemen» Umgebungsvariationen» Variationen der Strecke

• Komplette Simulation durch Modellierung mittels getrennter neuronaler Netze

für die Regelstrecke (Identifikationsmodell)für den Regler


KNN

160

8. Kapitel

8.Anwendungen

künstlicher neuronaler Netze


KNN

161

Technische Bereiche

• BildverarbeitungHandschrifterkennung,Gesichtserkennung,Robotersteuerung,Bildinterpretation...

• AkustikSpracherkennungSprachsynthese...


KNN

162

Technische Bereiche

• Allgemeine SignalverarbeitungReduktion von RauschenKlassifikation von SignalenDatenkompression...

• Steuerungs- u. Regelungstechnik• Optimierung• ...


KNN

163

Nichttechnische Bereiche

• Wirtschaft und FinanzenAnalyse und Modellierung von Markt- und KundenverhaltenVorhersage von Kursen...

• MeteorologieSimulation und Modellierung von globalen KlimazusammenhängenVorhersage langfristiger klimatischer VeränderungenWettervorhersage

• ...


KNN

164

Realisierung neuronaler Netze

• Simulation auf sequentiell arbeitenden Rechnern

PersonalcomputerWorkstation

• Simulation auf (paralleler) SpezialhardwareNeurocomputerPipelineprozessoren

• Direkte Implementation in spezielle Schaltkreise

Neurochips


KNN

165

Zusammenstellung von weiterführender Literatur

Grundlagenliteratur:» R. Rojas: Theorie der neuronalen Netze : Eine

systematische Einführung, Springer, 1996» A. Zell: Simulation neuronaler Netze, Oldenbourg,

1997» R. Brause: Neuronale Netze: Eine Einführung in die

Neuroinformatik, Teubner, 1995Anwendung (oft Beiträge in Fachzeitschriften):

» IEEE-Transactions on Neural Networks» Neural Networks» Tagungsbände» vdi-Berichte


KNN

166

Thematisch orientierte Weblinks

Spezielle Suchmaschinen für neuronale Netze» http://www.yahoo.com/Science/Engineering/

Electrical_Engineering/Neural_Networks/

Home-Pages von Forschungseinrichtungen» http://www.ewh.ieee.org/tc/nnc/index.html» http://cns-web.bu.edu/INNS/index.html» http://www.cis.hut.fi/research/» http://www.neuro-net.net/

Sonstiges (ftp-Archiv, Diskussionsgruppe)» ftp://ftp.sas.com/pub/neural/FAQ.html#questions» nntp://comp.ai.neural-nets

Teil 1 Otto-von-Guericke-Universität Magdeburg Institut ...€¦ · Teil 1...

Documents

Transcript of Teil 1 Otto-von-Guericke-Universität Magdeburg Institut ...€¦ · Teil 1...