Neuronale Netze 03 - FB IKStlange/pdf/Neuronale Netze 1.pdf · FB Elektrotechnik Prof. Dr.-Ing....

FB Elektrotechnik

1Prof. Dr.-Ing. Tatjana Lange Neuronale Netze

Fachhochschule MerseburgFachhochschule Merseburg

Neuronale NetzeNeuronale Netze

Version 01 - Dezember 2002

Prof. Dr.-Ing. Tatjana LangeFachhochschule MerseburgFB Elektrotechnik

FB Elektrotechnik



Literatur:Literatur:1. Rigoll, Gerhard: Neuronale Netze. Eine Einführung für Ingenieure, Informatiker und

Naturwissenschaftler. Expert-Verlag, 1994

Inhalt:Inhalt:

1. Einführung - Grundprinzipien neuronaler Netze

2. Aufbau und mathematische Beschreibung eines Neurons

3. Architekturen und mathematische Beschreibung neuronaler Netze

4. Varianten der Musterverarbeitung

5. Lernverfahren

6. Klassifikation bzw. Paradigmen neuronaler Netze

7. Faustregeln zur Auswahl der Paradigmen und der Netzkonfiguration

8. Klassische neuronale Netze - Perceptron, MLP, Adaline, Madaline

9. Die „Group Method of Data Handling (GMDH)“ - eine Verwandte der neuronalen

Netze ?

FB Elektrotechnik



Was ist ein Neuron ?

NeuronalesNetz

Ein

gang

smus

ter

Aus

gang

smus

ter

Biologie: Nervenzelle, die Information verarbeitet

Technik, Informatik, Mathematik:mathematisches oder physikalischesModell, das Information verarbeitet

•Signale•Bitmuster•Zahlenwerte

•Signale•Bitmuster•Zahlenwerte

Informations-verarbeitung

1. Einführung - Grundprinzipien neuronaler Netze1. Einführung1. Einführung -- Grundprinzipien neuronaler NetzeGrundprinzipien neuronaler Netze

FB Elektrotechnik



Beispiel fürEingangsmuster:

Beispiel fürEingangsmuster:

gesprochene Ziffern

• Null• Eins• Zwei• Drei• Vier• Fünf• Sechs• Sieben• Acht• Neun

mit sprecherindividuelleKlangfärbung

rechnergerechte Darstellung derZiffern0 0 0 00 0 0 10 0 1 00 0 1 10 1 0 00 1 0 10 1 1 00 1 1 11 0 0 01 0 0 1

FB Elektrotechnik



Weitere Beispiele für Eingabe- und Ausgabemuster:

Eingabemuster Ausgabemuster

abgetastetes Sprachsignal

digitalisierte Handschrift

digitales Bild

Indizien eines Fehlers in einemtechnischen System

angekreuzter Fragebogen zurFeststellung vonKrankheitssymptomen

Binärcode für dengesprochenen Laut

Binärcode für diegeschriebenen Buchstaben

komprimiertes digitales Bild

Code der möglichen Ursache

Code der möglichenKrankheitsursache

FB Elektrotechnik



künstliches Neuron:

Modell=

dynamisches System

Das mathematische Modell beschreibt die Beziehungen zwischen denEingängen und Ausgängen des Neurons, wobei das Übertragungsverhaltendes Neurons insbesondere durch die Gewichte der Neuroneneingängebestimmt wird.

Das Neuronenmodell kann mit der Übertragungsfunktioneines dynamischen Systems verglichen werden:Vergleiche

Regelungstechnik:( ) ( )

( ) ....

....3

32

210

2210

+++++++==pbpbpbb

papaa

pN

pZpG

Hier bestimmen die Koeffizienten ai und bj das Übertragungsverhalten des Systems.

einfaches System bzw. Modell mitEingängen und einem Ausgang

x1x2

xn

y

= ∑

=

n

iii xwFy

1

FB Elektrotechnik



Aus den Neuronen wird mehrstufiges Netz gebildet

Input Layer Output LayerHidden Layers

Ein

gang

smus

ter

Aus

gang

smus

ter

FB Elektrotechnik



Beachte:Nicht alle Neuronen sind miteinander verbunden.Neuronen lassen sich in 3 Klassen aufteilen:

• Neuronen, die mit Eingangsmuster und anderen Neuronen verbunden sind.Diese Neuronen bilden das Input-Layer

• Neuronen, die das Ausgangsmuster ausgeben.Diese Neuronen bilden das Output-Layer

• Neuronen, die nur mit anderen Neuronen verbunden sind.Diese Neuronen bilden die Hidden Layers.Die Anzahl der Hidden Layers kann sehr groß sein.

Die Ein-/Ausgangsbeziehungen eines neuronalen Netzes sind sehrkomplex und im allgemeinen nichtlinear.Die Eins-/Ausgangsbeziehungen sind durch eine Vielzahl vonParametern bestimmt.

FB Elektrotechnik



Typische Aufgabenstellung für neuronale Netze:

Gegeben:• Eingangsmuster• Ausgangsmuster

Gesucht:• Parameter des neuronalen Netzes, die das gewünschte Ein-

/Ausgangsverhalten realisieren („Übertragungsfunktion“)

Lösungsweg:Mit Hilfe von Beispielmusterpaaren (Eingangs-und Ausgangsmuster) undNutzung von Optimierungsverfahren die Parameter (Koeffizienten) derNeuronen so bestimmen, daß das Netz die gewünschtenÜbertragungseigenschaften annimmt (bzw. diesen möglichst nahe kommt).

Systemindentifikation !!!

Lern- oder Trainingsphase

FB Elektrotechnik



Nach der Lernphasefolgt die Anwendungsphase:• Dem neuronalen Netz werden jetzt Eingangsmuster präsentiert, die in

der Lernphase nicht verwendet wurden. Es erzeugt darausAusgangsmuster.

Die in der Lernphase zu optimierendenParameter des neuronalen Netzes sind dieWichtungen wi (Gewichtskoeffizienten)der Verbindungen zwischen denNeuronen.

Merke:Typische Anwendungen neuronaler Netze bestehen aus 2 Phasen:1. der Lern- oder Trainingsphase2. der Anwendungsphase

Die Lernfähigkeit ist die wichtigste Eigenschaft neuronaler NetzDie Lernfähigkeit ist die wichtigste Eigenschaft neuronaler Netze !!!e !!!

= ∑

=

n

iii xwFy

1

x1

x2

xn

y

w1

w2

wn

FB Elektrotechnik



Eigenschaften neuronaler Netze (1):

• LernfähigkeitBestimmung der optimalen Netzparameter (=Gewichte der Verbindungenin der Lern- bzw- Trainingsphase); dabei Bestimmung der wichtigsten,essentiellen Eigenschaften der Eingangsmuster (Beispiel:unterschiedliche Sprecher sagen das Wort „Eins“ - jedes Muster istunterschiedlich, aber es gibt in jedem Muster etwas Essentielles -dieEins)

• Adaptives VerhaltenEigenschaft einiger neuronaler Netze, die Parameter in derAnwendungsphase weiter anzupassen, also weiterzulernen.

• Fähigkeit zur Verarbeitung fehlerhafter und unvollständigerInformation

Bestimmung des richtigen Ausgangsmusters bei gestörtenEingangsmustern (oder unvollständigen Eingangsmustern als Sonderfalleines gestörten Musters)

FB Elektrotechnik



Eigenschaften neuronaler Netze (2):

• Massive ParallelitätJedes Neuron kann als einzelnes, unabhängiges System betrachtetwerden. Die Simulationsprogramme der einzelnen Neuronen könnenparallel auf allen verfügbaren Prozessoren einesMultiprozessorsystems abgearbeitet werden.

• Hardware-ImplementierbarkeitRealisierung der Neutronen durch „maßgeschneiderte“ Chips

• FehlertoleranzAusfall eines Neurons führt nicht zum Totalausfall, nur zur meistunbedeutenden Verschlechterung des Übertragungsverhaltens desNetzes (Beispiel: die gesprochene „Eins“ wird nach wie vor in denmeisten Fällen richtig erkannt, die Fehlerwahrscheinlichkeit wirdallerdings etwas höher).

FB Elektrotechnik



Beispiel für Sprachanalyse:

Fourier-Transformation





0

3

Null,Drei

1. Unterteilung der Sprachprobein Abschnitte

2. Fourier-Transformation derSprachabschnitte (schnelleFourier-Transformation -abgetastete Sprachsignalewerden auf Fourier-Koeffizienten abgebildet)

3. Fourier-Koeffizienten bildenEingangsmuster

12

FB Elektrotechnik



Typische Einsatzgebiete neuronaler Netze:

• Vorhersage / Forecasting stationärer undnichtstationärer stochastischer Prozesse

• Mustererkennung

• Regelung

! Wetterprognose! Umweltprognosen! Prognose Wasserstände,

Wasserverschmutzung! Prognose von

Wirtschaftsprozessen

! Spracherkennung! Bilderkennung

! Informationssysteme! Robotik

! Automatisierungstechnik! Automotiv

FB Elektrotechnik



2. Aufbau und mathematische Beschreibung eines Neurons2. Aufbau und mathematische Beschreibung eines Neurons2. Aufbau und mathematische Beschreibung eines Neurons

θ+= ∑

=

n

iii xwFy

1

x1

x2

xn

y

w1

w2

wn

G(x) F(G)

wi - Gewichtungsfaktorenθ - „Bias“ zur Feineinstellung des neuronalen Netzes

(in vielen Fällen ist θ = 0)G(w1x1,......, wnxn, θ ) - Propagierungsfunktion;F(G) - nichtlineare Aktivierungsfunktion

In den meisten Fällen ist G(w1x1,......, wnxn, θ )eine einfache Summenfunktion:

θ

FB Elektrotechnik



Eine wichtige Eigenschaft neuronaler Netze ist deren nichtlineares Verhalten,hervorgerufen durch die nichtlineare Aktivierungsfunktion F(G).

G

F(G)1

G

F(G)1

G

F(G)1

Typische Aktivierungsfunktionen:

Hard-Limiter: Schwellwert-Funktion: Sigmoid-Funktion:

≥<

=01

00)(

G

GGF

≥<≤

<=

aG

aGaG

G

GF

1

0

00

)( ( )aGeGF +−+

=1

1)(

binäre neuronale Netzeneuronale Netze mit

kontinuierlichenAusgangswerten

FB Elektrotechnik



θ+= ∑

=

n

iii xwFy

1

Mathematische Beschreibung eines Neuron:

Besser: Vektor-Schreibweise:

[ ][ ]Tn

Tn

www

xxx

θ=

=

,,.....,,

1,,.....,,

21

21

w

x

( )wx ⋅= TFy

Für ein Neuron mit Hard-Limiter gilt:

≥⋅<⋅=

01

00)(

wx

wxT

T

für

fürGF

Für ein Neuron mit Sigmoid-Funktion gilt:

( )aT

eGF

+⋅−+=

wx1

1)(

FB Elektrotechnik



3. Architekturen und mathematische Beschreibung neuronaler Netze3. Architekturen und mathematische Beschreibung neuronaler Netze3. Architekturen und mathematische Beschreibung neuronaler Netze

Man unterscheidet:• Feedforward-Netze• Feedback-Netze

Feedforward-Netze besitzen nur ineine Richtung weisendeVerbindungen - vom Input Layer überdie Hidden Layers hin zum OutputLayer bzw. „von unten nach oben“:

Typischerweise existieren immernur Verbindungen zwischenbenachbarten Schichten.

In den Neuronen des Input-Layerfindet keine Summenbildung undGewichtung statt (sinnlos).Sie repräsentieren nur dasEingangsmuster.

Typische Architektur einesFeedforward-Netzes

Ausgangsmuster

Eingangsmuster

Output Layer

Input Layer

Hidden Layers

FB Elektrotechnik



Feedforward-Netze besitzen meist 3 aktive Neuronen-Schichten:• 2 Hidden Layers• 1 Output Layer

Typische Merkmale von Feedforward-Netzen sind:• kontinuierliche Ein-und Ausgangsgrößen• Sigmoid-Funktion als Aktivierungsfunktion• unterschiedliche Anzahl von Eingangsgrößen xi und Ausgangsgrößen yj

Hauptanwendungen von Feedforward-Netzen sind:• Mustererkennung• mathematische Modellierung statischer Systeme

FB Elektrotechnik



Mathematische Beschreibung von Feedforward-Netzen:

Zur Erinnerung - allgemeine mathematische Beschreibung einesNeurons:

x1

x2

xn

y

w1

w2

wn

G(x) F(G)

θ

θ+= ∑

=

n

iii xwFy

1

( )wFy T ⋅= x

Eine Schicht eines neuronalen Netzes enthält viele Neuronen. Für das j-te Neuron gilt:

x1

x2

xn

y

w1j

w2j

wnj

G(x) F(G)

θj

θ+= ∑

=

n

ijiijj xwFy

1

( )jT

j wFy ⋅= x

Neuron j

FB Elektrotechnik



Betrachten wir jetzt ein einfaches Feedforward-Netz mit 2 aktiven Schichten:

Ausgangsmuster

Eingangsmuster

Output Layer

Input Layer

Hidden Layer1. aktive Schicht mit 5 Neuronen

2. aktive Schicht mit 3 Neuronen

inaktive Eingangsschichtmit 4 Neuronen

z1 z2 z3

y1 y2 y4y3 y5

x2 x3x1 x4

x2 x3x1 x4

FB Elektrotechnik



w4jw1j

+

F(G)

w2j w3j

Neu

ron

j

yjDer Ausgang yj eines Neurons deruntersten aktiven Schicht (hierHidden Layer) wird beschrieben mit

( )jT

j Fy wx ⋅=

wobeiT

Njjjj www ],....,,[ 21=w

Diese Schicht hat jedoch M Ausgangsgrößen (hier M=5), also y1, y2, y3, y4, y5.In einer Matrix-Vektor-Darstellung ergibt sich für folgender Ausdruck zurBerechnung der der M Ausgangsgrößen der untersten aktiven Schicht:

(hier sei θ = 0)

[ ] [ ]( )MjT

M Fyyy wwwx ,....,,....,,.....,, 121 ⋅= (hier M = 5)

x2 x3x1 x4

x2 x3x1 x4und N - Anzahl der

Eingangsgrößen (hier N = 4)

FB Elektrotechnik



bzw. ( )Wxy ⋅= TT F

wobei

[ ]

==

NMNjN

Mj

Mj

www

www

......

...............

......

,....,,....,

1

1111

1 wwwW

die Gewichtsmatrix des betrachteten Layers des neuronalen Netzes ist.

Bezeichnen wir die Gewichtsmatrix des untersten bzw. 1. aktiven Layers mit W1 unddie des nächsten bzw. 2. aktiven Layers mit W2, so ergibt sich folgendemathematische Beschreibung des betrachteten neuronalen Netzes mit 2 aktiven Layer:

( ) ( )( )( )1

212

Wxy

WWxWyz

⋅=

⋅⋅=⋅=TT

TTT

F

FFFOutput Layer:

Hidden Layer:

FB Elektrotechnik



( )Wxy ⋅= TT FErläuterungen zur Beziehung

w41w11

+w21 w31

Neu

ron

1

y1

w42w12

+w22 w32

Neu

ron

2

y2

w43w13

+w23 w33

Neu

ron

3

y3

x1 x2 x4x3

4433332231133

4423322221122

4413312211111

xwxwxwxwy

xwxwxwxwy

xwxwxwxwy

⋅+⋅+⋅+⋅=⋅+⋅+⋅+⋅=⋅+⋅+⋅+⋅=

Dieses Netz kann durch einGleichungssystem beschrieben werden:

Betrachten wir dasnebenstehende Netz (in demdie Aktivierungsfunktion F(G)vernachlässigt wurde)

bzw. in Vektor-und Matrizen-schreibweise

⋅

=

4

3

2

1

43332313

42322212

41312111

3

2

1

x

x

x

x

wwww

wwww

wwww

y

y

y

FB Elektrotechnik



Multiplikation von Matrizen:1. Anzahl der Spalten der Matrix A muß gleich Anzahl der Zeilen von Matrix B sein.2. Anzahl der Zeilen von Matrix C ist gleich Anzahl der Zeilen von Matrix A.3. Anzahl der Spalten von Matrix C ist gleich Anzahl der Spalten von Matrix B.

Wie berechnet man ein Element der Matrix C ?

cij= i-Zeilenvektor der Matrix A multipliziert mitj-ten Spaltenvektor der Matrix B

Matrix A:3 Zeilen4 Spalten

Matrix B:4 Zeilen2 Spalten

Matrix C:3 Zeilen2 Spalten

⋅

=

4241

3231

2221

1211

34333231

24232221

14131211

3331

2221

1211

bb

bb

bb

bb

aaaa

aaaa

aaaa

cc

cc

cc

Beispiel:422432232222122122 babababac +++=

Weitere Regeln:

( ) ( )( )

( ) TTT ABBA

ABBA

CABACBA

CBACBA

⋅=⋅

⋅≠⋅⋅+⋅=+⋅

⋅⋅=⋅⋅

!!!!!!!!!!!!

transponierte Matrizen

Zur Erinnerung - etwas Matrizenrechnung

FB Elektrotechnik



Was ist eine transponierte Matrix ?

Das Transponieren einer Matrix

bedeutet Vertauschen der Indizes, also Tjiij aa = bzw.

=

342414

332313

322212

312111

aaa

aaa

aaa

aaa

TA

=

34333231

24232221

14131211

aaaa

aaaa

aaaa

A

Beim Transponieren geht ein Spaltenvektor in eineZeilenvektor über (und umgekehrt).

=

4

3

2

1

x

x

x

x

x

Beispiel:

[ ]4321 xxxxT =x

Spaltenvektor

Zeilenvektor

FB Elektrotechnik



⋅

=

4

3

2

1

43332313

42322212

41312111

3

2

1

x

x

x

x

wwww

wwww

wwww

y

y

y

xy ⋅

=

43332313

42322212

41312111

wwww

wwww

wwww

Anstelle von

kann man auch schreiben:

mit

=

4

3

2

1

x

x

x

x

x

=

3

2

1

y

y

y

y

T

T

wwww

wwww

wwww

⋅

= xy

43332313

42322212

41312111

( ) TTT ABBA ⋅=⋅ T

TT

wwww

wwww

wwww

⋅=

43332313

42322212

41312111

xy

Beide Seiten der Gleichung werden nun transponiert:

Mit erhält man

FB Elektrotechnik



T

wwww

wwww

wwww

www

www

www

www

=

=

43332313

42322212

41312111

434241

333231

232221

131211

W

und mit

kommt man zur Schreibweise

( )Wxy ⋅= TT F

Wxy ⋅= TT

bzw. bei Berücksichtigung der Aktivierungsfunktion F(G):

[ ] [ ]

⋅=

434241

333231

232221

131211

4321321 ,,,,,

www

www

www

www

xxxxyyy Beispiel

FB Elektrotechnik



1. Zeile

1.Sp

alte

3.Sp

alte

2.Sp

alte

[ ] [ ]

⋅=

434241

333231

232221

131211

4321321 ,,,,,

www

www

www

www

xxxxyyy

1.Sp

alte

3.Sp

alte

2.Sp

alte

Wenden wir nun auf yT=xTW die Multiplikationsregel für Matrizen an, soerhalten wir das ursprüngliche Gleichungssystem:

( ) ( )

( ) ( )

( ) ( )443333223113

133

442332222112

122

441331221111

111

derMatrixtorSpaltenvek.3derMatrixorZeilenvekt.1



xwxwxwxw

yy

xwxwxwxw

yy

xwxwxwxw

yy

⋅+⋅+⋅+⋅=⋅==

⋅+⋅+⋅+⋅=⋅==

⋅+⋅+⋅+⋅=⋅==

Wx

Wx

Wx

FB Elektrotechnik



Feedback-Netze:

Feedback-Netze enthaltenneben den üblichenVorwärts-Verbindungen(von „unten nach oben“ -hier schwarze Linien) auchRückkopplungen innerhalbdes eigenen Layers (hierrote Linien) oder von einenhöheren Layer in tiefergelegene Layer (hier blaueLinien).

Die mathematischeBeschreibung erfolgtmittels rekursiverMethoden.

(Auf eine Behandlung dieser Methoden wird hier verzichtet.)

FB Elektrotechnik



Feedbeack-Netze besitzen meist nur eine Neuronen-Schicht(aber nicht immer).

Typische Merkmale von Feedback-Netzen sind:• meist binäre Ein-und Ausgangsgrößen• Hard-Limiter als Aktivierungsfunktion• meist gleiche Anzahl von Eingangsgrößen xi und Ausgangsgrößen yj

(in Feedback-Netzen mit nur einer Neuronen-Schicht).

Hauptanwendungen von Feedback-Netzen sind:• Mustervervollständigung (Assoziativspeicher)

FB Elektrotechnik



4. Grundvarianten der Musterverarbeitung4. Grundvarianten der Musterverarbeitung4. Grundvarianten der Musterverarbeitung

Eines der wichtigsten Einsatzgebiete der neuronalen Netze ist dieMusterverarbeitung.

Man unterscheidet dabei 4 Grundvarianten:

1. Mustererkennung2. Musterzuordnng3. Mustevervollständigung4. Mustereinteilung

FB Elektrotechnik



Ein bestimmtes Eingangsmuster (Vektor x) wird EINEM Element des Ausgangsvektorszugeordnet, d.h. es erfolgt eine Klassifikation bzw. Auswahl.In den Beispielen konnen die Eingangsmuster 10 unterschiedlichen Ziffern zugeordnetwerdenIm Beispiel 1 erkennt das neuronale Netz aus der Sprachprobe die Ziffer 0, im Beispiel 2die Ziffer 3.

[ ] [ ]TTxxxxx 0,0,0,0,0,0,0,0,0,1,,,, 54321 =→= yx

x1 x2 x3 x4 x5

neuronales Netz

0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9

x1 x2 x3 x4 x5

neuronales Netz

[ ] [ ]TTxxxxx 0,0,0,0,0,0,1,0,0,0,,,, 54321 =→= yx

Beispiel 1: Beispiel 2:

Mustererkennung (1)

FB Elektrotechnik



Netzarchitektur:• vorzugsweise Feedforward-Netze

Training:• mit Hilfe aller möglichen Beispielpaare „Eingangsmuster ! Ausgangsmuster“ bzw.

Mustererkennung (2)

Anwendungen:• Spracherkennung (Sprachprobe ! binär kodiertes Wort bzw. Ziffer)• Bilderkennung (digitalisiertes Bild von Bauteilen ! Kode des Bauteils)• Diagnose (Symptome ! Krankheit)• Qualitätskontrolle (digitalisiertes Bild des Bauteils ! gut/schlecht-Entscheidung)

[ ] [ ]TTNxxx 0,....,0,1,....,, 002010 =→= yx

[ ] [ ]TTNxxx 0,....,1,0,....,, 112111 =→= yx

[ ] [ ]TTMNMMM xxx 1,....,0,0,....,, 21 =→= yx

FB Elektrotechnik



Ein bestimmtes Eingangsmuster (Vektor x, bestehend aus N Elementen) wird einemanderen Ausgangsmuster (Vektor y, bestehend aus M Elementen) Ausgangsvektorszugeordnet, d.h. es erfolgt eine Transformation.

[ ] [ ]TT 0,1,1,1,1,1,1,01,0,0,0,0,0,0,0,0,1,1,0,0,0,0,0 =→= yx


Musterzuordnung (1)

x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x12 x13 x14 x15 x16

neuronales Netz

0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 1

y1 y2 y3 y4 y5 y6 y7 y8

0 1 1 1 1 1 1 0


neuronales Netz

0 0 0 0 0 0 0 1 0 0 0 0 0 0 1 1

y1 y2 y3 y4 y5 y6 y7 y8

1 1 0 0 1 0 1 1

[ ] [ ]TT 1,1,0,1,0,0,1,11,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0 =→= yx

FB Elektrotechnik



Netzarchitektur:• vorzugsweise Feedforward-Netze

Training:• mit Hilfe aller möglichen Beispielpaare „Eingangsmuster ! Ausgangsmuster“ bzw.

Anwendungen:• Sprachkomprimierung• Bildkomprimierung• Filterung verrauschter Signale• Signalprädiktion, d.h. Vorhersage der nächsten zu erwartenden Signalwerte• Regelung: Regelabweichung = Eingangsmuster ! Stellgröße = Ausgangsmuster

[ ] [ ]TMT

N yyyxxx 002010002010 ,....,,,....,, =→= yx

Musterzuordnung (2)

[ ] [ ]TMT

N yyyxxx 112111112111 ,....,,,....,, =→= yx

[ ] [ ]TLMLLLT

LNLLL yyyxxx ,....,,,....,, 2121 =→= yx

L - Anzahl der zumTrainingvorliegendenEingangsmuster

FB Elektrotechnik



Mustervervollständigung (1)

Nicht alle Elemente des Eingangsmusters sind bekannt (unvollständies oder gestörtesEingangsmuster).Das neuronale Netz rekonstruiert das vollständige Eingangsmuster ! Assoziativspeicher.

[ ][ ]T

T

0,0,0,0,1,1,1,0,0,0,1,1,0,0,1,0

0,0?,,0,1,1,1,0?,?,,1,1,0?,,1,0

=→

=

y

x


0 1 ? 0 1 1 ? ? 0 1 1 1 0 ? 0 0 0 ? ? 1 0 0 1 ? 0 0 1 1 0 ? 1 1


neuronales Netz

y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 y11 y12 y13 y14 y15 y16


neuronales Netz

y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 y11 y12 y13 y14 y15 y16

0 1 0 0 1 1 0 0 0 1 1 1 0 0 0 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1

[ ][ ]T

T

1,1,0,0,1,1,0,0,1,1,0,0,1,1,0,0

1,1?,,0,1,1,0,0?,,1,0,0,1?,?,,0

=→

=

y

x

FB Elektrotechnik



Netzarchitektur:• Feedback-Netze

Training:• nur mit Hilfe der vollständigen Eingangsmuster

[ ]T0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,00 =x


[ ]T1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,11 =x

[ ]T1,0,1,0,1,0,1,0,1,0,1,0,1,0,1,02 =x

[ ]T0,0,0,0,1,1,1,0,0,0,1,1,0,0,1,04 =x

[ ]T1,1,0,0,1,1,0,0,1,1,0,0,1,1,0,03 =x

Das neuronale Netz speichert die vollständigen Muster.Das unvollständige Eingangsmuster wird auf das vollständige Muster abgebildet, demes am ähnlichsten ist (geringste Abweichung).Somit arbeitet das neuronale Netz wie ein Assoziativspeicher.

FB Elektrotechnik



Anwendungen:


Beispiel 1:

[ ]T0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,00 =x

[ ]T1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,11 =x

[ ]T1,0,1,0,1,0,1,0,1,0,1,0,1,0,1,02 =x

[ ]T0,0,0,0,1,1,1,0,0,0,1,1,0,0,1,04 =x

[ ]T1,1,0,0,1,1,0,0,1,1,0,0,1,1,0,03 =x[ ]T0,0?,,0,1,1,1,0?,?,,1,1,0?,,1,0=x

[ ]T0,0,0,0,1,1,1,0,0,0,1,1,0,0,1,0=y

unvollständigesEingangsmuster

Menge aller vollständigenEingangsmuster

AnzahlFehler

10

10

8

114

identifiziertesAusgangsmuster

Beispiel 2:[ ]T0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,00 =x

[ ]T1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,11 =x

[ ]T1,0,1,0,1,0,1,0,1,0,1,0,1,0,1,02 =x

[ ]T0,0,0,0,1,1,1,0,0,0,1,1,0,0,1,04 =x

[ ]T1,1,0,0,1,1,0,0,1,1,0,0,1,1,0,03 =x

unvollständigesEingangsmuster

10

10

9

411

[ ]T1,1?,,0,1,1,0,0?,,1,0,0,1?,?,,0=x

[ ]T1,1,0,0,1,1,0,0,1,1,0,0,1,1,0,0=y

• Daten-Rekonstruktion• Diagnose• Optimierung

FB Elektrotechnik



Ähnlich wie bei der Mustererkennung werden die Eingangsmuster klassifiziert und einemCluster mit bestimmten Merkmalen zugeordnet.Im Unterschied zur Mustererkennung sind gewöhnlich ALLE Elemente desAusgangsvektors ≠ 0. Die Klassifizierung erfolgt anhand des Maximums (oder Minimums)

[ ] [ ]TT 3,131,0,0,0,0,0,0,0,0,1,1,0,0,0,0,0 =→= yx


Muster-Clusterisierung (1)


neuronales Netz

0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 1

y0


neuronales Netz

0 1 1 1 1 0 0 1 0 1 1 1 0 0 1 1

[ ] [ ]TT 10,61,1,0,0,1,1,1,0,1,0,0,1,1,1,1,0 =→= yx

y1

13 3

y0 y1

6 10

FB Elektrotechnik



Muster-Clusterisierung (2)

Netzarchitektur:• spezielle einschichtige Netze

Training:• erfolgt NUR mit Hilfe der Eingangsmuster.• Per selbstorganisation werden Clustermerkmale erkannt und wird die

Klassenzugehörigkeit zu einem Cluster ermittelt.

Anwendungen:• sehr breit gestreut, von

• Spracherkennung••• Robotik• Vorhersage• Optimierung

bis

FB Elektrotechnik



5. Lernverfahren5. Lernverfahren5. Lernverfahren

Prinzipieller Ablauf des Lernvorgangs in neuronalen Netzen

Die vielen Lernverfahren können in 2 große Gruppen geteilt werden:• supervised learning, bei dem die Regeln dem Lernfortschritt angepaßt werden

und die iterativ arbeiten• unsupervised learning, bei dem man nach einer fest vorgegebenen Regel

arbeitet und die Koeffizienten meist in einem Arbeitsschritt bestimmt.

Die Lernverfahren arbeiten meist nach folgendem Muster (Ausnahme -Selbstorganisation):

1. Man startet mit einem Netzwerk mit Anfangswerten für dieGewichtskoeffizienten wij (zufällig ausgewählte Anfangswerte oder auchAnfangswerte wij = 0).

2. Auf Basis der gegebenen Eingangsmuster (und ggf. Ausgangsmuster) undbestimmt man mit Hilfe bestimmter regeln die Gewichtskoeffizienten.

3. Es gibt eine Vielzahl von Regeln und folglich eine Vielzahl von Lernverfahren.

FB Elektrotechnik



Unsupervised Learning

Das unsupervised learning ist ein sehr einfaches Verfahren, das folgendem Schemafolgt:

unbekanntes System

neuronales Netz

„Trainer“

Eingangsmuster Soll-Ausgangsmuster

Lernregel (Regel zurBerechnung derKoeffizienten)

Eine Überwachung des Lernprozesses findet nicht statt.

Hier soll nur eines der einfachsten Verfahren beispielhaft betrachtet werden - dieHebb‘sche Lernregel.

FB Elektrotechnik



Hebb‘sche Lernregel:

w41w11

+

F(G)

w21 w31

Neu

ron

1

y1

w42w12

+

F(G)

w22 w32

Neu

ron

2

y2

w43w13

+

F(G)

w23 w33

Neu

ron

3

y3

x1 x2 x4x3

Die Hebb‘sche Lernregel gehtvon dem intuitiven Ansatzaus, daß die Änderung einesGewichtsfaktors proportionalzur Größe seinesEingangswertes und seinesAusgangswertes sein soll,also ∆wij = xiyj .

Dies gilt natürlich für alle Gewichtskoeffizienten, so daß man schreiben kann

[ ]321

4

3

2

1

434241

333231

232221

131211

,, yyy

x

x

x

x

www

www

www

www

⋅

=

=

∆∆∆

∆∆∆

∆∆∆

∆∆∆

∆W bzw. TyxW ⋅=∆

wobei ein Element der Matrix wiefolgt berechnet wird: jiij yxw ⋅=∆

FB Elektrotechnik



Nach der Hebb‘schen Regel werden zunächst für jedes der vorhandenen Paare„Eingangsvektor ! Ausgangsvektor (x ! y)“ die Gewichtsfaktoren mit Hilfe derFormel

einzeln und getrennt berechnet und dann einfach summiert, also

KK jijijiij yxyxyxw ⋅++⋅+⋅= .....2211

( ) ∑=

⋅==K

kk

TkK

1

yxWW

Geht man nun davon aus, daß man K Musterpaare für den Lernvorgang hat und zuBeginn des Lernvorgangs alle wij = 0, so ergibt sich folgende einfache Formel für dieBestimmung der Gewichtsmatrix:

jiij yxw ⋅=∆

FB Elektrotechnik



Beispiel:

x1 x2

+w11 w21

y1

+w12 w22

y2

+w14 w24

y4

+w13 w23

y3

Anzahl der Musterpaare = 4

Lerntabelle

x1 x2 y1 y2 y3 y4

-1 -1 1 0 0 0

+1 -1 0 1 0 0-1 +1 0 0 1 0+1 +1 0 0 0 1

k

1

234

( ) ( ) ( ) ( ) 10101011144332211 11111111

4

11111 −=⋅++⋅−+⋅++⋅−=⋅+⋅+⋅+⋅=⋅=∑

=yxyxyxyxyxw

kkk

( ) ( ) ( ) ( ) 10101011144332211 12121212

4

11221 −=⋅++⋅++⋅−+⋅−=⋅+⋅+⋅+⋅=⋅=∑

=yxyxyxyxyxw

kkk

( ) ( ) ( ) ( ) 10101110144332211 21212121

4

12112 +=⋅++⋅−+⋅++⋅−=⋅+⋅+⋅+⋅=⋅=∑

=yxyxyxyxyxw

kkk

( ) ( ) ( ) ( ) 10101110144332211 22222222

4

12222 −=⋅++⋅++⋅−+⋅−=⋅+⋅+⋅+⋅=⋅=∑

=yxyxyxyxyxw

kkk

FB Elektrotechnik



( ) ( ) ( ) ( ) 10111010144332211 31313131

4

13113 −=⋅++⋅−+⋅++⋅−=⋅+⋅+⋅+⋅=⋅=∑

=yxyxyxyxyxw

kkk

( ) ( ) ( ) ( ) 10111010144332211 32323232

4

13223 +=⋅++⋅++⋅−+⋅−=⋅+⋅+⋅+⋅=⋅=∑

=yxyxyxyxyxw

kkk

( ) ( ) ( ) ( ) 11101010144332211 41414141

4

14114 +=⋅++⋅−+⋅++⋅−=⋅+⋅+⋅+⋅=⋅=∑

=yxyxyxyxyxw

kkk

( ) ( ) ( ) ( ) 11101010144332211 42424242

4

14224 +=⋅++⋅++⋅−+⋅−=⋅+⋅+⋅+⋅=⋅=∑

=yxyxyxyxyxw

kkk

Überprüfungdes Ergebnisses:

x1 x2

+-1 -1

y1

++1 -1

y2

++1 +1

y4

+-1 +1

y3

x1 x2

-1 -1 2 0 0 -2

+1 -1 0 2 -2 0-1 +1 0 -2 2 0+1 +1 -2 0 0 2

k

1

234

y 1=

-x1-

x 2

y 2=

+x 1

-x2

y 3=

-x1+

x 2y 4

=+

x 1+

x 2

FB Elektrotechnik



x1 x2

+-1 -1

y1

++1 -1

y2

++1 +1

y4

+-1 +1

y3

x1 x2

-1 -1 2 0 0 -2

+1 -1 0 2 -2 0-1 +1 0 -2 2 0+1 +1 -2 0 0 2

k

1

234

y 1*=

-x1-

x 2

y 2*=

+x 1

-x2

y 3*=

-x1+

x 2y 4

*=+

x 1+

x 2

θ θ θ θF(G) F(G)F(G)F(G)

Fügt man nun die Korrekturgrößeθ = −0,5 ein und nutzt den Hard-Limiter

≥−=<−=

=05,01

05,00)( *

*

j

j

yG

yGGF

G

F(G)1

so erhält man das gewünschte Netzverhalten:

y1 y2 y3 y4

1 0 0 0

0 1 0 00 0 1 00 0 0 1

FB Elektrotechnik



Supervised Learning

Der Lernvorgang erfolgt hier iterativ, indem die Änderung der Gewichtskoeffizientendurch den Abstand zwischen Soll-Ausgangsmuster und Ist-Ausgangsmuster gesteuertwird:

unbekanntes System

neuronales Netz

„Trainer“

Eingangsmuster Soll-Ausgangsmuster

LernregelIst-Ausgangsmuster

Abweichung

Die bekannteste Regel für das supervised learning ist die Delta-Regel.

FB Elektrotechnik



Delta-Regel:

Die Delta-Regel soll am Beispiel eines einfaches Netzes aus nur einem Neuronerläutert werden:

w1

w2

wN

x1

x2

xN

Σy

mittlererquadratischer

Fehler

ySoll-Ausgangswert

Ist-Ausgangswert (für die eingestellten Gewichtsfaktoren)

( )2

1

2 ˆˆ

⋅−=−=ε ∑

=

N

iii xwyyy

Meist verwendet man den mittleren quadratischen Fehler zur Bewertung derAbweichung des Ist-Ausgangswertes vom Soll-Ausgangswertes.

FB Elektrotechnik



( )2

1

2 ˆ2

1ˆ

2

1

⋅−=−=ε ∑

=

N

iii xwyyyAus dem Ausdruck

geht hervor, daß ε eine quadratische Funktion des Gewichtskoeffizienten wi ist undein Minimum besitzt, das offensichtlich dem optimalen Wert desGewichtskoeffizienten wi entspricht.:

Dieses Optimum findet man iterativ mitHilfe des Gradientenverfahrens. ε

wi

wi(s-1)wi(s) wiopt.

∆ε

∆wi

Je steiler die Tangente im Punkt ε(wi(s-1))ist, desto weiter befinden wir uns vomOptimum entfernt und um so größer ist derSchritt auf der wi -Achse zu wählen.

( ) ( )110lim

−=−=→∆ ∂ε∂=ε

∆

∆

swwiswwiwiiiii

ww

Die Steilheit der Tangente im Punkt wi(s-1)wird bestimmt durch den Wert der partiellenAbleitung in diesem Punkt:

He

rle

itu

ng

FB Elektrotechnik



)1(

)1()(−=∂

ε∂⋅β−−=swwi

ii

iiw

swsw

Befinden wir uns rechts vom Optimum, so hat die partielle Ableitung einen positivenWert, aber der Wert von wi muß verkleinert werden. Daraus ergibt sich die Regel

wobei β - ein Proportionalitätsfaktor ist, der die Schrittgröße bestimmt.

Dieser Algorithmus soll an einem einfachen Beispiel erläutert werden.

0

20

40

60

80

100

120

140

160

-5,5 -5 -4,5 -4 -3,5 -3 -2,5 -2 -1,5 -1 -0,5 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 5,5

1.

2.

w(1) w(2) w(0)

ε

w

Es sei 25w=ε

Dann istw

w10=

∂ε∂

Als zufälligen Startwertwählen wir w(0)=5.

Als Proportionalitätsfaktorwählen wir β = 0,15.

FB Elektrotechnik



Schritt s

0 +5

1 +50

2 -25

3 +12,5

4 -6,25

)1(

)1()(−=∂


ii

iiw

swsw)1( −=∂

ε∂

swwiii

w

( ) 5,25015,05)1( −=+⋅−+=w

( ) 25,12515,05,2)2( +=−⋅−−=w

( ) 625,05,1215,025,1)3( −=+⋅−+=w

( ) 31,025,615,0625,0)4( +=−⋅−−=w

0

1

2

3

4

5

-1 -0,5 0 0,5 1w(3) w(4)

3.

4.

0

5

10

15

20

25

30

35

40

-2,5 -2 -1,5 -1 -0,5 0 0,5 1 1,5 2 2,5

2.

3.

w(1) w(3) w(2)

FB Elektrotechnik



( ) iii xsyyswsw ⋅−−⋅β+−= )1(ˆ)1()(

wobeiwi(s-1) - der Wert des Gewichts-

koeffizienten wi ist, der beimvorhergehendenIterationsschritt ermittelt wurde;

y(s-1) - der mit wi(s-1) berechneteAusgangswert (Ist-Wert) ist;

β - ein (konstanter) Lernfaktor istDiese Formel gilt nur für EIN Eingangsmuster.

)1(

)1()(−=∂


ii

iiw

swsw

( )

⋅+⋅−=

⋅−=−=ε ∑ ∑∑

= ==

N

i

N

iiiii

N

iii xwxwyyxwyyy

1

2

1

22

1

2 ˆ2ˆ2

1ˆ

2

1ˆ

2

1

Um zu einer für den Lernprozeß brauchbaren Formel zu kommen, müssen wirdie partielle Ableitung für die bekannte Abhängigkeit des mittleren quadratischenFehlers vom betrachteten Gewichtskoeffizienten wi ermitteln:

( )( )

( )( )( ) ii

sy

iiswwi

xsyyxxswyw

ii

⋅−−−=⋅

⋅−−−=

∂ε∂

−−=1ˆ1ˆ

114 34 21

da nur die Änderung eines bestimmtenKoeffizienten wi betrachtet wird unddamit die partielle Ableitung für alle

anderen Terme gleich Null ist

Damit erhält man aus

( ) ( ) iiiiiii

xxwyxwxyw

⋅⋅−−=⋅+⋅−=∂

ε∂ˆ2ˆ2

2

1 2

He

rle

itu

ng

FB Elektrotechnik



Für K Eingansmuster gilt:

( )ki

K

kkkii xsyyswsw ⋅−−⋅β+−= ∑

=1

)1(ˆ)1()(

Die Iteration wird abgebrochen, wenn mit dem nächsten Schritt keine Verkleinerungdes mittleren quadratischen Fehlers mehr erreicht wird.

Die Delta-Regel funktioniert nur für einschichtige Neuronale Netze.Mehrschichtige neuronale Netze können nicht mit der Delta-Regel trainiert werden, dasie nicht festlegt, wie die Gewichte der Zwischenschichten optimiert werden können.

1985 wurde von Rumelhart eine Regel für mehrschichtige Feedforward-Netzeentwickelt, die noch heute am meisten angewandt wird - die Backpropagation-Regel.

Die Backpropagation-Regel wird im Zusammenhang mit den Multilayer-Perceptron(MLP) behandelt.

Ein Beispiel für die Anwendung der Delta-Regel wird im Zusammenhang mit demAdaline behandelt

FB Elektrotechnik



6. Klassifikation bzw. Paradigmen neuronaler Netze6. Klassifikation bzw. Paradigmen neuronaler Netze6. Klassifikation bzw. Paradigmen neuronaler Netze

Neuronale Netze unterscheiden sich1. in der Art und Weise des Lernens2. in ihrer Architektur3. in ihrer Eingangs-/Ausgangsrelation4. in der Art der Bestimmung der Musterklassen5. nach der Art der Eingangs- und Ausgangssignale6. nach der Art der Berechnung der Netzwerke

sogenannteParadigmenneuronalerNetze

1. Lernen(a) supervised(b) un-supervised

2. Architektur(a) feedforward - einschichtig(b) feedforward - mehrschichtig

(c) feedback - einschichtig(d) feedback - mehrschichtig

3. Eingangs-/Ausgangsrelation(a) Netze mit Musterzuordnung(b) Netze als Assoziativspeicher

4. Musterklassen(a) fest vorgegebene Anzahl

von Mustern mit typischenMerkmalen

(b) Musterbestimmung mittelsSelbstorganisation

5. Art der Signale(a) binär (digital)(b) kontinuiertlich (analog)

6. Art der Berechnung(a) determenistisch(b) probalistisch (mit

Methoder derWahrscheinlichkeits-theorie)

FB Elektrotechnik



Lernen Architektur Eingangs-/Ausgangs-relation

Muster-klassen

Art derSignale

Art derBerechnung

supervisedPerceptron

Adaline

Madaline

MLP

TDNN

Rek. MLP

Steinbuch

Matrix

supervised

supervised

supervised

supervised

supervised

un-supervised

un-supervised

Feedforwardeinschichtig

Name desneuronalen

Netzes



Feedforwardmehrschichtig


Feedbackmehrschichtig


Hopfield un-supervised


Feedbackeinschichtig

Muster-zuordnung

Muster-zuordnung

Muster-zuordnung

Muster-zuordnung

Muster-zuordnung

Muster-zuordnung

Assoziativ-speicher

Assoziativ-speicher

Assoziativ-speicher

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

analog

analog

binär /analog

analog

analog

analog

analog

binär

binär

deter-ministisch

deter-ministisch

deter-ministisch

deter-ministisch

deter-ministisch

deter-ministisch

deter-ministisch

deter-ministisch

deter-ministisch

FB Elektrotechnik



Lernen Architektur Eingangs-/Ausgangs-relation

Muster-klassen

Art derSignale

Art derBerechnung

un-supervisedHaken

BAM

Hamming

BSB

ART

Counter

Kohonen

Boltzmann

un-supervised

un-supervised

un-supervised

un-supervised

un-supervised

un-supervised

supervised

Name desneuronalen

Netzes

probablistisch un-supervised

Muster-zuordnung /

Assoziativsp.

Muster-zuordnung

Muster-zuordnung

Muster-zuordnung

Assoziativ-speicher

Assoziativ-speicher

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

Selbst-organisat.

fest vor-gegeben

fest vor-gegeben

fest vor-gegeben

analog

analog

binär

analog

deter-ministisch

deter-ministisch

deter-ministisch

deter-ministisch

deter-ministisch

deter-ministisch

proba-listisch

deter-ministisch






Feedbackeinschichtig




Muster-zuordnung

Muster-zuordnung

Muster-zuordnung

Selbst-organisat.

binär /analog

analog

binär

binär

binär

proba-listisch

FB Elektrotechnik



7. Faustregeln zur Auswahl der Paradigmen und der Netzkonfiguration7. Faustregeln zur Auswahl der Paradigmen und der Netzkonfigurat7. Faustregeln zur Auswahl der Paradigmen und der Netzkonfigurationion

Auswahl des neuronalen Netzes:Das Multilayer Perceptron (MLP) ist fast immer einsetzbar. Ansonsten gilt:

• binäre Signale ! binäre Netze (einfacher zu trainieren), wie z.B. Steinbruch-Netze• keine Musterpaare vorhanden, sondern nur Eingangsmuster ! selbstorganisierende

Netze, z.B. ART-Netze (ART = Adaptive Resonance Theory)• Anzahl Trainingsdaten klein ! Assoziativnetze, z.B. Hopfield-Netze oder Hamming-

Netze• wahrscheinlichkeitstheoretisches Problem ? ! probalistische Netze, z.B. Probalistic

Neural nNetwork (PNN)

Netzdesign – Anzahl der Schichten und der Neuronen in den Schichten:Hier sind kaum Standard-Regeln verfügbar, meist muß man experimentieren.

Für MLP gelten folgende Empfehlungen:• 1 verdeckte Schicht und 1 Ausgabeschicht• Eingabevektor hat meist 20 – 200 Elemente• Ausgabevektor hat meist 2 – 100 Elemente• Anzahl der Neuronen in der verdeckten Schicht – 50 - 500

Neuronale Netze 03 - FB IKStlange/pdf/Neuronale Netze 1.pdf · FB Elektrotechnik Prof. Dr.-Ing....

Documents

Transcript of Neuronale Netze 03 - FB IKStlange/pdf/Neuronale Netze 1.pdf · FB Elektrotechnik Prof. Dr.-Ing....