Adaptive Systeme Prof. Rüdiger Brause WS 2011 Organisation Einführung in adaptive Systeme B-AS-1,...

Adaptive

SystemeProf. Rüdiger Brause

WS 2011

Organisation

„Einführung in adaptive Systeme“ B-AS-1, M-AS-1

• Vorlesung Dienstags 10-12 Uhr, SR9

• Übungen Donnerstags 12-13 Uhr, SR 9

„Adaptive Systeme“ M-AS-2

• Vorlesung Donnerstags 10-12 Uhr, SR9

• Übungen Donnerstags 13-14 Uhr, SR 9

Gemeinsames Übungsblatt, unterteilt in 2 Teile

Ausgabe: Dienstags, Abgabe: Dienstags

Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011 - 2 -


Vorschau Themen

1. Einführung und Grundlagen

2. Lernen und Klassifizieren

3. Merkmale und lineare Transformationen

4. Lokale Wechselwirkungen: Konkurrentes Lernen

5. Netze mit RBF-Elementen

6. Rückgekoppelte Netze

7. Zeitdynamik und Lernen

8. Fuzzy-Systeme, Evolutionäre und genetische Algorithmen

9. Simulationstechnik


Arten von Adaptiven Systeme

Vorbild Gehirn Neuronale Netze Psychologisch-kognitive Modelle

Biologische Systeme Evolutionäre Systeme Schwarm-Intelligenz: Ameisen-Algorithmen,... Molekular-genetische Selbstorganisation

Soziale Systeme Gruppenprozesse Soziale Selbstordnung

Physikalische Systeme Synergieeffekte

Technische Systeme


Selbst-anpassende Systeme - statt programmieren

Beispiel: Temperaturregler statt fester Heizeinstellung

„Lernende“ Systeme Trainierte Systeme (Trainingsphase-Testphase) Selbstlernende Systeme (Orientierung an Daten)

Einleitung: Was sind Adaptive Systeme ?

HeizungVorgabe

Adapt. Regelung

Sensor


Einsatzgebiete Adaptiver Systeme

Echtzeitreaktionen Stahlwalzstraßen, Flugzeugsteuerung,..

Analytisch unbekannte AbhängigkeitenPolymerchemie, DNA-Schätzungen, ..

Analytisch nicht zugängige Abhängigkeitenpsychische Faktoren, ergebnisverändernde Messungen,..

Analytisch nur unter großem Aufwand bearbeitbare,hochdimensionale Gesetzmäßigkeiten Wechselkursabhängigkeiten,..

Statistische Analysen durch untrainierte Benutzer (?!)

Klassifizierung

Grundlagen

Modellierung



Vorbild Gehirn


Das Vorbild: Gehirnfunktionen

Unterteilung des Gehirns in funktionale Bereiche

Gehirn = 2-dim „Tuch“



Unterteilung der Neuronenschicht: Darstellungsarten



Neuronentypen

a)-c) Pyramidenzellen

f,h) Stern/Glia zellen



Pyramidalzellen


Spikes


Signalverarbeitung Output



Signalverarbeitung Input

Ruhe-potential

Eingabe ZellkernFrequenzmodulierung Dekodierung

Einheitsladungen

Zell-Potential ~ Eingabe-Spikefrequenz



Signalverarbeitung Input-OutputTintenfisch-Riesenneuron: Ausgabe-Spikefrequenz ~ Zellstrom

Lineares Modell

Zell-Potential ~ Eingabe-Spikefrequenz Ausgabe-Spikefrequenz ~ Zellstrom

Ausgabe-Freq. ~ Eingabe-Freq.

Klassifizierung

Grundlagen

Modellierung



Modellierung

Informatik: Granularität Paralleler Aktivität

Grob: Computer, Jobs (Lastverteilung) wenig Komm.

Fein: Multi-CPU, Threads viel Komm.

Sehr fein: formale Neuronen, Funktionen sehr viel Komm


Modellierung formaler Neuronen

x1 x2x3

w1w2 w3

y

z

Akti-vierung

Ausgabe (Axon)

Gewichte (Synapsen)

Eingabe (Dendriten)x = (x1, ... ,xn)

w = (w1, ... ,wn)

Dendriten

Axon

Zellkörper

Synapsen

i

n

1iixw

y = S(z) z = = wTxsquashing

function

radial basis function

Ausgabefunktionen


Formale Neuronen

Code-Beispiel „formales Neuron“

float z (float w[ ],float x[ ]) {/* Sigma-Neurons: Aufsummieren aller Eingaben */float sum;

sum = 0; /* Skalarprodukt bilden */ for (int i=0;i<length(x);i++) {

sum= sum + w(i)*x(i); } return sum;}

float S (float z) {(* begrenzt-lineare Ausgabefunktion*)float s=1.0; float Zmax=1; float k=Zmax/s;

z = z*k;if (z> s) z = Zmax;if (z<-s) z =-Zmax;return z;

}

Aktivität

Ausgabe


DEF Schicht

Schichten

x = (x1 x2 xn)

neural layer

y = (y1 y2 ym)


Modellierung der Netze

Feed-forward vs. Feedback-Netze

DEF feedforward Netz der gerichtete Graph ist zyklenfrei

Problem: feedforward oder nicht?


lineare Schicht

Lineare Transformation mit NN

x = (x1 x2 xn)

neurallayer

y = (y1 y2 ym)

)w,...,(w=y

) w,...,(w =y

mnm1m

1n111

x

x

y = = W·x Matrix-Multiplikation

y

y

w w

w w

x

xn

n

m mn n

1 11 1

1

1

Klassifizierung

Grundlagen

Modellierung



Klassenbildung

Erfahrung: Es gibt ähnliche Dinge, „Arten“, „Klassen“,

z.B. Buchstabe A

? Woher kommt das ?

Plato: Ideen angeboren

Ideenlehre:

Dinge in Reinstform von der Seele im Jenseits gesehen,

Erfahrung davon = „wie Schatten an einer Wand“(Höhlenmetapher)

Aristoteles: Ideen erworben

Zuerst werden Dinge mit den

Sinnen erfaßt,

dann die Idee dazu entwickelt


Klassenbildung: Beispiel Iris

Iris Setosa Iris Virginica


Klassenbildung heute

Objekte werden durch Merkmale beschrieben z.B. qualitativ Mensch = (groß, braune Augen, dunkle Haare, nett, ...)

quantitativ Mensch = (Größe=1,80m, Augenfarbe=2, Haarfarbe=7, ...)

Idee = Form = „Klassenprototyp“

Breite

Höh

e Muster eines Objekts

(Breite, Höhe) = x

Breite

c2

Höh

e

c1

Trennung von Klassen

Blütensorte 1 Blütensorte 2

Klassenprototyp

Klassifizierung = Ermitteln der Geradengleichung bzw Parameter c1,c2.


Klassentrennung

Breite x1

c2

Höh

e x

2

c1

Klassentrennung durch Trenngerade

mit f(x1) = x2= w1x1+w3

z<0 z=0 bzw. z := w1x1+w2x2+w3x3 = 0

z>0 mit w2 :=-1, x3 := 1n

i ii 1

w xMit z = = wTx

Klassenentscheidung

y = S(z) =

2 Klasse aus 0z 1

1 Klasse aus 0z 0

x

x


Klassentrennung durch formales Neuron

Klassentrennung durch binäres Neuron

n

i ii 1

w xz = = wTx

Klassenentscheidung

y = SB(z) =

2 Klasse aus 0z 1

1 Klasse aus 0z 0

x

x

z = wTxSB(z) y = 0: Klasse 1

y = 1: Klasse 2

x1

x2

x3

xn-1

...

1


Trennung mehrerer Klassen

Lineare Separierung

xr

xp

xk

xq

x2

x1

(1,0)

(0,0)

(0,1)

(1,1)

1 Neuron: 1 Trennlinie(Ebene)

2 Neurone: 2 Trennlinien

(Ebenen)

Bereiche trennbar in 4 Klassen (y1,y2)


Trennung mehrerer Klassen

DEF Lineare Separierung

Seien Muster x und Parameter w gegeben. Zwei Klassen 1 und 2

des Musterraums = 12 mit 12 =

heißen linear separierbar,

falls eine Hyperebene {x*} existiert mit g(x*) = wTx* = 0,

so daß für alle x1 gilt g(x)<0 und für alle x2 gilt g(x)>0.


WIE erhalten wir die richtigen Gewichte,

d.h. die richtige Klassifizierung

?

Lernen !

Adaptive Systeme Prof. Rüdiger Brause WS 2011 Organisation Einführung in adaptive Systeme B-AS-1,...

Documents

Transcript of Adaptive Systeme Prof. Rüdiger Brause WS 2011 Organisation Einführung in adaptive Systeme B-AS-1,...