Neuronale Netzwerke Biologisches Vorbild Grundlagen

download Neuronale Netzwerke Biologisches Vorbild Grundlagen

of 25

  • date post

    05-Apr-2015
  • Category

    Documents

  • view

    107
  • download

    1

Embed Size (px)

Transcript of Neuronale Netzwerke Biologisches Vorbild Grundlagen

  • Folie 1
  • Neuronale Netzwerke Biologisches Vorbild Grundlagen
  • Folie 2
  • WS 2010/11H. Werner : Datenalyse1 : 2 Was sind knstliche neuronale Netzwerke? Neuronale Netzwerke (NN, oft auch knstliche Neuronale Netzwerke KNN bezeichnet) sind Computerprogramme, die die Arbeitsweise natrlicher Neuronen nachahmen. Zwecke dieser Programme knnen sein Modellierung tatschlicher neuronaler Vorgnge in der Biologie Einsatz der Mglichkeiten neuronaler Systeme in Computerprogrammen
  • Folie 3
  • WS 2010/11H. Werner : Datenalyse1 : 3 Das biologische Vorbild Biologisches Vorbild der knstlichen Neuronalen Netze sind die Neuronen-geflechte, wie sie in menschlichen und Tierischen Nervenbahnen und Gehirnen vorkommen. Ein menschliches Gehirn besteht aus ca. 100 Billionen Neuronen, die mit ihren Axonen und Dendriten ber Synapsen zusammengeschaltet sind.
  • Folie 4
  • WS 2010/11H. Werner : Datenalyse1 : 4 Arbeitsweise Die Arbeitsweise Neuronaler Netzwerke ist bestimmt durch massiv parallele Informationsverarbeitung in den Neuronen Propagierung der Informationen ber die Synapsen (Neuronenverbindungen) Vorbereitung der Netze fr ihre Arbeitsphase (Propagierung) durch die Aufbauphase (Netztopologie) und eine Trainingsphase (kein Programmieren!)
  • Folie 5
  • WS 2010/11H. Werner : Datenalyse1 : 5 Biologie der Nervenzellen Eine biologische Nervenzelle besteht aus dem eigentlichen Zellkrper (Soma), den Dendriten, das sind kurze Leitungen (um 0.4 mm), ber die Reize in die Nervenzelle gelangen knnen, dem Axon, das ist die Leitung (mm-Bruchteil bis mehrere m lang), ber die Zellaktivitt an andere Zellen weitergeleitet wird, und schlielich den Synapsen, das sind die Kontaktstellen zwischen Axonen und Dendriten bzw. Soma. Da Dendriten und Axon stark versteln, entstehen die hohen Verbindungszahlen biologischer Nervensysteme. Wird das Soma ber einen gewissen Schwellwert hinaus ber die Dendriten aufgeladen, so entldt sich die Zelle einen kurzzeitigen elektrischen Impuls (Spike), der vom Axon an andere Zellen bertragen wird. Da die biologische Information nicht in der Amplitude der Spikes sondern in deren Frequenz codiert ist, knnen diese Spikes ohne weiteren Verstrkungsmechanismus auf alle Verzweigungen des Axons weitergeleitet werden. Die Synapsen sind chemische Kontakte, die auf einen Spike mit der Ausschttung gewisser Ionen (Neuro- transmitter) reagieren, die dann wiederum Potential- nderungen (und damit Spikes) in den Dendriten erzeugen. Die neue Spikefrequenz ist dann in Ab- hngigkeit von der Strke des Kontaktes (Synapsen- gewicht) proportional zur ankommenden Spikefrequenz. Dabei knnen die Spikes zur Anregung des Somas beitragen (exzitatorische Synapsen) oder im Gegenteil hemmend wirken (inhibitorische Synapsen).
  • Folie 6
  • WS 2010/11H. Werner : Datenalyse1 : 6 McCulloch-Pitts (1940) (W.McCulloch, W.Pitts: A logical calculus of the ideas immanent in nervous activity. Bull. of Math. Biophysics 5, 1943, 115-133) Dieses einfache Modell sieht die Neuronen als Input-abhngige 0-1- Signalgeber, die intern einen Schwellwert a haben. Wenn der Gesamtinput diesen Schwellwert erreicht oder berschreitet gibt das Neuron 1 aus (spike) und sonst 0. Der Input kommt ber Leitungen, die excitatorisch (anregend) oder inhibitorisch (hindernd) sein knnen, jedes Neuron ermittelt nun seinen Gesamtinput als die Summe aller Signale auf den excitatorischen Leitungen vermindert um die Summe aller Signale auf den inhibitorischen Leitungen zu dem Neuron. Erstes Ergebnis dieser Untersuchungen war, da die durch solche Neuronalen Netze (am grnen Tisch durch Programme) realisierbaren Funktionen genau die im mathematischen Sinne berechenbaren Funktionen sind. Dieser Netztyp realisiert aber noch keine Anpassung (Training/Lernen) an ein gegebenes Problem.
  • Folie 7
  • WS 2010/11H. Werner : Datenalyse1 : 7 Neuronen Die Output-Funktion legt fest, wie der Output aus dem oben berechneten Gesamtreiz ermittelt wird. In dieser Funktion spielt ggf. ein besonderer Parameter Schwellwert eine Rolle. Der Output wird dann ber die Verbindungen als Reiz an andere Neuronen geleitet Der Input ist gekenn- zeichnet durch die Aktivierungs-Funktion. Diese legt fest, wie die ber die Verbindungen eingehenden Reize x i mit den Gewichten w i zu einem Gesamtreiz (Aktivierung) zusammengefat werden.
  • Folie 8
  • WS 2010/11H. Werner : Datenalyse1 : 8 Topologie Ein neuronales Netzwerk besteht aus einer Anzahl von Neuronen ( bildlich durch kleine Kreise dargestellt ), die untereinander verbunden sein knnen ( die Verbindungen werden hier durch Pfeile dargestellt ). Die Struktur aller vorhandener Verbindungen heit die Topologie des Netzwerks. Sie gibt also Antwort auf die Frage, welches Neuron ist mit welchem Neuron direkt verbunden. Zur Topologie gehrt noch die Festlegung, welche Neuronen Input von aussen bekommen bzw. Output nach aussen weitergeben
  • Folie 9
  • WS 2010/11H. Werner : Datenalyse1 : 9 Propagierung Das Verhalten eines neuronalen Netzwerks ist bestimmt durch die Gewichte seiner Verbindungen. eine passende Folge von Werten wird in die Input-Neuronen eingegeben die Neuronen berechnen ihren Output und geben den ber die Verbindungen an andere Neuronen weiter Dieser Schritt wird solange wiederholt, bis sich bei keinem Neuron der Input mehr verndert Der Netz-Output ist nun die Folge der Outputs der speziellen Output-Neuronen Bei geschichteten Netzen muss der Input nur von einer Schicht zur jeweils nchsten Schicht weitergegeben (propagiert) werden. Bei Netzen mit Rckkopplungen (zyklen) luft die Weitergabe so lange, bis das Netz stabil wird, d.h. die Aktivitten der Neuronen ndern sich nicht mehr. ( Es ist mathematisch nicht zwingend, dass ein stabiler Zustand berhaupt erreicht wird! )
  • Folie 10
  • WS 2010/11H. Werner : Datenalyse1 : 10 Modellierung Damit zeigt ein neuronales Netzwerk ein bestimmtes (von den Gewichten abhngiges) Input- Output-Verhalten, das bei hinreichender hnlichkeit als Modell fr das Input- Output-Verhalten eines Prozesses genommen werden kann. Ziel einer Modellierung ist es also fr einen gegebenen Prozess ein geeignetes Netzwerk und darin geeignete Gewichte zu finden, damit der Prozess genau genug beschrieben (simuliert) wird.
  • Folie 11
  • WS 2010/11H. Werner : Datenalyse1 : 11 Training Hat man ein Netzwerk entworfen, das die richtige Anzahl von Input- und Output-Neuronen besitzt, besteht die Aufgabe darin, die Gewichte geeignet zu bestimmen, dies nennt man Training des Netzwerks. Dazu bentigt man zunchst einen Satz Prozessdaten, in denen das Input-Output- Verhalten des Prozesses dokumentiert ist. Die Datenstze des Prozesses gibt man nun in das Netzwerk, das zunchst mit beliebigen Gewichten initialisiert wurde, und vergleicht den Netz-Output mit dem Prozessoutput. Es mssen nun Lernregeln entwickelt werden, die eine Vernderung der Gewichte in so einer Weise erzeugen, dass bei der nchsten Eingabe desselben Datensatzes der gemachte Fehler geringer wird.
  • Folie 12
  • WS 2010/11H. Werner : Datenalyse1 : 12 -Regel Ein einfaches Beispiel ist die -Regel, bei der das Gewicht einer Verbindung vergrert (verkleinert) wird, wenn der Output zu klein (zu gro) ist. Dies ist eine Fehler-orientierte (supervised) Lernregel
  • Folie 13
  • WS 2010/11H. Werner : Datenalyse1 : 13 Hebb-Regel Die Hebb-Regel belohnt (verstrkt) Verbindungen, bei denen beide Neuronen starke Aktivitt zeigen. Dies ist eine selbst-organisierte (unsupervised) Lernregel
  • Folie 14
  • WS 2010/11H. Werner : Datenalyse1 : 14 Lernparadigmen 1.berwachtes Lernen ( supervised, mit Lehrer, output-oriented ) Das Netzwerk verarbeitet den Trainingsinput und liefert sein Ergebnis, das ein Lehrer mit dem gewnschten Output vergleicht. In Abhngigkeit von dem Fehler wird das Netzwerk so verndert, da dieser Fehler verringert wird. 2.Unberwachtes Lernen ( selforganized, durch Gewhnung, input-oriented ) Das Netzwerk verarbeitet die Inputs und verndert sich dabei so, da es auf die prsentierten Inputs immer strker reagiert. 3.verstrkendes Lernen ( reinforced, mit Belohnung, behavior-oriented ) Das Netzwerk verarbeitet die Inputs und berprft, ob seine Aktivitten eine bestimmte vorgegebene Form haben. Im positiven Fall wird das Verhalten des Netzwerks verstrkt. online-(Einzelschritt)-learning : nach jeder Eingabe wird gelernt offline(Gesamtschritt)-learning: nach Eingabe aller Datenstze der Trainingsdatei wird ein Anpassungsschritt gemacht.
  • Folie 15
  • WS 2010/11H. Werner : Datenalyse1 : 15 Generalisierungstest Die vorhandenen Daten werden in zwei Gruppen geteilt, die Trainingsdaten und die Testdaten Nach erfolgreichem Training mit den Trainingsdaten wird mit den Testdaten berprft, ob das Netz auch auf diesen zufriedenstellend arbeitet.
  • Folie 16
  • WS 2010/11H. Werner : Datenalyse1 : 16 das Perceptron Ein Perceptron verfgt ber eine Input-Schicht, ber die n Inputs als Vektor x =(x 1,..,x n ) eingegeben werden. Es hat n Verbindungen zu dem Output-Neuron mit dem Gewichtsvektor w =(w 1,..,w n ). Das Output-Neuron hat den Schwellwert s, errechnet seine Aktivitt a = xw = x 1 w 1 +..+ x n w n nach der Skalarprodukt-Regel und verwendet die Sprungfunktion (x< s)?0:1 als Output-Funktion. Der Output errechnet sich also aus der Formel: o = 0 falls xw = x 1 w 1 +..+ x n w n < s und o = 1 sonst; es entscheidet also das Vorzeichen des Skalarprodukts yv = x 1 w 1 +..+ x n w n -s der erweiterten Vektoren y =(1,x 1,..,x n ) und v =(-s,w 1,..,w n ) ber den Output. x1x1 x2x2 x3x3... s xnxn
  • Folie 17
  • WS 2010/11H. Werner : Datenalyse1 : 17 Geometrische Interpretatio