Center Computational Intelligand

ence

Cognitive Systems Prof. Dr. habil. A. Grauel Josef-Stern-Weg 3 59494 Soest / Germany E-Mail : AdolfGrauel@web.de

Tutorial-Neuronale Netze

1

Tutorial: Neuronale Netze 1. Einführung 1.1 Motivation 1.1.1 Gegenüberstellung: Computer-Gehirn 1.1.2 Leistungsvergleich: Kommunikationsbandbreite unterschiedlicher Rechnerarchitekturen 1.2 Biologisches Vorbild und Extraktion künstlicher

Neuronaler Netze 1.2.1 Funktionsprinzipien biologischer Netze 1.2.2 Lernen und Gedächtnis 1.3 Künstliche Neuronale Netze 1.3.1 Charakteristika Neuronaler Netze 1.3.2 Funktionselemente 1.3.3 Architekturprinzipien 2. Neuronale Informationsverarbeitung 2.1 Darstellung mit symbolisierten Bausteinen 2.1.1 Gewichtete Summation 2.1.2 Modell-Neuron 2.1.3 Funktionalität 2.1.4 Lernmechanismen 2.1.5 Fehlermaße 2.2 Darstellung mit symbolischen Bausteinen 2.2.1 Einfache Verknüpfungen und ihre Interpretation 2.2.2 Eine Energiebetrachtung: Bemerkung zur Minimal-

konfiguration 2.3 Optimierung für Neuronale Netze 2.3.1 Genetische Algorithmen (GA) 2.3.2 Optimierung mit Evolutionären Strategien (ES) 2.4 Zusammenfassung 3. Struktur und Funktionsweise künstlicher Neurona-

ler Netze 3.1 Multilayer Perceptron 3.2 Rückgekoppelte Netzwerke 3.2.1 NN für eine Funktionsapproximation

2

3.2.2 Simulation nichtlinearer Systeme 3.3 Radiale-Basisfunktionen-Netze 3.3.1 Radiale Basisfunktionen 3.3.2 Radiale-Basisfunktionen-Netze (RBFN) 3.4 Lattice-Band-Networks 3.4.1 Selbstorganisierende Karten (SOM) 4. Neuere Entwicklungen 4.1 Support Vector Machines (SVM) 4.2 Bemerkungen zu Immune Systems (IS) 5. Softwareprodukte Literaturverzeichnis

3

Tutorial: Neuronale Netze 1. Einleitung Die neuronalen Netze (NN) sind integrierter Bestandteil der Computational Intelligence (CI), zu der auch die Bereiche Fuz-zy Logik (FL) und Evolutionäre Algorithmen (EA) gehören (siehe Fig. 1 und 2). Letztere werden für eine numerische Op-timierung verwendet, sie basieren auf Evolutionsstrategien. In letzter Zeit werden für die numerische Optimierung auch soge-nannte Immune Systems (IS) aus der Biologie für die Optimie-rung eingesetzt, die auf antagonistischen Strategien basieren.

Computational Intelligence

EA-NN optimierte Neuronale Netze: Struktur –und Parameteroptimierung

Neuro-Fuzzy-Systeme oder Fuzzy-Neuro-

EA-Fuzzy optimierte Fuzzy-Systeme: Regeloptimierung von Fuzzy-Systemen

NN (Neuronale Netze)

EA (Evolutionäre Algorithmen)

FL (Fuzzy-Logic)

Fig.1.1 Computational Intelligence als Schnittmenge unter-schiedlicher Forschungsbereiche Der Forschungszweig Computational Intelligence dient letzt-lich dem Zweck auf einem Computer Verhaltensweisen zu imi-tieren bzw. simulieren von menschlichen Experten und opti-mierenden Vorgängen aus der Natur. Das Ziel ist es assoziati-ves und schöpferisches Denken zu simulieren und mit Compu-ter zu verifizieren.

4

Computational Intelligence

Fuzzy Logik Modelle für die exakte Verarbeitung von vagem Wissen

lernfähig

optimierend regelbasiert

ünstliche Neuronale Netze

odelle für die Verarbeitung on unvollständigem Wissen

k Mv

Evolutionäre Algorithmen Genetische Algorithmen Evolutionäre Strategien Modelle für die Optimierung

Generalisierung Fig. 1.2 Computational Intelligence Neuronale Netze sind eine Imitation der Neuronen und ihre Art miteinander zu kommunizieren, basierend auf der Arbeitsweise des menschlichen Gehirns: Eingehende Signale und Daten wandern über sogenannte Synapsen von Neuron (Verarbei-tungseinheit) zu Neuron, wobei der synaptische Einfluss durch Gewichtsfaktoren festgelegt werden kann.

5

1.1 Motivation Betrachtet man die Computertechnologie heute, so ist festzu-stellen, dass der Computer heute Aufgaben gut lösen kann, die einem Menschen schwer fallen. Andererseits aber die All-tagsaufgeben versagt, die der Mensch mühelos beherrscht. Be-trachten wir nur unser Sehsystem in Verbindung mit der infor-mationsverarbeitenden Zentrale "Gehirn", das vorzüglich bei-spielsweise für die Mustererkennung geeignet ist. In Bruchtei-len von Sekunden erkennen wir ein Muster in groben Umrissen als auch in seinen wesentlichen Details, in einer Zeit die für auf dem Markt befindlichen Hochleistungsrechner nicht erreichbar ist. Dieses Beispiel weist auf einen fundamentalen Unterschied zur biologischen Informationsverarbeitung hin und letztlich auch zum Nervensystems des Menschen mit dem Gehirn als "Schaltzentrale". Es ist deshalb nicht verwunderlich die Arbeitsweise des menschlichen Gehirns zu verstehen und abzubilden. 1.1.1 Gegenüberstellung: Computer-Gehirn Computer Gehirn Prozessoren von-Neumann-Maschine: 1 bzw.

mehrere Connection Machine: 65536

1010 Neurone (Prozesso- ren

informations- speichernde Einheiten

z.B. optische Platte: 1 GByte 1014 Synapsen: ca. 1015 bit (siehe Bemerkung)

Taktfrequenz ca. 109 Hz ca. 103 Hz Signalgeschwindigkeit schnell

PC, CRAY, Connection Machine: CM (Leitungsgeschw. Elektronen: einige cm pro Sekunde)

relativ langsam auf Axon: 1m/sec bis 120 m/sec

Arbeitsweise von-Neumann-Maschine: seriell Connection Machine: parallel

parallel (vergleichsweise hoch)

Speicher lokalisierter Speicher adressenorientiert

inhaltsadressierter (assoziativer) Speicher

Redundanz keine bzw. geringe hohe Ausfallsicherheit Ausfall von Bauteilen: Total-

Ausfall des Computers Ausfall einzelner Neu- rone: keine Beeinträchti- gung des Resultates

Organisation Programmierung erforderlich "Training" Lernfähigkeit keine bzw. beschränkt in Exper-

tensystemen der Kl Lernfähigkeit, flexibel

Retrieval-Eigenschaft umfangreiche zeitintensive Such- routinen

schnelles Wiederauf- finden der Information

Algorithmen genaue Festlegung erforderlich Fehlertolerant und lernfähig

6

Bemerkung: Obwohl wir hinreichend gute Kenntnisse über die einzelnen Bauelemente besitzen, lässt sich darauf noch nicht die Funktion des Nervensystems, d.h. Wahrnehmung, Denken, Handeln und Gedächtnis etc. des Netzwerkes verstehen. An dieser Stelle ist es interessant danach zu fragen, inwieweit das Netzwerk fest "verdrahtet" ist. Wäre das biologische Netzwerk vollständig determiniert, wäre Lernen praktisch nicht möglich. Wir be-trachten zunächst die im menschlichen Genom (Gesamtzahl aller Gene in einer Zelle) gespeicherte Information. Mit 3∗109 Basenpaaren und 2 bit pro Base erhält man aufgerundet 1010 bit als Informationsspeicherkapazität des Genoms. Wird anderer-seits die Gesamtzahl der Neuronen mit 1010 sowie 104 Sy-napsen pro Neuron angenommen, so erhalten wir insgesamt 1014 Synapsen für das menschliche Gehirn. Allein für die De-terminierung der "Verdrahtung" des Gehirns wären damit 1014 ∗ld(1010) bit = 33 ∗1014 bit = 3∗1015 bit nötig. Wir folgern hier-aus, dass sich die Evolution zusätzlich etwas "überlegt" haben muss – entweder eine Selbstorganisation, die aus einfachen Vorgaben komplexe Muster entstehen lässt oder aber eine im Genom determinierte Vorstruktur.

7

1.1.2 Leistungsvergleich: Kommunikationsbandbreite unterschiedlicher Rechnerarchitekturen Rechnerarchitektur typische Taktzeit

ein Prozessor intern

Kommunikationsband- breite auf lokalem Bus Prozessor mit einem Speicher

Kommunikationsband- breite zwischen den Prozessoren

von Neumann- Rechner PCs CRAY

30 nsec 1nsec

2⋅108 bis/sec

107 bit/s (ETHERNET) 1010 bit/sec

Transputer-arrays Connection- Machine Intel: PSC/860 (N=Zahl der ver- wendeten Prozes- soren)

40 nsec Transputer

30 nsec

3,2⋅108 bit/sec ½ N·108 bit/sec N·108 bit/sec 1,3·109 bit/sec (bei 128er Prozessor- System)

integrierter Schalt- kreis (IC): 80 nutz- bare Anschlüsse

30 nsec

109 bit/sec

Gehirn: 1014 Synapsen

5 msec

1012 bit/sec

Hybridsystem (Silizium-Technik verknüpft mit Gehirnarchitektur)

1 µsec f. Transistor 5 msec f. Neuron

1015 bit/sec

Bem.: Kommunikationsbandbreite ist ein Maß für den Aus-tausch von Informationen zwischen den Prozessoren.

8

1.2 Biologisches Vorbild und Extraktion künstli-cher Neuronaler Netze

1.2.1 Funktionsprinzipien biologischer Netze Die Großhirnrinde (Kortex) besitzt als sechsschichtiges affe-rente und efferente Nervenfasern (Axone) sowie verschiedene Nervenzellen in den Schichten. Die Morphologie der Nerven-zellen ist ausgeprägt, hauptsächliche Erscheinungsformen sind die Pyramidenzellen (85 %), Sternzellen und in geringer Zahl Spindelzellen, Korbzellen, etc. Die Pyramidenzellen besitzen viele Dornen auf den Dendriten und ein langes Axon meistens senkrecht zur Schichtstruktur. Am Axon und den Dendriten sitzen überwiegend erregende Synapsen, aber am Zellkörper (Soma) ausschließlich hemmende Synapsen. Anders bei den Sternzellen, diese besitzen kaum Dornen, sind dagegen aber reichhaltiger verzweigt, und tragen am Axon ausschließlich hemmende Synapsen und am Zellkörper sowohl hemmende als auch erregende Synapsen. Spindelzellen durchsetzen die sechs Schichten mit geringeren Verzweigungen. a) Nervenzelle Ein Neuron oder eine Nervenzelle erfüllt funktionell die glei-chen Aufgaben wie andere Zellen. Der Zellkörper (Soma) ist umgeben mit der Zellmembran in der sich zahlreiche Ionenka-näle befinden, innerhalb der Zellmembran befindet sich der eigentliche Zellkörper sowie andere funktionelle Einheiten (Golgi-Apparat), Mitochondrien, endoplasmatische Retikulum, Lipidtröpfchen etc. (/Dur/) die für eine funktionsgerechte Ar-beitsweise der Zelle notwendig sind. Die Nervenzelle selbst besitzt zahlreiche Dendriten, Ausstülpungen (Dornen) und ein Axon (Wahl: die längste aller Nervenfasern an einem Neuron wird Axon genannt) mit einer präsynaptischen Endigung. Prä-synaptische Endigung, synaptischer Spalt und postsynaptische Membran repräsentieren die Kontaktstelle, d.h. die Synapse. Informationstechnisch gesehen nimmt die Nervenzelle über ihre Verzweigungen "Informationen" auf, vergleicht diese mit einem Schwellwert und gibt gegebenenfalls Signale (idealisiert in Form von Spikes) über das Axon weiter, sie besitzt einen Gleichgewichtszustand bei ca. (Ruhepotential) innen, und wir sagen deshalb die Zelle ist polarisiert. Depolarisierte Reize, d.h. positive Potentialbeiträge, z. B. von erregenden Synapsen auf den Verzweigungen des Neurons herrührend, können bewirken, dass das Schwellwertpotential überschritten wird. Die Folge ist, dass sich spannungsgesteuerte Natrium-Kanäle öffnen und Ionen durch die Membran ins Innere

mV80−

−+Na

9

der Membran strömen und damit das Konzentrationsgefälle (Konzentration der Ionen ist außerhalb ca. 12 mal höher als innerhalb der Membran) auszugleichen. Ein negativer La-dungsüberschuss innerhalb der Membran wird abgebaut und es kommt zu einem positiven Spannungsanstieg. Danach schlie-ßen die Kanäle wieder, die Membran erreicht ihr größ-tes Potential (positiv). Anschließend beginnt die Repolarisation veranlasst durch den Ausstrom von

−+Na

−+Na

−+K Ionen durch die Membran nach außen aufgrund eines Konzentrationsgefälles (die −+K Ionenkonzentration ist innen ca. 40 mal höher als außen). Dieser Vorgang schreitet solange fort bis sich ein nega-tives "hemmendes" Potential im Innern der Zelle aufgebaut hat, dabei kann es zu einem negativen Potentialanstieg kommen, der unterhalb des Ruhepotentials zu liegen kommt. Dieser Zu-stand wird als Hyperpolarisation bezeichnet, der zeitlich im Millisekundenbereich abläuft, bis sich endlich nach einigen Millisekunden wieder das Ruhepotential eingestellt hat. Diese Einstellung geschieht nicht automatisch sondern über einen "Pumpmechanismus" (Na-Ka-Pumpe). Die Energie die bei diesem Prozess, Ionen entgegen einem Konzentrationsgefälle zu transportieren (aktiver Transport), nötig ist, kommt von ei-ner biochemischen Umwandlung bei der Adenosintriphosphat in Adenosindiphosphat gespalten wird und mit einer Energie-freisetzung abläuft. An dieser Stelle sei angemerkt, dass die Ionen-Austauschvorgänge hier vereinfacht dargestellt wurden. Außer den , −+Na −+K Ionenkanälen gibt es Kanäle für Magnesium , Calzium ( +2Mg ) ( )+2Ca , Chlor etc.

Weiterhin spielen die spannungsabhängigen

( −Cl )−+K Kanäle, wie

am Beispiel hippocampaler Neuronen gezeigt werden kann, eine besonders wichtige Rolle für die parallel ablaufenden Pro-zesse. Die Pyramidenzellen im Hippocampus z. B. besitzen zwei unterschiedliche −+K Leitfähigkeiten, die bei einer an-steigenden intrazellulären Konzentration wirksam wer-den. Sie bewirken eine schnelle sowie eine langsame Nach-Hyperpolarisation (/Ni/). Die schnellere Nach-Hyperpolarisa-tion bewirkt die Repolarisation des Aktionspotentials. Durch die langsamere Nach-Hyperpolarisation wird die Entladungsra-te des Neurons reduziert und den gegebenen Verhältnissen an-gepasst. Blockiert man diese Nach-Hyperpolarisation, indem der intrazelluläre Einstrom reduziert wird über span-nungsabhängige Kanäle, so antwortet die Zelle mit einer höheren Impulsrate als vorher auf denselben Depolarisa-tionsstimulus.

−+2C

−+2Ca−+2Ca

Die langsamere Nach-Hyperpolarisation wird über den Neu-rotransmitter Norepinephrine verkleinert. Dieser aktiviert über

10

Rezeptoren die G-Proteine und cAMP, dabei wird durch die cAMP-abhängige Proteinkinase A schließlich der für die lang-samere Nach-Hyperpolarisation verantwortliche ge-steuerte

−+2Ca−+K Kanal gehemmt. Weiterhin greift an dem

gesteuerten −+2Ca −+K Kanal auch Acetylcholin inhibierend an. Aber auch durch den Neurotransmitter GABA (Gamma-Aminobuttersäure) kann die −+K Leitfähigkeit in den Pyrami-denzellen beeinflusst werden (/Ni/). Die Freisetzung von GA-BA (z. B. durch Interneuronen im Hippocampus) bewirkt an den Pyramidenzellen zweierlei: einen Strom über GA-BA

−−Cl

A-Rezeptoren und einen langsameren −+K Strom über die Aktivierung der von GABAB-Rezeptoren. Der langsamere Pro-zess läuft über die Aktivierung von G-Proteinen ab, die direkt ohne zweite Botenstoffe −+K Kanäle aktivieren können. Mit-tels dieser synaptischen Beeinflussung einer Zelle mit GABA wird das Aktivitätsverhalten bzw. Ladungsverhalten der Zelle stark gehemmt. Anzumerken bleibt, dass derselbe −+K Kanal auch durch die Neurotransmitter Serotonin und Adenosin akti-viert werden (/Ni/). Vorstehende Überlegungen machen die intrinsische Parallelität der ablaufenden Prozesse deutlich. Für die folgenden Betrach-tungen wird vereinfachend angenommen, dass für die Entste-hung des Aktionspotentials die Überwindung des Schwellwert-potentials erforderlich ist. Vereinfacht ausgedrückt führen un-terschwellige Reize zu keinem, aber überschwellige Reize zur vollen Ausbildung eines Aktionspotentials. Daraus wurde das "Alles- oder Nichts-Gesetz" deduziert, das die Grundlage für die mathematische Formulierung eines Zwei-Zustands-Elementes (Zwei-Zustands-Neuron) oder Prozessorelementes bildet. b) Impulsausbreitung Erst nach der Refraktärzeit, d.h. wenn die Membran ihr Ruhe-potential wieder erreicht hat ist eine Depolarisation möglich. Die erregte Membranstelle auf dem Axon ist folglich nicht wieder sofort erregbar. Ein zuvor nicht erregter nachbarschaft-licher Bereich, der zu jeder Zeit sofort erregbar ist, kann erregt werden. Durch diesen Mechanismus kann sich die Erregung einseitig entlang eines Axons mit einer Geschwindigkeit von 2 m/s bis 120 m/s ausbreiten, je nach Ummantelung des Axons. Die Impulsausbreitung auf den Dendriten und dem Axon kann man unter vereinfachten Annahmen berechnen. Solche An-nahmen sind:

11

• Zellkern sei punktförmig • Dendritenbäume bestehen aus zylindrischen Stämmen und

Zweigen, die von einer einheitlichen Membran umgeben sind.

• Die Enden der Dendriten sind isoliert, d.h. es existiert kein Stromdurchfluss durch die Endungen.

Die elektrischen Eigenschaften der Dendriten können durch die Kabelgleichung beschrieben werden. Dazu kann eine Nerven-faser als eine Art "leckendes" Koaxialkabel dargestellt werden, bei dem die radialen Potentialanteile vernachlässigt werden. Wird die intrazelluläre Impedanz als ohmscher Widerstand betrachtet und die Hüllmembran der Faser als ohmscher Wi-derstand rm mit einer parallelen Kapazität cm , so ergibt sich die Kabelgleichung (/Ko/) für eine passive Membran. Mit Hilfe des BCK-Algorithmus von Butz, Cowan und Koch oder des Algorithmus von Poggio (/Pol,2/), lassen sich die Spannungsverläufe in neuronalen Strukturen berechnen (/Ko/). c) Impulsübertragung Die biologisch-chemischen Vorgänge auf molekularer Ebene an einer Synapse sind sehr komplex, sie können hier nur ver-einfacht (schematisch) auf phänomenologischer Ebene darge-stellt werden. Gelangt ein elektrischer Impuls zur präsynaptischen Membran der Synapse, so bewirkt er dort eine Leitfähigkeitsänderung der Membran, so dass dort eine Überträgersubstanz (Neurotrans-mitter genannt und auch als Vesikel oder Quant bezeichnet) ausgeschüttet wird und damit in den synaptischen Spalt ge-langt. Durch Diffusion einer Überträgersubstanz von der prä- zur postsynaptischen Membran, fließt ein postsynaptischer Strom (PSC). Dieser kommt dadurch zustande, dass durch die Anbindung der Überträgersubstanz an die Rezeptoren der postsynaptischen Membran eine Leitfähigkeitsänderung der postsynaptischen Membran bewirkt wird. Die Häufigkeit (Fre-quenz) der ankommenden Aktionspotentiale an der präsynapti-schen Membran bestimmt die Konzentration des Neurotrans-mitters im synaptischen Spalt und diese wiederum die elektri-sche Aktivität der postsynaptischen Membran. Diese Vorgänge an dem synaptischen Spalt sind nicht umkehrbar, die Informa-tionsübertragung ist somit einseitig gerichtet aufgrund der Funktion von prä- und postsynaptischer Membran. Es sei schon jetzt vermerkt, dass dieses Phänomen der gerichteten Übertra-gung einen ganz wesentlichen Einfluss auf die mathematische Modellierung künstlicher Neuronaler Netze hat. Hauptsächlich zwei Arten von Neurotransmitter sind bekannt. Zu den erre-genden Transmittersubstanzen zählen Acetylcholin, Glutamat etc. die die Permeabilität für die Ionen erhöhen, so dass für die postsynaptische Membran das Schwellwertpotential

−+Na

12

leichter erreichbar wird. Hemmende Transmitter sind GABA, Glycin etc. Demzufolge gibt es funktionell zwei Arten von Synapsen, einerseits die erregenden (exzitatorischen) Sy-napsen, es wird ein erregendes postsynaptisches Potential (EPSP) erzeugt, das die Membran depolarisiert und zur Entste-hung eines Aktionspotentials beiträgt. Andererseits existieren Synapsen mit hemmender Funktion, kurz hemmende (inhibito-rische) Synapsen genannt, diese hyperpolarisieren die Memb-ran und erzeugen ein inhibierendes postsynaptisches Potential (IPSP). Die zugeordneten postsynaptischen Ströme (EPSC und IPSC) sind durch das Ohmsche Gesetz über die Widerstände mit den entsprechenden Spannungen verknüpft. d) Selektive Wechselwirkung Betrachten wir die Kommunikation (via elektrischer Impulse) zwischen zwei Neuronen über eine Synapse, so folgt aufgrund der Eigenschaften der Synapsen, dass über die synaptische Kontaktstelle die Informationsübertragung einseitig gerichtet ist. Hieraus folgt aber für das "Rücksignal", dass dieses sich einen anderen Weg durch das Nervengeflecht suchen muss, wenn das nachgeschaltete Neuron mit dem Ausgangsneuron in Wechselwirkung treten will. Wird für die synaptische Stärke (Kopplungsstärke) zwischen Neuron i und Neuron j die Größe eingeführt, gibt es keine biologische Motivation für eine Symmetrierelation der Form

. Bei Symmetrie-Erhaltung würde jedes Neuron mit jedem Neuron in direkter Wechselwirkung stehen, so aber liegt eine "selektive" Wechselwirkung vor. Dieses erscheint auch biologisch plausibel, da nicht alle Neuronen im Kortex gleich-zeitig aktiv sind. Einzelne Hirnbereiche können partiell erregt werden.

ijw

jiij ww =

1.2.2 Lernen und Gedächtnis Lernen nach dem heutigen Erkenntnisstand kann auf verschie-denen Ebenen diskutiert werden. Hier ist ganz allgemein die Frage interessant: Wie lernt der Mensch? Wir müssen unterscheiden:

• Etwas Neues lernen im Sinne von Wissen erwerben. • Lernen aus Erfahrung, aus dem Wissen bzw. der Kenntnis

heraus.

13

a) Lernen biologisch Auf der biologischen Ebene können wir zusammenfassen:

• Lernen erfolgt im wesentlichen durch die Modifikation der Verbindungen zwischen den Neuronen, d.h. durch die Modi-fikation ("Veränderung") ihrer Synapsen.

• Die Stärke der Verbindungen zwischen den Neuronen und damit ihr Verhalten ist abhängig von:

(1) Anzahl der zwischen zwei Neuronen geschalteten Sy-napsen.

(2) Art der Verschaltung, z. B. Synapsen nebeneinander oder aufeinander (Triggerschaltung) etc.

(3) Synapsenaufbau

• Menge und Art der gespeicherten Transmittersubstanz. • Zahl der Rezeptoren (Rezeptordichte) auf der postsynapti-

schen Membran, die die Transmittersubstanz aufnehmen.

Jede Veränderung der Einflussgrößen bzw. der Parameter führt zur Veränderung im Signalfluss, d.h. der Frequenzfolge von Aktionspotentialen und letztlich zu einer Verhaltensänderung des Organismus. Somit vergröbert interpretiert, seiner Lernfä-higkeit. Schon sehr früh hat D. Hebb (1949) versucht auf biologischer Basis , die Zellaktivität benachbarter Zellen phänomenologisch zu beschreiben. Hebbsche Regel (1949): Benachbarte Zellen die gleichzeitig aktiv sind, werden dadurch in ihrer Kopplung verstärkt, wobei die Effektivität des Einflusses der ersten auf die zweite Nervenzelle sich erhöht. Auch heute ist der Hebb-sche Ansatz nicht aus der Mode gekommen, der Hebbsche An-satz und Abwandlungen davon werden als Lernregel in den künstlichen neuronalen Netzen benutzt. Es ist ein Ansatz für das assoziative Lernen. In diesem Zusammenhang sei der An-satz für assoziatives Lernen von Alkon (/Al/) zitiert, der eben-falls auf neurobiologischen Beobachtungen basiert. b) Lernen psychologisch Lernen bedeutet die Modifikation des Verhaltens aufgrund von Erfahrungen. Als einfachstes Lernmodell gilt das Reiz-Reaktions-Modell: Auf einen bestimmten Reiz mit einer be-stimmten Reaktion zu antworten (klassische Konditionierung (/Te/), Versuch von Pavlov (/Pav/)). Lernen aufgrund eines Belohnungssystems (operante Konditi-onierung (/Sch/)). Hier erfolgt Lernen durch Belohnung (Ver-stärkung einer Reaktion auf einen Reiz), die Belohnung erfolgt auf eine richtige Reaktion und führt so zu einer Verstärkung der Reiz-Reaktions-Kopplung.

14

c) Gedächtnis Die Psychologie entwickelte und entwickelte Modelle für ver-schiedene geistige Fähigkeiten des Menschen wie: Wahrneh-mung, Verhalten, Gedächtnisleistung und Denken. Die experi-mentellen Erfahrungen bezüglich der Gedächtnisleistungen des Menschen legen nahe, eine Unterteilung in ein Kurzzeitge-dächtnis und ein Langzeitgedächtnis vorzunehmen. Das Kurz-zeitgedächtnis sollte für eine kurzfristige Speicherung von In-formationen zur Verfügung stehen. Experimentelle Erfahrun-gen zeigen, dass Informationen für einige Sekunden im Ge-dächtnis beibehalten werden können, aber schon nach ca. 20 Sekunden gehen im allgemeinen ca. 80% der Informationen verloren. Dieses erscheint verständlich, wenn man davon aus-geht, dass die Speicherung von Informationen in Form von elektrischen Erregungen erfolgt, die im Verlaufe der Zeit ge-dämpft werden und verschwinden, falls sie nicht aktiv auf-rechterhalten werden. Das Langzeitgedächtnis wird als das "Medium" angesehen, das für die "permanente" Speicherung von Gedächtnisinhalten verantwortlich ist. Eine scharfe Tren-nung zwischen Langzeit- und Kurzzeitgedächtnis ist bisher nicht möglich. Ebenfalls gibt es keine klare Abgrenzung und Begriffsbildung für das Aufnahmevermögen von Informatio-nen (Kapazität) des Gedächtnisses. Experimente zeigen, dass die Kapazität stark vom Bedeutungsinhalt der Information und den Assoziationsmöglichkeiten abhängt. Zum Beispiel können unvollständige "Erinnerungsstücke" benutzt werden (Vorgabe durch eine andere Person) um Erinnerungsinhalte aus dem Ge-dächtnis abrufen zu können. An dieser Stelle sei betont, dass vorstehende Überlegungen nicht der biologischen Vorstellung von der Speicherung (Abspeicherung von Information) durch synaptische Plastizität zwischen den Nervenzellen wider-spricht. Grundsätzlich kann man sagen, dass über diese Sach-verhalte noch gründlich nachgedacht werden sollte und muss. Erkenntnisse daraus sollten dann bei einer mathematischen Modellierung künstlicher Netzwerke berücksichtigt werden. 1.3 Künstliche Neuronale Netze 1.3.1 Charakteristika Neuronale Netze a) Klassifikation Die Einteilung der neuronalen Netze kann nach verschiedenen Gesichtspunkten erfolgen. Üblich ist eine Einteilung bezüglich

15

der Architektur, Verbindungstopologie, Verarbeitungsmodus, Verwendungszweck etc. (1) Einteilung bezüglich der Architektur

• einschichtige Netzwerke (typisch: Gitterbasierte Netz-werke (Lattice Based Associative Memory) wie der As-soziativspeicher)

• mehrschichtige Netzwerke (beispielsweise: Multilayer-Perceptron motiviert durch den sechsschichtigen Auf-bau des menschlichen Gehirns). Dabei können die elektrischen Signale auf Nervenfasern symbolisiert durch gerichtete Verbindungen bei mehr-schichtigen Netzwerken nur in einer Richtung erlaubt sein (gerichtete Verschaltung): top-down- oder bottom-up-Verschaltung. Informationsausbreitung kann auch in beiden Richtungen erfolgen (nicht biologisch moti-viert), dann liegt abstrakt gesehen eine bidirektionale Verbindung vor. Zusätzlich zu diesen Verbindungen können auch noch laterale Verbindungen erlaubt sein um eine laterale Inhibition auf einer Nervenfaser (A-xon) zu simulieren.

(2) Charakterisierung nach einer Verbindungstopologie

• Nicht total verschaltet: Nicht jedes Neuron innerhalb einer Neuronenschicht ist mit jedem Neuron dieser Schicht oder anderen Schichten verbunden. Beispiels-weise kann eine totale Verschaltung zwischen den Schichten, im Sinne einer Vorwärtsverschaltung oder einer bidirektionalen Verschaltung ART-System oder bidirektionaler Assoziativspeicher) existieren aber keine Kopplung innerhalb einer Schicht.

• Totale Verschaltung: Es liegt ein Netzwerk mit einer Verschaltung zwischen den Schichten und innerhalb der Schichten vor.

• Zufällige (probabilistische) Verschaltung. Bei dieser Art der Verschaltung werden die Verbindungsgewichte nach einer Wahrscheinlichkeitsverteilung ausgewählt.

16

Eingang Ausgang

Eingangsneuronenschicht Ausgangsneuronenschicht

1. Zwischenschicht( hidden Neuronen )

2. Zwischenschicht( hidden Neuronen )

Fig. 1.3: Multilayer-Perceptron: Allgemeines mehrschich-tiges Netzwerk mit Vorwärtsverschaltung. Das Sum-mationszeichen ∑ bedeutet, dass an der entsprechenden Einheit alle ankommenden Signale gewichtet mit einem Gewichtsfak-tor aufsummiert werden. Die Stufe ijw deutet an, dass für eine gewichtete Summation eine Schwellwertoperation auszu-führen ist. Für die Schwellwertbildung kann eine Sprung-Funk-tion, sigmoide Funktion, Signumsfunktion etc. verwendet wer-den. Künstliche Neuronen mit einer sigmoiden Funktion besit-zen eine nichtlineare Charakteristik und können somit formal als nichtlineares Prozessorelement betrachtet werden. (3) Charakterisierung bezüglich der Art der Kopplungsstärke

• symmetrische Kopplungsstärke: jiij ww = .

• asymmetrische Kopplungsstärke: jiij ww ≠

(4) Charakterisierung hinsichtlich des Verarbeitungsmodus

• feed-forward Netzwerke: Die Eingabe wird durch Vorwärtspropagation zum Ausgang propagiert (siehe Multilayer-Perceptron).

• interaktive Netzwerke • Relaxationsnetzwerke sind Modelle, die sich in einem

Gleichgewichtszustand einschwingen.

(5) Charakterisierung nach der Art des Verarbeitungsmodus

17

• Synchroner Verarbeitungsmodus: Alle Elemente än-dern gleichzeitig ihren Zustand.

• Verarbeitungsmodus asynchron: Zu jedem Zeitpunkt wird jeweils nur ein Neuron herausgegriffen und nur dieses erhält seinen neuen Aktivitätszustand. Die Rei-henfolge der Veränderung kann rein zufällig oder fest vorgegeben sein. Die asynchrone Dynamik findet hauptsächlich bei Modellen mit diskreten Aktivitäts-zuständen oder { 1,0a j∈ } { }1,1a j −∈ Anwendung.

(6) Einteilung der neuronalen Netze hinsichtlich ihres Anwen-

dungsbereiches, beispielsweise:

• Mustererkennung, • Optimierungsprobleme, • Roboterkontrolle und Überwachung, • Entscheidungstheorie und Klassifizierung.

1.3.2 Funktionselemente a) Aktivierung eines Netzwerkes Die Aktivierung ist im allgemeinen für alle Elemente (Zellkör-per) eines Netzwerkes gleich. Eine sinnvolle Wahl für die Ak-tivierungszustände können z.B. reelle Zahlen oder binäre Wer-te sein. Global kann der Aktivierungszustand eines Netzwerkes zur Zeit t durch einen N-dimensionalen Vektor charakterisiert werden:

( ) { ( )}N1ii tat ==a .

( )tai ist der Aktivierungszustand des i-ten Elementes und

N ist die Zahl der Netzwerkzustände. iu

b) Eingabegröße für ein Netzwerkelement (Neuron) Ein Neuron kann i Eingangsverbindungen besitzen. Demzu-folge kann der Eingangszustand eines Neurons durch einen i-komponentigen Inputvektor beschrieben werden.

ju

c) Funktioneller Zusammenhang zwischen der Aktivierung

und der Ausgabe an einem Neuron Die Netzwerkelemente sind untereinander durch Leitungen verbunden (symbolisiert durch Linien mit einer Richtung für die Propagation der Information) über die sie interagieren kön-nen. Die Häufigkeit der Spikefolge die ein Neuron verlässt, ist

18

abhängig von der überschwelligen Aktivierungsdauer. Jedem Neuron kann informationstheoretisch eine individuelle Ausga-befunktion (auch genannt, meistens ist gleich der Identitätsfunktion) zugeordnet werden, die den Zusammenhang zwischen der Aktivierung und der Ausgabe am Neuron j beschreibt:

jf outf outf

ja jo

( ) ( )( )tafto jjj = . Geben alle N Elemente des Netzwerkes zur Zeit t ihre Werte aus, so gilt in Vektornotation:

( ) { ( )}N1ii tot ==o .

Haben alle Neuronen das gleiche funktionelle Verhalten, so beschreibt f: die Abbildung der Menge der Aktivie-rungszustände A in die gesamte Ausgabe 0.

0A →

Die Ausgabefunktion kann eine deterministische Funktion, eine sigmoide (probabilistische) Funktion oder, wie oben er-wähnt, die identische Abbildung sein. d) Propagierungsfunktion net ist die Propagierungsfunktion die zum Zeitpunkt t anhand der Gewichte und der Ausgabe der vorgeschalteten Ele-mente, die Eingabe in die einzelnen Elemente (interne Einga-be) bestimmt. Mathematisch besteht der folgende Zusammen-hang:

ijw

gnet = ( , Aktivierung). ijw

Axon

Neuron i mit Aktivität und Output ia

j joio

Neuron j mit Aktivität a und Output

Synapse Synapse symbolisiert mit dem Synaptischen Gewicht zwischen ijwNeuron i und Neuron j.

Fig.1.4: Das Neuron i gibt über die Nervenfaser (Axon, Dend-riten) seine Information (Spikefolge) an das Neuron j. Positive Gewicht symbolisieren anregende Synapsen, negative Gewich-te hemmende Synapsen.

19

Aus der Biologie ist bekannt, dass ein Neuron j alle ankom-menden Signale aufsummiert, somit folgt:

( ) ( )∑=

⋅=N

1iijij wtatnet .

Für einfache Elemente können wir die identische Abbildung

benutzen und erhalten für die Propagierungsfunk-tion:

(t)a (t)o ii =

( ) ( )∑=

⋅=N

1iijij wtotnet .

)t(net j ist somit der aufsummierte gewichtete Input am Neu-

ron j von allen Ausgaben der Vorgängerneuronen multipliziert mit den synaptischen Gewichten (genannt auch Verbindungs-gewichte) der Verbindung von Neuron i nach Neuron j. Es ist die gesamte Netzeingabe am Neuron j. Symbolisch:

ijw

jnet

inet

io ia

Fig. 1.5: net repräsentiert den gewNeuron. Bem.: Die repräsentieren die ijw

( )ijwW = zwischen Eingabevektor un e) Externe Eingabefunktion e(t) Durch eine externe Eingabe in ekönnen die Neuronenzustände von auDie externe Eingabe kann statistisch zelnen Eingabeelementen (unabhängigte zugewiesen werden oder indem dstimmte Initialisierungs-Aktivitätswererhalten.

(t)e j

20

jo ja

ichteten Input an einem

Elemente einer Matrix

d Ausgabevektor.

in Element zur Zeit t ßen beeinflusst werden.

erfolgen, indem den ein- von der Ausgabe) Wer-ie Eingabeelemente be-

te (Bias-Werte) simultan

ju

f) Aktivierungsfunktion f.1) Allgemeiner Ansatz Die Aktivierungsfunktion auch Übertragungsfunktion genannt, bestimmt für jedes Prozessorelement (formales Neu-ron) den neuen Aktivierungszustand

actf

)t(u j ) t(a j τ+ im nächs-ten Zeitschritt

( ) ( ) ( )( ) . ,...net ,te ,taf ta jjjactj =τ+ Der Wert der Aktivierung zur Zeit τ+t ist abhängig von der aktuellen Aktivierung , einer möglichen externen Einga-

be in das Prozessorelement, möglichen exzitatorischen

und inhibitorischen Einflüssen über , etc. Im einfachsten

Fall hängt die Aktivierungsfunktion nur von der gewichte-ten Summe der Ausgabe der vorgeschalteten Elemente ab, die das Element j aufnimmt:

)t(a j

)t(e j

jnet

actf

( ) ( )( ) . tnetf ta jactj =τ+

Zur Vereinfachung kann angenommen werden, dass alle Ele-mente die gleiche Aktivierungsfunktion besitzen:

( ) ( )( ) . tnetf ta jj =τ+

f.2) Nichtlineare Übertragungsfunktion Als Ansatz für eine nichtlineare Übertragungsfunktion kann eine sigmoide Kurvencharakteristik benutzt werden

( ) ( ) , /TE exp 1

1 Efj

j −+=

wobei

∑=

θ−+=θ−+=N

1ijjijijjjj e wo e net E

die gesamte Eingabe am Neuron j (Fig. 1.6) ist.

21

0.2

0.4

0.6

0.8

1.0

( )jEf

Figon kan Bez T

jθ

iw

In vorNeusumdiefunDerrunEinrunAu f.3) EinTan

-20 -10 0 10 20

i

T = 0.5 1.0 2.0 4.0 8.0

jE

.1.6: Abhängigkeit der nichtlinearen Übertragungsfuvon dem Parameter T (auch als Temperaturparametent).

eichnung:

Parameter (wird oft als Temperatur interpretiert werdSchwellwert des Neurons i,

j Verbindungsgewichte (Kopplungsstärke) zwischen Neuron i und dem Neuron j.

den folgenden Ausführungen wird angenommen, dassgeschaltete Neuron den Index i und das nachgescharon den Index j besitzt. Interpretation von f: Ein Neumiert alle gewichteten Inputwerte auf und transform

sen Wert nach Maßgabe der nichtlinearen Übertraguktion in seinen Ausgang .

jE

)E(f o ij =

Temperaturparameter T dient zur dynamischen Veräg der sigmoiden Funktion. Größere T-Werte verringernfluss von , entsprechend signifikant sind kleine Verägen in der Eingabe bei geringeren T-Werten bezüglichsgabe.

jE

Übertragungsfunktion Tangenshyperbolikus

e weitere sigmoide Funktion ist durch den hyperbolisgens (tanh) gegeben:

22

E

nkti-r be-

en),

dem

das ltete ron j

iert ngs-

nde- den nde- der

chen

( ) ( )jj EtanhEf =

mit ( ) ( ) 1Etanhlimund1Etanhlim j

Ej

E jj−→→

−∞→∞→

f.4) Signumsfunktion als Übertragungsfunktion Die Signumsfunktion besitzt folgende Eigenschaft:

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

<−=>+

=0E10Efür00E1

)E(signiii

j .

Ist , d.h. liegt keine Veränderung am Neuron vor, dann

wird bei einem Zweizustands-Neuron

0 E j =

0 )E(sign j = gesetzt. f.5) Sprungfunktion Die -Funktion mit ihren zwei Werten kann ebenfalls als Ü-bertragungsfunktion benutzt werden:

ϑ

( )⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

≤

>=ϑ

0E0für

0E1E

j

jj .

Ist , d.h. liegt keine Veränderung für das Neuron vor, dann soll es auch nicht stereotyp reagieren. Wir setzen deshalb

, falls ist.

0 E j =

0 )(E j =ϑ 0 E j =

f.6) Spezielle Aktivierungsfunktionen (6.1) Die Aktivierungsfunktion von Grossberg lässt zu, dass

die Werte der Aktivierungszustände in einem vorgege-benen Intervall [min, max] liegen:

⋅+−⋅−+−⋅=τ+ min) )t(a( net))t(a (max )d 1()t(a ) t(a ii,ejjj

)t(net i,iEs bedeuten:

23

i,enet die aufsummierte exzitatorische Eingabe für das Neu-ron j ,

i,inet entsprechend die aufsummierte inhibitorische Einga-be,

1-d Simulation einer abnehmenden Aktivierung . Durch die eine maximale Deaktivierung min und die maximale Aktivierung max, kann die Aktivierung nicht beliebige Werte annehmen. (6.2) Die Aktivierungsfunktion von Feldman und Ballard für

Schwellwert-Elemente ist gegeben durch

∑⋅+=τ+i

iji1jj , w)t(oc )t(a ) t(a

mit

⎭⎬⎫

⎩⎨⎧ >−

= .sonst 0

c )t(a falls ,c )t(a )t(o 3j2j

j

321 c und c ,c sind reelle Zahlen, wobei eine untere Aktivie-

rungsbegrenzung darstellt. Die Aktualisierung des Aktivitäts-zustandes kann synchron oder asynchron stochastisch erfolgen.

3c

g) Operanden Da die Input- als auch die Outputwerte diskret oder kontinuier-lich sein können, sind verschiedene Fälle zu unterscheiden. Falls Input und Output kontinuierlich sind, sollte zwischen den Musterpaaren (Input, Output) eine Abbildung gefunden wer-den, die zwischen diesen interpoliert. Kohonen /Ko1-4/ hat gezeigt, wie diese für den linearen Fall zu finden ist. Er benutzt als Maß für die Ähnlichkeit den euklidischen Abstand. Palm /Pa1-7/ hat eine Erweiterung auf polynomiale Abbildung vor-genommen. Die Anwendungsbereiche mit solchen (Input, Out-put)-Paaren liegen im Bereich der Regelungstechnik, z.B. ba-lancieren eines Stabes, Steuerung einer chemischen Reaktion (/Ers/) etc., aber auch als Abbildung von sensorischen Feldern auf die innere Repräsentation (Kohonen /Ko2/) etc. Ist der Input kontinuierlich und der Output diskret, wird der kontinuierliche Inputraum in Bereiche eingeteilt und diesen jeweils ein diskretes Outputmuster zugeordnet. Das neuronale Netz leistet eine Klassifizierung, es sollte sich daher für die Aufgaben der Mustererkennung, Entscheidungen, Klassenein-teilung etc. eignen, allerdings sind diese Netzwerke oft mehr-

24

schichtig. Als Beispiel sei genannt NETtalk (/Se/) für das Ler-nen der Aussprache eines geschriebenen Textes (Text-to-Speech-Recognition) und das Perceptron (/Ro1-3/, /Mi/) für Aufgaben der Mustererkennung. Sind Input und Output diskret, so liegt der übliche Fall der In-formationsverarbeitung vor. Beispiele sind das Hopfield-Modell, der Assoziativspeicher etc. 1.3.3 Architekturprinzipien a) Einschichtige Netzwerke Einschichtige Netzwerke sind solche, die nur aus einer Neuro-nenschicht bestehen und bei denen eine gewisse Anzahl von Neuronen einen Inputvektor aufnehmen und andere Neuronen einen Outputvektor ausgeben. Beispiele für solche einschichti-ge Systeme sind in der Literatur bekannt als

• Hopfield-Modell und hopfieldartige Modelle, • gitterartige Netzwerke (Lattice-Based-Networks). b) geschichtete Netzwerke Als Vorbild für geschichtete Netzwerke kann die Großhirnrin-de mit ihren sechs Schichten angesehen werden. Geschichtete Netzwerke repräsentieren eine hardwaremäßige Hierarchie und sollten leistungsfähiger als einschichtige Netzwerke sein. n Eingangssignale aus {0,1} sollen durch ein geschichtetes Netzwerk zu m Ausgangssignalen aus {0,1} verschaltet wer-den. Mathematisch kann eine solche Verschaltung durch eine Funktion F repräsentiert werden:

{ } { }m1 j

n1 i 0,1 0,1 :F == → .

Ist eine Menge von Mustern ( )0I, p = gegeben, wobei I ein Inputvektor und 0 ein Zielvektor (Outputvektor) ist, so muss jedes p die Bedingung

( ) 0I F = erfüllen. Die einzelnen Neuronen können auf verschiedene Art verschal-tet werden (Verbindungstopologie):

• gerichtete Verschaltung: feed-forward-Verschaltung

25

Diese Verschaltungsart besagt, dass ein Input durch Vor-wärtspropagation im Netzwerk verarbeitet wird und einen Output erzeugt. Analog zu dieser Begriffsbildung sind die Begriffe top-down und bottom-up zu interpretieren: top-down-Verschaltung,

bottom-up-Verschaltung. • bidirektionale Verschaltung (Beispiel: Boltzmann-

Maschine, BAM-System, ART-Topologie) • laterale Verschaltung • totale Verschaltung: Dabei handelt es sich um eine Verschaltung mit Verbin-

dungen zu allen Neuronen.

26