7. Vorlesung Neuronale Netze - uni-saarland.de · SC WS 18/19 Georg Frey177 Inhalt der 7. Vorlesung...

7. Vorlesung

Neuronale Netze

Grundlagen

Soft Control

(AT 3, RMA)

http://www.uni-saarland.de/en/

SC

176WS 18/19 Georg Frey

7. Vorlesung im Aufbau der Vorlesung

1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen

"intelligenter" Systeme

2. Wissensrepräsentation und Wissensverarbeitung (Symbolische KI)

Anwendung: Expertensysteme

3. Fuzzy-Systeme: Umgang mit unscharfem Wissen

Anwendung: Fuzzy-Control

4. Konnektionistische Systeme: Neuronale Netze

Anwendung: Identifikation und neuronale Regler

1. Grundlagen

5. Stochastische Optimierung (Genetische Algorithmen, Simulated

Annealing, Differential Evolution)

Anwendung: Optimierung

6. Zusammenfassung & Literaturhinweise


SC


Inhalt der 7. Vorlesung

1. Abgrenzung zu Expertensystemen und Fuzzy-Systemen

2. Natürliches Vorbild

1. Das menschliche Gehirn

2. Das natürliche Neuron

3. Eigenschaften neuronaler Netze in Bezug zur

Automatisierungstechnik

4. Künstliche Neuronen

5. Künstliche Neuronale Netze


SC


Abgrenzung zu Expertensystemen und Fuzzy-Systemen (1)

• Eine makroskopische Betrachtung

führt zu Expertensystemen bzw.

Fuzzy Control

• Hier modelliert man die intelligenten

Denkvorgänge des Menschen

• Die Fähigkeit des Menschen

aufgrund gegebener (u.U.

unscharfer) Informationen

intelligente Schlussfolgerungen

abzuleiten soll nachgebildet

werden

• Man zielt auf die Nutzung des vom

Menschen angesammelten (bereits

erlernten) Wissens zur Lösung

spezieller Aufgaben

• Eine mikroskopische

Betrachtung führt zu Neuronalen

Netzen

• Hier modelliert man die Träger der

menschlichen Intelligenz (die

Nervenzellen und ihre

gegenseitige Vernetzung)

• Die Fähigkeit des Menschen aus

Daten bzw. Erfahrungen

Zusammenhänge zu

abstrahieren soll nachgebildet

werden

• Man zielt auf die Nutzung der

Lernfähigkeit der funktionalen

Einheiten des Gehirns

Ziel: Nachbildung von intelligentem Verhalten


SC


Abgrenzung zu Expertensystemen und Fuzzy-Systemen (2)

Verarbeitung

symbolisch numerisch

verarbeitetes

Wissen

strukturiertExperten-

systemeFuzzy Systeme

unstrukturiertNeuronale

Netze (NN)


SC


Das Gehirn als natürliches Vorbild

• ca. 100 Milliarden Neuronen

• Jedes Neuron ist mit

ca. 1000 bis 100.000

anderen Neuronen

verbunden

• kleinste funktionale Einheit

enthält ca. 4000 Neuronen

• Unterteilung in verschiedene

Reaktionsorte (Sinnes-

wahrnehmungen,

motorische Tätigkeiten)

• Bei Schäden an Teilen des Gehirns kann die Aufgabe teilweise von

anderen Stellen übernommen werden

• Das Gedächtnis ist nicht örtlich beschränkt sondern über die ganze

Hirnrinde verteilt

• Antwortzeiten ms bis s

Nervenzellen in der Hirnrinde


SC


Das natürliche Neuron als kleinster Baustein

Komponenten:

• Zellkörper (Soma)

• Axon

• Dendriten

• Endknöpfchen

Verbindung zu anderen Neuronen

• Synapsen

DendritenAxon

Endknöpfchen

Synapsen


SC


Funktionsweise eines Neurons

• Das Neuron empfängt Signale von anderen Neuronen über die

Synapsen

• Die Synapsen bestimmen wie das ankommende Signal in das Neuron

eingeht (Gewicht der Verbindung, kann auch negativ sein)

• Die Dendriten sind die Eingangskanäle des Neurons, sie leiten die

Signale von den Synapsen in das Soma

• Die Signale werden im Soma des Neurons aufaddiert

• Wenn genügend Signalenergie vorhanden ist feuert das Neuron, d.h.

es schickt nun selbst ein Signal an andere Neuronen

• Das Axon ist der Ausgangskanal des Neurons, es leitet das im Soma

erzeugte Signal zu den Endknöpfchen

• Die Endknöpfchen stellen die elektrochemische Verbindung zu den

Empfängerneuronen her (Synapsen)


SC


Einige Eigenschaften natürlicher Neuronen

• Alle Vorgänge sind elektrochemischer Natur und damit merklich

zeitbehaftet (die Fortpflanzungsgeschwindigkeit eines Impulses über

das Axon liegt im Bereich 0,5 – 100 m/s)

• Die Erzeugung von Ausgangsimpulsen erfolgt nach dem Alles-oder-

Nichts-Prinzip (feuern)

• Nach dem Auslösen eines Impulses dauert es einige Millisekunden, bis

das Neuron wieder erregt werden kann (Refraktärphase)

• Synapsen können hemmend oder erregend sein

• Neuronen passen bei konstanter Reizung ihre Empfindlichkeit an

• Es gibt in natürlichen NN keinen Synchronismus


SC


Lernen auf Neuronenebene

Bekannteste Theorie (Donald Hebb):

• Wenn Paare von Neuronen gleichzeitig aktiv sind, werden die

Verbindungen zwischen ihnen verstärkt (die Wege im Netz werden

stärker gebahnt)

• Lernvorgänge werden also durch Änderung der Verbindungsstärken an

den Synapsen erreicht

• Mögliche Änderungen:

Strukturell = Form der Endknöpfchen, Form und Größe der Dendritenenden

Chemisch = Zahl der Rezeptormoleküle, freie Menge der Übertragungsstoffe

• Strukturelle Änderungen finden dabei im relativ frühen Lebensalter statt

• Bei Erwachsenen erfolgen chemische Änderungen


SC


Eigenschaften neuronaler Netze mit Bezug zur AT

• NN bilden nichtlineare Zusammenhänge ab und sind daher direkt

für nichtlineare Regelungsprobleme einsetzbar

• NN verfügen über eine MIMO Struktur

• NN sind durch ihre massiv parallele Struktur robust gegenüber

Fehlern in einzelnen Elementen

• NN können dazu benutzt werden zu Generalisieren und zu

Interpolieren

• NN können Zusammenhänge aufgrund von Daten erlernen (ohne

Modell)

• NN können online weiterlernen (Adaptivität)

Für die Anwendung ist ein vereinfachtes mathematisches Modell eines

Neurons erforderlich


SC


Mathematisches Modell eines Neurons

• W. McCulloch und W. Pitts, 1943


SC


Leistungsfähigkeit eines einzelnen Neurons

• Beispiel mit Sprung als Aktivierungsfunktion


SC


Anwendung: logische Funktionen


SC


Grenze: XOR-Problem

• Lösung erfordert mehrere Neuronen

• Lösung mit 3 Neuronen in zwei Schichten


SC


Neuronale Netze (einschichtig)

• Anordnung der Neuronen in mehreren Schichten

• Jedes Neuron ist mit allen Neuronen der Folgeschicht verbunden

• Einschichtiges Netz


SC


Neuronale Netze (mehrschichtig)

• Multi-Layer-Perceptron


SC


Erste Einteilung von NN

• synchrone und asynchrone Netze

bei synchronen Netzen wird die Ausgabe aller Neuronen gleichzeitig berechnet

(Voraussetzung: Keine Rückkopplungsschleifen)

Bei mehrschichtigen Netzen erfolgt die synchrone Berechnung i. A. für jede Schicht

in der Reihenfolge von der Eingangsschicht zur Ausgangsschicht

bei asynchronen Netzen erfolgt die Berechnung der Ausgabe für jedes Neuron

unabhängig von den anderen Neuronen

• statische und dynamische Netze

Ein Neuron ohne gespeicherten Zustand berechnet seine Ausgabe rein aufgrund der

aktuellen Eingabe statisches Netz

Neuronen mit gespeichertem Zustand berechnen die Ausgabe als Funktion der

Eingabe und des vorherigen Zustands. Für diesen Zustand müssen

Übergangsregeln aufgestellt werden dynamisches Netz


SC


Verbindungsstrukturen

• vorwärts

• lateral

• rückwärts


SC


Aktivierungsfunktionen


SC


Offenes Problem: Lernen in NN

• Aufbauend auf dem dargestellten mathematischen Modell eines

Neurons lassen sich beliebig komplexe NN bilden

• Die zugrunde liegende Idee für das Lernen in solchen Netzen

(Anpassung der Gewichte an den Synapsen bzw. Kanten) ist klar

• Problem: Das Modell gibt jedoch keinen Hinweis darauf, wie der

Lernvorgang ablaufen soll

• Lösung:

Zunächst natürliche Formen des Lernens untersuchen

Daraus die prinzipielle Idee eines Lernalgorithmus ableiten

Diesen Algorithmus so umformen, dass er auf das mathematische Modell passt

• Dabei zu beachten:

Effizienz (Zeitaufwand, Implementierungsaufwand)

Konvergenz (Stabilität der Lösung)

Güte (Optimalität der Lösung)


SC


Zusammenfassung und Lernkontrolle zur 7. Vorlesung

Prinzipielle Funktion eines Neurons beschreiben können

natürlich

künstlich

Mathematisches Modell eines einfachen Neurons entwickeln können

Fähigkeiten und Grenzen einzelner Neuronen kennen

Möglichkeiten zum Aufbau von Netzen kennen

Synchronismus

Dynamik

Verknüpfungen

Aktivierungsfunktionen

Grundlegende Unterschiede zwischen natürlichen und künstlichen NN kennen


7. Vorlesung Neuronale Netze - uni-saarland.de · SC WS 18/19 Georg Frey177 Inhalt der 7. Vorlesung...

Documents

Transcript of 7. Vorlesung Neuronale Netze - uni-saarland.de · SC WS 18/19 Georg Frey177 Inhalt der 7. Vorlesung...