Neuronale Netze Die Lernmatrix nach Karl Steinbuch
description
Transcript of Neuronale Netze Die Lernmatrix nach Karl Steinbuch
Neuronale NetzeDie Lernmatrix nach
Karl Steinbuch
Simon Wehner
Fachbereich PhysikNanowissenschaften
Dozent: Prof. Dr. BuckSommersemester 2010
2
0. Gliederung
1. Kurzbiographie Steinbuch2. Einleitung3. Die Lernmatrix
3.1 Matrixelemente3.2 Neuronenschicht3.3 Schichtung
4. Lernalgorithmus5. Kann-Phase6. Rückkopplung
3
1. Kurzbiographie Steinbuch
Karl Steinbuchgeb. am 15. Juni 1917 in
Stuttgartwar deutscher Kybernetiker,
Nachrichtentechniker und Informationstheoretiker
Pionier der künstlichen neuronalen Netze
Mitbegründer der künstlichenIntelligenz
4
1. Kurzbiographie Steinbuch
war langjähriger Direktor derTechnischen Hochschule Karlsruhe
die Ausprägung des Begriffs„Informatik“ geht aufSteinbuch zurück (1957)
gest. am 4. Juni 2005in Ettlingen
5
2. Einleitung
künstliche neuronale Netze (KNN) werden weltweit erforscht, entwickelt und eingesetzt
die ersten brauchbaren KNN erfand und beschrieb Steinbuch in der Zeitschrift „Kybernetik“ unter dem Titel „Die Lernmatrix“ (1961)
allerdings bekam Steinbuchs Lernmatrix zunächst wenig Beachtung
6
2. Einleitung
Blütezeit der künstlichen neuronalen Netze: 1955 - 1969
1969: Verdikt von Minsky und Papert
Ruhephase 1969 – 1985
Renaissance 1985 - heute
7
3. Die Lernmatrix
im heutigen Sprachgebrauch würde sie wohl „Das adaptive künstliche neuronale Netzwerk“ heißen
elektronisches System zur parallelen Verarbeitung analoger oder digitaler Datenmengen
Vorbild: biologische Systeme (natürliche neuronale Netze)
mit diesem System werden die Begrenzungen überwunden, die einem Vorgängermodell („Perceptron“ nach Rosenblatt) noch anhafteten
8
3. Die Lernmatrix
originale Darstellung derLernmatrix nach Steinbuch
Kreisförmige Elemente anKreuzungspunkten
elektronisches „Auge“ wandelt Gestalten in el. Signale um (Eigenschaften)
Ausgangssignale werden nachlinks abgegeben (Bedeutungen)
Satz von Eigenschaften führtzu Satz von Bedeutungen Prinzip der
Lernmatrix
9
3. Die Lernmatrix3.1 Matrixelemente
neu an Steinbuchs Lernmatrix: als Matrixelemente werden nicht nur Dioden mit der bekannten Kennlinie zugelassen, sondern auch Elemente mit ganz anderen Kennlinien
d.h., dass sich die Ausgangssignale aus einer Summe von Strömen ergeben, wobei jeder Strom aus dem Eingangssignal e und dem zugehörigen Matrixelement besteht
realisiert werden die Matrixelemente durch veränderbare Leitwerte
10
3. Die Lernmatrix3.1 Matrixelemente
a: Realisierung der Matrixelemente durch veränderbare Leitwerte
b: einige Kennlinien:α: lineare Widerständeβ: Elemente mit
abgerundetem Treppenstufenverlauf
γ: Elemente mit Treppenstufen-charakteristik
11
3. Die Lernmatrix3.1 Matrixelemente
(nichtlineare) Leitwerte befinden sich am Eingang und sind individuell einstellbar
jede Zeile der Matrix wird zusammengefasst zu einem „Neuron“
vom „Neuron“ geht es direkt zum Ausgang b
modernere Darstellung neuronaler Netze
12
3. Die Lernmatrix3.2 als Neuronenschicht
Darstellung der Lernmatrix als Neuronenschicht
13
3. Lernmatrix3.3 Schichtung
Grundidee: die Bedeutungen dienen als neue Eigenschaften
die neuen Eigenschaften werden jeder Zeile einer neuen Matrix zugeführt
erhalten neuen Satz an Bedeutungendiese können wiederum als neue
Eigenschaften interpretiert werdenusw.
14
3. Die Lernmatrix3.3 Schichtung
Schichtung von Lernmatrizen Neuronendarstellung
15
4. Der Lernalgorithmus
dem System werden Eigenschaften e undBedeutungen b zugeführt
Matrixelemente werden in ihren Werten verändert
nach einer Vielzahl solcher Lernvorgänge ergibt sich eine ausreichende Veränderung der Matrixelemente, damit jedem Eigenschaftssatz die jeweilige Bedeutung ausgegeben wird
komplementären Eigenschaftssignale e und ē repräsentieren fördernde und hemmende Einflüsse
16
4. Der Lernalgorithmus
erster Nutzen und Anwendung:mit ausreichendem Arbeitsaufwand ließen sich die vorgeschlagenen Systeme in Hardware realisieren
das war vor allen Dingen ein Vorteil, wenn man bedenkt, dass es die heutzutage allseits gegenwärtigen Computer noch nicht gab
17
5. Die Kann-Phase
nach Abschluss der Lernphase ist das Steinbuch´sche System einsatzbereit
System befindet sich in der „Kann-Phase“Lernmatrix Bedeutungsmatrix
(reine Begriffsunterscheidung)Matrizen haben die nicht nur Fähigkeit,
erlernte Muster wiederzuerkennen, sondern sie erkennen, wenn ähnliche Muster auftauchen
Forschung bis heute
18
5. Die Kann-Phase
Prinzip der Bedeutungsmatrix
19
6. Rückkopplung
Untersuchung des Verhaltens des Systems, wenn der Ausgang wieder mit dem Eingang verbunden wird
Neuronenschicht mit Rückkopplung
20
6. Rückkopplung
rückgekoppelte Schaltung hat wieder Ein- und Ausgänge
rückgekoppelte Schaltung in Matrixform
21
6. Rückkopplung
Anwendung: selbstprüfendes und selbstreparierendes System
zusätzliche Information über den Zustand des Systems wird gespeichert
selbstprüfendes und selbstreparierendes System
22
Literatur
Hilberg, Wolfgang (1995). Karl Steinbuch, ein zu Unrecht vergessener Pionier der künstlichen neuronalen Systeme
Künstliches neuronales Netz, Online unter: http://de.wikipedia.org/wiki/Künstliches_neuronales_Netz. Stand: 8.7.2010
Karl Steinbuch, Online unter: http://de.wikipedia.org/wiki/Karl_Steinbuch.Stand: 8.7.2010
Karl Steinbuch, Online unter: http://xputers.informatik.uni-kl.de/papers/publications/karl-steinbuch.html.Stand: 8.7.2010
http://www.cyranos.ch/doppel32.htm. Stand: 8.7.2010
23
Vielen Dank für die
Aufmerksamkeit