Neuronale Netze Die Lernmatrix nach Karl Steinbuch

23
Neuronale Netze Die Lernmatrix nach Karl Steinbuch Simon Wehner Fachbereich Physik Nanowissenschaften Dozent: Prof. Dr. Buck Sommersemester 2010

description

Neuronale Netze Die Lernmatrix nach Karl Steinbuch. Simon Wehner Fachbereich Physik Nanowissenschaften Dozent: Prof. Dr. Buck Sommersemester 2010. 0. Gliederung. 1. Kurzbiographie Steinbuch 2. Einleitung 3. Die Lernmatrix 3.1 Matrixelemente 3.2 Neuronenschicht 3.3 Schichtung - PowerPoint PPT Presentation

Transcript of Neuronale Netze Die Lernmatrix nach Karl Steinbuch

Page 1: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

Neuronale NetzeDie Lernmatrix nach

Karl Steinbuch

Simon Wehner

Fachbereich PhysikNanowissenschaften

Dozent: Prof. Dr. BuckSommersemester 2010

Page 2: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

2

0. Gliederung

1. Kurzbiographie Steinbuch2. Einleitung3. Die Lernmatrix

3.1 Matrixelemente3.2 Neuronenschicht3.3 Schichtung

4. Lernalgorithmus5. Kann-Phase6. Rückkopplung

Page 3: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

3

1. Kurzbiographie Steinbuch

Karl Steinbuchgeb. am 15. Juni 1917 in

Stuttgartwar deutscher Kybernetiker,

Nachrichtentechniker und Informationstheoretiker

Pionier der künstlichen neuronalen Netze

Mitbegründer der künstlichenIntelligenz

Page 4: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

4

1. Kurzbiographie Steinbuch

war langjähriger Direktor derTechnischen Hochschule Karlsruhe

die Ausprägung des Begriffs„Informatik“ geht aufSteinbuch zurück (1957)

gest. am 4. Juni 2005in Ettlingen

Page 5: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

5

2. Einleitung

künstliche neuronale Netze (KNN) werden weltweit erforscht, entwickelt und eingesetzt

die ersten brauchbaren KNN erfand und beschrieb Steinbuch in der Zeitschrift „Kybernetik“ unter dem Titel „Die Lernmatrix“ (1961)

allerdings bekam Steinbuchs Lernmatrix zunächst wenig Beachtung

Page 6: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

6

2. Einleitung

Blütezeit der künstlichen neuronalen Netze: 1955 - 1969

1969: Verdikt von Minsky und Papert

Ruhephase 1969 – 1985

Renaissance 1985 - heute

Page 7: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

7

3. Die Lernmatrix

im heutigen Sprachgebrauch würde sie wohl „Das adaptive künstliche neuronale Netzwerk“ heißen

elektronisches System zur parallelen Verarbeitung analoger oder digitaler Datenmengen

Vorbild: biologische Systeme (natürliche neuronale Netze)

mit diesem System werden die Begrenzungen überwunden, die einem Vorgängermodell („Perceptron“ nach Rosenblatt) noch anhafteten

Page 8: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

8

3. Die Lernmatrix

originale Darstellung derLernmatrix nach Steinbuch

Kreisförmige Elemente anKreuzungspunkten

elektronisches „Auge“ wandelt Gestalten in el. Signale um (Eigenschaften)

Ausgangssignale werden nachlinks abgegeben (Bedeutungen)

Satz von Eigenschaften führtzu Satz von Bedeutungen Prinzip der

Lernmatrix

Page 9: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

9

3. Die Lernmatrix3.1 Matrixelemente

neu an Steinbuchs Lernmatrix: als Matrixelemente werden nicht nur Dioden mit der bekannten Kennlinie zugelassen, sondern auch Elemente mit ganz anderen Kennlinien

d.h., dass sich die Ausgangssignale aus einer Summe von Strömen ergeben, wobei jeder Strom aus dem Eingangssignal e und dem zugehörigen Matrixelement besteht

realisiert werden die Matrixelemente durch veränderbare Leitwerte

Page 10: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

10

3. Die Lernmatrix3.1 Matrixelemente

a: Realisierung der Matrixelemente durch veränderbare Leitwerte

b: einige Kennlinien:α: lineare Widerständeβ: Elemente mit

abgerundetem Treppenstufenverlauf

γ: Elemente mit Treppenstufen-charakteristik

Page 11: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

11

3. Die Lernmatrix3.1 Matrixelemente

(nichtlineare) Leitwerte befinden sich am Eingang und sind individuell einstellbar

jede Zeile der Matrix wird zusammengefasst zu einem „Neuron“

vom „Neuron“ geht es direkt zum Ausgang b

modernere Darstellung neuronaler Netze

Page 12: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

12

3. Die Lernmatrix3.2 als Neuronenschicht

Darstellung der Lernmatrix als Neuronenschicht

Page 13: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

13

3. Lernmatrix3.3 Schichtung

Grundidee: die Bedeutungen dienen als neue Eigenschaften

die neuen Eigenschaften werden jeder Zeile einer neuen Matrix zugeführt

erhalten neuen Satz an Bedeutungendiese können wiederum als neue

Eigenschaften interpretiert werdenusw.

Page 14: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

14

3. Die Lernmatrix3.3 Schichtung

Schichtung von Lernmatrizen Neuronendarstellung

Page 15: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

15

4. Der Lernalgorithmus

dem System werden Eigenschaften e undBedeutungen b zugeführt

Matrixelemente werden in ihren Werten verändert

nach einer Vielzahl solcher Lernvorgänge ergibt sich eine ausreichende Veränderung der Matrixelemente, damit jedem Eigenschaftssatz die jeweilige Bedeutung ausgegeben wird

komplementären Eigenschaftssignale e und ē repräsentieren fördernde und hemmende Einflüsse

Page 16: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

16

4. Der Lernalgorithmus

erster Nutzen und Anwendung:mit ausreichendem Arbeitsaufwand ließen sich die vorgeschlagenen Systeme in Hardware realisieren

das war vor allen Dingen ein Vorteil, wenn man bedenkt, dass es die heutzutage allseits gegenwärtigen Computer noch nicht gab

Page 17: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

17

5. Die Kann-Phase

nach Abschluss der Lernphase ist das Steinbuch´sche System einsatzbereit

System befindet sich in der „Kann-Phase“Lernmatrix Bedeutungsmatrix

(reine Begriffsunterscheidung)Matrizen haben die nicht nur Fähigkeit,

erlernte Muster wiederzuerkennen, sondern sie erkennen, wenn ähnliche Muster auftauchen

Forschung bis heute

Page 18: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

18

5. Die Kann-Phase

Prinzip der Bedeutungsmatrix

Page 19: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

19

6. Rückkopplung

Untersuchung des Verhaltens des Systems, wenn der Ausgang wieder mit dem Eingang verbunden wird

Neuronenschicht mit Rückkopplung

Page 20: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

20

6. Rückkopplung

rückgekoppelte Schaltung hat wieder Ein- und Ausgänge

rückgekoppelte Schaltung in Matrixform

Page 21: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

21

6. Rückkopplung

Anwendung: selbstprüfendes und selbstreparierendes System

zusätzliche Information über den Zustand des Systems wird gespeichert

selbstprüfendes und selbstreparierendes System

Page 22: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

22

Literatur

Hilberg, Wolfgang (1995). Karl Steinbuch, ein zu Unrecht vergessener Pionier der künstlichen neuronalen Systeme

Künstliches neuronales Netz, Online unter: http://de.wikipedia.org/wiki/Künstliches_neuronales_Netz. Stand: 8.7.2010

Karl Steinbuch, Online unter: http://de.wikipedia.org/wiki/Karl_Steinbuch.Stand: 8.7.2010

Karl Steinbuch, Online unter: http://xputers.informatik.uni-kl.de/papers/publications/karl-steinbuch.html.Stand: 8.7.2010

http://www.cyranos.ch/doppel32.htm. Stand: 8.7.2010

Page 23: Neuronale Netze Die Lernmatrix nach Karl Steinbuch

23

Vielen Dank für die

Aufmerksamkeit