Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik,...

27
Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale Netzwerke Dresden, 13.06.2012 Florian Bilstein 04.07.2012

Transcript of Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik,...

Page 1: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur

Zellulare Neuronale Netzwerke

Dresden, 13.06.2012

Florian Bilstein

04.07.2012

Page 2: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Gliederung

1. Einführung

2. Motivation

3. Funktionsweise

Zellulare Neuronale Netzwerke Folie Nr. 2 von 27

4. Anwendung

04.07.2012

Page 3: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

• Was sind Zellulare Neuronale Netzwerke?

Zellulare Neuronale Netzwerke Folie Nr. 3 von 2704.07.2012

Page 4: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Einführung

Ein Netzwerk aus analog verarbeitendenElementen, welche Zellen genannt werden.Diese Elemente sind nur lokal verbunden undlösen durch parallele Verarbeitung eine

Zellulare Neuronale Netzwerke Folie Nr. 4 von 27

lösen durch parallele Verarbeitung eine

gegebene Rechenaufgabe.

04.07.2012

[5]

Page 5: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Motivation

• Sequenzielle Datenverarbeitung limitiert

• Parallelität beschleunigt Verarbeitung großer Datenmengen

• CNN als mögliche Basis für die Integration von

Zellulare Neuronale Netzwerke Folie Nr. 5 von 27

• CNN als mögliche Basis für die Integration von SIMD-Architekturen

04.07.2012

Page 6: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Motivation

• Anpassungsfähigkeit

• Verbindungsstruktur beeinflusst Verhalten

• Bedingt durch innere Struktur spezifisches Verhalten

Zellulare Neuronale Netzwerke Folie Nr. 6 von 27

Verhalten

04.07.2012

Page 7: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Motivation

• Toleranz gegenüber Störeinflüsse

• Realisierungen für Spezialanwendungen in der Informationsverarbeitung

Zellulare Neuronale Netzwerke Folie Nr. 7 von 2704.07.2012

Page 8: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

• Wie funktionieren Zellulare Neuronale Netzwerke?

Zellulare Neuronale Netzwerke Folie Nr. 8 von 2704.07.2012

Page 9: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Definition

• Netzwerk aus analog verarbeitenden Elementen

• Lokale Verbindungen

• Parameter zur Konfiguration der

Zellulare Neuronale Netzwerke Folie Nr. 9 von 27

• Parameter zur Konfiguration der Kopplungseigenschaften

• Interaktion der Zellen bei der parallele Verarbeitung

04.07.2012

Page 10: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Funktionsweise der Zellen

• Biologisch inspirierter Ansatz

• Modell eines Neuron als Grundlage für die Beschreibung des Verhaltens einer Zelle

Zellulare Neuronale Netzwerke Folie Nr. 10 von 2704.07.2012

[1]

Page 11: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Funktionsweise der Zellen

• Zellen sind erregbar

• Relaxieren negativ proportional zum Grundzustand zurück

• Zustandsgleichung:

Zellulare Neuronale Netzwerke Folie Nr. 11 von 27

• Zustandsgleichung:

04.07.2012

[5]

[5]

Page 12: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Anordnung der Zellen innerhalb des Netzwerkes

• Ausgangsaktivität bestimmt durch Transfairfunktion:

[5]

Zellulare Neuronale Netzwerke Folie Nr. 12 von 2704.07.2012

[5]

[1]

Page 13: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Anordnung der Zellen innerhalb des Netzwerkes

• Rechteck mit n*m Zellen

• Nur unmittelbare Nachbarn verbunden

• Spezielle Parameter beeinflussen Übertragungsverhältnis zwischen Zellen

Zellulare Neuronale Netzwerke Folie Nr. 13 von 27

Übertragungsverhältnis zwischen Zellen

04.07.2012

[1]

Page 14: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Erweiterung der Zustandsgleichung

• Zellzustand durch lokale Kopplung beeinflusst

• CNN-Verhaltensbeschreibung:

Zellulare Neuronale Netzwerke Folie Nr. 14 von 2704.07.2012

[5]

[2]

Page 15: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Verhalten der Zellen im Verbindungsnetzwerk

Zellulare Neuronale Netzwerke Folie Nr. 15 von 2704.07.2012

[3]

Page 16: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Netzwerkeigenschaften

• Vorteil liegt nicht in der Exaktheit der Ergebnisse

• Anpassungsfähigkeit

Zellulare Neuronale Netzwerke Folie Nr. 16 von 27

• Anpassungsfähigkeit

• Generalisierungsverhalten (große Toleranz gegenüber verrauschten Eingängen)

• Parallele Informationsverarbeitung

04.07.2012

Page 17: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Modellierung der Verhaltensbeschreibung

• Durch Anpassung der Parameter lässt sich Verhalten beeinflussen

• Templates für die Realisierung verschiedener Funktionen

Zellulare Neuronale Netzwerke Folie Nr. 17 von 27

Funktionen

04.07.2012

Page 18: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Template

• Edge Template

Zellulare Neuronale Netzwerke Folie Nr. 18 von 27

• Zustandsgleichung:

04.07.2012

[5]

Page 19: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Template

• Viele weitere Templates auch abseits der Bildverarbeitung

• AND, OR oder Negation

• Problemstellung werden dabei auf

Zellulare Neuronale Netzwerke Folie Nr. 19 von 27

• Problemstellung werden dabei auf Datenanordnungen innerhalb der CNN Zellgitter zurückgeführt

04.07.2012

[5]

Page 20: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Template

• Darstellung aller Boolschen Funktionen möglich

• Linear Separierbare Funktionen direkt

• Nicht-separierbare Funktionen nur durch Umformung

Zellulare Neuronale Netzwerke Folie Nr. 20 von 27

Umformung

04.07.2012

Page 21: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Anwendung

• Simulation durch− Software

− Digitale Signalprozessoren

Zellulare Neuronale Netzwerke Folie Nr. 21 von 2704.07.2012

Page 22: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Anwendung

• Analoge CNN-Chip

• Jeder analoge Prozessor eine Zelle zugeordnet

• Durch Miniaturisierung mehrere tausend Zellen auf einen Chip

Zellulare Neuronale Netzwerke Folie Nr. 22 von 27

auf einen Chip

04.07.2012

Page 23: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

CNN-UM

• Erweiterung der Zellen zur Realisierung einer CNN- Universelle Maschine

• Bestandteile: Speicher- und Rechenelemente, Schaltungselemente zur Ein-/Ausgabe, …

Zellulare Neuronale Netzwerke Folie Nr. 23 von 27

Schaltungselemente zur Ein-/Ausgabe, …

04.07.2012

[4]

Page 24: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Vorteile

• Kombination der Vorteile eines CNN mit klassischen Rechenstrukturen

• Programmierfähigkeit durch Abfolge verschiedener TemplatesSpeicherung von Zwischenergebnissen

Zellulare Neuronale Netzwerke Folie Nr. 24 von 27

• Speicherung von Zwischenergebnissen• Durch die Ermittlung der Größen durch

Approximation mit Gewichtungen:− Hohe Anpassungsfähigkeit− Große Toleranz gegenüber Störungen− Bedingt durch Aufbau parallele

Informationsverarbeitung

04.07.2012

Page 25: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Anwendungsgebiete

• Medizin (Epilepsie-Früherkennung,…)

• Bild-/ Videoverarbeitung und Kodierung

• Mustererkennung

• Numerische Simulation von partiellen

Zellulare Neuronale Netzwerke Folie Nr. 25 von 27

• Numerische Simulation von partiellen Differentialgleichungen

• biologisch-inspirierten Fortbewegungssteuerung

04.07.2012

Page 26: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Vielen Dank

für Ihre Aufmerksamkeit!

Zellulare Neuronale Netzwerke Folie Nr. 26 von 2704.07.2012

Page 27: Florian Bilstein - tu-dresden.de · Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Zellulare Neuronale

Quellen

(1) http://hss.ulb.uni-bonn.de/2004/0390/0390.pdf(2) http://www.adv-radio-sci.net/5/231/2007/ars-5-231-

2007.pdf(3) http://user.uni-

frankfurt.de/~dweiss/LaTeX2HTML/Diplom/node3_mn.htm(4) http://www.ipm.fraunhofer.de/content/dam/ipm/de/PDFs/pro

Zellulare Neuronale Netzwerke Folie Nr. 27 von 27

(4) http://www.ipm.fraunhofer.de/content/dam/ipm/de/PDFs/produktblaetter/OFM_Optische_Fertigungsmesstechnik/IMT_Inline_Messtechnik/IPM_Artikel_CNN_dt_final.pdf

(5) Skript: Zellulare Neuronale Netzwerke, Dr. rer. nat. Torsten Schmidt, SS 2009

(6) http://www.ipm.fraunhofer.de/content/dam/ipm/de/PDFs/produktblaetter/OFM_Optische_Fertigungsmesstechnik/IMT_Inline_Messtechnik/fachartikel_cnn_drahtinspektion_ipm.pdf

04.07.2012