10.3.2004 IT meets science 1

Lernende Software

Priv.Doz. Dr. Barbara Hammer,Forschernachwuchsgruppe

Lernen mit Neuronalen Methoden auf Strukturierten Daten,

Universität Osnabrück

10.3.2004 IT meets science 2

Lernende Software

Wozu?

Wie?

Wer?

10.3.2004 IT meets science 3

Wozu …

10.3.2004 IT meets science 4

Lernende Software – wozu?

Das e-mail Programm lernt anhand von Beispielen, persönlich wichtige e-mails von spam zu unterscheiden.

10.3.2004 IT meets science 5

Lernende Software – wozu?

Eine komplexe industrielle Anlage

An dieser Stelle könnte eine sensorgesteuerte Qualitätsüberwachung stehen, die automatisch Fehlfabrikationen erkennt.

10.3.2004 IT meets science 6

Lernende Software – wozu?

Der Zeitungskiosk um die Ecke

Helfen könnte eine Prognose des zu erwartenden Abverkaufs.

10.3.2004 IT meets science 7

Lernende Software – wozu?

Ein Kreditinstitut

Eine automatische Analyse der Kreditwürdigkeit des Kunden hätte das verhindert.

10.3.2004 IT meets science 8

Lernende Software – wozu?

Lernen bei zu automatisierenden Problemen die nicht exakt modelliert werden

können die evtl. sogar regelmäßig

nachgebessert werden müssen für die Beispieldaten vorhanden sind

10.3.2004 IT meets science 9

Wie …

10.3.2004 IT meets science 10

… abstrakt

10.3.2004 IT meets science 11

Lernende Software – wie?

Eingabe

Informationsverarbeitung im

Gehirn auf der Basis von

Erfahrungswissen

Ausgabe

10.3.2004 IT meets science 12

Lernende Software – wie?

Eingabe

Ein künstliches

Neuronales Netz

Ausgabe

10.3.2004 IT meets science 13

Lernende Software – wie?

Ein künstliches Neuronales Netz

Eingabe Ausgabe

Betriebsmodus:

... ein Stück Software, das zu einer gegebenen Eingabe die gewünschte Ausgabe liefert

... durch das Zusammenspiel einfacher Basiselemente, der künstlichen Neuronen, kann ein komplexer nichtlinearer Zusammenhang realisiert werden

10.3.2004 IT meets science 14

Lernende Software – wie?

Ein künstliches Neuronales Netz

Eingabe Ausgabe

Lernmodus:

... die Basiselemente und deren Zusammenspiel werden nicht programmiert, sondern gelernt

... automatische Lernprogramme können die Parameter des Netz´ so einstellen, daß es auf gegebenen Beispieldaten ein korrektes Verhalten zeigt

10.3.2004 IT meets science 15

Lernende Software – wie?

Ein künstliches Neuronales Netz

Eingabe Ausgabe

Lernmodus - Testbetrieb:

... um sicher zu gehen, daß das Netz korrekt funktioniert, testet man das Verhalten auf repräsentativen Beispieldaten, die nicht zum Training verwandt wurden

... der Testfehler schätzt die Anzahl der Fehler im laufenden Betrieb

10.3.2004 IT meets science 16

… ein Beispiel

10.3.2004 IT meets science 17

Lernende Software – wie?

spam oder

nicht spam

Vorverarbeitunge-mail

Betriebsmodus:

Lernmodus:

Beispiele von

spam und nicht-spam mails

Lernprogramm

10.3.2004 IT meets science 18

Lernende Software – wie?

spam oder

nicht spam

Vorverarbeitunge-mail

Testbetrieb:

Beispiele von

spam und nicht-spam mails

???

10.3.2004 IT meets science 19

… Klassifikation von Spektraldaten

thanks: Dr. Thomas Villmann

10.3.2004 IT meets science 20

Lernende Software – wie?

Klassifikation von SpektraldatenKlassifikation der

Vegetationsform in:

Pinien

Fichten

Mischwald

Wasser

Grasland

Alpin

Trockenboden

...

10.3.2004 IT meets science 21

Lernende Software – wie?

LANDSAT TM Satelliten-basierte Sensoren liefern

Charaketeristika für 6 relevante Spektralbereiche

mit einer Auflösung von 30x30m2

Wasser

Vegetation

Boden

10.3.2004 IT meets science 22

Lernende Software – wie?

LANDSAT TM Daten für eine Gegend von Colorado, 1907x1784 Pixel

10.3.2004 IT meets science 23

Lernende Software – wie?

6-dim Spektraldaten

eines PixelsVegetationsform

trainiert für 5% der Fläche

Fehler im Testbetrieb für die gesamte Fläche: < 9%

10.3.2004 IT meets science 24

Lernende Software – wie?

10.3.2004 IT meets science 25

… Prognose des Regenabfluß

thanks: Dipl.Systemwiss. Marc Strickert

Prof. Dr. Holger Lange

10.3.2004 IT meets science 26

Lernende Software – wie?

Großlysimeter St.Arnold

20x20m2

3.5m

10.3.2004 IT meets science 27

Lernende Software – wie?

Aufgabe: prognostiziere aus den letzten k

Werten den Regenabfluß für den nächsten Tag

?

10.3.2004 IT meets science 28

Lernende Software – wie?

Ergebnis: 82% richtige Klassifikation auf der Trainingsmenge

70% richtige Klassifikation auf der Testmenge

00.5

1

1.52

2.53

3.54

4.5

0 200 400 600 800 1000

median

1-step prediction

runo

ff in

tensi

ty [

mm

/d]

days since 11 / 01 / 1968

10.3.2004 IT meets science 29

Lernende Software – wie?

0

1

2

3

4

5

6

1825 2190 2555 2920 3285 3650

runoff inte

nsi

ty [

mm

/d]

days since 11 / 01 / 1968

originaldeterministic

simulation start

stochastic

Langzeitprognose

10.3.2004 IT meets science 30

… Fehlererkennung bei Kolbenmaschinen

thanks: Dipl.Systemwiss. Thorsten Bojer

Prognost Systems GmbH

10.3.2004 IT meets science 31

Lernende Software – wie?

Online-Fehlererkennung bei Kolbenmaschinen

10.3.2004 IT meets science 32

Lernende Software – wie?

Fehlerdetektion aufgrund von Sensorsignalen

zeitabhängige Signale: Druck, Schwingungen

Prozeß-Characteristiken

Merkmale des pV Diagramms

…

Sensoren

10.3.2004 IT meets science 33

Lernende Software – wie?

Daten je nach Maschinenbestückung ca. 30 Zeitreihen mit je 36 Einträgen, je 6 Werte ca. 20 Auswertungen pro Zeitintervall ca. 40 globale Merkmaleca. 15 Klassen, wenige (~100) Trainingsmuster

Maschine Klassifikationsgüte des neuronalen Netz`

1, train

test

98.2 (96.3-100)

97.2 (93.5-100)

2, train

test

99.1 (98.4-100)

97.7 (97.6-100)

10.3.2004 IT meets science 34

… abstrakt

10.3.2004 IT meets science 35

Lernende Software – wie?

Bereitstellen von Beispieldaten Vorverarbeitung der Daten Training eines Netzes Testbetrieb ein fertiges neuronales Netz zur

Modellierung des Zusammenhangs Eingabe/Ausgabe

eine Umgebung, die das automatische Training eines geeigneten Netz´ ermöglicht

10.3.2004 IT meets science 36

Wer …

10.3.2004 IT meets science 37

Lernende Software – wer?

Trainingsprogramme für Neuronale Netze gibt es frei verfügbar (Hochschulentwicklungen), in Lizenzsoftware integriert (z.B. Mathematica, Matlab, ...) oder als eigen- ständige käuflich erwerbliche Tools (z.B. von Siemens).

Es gibt viele verschiedene Modelle Neuronaler Netze für verschiedenste Aufgaben.

Das Training Neuronaler Netze erfordert Kenntnisse über das prinzipielle Vorgehen, in der Regel sind spezielle Adaptationen nötig.

Der Betrieb eines fertig trainierten Netz´ erfordert keine Vorkenntnisse und ist in beliebige Programme integrierbar.

10.3.2004 IT meets science 38

Lernende Software – wer?

Bereitstellen von Beispieldaten Vorverarbeitung der Daten Training eines Netzes Testbetrieb ein fertiges neuronales Netz zur

Modellierung des Zusammenhangs Eingabe/Ausgabe

eine Umgebung, die das automatische Training eines geeigneten Netz´ ermöglicht

... IT

... IT/science

... science

... science

Ein Programm in

beliebiger

Programmiersprache,

das unabhängig

benutzt werden kann

Erfordert in der Regel

eine speziell

entwickelte Umgebung

und ein paar

Kenntnisse

in der Anwendung.

10.3.2004 IT meets science 39

Lernende Software – wer?

Neuronale Netze sind ein ideales Gebiet für

IT-Science Kooperationen im Rahmen von

Diplom- und Masterarbeiten

Praktika

Projekten

Auftragsarbeiten

10.3.2004 IT meets science 40

Lernende Software – wer?

Universität Osnabrück – Mathematik/Informatik

Forschernachwuchsgruppe LNM –

B.Hammer, K.Gersmann, M.Strickert

http://www.informatik.uni-osnabrueck.de/lnm

hammer@informatik.uni-osnabrueck.de

Gruppe Neuroinformatik – Prof.M.Riedmiller

http://www.informatik.uni-osnabrueck.de/asg