Machine Learning -Maschinen besser als das menschliche Gehirn?Seminar Big Data ScienceTobias Stähle | 23. Mai 2014

KIT – Universität des Landes Baden-Württemberg und

nationales Forschungszentrum in der Helmholtz-Gemeinschaft

www.kit.edu

Outline/Gliederung

1 Einführung

2 Neuronale Netze

3 Anwendungsbeispiele

4 Maschine vs Mensch

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 2/29

Machine Learning

Ziel: Computersysteme die komplexe Entscheidungen treffen können

Problem: zu viele Möglichkeiten

Ansatz: Computer lernt aus Beispielen, verallgemeinert diese

Hoffnung: Die bei den Lerndaten erfolgreiche Strategie ist auch inanderen Situationen erfolgreich

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 3/29

Machine Learning

Ziel: Computersysteme die komplexe Entscheidungen treffen können

Problem: zu viele Möglichkeiten

Ansatz: Computer lernt aus Beispielen, verallgemeinert diese

Hoffnung: Die bei den Lerndaten erfolgreiche Strategie ist auch inanderen Situationen erfolgreich

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 3/29

Machine Learning

Ziel: Computersysteme die komplexe Entscheidungen treffen können

Problem: zu viele Möglichkeiten

Ansatz: Computer lernt aus Beispielen, verallgemeinert diese

Hoffnung: Die bei den Lerndaten erfolgreiche Strategie ist auch inanderen Situationen erfolgreich

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 3/29

Machine Learning

Ziel: Computersysteme die komplexe Entscheidungen treffen können

Problem: zu viele Möglichkeiten

Ansatz: Computer lernt aus Beispielen, verallgemeinert diese

Hoffnung: Die bei den Lerndaten erfolgreiche Strategie ist auch inanderen Situationen erfolgreich

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 3/29

Geschichte

1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)

1952: Erstes Lernfähiges Dame-Programm

1958: Perzeptron, erster Ansatz für neuronale Netze

1968: XOR-Problem, Stagnation in der Forschung

1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze

1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 4/29

Geschichte

1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)

1952: Erstes Lernfähiges Dame-Programm

1958: Perzeptron, erster Ansatz für neuronale Netze

1968: XOR-Problem, Stagnation in der Forschung

1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze

1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 4/29

Geschichte

1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)

1952: Erstes Lernfähiges Dame-Programm

1958: Perzeptron, erster Ansatz für neuronale Netze

1968: XOR-Problem, Stagnation in der Forschung

1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze

1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 4/29

Geschichte

1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)

1952: Erstes Lernfähiges Dame-Programm

1958: Perzeptron, erster Ansatz für neuronale Netze

1968: XOR-Problem, Stagnation in der Forschung

1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze

1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 4/29

Geschichte

1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)

1952: Erstes Lernfähiges Dame-Programm

1958: Perzeptron, erster Ansatz für neuronale Netze

1968: XOR-Problem, Stagnation in der Forschung

1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze

1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 4/29

Geschichte

1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)

1952: Erstes Lernfähiges Dame-Programm

1958: Perzeptron, erster Ansatz für neuronale Netze

1968: XOR-Problem, Stagnation in der Forschung

1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze

1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 4/29

Verwendete Methoden

neuronale Netze

Entscheidungsbäume

Assoziationsanalyse

induktive logische Programmierung

Support Vector Machine

Clusteranalyse

Bayessches Netz

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 5/29

Neuronale Netze

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 6/29

Was sind neuronale Netze?

formale Modellierung des Neuronennetzes des menschlichenGehirns

zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt

zur Lösung konkreter Anwendungsprobleme

Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben

können formell durch Matrizen dargestellt werden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 7/29

Was sind neuronale Netze?

formale Modellierung des Neuronennetzes des menschlichenGehirns

zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt

zur Lösung konkreter Anwendungsprobleme

Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben

können formell durch Matrizen dargestellt werden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 7/29

Was sind neuronale Netze?

formale Modellierung des Neuronennetzes des menschlichenGehirns

zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt

zur Lösung konkreter Anwendungsprobleme

Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben

können formell durch Matrizen dargestellt werden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 7/29

Was sind neuronale Netze?

formale Modellierung des Neuronennetzes des menschlichenGehirns

zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt

zur Lösung konkreter Anwendungsprobleme

Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben

können formell durch Matrizen dargestellt werden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 7/29

Was sind neuronale Netze?

formale Modellierung des Neuronennetzes des menschlichenGehirns

zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt

zur Lösung konkreter Anwendungsprobleme

Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben

können formell durch Matrizen dargestellt werden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 7/29

Eigenschaften neuronaler Netze

Parallelisierung

Fehlertoleranz (intern und extern)

gute Kategorisierung

hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)

viele einstellbare Parameter

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 8/29

Eigenschaften neuronaler Netze

Parallelisierung

Fehlertoleranz (intern und extern)

gute Kategorisierung

hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)

viele einstellbare Parameter

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 8/29

Eigenschaften neuronaler Netze

Parallelisierung

Fehlertoleranz (intern und extern)

gute Kategorisierung

hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)

viele einstellbare Parameter

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 8/29

Eigenschaften neuronaler Netze

Parallelisierung

Fehlertoleranz (intern und extern)

gute Kategorisierung

hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)

viele einstellbare Parameter

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 8/29

Eigenschaften neuronaler Netze

Parallelisierung

Fehlertoleranz (intern und extern)

gute Kategorisierung

hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)

viele einstellbare Parameter

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 8/29

Neuronen

Grundeinheiten des neuronalen Netzes

alternative Namen: Knoten, Units, Einheiten

nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:

Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 9/29

Neuronen

Grundeinheiten des neuronalen Netzes

alternative Namen: Knoten, Units, Einheiten

nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:

Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 9/29

Neuronen

Grundeinheiten des neuronalen Netzes

alternative Namen: Knoten, Units, Einheiten

nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:

Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 9/29

Neuronen

Grundeinheiten des neuronalen Netzes

alternative Namen: Knoten, Units, Einheiten

nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:

Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 9/29

Neuronen

Grundeinheiten des neuronalen Netzes

alternative Namen: Knoten, Units, Einheiten

nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:

Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 9/29

Neuronen

Grundeinheiten des neuronalen Netzes

alternative Namen: Knoten, Units, Einheiten

nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:

Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 9/29

Neuronen

Grundeinheiten des neuronalen Netzes

alternative Namen: Knoten, Units, Einheiten

nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:

Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 9/29

Verbindungen

Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt

positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 10/29

Verbindungen

Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt

positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 10/29

Verbindungen

Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt

positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 10/29

Verbindungen

Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt

positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 10/29

Verbindungen

Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt

positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 10/29

Funktionsweise neuronaler Netze

Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)

Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 11/29

Funktionsweise neuronaler Netze

Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)

Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 11/29

Funktionsweise neuronaler Netze

Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)

Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 11/29

Funktionsweise neuronaler Netze

Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)

Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 11/29

Funktionsweise neuronaler Netze

Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)

Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 11/29

Funktionsweise neuronaler Netze

Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)

Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 11/29

Funktionsweise neuronaler Netze

Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)

Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 11/29

Funktionsweise neuronaler Netze

Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)

Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 11/29

Trainingsphase

Training durch viele Inputs

Modifikation durch Lernregeln (meist Gewichte)

supervised Learning: Gewünschtes Ergebnis wird vorgegeben

unsupervised Learning: kein Output vorgegeben

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 12/29

Trainingsphase

Training durch viele Inputs

Modifikation durch Lernregeln (meist Gewichte)

supervised Learning: Gewünschtes Ergebnis wird vorgegeben

unsupervised Learning: kein Output vorgegeben

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 12/29

Trainingsphase

Training durch viele Inputs

Modifikation durch Lernregeln (meist Gewichte)

supervised Learning: Gewünschtes Ergebnis wird vorgegeben

unsupervised Learning: kein Output vorgegeben

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 12/29

Trainingsphase

Training durch viele Inputs

Modifikation durch Lernregeln (meist Gewichte)

supervised Learning: Gewünschtes Ergebnis wird vorgegeben

unsupervised Learning: kein Output vorgegeben

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 12/29

Lernregeln

geben an, wie das System Modifiziert wirdviele Möglichkeiten:

Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 13/29

Lernregeln

geben an, wie das System Modifiziert wirdviele Möglichkeiten:

Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 13/29

Lernregeln

geben an, wie das System Modifiziert wirdviele Möglichkeiten:

Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 13/29

Lernregeln

geben an, wie das System Modifiziert wirdviele Möglichkeiten:

Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 13/29

Lernregeln

geben an, wie das System Modifiziert wirdviele Möglichkeiten:

Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 13/29

Lernregeln

geben an, wie das System Modifiziert wirdviele Möglichkeiten:

Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 13/29

Lernregeln

geben an, wie das System Modifiziert wirdviele Möglichkeiten:

Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 13/29

Hebbsche Regel

Hebbsche Regel"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaftzur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert diesin Wachstumsprozessen oder metabolischen Veränderungen in einer oderin beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug aufdie Erzeugung eines Aktionspotentials in B größer wird. The Organizationof Behaviour, Donald Hebb, 1949

sehr an biologische Vorgänge angelehnt

zwei Neuronen gleichzeitig aktiv ⇒ Gewicht wird größer

vorgegebener Lernfaktor ε

Gewichtsänderung: ∆wij = εaiaj

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 14/29

Hebbsche Regel

Hebbsche Regel"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaftzur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert diesin Wachstumsprozessen oder metabolischen Veränderungen in einer oderin beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug aufdie Erzeugung eines Aktionspotentials in B größer wird. The Organizationof Behaviour, Donald Hebb, 1949

sehr an biologische Vorgänge angelehnt

zwei Neuronen gleichzeitig aktiv ⇒ Gewicht wird größer

vorgegebener Lernfaktor ε

Gewichtsänderung: ∆wij = εaiaj

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 14/29

Hebbsche Regel

Hebbsche Regel"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaftzur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert diesin Wachstumsprozessen oder metabolischen Veränderungen in einer oderin beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug aufdie Erzeugung eines Aktionspotentials in B größer wird. The Organizationof Behaviour, Donald Hebb, 1949

sehr an biologische Vorgänge angelehnt

zwei Neuronen gleichzeitig aktiv ⇒ Gewicht wird größer

vorgegebener Lernfaktor ε

Gewichtsänderung: ∆wij = εaiaj

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 14/29

Hebbsche Regel

Hebbsche Regel"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaftzur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert diesin Wachstumsprozessen oder metabolischen Veränderungen in einer oderin beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug aufdie Erzeugung eines Aktionspotentials in B größer wird. The Organizationof Behaviour, Donald Hebb, 1949

sehr an biologische Vorgänge angelehnt

zwei Neuronen gleichzeitig aktiv ⇒ Gewicht wird größer

vorgegebener Lernfaktor ε

Gewichtsänderung: ∆wij = εaiaj

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 14/29

Delta-Regel

einfacher, logischer Ansatz

vergleicht Output mit gewünschtem Output ⇒ δi

Veränderung in Richtung gewünschtem Output

Neuronen mit starkem Output stärker verändert

Gewichtsänderung: ∆wij = εδiaj

Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 15/29

Delta-Regel

einfacher, logischer Ansatz

vergleicht Output mit gewünschtem Output ⇒ δi

Veränderung in Richtung gewünschtem Output

Neuronen mit starkem Output stärker verändert

Gewichtsänderung: ∆wij = εδiaj

Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 15/29

Delta-Regel

einfacher, logischer Ansatz

vergleicht Output mit gewünschtem Output ⇒ δi

Veränderung in Richtung gewünschtem Output

Neuronen mit starkem Output stärker verändert

Gewichtsänderung: ∆wij = εδiaj

Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 15/29

Delta-Regel

einfacher, logischer Ansatz

vergleicht Output mit gewünschtem Output ⇒ δi

Veränderung in Richtung gewünschtem Output

Neuronen mit starkem Output stärker verändert

Gewichtsänderung: ∆wij = εδiaj

Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 15/29

Delta-Regel

einfacher, logischer Ansatz

vergleicht Output mit gewünschtem Output ⇒ δi

Veränderung in Richtung gewünschtem Output

Neuronen mit starkem Output stärker verändert

Gewichtsänderung: ∆wij = εδiaj

Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 15/29

Delta-Regel

einfacher, logischer Ansatz

vergleicht Output mit gewünschtem Output ⇒ δi

Veränderung in Richtung gewünschtem Output

Neuronen mit starkem Output stärker verändert

Gewichtsänderung: ∆wij = εδiaj

Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 15/29

Backpropagation

Problem: gewünschter Output bei Hidden-Neuronen unklar

Lösung: Rückführung des Fehlers durch die SchichtenAblauf:

Forward PassFehlerbestimmungBackward Pass

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 16/29

Backpropagation

Problem: gewünschter Output bei Hidden-Neuronen unklar

Lösung: Rückführung des Fehlers durch die SchichtenAblauf:

Forward PassFehlerbestimmungBackward Pass

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 16/29

Backpropagation

Problem: gewünschter Output bei Hidden-Neuronen unklar

Lösung: Rückführung des Fehlers durch die SchichtenAblauf:

Forward PassFehlerbestimmungBackward Pass

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 16/29

Backpropagation

Problem: gewünschter Output bei Hidden-Neuronen unklar

Lösung: Rückführung des Fehlers durch die SchichtenAblauf:

Forward PassFehlerbestimmungBackward Pass

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 16/29

Backpropagation

Problem: gewünschter Output bei Hidden-Neuronen unklar

Lösung: Rückführung des Fehlers durch die SchichtenAblauf:

Forward PassFehlerbestimmungBackward Pass

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 16/29

Backpropagation

Problem: gewünschter Output bei Hidden-Neuronen unklar

Lösung: Rückführung des Fehlers durch die SchichtenAblauf:

Forward PassFehlerbestimmungBackward Pass

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 16/29

Backpropagation II

Neuronales Netz auf Beispieldaten anwenden

Fehler der Outputneuronen bestimmen

Fehlerminimierung der Outputschicht

Minimierung über Gradienten

Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)

Minimierung der nächsten Schicht

. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 17/29

Backpropagation II

Neuronales Netz auf Beispieldaten anwenden

Fehler der Outputneuronen bestimmen

Fehlerminimierung der Outputschicht

Minimierung über Gradienten

Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)

Minimierung der nächsten Schicht

. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 17/29

Backpropagation II

Neuronales Netz auf Beispieldaten anwenden

Fehler der Outputneuronen bestimmen

Fehlerminimierung der Outputschicht

Minimierung über Gradienten

Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)

Minimierung der nächsten Schicht

. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 17/29

Backpropagation II

Neuronales Netz auf Beispieldaten anwenden

Fehler der Outputneuronen bestimmen

Fehlerminimierung der Outputschicht

Minimierung über Gradienten

Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)

Minimierung der nächsten Schicht

. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 17/29

Backpropagation II

Neuronales Netz auf Beispieldaten anwenden

Fehler der Outputneuronen bestimmen

Fehlerminimierung der Outputschicht

Minimierung über Gradienten

Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)

Minimierung der nächsten Schicht

. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 17/29

Backpropagation II

Neuronales Netz auf Beispieldaten anwenden

Fehler der Outputneuronen bestimmen

Fehlerminimierung der Outputschicht

Minimierung über Gradienten

Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)

Minimierung der nächsten Schicht

. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 17/29

Backpropagation II

Neuronales Netz auf Beispieldaten anwenden

Fehler der Outputneuronen bestimmen

Fehlerminimierung der Outputschicht

Minimierung über Gradienten

Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)

Minimierung der nächsten Schicht

. . .

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 17/29

Anwendungsbeispiele

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 18/29

Biologie: Farbkonsistenz

Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:

neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 19/29

Biologie: Farbkonsistenz

Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:

neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 19/29

Biologie: Farbkonsistenz

Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:

neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 19/29

Biologie: Farbkonsistenz

Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:

neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 19/29

Biologie: Farbkonsistenz

Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:

neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 19/29

Biologie: Farbkonsistenz

Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:

neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 19/29

Wirtschaft: Autoversicherung

Aufgabe: Risikoabschätzung bei Versicherten

Problem: Sehr viele mögliche Parameter

Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)

Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:

Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 20/29

Wirtschaft: Autoversicherung

Aufgabe: Risikoabschätzung bei Versicherten

Problem: Sehr viele mögliche Parameter

Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)

Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:

Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 20/29

Wirtschaft: Autoversicherung

Aufgabe: Risikoabschätzung bei Versicherten

Problem: Sehr viele mögliche Parameter

Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)

Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:

Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 20/29

Wirtschaft: Autoversicherung

Aufgabe: Risikoabschätzung bei Versicherten

Problem: Sehr viele mögliche Parameter

Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)

Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:

Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 20/29

Wirtschaft: Autoversicherung

Aufgabe: Risikoabschätzung bei Versicherten

Problem: Sehr viele mögliche Parameter

Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)

Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:

Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 20/29

Wirtschaft: Autoversicherung

Aufgabe: Risikoabschätzung bei Versicherten

Problem: Sehr viele mögliche Parameter

Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)

Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:

Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 20/29

Wirtschaft: Autoversicherung

Aufgabe: Risikoabschätzung bei Versicherten

Problem: Sehr viele mögliche Parameter

Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)

Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:

Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 20/29

Physik: CERN

Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen

Problem: 600 Terabyte Daten pro Sekunde

Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:

interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 21/29

Physik: CERN

Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen

Problem: 600 Terabyte Daten pro Sekunde

Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:

interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 21/29

Physik: CERN

Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen

Problem: 600 Terabyte Daten pro Sekunde

Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:

interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 21/29

Physik: CERN

Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen

Problem: 600 Terabyte Daten pro Sekunde

Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:

interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 21/29

Physik: CERN

Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen

Problem: 600 Terabyte Daten pro Sekunde

Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:

interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 21/29

Physik: CERN

Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen

Problem: 600 Terabyte Daten pro Sekunde

Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:

interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 21/29

Informatik: Handschrifterkennung

Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln

Problem: Viele Symbole, komplizierte Anordnung

Ansatz: Neuronales Netz

Ergebnis: Noch keines

Mitmachen unter write-math.com

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 22/29

Informatik: Handschrifterkennung

Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln

Problem: Viele Symbole, komplizierte Anordnung

Ansatz: Neuronales Netz

Ergebnis: Noch keines

Mitmachen unter write-math.com

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 22/29

Informatik: Handschrifterkennung

Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln

Problem: Viele Symbole, komplizierte Anordnung

Ansatz: Neuronales Netz

Ergebnis: Noch keines

Mitmachen unter write-math.com

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 22/29

Informatik: Handschrifterkennung

Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln

Problem: Viele Symbole, komplizierte Anordnung

Ansatz: Neuronales Netz

Ergebnis: Noch keines

Mitmachen unter write-math.com

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 22/29

Informatik: Handschrifterkennung

Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln

Problem: Viele Symbole, komplizierte Anordnung

Ansatz: Neuronales Netz

Ergebnis: Noch keines

Mitmachen unter write-math.com

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 22/29

weitere Anwendungsgebiete

Kategorisierung

Bilderkennung

Spracherkennung

Medizinische Diagnose

Börsenanalyse

Suchmaschinen

Computergegner in Spielen

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 23/29

Maschine vs Mensch

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 24/29

Maschine vs MenschMaschine Mensch

kann viele Daten schnellverarbeiten ⇒ Statistik

benötigtProgrammierung durchMensch

benötigt vieleDatensätze zum Lernen

falsche Parameterkönnen zu schlechten /falschen Ergebnissenführen

braucht viel Zeit bei derBearbeitung von Daten

benötigt Ausbildung,Literatur . . .

kann aus relativ wenigDatensätzen lernen ⇒Grundlagen

Erwartungshaltung kannErgebnisse verzerren

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 25/29

Das Gehirn im Computer

"Nachbau"des Gehirns wird versucht

Human Brain Project (EU Flaggschiffprojekt)

Supercomputer Juqueen: 458.752 Prozessorkerne

Problem: Gehirn ca. 100 Mrd Neuronen

viele Grundlagen noch nicht verstanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 26/29

Das Gehirn im Computer

"Nachbau"des Gehirns wird versucht

Human Brain Project (EU Flaggschiffprojekt)

Supercomputer Juqueen: 458.752 Prozessorkerne

Problem: Gehirn ca. 100 Mrd Neuronen

viele Grundlagen noch nicht verstanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 26/29

Das Gehirn im Computer

"Nachbau"des Gehirns wird versucht

Human Brain Project (EU Flaggschiffprojekt)

Supercomputer Juqueen: 458.752 Prozessorkerne

Problem: Gehirn ca. 100 Mrd Neuronen

viele Grundlagen noch nicht verstanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 26/29

Das Gehirn im Computer

"Nachbau"des Gehirns wird versucht

Human Brain Project (EU Flaggschiffprojekt)

Supercomputer Juqueen: 458.752 Prozessorkerne

Problem: Gehirn ca. 100 Mrd Neuronen

viele Grundlagen noch nicht verstanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 26/29

Das Gehirn im Computer

"Nachbau"des Gehirns wird versucht

Human Brain Project (EU Flaggschiffprojekt)

Supercomputer Juqueen: 458.752 Prozessorkerne

Problem: Gehirn ca. 100 Mrd Neuronen

viele Grundlagen noch nicht verstanden

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 26/29

Der Sieger

Menschliches Gehirn durch große Parallelisierung vorne

Kreative Prozesse außerhalb der Programmierung

Wissenschaftlicher Fortschritt ohne Mensch nicht denkbar

Aber: Auch Maschinen wichtig als Ergänzung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 27/29

Der Sieger

Menschliches Gehirn durch große Parallelisierung vorne

Kreative Prozesse außerhalb der Programmierung

Wissenschaftlicher Fortschritt ohne Mensch nicht denkbar

Aber: Auch Maschinen wichtig als Ergänzung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 27/29

Der Sieger

Menschliches Gehirn durch große Parallelisierung vorne

Kreative Prozesse außerhalb der Programmierung

Wissenschaftlicher Fortschritt ohne Mensch nicht denkbar

Aber: Auch Maschinen wichtig als Ergänzung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 27/29

Der Sieger

Menschliches Gehirn durch große Parallelisierung vorne

Kreative Prozesse außerhalb der Programmierung

Wissenschaftlicher Fortschritt ohne Mensch nicht denkbar

Aber: Auch Maschinen wichtig als Ergänzung

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 27/29

Die Gefahr

(http://xkcd.com/534/)

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 28/29

Interessante Links

www.write-math.com - Bachelorarbeit zur Schrifterkennung

www.neuronalesnetz.de - Sehr ausführliche Einleitung zu neuronalenNetzen

cs.uni-muenster.de/Professoren/Lippe/lehre/skripte/wwwnnscript/ -Formellere Betrachtung neuronaler Netze

www.blue-yonder.com - auf maschinelles Lernen spezialisierte Firmamit bekanntem Gründer

Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch

Tobias Stähle – Machine Learning 23. Mai 2014 29/29