Machine Learning - Maschinen besser als das menschliche ...ekptkuhr/Hauptseminar/Staehle.pdf ·...
117
Machine Learning - Maschinen besser als das menschliche Gehirn? Seminar Big Data Science Tobias Stähle | 23. Mai 2014 KIT – Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu
Transcript of Machine Learning - Maschinen besser als das menschliche ...ekptkuhr/Hauptseminar/Staehle.pdf ·...
Machine Learning -Maschinen besser als das menschliche Gehirn?Seminar Big Data ScienceTobias Stähle | 23. Mai 2014
KIT – Universität des Landes Baden-Württemberg und
nationales Forschungszentrum in der Helmholtz-Gemeinschaft
www.kit.edu
Outline/Gliederung
1 Einführung
2 Neuronale Netze
3 Anwendungsbeispiele
4 Maschine vs Mensch
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 2/29
Machine Learning
Ziel: Computersysteme die komplexe Entscheidungen treffen können
Problem: zu viele Möglichkeiten
Ansatz: Computer lernt aus Beispielen, verallgemeinert diese
Hoffnung: Die bei den Lerndaten erfolgreiche Strategie ist auch inanderen Situationen erfolgreich
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 3/29
Machine Learning
Ziel: Computersysteme die komplexe Entscheidungen treffen können
Problem: zu viele Möglichkeiten
Ansatz: Computer lernt aus Beispielen, verallgemeinert diese
Hoffnung: Die bei den Lerndaten erfolgreiche Strategie ist auch inanderen Situationen erfolgreich
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 3/29
Machine Learning
Ziel: Computersysteme die komplexe Entscheidungen treffen können
Problem: zu viele Möglichkeiten
Ansatz: Computer lernt aus Beispielen, verallgemeinert diese
Hoffnung: Die bei den Lerndaten erfolgreiche Strategie ist auch inanderen Situationen erfolgreich
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 3/29
Machine Learning
Ziel: Computersysteme die komplexe Entscheidungen treffen können
Problem: zu viele Möglichkeiten
Ansatz: Computer lernt aus Beispielen, verallgemeinert diese
Hoffnung: Die bei den Lerndaten erfolgreiche Strategie ist auch inanderen Situationen erfolgreich
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 3/29
Geschichte
1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)
1952: Erstes Lernfähiges Dame-Programm
1958: Perzeptron, erster Ansatz für neuronale Netze
1968: XOR-Problem, Stagnation in der Forschung
1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze
1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 4/29
Geschichte
1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)
1952: Erstes Lernfähiges Dame-Programm
1958: Perzeptron, erster Ansatz für neuronale Netze
1968: XOR-Problem, Stagnation in der Forschung
1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze
1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 4/29
Geschichte
1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)
1952: Erstes Lernfähiges Dame-Programm
1958: Perzeptron, erster Ansatz für neuronale Netze
1968: XOR-Problem, Stagnation in der Forschung
1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze
1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 4/29
Geschichte
1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)
1952: Erstes Lernfähiges Dame-Programm
1958: Perzeptron, erster Ansatz für neuronale Netze
1968: XOR-Problem, Stagnation in der Forschung
1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze
1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 4/29
Geschichte
1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)
1952: Erstes Lernfähiges Dame-Programm
1958: Perzeptron, erster Ansatz für neuronale Netze
1968: XOR-Problem, Stagnation in der Forschung
1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze
1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 4/29
Geschichte
1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC)
1952: Erstes Lernfähiges Dame-Programm
1958: Perzeptron, erster Ansatz für neuronale Netze
1968: XOR-Problem, Stagnation in der Forschung
1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter,Renaissance der neuronalen Netze
1990 bis heute: Größere Datenmengen führen zu mehr Statistik inallen Wissenschaften. neuronale Netze und andere Systeme fürmaschinelles Lernen gewinnen stark an Bedeutung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 4/29
Verwendete Methoden
neuronale Netze
Entscheidungsbäume
Assoziationsanalyse
induktive logische Programmierung
Support Vector Machine
Clusteranalyse
Bayessches Netz
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 5/29
Neuronale Netze
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 6/29
Was sind neuronale Netze?
formale Modellierung des Neuronennetzes des menschlichenGehirns
zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt
zur Lösung konkreter Anwendungsprobleme
Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben
können formell durch Matrizen dargestellt werden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 7/29
Was sind neuronale Netze?
formale Modellierung des Neuronennetzes des menschlichenGehirns
zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt
zur Lösung konkreter Anwendungsprobleme
Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben
können formell durch Matrizen dargestellt werden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 7/29
Was sind neuronale Netze?
formale Modellierung des Neuronennetzes des menschlichenGehirns
zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt
zur Lösung konkreter Anwendungsprobleme
Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben
können formell durch Matrizen dargestellt werden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 7/29
Was sind neuronale Netze?
formale Modellierung des Neuronennetzes des menschlichenGehirns
zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt
zur Lösung konkreter Anwendungsprobleme
Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben
können formell durch Matrizen dargestellt werden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 7/29
Was sind neuronale Netze?
formale Modellierung des Neuronennetzes des menschlichenGehirns
zur Erforschung der Funktionsweise des menschlichen Gehirnseingesetzt
zur Lösung konkreter Anwendungsprobleme
Eingabevektor wird verarbeitet, Ausgabevektor ausgegeben
können formell durch Matrizen dargestellt werden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 7/29
Eigenschaften neuronaler Netze
Parallelisierung
Fehlertoleranz (intern und extern)
gute Kategorisierung
hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)
viele einstellbare Parameter
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 8/29
Eigenschaften neuronaler Netze
Parallelisierung
Fehlertoleranz (intern und extern)
gute Kategorisierung
hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)
viele einstellbare Parameter
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 8/29
Eigenschaften neuronaler Netze
Parallelisierung
Fehlertoleranz (intern und extern)
gute Kategorisierung
hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)
viele einstellbare Parameter
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 8/29
Eigenschaften neuronaler Netze
Parallelisierung
Fehlertoleranz (intern und extern)
gute Kategorisierung
hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)
viele einstellbare Parameter
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 8/29
Eigenschaften neuronaler Netze
Parallelisierung
Fehlertoleranz (intern und extern)
gute Kategorisierung
hohe Lernfähigkeit (auch bei komplexen Zusammenhängen)
viele einstellbare Parameter
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 8/29
Neuronen
Grundeinheiten des neuronalen Netzes
alternative Namen: Knoten, Units, Einheiten
nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:
Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 9/29
Neuronen
Grundeinheiten des neuronalen Netzes
alternative Namen: Knoten, Units, Einheiten
nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:
Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 9/29
Neuronen
Grundeinheiten des neuronalen Netzes
alternative Namen: Knoten, Units, Einheiten
nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:
Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 9/29
Neuronen
Grundeinheiten des neuronalen Netzes
alternative Namen: Knoten, Units, Einheiten
nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:
Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 9/29
Neuronen
Grundeinheiten des neuronalen Netzes
alternative Namen: Knoten, Units, Einheiten
nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:
Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 9/29
Neuronen
Grundeinheiten des neuronalen Netzes
alternative Namen: Knoten, Units, Einheiten
nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:
Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 9/29
Neuronen
Grundeinheiten des neuronalen Netzes
alternative Namen: Knoten, Units, Einheiten
nehmen Informationen auf, verarbeiten sie und leiten Informationenweiter3 Varianten:
Input-Neuronen: Eingang Außenwelt, Ausgang andere NeuronenOutput-Neuronen: Eingang andere Neuronen, Ausgang AußenweltHidden-Neuronen: Ein- und Ausgang andere Neuronen
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 9/29
Verbindungen
Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt
positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 10/29
Verbindungen
Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt
positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 10/29
Verbindungen
Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt
positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 10/29
Verbindungen
Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt
positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 10/29
Verbindungen
Verbinden zwei NeuronenVerbindungsstärke wird durch Gewicht ausgedrückt
positives Gewicht: erregender Einflussnegatives Gewicht: hemmender EinflussNull: Kein Einfluss
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 10/29
Funktionsweise neuronaler Netze
Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)
Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 11/29
Funktionsweise neuronaler Netze
Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)
Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 11/29
Funktionsweise neuronaler Netze
Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)
Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 11/29
Funktionsweise neuronaler Netze
Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)
Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 11/29
Funktionsweise neuronaler Netze
Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)
Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 11/29
Funktionsweise neuronaler Netze
Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)
Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 11/29
Funktionsweise neuronaler Netze
Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)
Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 11/29
Funktionsweise neuronaler Netze
Gesamtinput wird aus eingehenden Verbindungen festgelegtJede Verbindung: Input aus Gewicht und Aktivität (oft multiplikativ)Alle Verbindungen zusammen: Netinput (oft additiv)
Output wird aus Input berechnet:Lineare AktivitätsfunktionLineare Aktivitätsfunktion mit Schwelle (unterdrückt Rauschen)Binäre SchwellenfunktionSigmoide Aktivitätsfunktion (Vorteile: Beschränkt und Differenzierbar)
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 11/29
Trainingsphase
Training durch viele Inputs
Modifikation durch Lernregeln (meist Gewichte)
supervised Learning: Gewünschtes Ergebnis wird vorgegeben
unsupervised Learning: kein Output vorgegeben
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 12/29
Trainingsphase
Training durch viele Inputs
Modifikation durch Lernregeln (meist Gewichte)
supervised Learning: Gewünschtes Ergebnis wird vorgegeben
unsupervised Learning: kein Output vorgegeben
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 12/29
Trainingsphase
Training durch viele Inputs
Modifikation durch Lernregeln (meist Gewichte)
supervised Learning: Gewünschtes Ergebnis wird vorgegeben
unsupervised Learning: kein Output vorgegeben
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 12/29
Trainingsphase
Training durch viele Inputs
Modifikation durch Lernregeln (meist Gewichte)
supervised Learning: Gewünschtes Ergebnis wird vorgegeben
unsupervised Learning: kein Output vorgegeben
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 12/29
Lernregeln
geben an, wie das System Modifiziert wirdviele Möglichkeiten:
Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 13/29
Lernregeln
geben an, wie das System Modifiziert wirdviele Möglichkeiten:
Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 13/29
Lernregeln
geben an, wie das System Modifiziert wirdviele Möglichkeiten:
Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 13/29
Lernregeln
geben an, wie das System Modifiziert wirdviele Möglichkeiten:
Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 13/29
Lernregeln
geben an, wie das System Modifiziert wirdviele Möglichkeiten:
Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 13/29
Lernregeln
geben an, wie das System Modifiziert wirdviele Möglichkeiten:
Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 13/29
Lernregeln
geben an, wie das System Modifiziert wirdviele Möglichkeiten:
Hebb-RegelDelta-RegelBackpropagationCompetitive Learning. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 13/29
Hebbsche Regel
Hebbsche Regel"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaftzur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert diesin Wachstumsprozessen oder metabolischen Veränderungen in einer oderin beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug aufdie Erzeugung eines Aktionspotentials in B größer wird. The Organizationof Behaviour, Donald Hebb, 1949
sehr an biologische Vorgänge angelehnt
zwei Neuronen gleichzeitig aktiv ⇒ Gewicht wird größer
vorgegebener Lernfaktor ε
Gewichtsänderung: ∆wij = εaiaj
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 14/29
Hebbsche Regel
Hebbsche Regel"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaftzur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert diesin Wachstumsprozessen oder metabolischen Veränderungen in einer oderin beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug aufdie Erzeugung eines Aktionspotentials in B größer wird. The Organizationof Behaviour, Donald Hebb, 1949
sehr an biologische Vorgänge angelehnt
zwei Neuronen gleichzeitig aktiv ⇒ Gewicht wird größer
vorgegebener Lernfaktor ε
Gewichtsänderung: ∆wij = εaiaj
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 14/29
Hebbsche Regel
Hebbsche Regel"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaftzur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert diesin Wachstumsprozessen oder metabolischen Veränderungen in einer oderin beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug aufdie Erzeugung eines Aktionspotentials in B größer wird. The Organizationof Behaviour, Donald Hebb, 1949
sehr an biologische Vorgänge angelehnt
zwei Neuronen gleichzeitig aktiv ⇒ Gewicht wird größer
vorgegebener Lernfaktor ε
Gewichtsänderung: ∆wij = εaiaj
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 14/29
Hebbsche Regel
Hebbsche Regel"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaftzur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert diesin Wachstumsprozessen oder metabolischen Veränderungen in einer oderin beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug aufdie Erzeugung eines Aktionspotentials in B größer wird. The Organizationof Behaviour, Donald Hebb, 1949
sehr an biologische Vorgänge angelehnt
zwei Neuronen gleichzeitig aktiv ⇒ Gewicht wird größer
vorgegebener Lernfaktor ε
Gewichtsänderung: ∆wij = εaiaj
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 14/29
Delta-Regel
einfacher, logischer Ansatz
vergleicht Output mit gewünschtem Output ⇒ δi
Veränderung in Richtung gewünschtem Output
Neuronen mit starkem Output stärker verändert
Gewichtsänderung: ∆wij = εδiaj
Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 15/29
Delta-Regel
einfacher, logischer Ansatz
vergleicht Output mit gewünschtem Output ⇒ δi
Veränderung in Richtung gewünschtem Output
Neuronen mit starkem Output stärker verändert
Gewichtsänderung: ∆wij = εδiaj
Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 15/29
Delta-Regel
einfacher, logischer Ansatz
vergleicht Output mit gewünschtem Output ⇒ δi
Veränderung in Richtung gewünschtem Output
Neuronen mit starkem Output stärker verändert
Gewichtsänderung: ∆wij = εδiaj
Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 15/29
Delta-Regel
einfacher, logischer Ansatz
vergleicht Output mit gewünschtem Output ⇒ δi
Veränderung in Richtung gewünschtem Output
Neuronen mit starkem Output stärker verändert
Gewichtsänderung: ∆wij = εδiaj
Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 15/29
Delta-Regel
einfacher, logischer Ansatz
vergleicht Output mit gewünschtem Output ⇒ δi
Veränderung in Richtung gewünschtem Output
Neuronen mit starkem Output stärker verändert
Gewichtsänderung: ∆wij = εδiaj
Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 15/29
Delta-Regel
einfacher, logischer Ansatz
vergleicht Output mit gewünschtem Output ⇒ δi
Veränderung in Richtung gewünschtem Output
Neuronen mit starkem Output stärker verändert
Gewichtsänderung: ∆wij = εδiaj
Problem: Nur in Netzen ohne Hidden-Neuronen sinnvoll
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 15/29
Backpropagation
Problem: gewünschter Output bei Hidden-Neuronen unklar
Lösung: Rückführung des Fehlers durch die SchichtenAblauf:
Forward PassFehlerbestimmungBackward Pass
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 16/29
Backpropagation
Problem: gewünschter Output bei Hidden-Neuronen unklar
Lösung: Rückführung des Fehlers durch die SchichtenAblauf:
Forward PassFehlerbestimmungBackward Pass
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 16/29
Backpropagation
Problem: gewünschter Output bei Hidden-Neuronen unklar
Lösung: Rückführung des Fehlers durch die SchichtenAblauf:
Forward PassFehlerbestimmungBackward Pass
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 16/29
Backpropagation
Problem: gewünschter Output bei Hidden-Neuronen unklar
Lösung: Rückführung des Fehlers durch die SchichtenAblauf:
Forward PassFehlerbestimmungBackward Pass
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 16/29
Backpropagation
Problem: gewünschter Output bei Hidden-Neuronen unklar
Lösung: Rückführung des Fehlers durch die SchichtenAblauf:
Forward PassFehlerbestimmungBackward Pass
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 16/29
Backpropagation
Problem: gewünschter Output bei Hidden-Neuronen unklar
Lösung: Rückführung des Fehlers durch die SchichtenAblauf:
Forward PassFehlerbestimmungBackward Pass
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 16/29
Backpropagation II
Neuronales Netz auf Beispieldaten anwenden
Fehler der Outputneuronen bestimmen
Fehlerminimierung der Outputschicht
Minimierung über Gradienten
Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)
Minimierung der nächsten Schicht
. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 17/29
Backpropagation II
Neuronales Netz auf Beispieldaten anwenden
Fehler der Outputneuronen bestimmen
Fehlerminimierung der Outputschicht
Minimierung über Gradienten
Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)
Minimierung der nächsten Schicht
. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 17/29
Backpropagation II
Neuronales Netz auf Beispieldaten anwenden
Fehler der Outputneuronen bestimmen
Fehlerminimierung der Outputschicht
Minimierung über Gradienten
Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)
Minimierung der nächsten Schicht
. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 17/29
Backpropagation II
Neuronales Netz auf Beispieldaten anwenden
Fehler der Outputneuronen bestimmen
Fehlerminimierung der Outputschicht
Minimierung über Gradienten
Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)
Minimierung der nächsten Schicht
. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 17/29
Backpropagation II
Neuronales Netz auf Beispieldaten anwenden
Fehler der Outputneuronen bestimmen
Fehlerminimierung der Outputschicht
Minimierung über Gradienten
Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)
Minimierung der nächsten Schicht
. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 17/29
Backpropagation II
Neuronales Netz auf Beispieldaten anwenden
Fehler der Outputneuronen bestimmen
Fehlerminimierung der Outputschicht
Minimierung über Gradienten
Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)
Minimierung der nächsten Schicht
. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 17/29
Backpropagation II
Neuronales Netz auf Beispieldaten anwenden
Fehler der Outputneuronen bestimmen
Fehlerminimierung der Outputschicht
Minimierung über Gradienten
Weitergabe des Fehlers (Gewichts-, Aktivierungsfunktionsabhängig)
Minimierung der nächsten Schicht
. . .
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 17/29
Anwendungsbeispiele
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 18/29
Biologie: Farbkonsistenz
Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:
neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 19/29
Biologie: Farbkonsistenz
Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:
neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 19/29
Biologie: Farbkonsistenz
Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:
neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 19/29
Biologie: Farbkonsistenz
Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:
neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 19/29
Biologie: Farbkonsistenz
Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:
neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 19/29
Biologie: Farbkonsistenz
Phänomen: Objekte erscheinen trotz unterschiedlicher Beleuchtungin gleicher FarbeUntersuchungsansatz: Neuronales Netz mit 2 Hidden-Schichten undBackpropagationTestdaten: Objekte unter verschiedener Beleuchtung, Farbwertewurden übergeben.Ergebnisse:
neuronales Netz konnte den Objekten oft eine klare Farbe zuweisen,auch unter unterschiedlicher Beleuchtungviele Gemeinsamkeiten zu Experimenten mit menschlichenProbanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 19/29
Wirtschaft: Autoversicherung
Aufgabe: Risikoabschätzung bei Versicherten
Problem: Sehr viele mögliche Parameter
Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)
Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:
Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 20/29
Wirtschaft: Autoversicherung
Aufgabe: Risikoabschätzung bei Versicherten
Problem: Sehr viele mögliche Parameter
Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)
Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:
Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 20/29
Wirtschaft: Autoversicherung
Aufgabe: Risikoabschätzung bei Versicherten
Problem: Sehr viele mögliche Parameter
Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)
Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:
Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 20/29
Wirtschaft: Autoversicherung
Aufgabe: Risikoabschätzung bei Versicherten
Problem: Sehr viele mögliche Parameter
Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)
Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:
Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 20/29
Wirtschaft: Autoversicherung
Aufgabe: Risikoabschätzung bei Versicherten
Problem: Sehr viele mögliche Parameter
Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)
Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:
Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 20/29
Wirtschaft: Autoversicherung
Aufgabe: Risikoabschätzung bei Versicherten
Problem: Sehr viele mögliche Parameter
Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)
Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:
Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 20/29
Wirtschaft: Autoversicherung
Aufgabe: Risikoabschätzung bei Versicherten
Problem: Sehr viele mögliche Parameter
Ansatz: NeuroBayes Algorithmen (Kombination vielerLernalgorithmen)
Vorteile: Sehr viele Parameter können mit annehmbaren Aufwand zurKategorisierung benutzt werdenErgebnis:
Bessere Risikoabschätzung führt zu passenderen Tarifen.Kündigungsrisiko kann vorhergesagt werden ⇒ gezieltes Marketing
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 20/29
Physik: CERN
Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen
Problem: 600 Terabyte Daten pro Sekunde
Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:
interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 21/29
Physik: CERN
Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen
Problem: 600 Terabyte Daten pro Sekunde
Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:
interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 21/29
Physik: CERN
Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen
Problem: 600 Terabyte Daten pro Sekunde
Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:
interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 21/29
Physik: CERN
Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen
Problem: 600 Terabyte Daten pro Sekunde
Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:
interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 21/29
Physik: CERN
Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen
Problem: 600 Terabyte Daten pro Sekunde
Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:
interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 21/29
Physik: CERN
Aufgabe: Auswertung von Kollisionen, finden neuer Teilchen
Problem: 600 Terabyte Daten pro Sekunde
Ansatz: NeuroBayes Algorithmen als TriggersoftwareErgebnis:
interessante Kollisionen werden gespeichert, uninteressanteverworfenReduktion auf ca. 1 Gigabyte Daten pro Sekunde
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 21/29
Informatik: Handschrifterkennung
Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln
Problem: Viele Symbole, komplizierte Anordnung
Ansatz: Neuronales Netz
Ergebnis: Noch keines
Mitmachen unter write-math.com
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 22/29
Informatik: Handschrifterkennung
Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln
Problem: Viele Symbole, komplizierte Anordnung
Ansatz: Neuronales Netz
Ergebnis: Noch keines
Mitmachen unter write-math.com
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 22/29
Informatik: Handschrifterkennung
Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln
Problem: Viele Symbole, komplizierte Anordnung
Ansatz: Neuronales Netz
Ergebnis: Noch keines
Mitmachen unter write-math.com
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 22/29
Informatik: Handschrifterkennung
Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln
Problem: Viele Symbole, komplizierte Anordnung
Ansatz: Neuronales Netz
Ergebnis: Noch keines
Mitmachen unter write-math.com
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 22/29
Informatik: Handschrifterkennung
Aufgabe: Erkennung Handschriftlich eingegebener mathematischerFormeln
Problem: Viele Symbole, komplizierte Anordnung
Ansatz: Neuronales Netz
Ergebnis: Noch keines
Mitmachen unter write-math.com
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 22/29
weitere Anwendungsgebiete
Kategorisierung
Bilderkennung
Spracherkennung
Medizinische Diagnose
Börsenanalyse
Suchmaschinen
Computergegner in Spielen
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 23/29
Maschine vs Mensch
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 24/29
Maschine vs MenschMaschine Mensch
kann viele Daten schnellverarbeiten ⇒ Statistik
benötigtProgrammierung durchMensch
benötigt vieleDatensätze zum Lernen
falsche Parameterkönnen zu schlechten /falschen Ergebnissenführen
braucht viel Zeit bei derBearbeitung von Daten
benötigt Ausbildung,Literatur . . .
kann aus relativ wenigDatensätzen lernen ⇒Grundlagen
Erwartungshaltung kannErgebnisse verzerren
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 25/29
Das Gehirn im Computer
"Nachbau"des Gehirns wird versucht
Human Brain Project (EU Flaggschiffprojekt)
Supercomputer Juqueen: 458.752 Prozessorkerne
Problem: Gehirn ca. 100 Mrd Neuronen
viele Grundlagen noch nicht verstanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 26/29
Das Gehirn im Computer
"Nachbau"des Gehirns wird versucht
Human Brain Project (EU Flaggschiffprojekt)
Supercomputer Juqueen: 458.752 Prozessorkerne
Problem: Gehirn ca. 100 Mrd Neuronen
viele Grundlagen noch nicht verstanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 26/29
Das Gehirn im Computer
"Nachbau"des Gehirns wird versucht
Human Brain Project (EU Flaggschiffprojekt)
Supercomputer Juqueen: 458.752 Prozessorkerne
Problem: Gehirn ca. 100 Mrd Neuronen
viele Grundlagen noch nicht verstanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 26/29
Das Gehirn im Computer
"Nachbau"des Gehirns wird versucht
Human Brain Project (EU Flaggschiffprojekt)
Supercomputer Juqueen: 458.752 Prozessorkerne
Problem: Gehirn ca. 100 Mrd Neuronen
viele Grundlagen noch nicht verstanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 26/29
Das Gehirn im Computer
"Nachbau"des Gehirns wird versucht
Human Brain Project (EU Flaggschiffprojekt)
Supercomputer Juqueen: 458.752 Prozessorkerne
Problem: Gehirn ca. 100 Mrd Neuronen
viele Grundlagen noch nicht verstanden
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 26/29
Der Sieger
Menschliches Gehirn durch große Parallelisierung vorne
Kreative Prozesse außerhalb der Programmierung
Wissenschaftlicher Fortschritt ohne Mensch nicht denkbar
Aber: Auch Maschinen wichtig als Ergänzung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 27/29
Der Sieger
Menschliches Gehirn durch große Parallelisierung vorne
Kreative Prozesse außerhalb der Programmierung
Wissenschaftlicher Fortschritt ohne Mensch nicht denkbar
Aber: Auch Maschinen wichtig als Ergänzung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 27/29
Der Sieger
Menschliches Gehirn durch große Parallelisierung vorne
Kreative Prozesse außerhalb der Programmierung
Wissenschaftlicher Fortschritt ohne Mensch nicht denkbar
Aber: Auch Maschinen wichtig als Ergänzung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 27/29
Der Sieger
Menschliches Gehirn durch große Parallelisierung vorne
Kreative Prozesse außerhalb der Programmierung
Wissenschaftlicher Fortschritt ohne Mensch nicht denkbar
Aber: Auch Maschinen wichtig als Ergänzung
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 27/29
Die Gefahr
(http://xkcd.com/534/)
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 28/29
Interessante Links
www.write-math.com - Bachelorarbeit zur Schrifterkennung
www.neuronalesnetz.de - Sehr ausführliche Einleitung zu neuronalenNetzen
cs.uni-muenster.de/Professoren/Lippe/lehre/skripte/wwwnnscript/ -Formellere Betrachtung neuronaler Netze
www.blue-yonder.com - auf maschinelles Lernen spezialisierte Firmamit bekanntem Gründer
Einführung Neuronale Netze Anwendungsbeispiele Maschine vs Mensch
Tobias Stähle – Machine Learning 23. Mai 2014 29/29
