KIT, Interactive Systems Laboratories1 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Sie können Ihre Übungsblätter vorne in den

„Abgabe“-Kartonlegen

KIT – University of the State of Baden-Wuerttemberg andNational Research Center of the Helmholtz Association

KIT, Institute for Anthropomatics and Robotics, Department of Informatics, Interactive Systems Laboratories

www.kit.edu

Kognitive Systeme – Übung 222.06.2016 – Klassifikation und Spracherkennung

Matthias Sperber, Thai Son Nguyen

KIT, Interactive Systems Laboratories3 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

Aufgabe 2: Fehlerwahrscheinlichkeit

Aufgabe 3: k Nearest Neighbours

Aufgabe 4: Perzeptronen

Aufgabe 5: Neuronale Netze

KIT, Interactive Systems Laboratories4 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1b)

n: je mehr, desto besser

Erwartungswert:

Varianz:

KIT, Interactive Systems Laboratories5 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1b)

n=10

Zufallszahlen: 5.951; 6.196; 6.409; 4.908; 4.876; 5.590; 6.102; 4.915; 4.818; 6.136;

Erwartungswert:

KIT, Interactive Systems Laboratories6 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1b)

Varianz / Standardabweichung:

KIT, Interactive Systems Laboratories7 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1b)

Geschätzte Verteilung: p(x|w1) ~ N(5.590; 0.645)

n variieren?

KIT, Interactive Systems Laboratories8 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1c)

Naive Bayes Klassifikator:

Bayes:

„naive“ Annahme:

P(x) immer gleich:

Klassifizierungsregel:

KIT, Interactive Systems Laboratories9 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1c)

Naive Bayes Klassifikator:

Bsp: Positive / negative movie review„unbelievably disappointing“

„Full of zany characters and richly applied satire, and some great plot twists“

„this is the greatest screwball comedy ever filmed“

„it was pathetic. The worst part about it was the boxing scenes“

KIT, Interactive Systems Laboratories10 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1c)

Naive Bayes Klassifikator:

Bsp: Positive / negative movie review„unbelievably disappointing“

„Full of zany characters and richly applied satire, and some great plot twists“

„this is the greatest screwball comedy ever filmed“

„it was pathetic. The worst part about it was the boxing scenes“

Hohe WS für P(neg|“disappointing“), P(neg|“pathetic“)

Hohe WS für P(pos|“greatest“), P(pos|“good“)

Aber: „the movie was not good“

KIT, Interactive Systems Laboratories11 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1c)

Gaussian Naive Bayes Klassifikator:Haben kontinuierliche Features → brauchen WS-Dichtefunktion für P(x|y)

Hier: P(x|y) ~ Gauß(mu,sigma)

→ Parametrisches Lernverfahren

Vorteil: sehr schnell, oft ausreichend gute Genauigkeit

KIT, Interactive Systems Laboratories12 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1c)

Gegeben:

p(x|w1) ~ N(5.590; 0.645)

p(x|w2) ~ N(5.5; 1)

p(w1) = 0.3

p(w2) = 0.7

Gesucht:

P(w1|x), P(w2|x)

Mit Bayes Regel:

p(x): unbekannt, aber gleich für beide Klassen

KIT, Interactive Systems Laboratories13 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1c)

KIT, Interactive Systems Laboratories14 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

1c)

KIT, Interactive Systems Laboratories15 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 2: Fehlerwahrscheinlichkeit

2a)

Gegeben:

Fehlerwahrscheinlichkeit:

KIT, Interactive Systems Laboratories16 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

2a)

KIT, Interactive Systems Laboratories17 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

2b)

Optimaler Schwellwert: dort, wo sich die Fehlerwahrscheinlichkeitsfunktionen kreuzen

KIT, Interactive Systems Laboratories18 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

2b)

KIT, Interactive Systems Laboratories19 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

2c)

KIT, Interactive Systems Laboratories20 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

2c)

KIT, Interactive Systems Laboratories21 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 1: Zufallsexperiment

2d)

Mögliche Fehlerquellen:WS-Dichtefunktionen auf zu wenig Daten geschätzt, ungenau

Daten sind in Wirklichkeit nicht Gauß-verteilt

KIT, Interactive Systems Laboratories22 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 3: k Nearest Neighbours

Recap

Parametrisch?

KIT, Interactive Systems Laboratories23 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 3: k Nearest Neighbours

Recap

Parametrisch?

Nein

„Lazy Learning“

Klassifizierung / Regression

K: wie wählen?

Zu klein → Outlier gewinnen Einfluss

Zu groß → Grenzen werden unscharf

Heuristik: sqrt(n)

Besser: Hyperparameter Tuning

KIT, Interactive Systems Laboratories24 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 3: k Nearest Neighbours

a) Klassifizierung für k = 1 und k = 5

2 Klassen:

Kreuze

Quadrate

Neues Merkmal bei (6,4)

KIT, Interactive Systems Laboratories25 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 3: k Nearest Neighbours

a) Klassifizierung für k = 1 und k = 5

k = 1:

(6,4) wird als Kreis klassifiziert

KIT, Interactive Systems Laboratories26 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 3: k Nearest Neighbours

a) Klassifizierung für k = 1 und k = 5

k = 5:

(6,4) wird als Kreuz klassifiziert

KIT, Interactive Systems Laboratories27 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 4: Perzeptronen

(I) nicht linear separierbar

KIT, Interactive Systems Laboratories28 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 4: Perzeptronen

(II) lässt sich mit einfachem Perzeptron trennen

KIT, Interactive Systems Laboratories29 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 4: Perzeptronen

(III) Klassen nicht linear separierber

KIT, Interactive Systems Laboratories30 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 4: Perzeptronen

(IV) Klassen in Polarkoordinaten nicht linear separierber

KIT, Interactive Systems Laboratories31 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 4: Perzeptronen

(V) Klassen nicht mit einzelnem Perzeptron trennbar

KIT, Interactive Systems Laboratories32 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 4: Perzeptronen

(VI) Klassen sind mit MLP trennbar

KIT, Interactive Systems Laboratories33 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 5: Neuronale Netze

Diskriminierungsfunktion:

Trenngerade bei g(x) = 0

Lernregel

KIT, Interactive Systems Laboratories34 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 5: Neuronale Netze

KIT, Interactive Systems Laboratories35 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 5: Neuronale Netze

KIT, Interactive Systems Laboratories36 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Aufgabe 5: Neuronale Netze