Sie können Ihre Übungsblätter vorne in den „Abgabe“-Karton ... · „Full of zany characters...

KIT, Interactive Systems Laboratories1 22.06.16 Übung 2 – Maschinelles Lernen und Klassifikation

Sie können Ihre Übungsblätter vorne in den

„Abgabe“-Kartonlegen

KIT – University of the State of Baden-Wuerttemberg andNational Research Center of the Helmholtz Association

KIT, Institute for Anthropomatics and Robotics, Department of Informatics, Interactive Systems Laboratories

www.kit.edu

Kognitive Systeme – Übung 222.06.2016 – Klassifikation und Spracherkennung

Matthias Sperber, Thai Son Nguyen

http://www.kit.edu/


Aufgabe 1: Zufallsexperiment

Aufgabe 2: Fehlerwahrscheinlichkeit

Aufgabe 3: k Nearest Neighbours

Aufgabe 4: Perzeptronen

Aufgabe 5: Neuronale Netze



1b)

n: je mehr, desto besser

Erwartungswert:

Varianz:



1b)

n=10

Zufallszahlen: 5.951; 6.196; 6.409; 4.908; 4.876; 5.590; 6.102; 4.915; 4.818; 6.136;

Erwartungswert:



1b)

Varianz / Standardabweichung:



1b)

Geschätzte Verteilung: p(x|w1) ~ N(5.590; 0.645)

n variieren?



1c)

Naive Bayes Klassifikator:

Bayes:

„naive“ Annahme:

P(x) immer gleich:

Klassifizierungsregel:



1c)


Bsp: Positive / negative movie review„unbelievably disappointing“

„Full of zany characters and richly applied satire, and some great plot twists“

„this is the greatest screwball comedy ever filmed“

„it was pathetic. The worst part about it was the boxing scenes“



1c)


Bsp: Positive / negative movie review„unbelievably disappointing“

„Full of zany characters and richly applied satire, and some great plot twists“

„this is the greatest screwball comedy ever filmed“

„it was pathetic. The worst part about it was the boxing scenes“

Hohe WS für P(neg|“disappointing“), P(neg|“pathetic“)

Hohe WS für P(pos|“greatest“), P(pos|“good“)

Aber: „the movie was not good“



1c)

Gaussian Naive Bayes Klassifikator:Haben kontinuierliche Features → brauchen WS-Dichtefunktion für P(x|y)

Hier: P(x|y) ~ Gauß(mu,sigma)

→ Parametrisches Lernverfahren

Vorteil: sehr schnell, oft ausreichend gute Genauigkeit



1c)

Gegeben:

p(x|w1) ~ N(5.590; 0.645)

p(x|w2) ~ N(5.5; 1)

p(w1) = 0.3

p(w2) = 0.7

Gesucht:

P(w1|x), P(w2|x)

Mit Bayes Regel:

p(x): unbekannt, aber gleich für beide Klassen



1c)


Aufgabe 2: Fehlerwahrscheinlichkeit

2a)

Gegeben:

Fehlerwahrscheinlichkeit:



2a)



2b)

Optimaler Schwellwert: dort, wo sich die Fehlerwahrscheinlichkeitsfunktionen kreuzen



2b)



2c)



2d)

Mögliche Fehlerquellen:WS-Dichtefunktionen auf zu wenig Daten geschätzt, ungenau

Daten sind in Wirklichkeit nicht Gauß-verteilt



Recap

Parametrisch?



Recap

Parametrisch?

Nein

„Lazy Learning“

Klassifizierung / Regression

K: wie wählen?

Zu klein → Outlier gewinnen Einfluss

Zu groß → Grenzen werden unscharf

Heuristik: sqrt(n)

Besser: Hyperparameter Tuning



a) Klassifizierung für k = 1 und k = 5

2 Klassen:

Kreuze

Quadrate

Neues Merkmal bei (6,4)




k = 1:

(6,4) wird als Kreis klassifiziert




k = 5:

(6,4) wird als Kreuz klassifiziert



(I) nicht linear separierbar



(II) lässt sich mit einfachem Perzeptron trennen



(III) Klassen nicht linear separierber



(IV) Klassen in Polarkoordinaten nicht linear separierber



(V) Klassen nicht mit einzelnem Perzeptron trennbar



(VI) Klassen sind mit MLP trennbar



Diskriminierungsfunktion:

Trenngerade bei g(x) = 0

Lernregel

Sie können Ihre Übungsblätter vorne in den „Abgabe“-Karton ... · „Full of zany characters...

Documents

Transcript of Sie können Ihre Übungsblätter vorne in den „Abgabe“-Karton ... · „Full of zany characters...