Machine Learning

KNN und andere (Kap. 8)

K-Nearest Neighbour

• Typischerweise für Klassifikationsaufgaben verwendet

• Ursprünglich zur Mustererkennung• Schon Mitte der 50er Jahre angewendet• Keine spezielle Trainingsprozedur erforderlich

(aber Trainingsdaten)• Relativ hoher Aufwand zur Laufzeit

• „Instance based Learning“• „Lazy Learning“

K-nearest Neighbour

• Idee:– Finde in den Trainingsdaten den/die zur aktuellen

Instanz ähnlichste(n) Instanz(en)– Die aktuelle Instanz bekommt denselben Wert wie

diese(r) Nachbar(n)

• Schwierigkeit:– Wieviele Nachbarn?– Welches Ähnlichkeitsmaß?– Was, wenn die Werte der Nachbarn nicht

übereinstimmen?

K-Nearest Neighbour

K= 1 • K = 3

x

Nächster Nachbar von x

x

3 nächste Nachbarn von x

KNN Algorithmus

• Jede Instanz hat die Form <xi,f(xi)>

• Berechne Abstand zwischen Testinstanz und jeder Trainingsinstanz

• Wähle die k-nächsten Nachbarn n1, n2, ..., nk aus

• Der Wert für x ergibt sich durch:– f(x) = A(f(n1), f(n2), ..., f(nk))

– A ist eine Auswahlfunktion

Ähnlichkeitsmaße für binäre Features

• Matching Koeffizient: |X Y|

• Dice Koeffizient : 2|X Y|/(|X|+|Y|)

• Jaccard Koeffizient : |X Y|/|X Y|

• Overlap Koeffizient : |X Y|/min(|X|,|Y|)

• Cosinus: |X Y|/(|X|x|Y|)1/2

Vektorraum-Maße

• Euklidischer Abstand

• Kosinus-Maß:

n

i i

n

i i

n

i ii

yx

yx

yx

yxyx

1

2

1

2

1.),cos(

n

i

ii yxyxdist1

2)(),(

Auswahlfunktion

• Mehrheitsentscheidung• Durchschnitt:

• Gewichtete Summe:

oder

mit

k

nfxf

k

i

i 1

)()(

k

i

ii nfxnsimxf1

)(),()(

k

i

i

k

i

ii

w

nfwxf

1

1

)()( 2),(

1

xndw

ii

Knn für (Text)klassifikation

• Notwendig: Threshold für die Ähnlichkeit:– Wenn die Testinstanz nicht „nahe genug“ bei einer

Trainingsinstanz liegt, soll keine Klassifikation stattfinden, bzw. Mehrfachklassifikation soll zugelassen werden

• Möglichkeiten:– Rcut: weise die Top n Kategorien zu– Pcut: strebe bei den Testinstanzen gleiche Verteilung

an wie bei den Trainingsinstanzen (geht nur im Batch-Modus)

– Scut: wähle (u.U. für jede Kategorie individuellen) festen Threshold

KNN• Eigenschaften:

– Zielfunktion wird nicht explizit bestimmt, lediglich für einen Punkt lokal approximiert

– Dadurch können komplexe Zielfunktionen durch rel. einfache lokale Approximationen ersetzt werden

– Geeignete Datenstruktur zur effizienten Berechnung der Abstände erforderlich• Geeignet für:

– Werte sind diskret oder reellwertige Vektoren– Rel. geringe Anzahl von Features– Große Menge an Trainingsdaten verfügbar

• Vorteile– Kein Trainingsaufwand– Komplexität der Zielfunktion spielt keine Rolle– Kein Informationsverlust

• Nachteile– Negative Effekte durch irrelevante Features– Hoher Verarbeitungsaufwand

KNN: Modifikationen

• Reduktion der Feature Menge:– Versuche irrelevante Features zu entfernen– Cross-Validierung: „leave-one-out“-Methode:

• betrachte jeweils eine Instanz der Trainingsdaten als Testinstanz (reihum) und teste so das Streichen von Features

– Umgewichtung der Features: gewichte vermutlich relevante Features stärker als andere

Lokal gewichtete lineare Regression

• Bei KNN: gewichtete Summe als Funktion zur Bestimmung von f(x) -> punktweise

• Verallgemeinerung: versuche die Zielfunktion tatsächlich lokal zu approximieren (= Regression)

• Nehme an die Zielfunktion ist linear, d.h.

n

i

iinn xwwxwxwwxf1

0110 ...)(

Lokal gewichtete Regression

• Approximiere diese Funktion lokal mittels der k nächsten Nachbarn

• Approxiationsverfahren: Minimierung des quadratischen Fehlers mittels des absteigenden Gradienten Verfahrens (cf. Neuronale Netze)

Lazy Learner – Eager Learner

• Lazy = keine Vorprozessierung der Trainingsdaten

• Traingsdaten können leicht geändert werden

• Keine Veränderung der Trainingsdaten durch‘s Lernen

• Keine Generalisierung • Hoher Aufwand zur Laufzeit• Gefahr des Overfitting geringer• Lokale Approximationen,

erlauben komplexere Zielfunktionen

• Eager = Vorverarbeitung der Trainingsdaten

• Änderung der Trainingsdaten hat großen Aufwand zur Folge

• Trainingsdaten werden durch‘s Lernen verändert

• Generalisierung der Trainingsdaten

• Hoher Trainingsaufwand, gutes Laufzeitverhalten

• Overfitting• Es muss uniforme Zielfunktion

für alle Daten gefunden werden

Rocchio Klassifikator

• Typisch für Textklassifikation• Basiert auf Vektorraum-Modell• Idee: erzeuge aus den Trainingsdaten einen

prototypischen Vektor für jede Kategorie und vergleiche den Vektor der neuen Instanz mit diesen Kategorien-Vektoren

• Verfahren stammt eigentlich aus dem Information Retrieval und wurde ursprünglich zum Relevance Feedback entwickelt

Rocchio

• Berechnung des prototypischen Vektors:– Seien Tc+ die positiven und Tc- die negativen

Trainingsbeispiele (Vektoren) für eine Kategorie c

– sind die Centroiden von T+ bzw. T-

cc TtTt

c tT

tT

R||

1

||

1

/||

1

/cTtt

T

Rocchio

• Klassifikation:– Für eine Testinstanz x berechne für jede

Kategorie ci: d(x, ci)

– Thresholding nach pcut, scut oder rcut

• Probleme:– Wahl von α und β– Wahl des Abstandsmaß

Relevance Feedback

• Ziel: basierend auf dem Feedback des Benutzers soll die Query Q so modifizert werden, dass die Ergebnisse relevanter werden.– Seien D+ die Dokumente, die als relevant beurteilt

wurden und D- die als irrelevant beurteilten, dann:

DdDdd

Dd

DQQ

||

1

||

1'

Rocchio: Bewertung

• Konzeptuell sehr einfaches Modell• Erlaubt Aussagen über die Beziehung der

Klassen untereinander• Trainingsaufwand relativ gering• Verarbeitungsgeschwindigkeit linear in

Anzahl der Features und Anzahl der Klassen

• In der Praxis jedoch schlechte Klassifikationsqualität

Aufgaben

• Implementieren Sie bitte einen knn-Klassifikator:– Daten: wie für Beispiel Bayes (im mltc Verzeichnis:

/material/beispiel1/data)– Reduzieren Sie die Featuremenge mit einem

geeigneten Verfahren rel. stark– Bestimmen Sie einen geeigneten Wert für k– Definieren Sie eine Repräsentation in der sie die

Trainingsbeispiele abspeichern wollen und wenden sie dieses Verfahren dann an

– Wählen und implementieren Sie eine Auswahlfunktion A