Fortschritte im Bereich Collaborative Filtering

Vortrag von Martin Esche 06.12.2013

Gliederung

Kurze Einführung in die Funktionsweise von Collaborative Filtering

Vorstellung Verschiedener Methoden zur Verbesserung der Ergebnisse

Neighborhood Model Matrix Factorization Model

Vergleich der vorgestellten Methoden

Einführung in die Funktionalität von Collaborative Filtering

Einführung zu Collaborative Filtering

Grundsätzliche Funktionsweise:● Es werden Verhaltensmuster von Nutzern auf Grundlage verschiedener Informationen (z.B. Bewertungen, Kaufhistorie) in Bezug zu Produkten erstellt

● Aufgrund der erstellten Muster werden die Interessen einzelner Nutzer vorhergesagt

● Dem Nutzer werden dann Dinge empfohlen, die den vorausgesagten Interessen entsprechen

Einführung zu Collaborative Filtering

Es gibt hierbei zwei grundsätzlich unterschiedliche Ansätze:

● Neighborhood Modelle:Je nach Model werden Gruppen ähnlicherNutzer/Gruppen ähnlicher Produkte bestimmt, die dann für Empfehlungen genutzt werden

● Matrix Factorization: Nutzer und Produkte werden in einer Matrix auf einen Faktor reduziert und dann verglichen

Herausforderungen von Collaborative Filtering

Probleme mit beiden Verfahren (naiv):● Datenknappheit: Bei großen Datenbanken: Große Mehrheit der Bewertungen ist unbekannt

● Skalierbarkeit: Der Berechnungsaufwand steigt exponentiell mit der Anzahl der Nutzer/Produkte

● Ignorieren von Synonymen: Ähnliche Produkte können übersehen werden, weil sie unterschiedlich benannt sind

Neighborhood-Modelle

Neighborhood-Modelle: Einführung

Grundsätzlicher Ablauf (Nutzervergleich):● Eine Nachbarschaft(Neighborhood) von Nutzern wird für einen Nutzer bestimmt, indem betrachtetwird, welche anderen Nutzer Produkte ähnlichwie dieser Nutzer bewerten

● Aus der Nachbarschaft werden die von deneinzelnen Nutzern bewerteten Produkte nachGüte der Wertung und Häufigkeit des Auftretensverglichen, worauf die besten ausgewählt unddem Nutzer empfohlen werden

Neighborhood-Modelle: Einführung

Grundsätzlicher Ablauf (Produktvergleich):● Analog zum Nutzervergleich wird eine Produkt- nachbarschaft bestimmt

● Für das bestimmte Produkt wird über die Bewertung der Nachbarschaftsprodukte eine Wertung des Nutzers geschätzt

● Die Produkte mit der höchsten geschätzten Wertung werden dann angezeigt

Neighborhood-Modelle: Berechnung der Ähnlichkeit

Bei der Schätzung von Bewertungen ist zubeachten, dass es Nutzer gibt, die im allgemeinenhöher abstimmen.Ebenso gibt es Produkte, die im allgemeinen einebessere Bewertung erhalten.→ Dies ist in den Schätzungen mit einzubeziehen!Standardbewertung : xAbweichung Nutzer u: b(u)Abweichung Produkt i: b(i)Standardbewertung Nutzer u, Produkt i:

bui=x+bu+bi

Neighborhood-Modelle: Berechnung der Ähnlichkeit

Die Tendenz von Nutzern, die Produkte i und j ähnlich zu bewerten, wird dann mit dem Pearson- Korrelationskoeffizient berechnet. Dabei wird die Gruppe Nutzer U betrachtet, die sowohl i als auch j bewertet haben. Auch wird die Abweichung von Nutzern und Produkten b(u,i) und b(u,j) mit einbezogen.

pij=(∑ u∈U (rui−bui)(ruj−buj))

(√(∑ u∈U (rui−bui)2∗(∑ u∈U (ruj−buj)

2)))

Neighborhood-Modelle: Berechnung der Ähnlichkeit

Es lässt sich dann für jeden Nutzer u die geschätzteWertung für das Produkt i berechnen, indem man einen gewichteten Durchschnitt der Wertungen für die durch die obige Formel bestimmten nächsten Nachbarn K errechnet.

rui=bui+(∑ j∈K pij (ruj−buj))

(∑ j∈K pij)

Neighborhood-Modelle: Berechnung der Ähnlichkeit

Hierbei ist zu beachten, dass die Gewichtung des Durchschnitts hierbei von der Ähnlichkeitsfunktionder Nachbarn abhängt, was einige Probleme mit sich bringt.

Eine verbesserte Version dieser Berechnung würdeFür die Gewichtung die tatsächlichen Bewertungenverwenden.

Matrix Factorization

Matrix Factorization: Einführung

Bei Matrix Factorization erhalten Produkte undNutzer gemeinsame Faktoren, auf denen ihreAbhängigkeit voneinander abgebildet wird.

Beispiel: FilmeFaktor: Komödie oder Drama

Ein Film hat einen hohen Komödienfaktor,ein Nutzer einen großes Interesse an hohem Komödienfaktor → Der Film ist für den Nutzer interessant

Matrix Factorization: SVD(Singular Value Decomposition)

Jedes Produkt i ist mit einem Vektor q(i) assoziiert, und jeder Nutzer u mit einem Vektor p(u).

Für i sagen die Elemente von q aus, wie hoch der Anteil an dem jeweiligen Faktor für das Produkt ist, für u sagt p aus, wie hoch das jeweilige Interesse ist.

Das Skalarprodukt der Vektoren zeigt dann dasIntresse des Nutzers am gegebenen Produkt.

Matrix Factorization: SVD

Multipliziert man also für Faktoren q(i) und p(u) skalarund nimmt noch die zuvor erklärten Abweichungenb(u) und b(i) sowie die Standardwertung x hinzu, so Lässt sich die vorhergesehene Bewertung des Produktes i durch den Nutzer u r(u,i) wie folgt berechnen:

rui=x+bi+bu+qiT pu

Matrix Factorization: SVD

Um die Modellparameter (b(i), b(u), q(i), p(u) )herauszufinden, wird die mittlere QuadratischeAbweichung berechnet:

min( ∑(u , i)∈K

rui−x−bi−bu−qiT pu)

2+k (bi

2+bu

2+∥qi

2∥+∥pu

2∥)

Matrix Factorization: SVD

Um die Modellparameter (b(i), b(u), q(i), p(u) )herauszufinden, wird die mittlere QuadratischeAbweichung berechnet:

Hier kann man dann mit Hilfe der kleinsten-Quadrate-Methode abwechselnd p's fest setzt um nach den q's aufzulösen und q's fest setzt um nach den p's aufzulösen.

min( ∑(u , i)∈K

rui−x−bi−bu−qiT pu)

2+k (bi

2+bu

2+∥qi

2∥+∥pu

2∥)

Matrix Factorization: SVD++

Die SVD-Methode kann dadurch verbessert werden, dass auch implizite Information einbezogen wird

Implizite Information bedeutet alle Information, dienicht direkt durch Bewertungen gegeben wird.

Dies kann zum Beispiel sein, wie oft sich ein Nutzerein Produkt ansieht, oder ob er ein Produkt bewertethat.

Matrix Factorization: SVD++

Beim SVD++ Model ist diese Zusatzinformation,welche Produkte der Nutzer bewertet hat. DieseInformation wird durch einen weiteren Vektor y(i) beim Produkt dargestellt. Die neue Gleichung ist dann:

Die Modellparameter werden hier wieder durch Minimieren der mittleren quadratischen Abweichung und stochastischen Gradientenabstieg bestimmt.

rui=x+bi+bu+qiT( pu+∣R(u)∣

(−12

)

∗∑ j∈R(u) y j)

Matrix Factorization: timeSVD++

Beim timeSVD++ Model wird zusätzlich zur normalenBewertungsinformation noch berücksichtigt, dass sich Wertungen mit der Zeit ändern können, so können Beispielsweise Horrorfilme ein Jahr lang hohePopularität genießen, jedoch dann abfallen.

Das bedeutet, dass Nutzerausrichtung b(u), Produktbevorzugung b(i) und Nutzervorlieben p(u)jeweils noch eine zeitliche Komponente mit sichbringen: , und bu(t)bi(t) pu(t )

Matrix Factorization: timeSVD++

Durch diese Anpassungen kann Beispielsweiseerkannt werden, welche Art von Filmen zu Weihnachten mehr ausgeliehen werden als sonst im Jahr, oder wie ein Nutzer seine Vorlieben im Laufe der Zeit ändert.

Vergleich der Vorgestellten Modelle

Vergleich der Modelle: Neighbourhood Nutzer/Produkte

Produkt-fokussierte Neighbourhood-Modelle könnenIm Vergleich zu Nutzerfokussierten Modellen deutlich einfacher neue Bewertungen und Nutzer einfügen, solange sich die Beziehungen zwischen Produkten nicht ändert, was sehr selten geschieht.

Vergleich der Modelle: Matrix Factorisation

Die Standardmethode SVD kann durch verschiedeneZusatzvektoren so erweitert werden, dass sie ineinem Datenbanktest von den hier betrachtetenModellen die höchste Genauigkeit bei der EmpfehlungVon Produkten erzielt.

Die timeSVD++ Methodik, bei der dies der Fall war, kann auch mit weniger Information gute Ergebnisse liefern, da sie sich nicht nur auf Bewertungen verlässt.

Ausblick: Modellmischformen

Es ist durchaus möglich, die hier präsentiertenModelle erfolgreich zu vermischen; Beispielsweise lässt sich ein Neighborhood Modellauch mit Faktoren realisieren, auch zeitliche Aspekte können bei erweiterten Modellen eineRolle spielen.

Quellen

●Advances in Collaborative Filtering Yehuda Koren and Robert Bell

●Analysis of Recommendation Algorithms for E-Commerce

Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl

●Application of Dimensionality Reduction in Recommender System - ACase StudyBadrul Sarwar, George Karypis, Joseph Konstan, and John Riedl