Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A...

19
Latente Semantische Analyse von Folksonomies Christoph Wieser Institut f¨ ur Informatik Crowdsourcing, Swarm Intelligence, Data Mining und die Wissenschaften Workshop an der Ludwig-Maximilians-Universit¨ at M¨ unchen 21. Januar 2013 1 / 13

Transcript of Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A...

Page 1: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Latente Semantische Analyse von Folksonomies

Christoph WieserInstitut fur Informatik

Crowdsourcing, Swarm Intelligence, Data Mining und die WissenschaftenWorkshop an der Ludwig-Maximilians-Universitat Munchen

21. Januar 20131 / 13

Page 2: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Anfrage-Ergebnis

Volltext:”Tau“

1

LSI:”Tau“

1

2

LSI:”Tauwerk“

1

2

3

2 / 13

Page 3: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Bildersuche nach”Tau“

Tags

TauwerkSeilTau

Tags

BlattTauTropfen

Tags

MadchenSeilStange

3 / 13

Page 4: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Term-Dokument-Matrix

Tauwerk 1 0 0Seil 1 0 1Tau 1 1 0Blatt 0 1 0

Tropfen 0 1 0Madchen 0 0 1Stange 0 0 1

4 / 13

Page 5: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Latent Semantic Indexing und Anfrage (Deerwester, 1990)

Singularwertzerlegung (SVD) und Dimensionsreduktion

5 / 13

Page 6: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Latent Semantic Indexing und Anfrage (Deerwester, 1990)

Singularwertzerlegung (SVD) und Dimensionsreduktion

5 / 13

Page 7: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Latent Semantic Indexing als Bild

Term-Dokument-Matrix Semantischer Raum

6 / 13

Page 8: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Anfrage-Ergebnis

Volltext:”Tau“

1

LSI:”Tau“

1

2

LSI:”Tauwerk“

1

2

3

7 / 13

Page 9: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Bildersuche nach”Tau“

Tags

TauwerkSeilTau

Tags

BlattTauTropfen

Tags

MadchenSeilStange

8 / 13

Page 10: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Bildersuche nach”Tau“ in einer Folksonomy

Tags

TauwerkSeilTau

Tags

BlattTauTropfen

Tags

MadchenSeilStange

8 / 13

Page 11: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Term-Dokument-Matrix

Tauwerk 1 0 0Seil 1 0 1Tau 1 1 0Blatt 0 1 0

Tropfen 0 1 0Madchen 0 0 1Stange 0 0 1

9 / 13

Page 12: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Folksonomy

Tauwerk 1 0 0Seil 1 0 1Tau 1 1 0Blatt 0 1 0

Tropfen 0 1 0Madchen 0 0 1Stange 0 0 1

9 / 13

Page 13: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Latent Semantic Indexing und Anfrage (Deerwester, 1990)

Singularwertzerlegung (SVD) und Dimensionsreduktion

10 / 13

Page 14: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Higher Order Latent Semantic Indexing

Higher Order SVD und Dimensionsreduktionen

11 / 13

Page 15: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Higher Order Latent Semantic Indexing

Higher Order SVD und Dimensionsreduktionen

11 / 13

Page 16: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Higher Order Latent Semantic Indexing als Bild

Term-Dokument-Matrix Semantischer Raum

12 / 13

Page 17: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Higher Order Latent Semantic Indexing als Bild

Term-Dokument-Matrix Semantischer Raum personalisiert

12 / 13

Page 18: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Higher Order Latent Semantic Indexing als Bild

Term-Dokument-Matrix Semantischer Raum personalisiert

12 / 13

Page 19: Latente Semantische Analyse von Folksonomies · Folksonomy 0 B B B B B B B @ 1 C C C C C C C A Tauwerk 10 0 Seil 101 Tau 110 Blatt 010 Tropfen 010 M adchen 0 01 Stange 0 01 9/13.

Fazit

Verfahren

Berechnung der Hauptkomponenten (Konzepte) von Folksonomies

Ahnlichkeitssuche mit Ranking uber Kosinusahnlichkeit

Losungen

Synonymie-Problem: Tau und Seil

Homonomie/Polysemie-Problem: Tau als Seil und als Tropfen

Semnatische Suche: Suche nach Seil liefert Tau

Personalisierte Suche mit Higher Order LSI

Probleme

Parameterwahl bei Dimensionredukion(en)

Rechenintensive Analyse

13 / 13