Sentiment Analysis Abschlussvortrag zum Studienprojekt Svetlana Dedova, Stefanie Pischek, Vladlena...

Sentiment Analysis

Abschlussvortrag zum Studienprojekt

Svetlana Dedova, Stefanie Pischek, Vladlena Belinschi

Dozenten: Dr. Detlef Prescher, Matthias Hartung

Ruprecht-Karls-Universität HeidelbergSeminar für Computerlinguistik

27.09.2007

2/45

1. Kurze Einführung in das Themengebiet

2. Grundsätzliche Lösungen

3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Inhalt

1. Kurze Einführung in das Themengebiet2. Grundsätzliche Lösungen3. Das Modell4. Das Experiment - Baseline - Systemarchitektur - Korpus - Keyword Lists - Evaluation - Optimierung: - i. Keyword Listen - ii. Source Code - iii. Zählweise - iv. Texteingabe - v. Rahmen - vi. Gewichtung - vii. Negation - Zusammenfassung5. Quellenangaben

3/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Kurze Einführung in das Themengebiet

Sentiment: was ist das?Review 1

Divergierende Nuancen von Grau ... "Viel Lärm um Nichts" - oder ein Fall der keiner war. Dramaturgisch ein eher belehrender als unterhaltsamer, dafür aber einschüchternd und grau in wirklich allen Facetten, eben ein DDR-Film. Unglaublich, mit welcher Offenheit man selbst noch im Jahre 1989 in der DDR die restriktive und allmächtige Staatsgewalt darstellte. Gerade heute verschlägt es einem die Sprache, wie wenig ein Mensch damals wert war. Der Film an sich ist weniger interessant als vielmehr das Lokalkolorit und die zeitgemässe Darstellung einer Welt, die keiner mehr haben mag. Gott sei dank. Ein Herr Schäuble wünscht sich vielleicht eine derartige Gesellschaftsordnung, damit steht er aber eher alleine da. Es gab wirklich gute Filme von "Polizeiruf", aber das ...?

Review 2

Es war eher ein Film für meine ältere Schwester, denn ich stand damals noch in den Kinderschuhen, als ich den Film zum ersten Mal sah. Mir gefiel der Anfang so gut. Damals war ich aber noch zu klein um die Story zu verstehen. Vor einigen Jahren sah ich es dann aber mal im TV und war ziemlich baff über die Story. Es ist eine Story, sehr nahe an der Realität, wie sie eigentlich jede Familie erleben könnte. "When a Man loves a Woman" ist keine normale Lovestory, sondern bietet einen interessanten Einblick in eine Familie, deren Mutter alkoholkrank ist.

Die Geschichte berührt sehr, vor allem durch die starken Charaktere, gespielt von Meg Ryan und Andy Garcia, sowie die bewegende Leistung von Tina Majorino. Ein Film der sich auf alle Fälle zu schauen lohnt. Er könnte vielleicht sogar einen kleinen Therapieeffekt erwirken.

►

4/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Sentiment: Definition

„Sentiment“ / „Semantic Orientation“ (SO) / „Opinion“

ist die subjektive Meinung über einen Gegenstand / Aktion / Prozess; positiver oder negativer Inhalt eines Wortes /Satzes /Texte

[Taboada et al., 2006]

z.B. „Der Film ist langweilig.“ „Der Film ist sehenswert.“

„Sentiment Analysis“

bezeichnet die automatische Auswertung von Texten mit dem Ziel, die Meinung des Verfassers ausfindig zu machen.

►

5/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Motivation / wofür Sentiment Analysis?

Ständig steigende Informationsmenge im Internet Texte können oft lang und unübersichtlich sein Filterung oft anhand eines Ranking (ohne Sentiment)

________________

Sentement Analysis

Beispiele: Produktbewertung Politik Kritiken Blogs und E-Mails

►

6/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Grundsätzliche Lösungen

Grundidee/Hypothese:man vermutet, dass, wenn die SO aller relevanten Wörter im Text bekannt sind, man die SO des ganzen Textes ermitteln kann.z.B. Liste=[„langweilig“(NEG), „dilettantisch“(NEG), „erfolgreich“(POS), „genial“(POS)]

Wie werden die Lexika gebildet? Manuelle Bildung der Lexika:

mühsam, zeitaufwendig, subjektiv Halbautomatische Bildung der Lexika:

z.B. anhand der Wordfrequenzen Automatische Bildung der Lexika:

z.B. auf Wortebene, auf Phrasenebene

►

7/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Grundsätzliche Lösungen

Wo wird gezählt?

Im ganzen Text In den Sätzen mit subjektivem Inhalt :

(1) „Die erfolgreiche Anwältin Claire Kubik ist seit langem mit dem Ex-Soldaten Tom verheiratet.“ (objektiv) (2) „Diese Rolle war sehr erfolgreich.“ (subjektiv)

Wie wird gezählt?

Alle Schlüsselwörter haben gleiche Gewichtung 1:1 Die Gewichtung ist verschieden und von der

- Textstruktur- Worthäufigkeit abhängig.

►

8/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Das Modell

Quelle: “Thumbs up? Sentiment Classification using Machine Learning Techniques” von B.Pang and L.Lee, 2002

Vorgehensweise:1. Korpus aus Filmkritiken2. Manuelle und halbautomatische (Frequenzanalyse) Schlüsselwortlisten aus Adjektiven und Adverbien3. Zählen der gefundenen Schlüsselwörter nach Token / Type4. Optimierung der gewonnenen Sets

Warum für unser Projekt geeignet?Einfachere LösungLiefert gute ErgebnisseInteresse, ob es genauso gut für das Deutsche funktioniert

►

9/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Das Experiment: Baseline

Normalfall:

- Ein Simple Classifier weist Objekte nur einer Klasse zu:alle zur positiven oder alle zur negativen Klasse- Bei Korpusverteilung mit 50% positiven und 50% negativen Texte hätte er immer zu 50% Recht.

Unserer Fall:

- Korpusverteilung: 80% positive vs. 20% negative Texte- Unser Simple Classifier rät zu 80%, ins Kino zu gehen- Schwierig diesen Wert zu schlagen, weil 80% fürs Experimentieren schon recht hoch eingesetzt ist

►

10/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Das Experiment : Systemarchitektur

Datenbank für Filmkritiken

www.zelluloid.de

Positive Texte DB Negative Texte DB

NEG Wörterliste (q)

POS Wörterliste (q)

Doc1={t1: n, t2: m,..., tq: x} Doc1={t1: n, t2: m,..., tq: x}

Freq (f) von POS/NEG. Wörtern in beiden DB

Doc1={t1POS: n, t2POS: m, ..., tqPOS: x} Doc1={t1NEG: n, t2NEG: m, ..., tqNEG: x}

ΣtPOS >= oder < ΣtNEG

Bewertung: positiv bzw. negativ

►

11/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Das Experiment: Korpus

CorporaZelluloid.py

Positive Review > 55%Negative Review < 45%

Vor ca. 18.07.2007 – 116 Seiten, jede Seite hat 9 Reviews

Gesammt: 1024Positive: 818 Negative: 205

Nach ca. 18.07.2007 – ca 10 Seiten (gibt’s mehr Zeigt immer die 10te, jede Seite hat 10 Reviews.

Ergebniss pos/neg nach jedem extrakt. unterscheided sich (reviews update?)Gesammt: 100Positive: 87Negative: 13

►

12/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Entwicklung Flexible Variablen für: Domain, RelevanteLinks, Reguläre Ausdrücke

(Vorteil - wenn die HTML Struktur ändert sich, man muss nur Variablen anpassen)

2 Modulen: 1- Class FindReviews mit Hilfsfunktionen 2- Class Corpora_Zelluloid

Class FindReviews()

• readURL• readFile• writeSource• findPageLinks• deleteDoubleLinks• chooseWorkingLinks• findText• findRegEx• sortReviews• findInPage• html2Text• createDir• printSummary

Class FindReviews()

• readURL• readFile• writeSource• findPageLinks• deleteDoubleLinks• chooseWorkingLinks• findText• findRegEx• sortReviews• findInPage• html2Text• createDir• printSummary

Class Corpora_Zelluloid()

• findWorkingLinks • CreateFolders• RemoveFolders• updateFolders• main

Class Corpora_Zelluloid()

• findWorkingLinks • CreateFolders• RemoveFolders• updateFolders• main

►

13/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Evaluation - halbautomatischGründe für die Evaluation

Die Ergebnisse der Suche evaluieren, um sie eventuell anzupassen.

Bewertung der Ergebnisse:Precision (Genauigkeit) = Relevant Ausg. / Gesamt Ausg. Recall (Vollständigkeit) = Relevant Ausg. / Relevant Gesamt Fallout (Effektivität) = Irrelevant Ausg. / Irrelevant Gesamt F-Maß F = (ß*ß + 1) * P * R / (ß*ß * P + R) Ergebnisse nach F- Maß (ß=1) Vereinfachte Formel: F = 2 * P * R / (P + R)

►

14/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Evaluation - halbauthomatisch

Die Evaluation würde durchgeführt nach 18.07.07.

Var (Ergebnisse von CorporaZelluloid.py):TotalDownladedReviews = 100 TotalDownloadedPosReviews = 87TotalDownloadedNegReviews = 13LengthOfDownloadedReviews = 33083TotalNumberReviews = 100

Var (Manuell):TotalOnlineReviews = 100TotalOnlinePosReviews = 87TotalOnlineNegReviews = 13LengthOfOnlineReviews = 33109 (Gezählt im Microsoft Word)

►

15/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Evaluation - halbautomatisch

Ergebniss:

All Reviews:

• Precision: 100• Recall: 100• Fallout: 0.0 • F - Mass: 100

Pos Reviews:


Neg Reviews:


Length of All Reviews

• Precision: 100• Recall: 99• Fallout: - • F - Mass: 99

EvalZel.py This module helps to evaluate links, reviews and rating that 5 we extract from given Corpora

(ex. Zelluloid).

EvalZel.py This module helps to evaluate links, reviews and rating that 5 we extract from given Corpora

(ex. Zelluloid).

Class FindReviews()

• Precision• Recall• Fallout• Fmas• printEval• EvalZel

Class FindReviews()

• Precision• Recall• Fallout• Fmas• printEval• EvalZel

Mehr von Ergebnissen unter ..\eval\EvaluationZel

►

16/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Korpusverteilung für das Experimentieren

Training Set40%

Training Set40%

Development Test Set

30%

Development Test Set

30%

Final Test Set30%

Final Test Set30%

Korpus100%

Korpus100%

Test Set60%

Test Set60%

►

17/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Das Experiment: Keyword Lists

Ziel: Basis für das Experiment zu bildenautomatische Wortfrequenzliste aus Adjektiven und Adverbien erstellen passende Sentiment-Zielschlüsselwörter bestimmen

Warum Adjektive, Adverbien? gute Indikatoren der subjektiven Meinung erster Startpunkt das Experiment von Lee auf Deutsch nachzumachen

InputKorpora -> positiver Korpus

-> negativer Korpus Für jeden Korpus - separate Wortfrequenzliste

►

18/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


WordFreqSeparate.pyWordFreqSeparate.pytagger.pytagger.py

positive reviews

positive reviews

negative reviews

negative reviews

taggedpositive reviews

taggedpositive reviews

frequency list out of all ADJ / ADA

from positive reviews


from positive reviews

taggednegative reviews

taggednegative reviews


from negative reviews

manual word

selection

manual word

selection

positive word frequency listpositive word frequency list

negative word frequency listnegative word frequency list

►

19/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Manuelle Wortauswahl

Problem:

Wortfrequenzlisten sehen ähnlich aus -> schwierig passende, sentiment-tragende Wörter zu wählen

Ergebnis:

Positive Liste:gut, besser, best, wirklich, groß, größ, einzig, echt, stark, perfekt, sehenswert, unterhaltsam

Negative Liste: einfach, schlecht, gar, schwer, scheinbar, halb, ziemlich, schlimm, langweilig, schwach, flach, relativ

Automatische positive Liste

Automatischenegative Liste

►

20/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Wortfrequenzlisten aus Grundformen vs. Wortformen

WortformlisteGrundformlisteArgumente für Frequenzliste aus

Grundformen:

1. Es werden die Wörter mit den höchsten Frequenzwerten in die Liste genommen

2. Wortformen sind dagegen über mehrere Zeilen verteilt -> schwierig diese unter einen Nenner zu bringen

3. Das Programm hat ein Flexions-Modul, das diese Aufgabe übernimmt

►

21/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Das Experiment: Evaluation

EvalSentAnal.py

This module evaluates the Results for Sentiment Analysis. It contains the functions evaluation() and printResults()"""

EvalSentAnal.py

This module evaluates the Results for Sentiment Analysis. It contains the functions evaluation() and printResults()"""

Class FindReviews()

• Evaluation • printResults

Class FindReviews()

• Evaluation • printResults

EvaluationsmaßPrecision= Anzahl der richtig gefundenen positiven und negativen Texte / Anzahl der Gesamtkorpusgröße

Programmprototyp evaluieren

Input: manuell erstellte Keyword ListenProgramm: PrototypPrecision: 45.6%

=> Optimierung

►

22/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Das Experiment: Optimierung

review

Text Input Module

positive keyword list

negative keyword list

Keyword Input Module

programprogram

Output: “Geh ins Kino!” bzw.

“Bleib zuhause”

Sentiment Analysis Module

Optimierungen:

1. Keyword Input Module: Varianten der Keywordlisten

2. Sentiment Analysis Module:• Source Code Optimierung • Zählweise: Token vs. Type• Rahmen• Gewichtung• Negation

3. Text Input Module: getaggte vs. standarte Texteingabe

►

23/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


i. Keyword Listen WO? im Keyword Input Module: manuelle vs.

halbautomatische Liste

Manuelle Listen:Positive: empfehlenswert, gut, ausgezeichten, sehenswert

Negative: stört, schlecht, abzuraten, mieser

Halbautomatische Listen:Positive: gut, besser, best, wirklich, groß, größ, einzig, echt, stark, perfekt,

sehenswert, unterhaltsamNegative: einfach, schlecht, gar, schwer, scheinbar, halb, ziemlich,

schlimm, langweilig, schwach, flach, relativ

Precision: 45.6% (manuell) vs. 47% (halbautomatisch)

►

24/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


ii. Source Code WO? im Sentiment Analysis Module

Allgemeine Verbesserung des Programmprototypes precision: 47% (alt) vs. 53.3% (neue Version)

iii. Zählweise WO? im Sentiment Analysis Module

Änderung der Suchmethode

precision: 53.3% (Token) vs. 48.3% (Type)

iv. Texteingabe WO? im Text Input Module

Änderung der Texteingabe wegen falscher Umlauterkennung

precision: 53.3% (standard text input) vs. 62.2% (tagged text input )

►

25/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


i. Keyword Listen: neue Versionen von Listen erstellen WO? im Keyword Input Module

Problemstellung:

1. Tragen alle Wörter Sentiment in sich wie z.B. „halb“, „scheinbar“?

2. Sind manche Wörter zu allgemein wie z.B. „gut“?

Lösung: Erstellen Varianten von ListenNEG_1: einfach, schlecht, gar, schwer, scheinbar, halb, ziemlich, schlimm,

langweilig, schwach, flach, relativ

NEG_2: wie NEG_1 ohne „einfach“

NEG_3: wie NEG_1 ohne „halb“

NEG_4: wie NEG_1 ohne „halb“, „scheinbar“

NEG_5: wie NEG_1 ohne „halb“, „scheinbar“, „einfach“

POS_1: gut, besser, best, wirklich, groß, größ, einzig, echt, stark, perfekt, sehenswert, interesant, unterhaltsam

POS_2: wie POS_1 ohne „gut“

POS_3: wie POS_1 ohne „wirklich“

►

26/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Abhängigkeit der Anzahl gefundener negativen Texte von der Anzahl gefundener positiven Texte und der Precision

Experiment

Keyword Input: NEG_1 mit POS_1/2/3 POS_1 mit NEG_1/2/3/4/5

Text Input:Standarte Texteingabe

Tendenz:je mehr man positiveTexte findet, desto weniger negative Texte gefunden werden, wächst die Precision auf Kosten der positiven Texte => weiter evaluieren

Precision grows in development experiments

0,00

10,00

20,00

30,00

40,00

50,00

60,00

70,00

80,00

0 2 4 6 8experiment number

percentage

precisionfound positive textsfound negative texts

►

27/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Evaluation: Kombinieren von 4 Optimierungen

Keyword Listen: 6 negativen Listen, 4 positiven Listen 6*4=24 Kombinationsmogligkeiten

Texteingabe: standarte und getaggte Zählweise: token und type

Keyword Listen:

positiv + negativ

Standarte Texteingabe Getaggte Texteingabe

Zählweise Zählweise

Token Type Token Type

positive_0

negative_0

positive_...

negative_...

positive_3

negative_5

►

28/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


standard text input, token

0,00

20,00

40,00

60,00

80,00

100,00

120,00

0 5 10 15 20 25 30

experiment number

percentage

precision found positive found negative

tagged text input, type

0,00

20,00

40,00

60,00

80,00

100,00

120,00

0 5 10 15 20 25 30

experiment number

percentage


tagged text input, token

0,00

20,00

40,00

60,00

80,00

100,00

120,00

0 5 10 15 20 25 30

experiment number

percentage


standard text input, type

0,00

20,00

40,00

60,00

80,00

100,00

120,00

0 5 10 15 20 25 30

experiment number

precision


Evaluation: Kombinieren von 4 Optimierungen

►

29/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Zwischenbericht:

1. Alle Testversionen haben ähnliches Verhalten2. Die Precision wächst nur auf Kosten von positiven

Texten wegen der Korpusverteilung (80% zu 20%)3. Wegen des „simple Classifier Problems“ scheint die

Precision nicht allein für die Evaluation zu reichen4. Weiter optimieren

Ausgewählte Versionen für weiteren Optimierungen:

Neue ProgrammversionGetaggte TexteingabeZählweise nach TypeKeyword Listen: alle 24 Kombinationsmöglichkeiten

►

30/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


v. Rahmensuche

Grund: Besonderheit der Textstruktur da wir Filmreviews untersuchen besteht ein Text immer aus

Inhaltsbeschreibung (2/3) und Bewertung (1/3) die Bewertung befindet sich immer am Ende des Texts (=Rahmen)

Annahme 1:

das Vorkommen von keywords in der Inhaltsbeschreibung könnte das Gesamtergebnis verfälschen

=>daher: Suche beschränken auf den Rahmen

Annahme 2:

da die keyword-Listen aus dem gesamten Text gewonnen werden, könnten die keyword-Listen „schlechte“ Einträge haben

=>daher: Bildung neuer keyword-Listen nur aus dem Rahmen►

31/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


v. Rahmensuche

Realisierung Annahme 1 WO?: im Sentiment Analysis Module: search – Methode


positive keyword listfull automatic

(search): check text only in frame


Text Input Module

reviewnegative keyword list

full automatic (main): countFreq or

count Words►

32/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


v. Rahmensuche

Realisierung Annahme 2 WO?: im Keyword Input Module




Sentiment Analysis ModuleText Input Module



count Words

Text Cutter

positive texts

negative texts

►

33/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

frames 2 token

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

120.00%

0 2 4 6

experiment number

precision

precision

found positive

found negative


v. RahmensucheEvaluation

frames 2 type

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

120.00%

0 2 4 6

experiment number

precision

precision

found positive

found negative

frames 1 type

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

120.00%

0 2 4 6 8

experiment number

precision

precision

found positive

found negative

frames 1 token

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

120.00%

0 2 4 6 8

experiment number

precision

precision

found positive

found negative

An

na

hm

e 1

An

na

hm

e 2

►

34/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


vi. Gewichtung

Grund: Unterschiedliche Aussagekraft der keywords

nicht alle Einträge in der keyword-Liste sind gleichwertig bezüglich ihrer

Aussagekraft

Annahme je höher die Position eines keywords in der Frequenzliste, desto

aussagekräftiger ist es wenn ein Text nur wenige Treffer in der für ihn „richtigen“ keyword-

Liste erzielt, soll die Gewichtung helfen ihn dennoch richtig zu zuordnen

Vorgehensweise:

die Treffer der Suche werden mit Gewichten anhand der Frequenz

versehen►

35/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


vi. Gewichtung

Realisierung WO?: im Sentiment Analysis Module





Text Input Module


full automatic

(main): countFreq or count Words

(weights): adds weights to result

►

36/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


vi. GewichtungEvaluation

weights type

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

120.00%

0 5 10 15 20

experiment number

precision

precision

found positive

found negative

weights token

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

120.00%

0 5 10 15 20

experiment number

precision

precision

found positive

found negative

►

37/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


vii. Negation

Problem:

ein keyword besteht nur aus einem Wort, aber es gibt viele negative Ausdrücke, die der Form „Negation + positives Wort“ entsprechen

=> daher werden oftmals falsche positive Treffer erzielt

Lösung 1:

„unechte“ Treffer werden nicht gewertet werden

Vorgehensweise:

bei der Suche wird jedesmal wenn ein Treffer mit der keyword-Liste stattfindet geprüft, ob das vorangehende Wort eine Negation ist

(1) ist das voangehende Wort ein Negation, so wird der Treffer verworfen d.h. nicht gezählt

(2) ist das vorangehende Wort keine Negation, so wird der Treffer als solcher erkannt d.h. gezählt►

38/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


vii. Negation

Realisierung Lösung 1 WO?: im Sentiment Analysis Module: search – Methode



(search): no match when previous word is

a negative particle


Text Input Module



count Words

►

39/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


vii. NegationEvaluation Lösung 1

negation token

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

120.00%

0 2 4 6 8 10

exxperiment number

precision

precision

found positive

found negative

negation type

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

120.00%

0 2 4 6 8 10

experiment number

precision

precision

found positive

found negative

►

40/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


vii. Negation Lösung 2:

WO?: in den KeyWord-ListenHinzufügen von negativen Partikeln „kein“ und „nicht“ an die Wörter in den Listen

WIE?: PosWords = posWords + (negWords with Partikeln)NegWords = negWords + (posWords with Partikeln)Aufteilen des Texts nach Wörtern; kommt ein Partikel nach einem Wort, dann Aufteilen in Partikel + Wort. Damit wir das nächste genommene Wort nicht doppelt haben (Wort, Partikel und Wort), merken wir uns den Platz des Wortes und löschen es.Zählen der Wörter mit Wort.Startswith und ignorieren, was am Ende steht.

►

41/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

NEG Wörte Liste 1

POS Wörte Liste 1

POS Wörter + NEG. Partikeln

NEG Wörter + NEG. Partikeln

Partikeln Wörterliste „kein, nicht“

(main): countFreq or count Words

(datenbank_FK)

File mit neg Wörtern

File mit pos Wörtern

(words_semiAutomatic)

(words_semiAutomatic)

(wordsPartikeln_Automatic)


►

42/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Experimente:Mehrere Experimente durchgeführt für Freq.Count und Words Count wie:

Wörter wie “kein”, “keine” = kein und “gut”, “gutes” = gut

Satzzeichen “!” und “?” zählen“?” - zählen für negative “!” und “?” zählen für pos oder neg nur wenn nach pos oder neg Key Wort vorkommt“?” zählen nur ein malVerschiedene Gewichte für “?” und “!”

Mit Hilfe von Zufall entweder positiv oder negativ gewähltBeispiel: Jede 3te nicht als positive oder negative erkannt

= negative

Mehr von Experimenten unter \eval\EvaluationSentAnalysis\Results_Vladlena

►

43/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben


Ergebnisse:Schlechte Ergebnisse bei Experimenten mit Satzzeichen

Beispiel: KeyWordPOS_Stat_1.txt,KeyWordNEG_Man_0.txt

Precision: 43,33%

Gute Ergebnisse mit Hilfe von Zufall

Beispiel: KeyWordPOS_Stat_1.txt,KeyWordNEG_Man_0.txt

Precision: 78,666%

Mehr von Ergebnissen unter \eval\EvaluationSentAnalysis\Results_Vladlena

►

44/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Das Experiment: Zusammenfassung

Zusammenfassung:

1. Die Baseline wurde erreicht, aber nicht geschlagen2. Alle Testversionen haben ein ähnliches Verhalten3. Wegen der Korpusverteilung (80% zu 20%) wächst

die Precision nur auf Kosten der positiven Texte.4. Wegen des „simple Classifier Problems“ reicht die

Precision allein nicht für die Evaluation aus.5. Menschliche Faktoren / Schreibstil können die

Analyse sehr erschweren Mögliche weitere Optimierung durch:

1. Erstellen eines neuen Evaluationsmaßes2. Neuer gleichverteilter Korpus3. Keywordlisten durch anderen Wortarten, z.B.

Substantive, Verben erweitern4. Gewichteverteilung durch Algorithmen berechnen5. Negationsmöglichkeiten erweitern

►

45/45



3. Das Modell

4. Das Experiment

- Baseline

- Systemarchitektur

- Korpus

- Keyword Lists

- Evaluation

- Optimierung:

- i. Keyword Listen

- ii. Source Code

- iii. Zählweise

- iv. Texteingabe

- v. Rahmen

- vi. Gewichtung

- vii. Negation

- Zusammenfassung

5. Quellenangaben

Quellenangaben

Gammon, M.: Sentiment classification on customer feedback data: noisy data, large feature vectors, and the role of linguistic analysis.Hatzivassiloglou / McKeown: Predicting the Semantic Orientation of Adjectives. In: Proceedings of the 35th Annual Meeting of the ACL and the 8th Conference of the European Chupter of the ACL,1997.pp. 174-181.Hu / Liu: Mining and Summarizing Customer Reviews.Owsley / Sood / Hammond: Domain Specific Affective Classification of Documents.Pang, B. / Lee, L.: Thumbs up? Sentiment Classification using Machine Learning Techniques. In: Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), 2002. pp. 79-86.Taboada: Sentiment classification techniques for tracking literary reputation.In Proceedings of LREC Workshop, ‘Towards Computational Models of Literary Analysis‘. Genoa, Italy, May 2006. pp. 36-43. Thomas, M. / Pang, B. / Lee, L.: Get out the vote: Determining support or opposition from Congressional floor-debate transcripts.Tong, R.M.: An operational System for detecting and tracking opinion online discussion. Working Notes of the ACM SIGIR 2001 Workshop on Operational Text Classification. New York, NY: ACM. pp. 1-6.Turney, Peter D.: Thumbs Up? Semantic Orientation Applied to Unsupervised Classification of Reviews. In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), Philadelphis, July 2002. pp 417-424.Wiebe, Janice M.: Learning Subjective Adjectives from Corpora. In: Proceeding of the 17th National Conference on Artificial Intellegence. Menlo Park, CA: AAAI Press

►

Sentiment Analysis Abschlussvortrag zum Studienprojekt Svetlana Dedova, Stefanie Pischek, Vladlena...

Documents

Transcript of Sentiment Analysis Abschlussvortrag zum Studienprojekt Svetlana Dedova, Stefanie Pischek, Vladlena...