WS 05/06Automatische Akquisition linguistischen Wissens1 1.Acquisition Bottleneck 2.Praktische...

WS 05/06 Automatische Akquisition linguistischen Wissens 1

Automatische Akquisition linguistischen Wissens

1. Acquisition Bottleneck

2. Praktische Einteilung in syntagmatische und paradigmatische Relationen• Trennung von Kookkurrenzmaßen und Ähnlichkeitsmassen

3. Evaluierung

4. Implementierungsdetails und LSA

Referat: LSA


1. Ansatz der getrennten Ebenen

• Anstatt wie bislang Ähnlichkeit in einem Schritt und damit entsprechend dem Kontiguitätsprinzip zu berechnen, wird hier zweistufig vorgegangen

• Erste Stufe ist, Kontextinformation sammeln für jedes Wort

• Diese dann nutzen, um für jedes Wort eine Art Bedeutungsfeatures zu haben, mit Hilfe derer mit anderen Wörtern verglichen werden kann

• Dies entspricht der Unterscheidung zwischen syntagmatischen und paradigmatischen Relationen– Syntagmatisch ist das miteinander Vorkommen

– Paradigmatisch ist das ähnlichsein durch ähnliche Kontexte

• Oder wie bei LSA beides in einem Schritt


1.1. Acquisition Bottleneck

• Sämtliche Algorithmen sind darauf ausgerichtet, möglichst viel Wissen zu extrahieren

• Einschränkung: Möglichst wenig Handarbeit soll investiert werden– Bisher stets in Form von Tagging, Mustern usw.

• Ultimatives Ziel: Sprachunabhängige Algorithmen, die 100% Recall und Precision haben, also alles herausfinden und dabei keine Fehler machen, ohne das die jeweils neue Sprache überhaupt (vom Menschen) angeschaut wird.

• In der Praxis: Je weniger Handarbeit hineingesteckt wird (kleinere Trainingsmengen, weniger Regeln, weniger Hypothesen), umso schlechter die ohnehin schlechten Ergebnisse


1.2. Eingesetzte Standardquellen

• Fast jeder Algorithmus geht von einem Grundformreduzierten und Wortartmarkierten Korpus aus:– Tagger (Brill, TNT, …): benötigt (grosse) Trainingsmengen:

PennTreeBank, Negra, Susanne, …

– Grundformreduzierer: benötigt Morphologieregeln für die Sprache

• Manche Algorithmen würden ohne getaggten Korpus gar nicht funktionieren: Hyperonyme (Hearst 92), Vergleiche von Wörtern (Resnik 99), Meronyme: (Berland & Charniak 99) uvm., da sie explizit Tripel wie z.B. (x,subj-of,y) untersuchen

• Bootstrapalgorithmen sind an der Grenze:– benötigen zwar oft sprachspezifisches Wissen, aber

– in so geringen Mengen, dass es im Grunde nichts ausmacht


1.3. Weitere eingesetzte Quellen

• Ausser den Standardquellen gibt es weitere Quellen, die für “automatische” Verfahren genutzt werden, wie– Wortähnlichkeiten mit Hilfe von WordNet (Jiang & Conrath 97)

– Disambiguierung mit Hilfe von WordNet, Wörterbüchern und anderen Nachschlagewerken (Lesk 86) und fast alle nachfolgenden Autoren

– Automatische Uebersetzung anhand von Wörterbüchern

– Komplexe Lexikale Netze für klassische Computerlinguistik (DRT, RST, usw.)

– Umfangreiche Grammatikregelsammlungen zum Parsin usw.

• Erst wenn es gelingt, die entsprechenden Ressourcen auch automatisch zu extrahieren, können diese Verfahren vollautomatisch genannt werden.


1.4. Lokale vs. globale Information (Wdh.)

Es kann eine einfach Einteilung beim Betrachten eines Satzes vorgenommen werden:

• lokale Information: Mit diesem Satz soll irgendwas konkretes gesagt werden– Es werden Wörter in einem teils ungewöhnlichen Zusammenhang

gebraucht

• globale Information: Dieser Satz soll verständlich sein– Es werden erklärende, verschönernde, Bedeutungsähnliche (falls

Zuhörer das eine oder andere nicht kennt, oder um Stimmung besonders gut auszumalen) usw. Wörter eingefügt:

All was sweet and mellow and peaceful in the golden evening light, and yet as I looked at them my soul shared none of the peace of nature but quivered at the vagueness and the terror of that interview which every instant was bringing nearer. (A. C. Doyle: The hound of Baskervilles)

• reine Information: It is evening, I feel terror in anticipation of the interview.


1.5. Messen von lokalem Miteinanderauftreten

• Die meisten Maße bereits in Referaten abgehandelt, aber hier noch einmal ein Überblick

• Dabei zunächst die einfachen Maße, die aus verschiedenen Bereichen kommen und sich anbieten

• Danach Wiederholung der Kontingenztabelle

• Anschliessend Wiederholung Signifikanzteste

• Kurze Beschreibung von log-likelihood und Poissonabschätzung

• Anschließend verschiedene Maße für Ähnlichkeit


2. Baseline, einfache Masse

• Am einfachsten ist als Baseline die reine Anzahl gemeinsamer Auftreten zu nehmen:

• jedoch ignoriert das die Häufigkeiten der beteiligten Wörter A und B, also könnte man einfach das Tanimoto (oder auch Jaccard) Mass nehmen:

• Alternativ gibt es auch den Dice Koeffizienten, der etwas ähnliches macht:

,count ABsig A B n

, ABtanimoto

A B AB

nsig A B

n n n

2, AB

diceA B

nsig A B

n n


2.1. Motivation für Masse

• Problematisch an bisher vorgestellten Massen ist die fehlende Begründung, warum gerade so und nicht anders

• Weiterhin ist Normierung gegen Korpusgrösse nicht vorhanden

• Statistische Fundierung unterscheidet vier Fälle:– A tritt mit B auf (die Anzahl jeweils)

– A tritt auf, aber B nicht

– A tritt nicht auf, aber B

– Weder A noch B treten auf

• Die ‘contingency table’:

f AB

f A B f AB

f A B

A AB

B

ABf AB n

A ABf A B n n Af A n

B ABf AB n n

A B ABf A B n n n n

Af A n n

Bf B n

Bf B n n


2.2. Signifikanztest

• t-score, Chi-square-test müssen nun als nächstes benutzt werden, um festzustellen, ob jedes Wort A von jedem anderem Wort B unabhängig sind

• Da jedoch in Wirklichkeit kein einziges Wort unabhängig von allen anderen ist, ist viel mehr interessant,– welche Wörter signifikant abhängig sind voneinander (associated)

– welche von Ihnen wie stark signifikant abhängig sind -> ranking

• Optional nach dem Signifikanztest wird in der Statistik noch berechnet, um wie viel die beobachteten Daten von der theoretisch im Falle der Unabhängigkeit angenommenen Wahrscheinlichkeit (und damit konkret erwarteten Häufigkeit) abweichen


2.3. Log-likelihood-test

• (Dunning 93) schlägt statistisch fundierte Vorgehensweise vor

• Es handelt sich um Versuche:– Jeder Satz ist ein Versuch,

– jedes Ergebnis unabhängig von vorhergehenden

– Die Wahrscheinlichkeiten der einzelnen Wörter sind konstant

– A und B treten in einem Satz maximal 1 mal auf

• Parameter:– k ist die Anzahl der gemeinsamen Auftreten, also

– n ist die Anzahl der Versuche (Sätze)

• Die Wahrscheinlichkeit, ein bestimmtes k zu beobachten (Binomialverteilt):

ABn

1n kk n

P k p pk


2.3.1. Log-likelihood II

• Für np(1-p)>5 (die Varianz) nähert sich diese Verteilung der Normalverteilung

• Der Vorschlag ist, den generellen likelihood-test zu benutzen, der daraus besteht, den Quotienten zu bestimmen:– Quotient zwischen dem maximalen Wert der likelihood Funktion unter

der Nullhypothese und dem maximalen Wert der likelihood Funktion mit den beobachteten Werten:

– Es gibt zwei binomiale Verteilungen, für Wort A und B jeweils, also sind die beobachteten Werte (für gemeinsames Auftreten miteinander multipliziert):

– während die Nullhypothese p1=p2 setzt und der Quotient demzufolge lautet:

1 1 2 21 21 21 2 1 1 2 2 1 1 2 2

1 2

, ; , , , 1 1n k n kk kn n

H p p k n k n p p p pk k

1 2

1 1 2 2

, 1 2 1 1 2 2

max , ; , , ,

max , ; , , ,p

p p

H p p k n k n

H p p k n k n

0max |

max |

H x

H x


2.3.2. Log-likelihood III

• Die Maxima der Funktionen werden jeweils in den folgenden Fällen erreicht:

• Damit läßt sich likelihood umschreiben zu:

mit

• Man nimmt dann den Logarithmus des Quotienten, wodurch sich ergibt:

11

1

kp

n 2

22

kp

n 1 2

1 2

k kp

n n

1 2

1 1 2 2

, 1 1 1 2 2 2

max ; , ; ,

max , , , ,p

p p

L p k n L p k n

L p k n L p k n ; , 1

n kkL p k n p p

1 1 1 2 2 2 1 1 2 22log 2 log ; , log ; , log ; , log ; ,L p k n L p k n L p k n L p k n

1 ABk n 1 Bn n 2 A ABk n n 2 Bn n n

log log log log

2log log log

log log log

A A B B AB AB

A B AB A B AB A AB A AB

B AB B AB A A B B

n n n n n n n n

n n n n n n n n n n n n

n n n n n n n n n n n n


2.4. Poisson Verteilung

• (Quasthoff & Wolff 02) beschreiben ein Verfahren, welches statt der Binomialverteilung die Poissonverteilung zur Beschreibung gemeinsamer Auftreten nimmt.

• (Holtsberg & Willners 01) geben einen Beweis, dass die Poissonverteilung die Binomialverteilung approximiert

• Dieses Verfahren testet nicht, sondern geht direkt davon aus, dass es signifikante gemeinsame Auftreten gibt

• Es berechnet nur, (wie auch likelihood) das Mass der Abweichung vom erwarteten gemeinsamen Auftreten gemäß der Unabhängigkeitshypothese

• Der negative Logarithmus wird genommen, um aus einer Wahrscheinlichkeit (eine bestimmte Anzahl von Auftreten zu beobachten) einen Signifikanzwert zu erhalten


2.4.1. Poisson Verteilung II

• Es ergibt sich demnach direkt eine Signifikanzformel:

• Für k>10 gibt es für k! eine Approximation:

• Dadurch ergibt sich Approximationsformel:

• Allerdings kann man k! auch durch die Stirlingsche Formel approximieren: dabei für grosse k:

• Und somit ergibt sich einfache Signifikanzformel:

1, ln ln ! ln

!k

poissonsig A B e k kk

2k

kk

e

110

1, ln ln 1 ln 2

2poissonk

sig A B k k k

ln ! ln 1k k k k ln ! lnk k k

210

, ln ln 1poissonk

sig A B k k

/A Bn n n


2.4.2. Poisson Verteilung: Vergleiche

• Wie sehr unterscheiden sich diese zwei Approximationen?

– Beispiel: Für na=4000 und nb=2000 und n=24Mio ergibt sich für steigendes k folgendes Bild:

– Wie sehr unterscheidet sich eine (die erste) der Approximationen von der log-likelihood Funktion, fuer die es ja eine Approximation sein soll?


3. Berechnung von Wortähnlichkeiten

• Die Berechnung von signifikanten Kookkurrenzen ist syntagmatischer Natur – alles was im weiteren Sinne nebeneinander stehen kann

• Das Ergebnis ist eine Art Kontextwissen – Diese Menge von signifikanten Kookkurrenzen ist der allgemeine Kontext eines Wortes

• Ähnliche Wörter müsste man demzufolge erhalten, wenn man Wörter mittels ihres allgemeinen Kontexts vergleicht.

• bedeutet dabei der Kontextvektor des Wortes A

• Welcher genau Kontext genommen wird, ist dabei zunächst irrelevant, hat aber Einfluss auf die Ergebnisqualität

A


3.1. Baseline

• Das einfachste Mittel, zwei Wörter A und B über ihre Kontexte miteinander zu vergleichen, ist, zu untersuchen, wie viele Wörter ihre Kontexte jeweils gemeinsam haben

• Die Vektorschreibweise führt zu folgender Formalisierung:

mit

• Probleme: – Signifikanzen der Kookkurrenzen, bzw. das Profil des Kontexts

wird nicht berücksichtigt

– Häufigere Wörter haben mehr Kookkurrenzen, sind somit ähnlicher zu allen andere Wörtern

anz i isim signum abs a b ,i ia A b B


3.2. Dice und Jaccard

• Weiterhin läßt sich wieder der Dice- Koeffizient bestimmten:

• Oder auch der Jaccard-Koeffizient (bzw. Tanimoto-Mass)

• Probleme: Motiviation, sowie Mass selbst scheint ungeklärt

2dice

A Bsim

A B

jaccard

A Bsim

A B A B


3.3. Abstand und Ähnlichkeit

• Da Abstand = 1-Ähnlichkeit und Vektoren eigentlich Punkte in einem n-dimensionalen Raum darstellen, kann entweder Winkel zwischen Vektoren oder Abstand zwischen Punkten als Ähnlichkeit berechnet werden, daher:

• Winkel zwischen den Vektoren:

• L1-norm-abstand zwischen den zwei Punkten (City-Block-Metrik):

• L2-norm-abstand zwischen den zwei Punkten (euklidischer Abstand):

cos

A Bsim

A B

1 norm i isim a b

2

2 norm i isim A B a b


3.4. Visualisierung der Abstände

x

y

B

A

A

B

ki

j

2?dice

A Bsim

A B

?jaccard

A Bsim

A B A B

cos cossim

1 normsim i j

2 normsim k D

C

Es wird allerdings oft auch Ähnlichkeit für C und D berechnet, obwohl sie in unterschiedlichen Dimensionen liegen (nur cos liefert in diesem Fall 0)

2anzsim


4. Evaluierung

• Wenn es so viele (und noch mehr) Möglichkeiten gibt, Kookkurrenzen zu berechnen und jeweils die derart erhaltenen Kontextinformationen miteinander zu vergleichen – welche ist besser?

• Andere Frage – Welche macht was?

• Evaluierungsmöglichkeiten:– Psycholinguistische Tests (Miller & Charles 91)

– Vokabulartests, TOEFL und andere (Rapp 02)

– Applikationsbasiert

– Künstliche Wörter (Synonyme, ambige Wörter (Manning & Schütze 99))

– Gold-standard (Grefenstette 94)


4.1. Gold-standard

• Unter Gold-standard versteht man eine allgemein bekannte Ressource, deren Qualität jedem bekannt ist, gegen die getestet wird

• In diesem Fall GermaNet, organisiert nach:– Synonymen

– Links verschiedener Art zwischen Synonymen, dabei:

• Oberbegriffe (Hyperonyme)

• Unterbegriffe (Hyponyme)

• Antonyme

• see also

• Pertainyme

• aus Oberbegriffen lassen sich noch Kohyponyme ableiten

• usw.


4.2. Gold-standard

• Evaluierung verläuft dann folgender maßen:• Ergebnis einer Maßkombination:

– Dollar: Finanzaufwendung Umschuldungsaktion US-Dollar Schilling Franc Ecu Jahresvolumen Pesete Mark Lire Gulden schätzungsweise uS-Dollar Pfund napp Finanzierungsvolumen

• Welche Wörter sind laut GermaNet sinnvoll?– Dollar: (meine Erwartung)

• Hyperonyme: Währungseinheit, Währung, …• Kohyponyme: DM, Pesos, Yen, …• …

• Wie viele der sinnvollen Wörter wurden in den top5, 10 oder 50 der Ergebnismenge gefunden?

• Realität zu Dollar (GermaNet)


4.3. Recall vs. Precision

• Recall ist demnach die Anzahl der wieder gefundenen Sinnvollen Items

• Precision ist demnach die Anzahl der sinnvollen Items von den top5, 10 oder 50.

• Wenn also 2 Synonyme von 20, 2 Kohyponyme von 40 und ein Antonym von 2 innerhalb der top 5 Items gefunden wurden, dann:– Precision: (2+2+1)/5 = 100%

– absoluter Recall: (2+2+1)/(20+40+2) = 5/62 = 8.06%

– oder: Recall Relationsbasiert: (2/20 + 2/40 + 1/2)/3 = 21,6%

• Es ist aber auch möglich, pro Relation Precision und Recall anzugeben (Synonyme):– Precision: 2/5 = 40%, Recall 2/20 = 10%


4.4. Konkreter Versuchsaufbau

• Gerechnet wurde ein Korpus mit 100Mio laufenden Wörtern, das ergibt ca. 7 Mio Sätze

• Grundform reduziert– Da sonst Vergleichbarkeit mit prinzipiell Grundformreduzierten Daten in

GermaNet nicht gewährleistet

• Zum Evaluieren wurden nur Wörter genommen, die in allen Kombinationen mindestens 50 Kookkurrenzen, bzw. ähnliche Wörter besaßen, Beispiele:– … Grad Graf Graffe Graffiti Grafik Grafs Grafschaft Graham Gral Gram

Gramm Grammatik …

• Diese Bedingung wurde von 36912 Wörtern erfüllt


4.4.1. Versuchsaufbau: Daten

• Als Kookkurrenzmasse wurden vergleichsweise genutzt:– baseline, dice, jaccard, mutinf, poiss1, poiss2, logl

• Als Vergleiche jeweils wurden benutzt (200, 50, 100, minAnz. 2):– anzahl, anzahl_norm, dice, jaccard, city, euklid, cos

• Dadurch ergibt sich Matrix (entweder total oder pro Relation):

baseline logl mutinf poiss1 jaccard poiss2 dice

kollok_sig

anzahl

anzahl_norm

city

cos

dice

euklid

jaccard


4.5. Ergebnisse insgesamt: Precision• Precision in Prozent für alle Relationen absolut zusammengerechnet, für

top5:


4.5.1. Ergebnisse insgesamt: Recall• Recall in Prozent für alle Relationen absolut zusammengerechnet, für

top5:


4.5.2. Recall und Precision im Vergleich bei wachsendem Fenster


4.5.3. Ergebnisse: Vergleich von Relationen


4.6. Einfluss der Fenstergröße

• Größere Fenster bevorzugen eher länger wirkende Abhängigkeiten, die entsprechend eher inhaltlicher Natur sind– Ein Elefant, welcher gewöhnlicherweise mit anderen Tieren im

Zoo zu finden ist, …

• Kleinere Fenster bevorzugen grammatische Eigenschaften und resultieren in Grammatischen Gemeinsamkeiten– Ein Elefant, welcher gewöhnlicherweise mit anderen Tieren im

Zoo zu finden ist, …

• Bislang keine Tests, die dieses vergleichend aufzeigen würden


Zusammenfassung

• Ergebnisse derzeit noch nicht für vollautomatische Zwecke ausreichend

• Weitere Forschung notwendig, die spezifischer auf erkennbare Strukturen eingeht

• Offenbar ist Vereinfachung aus bag-of-words zu stark, jedoch auch nicht sinnfrei

• Ergebnisse können als Baseline verwendet werden, um bessere oder feinere Methoden dagegen zu testen

• Außerdem diese Ergebnisse bereits für IR, IR usw. einsetzbar, da besser als simple vector space modell


5. Referat: LSA

WS 05/06Automatische Akquisition linguistischen Wissens1 1.Acquisition Bottleneck 2.Praktische...

Documents

Transcript of WS 05/06Automatische Akquisition linguistischen Wissens1 1.Acquisition Bottleneck 2.Praktische...