Graphem-Phonem- undPhonem-Phonem-Konvertierung

Uwe Reichel

IPS, LMU Munchen

reichelu@phonetik.uni-muenchen.de

3. Mai 2010

Inhalt

Graphem-Phonem-Konvertierung

• Problemstellung

• Regelbasierte Konvertierung

• Alinierung

• Datenbasierte Konvertierung

• Evaluierung

• Eigennamen

Phonem-Phonem-Konvertierung

• Alinierung

• Reduktionsprozesse

• Regelformalismus

Inhalt 1

Problemstellung

• Ist die Abbildung g2p: Graphem −→ /Phonem/ eine Funktion, also eindeutig?

• Nein. Beispiel s:1

s −→ /s/ (was)s −→ /z/ (Vase)s −→ /S/ (stehen)s −→ / / (Wasser)

• Losungsversuch: Graphemkontexts −→ /z/ | V V ; aber: losen vs. Loserwerbs −→ /S/ | t; aber: Stabilitat vs. Rost

. . . reicht nicht aus

• Einbezug von Silbenstruktur und Morphologie notig (s.u.)

1Notation: Strings in Slashes - Phoneme nach German Sampa; Kleinbuchstaben - Grapheme; Großbuchstaben -Graphemvariablen (V - Vokal)

Problemstellung 2

Graphemumgebung

• s −→ / s | S /: sonstige vs. schon

• u −→ / u | v /: Bund Qualle

Silbenstruktur

• Auslautverhartung, keine Beeinflussung durch Graphemumgebung uberSilbengrenzen hinweg

• g −→ / g | k /: Wege, Weg

• s −→ / z | s | S /: Vase, Hauschen

Morphologie

• G2P-Konvertierung kann durch Integration morphologischer Informationverbessert werden (Wothke, 1993)

• morphologischer Einfluß direkt und uber die Silbenstruktur manifestiert

Problemstellung 3

• direkt: Phonem-Identitat abhangig von Morphemklasse

• Beispiele:– er in Erloser, morph. segmentiert: erprefix + losverb + ersuffix. er wird im

Prafix zu /QE6/, im Suffix dagegen zu /6/: /QE6l2:z6/.

– e in geben, morph. segmentiert: gebverb + eninfl. /@/ ist in einsilbigem

Verbstamm nicht moglich, aber obligatorisch in der Flektionsendung en:/ge:b@n/.

• indirekt: morphologische Struktur bestimmt Silbenstruktur und damitPhonem-Identitat

• Beispiele:– ng in Angel vs. Angelegenheit: angelnoun vs.

anprefix+geprefix+legverb+ensuffix+heitsuffix. In Angel verschmilzt ngzu ambisyllabischem /N/; die Prafixsequenz verlangt hier eine trennendeSilbengrenze, daher Realisierung als /ng/ (/QaN@l/ vs./Qang@le:g@nhaIt/).

– losen vs. Losentscheid: losverb+eninfl vs. losnoun+entprefix+scheidverb.Prafix verlangt vorangehende Silbengrenze, was zu Auslautverhartung undEinsetzen eines Glottal stop fuhrt (/lo:z@n/ vs. /lo:sQEntSaIt/).

Problemstellung 4

Regelbasierte Konvertierung: P-TRA

• Stock, 1992; Libossek, 2000

• Regeln der generativen Phonologie um aussagenlogische Operatoren (‘und &’,‘oder ,’, ‘nicht –’) erweitert.

• bei Stock: insgesamt 1304 Regeln, bei Libossek: zusatzlich Einbezugmorphologischer Information

• Regelformat: Cl Graphem(e) & Cr = Phonem

• Kontexte Cl (links), Cr (rechts): Grapheme, Phoneme (nur fur Cl),Graphem-Klassen

• Regeln sortiert: je spezieller (je großer der Kontext) desto fruher

• zu Beginn: speziellste Regeln zur Aussprache eines gesamten Worts (v.a. furFremdworter); am Ende: Defaultregeln (D=d, usw.)

• Konvertierung von links nach rechts

Regelbasierte Konvertierung: P-TRA 5

• Beispiele:– “(P,p)robl” em & – at = /e:m/

– un & #g = /n/2

– un & g = /N/

2#: Morphemgrenze

Regelbasierte Konvertierung: P-TRA 6

Alinierung als Grundlage datenbasierter Konvertierung

Definition

• Zuordnung von Phonemen zu Graphemen

• i.d.R. Gra:Pho = 1:n

• hierfur zusatzlich notige Phonem-Kategorien: leeres Phonem, Phonem-Cluster

leeres Phonem ‘ ’:< Schule >/ S u: l @ /

Phonemcluster ‘+’:< Exen >/ Q+E k+s @ n /

Alinierung als Grundlage datenbasierter Konvertierung 7

Training eines Alinierungsmodells

• Ermittlung von Graphem-Phonem-Kookkurrenztabellen

Abbildung 1: Graphem-Phonem-Kookkurrenz-Matrix nach Pfitzinger in Reichel&Pfitzinger,

2006

• Aufteilung der Kookkurrenzhaufigkeiten entlang der Diagonalen durchFensterung (mit Flache 1)

• Umwandlung der Haufigkeiten in TransitionswahrscheinlichkeitenP (xi|histi) fur Phonem xi gegeben Phonemvorgeschichte histi und derEmissionswahrscheinlichkeiten P (gi|xi) fur das Auftreten des Graphems gi

gegeben das Phonem xi

Alinierung als Grundlage datenbasierter Konvertierung 8

Anwendung

• Wahrscheinlichste Alinierung fur jeden Lexikoneintrag mittels dynamischerProgrammierung (nach Viterbi).

X = arg maxX

P (X|G)

= arg maxX

P (G|X) · P (X) (1)

G: GraphemfolgeX: PhonemfolgeP (X|G): Wahrscheinlichkeit fur Phonemfolge X gegeben Graphemfolge G,wird mit Hilfe des Satzes von Bayes aufgespalten in:– P (G|X): Wahrscheinlichkeit fur Graphemfolge G gegeben Phonemfolge X.

Wird anhand von Emissionswahrscheinlichkeiten P (gi|xi) geschatzt.

– P (X): Wahrscheinlichkeit fur Phonemfolge X. Wird anhand vonTransitionswahrscheinlichkeiten P (xi|histi) geschatzt.

Alinierung als Grundlage datenbasierter Konvertierung 9

Datenbasierte Konvertierung

Einige Verfahren im Uberblick

• Table-Lookup (van den Bosch&Daelemans, 1993)

• Statistische Verfahren (vgl. Alinierung, Multigrammansatz; Bisani&Ney, 2008)

• Neuronale Netze (Hakkinen, 2003)

• Entscheidungsbaume (Reichel&Schiel, 2005)

Datenbasierte Konvertierung 10

Table Lookup with Defaults, van den Bosch&Daelemans, 1993

• Im Trainingskorpus wird fur jedes Graphem-Phonem-Mapping derkleinstmogliche Graphemkontext bestimmt, der dieses Mapping eindeutigmacht.

• Die so erhaltenen Graphemstrings werden mit dem zugehorigen Phonem ineiner Tabelle abgelegt; Graphemstringmuster: (Lange des linkenGraphemkontexts)–(Zielgraphem)–(Lange des rechten Graphemkontexts);0–1–0, 0–1–1, 1–1–1, 1–1–2, . . . 5–1–5. Zusatzlich werden 2 Default-Tabellenangelegt, die eine mit 1–1–1 -Mustern, die andere mit 0–1–0 -Mustern, jeweilszusammen mit dem am haufigsten kookurrierenden Phonemen.

• Bei der Anwendung wird fur jedes zu mappende Graphem in der Tabelle inder oben dargestellten Reihenfolge nach einem passendenGraphemstringmuster gesucht. Findet sich ein passendes, so ist eineindeutiges Mapping auf das dem Muster zugehorige Phonem moglich.Matcht kein Muster, so wird auf die Default-Tabellen zuruckgegriffen.

Datenbasierte Konvertierung 11

C4.5-Entscheidungsbaume

• Quinlan (1993); http://www.cse.unsw.edu.au/˜quinlan• Reprasentation von Objekten, Attributen (Eigenschaften), Attributwerten:

– Attribute: (nonterminale) Knoten– Attributwerte: Kanten– Objekt: Pfad durch den Baum

• An jedem der Blatter wird im Training gezahlt, wieviele ‘Objekt-Pfade’ vonjeder Kategorie dort enden. Jedes Blatt bekommt dann die am haufigstenbeobachtete Kategorie zugewiesen.

• Vorteil: Transparenz −→ Wissensakquirierung moglich

Datenbasierte Konvertierung 12

Aufbau des Baums

• Rekursives Vorgehen:– Gehoren alle Objekte, die noch nicht durch einen vollstandigen Pfad im

Baum reprasentiert sind, der gleichen Klasse an, so erzeuge ein Blatt undordne die Objekte diesem Blatt zu.

– Verfahre genauso, wenn die Objekte verschiedenen Klassen angehoren, sichaber anhand der gegebenen Attribute nicht mehr weiter unterscheidenlassen.

– Gehoren die Objekte verschiedenen Klassen an und unterscheiden sie sichin einer oder mehreren Eigenschaften, so wahle das zur Partitionierung derObjektmenge am ‘besten geeignete’ Attribut und erzeuge einen Knoten, andem sich der Baum in mehrere durch Werte des betrachteten Attributsvorgegebene Kanten aufspaltet (lokale Optimierung). Verteile dieTrainingsdaten entsprechend ihrer Attributwerte auf die so entstandenenUnterbaume. Wiederhole dies fur jeden Pfad so lange, bis eine der beidenzuvor genannten Bedingungen greift und ein Blatt erzeugt wird.

Datenbasierte Konvertierung 13

• Bestimmung des besten Attributs:– Das beste Attribut liefert den hochsten Informationsgewinn (bzw. das hochste

Gewinnverhaltnis).– Entropie: durchschnittlicher Informationsgehalt einer Variablen

H(C) = −∑c∈C

p(c)ldp(c) [Bit]

wo C die Menge aller Objektklassen, p(c) gleich der Wahrscheinlichkeit derKlasse c ∈ C. (C=Variable, c=Variablenbelegung)Angabe, wieviel Information im Durchschnitt benotigt wird, um die Klasseeines Objekts vorhersagen zu konnen

Datenbasierte Konvertierung 14

– Bedingte Entropie

H(C|A) =∑a∈A

p(a)H(C|A = a)

=∑a∈A

p(a)[−

∑c∈C

p(c|a)ldp(c|a)]

Angabe, wieviel Information im Durchschnitt zusatzlich zu dem Wissendaruber, daß das Attribut A den Wert a hat, notig ist, um die Klasse c ∈ Ceines Objekts vorhersagen zu konnen

– Informationsgewinn (umso großer, je mehr Information uber C in A steckt)

G(A) = H(C)−H(C|A)

– Gewinnverhaltnis (bei C4.5-Baumen)

GR(A) =G(A)SI(A)

Datenbasierte Konvertierung 15

split information:

SI(A) = −s∑

i=1

|Ti||T |

ld|Ti||T |

,

s: Anzahl der moglichen Attributwerte|T |: Anzahl der Objekte, die durch Attribut A aufgeteilt werden sollen|Ti|: Anzahl der Objekte im i-ten Unterbaum, also dem Unterbaum, der durchden i-ten Attributwert aufgespannt wird−→ hoher Wert fur SI(A) bei vielen Unterbaumen mit wenig Objekten(Uberadaptionsgefahr)

– gewahlt wird also Attribut A = argmaxA[GR(A)]• Attributtypen:

– diskret: Gruppierung von Werten, falls dadurch GR erhoht; Anlegen einesUnterbaums fur jeden Wert, bzw. Wert-Gruppe

– kontinuierlich: binare Verzweigung des Baums bezogen auf Trennwert, der GRmaximiert

Datenbasierte Konvertierung 16

• Pruning

– Beschneidung des Baums vs. Uberadaption an Trainingsdaten– moglich: Evaluierung anhand eines Entwicklungskorpus– bei C4.5: Ermittlung pessimistischer Fehlerraten δ (d.i. der bei gewahltem

Vertrauensniveau β maximal zu erwartende Anteil falsch klassifizierterObjekte)

– Teilbaum t wird durch Blatt ersetzt, wenn:(∑

δ aller Teilbaume von t) > (δ im Falle der Ersetzung durch ein Blatt)– Zusammenfassung von Teilbaumen zu Teilbaum analog

Datenbasierte Konvertierung 17

G2P-Anwendung von C4.5-Baumen (Reichel et al., 2005)

• Features:– aus symmetrischem Fenster der Lange n uber jeweiligem Graphem

– Graphemkontext

– Silben-Features: Aufbau der Silbe (nacht/bedeckt, offen/geschlossen),Position in Silbe (Onset, Nukleus, Coda, Gelenk)

– morphologische Features: Morphemklasse, +/- folgende Morphemgrenze

– Phonem-Vorgeschichte

Datenbasierte Konvertierung 18

Evaluierung

N-fache Kreuzvalidierung

• Unterteilung des Aussprachelexikons in n Partitionen

• fur jede der n Partitionen P :– Training des Modells auf allen Daten außer P

– Test des Modells auf P : Vergleich der Modellausgabe mit der Referenz

• Berechnung von Mittelwert und Streuung des Validierungsmaßes (s.u.) uberdie n erhaltenen Ergebnisse

• Trennung von Trainings- und Testdaten gibt Aufschluss uberGeneralisierungsfahigkeit des Modells

• Da Mittelwert und Streuung gegeben sind, lassen sich unterschiedlicheG2P-Verfahren vergleichend evaluieren (statistisches Testen, ob Unterschiedesignifikant).

Evaluierung 19

Validierungsmaße

• Word error rate (WER): Anteil der Worter im Testkorpus mit mindestenseiner Abweichung zur Referenz

• Mittlere normalisierte Levenshtein-Distanz:– Levenshtein-Distanz: minimale Anzahl der Editieroperationen (Einfugung,

Loschung, Ersetzung), um String A (die Modell-Ausgabe) in String B (dieReferenztranskription) umzuwandeln. Lasst sich beispielsweise mittelsdynamischer Programmierung nach (Wagner&Fischer, 1974) ermitteln.

– normalisiert: geteilt durch die Lange des Referenzstrings B

– gemittelt uber alle Ausgabe-Referenz-Vergleiche in den Testdaten.

Evaluierung 20

Eigennamen

Einige Schwierigkeiten

• geringer Einfluss allgemeiner Gesetzmaßigkeiten

• hohe graphematische Variabilitat (Meier, Mair, etc.)

• hohe Produktivitat der Wortbildung (z.B. Akronyme)

• Zusammensetzungen (Cuvillies-Theater) mit unterschiedlichenG2P-Gesetzmaßigkeiten

• Behandlung fremdsprachlichen Materials: haufig “eingedeutschte” Aussprache

Phonem-Phonem-Konvertierung (van den Heuvel et al., 2006)

• Training eines G2P-Modells

• Vergleich der erzielten mit der Referenz-Phonem-Ausgabe

• Entwicklung eines P2P-Modells zur Uberfuhrung der G2P-Ausgabe zurgewunschten Ausgabe

• je ein P2P-Modell fur Vor-, Nach- und Ortsnamen

Eigennamen 21

Weitere Losungsansatze

• Training– Ermittlung von Aquivalenzklassen fur Eigennamen (in Abhangigkeit ihrer

G2P-Ahnlichkeit)

– Training eines G2P-Modells fur jede Klasse

• Anwendung– Klassifizierung des zu transkribierenden Worts (z.B. intrinsisch: anhand der

Graphemfolge, extrinsisch: anhand der Wortumgebung)

– Wahl des zugehorigen G2P-Modells

• Erweiterung– Segmentierung von Wortern (geleitet durch Successor Variety;

Nascimento, 1974): z.B. Abtrennung von Ortsmorphemen wie Theater,Straße, Gasse, etc.

– Training und Anwendung fur die entstandenen Segmente wie oben

Eigennamen 22

Successor Variety

• Lexikonreprasentation in Form eines Tries (Prafix- oder Suffixbaum)

• Successor Variety SV: Anzahl der abgehenden Ubergange an einem Knoten

• Morphologische Segmentierung anhand lokaler SV-Maxima

onmlhijkgfed`abc8 onmlhijk7E

oo onmlhijk6i

oo

onmlhijk5z

ww

ngg

onmlhijk4i

oo

wvutpqrsonmlhijk13 wvutpqrs12Koo wvutpqrs11

roo wvutpqrs10

eoo onmlhijk9

uoo onmlhijk3

nzz

gff

onmlhijk2uoo onmlhijk1

noo onmlhijkS

goo

wvutpqrsonmlhijk17 wvutpqrs16Eoo wvutpqrs15

ioo wvutpqrs14

goo

Abbildung 2: Lexikon-Trie zur morphologischen Segmentierung

Eigennamen 23

Phonem-Phonem-Konvertierung• zur Uberfuhrung der kanonischen Aussprache in Spontansprache

• zu berucksichtigen: wortubergreifende Phanomene

Alinierung

• Zuordnung von Phonemstrings (analog zu G2P)

• zu klaren: wieweit ist Kontext benachbarter Worter zu berucksichtigen

• Alinierung: “mit dem”kanonisch m I t d e: mspontan m I m

Reduktionsprozesse

• Assimilation (progressiv, regressiv, hinsichtlich Artikulationsstelle, etc.)

• Elision (Schwa, Geminaten)

• Kaskaden:– Assimilation + Elision: [b I n + m I t] > [b I m + m I t] > [b I + m I t]– Elision + Assimilation: [v a: + g @ n] > [v a: + g n] > [v a: + g N]

Phonem-Phonem-Konvertierung 24

Regelformalismus

• Generative Phonologie: X −→ Y |L R

• Beispiel: [v a: + g @ n] > [v a: + g n]– @ −→ ε|g n

– @ −→ ε|[+obst] [+nas]• maschinell erlernbar als Pfade in C4.5-Entscheidungsbaum

• Probleme:– Sortierung (z.B. bei Regelkaskaden)

– Bearbeitungsrichtung der kanonischen Transkription (progressive undregressive Prozesse)

Features

• Phoneme

• distinktive Merkmale

• Silbengrenzen, Position in Silbe

• Wortbetonung

• Wortart (Funktions- vs. Inhaltsworter)

Phonem-Phonem-Konvertierung 25