Dialogsysteme und VoiceXML Christoph Ringlstetter/Dr ... · Seminar im WS 2005/06. Sitzung...

Dialogsysteme und VoiceXMLChristoph Ringlstetter/Dr. habil.

Florian Schiel/Prof. Klaus U. Schulz

Seminar im WS 2005/06

Sitzung II(27.10.2004)Einführung in Dialogsysteme

• Was ist ein Dialogsystem• Beispiele fiktiver und realer Dialogsysteme• Überblick zu den Komponenten eines

Dialogsystems• Im Anschluss:

Seminarplan/Vortragsthemen

Dialogsysteme

• Systeme zur Kommunikation des Menschen mit dem Computer mittels natürlicher (gesprochener) Sprache.

• Komplexität: von der einfachsten Kommando-Eingabe mit gesprochenen Einzelwortbefehlen bis hin zu „natürlichen“ Dialogen mit echt wechselnder Initiative zwischen Benutzer und System.

• Rasante jüngere Entwicklung aufgrund verbesserter Spracherkennung und neuer industrieller Anwendungen.

Animation: Science Fiction

• Startrek IV (1986)Zurück in die Gegenwart

Apple Macintosh SE/30

• Odyssee 2001 (1968):HAL 9000

Hierarchie von Dialogsystemen nach Komplexität der Anwendung

• Gerätebedienung– Auto-Bedienungselemente, Hausgeräte, …

• Informationsbeschaffung– Auskunfts- und Hilfsysteme (Zugverbindungen, Nachrichten aus Web,

Staumeldungen, Börsendaten, Wetter, Notdienste,…)• Beschaffung von Dienstleistungen

– Bestellung, Reservierung, Buchung, Weitervermittlung• Kombinierte Aufgaben

– Information und Bestellung in einem System– Buchung zweier voneinander abhängiger Dinge wie Mietwagen/Motel

• Komplexe Aufgaben (akademische Systeme)– Überprüfung und Reparatur elektronischer Schaltkreise (Circuit-Fix-It

System, Smith Hipp 94) – Planungssysteme (Küchenplanung, Allen et al. 2001)

Beispiele von Dialogsystemen

• Philips: Automatische Zugauskunft (0241-604 020)• Zugauskunft der Bahn (08001-507 090)• Sympalog Kinoprogramm (09131-610 016)• Sprachgesteuerte Bedienungselemente im Auto• Online-Banking (NLU, Sparda-Bank Hamburg), • Telefonauskunft und –Weitervermittlung

• Eliza (Weizenbaum 1966): Computer als Psychotherapeut („Männer sind alle gleich“)• Sundial (Speech UNderstanding in DIALogue, 91-93):

– Flug/Zugreservierung und Anfrage– Kooperative Dialoge mit mehreren Nutzern über Telefon

• Fahrstuhlsteuerung (Pinkal, Informatik Univ. SB)• Circuit-Fix-It Shop (Smith Hipp 94): Kollaborativ Schaltkreisreparatur• TRAINS (Allen 95): Kollaborative Routenplanung für Transportprobleme

Kommerziell

Akademisch

Dialogsysteme - Marktdaten

• Viele große Firmen mit Aktivitäten im Bereich Dialogsysteme– IBM, Microsoft, Lucent, Apple,…

• Entwicklungsabteilungen z.B. bei div. Automobilherstellern– Mercedes, BMW, Ford,…

• Spezialisierte Firmen im Bereich Dialogsysteme und VoiceXML– Nuance, Crealog,…, VoiceGenie, Voxpilot.– Marktkapitalisierung Nuance Comunications AG: ca. 570 Mio US $.

• Marktvolumen (nach Mc. Tear) – 505 Millionen US $ im Jahr 2001.– soll sich auf 2 Mrd. US $ im Jahr 2006 steigern (Infrastruktur, Hard- und

Software). – Umsatz im Gesamtbereich (Zahlungen für Klingeltöne, Auskünfte etc.) soll 2006

bei 27 Mrd. US $ liegen.• Beispiel zum Einspar-Potential

– Kosten pro Call-Center Anruf (nach Nuance) • 1.28 US $ für menschlichen Agenten • 0.10 US $ bei Verwendung eines Dialogsystems.

„Sie versteht mich“Automatische Zugauskunft der Bahn

(08001-507 090)

„Sie versteht mich nicht“Automatische Zugauskunft der Bahn

(08001-507 090)

„Sie traut mir einiges zu“Sprachsteuerung der Bedienungselemente

bei BMW

Komponenten eines Sprachdialogsystems

Nach Michael F. Mc. Tear, „Spoken Dialogue Technology: Enabling the ConversationalUser Interface“, ACM Computing Surveys 34(1), 2002.

• SpracherkennungKonvertieren des akustischen Signals in symbolisch repräsentierte Wortfolge

• SprachverstehenComputerlinguistische Analyse der WortfolgeBerechnung einer semantischen Repräsentation, die vom Dialogmanager genutzt

werden kann

• DialogsteuerungKontrolle der Interaktion zwischen Benutzer und SystemVerifikation, Klärung und KorrekturKommunikation mit externen Quellen (Datenbank)Koordination der Komponenten des Systems (z.B. temporäres (De)aktivieren einer

Grammatik für Spracherkennung)

• AntwortgenerierungBerechnung und symbolische Erzeugung einer Antwort (Prompt) für den Benutzer

• SprachsyntheseUmwandlung der symbolischen Antwort in ein akustisches SignalAusgabe an Benutzer

Dialogsysteme als Pipeline

Dialogmanager

Sprachverstehen

Spracherkennung

Externe Information

Spracherzeugung

Sprachsynthese

Physische SchnittstelleAusgabe Eingabe

Drei Arten der Dialogsteuerung

• Finite-State-basierte Dialogsysteme– Dialogfluss folgt einem vorgegebenen Diagramm. An

Verzweigungspunkten legt der Benutzer durch seine Antwort den zu wählenden Weg fest.

• Frame-basierte Dialogsysteme– Dialog dient dem Ausfüllen einer vorgegebenen

Menge von Formularfeldern. Dialogfluss in erster Linie durch bereits ausgefüllte und noch auszufüllende Felder beeinflusst.

• Agenten-basierte Dialogsysteme– Akademisch; mit KI-Methoden wird versucht,

menschliche Dialogführung zu imitieren (mentale Benutzermodelle, Sprechakttheorie, …)

Finite-State basierte Dialogsysteme

>Wohin wollen Sie fliegen?

Hamburg Frankfurt Berlin London

?Ziel:Hamburg

>Sagten Sie „ Hamburg“ ?

… … …

JaNein

Alles offen

!Ziel:Hamburg

>An welchem Tag möchten Sie fliegen?

System: Wohin wollen Sie fliegen?

Benutzer: Hamburg.

System: Sagten Sie „ Frankfurt“ ?

Benutzer: Nein.

System: Wohin wollen Sie fliegen?

Benutzer: Hamburg.

System: Sagten Sie „ Hamburg“ ?

Benutzer: Ja.

System: An welchem Tag möchtenSie fliegen?

Frame-basierte Dialogsysteme

System: Flugauskunft – Was kann ich für Sie tun?

Ankunftszeit

Abflugzeit

Abflugtag

Zielflughafen

Startflughafen



Benutzer: Ich möchte morgen nach Hamburg fliegen.

Ankunftszeit

Abflugzeit

Abflugtag

Zielflughafen

Startflughafen




Ankunftszeit

Abflugzeit

24.11.04?

Abflugtag

Hamburg?

Zielflughafen

Startflughafen




System: Von wo möchten Sie morgen, am 24. November, nach Hamburg fliegen?

Ankunftszeit

Abflugzeit

24.11.04?

Abflugtag

Hamburg?

Zielflughafen

Startflughafen





Benutzer: Von München.

Ankunftszeit

Abflugzeit

24.11.04Abflugtag

HamburgZielflughafen

Startflughafen






Ankunftszeit

Abflugzeit

24.11.04Abflugtag


München?

Startflughafen






System: Sie möchten morgen von München nach Hamburg fliegen. Geben Sie nun bitte nochdie gewünschte Abflugs- oder Ankunftszeitan.

Ankunftszeit

Abflugzeit

24.11.04Abflugtag


München?

Startflughafen







Ankunftszeit

Abflugzeit

24.11.04Abflugtag


MünchenStartflughafen

Benutzer: Ich möchte gerne gegen 18 Uhr ankommen.







Ca. 18.00?

Ankunftszeit

Abflugzeit

24.11.04Abflugtag










Ca. 18.00?

Ankunftszeit

Abflugzeit

24.11.04Abflugtag




System: Sie möchten morgen von München nach Hamburg fliegen und gegen 18 Uhr in Hamburg ankommen. Bitte bestätigen Sie mit „ Ja“ oder sagen Sie „ Korrektur“ .

Agentenbasierte Dialogsysteme

• Dialog als Kollaboration zwischen intelligenten Agenten, um ein Problem oder eine Aufgabe zu lösen– System entwickelt „Bild“ von sich selbst und von Nutzer(n), – sorgt für gemeinsame Verständigungsbasis– bildet Erwartungen, um nächste Benutzeräußerungen zu interpretieren– kann Wirkungen von Aktionen einschätzen

• Verwendung von Techniken aus der KI– Unterbrechbare Theorembeweiser– Techniken der automatischen Planerstellung– verteilte Architekturen– konversationelle Agenten

• Charakteristika– Uneingeschränkte Sprache (beabsichtigt)– Dialog-Initiative beliebig verteilt– Viele spezielle Komponenten– „freies“ dynamisches Verhalten

Interne Wissensquellen für Dialogmanagement

• Dialoggeschichte– [Wann fährt der erste Zug nach Frankfurt?] „Und der nächste?“

• Weltwissen – „Allerheiligen“ ist 1. November, „vormittag“ ist 7-12– Heutiges Datum („morgen“ ist …)

• Anwendungsspezifisches Wissen– Soll Reiserücktrittsversicherung angeboten werden?

• Benutzerbild– Neuling-Experte, Kind-Erwachsener, Mann-Frau

• Dialog-Kompetenz– Gibt es am Sonntag morgen einen Zug? *Ja.

Drei Arten der Dialog-Steuerung

Modellierung von Intentionen, Zielen, Wissenszuständen des Systems. Dialogkontext und -geschichte

Explizite Repräsentation von Informationszuständen.Dialogkontrolle durch Kontroll-Algorithmus gesteuert

Informationszustände implizit in Dialogzuständen repräsentiert. Kontrolle explizit durch Zustands-diagramm repräsentiert

Dialog-modell

Modellierung von Intentionen, Zielen, Wissenszuständen des Benutzers

Einfach (Erfahrung, Präferenzen des Benutzers)

Einfach (Erfahrung, Präferenzen des Benutzers)

Benutzer-modell

Agenten-basiertFrame-basiertFinite-State-basiert

Uneingeschränkte natürliche Sprache

Natürliche Sprache mit „Konzept-Spotting“

Einzelne Wörter oder Phrasen

Eingabe

„Grounding“: Herstellen einer gemeinsamen Gesprächsbasis

Explizite und implizite Bestätigung

Explizite Bestätigung (jede Eingabe/../am Ende)

Verifikation

BeliebigSystem, in Teilen Benutzer „mixed initiative“

SystemDialog-Initiative


Dialogmanager

Sprachverstehen

Spracherkennung

Externe Information

Spracherzeugung

Sprachsynthese


Automatische Spracherkennung

• Digitalisierung Sampling: Signal (Beschreibungsdimensionen: Zeit, Frequenz, Lautstärke)

wird an diskretem Punkte-Raster erfasst, Werte digitalisiert.• Feature-Extraktion

Sprachsignal in kurze Zeitabschnitte eingeteilt (Frames). In jedem Frame wird für ca. 20 relevante Frequenzen Lautstärke (Amplitude) ermittelt. Werte werden für jeden Frame als Feature-Vektor dargestellt. Aus Signal wird Folge von Feature-Vektoren.

• KlassifikationIdentifikation charakteristischer Sprachanteile (Wörter, Silben, Halbsilben,

oder Phoneme) durch stochastische Analyse der Feature-Vektor-Folge (Hidden Markov Modelle).

Kleine Einheiten: geringer Speicherbedarf, kurzes Training, größeres Verwechslungsrisiko. Wortbasierte Erkennung nur für kleines Vokabular.

Parameter für Komplexität der Spracherkennung

• Benutzermodell: – Benutzerunabhängig– Benutzerabhängig

• Vokabulargrößen (1960: ca. 10 Wörter): – 5.000 – 10.000 für sprecherunabhängige Erkennung– 100.000 – 200.000 für sprecherabhängige Erkennung

• Sprachmodus:– Kontinuierlich (aktuell bereits Standard)– Diskret, einzelne Wörter (lärmreiche Umgebungen)

• Sprechsituation: – Lesen/Diktieren von Äußerungen– Spontanes Sprechen: Zögern, Fehlstarts, Husten...

Probleme der Spracherkennung

• Linguistische Faktoren:– Akustische Realisierung eines Phonems (Silbe, Wort) beeinflusst durch

vorausgehendes Phonem (Silbe, Wort).– Segmentierungsprobleme bei kontinuierlichem Input:

• it‘s hard to recognize speech• it‘s hard to wreck a nice beach

– Betonung: Aussprache eines Phonems differiert für unterschiedliche Betonung deutlich

• Außerlinguistische Faktoren:– Unterschiede zwischen verschiedenen Sprechern– Fremdsprachler, Dialekt– Variabilität desselben Sprechers: Gemütszustand des Sprechers– Kanal-Variabilität (z.B. Qualität der Telefonverbindung)– Hintergrundlärm– Barge-in, System-Echo

• Betroffen sind Klangfarbe, Lautstärke und zeitliche Erstreckung!

Kombination des akkustischen Modells mit einem Sprachmodell zur

Verbesserung der Erkennungsrate• Preis: z. T. Aufheben der sequentiellen Struktur (nicht trivial da Pipelines

ein einfaches modulares Systemhandling ermöglichen) • Möglichkeiten:

– N-Gramm-Sprachmodell– „Grammatik“ die erlaubte Wortsequenzen der Applikation in einem bestimmten

Dialogzustand spezifiziert – Noch besser: Einschränkung der Menge der möglichen HMMs schon bei der

Spracherkennung durch die Grammatik• Anwendungen:

– N-Gramme: vom akustischen Modell bekommen wir eine probabilistisch gerankte Kandidatenlisten (M-Best-Liste). Diese Listen werden für N aufeinanderfolgende Token (oft nur Bigramme) im Rahmen eines N-Gramm-Modells auf ihre Auftretenswahrscheinlichkeit untersucht. Technik v. a. in Umgebungen mit großem Vokabular die nicht geplant werden können verwendet etwa in Diktiersystemen.

– Grammatik: Die Token der M-Best-Liste für ein geäußertes Segment werden mit den „grammatischen“ Wortformen für diese Dialogstelle verglichen.


Dialogmanager

Sprachverstehen

Spracherkennung

Externe Information

Spracherzeugung

Sprachsynthese


Sprachverstehen

• Eingabe (Ausgabe der Spracherkennung)– Gewichteter Worthypothesen-Graph– (Akustisch) wahrscheinlichste Wortkette

• Ausgabe– Erforderliche Repräsentation des Äußerungsinhalts für

Dialogmanagement• Auswahl eines Übergangs (finite-state Dialogmanager), oder• Zuweisung von Werten für Formularfelder (frame-basiert), bzw.• Semantisch-pragmatische Repräsentation (agenten-basiert)

• Forschungsziel: Kopplung zwischen Spracherkennung und Sprachverstehen (+Management)– Steuerung der Wortalternativen– Umsetzung von Erwartungen aus Dialogverlauf

Probleme des Sprachverstehens

• Ambiguität natürlicher Sprache• Schwierigkeiten satzübergreifender Analysen (Anaphern etc.)

„Und der nächste?“• Abdeckungsprobleme formaler Grammatiken bei freiem Input

• Falsch erkannte Wörter der Spracherkennung• Vielzahl spezieller Phänomene bei echter gesprochener Sprache

• Pausen, Zögern, Stottern, Neuanfang, Korrektur• Ungrammatikalische Eingaben„Ich möchte am Mo Dienstag äh nein halt - Mittwoch fahren“

• Robustheit und Effizienz als Hauptziele

Allgemein

Dialogsysteme

Parsing im Rahmen von Dialogsystemen

• Traditionell nach alter Schule (bis Anfang 90er)– Syntaktische Analyse (Konstituentenstruktur)– Semantische Analyse (Prädikatenlogische Repräsentation)

• Keyword-Spotting„Ich möchte am Freitag nach Hamburg fliegen“

• „Shallow Parsing“, Inselparsing, Chunk-Parsing– Vorteil: Ausgabe partieller Resultate möglich.

• Grammatiken mit „semantischen“ Kategorien für Konstituenten

• Vollständiges satzübergreifendes Parsing bleibt als utopisches Leitziel bei KI Ansätzen


Dialogmanager

Sprachverstehen

Spracherkennung

Externe Information

Spracherzeugung

Sprachsynthese


Antwort-Erzeugung

• Standardszenario: gewünschte Information aus Hintergrunddatenbank erhalten. – Welche Informationen sollten ausgegeben werden?– Wie soll Information strukturiert werden?– Explizite Wahl der Wörter und der syntaktischen

Struktur. Hierbei ist Form der Frage - ggfs. auch Benutzerbild - zu berücksichtigen.

• Einfachste Form: relevante Daten werden in vorgefertigte Satzschemata mit Slots eingesetzt.

• Forschungsziel: computerlinguistische Erzeugung der Ausgabesätze.

Probleme der computerlinguistischen Antwort-Erzeugung

• Satzübergreifende Antworten– Sprache sollte unmissverständlich, aber nicht

umständlich sein. Gute Kompromisse?„Der erste Zug geht um 18.15 Uhr. Sie können aber auch eine

halbe Stunde später fahren.“

• Einbeziehen von Benutzermerkmalen– Nutzer vertraut mit System/Neuling?– Alter: Kind (prozess-orientiert) versus Erwachsener

(informations-orientiert)

• Spezielle Strategien in Abhängigkeit von der Größe der Antwortmengen


Dialogmanager

Sprachverstehen

Spracherkennung

Externe Information

Spracherzeugung

Sprachsynthese


Sprachsynthese

• Einfachster Fall– Vorweg aufgenommene Sprachstücke können verwendet

werden. Slots werden ggfs. aufgefüllt.„Sie haben einen Anruf von <Michaela Schuster>. Möchten Sie den Anruf entgegennehmen?“

– Sprech-Model als Beruf.

• Vermittlung komplexer Informationen– „Text-to-speech“ (TTS) Synthese mit

• Textanalyse: – Linguistische Analyse der Antwort, Aussprache der Einzelwörter mit

Erfassung von Wortübergangseffekten („good“ versus „good bye“)– Weiterer Ausbau zu prosodischer Beschreibung (Rhythmus,

Hebungen, Betonungen etc.).

• Spracherzeugung, dabei Umsetzung der Merkmale.

Probleme der Sprachsynthese

• Probleme der Analyse– Textsegmentierung und Normalisierung

Wo stellt „.“ Satzgrenze, wo Teil einer Abkürzung, eines Datums, eines Akronyms dar?

Datumsangaben: 1.5.1973 erster Mai neunzehnhundertdreiundsiebzig

Geldbeträge: 5,80 Eur. 5 Euro 88 Cent„St.“ - Street oder Saint?

– Tagging (Ermittlung des Worttyps)Ambiguitäten (live: Verb, Adjektiv; record: Nomen, Verb)

• Probleme der Sprach-Erzeugung– Berechnung und Umsetzung einer natürlich

klingenden Prosodie

Spracherzeugung: Untersuchungsrichtungen

• Artikulationsbasiert– Physikalische Eigenschaften des menschlichen

Vokaltrakts werden modelliert

• Formanten-basiert– Nur Charakteristika des akustischen Signals selbst

werden berücksichtigt

• KonkateniertSpracherzeugung durch passendes Zusammensetzen

aufgenommener kleiner Sprachstücke

Animation: Science Fiction

• Odyssee 2001 (1968):HAL 9000

• vgl.: Allen et al. (2001):Practical Dialogue Hypothesis: "Die konversationelle Kompetenz die für praktische Dialoge erforderlich ist, ist trotz ihrer Komplexität deutlich einfacher zu erreichen als generelle menschliche Konversationskompetenz."

Der Technik neuester StandNLU-System „Michaela Mey“

(Sparda-Bank Hamburg, Crealog München)

Aufgabe 1

• Anruf bei der Fahrplanauskunft der deutschen Bahn Tel. 08001/507090

• Versuch von München nach Regensburg zu fahren. Dabei soll informell aufgeschrieben werden: Was sagt das System, was sagt der Benutzer, welche Dialogmöglichkeiten bestehen.

Vielen Dank für Ihre Aufmerksamkeit!

Dialogsysteme und VoiceXML Christoph Ringlstetter/Dr ... · Seminar im WS 2005/06. Sitzung...

Documents

Transcript of Dialogsysteme und VoiceXML Christoph Ringlstetter/Dr ... · Seminar im WS 2005/06. Sitzung...