ist mehr als Hören und Sprechen - nats … · Kommunikation mit gesprochener Sprache ..... ist...

Kommunikation mit gesprochener Sprache ...

... ist mehr als Hören und Sprechen:

Mensch-Maschine-Kommunikation mit gesprochener Sprache 1

Hören

Kikala brint tovoluti?

Hören Erkennen

Winter kochtest ganz Blatt?

Hören Erkennen Verstehen

Wann steigt die Party?

Sprechen

Sintu högafi notsi!

SprechenFormulieren

Sonderbar werfen die Wellen hinab!

SprechenFormulierenVerstehen Planen

Am Freitag, im Hirsch!

SprechenFormulierenVerstehen Planen

Am Freitag, im Hirsch!

Hören Erkennen SprechenFormulierenVerstehen Planen

Gesprochene Sprache

Segmentstruktur

Äußerungen Und wie wäre es am Mittwoch?

Gesprochene Sprache

Segmentstruktur

Phrasen wie wäre es am Mittwoch?

Gesprochene Sprache

Segmentstruktur

Wörter wie wäre es

Gesprochene Sprache

Segmentstruktur

Silben wä re

Gesprochene Sprache

Segmentstruktur

Silben wä re

Laute w ä r e

Gesprochene Sprache

Segmentübergreifende Information (Prosodie)

Gesprochene Sprache

• Grundfrequenz

Gesprochene Sprache

• Grundfrequenz

• Rhythmus

Gesprochene Sprache

• Grundfrequenz

• Rhythmus

• Lautstärke

Gesprochene Sprache

• Grundfrequenz

• Rhythmus

• Lautstärke

wird verwendet ...

Gesprochene Sprache

• Grundfrequenz

• Rhythmus

• Lautstärke

wird verwendet ...

• ... für Hervorhebungen (Neues, Wichtiges, Unerwartetes, ...)

Gesprochene Sprache

• Grundfrequenz

• Rhythmus

• Lautstärke

wird verwendet ...

• ... zur Gliederung (Phrasen, Sätze)

Gesprochene Sprache

• Grundfrequenz

• Rhythmus

• Lautstärke

wird verwendet ...

• ... zur Moduskennzeichnung (Aussage, Frage, ...)

Gesprochene Sprache

• Grundfrequenz

• Rhythmus

• Lautstärke

wird verwendet ...

• ... zur Dialogsteuerung (Vergabe der Initiative)

Gesprochene Sprache

• Grundfrequenz

• Rhythmus

• Lautstärke

wird verwendet ...

• ... zur Dialogsteuerung (Vergabe der Initiative)

• ... zum Ausdruck von Emotionen (Freude, Angst, Überraschung,Verlegenheit, ...)

Sprachsynthese

Zwei Herangehensweisen:

Sprachsynthese

Vollsynthese• Erzeugen des Sprach-

signals durch Ton- undRauschgeneratoren

• akzeptable Verständlich-keit

• geringe Natürlichkeit

Sprachsynthese

Vollsynthese• Erzeugen des Sprach-

signals durch Ton- undRauschgeneratoren

• akzeptable Verständlich-keit

• geringe Natürlichkeit

reproduktive Synthese• Aufnehmen und Wieder-

geben menschlicherSprachsignale

• hohe Verständlichkeit

• gute bis hohe Natürlich-keit

Sprachsynthese

reproduktive SyntheseWas sind geeignete Basiseinheiten?

• ganze Phrasen: nur für Spezialanwendungen

• Laute: schlechte Qualität

• Kompromiss: flexible Ermittlung der Basiselemente ausKorpusdaten

Sprachsynthese

reproduktive SyntheseWas sind geeignete Basiseinheiten?

• ganze Phrasen: nur für Spezialanwendungen

• Laute: schlechte Qualität

• Kompromiss: flexible Ermittlung der Basiselemente ausKorpusdaten

Wie werden die Basiselemente verkettet?

• harter Schnitt erzeugt Knackgeräusche

• ”weiche” Übergänge erforderlich

• prosodische Variation durch spezielle Transformationsverfahren

Spracherkennung

• nur Berücksichtigung von Lautcharakteristika

• ”Training” von Modellen auf großen Sprachdatensammlungen

• Vernachlässigung der Prosodie

• nur Erkennung, kein Sprachverstehen!

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

extraktion

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

extraktionWorterkenner

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

• Modelle für jeden Laut im Kontextseiner Nachbarlautem-a+m, m-a+n, d-a+n, ...

• Berechnung der Wahrscheinlichkeit,dass das Sprachsignal durch dasModell erzeugt wurde

• Zustände, Zustandsübergänge

• Transitionswahrscheinlichkeiten

• Emissionswahrscheinlichkeiten

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

trainiert auf Signaldaten

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch• eine oder mehrere Lautfolgen fürjede WortformMittwo h m i t v o x spwäre v eh r 2 sp

• Verkettung von Lautmodellen zuWortmodellenMittwo h:sp-m+i m-i+t i-t+v t-v+o ...

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch

manuell erstellt

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch

manuell erstellt

Sprach-

modell

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch

manuell erstellt

Sprach-

modell

• Berechnung der Wahrscheinlichkeitfür komplette Äußerungen

• Wahrscheinlichkeiten für Wortpaare,-tripel oder -quadrupel

p(wir|dann wollen)p(Mittwoch|dann wollen)

• wenig geeignet für Dialogsysteme

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch

manuell erstellt

Sprach-

modell

trainiert auf Texten

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch

manuell erstellt

Sprach-

modell

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch

manuell erstellt

Sprach-

modell

Dialog-

modell

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch

manuell erstellt

Sprach-

modell

Dialog-

modell

manuell erstellt

Spracherkennung

Spracherkenner

und wiewäre es

am Montag

Merkmals-

Laut-modelle

Aussprache-

Wörterbuch

manuell erstellt

Sprach-

modell

Dialog-

modell

manuell erstellt

Dialog-

modell

Dialogmodellierung

• dynamische Einschränkung des Erkennerwortschatzes inAbhängigkeit vom Dialogzustand

Dialogmodellierung

• Wozu braucht man das?

Dialogmodellierung

• Wozu braucht man das?• Erkennungssicherheit erhöhen→ Was wurde gesagt?

Dialogmodellierung

• ähnliche Aussprache: Mai oder drei?• verschiedene Sprecher• schlechte Übertragungsqualität

Dialogmodellierung

• semantische Interpretation erleichtern→ Was wird von der Maschine erwartet?

Dialogmodellierung

• Zahl → Geldbetrag, Uhrzeit, Datum, Kontonummer, ...• Mehrdeutigkeit: Wann werden S/sie kommen?• Referenzauflösung: Was wird durch sie bezeichnet?

Dialogmodellierung

• Zahl → Geldbetrag, Uhrzeit, Datum, Kontonummer, ...• Mehrdeutigkeit: Wann werden S/sie kommen?• Referenzauflösung: Was wird durch sie bezeichnet?

• eine Maschine hat keinen gesunden Menschenverstand!

Dialogmodellierung

• Dialogzustände: Aufforderung zur Eingabe (Prompt)

• Übergänge zwischen Dialogzuständen: Erkennung vonNutzeräußerungen

Dialogmodellierung

Bittegeben SieIhren Ab-fahrtsort

Dialogmodellierung

Bittegeben Sie

IhrenZielort

Berlin

Dresden

Düsseldorf

Hamburg

München

Stuttgart

Dialogmodellierung

Bittegeben Sie

IhrenZielort

Berlin

Dresden

Düsseldorf

Hamburg

München

Stuttgart

Bittegeben Sie

die Ab-fahrtszeit

Berlin

Dresden

Düsseldorf

Hamburg

München

Stuttgart

Dialogmodellierung

• Mehrfachverwendung von Teilnetzen

Dialogmodellierung

Bittegeben Sie

IhrenZielort

Ortsangabe

Dialogmodellierung

Bittegeben Sie

IhrenZielort

OrtsangabeBitte

geben Siedie Ab-

fahrtszeitein!

Ortsangabe

Dialogmodellierung• sprecherunabhängige Spracherkennung ist unsicher• insbesondere bei Telefoneingabe• Erhöhen der Zuverlässigkeit durch Rückfragen

Siewollen

abfahren?

Ortsangabe

Siewollen

abfahren?

Ortsangabe

Siewollen

abfahren?

Ortsangabe

Bittegeben Sie

IhrenZielort

Siewollen

abfahren?

Ortsangabe

Bittegeben Sie

IhrenZielort

Siewollennach

Zfahren?

Ortsangabe

Siewollen

abfahren?

Ortsangabe

Bittegeben Sie

IhrenZielort

Siewollennach

Zfahren?

Ortsangabe

Siewollen

abfahren?

Ortsangabe

Bittegeben Sie

IhrenZielort

Siewollennach

Zfahren?

Ortsangabe

Bittegeben Sie

die Ab-fahrtszeit

Dialogmodellierung

• theoretische Grundlage: deterministischer endlicher Automat

Dialogmodellierung

• theoretische Grundlage: deterministischer endlicher Automat• einfachstes Automatenmodell der Informatik• effiziente Implementierung• gute Vorhersagefähigkeit → starke Einschränkung des

aktiven Wortschatzes

Dialogmodellierung

• für natürliche Dialogführung zu rigide → Erweiterungen nötig

Dialogmodellierung

• für natürliche Dialogführung zu rigide → Erweiterungen nötig• wechselnde Prompts• ”Hineinreden” in den Prompt (barge in)• ...

Dialogmodellierung

• Dialogmodellierung erfordert Vorhersehen möglicherNutzerreaktionen

• Hineinversetzen in den Nutzer• Wizard-of-Oz-Experimente

Dialogmodellierung

• Dialogmodellierung erfordert Vorhersehen möglicherNutzerreaktionen

• Hineinversetzen in den Nutzer• Wizard-of-Oz-Experimente

• Dialogmodellierung schränkt die sprachliche Möglichkeiten einesNutzers stark ein

• Lenkung des Nutzers durch Vorgabe zulässigerÄußerungen (akustisches Menü)

ist mehr als Hören und Sprechen - nats … · Kommunikation mit gesprochener Sprache ..... ist...

Documents

Transcript of ist mehr als Hören und Sprechen - nats … · Kommunikation mit gesprochener Sprache ..... ist...

Es ist Montag, der dreiβigste September Der Plan! 1.Einführung 2.Hören 3.Sprechen 4.Schreiben 5.Spielen Es ist windig! Das Ziel: über das Wetter sprechen!

Langenscheidt Audio-Kurs Hören, verstehen, sprechen …download.audible.com/adde/guides/pdfs/lang/BK_LANG_000102DE.pdf · Hören, verstehen, sprechen ... A1-A2 Coverfoto: ... Hören

Hören und Sprechen A1.pdf

Kommunikation Hören lernen Miteinander sprechen · 2019. 3. 20. · Ein Hörgerät funktioniert nicht wie eine Brille. Das Hören mit der Hörhilfe hat nicht die gleiche Qualität

Assessing language: What can we expect at A1, A2, or …€¦ · Zusammenhängendes Sprechen: A1 Hören, Lesen, Schreiben: A2 2 (c ... Zusammenhängendes Sprechen: A2 Hören: A2 und

Englisch 1000 Wörter - Hueber | Shop/Katalog · PDF fileBegleitheft Hueber Englisch 1000 Wörter hören, verstehen, sprechenhören, verstehen, sprechen

Lektion 02 über Beruf und Persönliches sprechenakadaf.com/menschenA1.1/a1.02slide.pdf · Hören Sie und sprechen Sie nach. Lektion 02 _____über Beruf und Persönliches sprechen

Hören und Sprechen A1

UMZUG Lerne Wechselpräpositionen mit allen Sinnen ... · sprechen lesen schreiben hören . Unterrichtsablauf Einführung Präsentation Semantisierung (SOS) Übung Transfer . Unterrichtsablauf

Beratungszentrum sehen | hören | bewegen | sprechen · 2016. 2. 17. · 2 Beratungszentrum sehen|hören|bewegen|sprechen Das Beratungszentrum Das Beratungszentrum sehen|hören|bewegen|sprechen

Sprechen und Zuhören Kompetenzaufbau im Bereich der mündlichen Kommunikation.

Verzeichnis der Kopiervorlagen · Raster zur Selbstbeurteilung V erstehen Hören Lesen Sprechen An Gesprächen teilnehmen Zusammen- hängend sprechen Schreiben Schreiben Ich kann

Hören – der wichtigste Sinn für die Kommunikation

ÜBUNGSTEST 1 · Übungstest 1 ist gleichzeitig der Modelltest zur Prüfung telc Deutsch A2. Für den Testteil „Hören ... Hören, Schreiben und Sprechen ... 1 Hören ca. 20 Minuten

FIT IN DEUTSCH 2 - ivannikovairina · Sprechen 20 Prüferblätter Transkriptionen zum Hören 29 Lösungen zu Hören und Lesen 33 Bewertung Schreiben 34 ... A2 – der im Gemeinsamen

Sprechen – hören – schwingen Groß oder klein? Zebra · Sprechen – hören – schwingen Groß oder klein? • Sprich deutlich und höre genau. • Schwinge die Silben. •

deutsch üben, Hören & Sprechen B2 - shop.hueber.de · A 6 A Streitkultur A Streitkultur A Krach in der WG 1 a) Hören Sie den Text einmal, dann lesen Sie die Sätze unten. Nun hören

DaF / DaZ: Hören & Sprechen - Niveau A1 - school … · deutsch üben Hören & Sprechen A1 orientiert sich an den gängigen A1-Lehrwerken (z. B. Schritte ) und trainiert die Fertigkeiten

Höre genau auf die Laute. Ich kann richtig schreiben · Sprechen - Hören - Schwingen Sprechen - Hören - Schwingen Ich kann richtig schreiben 1 Schwinge die Wörter in Silben. Höre

Sprechen im DaF/DaZ-Unterricht - akdaf.chE4ch.pdf · Deutsch im Gespräch Sprechen im DaF/DaZ-Unterricht ... Dr. Rainer Bohn, Institut für interkulturelle Kommunikation e.V. Jena