Talking HeadsJan Paller
1.2.2001
Seminar„Multimodale Mensch-Maschine-Kommunikation“
WS 00/01Universität Bielefeld
Zu beantwortende Fragen:
Was ist ein Talking-Head?
Wie funktioniert ein Talking Head?
Welche TH’s gibt es bereits undwelche Erkenntnisse hat mangewonnen?
Wozu braucht man ein solchesSystem?
Was ist ein Talking Head?
bisher:User -> Maschine
jetzt:Maschine -> User
• TH-Systeme modellieren einensynthetischen Agenten, mit dem derBenutzer kommunizieren kann.
• möglichst natürliche Kommunikationgefordert
-> Sprache + Gesichtsmimik
Wie funktioniert ein TalkingHead?
nötig:
• Modellierung des Gesichts
• Modellierung derLippenbewegungen
• Synchronisation von Audiound Video
verschiedene Möglichkeiten zurGenerierung des Gesichtes:
1. Spezifizieren jeder einzelnen
Bewegung
2. Motion Capturing
3. mit „Puppenspieler“
4. Text-to-Speech
5. Conversational Agent
Lippenbewegungen
• cartoonartig
• parameterbasiert
• kontextbasiert
• bildbasiert
• EMG-basiert
Synchronisation von Audiound Video
Menschen sind diesbezüglich sehrempfindlich
das Auge ist empfindlicher gegenüberVerzögerungen als das Ohr, je nachSchärfe des Tons
Audiokanal wird als Zeitgeberverwendet
Welche Talking Heads gibtes bereits?
August Baldi
Olga
August
schwedisches multimodalesDialogsystem
kommuniziert mit:• synthetischer Sprache• Gesichtsausdrücken• geschriebenem Text
war für sechs Monate im Einsatz mitgrösstenteils unerfahrenen Benutzern
Wie lief die Kommunikationmit August ab?
Es wurde viel Wert auf natürlicheKommunikation gelegt
Die Nutzer probierten verschiedeneAnsätze aus:
• Verkleinern des eigenen Vokabulars,Benutzung systemeigenerSprachstukturen
• möglichst kurze und allgemeinübliche Äusserungen (circa 4 Worte)
• Wiederholungen
Äusserungen liessen sich aufteilen in:
soziale Informations-suchende
15.626 Wörter 23.604 Wörter
„Hallo August!“„Wie alt bist du?“
„Wie spät ist es?“„Wo sind dieRestaurants inStockholm
sozialer Teil wahrscheinlich durch denanimierten Agenten beeinflusst
• nur 14% der Wörter nicht unter den200 häufigsten des KTH-Corpus
• 99 Wörter (oft Schimpfworte) kamenjedoch nicht im KTH-Corpus vor
Äusserungen wurden im Verlauf desDialogs nicht kürzer, sondern eherlänger:
• offensichtlich gab es kaum komplexeSyntaxstrukturen
• Strukturen in sozialer Kategoriewaren einheitlicher
• die meisten Äusserungen enthieltennur ein Verb
• komplexe Strukturen fast nur beiReferenzierungen und diese fast nurauf ganze Sätze
Wiederholungen:
circa 80% reine Wiederholungen bzwUmstellen der Satzstruktur
11% Reduzierung der Komplexität9% Erhöhung der Komplexität
Bei mehr als einer Wiederholung :erst Vereinfachung,dann Ersetzen von Wörtern
Schlussfolgerungen:
trotz einer grossen Anzahlverschiedener Kommunikations-Strategien scheinen nur geringelexikalische und syntaktischeKenntnisse seitens des Talking Headsnötig zu sein
Olga
• dreidimensionale animierte Figur
• kann auf eigene Initiative hin Tipsund Ratschläge geben
• hilft bei der Suche und Bearbeitungvon Datenbanken
Wozu dient ein solchesSystem?
Baldi wurde für drei Jahre zumSprachelehren bei tauben Kindernbenutzt
es zeigte sich ein sehr hoherMotivationsgrad
Wie geht es weiter?
August ist derzeit mit anderen TalkingHeads in der Öffentlichkeit zugänglich
Baldi bekam neue Modelle für Zunge ,Gaumen und Zähne-> bessere Möglichkeiten zum Lehrenvon Sprache bei Hörgeschädigten
transparente Haut, ausblendbare Teile-> z.B. besseres Erkennen derZungenbewegungen
Fazit
• Talking Head Systeme erleichtern dieMensch-Maschine-Kommunikation
• erhöhen die Robustheit derKommunikation durch Multimodalität
• eignen sich zum ErlernenzwischenmenschlicherKommunikation (auch neueSprachen)
Top Related