M u l t i m o d a l e S y s t e m e / M E

Multimodale Systeme

Joulavskaia NatalieNikoulina Irina

M u l t i m o d a l e S y s t e m e / M E

- Motivation

Begriffsdefinitionen

Eingabegeräte

- Geschichteüberblick

- Frühere multimodale Systeme

Entwicklung des Eingabesystems

- VIENA: offene Eingabe

- CARE – Konzept

- CARE und VIENA

- VIENA/MEA

- Multimodale Systeme/Ansätze

Gliederung

M u l t i m o d a l e S y s t e m e / M E

• Modalität (oder Modus)

• Multimodalität

• Multimodale Systeme

• Multimodales Parsing/ Multimodales Generierung

Motivation

Definitionen

M u l t i m o d a l e S y s t e m e / M E

• Erfassung von Gesten - video-basiert - basiert auf Sensoren

• Erfassung von Blickrichtungen

- Eyertracker

• Erfassung von der Sprache

- Mikrophon - Tastatur

Motivation

Eingabegeräte

M u l t i m o d a l e S y s t e m e / M E

1970

1984

1986

1991

1993

1993

1994

1995

SCHOLARTutorsystem Südafrika

Put-That-There

XTRAInterface, Steuerformularhilfe

CUBRICONMilitärisch, Karten

AIMIMilitärisches Interface

ALFrescoBilder, Hypertext, NLP

EdwardSinn & Zweck von M4K

GEORALTouristik, Karte

Motivation

Geschichteüberblick

M u l t i m o d a l e S y s t e m e / M E

• Frühere Systeme für Sprache & Gestik - SCHOLAR (Corbonell 70) - Put-That-There (Bolt 80) - XTRA (Allgayer et. Al. 1989) - CUBRICON (Neal/Shapiro 91)

• Merkmale - die Integration von Gesten erfolgt durch das Auftreten von

sprachlichen Referenzausdrücken - kein allgemeiner wohldefinierter multimodaler

Integrationsmechanismus - Beschränkung auf Zeigegesten

Frühere multimodale Systeme

Merkmale

M u l t i m o d a l e S y s t e m e / M E

1. Sequentielle Analyse/ Zusammenführung von Sprach- und Gesteneingaben [Put-That-There System (Bolt, 1980) CUBRICON (Neal &

Skapira, 1991)]

2. Parallele Verarbeitung (Koors, Sparrell & Thorisson, 1993; Bos, Huls & Claasen,

1994; Nigay & Coutaz, 1995)

3. Offene Eingabe wurde von den früheren Ansätzen nicht benutzt/

keine Auflösung von Redundanzen und Inkonsistenzen

Frühere multimodale Systeme

Wie hat sich das Eingabesystem entwickelt?

M u l t i m o d a l e S y s t e m e / M E

VIENA -Virtuelle Entwurfsumgebung und Agenten

(Wachsmuth&Cao, 1995)

Sprachlich-gestische interaktive Manipulation eines 3-d virtuellen

Büroraums

VIENA

M u l t i m o d a l e S y s t e m e / M E

Manipulierbarer virtueller Raum im VIENA-Projekt

VIENA

M u l t i m o d a l e S y s t e m e / M E

VIENA: offene Eingabe

Eingabearchitektur von VIENA

M u l t i m o d a l e S y s t e m e / M E

Ziel der multimodalen Eingabearchitektur

Entwicklung eines allgemeinen Verfahrens zur Integration Benutzereingaben

VIENA: offene Eingabe

Ziel der MEA

M u l t i m o d a l e S y s t e m e / M E

CARE-Konzept : Entwicklung und Bewertung von den Aspekten der multimodalen Interaktion

- CARE wurde entwickelt ca. 1995 von Coutaz/ Nigay/ Salber am IMAG, Frankreich

- Besteht aus einem theoretischen Framework und einer formalen Schreibweise

- Bezieht sich auf Ein- und Ausgabe

- Beschreibt Relationen zwischen Modalitäten

- Die CARE-Properties

1. Komplementarität (Complementary) 2. Zuweisung (Assignment) 3. Redundanz (Redundancy) 4. Äquivalenz (Equivalence)

CARE

Beschreibung

M u l t i m o d a l e S y s t e m e / M E

„äquivalente Modalitäten bezüglich eines Zielzustandes“

CARE

Formale Schreibweise

M u l t i m o d a l e S y s t e m e / M E

- Welche Eigenschaft dient welchem Ziel?

Beispiele:

- schnelle Integration durch Äquivalenz ( Tastatur <-> Sprache) - intuitive Bedienung durch Redundanz

- VIENA analysiert mit den CARE-Properties

CARE

Beispiele

M u l t i m o d a l e S y s t e m e / M E

CARE

Grafische Notation

M u l t i m o d a l e S y s t e m e / M E

CARE

Die von MEA-unterstützten Eigenschaften(Beispiele)

M u l t i m o d a l e S y s t e m e / M E

CARE

CARE & Integrationsverfahren

M u l t i m o d a l e S y s t e m e / M E

Universität Bielefeld AG Wissensbasierte Systeme (Wachsmuth&Fröhlich)

Forschungsfokus – Gestenerkennung für Mensch-Maschine-Schnittstellen

- multimodale Integration von Gestik und Sprache

Problem: zeitliche Kopplung der Modalitäten

Verzögerungen bei der Vorverarbeitung – zeitlich gestreut

rhythmische Natur menschlicher Kommunikation

neuartige Methode zur Konzeption eines MES

Basis – zeitgetaktete Multiagentensystem mit Integration der

Sensordaten in einer multimodaler EDS

M u l t i m o d a l e S y s t e m e / M E

Gesteneingabe – Nintendo-Datenhandschuh

Spracheingabe – Mikrofon

Dragon Dictate (Version 1.2b) Spracherkenner

VIENA

M u l t i m o d a l e S y s t e m e / M E

Instruktionen werden mit gesprochener Sprache eingegeben und durch Zeigegesten ergänzt

VIENA

M u l t i m o d a l e S y s t e m e / M E

put | <Geste> this | computer | on | <Geste> that | table

Zeigegeste werden durch Handschuhzeigen auf Objekte oder Positionen eingegeben

VIENA

M u l t i m o d a l e S y s t e m e / M E

Realisierung der Aufnahme und Verarbeitung der

Eingabeinformationen durch multiple Software-Agenten

Agent – autonomer Berechnungsprozess

Agentur

VIENA / MEA

M u l t i m o d a l e S y s t e m e / M E

sense-compute-act-Zyklus

sense – Aufnahme von Nachrichtendaten

compute – Berechnung der jeweiligen

Funktion

act – Senden technischer Kommandos

Das Verarbeitungsmodell von Agentensystemen

ist ereignisgetrieben

Agentensystem

M u l t i m o d a l e S y s t e m e / M E

Architektur der VIENA-System

VIENA / Architektur

M u l t i m o d a l e S y s t e m e / M E

multimodale Eingabe-Agentur

• listener (speech, type, gesture)

• Parser

• Koordinator

Architektur / MEA

M u l t i m o d a l e S y s t e m e / M E

Probleme bei der Koordinieren und Integrieren der perzipierten Sprach- und Gesteneingaben

• Segmentierungsproblem: Wie sind die Prozesseinheiten zu determinieren, die das System in

einem Zyklus verarbeitet?

• Korrespondenzproblem: Wie sind die Querbezüge zwischen den Modalitäten zu determinieren?

Integrationsprobleme

M u l t i m o d a l e S y s t e m e / M E

Segmentierung

3-Zustands-Rhythmus-Modell

(swing-subside-wait)

Segmentierung

M u l t i m o d a l e S y s t e m e / M E

Segmentierungsprozess 4 Schritte:

• sense – registriert Nachrichten von listener- Agenten

• buffer – extrahiert und akkumuliert sie in EDS • compute – interpretiert in EDS akkumulierten Daten

• act – bestimmt Agenten und übergibt die Aufgaben an sie

Sense und buffer im Wechsel bis der Zeitzyklus abgeschlossen ist

Compute und act – am Ende jeden Zeitzyklus

Segmentierung

M u l t i m o d a l e S y s t e m e / M E

Korrespondenz compute – Auflösung der Korrespondenzen zwischen verbaler und gestischer

Information in der EDS und eine Gesamtaufgabenbeschreibung

2 Fälle: • Zeitzyklus-interne Interpretation

• Zeitzyklusüberspannende Interpretation

separate Analyse der Sprach- und Gestenmodalität

Berechnung wahrscheinlichsten Korrespondenzen

Überprüfung der resultierenden Repräsentation auf Vollständigkeit

Korrespondenz

M u l t i m o d a l e S y s t e m e / M E

Tatsächliche multimodale Integration – Herstellung der Korrespondenzen zwischen Gestenperzepten und Gestenplätzen innerhalb des 2 sek. Intervals

Gestenplatz – zeitgestempelter Informationsplatzhalter, die Spracheingabe ergänzen

bilden Ankerpunkte für den Aufbau von Querreferenzen zw. Sprach- und Gestikereignissen

zwei Gestenplätze – ein Gestenperzept:

die Auflösung durch zeitliche Nähe und den Vergleich der Ambiguitätswerten

Integration

M u l t i m o d a l e S y s t e m e / M E

Multimodale Benutzung adaptiver Kfz-Bordsysteme

• zunehmende Komplexität moderner Kfz-Bordsysteme

• Bedarf an verbesserten MMS

Komplexität der Bordsysteme verbergen

einfache und intuitive Bedingung ermöglichen

Kfz-Bordsystem

M u l t i m o d a l e S y s t e m e / M E

• Inhalt des Handbuchs in multimedialer Form präsentiert

• Abfragen von Nachrichten unterschiedlicher Art

• die Funktionen des Bordsystems sollen mittels Sprache , Gestik und mechanischem Bedienelement angesprochen werden können

Kfz-Bordsystem

M u l t i m o d a l e S y s t e m e / M E

• Statische Einhand-Gesten• Ausführung horizontal über den

Mittelkonsole

Kfz-Bordsystem

M u l t i m o d a l e S y s t e m e / M E

Multimodale Systeme/ Ansätze