Einf hrung in die Mensch-Maschine-Kommunikationskopp/download/Kopp_MMK... ·...

Einführung in die Mensch-Maschine-Kommunikation

Stefan Kopp

Universität Bielefeld

SFB 673

1

Mensch-Maschine-Kommunikation2

! Mensch! Will eine Aufgabe lösen

! Nutzt Maschine für diesen Zweck

! Unterliegt speziellen Einschränkungen

! Maschine! Software für Problemlösungen

! Hardware zur Programmausführungund Ein-/Ausgabeschnittstelle

! Kommunikation! Fortlaufender Informationsaustausch

! Gemeinsames Zeichensystem

! Gemeinsame Kommunikationskanäle

Mensch und Maschine kommunizieren

Mensch-Maschine-Kommunikation

Themen der Mensch-Maschine-Kommunikation

3

ACM SIGCHI -

Content of HCI


Übersicht

! Maschinen als Werkzeuge! Bedienung

! Maschinen als intelligente Werkzeuge! Instruktion

! Maschinen als verkörperte Agenten! Konversation

! Maschinen als soziale Kompanions! Kooperation

4


Year

1950s

1970s

1980s

1980s+

1990s+

2000s+

Paradigm

Typewriter

Desktop

Spoken Language

Natural interaction

Social interaction

Implementation

Switches, punched cards

Command-line interface

Graphical UI (GUI), direct manipulation

Speech recognition/synthesis, natural language processing, dialogue systems

Perceptual, multimodal, interactive, conversational, tangible, adaptive

Agent-based, anthropomorphic, social, emotional, affective, collaborative

5

!"#$%&'#()#*)%+,-)'(&,-*./,+

01,( 234$,3,(&.&'#() 5.-.6'73

89:;+ <='&/1,+>)4%(/1,6)/.-6+ ?#(,

89@;+ A#33.(6B$'(,)'(&,-*./, CD4,=-'&,-

89E;+ F-.41'/.$)G2)HFG2I J,+K&#4

L;;;+ MMM MMML;;;+ 5,-/,4&%.$)G2)H5G2I ?.&%-.$)'(&,-./&'#(


Vannevar Bush

! „As we may think“ (1945):„The summation of human experience is being expaned at a prodigious rate, and the means we use for threading through the consequent maze to the momentarily important item is the same as was used in the days of square-rigged ships“

„Memex“ (memory expander)Informationsverarbeitende Maschine als persönliches Werkzeug zum Speichern und Finden von Daten


Joseph C.R. Licklider

! „Man-Computer Symbiosis" (1960):"The hope is that, in not too many years, human brains and computing machines will be coupled together very tightly and that the resulting partnership will think as no human brain has ever thought and process data in a way not approached by the information-handling machines we know today.”

! Visions:

! Short-term: Time-sharing, input/ouput of symbolic and graphical information, real-time systems

! Mid-term: Facilitate human cooperation, speech recognition, character recognition, light-pen editing

! Long-term: Natural language understanding, heuristic programming, learning


Douglas C. Engelbart

„I had the image of sitting at a big CRT screen with all kinds of symbols, new and different symbols, not restricted to our old ones. The computer could be manipulated, and you could be operating all kinds of things to drive the computer“

„ONLine System“ (1968)

! Two persons collaboratively edit the same text from two different consoles

! Multiple windows, on-screen teleconferencing

! Need for new input device for text selection and manipulation ! first mouse


Übersicht


9

! Maschine bietet Vielzahl von ausführbaren Funktionen

! Nutzer bedienen die Maschine in einem fortlaufenden Interaktionsprozess

! Rückmeldung der Maschine über aktuellen Status der lokalen Problemlösung


Maschinen als Werkzeuge

10

Psychology of HCI (Card, Moran & Newell; 1983)

Wahrnehmung

Mensch Computer

Informations-

verarbeitung

Handeln Eingabegeräte

Informations-

verarbeitung

Ausgabegeräte


Handlungsschritte

11

Seven Stages of Action Model (D. Norman, 1988)

Gu

lf o

fE

xe

cu

tio

n Gu

lf of

Ev

alu

atio

n


Probleme beim Überbrücken der „Ausführungskluft“

12

(aus Dahm, 2006)


Probleme beim Überbrücken der „Evaluationskluft“

13

(aus Dahm, 2006)


Ziel: Gebrauchstaugliche Maschinen

! „Usability“ - können Nutzer das System auch wirklich

erfolgreich gebrauchen?

14

DIN ISO 9241:

! Effektivität: Genauigkeit und Vollständigkeit, mit der die Benutzer ein bestimmtes Ziel erreichen.

! Effizienz: Aufwand der Benutzer im Verhältnis zur Genauigkeit und Vollständigkeit des erzielten Effekts.

! Zufriedenheit: Positive Einstellung gegenüber der Nutzung und Freiheit von Beeinträchtigungen


„Usablity Engineering“

! Elemente zur Interaktionsgestaltung! Software: Eingabezeilen, Kommandosprachen, Formulare,

Menüs, grafische Oberflächen (Windows-Icons-Menus-Pointer)

! Hardware: Tastatur, Touchpads, Maus, Bildschirm, etc.

15

! User-centered design• Iterativ-inkrementell

• Nutzerbeteiligung


„Usability Engineering“

16

! Metaphern! Bezug (Analogie) zu bekannten

Real-Welt-Aktivitäten

! Beispiele: Schreibtisch-Metapher, direkte Manipulation

! Affordances (Norman, 1988): "refers to the properties of objects --what sorts of operations and manipulations can be done to a particular object"

! Objekte sollen ihre Affordances suggerieren


Übersicht



17


Instruierbare intelligente Werkzeuge

! Mit zunehmenden Fähigkeiten und Autonomie der Systeme werden immer „natürlichere“ Kommunikations- und Interaktionsarten möglich

! Credo: Maschine soll wie Menschen kommunizieren können

18


Klassisches Kommunikationsmodell der KI

19

Terry Winograd (1983)

Fokus auf symbolischer Kommunikation


Beispiel: Der virtuelle Konstrukteur

! Verstehen von Instruktionen unter Rückgriff auf Weltwissen und Situationswissen

! Referenzierung von Objekten über deren! aktuelle oder potentielle Rolle („Leitwerk“ statt „Leiste“)! aktuelle relative Merkmalsausprägung im Kontext, Status im

Diskurskontext

20

Virtueller Konstrukteur (Jung et al., 1998)

Konzeptdynamik(Wachsmuth & Jung, 1996)


Sprachdialogsysteme

! Erlauben dem Nutzer Eingabe in gesprochener Sprache und antworten durch natürlich-sprachliche Ausgaben

! Natürlich-sprachlicher Dialog als Schnittstelle ! Informationsstruktur: Was ist neu und was bekannt?

! Kohärenz: Wie beziehen sich Äußerungen aufeinander? ! Referenz: Auf was wird Bezug genommen?

! Sprechakte: Was ist die Aktion und Intention des Sprechers?! Rederecht: Wer redet wann?

! Initiative: Wer hat die Kontrolle im Dialog?! Grouding: Welche Informationen sind etabliert?

! Reparatur: Wie können Missverständnisse korrigiert werden?


Multimodale Mensch-Maschine-Kommunikation

! Menschliche Kommunikation zeichnet sich durch gleichzeitige und kombinierte Verwendung vieler „Modalitäten“ aus (Sprache, Gestik, Mimik, etc).

! Eine Mensch-Maschine-Schnittstelle ist multimodal, wenn sie mehrere Eingabemodalitäten und/oder mehrere Ausgabemodalitäten zur Verfügung stellt.

Eine Modalität bezeichnet ein kommunikatives System,das durch die Art und Weise wie Information kodiert,

übertragen und interpretiert wird gekennzeichnet ist.


Beispiele

Dreh das Teil

so herum!

Spracherkennung + Lippenlesen

Das Ding ist

unten rund…

QuickSet (OHSU Oregon) MARA (Fraunhofer FIT)

SFB 360 Bielefeld AG WBS, Uni Bielefeld


Warum multimodale MMK?

Natürlichkeit! Anpassung an den Menschen, Intuitivität

Effizienz! Vermittlung unterschiedliche Informationsarten

! Informationsaufteilung

! Einzelne Modalitäten weniger komplex

Robustheit! Redundanz zwischen Modalitäten kann die Fehlerrate

verringern ! Gegenseitige Disambiguierung der Modalitäten

Adaptivität! Situations-/Nutzerspezifische Bevorzugung von Modalitäten! Nutzer wählen intuitiv den weniger fehleranfälligen Modus,

wechseln oft die Modalität nach Fehlerfall


“Create”

”Create a blue square there.”

“Move”

“Move the blue triangle to the right of the green square.”

“Move that there.”

“Make that …”

“Make that blue triangle smaller.”

“Make that smaller.”

“Delete”

“Delete that green circle.”

Beispiel: Put-That-There

(Bolt, 1980)

Sprache und Zeigegestik,

die „Slots“ füllt


Multimodale Formbeschreibungen

! Sprache und formbeschreibende „ikonische“ Gesten

! Übersetzung von Postur- und Bewegungsmerkmalen in Forminformation

! Representation in „Imagistic Description Tree“! Vergleich mit Formenwissen über Objekte

“shaft”

a (b c)

6.5 4.0

“screw”

a

10.0

“head”

(a b) c

6.0 3.5

“slot”

a b c

6.0 .2 .2

IDT

(Sowa, 2005)


Beispiel

„ein längliches Brett“

„länglich“

„Brett“

Konzeptualisierung Unifikation

Visualisierung des kombinierten IDT

RäumlichesArbeitsgedächtnis


Übersicht




28

Mensch-Maschine-Kommunikation 29


Terminologie

! Verkörperter (anthropomorpher) Agent! Agent mit menschenähnlichem Äußeren

! Verwendung des Körpers für kommunikative oder andere Handlungen

! Natürliche Multimodalität und „Kommunikationsprotokolle“

! Face-to-face Konversation

! Agent! Ein Computerprogramm, das Aktivitäten in seiner

Umgebung beobachten und initiieren und das mit anderen Individuen kommunizieren kann.

! Hat spezielle Expertise und übernimmt Aufgaben


Motivationen und Hoffnungen

! Verringerte Komplexität der Aufgabenlösung! Expertise des Agenten unterstützt Nutzer, z.B. in Form von

Expertenkritik, Aufgabenvervollständigung, Koordination

! Natürlicheres Interaktionsszenario! Direkte Übertragung der bekannten Kommunikationsarte

! Metapher eines Vermittlers wird „greifbar“ ! Da ist jemand, der mir hilft

! Motivationale Faktoren! Zusammenarbeit und Interaktion mit einer „Person“ ist

motivierender und unterhaltsamer


Interface-Agenten

Communicate

Observe Observe

Operate

UserInterface

agent

Application

! Aufgabe: Vermittlung zwischen Nutzer und Anwendung

! Kommunizieren mit dem Nutzer und unterstützen ihn

! Übernehmen die Bedienung der Applikation

! Agent und (ggf.) Nutzer „observieren“ die Applikation


Anthropomorpher Interface-Agent für Webbrowser (U. Tokyo)


Embodied conversational agents

„Computer interfaces that hold up their end of conversation,

have bodies and know how to use it for conversational behaviors as a function of the demands of dialogue and of emotion, personality, and social convention.“

(Cassell, 2000)

! Ziel: Verhalten sich wie Menschen in der „face-to-face“ Kommunikation! Erkennen und verarbeiten verbale und nonverbale Eingaben

! Generieren verbales und nonverbales Verhalten

! Erfassen funktionale Aspekte von konversationalem Verhalten (z.B. Anschauen ! Rederechtsangebot, Feedback)

! Können aktive Rolle im Dialog übernehmen


Agenten als virtuelle Experten

Beispiel: REA (MIT Media Lab, 2000)

! Virtuelle Immobilienmaklerin

(Cassell et al.,

1999, 2000)


Max der virtuelle Museumsführer

Heinz-Nixdorf-MuseumsForum (Paderborn)

36


Wirkung verkörperter Agenten?

! Virtuelle Gesichter ziehen Aufmerksamkeit auf sich

! Interaktion ist unterhaltsamer

! Höhere Akzeptanz

! Wahrgenommene Intelligenz, Vertrauenswürdigkeit und Glaubwürdigkeit des Systems ist größer

37

0

1

1

2

2

3

3

4

4

5

5

GUI speech ECA

! Nutzer sind geneigter Aufgabenzu delegieren

! Triggern den Gebrauch menschlicher Kommunikationsformen

(Krämer, 2005)


Wirkung der äußeren Erscheinung?

! Einfluss auf soziale Evaluation und Zuschreibung von Freundlichkeit

! Übereinstimmungen mit Nutzer in Aussehen, Geschlecht, Herkunft oder Alter werden positiv wahrgenommen

! Zu realistisch erweckt übersteigerte Erwartungen

„Uncanny valley“ (Mori, 1970s)

! Hypothese, klare Belege fehlen

! Realitätsgrad des Agentverhaltens muss dem des Äußeren entsprechen

Mensch-Maschine-Kommunikation39New Scientist, 2005

Soziale Effekte?

Vergleichbar denen von Menschen!


Übersicht





40


Kollaborative Agenten

! Mensch und Agent kollaborieren bei einer Aufgabe

! Beide können aktiv zur Lösung beitragen

! Beide beobachten das Handeln des anderen

! Beide kommunizieren über ihre Aufgabe und ihre Kooperation

Communicate

Observe

Operate

Agent

Application

User

Operate


Max der „Assemblierungsexperte“

! Arbeitet gemeinsam mit realem Partner in virtueller Welt

! Szenario: Konstruktion von Baufix-Modellen

<Film>


Maschinen als soziale Kompanions?

Cynthia Breazeal (MIT):„Future applications require robots to address the socio-emotive and psychological aspects of people in long-term relations“

Laura (Bickmore et al.)

ATR, Osaka

NEC “babysitters”

BANDAI “elder toys”

OMRON “pets”

Interactive

Toys


Zusammenfassung





44


Kommunikation mit einem künstlichen Agenten

“Ich, Max” – Kommunikation

mit einem künstlichen Agenten

Ipke Wachsmuth

Universität Bielefeld

sound check

Als nächstes mehr über Max

Einf hrung in die Mensch-Maschine-Kommunikationskopp/download/Kopp_MMK... ·...

Documents

Transcript of Einf hrung in die Mensch-Maschine-Kommunikationskopp/download/Kopp_MMK... ·...