Blickbewegungsmuster in der Mensch-Maschine-Interaktion

Ergebnisse einer Literaturrecherche

Oliver Dannat

Informatikseminar „Usability Engineering“

Sommersemester 2001

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

2

Inhalt

• Motivation

• Einleitung

• Hand-Auge-Koordination

• Augenbewegungsmuster

• Fazit und Ausblick

Motivation

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

4

Motivation

Ausgangssituation (vereinfacht):1. Usability-Test (ggf. mit Aufzeichnung der

Mauspositionen und Blickbewegungen des Testers) mit Beobachtung des Testers.

2. Befragen des Testers und Auswertung der gesammelten Daten.

3. Beurteilung der Gebrauchstauglichkeit des Produktes.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

5

Motivation

Zielsituation (vereinfacht):1. Usability-Test mit Aufzeichnung der Mauspositionen

und Blickbewegungen des Testers.

2. Analyse der gesammelten Daten, Erkennen von Mustern und Vergleich dieser mit vorhandener Basis von bekann-ten Mustern.

3. Beurteilung der Gebrauchstauglichkeit des Produktes.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

6

Motivation

Vorteile der Zielsituation:• Anwender (Tester) werden entlastet

• Daten lassen sich automatisch auswerten und klassifizieren

• Erfassung von objektiven und quantitativen Daten

• Zeit- und Kostenersparnis

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

7

Motivation

Schwierigkeiten:• Erkennen signifikanter Maus- und/oder Augenbe-

wegungen

• Definition von Mustern

• Zuordnung der Muster zu Problemsituationen des Nutzers, wie zum Beispiel Unruhe oder Hilflosigkeit.

Einleitung

Art der Recherche

Charakterisierung der Ergebnisse

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

9

Art der Recherche

hauptsächlich mit Hilfe des Internet:– http://www.google.de

Suchmaschine, mit der Möglichkeit, auch PDF-Dateien

zu durchsuchen.

– http://citeseer.nj.nec.com/cs

Verzeichnis von wissenschaftlichen Arbeiten zu

verschiedenen Themen.

kein Anspruch auf Vollständigkeit

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

10

Erwartungen an die Ergebnisse

Gesucht werden Muster, die die Augenbewegungen

eines Nutzers und die Bewegungen der Maus durch

den Nutzer bei der Interaktion mit einer grafischen

Nutzerschnittstelle (GUI) beschreiben.

Diese Muster sollen möglichst allgemein gültig sein.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

11

Erwartungen an die Ergebnisse

Gesucht wird eine Abbildung der gefundenen Muster

auf Problemsituationen eines Nutzers bei der Inter-

aktion mit dem GUI.

Daraus könnte man dann auf die Gebrauchstauglich-

keit des GUI schließen.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

12

Charakterisierung der Ergebnisse

Es wurden keine Artikel gefunden, die genau die

gewünschten Ergebnisse liefern.

Es gibt ein komm. Projekt, das versucht die Bewe-

gungen der Augen auf mentale Prozesse abzubilden:Advanced Eye Interpretation Project

http://eyetracking.stanford.edu

Bisher keine Ergebnisse veröffentlicht.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

13

Charakterisierung der Ergebnisse

viele Arbeiten zu folgenden Themen:• Eye-Tracking Techniken und Hardware• Visualisierung von Eye-Tracking-Daten• Augenbewegungen beim Lesen bzw. beim Lösen

von (Rechen)Aufgaben• Interaktion mit dem Computer über Augen-

bewegungen (Augenmaus)

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

14

Charakterisierung der Ergebnisse

Die Arbeiten, bei denen Muster in den Maus- und

Augenbewegungen gefunden wurden, waren meist

sehr speziell.

Die nachfolgend näher vorgestellten Artikel bezie-

hen sich daher immer auf bestimmte Aufgabenstel-

lungen, wie das Finden von Menüeinträgen oder das

Suchen von Objekten.

Hand-Auge-Koordination

Artikel, der Zusammenhänge zwischen

Maus- und Augenbewegungen

untersucht

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

16

Artikelbeschreibung

„Hand Eye Coordination Patterns in Target

Selection“

Barton A. Smith, Janet Ho, Wendy Ark und

Shumin Zhai

IBM Almaden Research Center in San Jose

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

17

Ziel und Testaufgaben

Ziel der Untersuchung:– Testen der Performance von Eingabegeräten (Maus,

Touchpad und Pointing Stick®)

2 Aufgaben:1. Anklicken von Paaren von Objekten

(reciprocal pointing task)

2. Anklicken von zufällig erscheinenden Objekten (random pointing task)

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

18

Verlauf und Ergebnis

Verlauf der Untersuchung:– 24 Tester bearbeiteten die 2 Aufgaben jeweils 90 mal.– die Positionen der Maus und die Blickpositionen der

Tester während der Abarbeitung wurden aufgezeichnet.

Ergebnis der Untersuchung:– mit der Maus erfolgte die Interaktion am schnellsten,

danach folgt der Pointing Stick® und mit dem Touch-pad dauerte es am längsten.

– 3 Muster der Hand-Auge-Koordination wurden gefunden.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

19

Mustererkennung

• In den Testdaten war anfangs keine Struktur erkennbar.

• Die Tester verwendeten viele verschiedene Strategien, häufig auch mit dem selben Eingabegerät.

• Muster ergaben sich, als die Blickpositionen in Beziehung zu den Mauspositionen und der Zielposition gesetzt wurden.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

20

Muster

erkannte Muster:1. Blick folgt dem Cursor zum Ziel

Cursor und Blick bewegen sich miteinander Richtung Ziel.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

21

Blick folgt dem Cursor zum Ziel

Diagramm zeigt Euklidische Distanz von Blickpunkt und Mausposition zum Ziel.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

22

Muster

erkannte Muster:1. Blick folgt dem Cursor zum Ziel

Cursor und Blick bewegen sich miteinander Richtung Ziel.

2. Blick führt den Cursor zum ZielZuerst Cursor und Blick konstant, dann bewegt sich der Blick schnellin die Nähe des Ziels und der Cursor folgt.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

23

Blick führt Cursor zum Ziel

Diagramm zeigt Euklidische Distanz von Blickpunkt und Mausposition zum Ziel.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

24

Muster

erkannte Muster:1. Blick folgt dem Cursor zum Ziel

Cursor und Blick bewegen sich miteinander Richtung Ziel.

2. Blick führt den Cursor zum ZielZuerst Cursor und Blick konstant, dann bewegt sich der Blick schnell in die Nähe des Ziels und der Cursor folgt.

3. Blick wechselt zwischen Cursor und ZielWenn sich der Cursor das erste Mal bewegt, ist das Auge schon in

derNähe des Ziels, dann bewegt sich der Cursor mit hoher Geschwindig-keit in die Nähe des Ziels und dann langsamer bis zum Ziel, währendder Blick vom Ziel zum Cursor wechselt.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

25

Blick wechselt zw. Cursor und Ziel

Diagramm zeigt Euklidische Distanz von Blickpunkt und Mausposition zum Ziel.

Augenbewegungsmuster

Artikel, die untersuchen, wie sich die

Augen bei der Lösung bestimm-

ter Aufgaben bewegen

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

27

Artikelbeschreibung

„101 Spots, or How Do Users Read Menus“ (1998)

Antti Aaltonen, Aulikki Hyrskykari und

Kari-Jouko Räiha

Department of Computer Science

University of Tampere (Finland)

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

28

Ziel und Testaufgaben

Ziel der Untersuchung:– Test, wie Nutzer lineare (Pulldown-)Menüs lesen und

durchsuchen (systematisch oder zufällig)

2 Aufgaben:1. Selektion eines vorgegebenen Menüeintrages

(selecting task)

2. Suchen eines Menüeintrages, der Antwort auf eine gestellte Frage ist und Selektion dieses (reading task)

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

29

Verlauf

Verlauf der Untersuchung:– 20 Tester bearbeiteten die Aufgabe 1 jeweils 60 mal

und Aufgabe 2 jeweils 41 mal.

– die Mausereignisse (Menü und -eintrag) und die Blickpositionen der Tester wurden aufgezeichnet.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

30

Ergebnisse

Augenbewegungen:– selecting task: fast gerade vertikale Linie bis zum

Ziel– reading task: Fixation bei fast jedem Menüeintrag,

aber selten mehr als eine Fixation auf einem Niveau (außer bei langen Menüeinträgen)

– Es erfolgt keine zufällige Suche.– Es werden unterschiedliche Suchstrategien verwen-

det, sowohl vom gleichen Tester als auch von Ex-perten und Anfängern.

– sweeps

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

31

Ergebnisse

sweeps:– Sequenzen von Augenbewegungen in die gleiche

Richtung

– down-sweep beginnt mit Sakkade nach unten

– up-sweep beginnt mit Sakkade nach oben

– down-sweeps sind länger als up-sweeps, sowohl in der Länge als auch in der Dauer

– erste sweep ist meist am längsten

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

32

Ergebnisse

Beziehung zw. Mausposition und Blickpunkt:1. Mauscursor ist Lesehilfe und wandert mit dem Blick

von Menüeintrag zu Menüeintrag.

2. Mauscursor verharrt über dem Menütitel und die Suche erfolgt nur mit den Augen.

3. Mauscursor dient als Marker für bisher am besten passenden Menüeintrag.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

33

Artikelbeschreibung

„Eye Tracking the Visual Search of Click-Down

Menus“

Michael D. Byrne, John R. Anderson, Scott

Douglass und Michael Matessa

Psychology Department

Carnegie Mellon University, Pittsburgh

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

34

Ziel und Testaufgaben

Ziel der Untersuchung:– Test, wie Nutzer (Clickdown-)Menüs lesen und

durchsuchen– Verifikation vorhandener Modelle, die das

Nutzerverhalten beschreiben bzw. vorhersagen

Aufgabe:Suchen und Selektion eines vorgegebenen Menüeintrages

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

35

Das EPIC – Modell*

Vorhersagen:1. Augenbewegungen folgen einem Muster, das zu 50%

aus Top-to-Bottom-Suche und zu 50% aus zufälliger Suche besteht.

2. Die Augen des Nutzers bewegen sich in festen Abständen, da jeder Menüeintrag untersucht wird.

3. Das Auge bewegt sich meist über das Ziel hinaus, da mehrere Einträge gleichzeitig verarbeitet werden.

4. Es finden keine Mausbewegungen statt, bis das Ziel gefunden wurde.

* Hornof, Kieras: „Cognitive modeling reveals menu search is both random and

systematic“ (1997)

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

36

Das ACT-R – Modell*

Vorhersagen:1. Die Augen bewegen sich nur Top-to-Bottom.2. Die Augen des Benutzers bewegen sich nicht in festen

Abständen. Sie variieren von Menü zu Menü und von Versuch zu Versuch.

3. Das Auge bewegt sich nie über das Ziel hinaus.4. Mausbewegungen finden auch schon statt, bevor das

Ziel gefunden wurde - sie folgen den Blickbewegungen.

* Anderson, Matessa, Libiere : „ACT-R: A theory of higher level cognition and its relation to visual attention“ (1997)

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

37

Verlauf

Verlauf der Untersuchung:– 11 Teilnehmer bearbeiteten jeweils 108

Aufgabenstellungen

– die Mausereignisse (Menü und -eintrag) und die Blickpositionen der Teilnehmer wurden aufgezeichnet.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

38

Ergebnisse

Augenbewegungen:– Es werden mehr Fixationen benötigt, um Menüeinträge

zu finden, die sich weiter unten im Menü befinden. (Ü)– Die Initialfixation ‚trifft‘ meist auf einen der ersten 3

Menüeinträge (bevorzugt auf den ersten) (kÜ)– Menüeinträge in der Mitte des Menüs werden bei der

Suche übersprungen (keine Fixation) (kÜ)

(k)Ü - (keine)Übereinstimmung mit den Modellen

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

39

Ergebnisse

Mausbewegungen:– Weniger ‚Mousefixationen‘ als Augenfixationen

– 2 Strategien:

• Maus wird nicht bewegt, bis das Ziel gefunden ist.

• Maus bewegt sich mit den Augen

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

40

Ergebnisse

Zusammenfassung:– Top-to-Bottom Suchstrategie.

– Einige Einträge werden übersprungen.

– Verletzung der Top-to-Bottom Strategie durch Backtracking, falls gesuchter Eintrag überlesen wurde.

– Modelle beschreiben das Verhalten des Nutzers nicht genau genug.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

41

Artikelbeschreibung

„ Effects of Structural Support on Knowledge

Acquisition and Navigation in Hypertext“

Jacqueline Waniek, Anja Naumann und

Josef Krems

Chemnitz University of Technology

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

42

Ziel und Testaufgaben

Ziel der Untersuchung:– Test, ob Strukturierung eines Hypertext-Dokumentes

das Verständnis, die Navigation innerhalb des Doku-mentes und die Augenbewegungen beim Lesen beeinflussen.

Aufgabe:Lesen eines Dokumentes und Beantwortung von Fragen

zum Verständnis des Textes.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

43

Testaufbau

Dokumenttypen:1. Linearer Text. Am Ende der Seiten befinden sich

Vor- und Zurück-Buttons mit denen navigiert wird.

2. Text mit einem Inhaltsverzeichnis links neben dem Text. Die Navigation erfolgt wiederum über die Vor- und Zurück-Buttons.

3. Text mit einem Inhaltsverzeichnis links neben dem Text. Die Navigation erfolgt über das Inhaltsver-zeichnis (Hyperlinks).

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

44

Verlauf und Ergebnis

Verlauf der Untersuchung:– 49 Tester lasen das Dokument jeweils in einer der 3

Ausführungen (zufällige Auswahl).– Die Navigationsoperationen und die Blickpositionen der

Tester wurden aufgezeichnet.

Ergebnis der Untersuchung:– Keine Unterschiede im Textverständnis festgestellt.– Es wurden verschiedene Strategien bei der Navigation

verwendet.– Verschiedene Augenbewegungen in Abhängigkeit vom

Dokumenttyp.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

45

Ergebnisse

Navigationsstrategien:– Lesen des Textes in der Reihenfolge der Darbietung.

– Lesen des Textes in der Reihenfolge nach eigenem Verständnis.

– Lesen des Textes mit Springen zwischen den einzelnen Kapiteln (ohne feste Reihenfolge nach 1. oder 2.)

– Mehrfaches Lesen des Textes in Verbindung mit 1., 2. oder 3.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

46

Ergebnisse

Augenbewegungen:– Dokument wurde zur Untersuchung in 4 Teile geteilt

(linke Seite mit Inhaltsverzeichnis, Titel, Text, Navigation)

– Je nach Dokumenttyp unterscheiden sich die Zeiten, in denen die Tester ihre Augen innerhalb der einzelnen Teile bewegten (zum Beispiel dadurch, dass bei Typ 3 innerhalb des Inhaltsverzeichnisses navigiert wird).

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

47

Ergebnisse

Augenbewegungen:

Fazit und Ausblick

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

49

Fazit

gewünschte Zielsituation (vereinfacht):1. Usability-Test mit Aufzeichnung der Mauspositionen

und Blickbewegungen des Testers.

2. Analyse der gesammelten Daten, Erkennen von Mustern und Vergleich dieser mit vorhandener Basis von bekann-ten Mustern.

3. Beurteilung der Gebrauchstauglichkeit des Produktes.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

50

FazitErgebnisse der Recherche sind nicht ausreichend, um Zielsituation zu erreichen.

Die erkannten Muster von Augen- und Mauscursor-bewegungen sind an spezielle Aufgaben gebunden und können daher nicht einfach verallgemeinertwerden.

Sie können in diesen speziellen Aufgabenstellungen aber möglicherweise als „Normalfall“ des Nutzer-verhaltens angesehen werden und Abweichungendavon als „Problemfall“.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

51

Fazit

Es sind also weitere Untersuchungen notwendig, umallgemeingültige Muster zu ermitteln.

Anforderungen an diese Tests:– Test sollte so aufgebaut sein, dass er möglichst viele

verschiedene Aufgaben für den Tester enthält, damit allgemeine Aussagen getroffen werden können.

– Testteilnehmer sollten aus allen möglichen Nutzergruppen stammen.

Es sind 2 Varianten von Tests denkbar.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

52

Fazit

Variante 1:– Bearbeitung einfacher Aufgaben, die ohne Probleme

gelöst werden können.– Aus den dabei aufgezeichneten Augen- und

Mausbewegungsdaten können dann Muster für ein „normales“ Nutzerverhalten abgeleitet werden.

– Abweichungen von diesen Mustern deuten dann auf Problemsituationen hin.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

53

Fazit

Variante 2:– Bearbeitung von Aufgaben, die Probleme bereiten,

wie zum Beispiel das Suchen von nicht vorhandenen Objekten.

– Aus den dabei aufgezeichneten Augen- und Mausbewegungsdaten können dann Muster für das Verhalten in Problemsituationen abgeleitet werden.

Da es sicherlich unmöglich ist alle Problemsituatio-nen zu simulieren, ist Variante 1 möglicherweiseleichter realisierbar.

28.08.2001 Oliver Dannat Blickbewegungsmuster in der MMI

54

Ausblick

weitere zu untersuchende Fragestellungen:– Was beeinflusst das Verhalten des Nutzers?

(Farben und Formen von Interaktionselementen etc.)– Können die gefundenen Muster eindeutig einer

Problemsituation zugeordnet werden, oder gibt es hier Unterschiede zwischen einzelnen Nutzern?

– Lässt sich der Prozess der Mustererkennung und Problemsituationszuordnung automatisieren oder gehen dabei Details verloren, die wichtig sind.