1

W I S S E N T E C H N I K L E I D E N S C H A F T

Usability Benchmark und Aktivitäts-

Analyse mit Eye Tracking von Mobile

Augmented Reality unterstützten

Ernährungsempfehlungen

Diplomarbeitspräsentation, 08.10.2015

Betreuer:

Univ.-Doz. DI Dr.techn. Martin Ebner, IICM

Verena Rexeis

Diplomarbeit in einer Kooperation mit JOANNEUM RESEARCH Digital, DI Dr. Lucas Paletta

2 2 Inhalt

• Einleitung

• Usability-Test, Eye Tracking, 7 Stages of Action

• Forschungsfrage

• App „MANGO“

• Studiendesign

• Auswertung

• Ergebnisse

• Ausblick

08.10.2015

Verena Rexeis

3 3 Usability-Test (1)

Usability, dt. Gebrauchstauglichkeit

• …Ziele effektiv, effizient und zufriedenstellend erreichen (DIN EN ISO 9241-11)

• System muss erlernbar, einprägsam und fehlerfrei sein (Nielsen, 1993)

User Experience

08.10.2015

Verena Rexeis

Bildquelle: nach Sarodnick et al. (2011, S. 22)

4 4 Usability-Test (2)

• Teil des Usability Engineering Lifecycle

• repräsentative Testpersonen

• verwenden fertig entwickelte Systeme

• Messungen und Beobachtungen

• zB Formale Experimente, Fragebögen,

Thinking-Aloud-Tests, Benutzungsstudien,…

08.10.2015

Verena Rexeis

5 5 Eye Tracking

• Aufzeichnung Augenbewegungen

• Fixationen -> Aufmerksamkeit (Holmqvist et al., 2011)

• Sakkaden – Bewegungen zwischen Fixationen

• Head Mounted Displays (zB Eye Tracking Glasses)

• infrarote Lichtquellen

• Reflexionen auf Hornhaut

• Messung videobasiert

• Augen- und Szenen-Kamera

08.10.2015

Verena Rexeis

Bildquelle: vgl. Santner et al. (2013)

6 6 Seven Stages of Action (1)

08.10.2015

Verena Rexeis

Bild

qu

elle

: n

ach

No

rma

n (

201

3, S

. 3

9)

ZIEL

WELT bzw. SYSTEM

Wie bearbeite ich es?

Was kann ich machen?

Was ist passiert?

Ist es das, was ich wollte?

KLU

FT D

ER D

UR

CH

FÜH

RU

NG

KLU

FT DER

EVA

LUATIO

N

7 7 Seven Stages of Action (2)

08.10.2015

Verena Rexeis

Bild

qu

elle

: n

ach

No

rma

n (

201

3, S

. 41)

ZIEL

WELT bzw. SYSTEM

KLU

FT D

ER D

UR

CH

FÜH

RU

NG

KLU

FT DER

EVA

LUATIO

N

INTERPRETIEREN

WAHRNEHMEN

VERGLEICHEN

SPEZIFIZIEREN

AUSFÜHREN

PLANEN

8 8 Forschungsfrage

Können mit Usability Benchmark und Aktivitäts-Analyse

durch Eye-Tracking-Unterstützung vertiefende

Kenntnisse für die App-Entwicklung im Bereich

Ernährungsempfehlung gewonnen werden?

08.10.2015

Verena Rexeis

9 9 Testumgebung „MANGO“-App (1)

„MANGO – Mobile Augmented Reality for Nutrition

Guidance and Food Awareness“

• Ernährungsphilosophie „functional eating“

• automatische Lebensmittelerkennung

• Betriebssystem Android; iOS dzt. nicht geplant

08.10.2015

Verena Rexeis

Bildquellen: functionaleating.at

10 10 Testumgebung „MANGO“-App (2)

08.10.2015

Verena Rexeis

11 11 Testumgebung „MANGO“-App (2)

08.10.2015

Verena Rexeis

12 12 Testumgebung „MANGO“-App (2)

08.10.2015

Verena Rexeis

13 13 Testumgebung „MANGO“-App (2)

08.10.2015

Verena Rexeis

14 14 Studiendesign (1)

16 Testpersonen (8m, 8w)

Vorbefragung inkl. functional eating Typenzuordnung

Eye-Tracking-Teil:

• Szenarien

• Aufgaben

• Typenbeschreibung durchlesen

• 3x Lebensmittel scannen

• das beste der aufgebauten Lemis +

• 3 wichtigsten Gemüsesorten nennen

08.10.2015

Verena Rexeis

15 15 Studiendesign (2)

App-Bewertung

• User Experience Questionnaire (UEQ)

• System Usability Scale (SUS)

• Wahrscheinlichkeit herunterladen & verwenden

Checkliste zum Studienablauf

Pre-Test mit 2 Personen

08.10.2015

Verena Rexeis

16 16 Auswertung – Benchmark (1)

• 5 messbare Kernaufgaben (KA)

• 11 Ziele zu KA

• 3 Gesamt-Ziele

• 80% erfüllte Kernaufgaben (Ziel 6)

• User-Performance bei den Zielen 1a-3b, 4a, 5a

55% (Ziel 7)

• SUS-Score von 80(%) (Ziel 8)

08.10.2015

Verena Rexeis

zB KA 1 Auffinden der eigenen fe-Typenbeschreibung Ziel 1b 75% d. User schaffen KA1 innerhalb von 15 Sek.

17 17 Auswertung – Benchmark (2)

Verwendete Metriken:

• Zeiten

• Wege zum Ziel

• Bugs

• richtige/falsche Scans

• Antworten-Auswertung

• SUS/UEQ-Auswertung

Gesamtbeurteilung durch kombinierte Metriken

08.10.2015

Verena Rexeis

18 18 Auswertung – Aktivitäts-Analyse

• Unterteilung von Aufg. 2 in Sieben Stages of Action

• ergibt drei verschiedene Ziele

• Kamera öffnen

• Lebensmittel scannen

• Detailinformationen aufrufen/nachlesen

• Zuordnung zu Stages

• Dauern der Stages

• durchschnittliche Blickdauern [ms]

• # der Fixationen

• Fixationen/Sekunde

08.10.2015

Verena Rexeis

19 19 Ergebnisse – Benchmark (1)

Zielvorgaben

08.10.2015

Verena Rexeis

Erfüllungs-Quoten der Benchmark-Zielvorgaben n=15

Aufgabe 1 Aufgabe 2 Ziel 1a Ziel 1b Ziel 2a Ziel 2b Ziel 3a Ziel 3b Ziel 3c Ziel 3d

Zielwert 90% 75% 90% 75% 75% 70% 55% 90% erreicht 73% 53% 47% 60% 47% 74% 33% 40%

Aufgabe 3 Aufgabe 4 Gesamt-Ziele Ziel 4a Ziel 5a Ziel 5b Ziel 6 Ziel 7 Ziel 8

Zielwert 75% 50% 75% 80% 55% 80% erreicht 53% 13% 47% 73% 55% 80%

Kernaufgaben

20 20

Tes

tper

son

#

Dau

er K

A

Erf

olg

reic

he

KA

(

von

5)

Erf

üllt

e Zi

ele

(

von

8)

# A

bst

ürz

e

SU

S-Sc

ore

Dau

er

KA

Zie

le

Feh

lerf

reih

eit

SU

S

Mit

telw

ert

Mit

telw

ert

inkl

. s

ech

s U

EQ-S

kale

n

T01 58 4 4 0 90 50% 80% 50% 100% 90% 74% 77% T04 80 4 2 7 67,5 11% 80% 25% 0% 68% 37% 47% T05 87 4 1 6 85 0% 80% 13% 14% 85% 38% 60%

Ergebnisse – Benchmark (3)

Gesamt-User-Performance (Auszug)

08.10.2015

Verena Rexeis

T09 68 4 4 1 50 32% 80% 50% 86% 50% 60% 57% T10 29 2 4 0 90 100% 40% 50% 100% 90% 76% 76% T12 32 5 8 2 90 94% 100% 100% 71% 90% 91% 89% T13 35 5 5 1 87,5 89% 100% 63% 86% 88% 85% 82% T15 40 3 4 0 67,5 80% 60% 50% 100% 68% 72% 75%

Gesamt-Score (n=15) 66% 69%

90% Konfidenzintervall Bereich 7% 5%

21 21 Ergebnisse – App-Bewertung (1)

UEQ (n=16)

08.10.2015

Verena Rexeis

22 22 Ergebnis – App-Bewertung (2)

herunterladen & verwenden

• vor der Benützung:

• 𝑀𝑣 = 2,88 𝑆𝐷𝑣 = 1,5

• nach der Benützung:

• 𝑀𝑛 = 2,63 𝑆𝐷𝑛 = 1,7

• männliche Testpersonen

• vor: 𝑀𝑚𝑣 = 2,75 nach: 𝑀𝑚𝑛 = 1,88

• weibliche Testpersonen

• vor: 𝑀𝑤𝑣 = 3 nach: 𝑀𝑤𝑛 = 3,38

08.10.2015

Verena Rexeis

23 23 Ergebnisse – Aktivitäts-Analyse

• keine positive Entwicklung in Eye-Tracking-Daten mit

fortschreitenden Scan-Versuchen

• User-Verhalten durch Stages-Einteilung transparent

• Auslöseversuche

• innerhalb des Kamerabildes ohne Auswirkung

• verlassen der App über Menüleiste

08.10.2015

Verena Rexeis

24 24 Ausblick

Empfehlungen

• Implementation Tutorial

• Integration Feedback beim Scannen

• Überarbeitung Aufbereitung Lebensmittel-Datenbank

• Stabilitätsprobleme beheben

• vergleichende Usability-Tests bzgl. des Benchmarks

und der Gesamt-User-Performance

08.10.2015

Verena Rexeis

25 25 Quellen

Andrews, Keith (2015). „Human–Computer Interaction“ Lecture Notes. URL:

http://courses.iicm.tugraz.at/hci/hci.pdf (besucht am 7.10.2015)

DIN EN ISO 9241-11 (1999). Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten -

Teil 11: Anforderungen an die Gebrauchstauglichkeit; Leitsätze (ISO 9241-11:1998); Deutsche Fassung

EN ISO 9241-11:1998; Ausgabedatum: 1999-01. Berlin: Beuth-Verlag

Norman, Donald A. (2013). The Design of Everyday Things. Revised and Expanded Edition. United

States: Basic Books. ISBN: 9780465050659

Santner, Katrin, Gerald Fritz, Lucas Paletta und Heinz Mayer (2013). „Visual recovery of saliency maps

from human attention in 3D environments“. In: 2013 IEEE International Conference on Robotics and

Automation. ICRA 2013. (Karlsruhe), S. 4297–4303. DOI: 10.1109/ICRA.2013.6631185

Sarodnick, Florian und Henning Brau (2011). Methoden der Usability Evaluation: Wissenschaftliche

Grundlagen und praktische Anwendung. 2. Aufl. Huber: Wirtschaftspsychologie in Anwendung. Bern,

Schweiz: Verlag Hans Huber. ISBN: 9783456848839

08.10.2015

Verena Rexeis

26

W I S S E N T E C H N I K L E I D E N S C H A F T

Vielen Dank für Ihre

Aufmerksamkeit!

Verena Rexeis

v.rexeis@tugraz.at

27 27 Anhang

Benchmark mit Ergebnissen (1)

Aufg. 1 Lesen der eigenen fe-Typenbeschreibung KA 1 Auffinden der eigenen fe-Typenbeschreibung 100% Ziel 1a 90% d. User in KA1 wählen direkt fe im Hauptmenü aus 73% Ziel 1b 75% d. User schaffen KA1 innerhalb von 15 Sek. 53%

Aufg. 2 3x Lebensmittel scannen ausprobieren und App kennenlernen KA 2 Kameramodus öffnen 100% Ziel 2a 90% d. User in KA2 wählen direkt Kamera im Hauptmenü aus 47% Ziel 2b 75% d. User schaffen KA2 innerhalb von 10 Sek. 60%

08.10.2015

Verena Rexeis

KA 3 Drei oder mehr Lemi-Scans durchführen 87% Ziel 3a 75% d. User schaffen drei Scans innerhalb 1 Min. 47% Ziel 3b Mittel der richtigen Scan-Anteile/User mind. 70% 74% Ziel 3c 55% d. User haben ausschließlich richtige Scan Ergebnisse 33% Ziel 3d Kameramodus bei 90% d. User ohne Abstürze 40%

28 28 Anhang

Benchmark mit Ergebnissen (2)

08.10.2015

Verena Rexeis

Aufg. 3 Bestes Lemi in fe-Typ der aufgebauten Lemis finden KA 4 Bestes Lemi in fe-Typ der aufgebauten Lemis finden 67% Ziel 4a 75% d. User schaffen KA4 innerhalb von 2 Minuten 53%

Aufg. 4 Wichtigsten drei Gemüsesorten in fe-Typ finden KA 5 Wichtigsten drei Gemüsesorten in fe-Typ finden 13% Ziel 5a 50% d. User schaffen KA5 innerhalb 1 Minute 13% Ziel 5b 75% d. User schaffen KA5 innerhalb 2 Minuten teilw. Richtig

(zwei Lemis unabhängig von Platzierung genannt) 47%

Gesamt-Ziele Ziel 6 80% der KA erfolgreich 73% Ziel 7 55% der Ziele 1a, 1b, 2a, 2b, 3a, 3b, 4a, 5b erfüllt 55% Ziel 8 SUS-Score von 80 80%

29 29

Tes

tper

son

#

Dau

er K

A

Erf

olg

reic

he

KA

(

von

5)

Erf

üllt

e Zi

ele

(

von

8)

# A

bst

ürz

e

SU

S-Sc

ore

Dau

er

KA

Zie

le

Feh

lerf

reih

eit

SU

S

Mit

telw

ert

Mit

telw

ert

inkl

.

se

chs

UEQ

-Ska

len

T01 58 4 4 0 90 50% 80% 50% 100% 90% 74% 77% T02 40 4 6 2 82,5 81% 80% 75% 71% 83% 78% 77% T03 54 4 7 2 90 56% 80% 88% 71% 90% 77% 74% T04 80 4 2 7 67,5 11% 80% 25% 0% 68% 37% 47% T05 87 4 1 6 85 0% 80% 13% 14% 85% 38% 60% T06 80 3 3 3 90 12% 60% 38% 57% 90% 51% 63% T07 49 4 6 1 77,5 65% 80% 75% 86% 78% 77% 68%

Anhang

Gesamt-User-Performance (1)

08.10.2015

Verena Rexeis

30 30

T09 68 4 4 1 50 32% 80% 50% 86% 50% 60% 57% T10 29 2 4 0 90 100% 40% 50% 100% 90% 76% 76% T11 85 3 2 4 90 3% 60% 25% 43% 90% 44% 64% T12 32 5 8 2 90 94% 100% 100% 71% 90% 91% 89% T13 35 5 5 1 87,5 89% 100% 63% 86% 88% 85% 82% T14 39 3 6 0 70 81% 60% 75% 100% 70% 77% 60% T15 40 3 4 0 67,5 80% 60% 50% 100% 68% 72% 75% T16 58 3 4 3 70 49% 60% 50% 57% 70% 57% 64%

Gesamt-Score 66% 69%

90% Konfidenzintervall Bereich 7% 5%

Anhang

Gesamt-User-Performance (2)

08.10.2015

Verena Rexeis

Tes

tper

son

#

Dau

er K

A

Erf

olg

reic

he

KA

(

von

5)

Erf

üllt

e Zi

ele

(

von

8)

# A

bst

ürz

e

SU

S-Sc

ore

Dau

er

KA

Zie

le

Feh

lerf

reih

eit

SU

S

Mit

telw

ert

Mit

telw

ert

inkl

.

se

chs

UEQ

-Ska

len

31 31 Anhang

Manuelle Auslöseversuche

08.10.2015

Verena Rexeis

32 32 Anhang

Iterationen der SSA beim Scannen

08.10.2015

Verena Rexeis

33 33 Anhang

Stages Dauern

08.10.2015

Verena Rexeis

34 34 Anhang

Stages Dauern

08.10.2015

Verena Rexeis

35 35 Anhang

Stages Dauern

08.10.2015

Verena Rexeis

36 36 Anhang

Stages Dwell Time

08.10.2015

Verena Rexeis

37 37 Anhang

Stages Dwell Time

08.10.2015

Verena Rexeis

38 38 Anhang

Stages Dwell Time

08.10.2015

Verena Rexeis

39 39 Anhang

Stages Fixationen/Sekunde

08.10.2015

Verena Rexeis

40 40 Anhang

Stages Fixationen/Sekunde

08.10.2015

Verena Rexeis

41 41 Anhang

Stages Fixationen/Sekunde

08.10.2015

Verena Rexeis