UX-Messung

Workshop „UX-Messung“

GfK SirValUse Consulting

2

25.05.2011 Workshop „UX Messung“

SirValUse berichtet über Erfahrungen zum Thema UX-MessungTopics

» UX-Messungs-Historie (aus SirValUse-Perspektive)

» Kundennutzen, Kundenprojekte, Anwendungsfälle, …

» UX-Modelle

» Methodische Fragestellungen

» Exemplarisches Vorgehen für eine Studie zur Definition eines UX-Messinstruments

» UX-Messinstrument: Ideales Tool / Ideales Setting

3


UX-Messungs-Historie (aus SirValUse-Perspektive)

» 2001/2002: Erstes Projekt zur Pre-/Post-Messung von „Usability“

» 2002: Einführung der „UX Bench“ (SirValUse intern)

» Seit 2003 „UX-Tracker“ bei einem unserer Kunden» Alle 6 Monate alle strategisch wichtigen Produkte» Kombination von Messung und Befragung (objektive und subjektive Daten)» Entwicklung der Messung von „Usability“ zu „User Experience“

» Seit 2005 diverse Kundenprojekte zur (mehr oder weniger regelmäßigen) Messung von UX» Vor/Nach einem Relaunch» Im Vergleich zum Wettbewerb

» Seit 2008/2009 Gespräche mit der GfK» Zusammenführung von User Research/Usability Testing & Marktforschung» Etablierung einer internationalen UX-Unit innerhalb der GfK» Messung des ROI (Impact von UX auf Brand & Sales)

4


Kundennutzen, Kundenprojekte, Anwendungsfälle, …

» Regelmäßige Messung: Tantiemen, Etablierung von UX im Unternehmen, Steuerung (Priorisierung) der UX-Aktivitäten

» Pre-/Post-Messung: Hat sich der Relaunch / die Entwicklung des neuen Produkts gelohnt?

» Benchmarking: Wie stehen wir im Vergleich zum Wettbewerb da? Was können wir vom Wettbewerb lernen?

» ROI: Welchen Impact hat UX auf die Marke? Auf Kundenloyalität/-zufriedenheit? (Auf Sales?)

» Treiberanalyse: Wo genau muss ich die UX meiner Produkte optimieren, um deren Performance zu verbessern?

» Vorhersagen: Rückschlüsse von der Bewertung des Konzepts auf die spätere Performance des Produkts sollen möglich sein

5


Kundennutzen, Kundenprojekte, Anwendungsfälle, …UX Bench

» UX Bench is a Benchmark database that SirValUse uses since 2001 to benchmark all test stimuli:» Websites» CE» Devices

» The core version of UX Bench consists of 23 items that reflect five User Experience dimensions .» Not all items suit every study.

» Currently there is data available from more than 700 studies with over 75.000 users.

6



UsabilityGot my bearings quicklyEasy to understandClear and conciseGut used to it quicklyProduct is suitable for novices

UtilityMeets my requirementsProduct is helpfulProduct is up-to-dateGood cost/performance ratioSurpasses my expectationsIs of high qualityGot all necessary product information

BrandSuits the brandI recognized the provider quickly The ads are integrated well

DesignGood visual designI like the colours

EmotionCommunicates positive moodNo worry about personal dataProduct is reliableArouses my curiosityFun using the product

7



Usability

Utility

Emotion

Design

Brand

Overall satisfaction--------------------------

Got my bearings quicklyEasy to understandClear and concicse

Got used to it quicklySuitable for novices--------------------------

Up-to-dateHelpful

All necessary product informationHigh quality

Good cost/performance ratioMeets requirements

Surpasses expectations--------------------------

ReliableNo worry about personal dataCommunicates positive mood

Arouses my curiosityHad fun using the product

--------------------------Good visual desing

Like the colours--------------------------

Recognised the provider quicklySuits the brand

Ads are integrated well

Total(N=30)

Benchmark from 18 E-Commerce Live-Websites (lab based UX-Test) (N=93-493)

8


Kundennutzen, Kundenprojekte, Anwendungsfälle, …Kundenprojekt

» Regelmäßig Messung der UX» Vergleich zunächst longitudinal, künftig auch mit Wettbewerbern

» Methodik:» Standardisiertes Setting im Lab: Bearbeitung von Kernaufgaben zu Produkten» Messung von Time-on-Task, Problemen, Task Completion» Subjektive Bewertung des Produktes nach der Aufgabenbearbeitung» Quantitative Messung und qualitative Bewertung gleichzeitig

» Einschätzung:» Sehr stabil & sensitiv über die Zeit (=hohe Reliabilität des Instruments)» Bewertungsniveau ist Aufgaben-abhängig» Sehr zeit- und kostenintensiv

9


UX-Modelle

» Literaturliste / Recherche» Keine etablierte Mess-Methodik» Vermengung von „Messung“ und „Erklärung“» Teilweise Anwendbarkeit nicht gegeben (Quotenvorgaben)» Viele Skalen mit einem Fokus auf „Usability“» Einige Skalen mit einem Fokus auf „Erlebnis“» Wenige Skalen, die systematisch beide Komponenten kombinieren» Keine Berücksichtigung „objektiver“ Faktoren / Messungen

» Leitlinien für das neue Modell» Komponente „Qualität“ (Produkt), Komponente „Erlebnis“ (Nutzer)» Trennung von Messung und Erklärung» Anwendbarkeit muss gegeben sein

10


UX-Modelle

SirValUse alt» Usability, Utility, Emotion, Design, Brand

Kunde alt (z.B.)» Satisfaction, Usability, Utility, Joy of Use, Design, Brand

Kunde neu (z.B.)» Usability, Emotions, Attraktivität (Satisfacton und Usefulness als abhängige Variablen, Brand

ausgeklammert, mehr Fokus auf „Erlebnis“)» Zielvariablen: Weiterempfehlung Produkt / Marke, Weiternutzung/Wiederkauf,

Wettbewerbsvorteil

GfK / SirValUse» Nächste Charts

11


UX-ModelleGfK / SirValUse

Task-oriented qualities

Self-oriented qualities

Identity

CompetenceStimulation

Aesthetic qualitites

Visual

Haptic

Acoustic

"hygiene factors"Needed in order to avoid a negative experience. Do not, however, create a positive experience.

"motivators"Able to create a positive experience.

Learnability

OperabilityFunctionality

Brand

12


UX-ModelleGfK / SirValUse: Task-Oriented Qualities

The qualities of an interactive product that determine its suitability for an intended task. • Functionality– The products fulfils its purpose without problems. – Detailed definition: The interactive system supports the user in completing a task effectively and efficiently. There are no errors

or technical problems. Faulty input does not lead to critical consequences and can be easily reverted.– Contains suitability for the task and error tolerance from ISO 9241-110– e.g.: A smartphone's e-mail program provides all the necessary options and works error-free.

• Operability– The product's features can be easily accessed by the user. He is in control of the product.– Detailed def.: The user can understand the interactive product, it works in compliance with his or her expectations and he/she

may choose the order in which to perform tasks.– Contains conformity with user expectations, self descriptiveness and controllability from ISO 9241-110.– e. g.: The smartphone's e-mail program does not have a nested menu, the user can interrupt the writing of a new e-mail at any

time, …

• Learnability– The operation of an interactive system is easy to learn.– Detailed def.: The product support the user's learning of its handling.– Contains suitability for learning from ISO 9241-110.– e.g.: the smartphone provides tooltips, suggestions, meaningful feedback, …

cf. Schneider, W. (2008). Ergonomische Gestaltung von Benutzungsschnittstellen: Kommentar zur Grundsatznorm DIN EN ISO 9241-110 . (Deutsches Institut für Normung e. V. (DIN), Eds.) (2nd ed.). Berlin Wien Zürich: Beuth Verlag GmbH.

13


UX-ModelleGfK / SirValUse: Self-Oriented Qualities

The qualities of an interactive product that are able to induce certain feelings in a user.• Competence– The feeling of being able to act competently and effectively, i.e. to take pride in one's actions and to draw confidence from

them.– E.g. after using the iPhone for 15 minutes, a user may begin to feel that he or she will be able to carry out more complex tasks

on the iPhone in the future. He or she associates the interaction with the product with positive feelings of competence and self-confidence. In contrast, trying certain other smartphones (e. g. by Nokia) may result in feelings of shame and incompetence, because the user may have been unable to master the phone's handling. The user will probably avoid the cause of these feelings (the interaction with the phone) in the future.

• Stimulation– The feeling of enjoyment, pleasure and stimulation, i.e. to have fun and to experience novel things that encourage to try out

and find out more.– E.g. in past usability experiments, users would effortlessly accomplish a given task (e. g. connecting to a WiFi-router) on a

Samsung Galaxy S smartphone. However, the interaction would not cause further reactions. Whereas, after performing the same task on an iPad, users would make comments like "I really enjoyed that!" and "That's interesting, can I try this/tap here?".

• Identity– The feeling of belongingness and affiliation, while at the same being special and having a unique personality. I.e. feeling

affiliated to a group of people one likes and respects (and who return these feelings), as well as being seen and highly regarded as an individual.

– E.g. a new drill may not only be a tool, but may also make its new owner feel part of the craftsman- or DIY- (do it yourself) community (affiliation). Also, after trying several models, the new owner may feel that the new tool is right up his street (expression of unique identity). Furthermore, other people may start to seek advice on DIY-issues from the new owner, since he obviously uses professional tools (standing in high regard).This line of thought seems especially plausible when used with regard to e. g. the purchase of a Porsche.

Vgl. Hassenzahl, M., Diefenbach, S., & Göritz, A. (2010). Needs, affect, and interactive products – Facets of user experience. Interacting with Computers, 22(5), 353-362.

14


UX-ModelleGfK / SirValUse: UX Profile

Identity

Competence Stimulation

Aesthetics Task-oriented qualities

Product X

Critical area

15


UX-Messinstrument: Ideales Tool / Ideales Setting

» Messung der „subjektiven“ UX über validierten User-Fragebogen» Verschiedene methodische Settings

» Online ohne Produktnutzung» Im Lab nach offener Produktnutzung» Im Lab nach aufgaben-basierter Produktnutzung (Prototypen)

» Entwicklung von „Offset“-Werten für die Settings

» Messung der „objektiven“ Usability über Experten-Fragebogen» Angelehnt an ISO 9241-110» 10 Usability-Experten bewerten das Produkt

» Allgemein» Für beide Ansätze Aufbau einer Benchmark-Datenbank zur Anwendung in verschiedenen

„Bereichen“ (international, Produktentwicklungsphasen, Produktklassen, Abfrage-Settings, …)

UX-Messung

Design

Transcript of UX-Messung