Nutzerbasierte Usability-Tests

18
Nutzerbasierte Usability-Tests Klassische User-Tests, Exe-Tracking und Remote-Usability-Tests.

description

Allgemeine Usability-Präsentation aus April 2009

Transcript of Nutzerbasierte Usability-Tests

Page 1: Nutzerbasierte Usability-Tests

Nutzerbasierte Usability-Tests

Klassische User-Tests, Exe-Tracking und Remote-Usability-Tests.

Page 2: Nutzerbasierte Usability-Tests

User-Test: Grundprinzip

› Repräsentative User nutzen eine Anwendung in einem Usability-Labor und werden bei der Nutzung beobachtet.

› Typischer Ablauf eines User-Tests:

› Rekrutierung: Die Zielgruppe wird definiert und repräsentative User als Probanden rekrutiert.

› Testdurchführung: Die Probanden werden zum User-Test eingeladen und nutzen die Anwendung unter Beobachtung. Alle Probleme, die während der Nutzung auftreten, werden notiert.

› Auswertung der Ergebnisse: Die Probleme werden interpretiert und es werden konkrete Verbesserungsvorschläge gemacht.

› Aufgabenorientierung: User-Tests sind in der Regel aufgabenorientiert, d.h. die Probanden erfüllen „typische“ Aufgaben mit der Anwendung.

› Vergleichsdaten: Um die gewonnen daten vergleichen zu können, werden häufig die Angebote von Mitbewerbern mitgetestet. > Best Practices, Worst Practices

© 2008 //SEIBERT/MEDIA GMBH

Page 3: Nutzerbasierte Usability-Tests

User-Test: Daten

› Die erhobenen Daten: Bei einem User-Test werden zahlreiche unterschiedliche Daten erhoben, die anschließend ausgewertet werden können.

› Vor dem Test: Vorbefragung

› Personenspezifische Daten: Alter, Geschlecht, Englischkenntnisse, Online-Erfahrung, etc.

› Applikationsspezifische Daten: Erfahrung im Umgang mit der Anwendung, Erfahrung mit vergleichbaren Anwendungen, etc.

› Während des Tests: Testdaten

› Screen Recording: Der Bildschirm des Testrechners wird aufgenommen, inkl. Mausklicks, Mausbewegungen und Tastenanschläge. So kann die komplette Sitzung nachvollzogen werden.

› User Video: Zusätzlich wird der User aufgenommen, um aus dessen Gestik und Mimik zusätzliche Schlüsse ziehen zu können.

› Audio Recording: Während der Nutzung spricht der User alles, was ihm zu der Anwendung durch den Kopf schießt, laut aus (Methode lauten Denkens).

© 2008 //SEIBERT/MEDIA GMBH

Page 4: Nutzerbasierte Usability-Tests

User-Test: Daten

› Nach dem Test:

› Nachbefragung: Online-Befragung mit standardisierten Fragen zu Design, Navigation, Informationsumfang, Hilfe, etc. (System Usability Sale).

› Nachbesprechung: Spezielle Usability-Probleme aus dem Test werden direkt im Anschluss noch einmal gesondert besprochen.

› Durch die Kombination von Beobachtung und Befragung werden unterschiedliche Daten gewonnen. > Höherer Erkenntnisgewinn

© 2008 //SEIBERT/MEDIA GMBH

Page 5: Nutzerbasierte Usability-Tests

User-Test: Ergebnis

› Ergebnis: Das Ergebnis ist ein umfassender Usability-Bericht, der folgende Inhalte umfasst:

› Qualitative Analyse:

› Aufzählung und detaillierte Beschreibung aller gefundenen Usability-Probleme.

› Einschätzung, wie aufwändig die Behebung ist und wie ernst (severe) das Problem ist.

› Konkreter Verbesserungsvorschlag.

› Beispielfilme für die wichtigsten Probleme.

› Quantitative Analyse:

› Daten aus dem Screen Recording (Time on Task, Anzahl der Klicks, etc.)

› Daten aus der Analyse (Abbrecherquote, Anzahl der Fehler, etc.)

› Daten aus der Nachbefragung (Schulnoten für Design, Navigation, Informationsumfang, etc.)

© 2008 //SEIBERT/MEDIA GMBH

Page 6: Nutzerbasierte Usability-Tests

User-Test: Vor- und Nachteile

› Vorteile:

› Vollständige Information (alle Usability-Probleme werden gefunden)

› Hohe Validität (die gefundenen Usability bestehen tatsächlich)

› Überzeugendes Instrument (Entscheider glauben an die Ergebnisse)

› Nachteile :

› Relativ teuer

› Relativ zeitintensiv

› Anspruchsvolle Testumgebung notwendig

© 2008 //SEIBERT/MEDIA GMBH

Page 7: Nutzerbasierte Usability-Tests

User-Test: Beispiel

© 2008 //SEIBERT/MEDIA GMBH

Time on Task

23

74

151

18

99

215

20

246 244

21

86

223

0

50

100

150

200

250

Aufrufen Suchen Auswählen

STA Travel Opodo McFlight Travel Overland

Page 8: Nutzerbasierte Usability-Tests

User-Test: Beispiel

© 2008 //SEIBERT/MEDIA GMBH

Nachbefragung

0

0,5

1

1,5

2

2,5

3

3,5

4

4,5

Die Farben der

Website gefallen

mir gut.

Das Design der

Seiten finde ich gut.

Man benoetigt eine

Einfuehrung bevor

man die Seite

nutzen kann.

Es gibt auf der

Seite ausreichend

Informationen, wenn

man mal nicht

weiss, wie es weiter

geht.

Die Oberflaeche

war alles in allem

einfach zu

verwenden.

Die Navigation der

Seite ist

unkompliziert.

Mir war jederzeit

klar, wohin mich

Links fuehren

wuerden, bevor ich

sie angeklickt habe.

Es hat mir Spass

gemacht, die Seite

zu benutzen.

Page 9: Nutzerbasierte Usability-Tests

Eye-Tracking: Grundprinzip

› Bei einer Eye-Tracking-Studie werden die Blickbewegungen repräsentativer User mithilfe eines Eye-Trackers aufgezeichnet.

› Typischer Ablauf einer Eye-Tracking-Studie:

› Der Ablauf gleicht dem bei einem klassischen User-Test, lediglich die erhobenen Daten unterschieden sich.

› Beim Eye-Tracking geht es um Aufmerksamkeit. > Aufmerksamkeit als Voraussetzung für das Ausführen bestimmter Aktionen.

› Eye-Tracking ermöglicht als einzige Methode zuverlässige Aussagen darüber, ob und wie intensiv verschiedene Oberflächen-Elemente wahrgenommen werden.

© 2008 //SEIBERT/MEDIA GMBH

Page 10: Nutzerbasierte Usability-Tests

Eye-Tracking: Daten

› Die erhobenen Daten: Beim Eye-Tracking werden zwei verschiedene Arten von Daten erhoben.

› Fixation: Ein bestimmter Punkt auf der Oberfläche wird mit den Augen fokussiert.

› Sakkaden: Der Sprung von einer Fixation zur nächsten.

› In der Praxis wird Eye-Tracking zudem nicht isoliert eingesetzt, sondern in Kombinationmit einem klassischen User-Test.

› Alle Daten aus einem klassischen User-Test werden also ebenfalls erhoben.

© 2008 //SEIBERT/MEDIA GMBH

Page 11: Nutzerbasierte Usability-Tests

Eye-Tracking: Ergebnis

› Ergebnisse: Beim Eye-Tracking werden die Ergebnisse in der Regel visualisiert (Bilder).

› Es entstehen im wesentlichen zwei verschiedene Arten von Ergebnissen:

› Blickverdichtungen (Heatmaps, Attention Maps, Areas of Interest): Wo haben die User hingeschaut, wie lange haben die User dort hingeschaut.

› Blickverläufe (Scanpath): Wie sind die Blickverläufe der User über einen bestimmten Zeitraum hinweg.

› Die Daten können sowohl aggregiert (alle User zusammen) als auch individuell (jeder User einzeln) betrachtet werden.

› Einschränkung: Beim Eye-Tracking werden Blicke gemessen, nicht Wahrnehmung!

› Die User können Elemente anschauen, ohne diese wahrzunehmen (im Sinne von kognitiv verarbeiten).

› Die User können nehmen Elemente auch in der Peripherie des Sehfeldes wahr, das nicht getrackt werden kann.

© 2008 //SEIBERT/MEDIA GMBH

Page 12: Nutzerbasierte Usability-Tests

Eye-Tracking: Vor- und Nachteile

› Vorteile:

› Bildgebendes Verfahren (keine Befragung oder Beobachtung)

› Einzige Methode zur Messung der Aufmerksamkeit

› Große Überzeugungskraft

› Nachteile:

› Teuer und zeitintensiv

› Fixation ≠ Aufmerksamkeit

› Peripherie des Sehfeldes wird nicht erfasst

© 2008 //SEIBERT/MEDIA GMBH

Page 13: Nutzerbasierte Usability-Tests

Eye-Tracking: Beispiel

© 2008 //SEIBERT/MEDIA GMBH

Page 14: Nutzerbasierte Usability-Tests

Remote Usability-Testing: Grundprinzip

› Remote Usability-Tests sind Tests mit Usern, die nicht in einem Labor durchgeführt werden, sondern „aus der Entfernung“. Der User ist zu Hause an seinem eigenen Rechner.

› Es gibt zwei unterschiedliche Arten von Remote Usability-Tests: Moderierte Tests vs. Automatisierte Tests.

› Moderierte Tests: Wie klassischer User-Test, allerdings ist der User zu Hause und es findet nur ein Screen und Voice Recording statt.

› Automatisierte Tests: User nutzen eine Website und geben Kommentare in einen separaten Frame ein.

› Vorteile: Die Nutzungssituation ist realistischer, weil die Probanden zu Hause sind und ihren eigenen Rechner nutzen.

› Nachteile: An moderierten Tests nehmen nur technisch affine User teil, bei automatisierten Tests ist das Feedback in der Regel sehr „zurückhaltend“.

© 2008 //SEIBERT/MEDIA GMBH

Page 15: Nutzerbasierte Usability-Tests

Remote Usability-Testing: Moderierte Tests

› Typischer Ablauf eines moderierten Tests:

› Der User lädt eine Software aus dem Internet und installiert diese auf seinem Rechner. Dadurch ist es dem Versuchsleiter möglich, den Screen des Probanden aufzunehmen.

› Der User wird angerufen und spricht über ein Headset mit dem Versuchsleiter. Das Telefongespräch wird ebenfalls aufgenommen.

› Der User erhält vom Versuchsleiter bestimmte Aufgaben, und erledigt diese unter Anwendung der Methode lauten Denkens.

› Die erhobenen Daten: Die erhobenen Daten sind identisch mit denen aus einem klassischen User-Test (ohne User Video) und können genauso ausgewertet werden.

© 2008 //SEIBERT/MEDIA GMBH

Page 16: Nutzerbasierte Usability-Tests

Remote Usability-Testing: Moderierte Tests

› Vorteile:

› Die Tests sind geografisch nicht beschränkt (regionale, nationale, internationale Tests möglich).

› Es gibt keine Verzerrung durch die Laborsituation (der User sitzt an seinem eigenen Rechner).

› Nachteile:

› Detaillierte Nachbesprechung über das Telefon ist kaum praktikabel.

› Der User redet weniger und hat ein geringeres Involvement.

© 2008 //SEIBERT/MEDIA GMBH

Page 17: Nutzerbasierte Usability-Tests

Remote Usability-Testing: Automatisierte Tests

› Typischer Ablauf eines automatisierten Tests:

› Echte Nutzer werden während einer echten Session um Live-Feedback gebeten.

› Es wird ein zusätzlicher Frame geöffnet, in den die User Kommentare (Text) eingeben können.

› Die erhobenen Daten: Die Kommentare der User stellen das Datenmaterial dar, das ausgewertet wird. Weitere Informationen stehen nicht zur Verfügung.

© 2008 //SEIBERT/MEDIA GMBH

Page 18: Nutzerbasierte Usability-Tests

Remote Usability-Testing: Automatisierte Tests

› Vorteile:

› Sehr hohes Involvement (keine Testsituation)

› Wenig aufwändig (kein Versuchsleiter)

› Sehr viele Probanden

› Nachteile:

› Man ist noch stärker auf die Verbalisierungsfähigkeit der Probanden angewiesen.

› Sehr passive Methode, der User kann nicht „gekitzelt“ werden.

› Ähnelt der Methode der Befragung stark.

© 2008 //SEIBERT/MEDIA GMBH