30.05.2017

Usability Tests

Nicole Freund, Daniel Schulz

Usability Tests - Nicole Freund, Daniel Schulz 230.05.2017

Gliederung

• Grundlagen

• Vorbereitung

• Durchführung

• Analyse

• Zusammenfassung

Grundlagen

Usability Tests - Nicole Freund, Daniel Schulz 330.05.2017

Grundlagen

• Was ist ein Usability Test?

• Welche Teile des Projekts kann man testen?

• Wann führt man ihn durch?

• Arten von Usability Tests

• Unterschied zu Beta-Test

Usability Tests - Nicole Freund, Daniel Schulz 430.05.2017

Was ist ein Usability Test?

• Test eines Produkts mit dem Ziel die Usability zu verbessern.

• Testaufgaben sind typische Aufgaben für das Produkt.

• Teilnehmer müssen repräsentativ für echte Nutzer sein.

• Die Tests werden beobachtet und aufgezeichnet.

• Ergebnisse werden ausgewertet und

Verbesserungsvorschläge für bestehende Probleme

gemacht.

Usability Tests - Nicole Freund, Daniel Schulz 530.05.2017

Welche Teile des Projekts kann man testen?

• Hardware

– Installieren

– bedienen

• Software

– Installieren

– Bedienen

• Online Hilfe/Tutorials

Usability Tests - Nicole Freund, Daniel Schulz 630.05.2017

Wann führt man Usability Tests durch?

• Kann zu jeder Zeit im Projekt durchgeführt werden.

• Je früher, desto besser.

• Usability Tests sind ein iterativer Prozess.

Usability Tests - Nicole Freund, Daniel Schulz 730.05.2017

Arten von Usability Tests

• Exploratory (Formative)

– Früh im Projekt (Prototyp)

– Testet wie intuitiv Design-Konzepte sind

• Assessment (Summative)

– Anfang bis Mitte der Entwicklung (frühe Version)

– Testet wie gut Design-Konzepte umgesetzt wurden

• Validation (Verification)

– Ende der Entwicklung (fast fertiges Produkt)

– Testet ob vorher gefundene Probleme behoben wurden

– Testet ob Performance gut genug ist

• Comparison

– Wird in Verbindung mit einer der anderen 3 Testarten durchgeführt

– Testet mehrere verschiedene Versionen gegeneinander, um

herauszufinden welche die beste ist

Usability Tests - Nicole Freund, Daniel Schulz 830.05.2017

Unterschied zu Beta-Tests

• Beta-Tests haben keine feste Aufgaben

– Produkt wird als Ganzes getestet, nicht einzelne Funktionen

• Werden nicht beobachtet/aufgezeichnet

• Werden erst am Ende des Projekts durchgeführt

– Benötigt funktionierendes Produkt

– Häufig zu spät für größere Änderungen

Usability Tests - Nicole Freund, Daniel Schulz 930.05.2017

Vorbereitung

Usability Tests - Nicole Freund, Daniel Schulz 1030.05.2017

Beispiel – Mailprogramm

• Bestehendes Email-Programm

• Bisherige Version nutzt veraltete

Komponenten zur Anzeige der Oberfläche

• Es soll festgestellt werden, ob die Benutzer

mit der erneuerten Oberfläche

zurechtkommen.

Usability Tests - Nicole Freund, Daniel Schulz 1130.05.2017

Vorbereitung – Testplan

• Ziel/Zweck und Umfang, Art des Tests

• Teilnehmer

• Aufgaben (Szenarien), Ablauf/Dauer einer Session

• Benötigte Technik

• Rollen (beteiligte Personen)

• Fragen, erhobene Daten

• Ort und Zeit des Tests

• Rekrutierung der Teilnehmer

Usability Tests - Nicole Freund, Daniel Schulz 1230.05.2017

Mailprogramm – Zweck und Art

• Zweck:

– Kommen Benutzer mit der erneuerten

Oberfläche zurecht?

• Stand des Systems:

– Komplette Erneuerung der Oberfläche

– noch nicht alle Details integriert

• Zu testen:

– Am besten alle

– Machbar: Haupt- bzw. Grundfunktionen

• Art des Tests:

– Assessment-Test

– Comparison-Test (für Alt-Nutzer)

Usability Tests - Nicole Freund, Daniel Schulz 1330.05.2017

Teilnehmer

• Anzahl:

– Empfohlen: ca. 6-8

– 4 je Benutzergruppe mindestens

• Eyetracking:

– für stabile Ergebnisse: ca. 39

• Statistiken (Signifikanz, Konfidenz):

– mindestens 20

• Profile der Benutzergruppen für Screening erstellen:

– Alter

– Beruf

– Computerkenntnisse

– Benutzer einer vorherigen Version des Systems

– …

Usability Tests - Nicole Freund, Daniel Schulz 1430.05.2017

Mailprogramm – Benutzergruppen

• Zwei verschiedene Gruppen von Leuten:

– Mit der alten Oberfläche bekannte Nutzer

– Nutzer, die das Programm noch nicht kennen

• Anzahl der Teilnehmer je Gruppe: 4

• Je Gruppe:

– Hälfte männlich, Hälfte weiblich

– Hälfte 20-34, andere Hälfte 35-49

• Alle sollten vertraut mit Emails und der

Arbeit unter Windows 8 sein.

Usability Tests - Nicole Freund, Daniel Schulz 1530.05.2017

Aufgaben

• Erstellen einer Liste zu testender Aufgaben, u. a.

Von Designern/Entwicklern als potentiell problematisch eingestuft

Neue/stark geänderte Funktionen

Kritische Funktionen

Unter Druck ausgeführte Aktionen

• Auflisten der nötigen Ressourcen (Hard- & Software, Daten)

• Schätzen der Dauer für jede Aufgabe

• Streichen von Aufgaben

• Sortieren in einen sinnvollen Ablauf

logische Reihenfolge für den Teilnehmer

wichtige/kritische Aufgaben zuerst

eventuell optionale Aufgaben kennzeichnen

Usability Tests - Nicole Freund, Daniel Schulz 1630.05.2017

Mailprogramm – Aufgaben

• Voraussetzungen:

– PC mit Windows 8 und Internetverbindung

– Mailprogramm installiert und mit Benutzer für

Teilnehmer initialisiert

– Ungelesene eingehende Mails

– Vorgegebener Inhalt für Mail

• Eine bestimmte neue Mail finden & lesen

– Dauer: 2-5 Minuten (Erste Aufgabe)

• Eine neue Mail erstellen

– Dauer: 2-5 Minuten

• Eine (vorhandene) Mail speichern

– Dauer: 1-2 Minuten

Usability Tests - Nicole Freund, Daniel Schulz 1730.05.2017

Szenarien aus Aufgaben

• Kurz und eindeutig fassen

• Aus Sicht des Teilnehmers sinnvoll

• Sprache der Benutzer verwenden, z.B. Wörter aus dem

Menü des Programms vermeiden

• Informationen, die der Benutzer bei der Nutzung

typischerweise hat, sind gegeben

• Direkte Verknüpfung zu einer oder mehreren Aufgaben ist

vorhanden

Usability Tests - Nicole Freund, Daniel Schulz 1830.05.2017

Mailprogramm - Szenarien

• Szenario 1:

Sie sind gerade nach einem Kurzurlaub

wieder zurück an Ihren Schreibtisch im

Büro gekommen. Schauen Sie nach, wie

viele neuen Mails sie bekommen haben.

Falls eine von Ihrem Teamleiter, Hr.

Schulze, ist, lesen Sie diese.

• Szenario 2:

Sie möchten Ihrem Kollegen eine

Einladung für die Projektbesprechung

morgen um 12 schicken – Sie wissen aber

noch nicht, wer sonst noch teilnehmen

sollte. Erstellen Sie einen Entwurf der

Nachricht für später.

Usability Tests - Nicole Freund, Daniel Schulz 1930.05.2017

Dauer einer Session

• Abhängig von den zu testenden Szenarien und der Art des

Systems (Prototyp, Website, Dokumentation, Programm)

• Typisch sind zwischen 1.5 h und 3.5 h (halber Tag)

• Tipps:

– ca. eine Stunde als Zeit außerhalb von Szenarien planen

– Festlegen, was der Moderator tun soll, wenn die Zeit für ein Szenario

überschritten wird

– Bei längeren Sessions: Pause für den Teilnehmer einplanen

Usability Tests - Nicole Freund, Daniel Schulz 2030.05.2017

Ablauf einer Session

• Vorheriges Training?

• Begrüßung, Einführung in das System,

Einverständniserklärung unterschreiben

• Fragebogen vor Testbeginn

• Hinweise des Moderators zum erwünschten Verhalten

• Interview nach Beendigung eines Szenarios

• Fragebogen/Interviewfragen zum Ende der Session

• Verabschiedung

Usability Tests - Nicole Freund, Daniel Schulz 2130.05.2017

Mailprogramm – Technik und Rollen

• Testraum:

– Hardware für den Teilnehmer siehe Aufgaben

– Aufzeichnung:

Videoaufnahme mit Open Broadcaster Software:

Teilnehmer- Gesicht (Kamera am PC),

Bildschirm (Screencapture), mit Ton

• Rollen:

– Moderator: Usability Experte Mr. U.-X.

– Trainer: nicht benötigt

– Protokoll: zwei noch zu bestimmende Personen,

sitzen hinten im Raum und nutzen Stift und

Papier

– Zuschauer: Leiter der Designabteilung soll

eingeladen werden

Usability Tests - Nicole Freund, Daniel Schulz 2230.05.2017

Mailprogramm – Daten

• Eingangsfragebogen:

– Computer- & App-Affinität

– privat genutztes Mailprogramm (Auswahl+

anderes)

• Daten:

– Time On Task

– Fehler:

• 0: keine Fehler

• 1: leichter Fehler + Beschreibung(en)

• 2: schwerer Fehler + Beschreibung

• Fragen nach jedem Szenario:

– War die Aufgabe einfach, angenehm, leichter

als erwartet?

Usability Tests - Nicole Freund, Daniel Schulz 2330.05.2017

Mailprogramm – Daten

• Fragebogen zum Ende:

– Benotung des Programms (1-6)

– Welche drei Dinge mögen Sie am wenigsten?

– Welche Funktion würden Sie auf jeden Fall

hinzufügen?

– Würden Sie dieses Programm gerne benutzen?

– Die Navigation ist übersichtlich (0,10,..,100%)

– …

• Interview als Abschluss:

– Allgemeiner Eindruck, Anmerkungen,

Verbesserungsvorschläge

Usability Tests - Nicole Freund, Daniel Schulz 2430.05.2017

Rekrutierung der Teilnehmer

• Screening Fragebogen, um gewünschte Benutzergruppe zu

identifizieren

• Auf Aufzeichnung des Tests hinweisen

• Zeit, Anfahrt und geplante Dauer mitteilen

• Leistungen für Teilnehmer:

– Anreise-/ Hotelkosten, falls nötig

– Geld, Gutscheine, Firmenmerchandise

– Zertifikat / Teilnahmebescheinigung

Usability Tests - Nicole Freund, Daniel Schulz 2530.05.2017

Durchführung

Usability Tests - Nicole Freund, Daniel Schulz 2630.05.2017

Durchführung

• Test-Techniken

• Ablauf des Tests

• Rolle des Moderators

• Arten der Aufzeichnung

• Notizen während des Tests

Usability Tests - Nicole Freund, Daniel Schulz 2730.05.2017

Test-Techniken

• Think Aloud

– Teilnehmer werden zum „lauten Denken“ aufgefordert

• Co-Discovery

– 2 Teilnehmer arbeiten gleichzeitig mit dem Produkt und sollen sich

miteinander unterhalten

– „Natürlicher“ als laut zu denken

• Active Intervention

– Wie Think Aloud nur dass der Moderator jederzeit eingreifen und den

Teilnehmer zu seinem Verständnis des Produkts oder dem geplanten

Vorgehen fragen kann

• Benchmarking

– Ohne lautes Denken, dafür wird für die Aufgaben benötigte Zeit

gemessen

Usability Tests - Nicole Freund, Daniel Schulz 2830.05.2017

Ablauf des Tests

• Begrüßung

• Teilnehmer werden nach demografischen Daten gefragt

– Ggf. Fragebogen zum Vorwissen über das Produkt

• Teilnehmer werden um Erlaubnis für (Video-)Aufzeichnung

gebeten

• Teilnehmer wird verwendete Technik erklärt (z.B.Think Aloud)

• Teilnehmer wird Testumgebung gezeigt

• Test und Aufnahme beginnt

• Nach dem Test: Fragebogen zur Meinung über das Produkt

• Verabschiedung

Usability Tests - Nicole Freund, Daniel Schulz 2930.05.2017

Rolle des Moderators

• Erklärt dem Teilnehmer den Test

• Stellt während des Tests die Aufgaben

• Stellt Zwischenfragen

– Bei Active Intervention

• Beobachtet Verhalten vom Teilnehmer

• Falls kein Protokollant vorhanden, macht er Notizen

Usability Tests - Nicole Freund, Daniel Schulz 3030.05.2017

Arten der Aufzeichnung

• Ton-, Video- und Bildschirmaufzeichnung

• Tracking-Software

– z.B. für Mausbewegung, Mausklicks oder Tastatureingaben

• Eye-Tracking

• Textprotokoll

Usability Tests - Nicole Freund, Daniel Schulz 3130.05.2017

Notizen während des Tests

• Probleme/Unsicherheiten des Teilnehmers

• Vom Teilnehmer gemachte Fehler

• Benutzte Lösungswege (falls mehrere möglich)

• Kommentare/Vorschläge zum Produkt(design)

• Für die Aufgaben benötigte Zeiten

Usability Tests - Nicole Freund, Daniel Schulz 3230.05.2017

Analyse

Usability Tests - Nicole Freund, Daniel Schulz 3330.05.2017

Analyse

• Material sichten, falls nötig aufbereiten

• Auswertung der gesammelten Daten

• Probleme und positive Abläufe erkennen

• Testbericht und/oder Präsentation anfertigen

Usability Tests - Nicole Freund, Daniel Schulz 3430.05.2017

Analyse - Auswertung der gesammelten Daten

• Auswertung der gesammelten Daten

• Quantitative Ergebnisse:

– Erfolgsquote, Fehlerquote, Bearbeitungsdauer, Zufriedenheit

(Fragebogen, Skala)

– Je Szenario, um teilnehmerübergreifende Probleme zu erkennen

– Eventuell demografische Informationen hinzunehmen

• Qualitative Ergebnisse:

– Verwendete Wege, um zur Lösung zu gelangen

– Probleme, Stellen an denen Teilnehmer verunsichert waren

– Kommentare, Vorschläge der Teilnehmer

– Antworten auf offene Fragen in Interviews oder Fragebögen

Usability Tests - Nicole Freund, Daniel Schulz 3530.05.2017

Mailprogramm – Analyse der Daten

• Szenario 1: Daten – Benutzer < 35 Jahre

Usability Tests - Nicole Freund, Daniel Schulz 3630.05.2017

Teilnehmer Erfolg Fehler Kommentar

Alt_1 X 0

Alt_2 2 Versehentlich

„Posteingang“

geschlossen,

Tn. konnte ihn nicht

wiederherstellen

Neu_1 X 1 Manuelles Zählen der

Nachrichten (Zahlen unten

rechts nicht beachtet),

Dabei einmal verzählt

Neu_3 X 0 „Die Informationen [rechts

unten im Bildschirm] sind

schlecht lesbar“

Mailprogramm – Analyse der Daten

• Szenario 1: Daten – Benutzer < 35 Jahre

• Erfolgsquote (für U35 und Szenario 1):3

4= 75%

• Fehlerquote (für U35 und Szenario 1):2

4= 50%

• Average Task Completion Time:60 𝑠𝑒𝑐 + 4 ∗ 60 𝑠𝑒𝑐 + 3 ∗ 60 sec

3= 160 𝑠𝑒𝑐

• Qualitativ:

– 2mal Problem mit Anzeige der Zahlen zum

Posteingang

Usability Tests - Nicole Freund, Daniel Schulz 3730.05.2017

Analyse – Probleme erkennen

• Punkte, an denen Benutzer unzufrieden sind

• Aufgaben mit einer hohen Fehlerquote/einer geringen

Erfolgsquote

• So spezifisch wie möglich beschreiben

• Die zugrundeliegenden Probleme identifizieren, falls möglich

– z.B. zu wenig aussagekräftige Meldungen

– z.B. fehlende Erfolgsmeldungen

– z.B. uneinheitliche Struktur der Oberflächen

• Zu jedem gefundenen Problem ein Vorschlag, was zu tun ist

Usability Tests - Nicole Freund, Daniel Schulz 3830.05.2017

Analyse – Probleme einordnen

• Lokales oder globales Problem

– Nur dort, wo Problem aufgetreten oder auch in anderen Teilen des

Systems vorhanden?

• Schweregrad des Problems:

– Auf drei- bis vierpunktiger Skala

– Kritisch

– Ernst

– Moderat

– Geringfügig

Usability Tests - Nicole Freund, Daniel Schulz 3930.05.2017

Mailprogramm – Analyse der Daten

• Szenario 1:

– Die Anzeige der Zahlen (neue Nachrichten,

Nachrichten gesamt, …) in der Statusleiste

(unten rechts) ist für die Mehrheit der älteren

Benutzer und auch für einige der jüngeren

Nutzer nicht gut sichtbar.

– Global: Auch für alle anderen Ordner

– Einstufung: Ernst

Usability Tests - Nicole Freund, Daniel Schulz 4030.05.2017

Mailprogramm – Analyse der Daten

• Szenario 1:

– Vorschlag: Diese Zahlen größer schreiben oder

sie an anderen Stellen ebenfalls zeigen.

– Kommentar eines Nutzers:

„Früher gab es die doch, wenn man auf den

Posteingang gezeigt hat“

(gemeint ist: als Tooltip, wenn man in der

Ordneransicht auf den „Posteingang“-Ordner

geklickt hat)

Usability Tests - Nicole Freund, Daniel Schulz 4130.05.2017

Analyse – Positive Abläufe erkennen

• Positive Befunde auch in die Ergebnisse aufnehmen

• Anhaltspunkte:

– hohe Zufriedenheit

– geringe Task On Time, hohe Erfolgsrate

– positive Kommentare der Benutzer

• Ziel:

– gute Designentscheidungen sollen beibehalten werden

– Motivation für Designer und Entwickler

Usability Tests - Nicole Freund, Daniel Schulz 4230.05.2017

Analyse - Testbericht

• Signifikante Ergebnisse, Gesamtbild

• Angaben, um Test reproduzieren zu können

• Detaillierte Ergebnisse

– Nach Szenario sortiert

– Nach Wichtigkeit sortiert

– Szenarioübergreifende zuerst, danach nach Szenario

• Anhang mit detaillierten Daten und Kopien der verwendeten

Aufgabenzettel, Instruktionen, Fragebögen, Richtlinien, etc.

Usability Tests - Nicole Freund, Daniel Schulz 4330.05.2017

Analyse - Präsentation

• Kurze Zusammenfassung von Motivation und Testablauf

• Wichtigste Ergebnisse

• Unterstützung durch Bild & Audio oder Videoclips

• Schlüsselszenen darstellen

• Ziele:

– Perspektive der Benutzer näherbringen

– Verständnis für Wichtigkeit der Verbesserungen wecken

– Vorschläge des Testberichts lesen/umsetzen

– Weitere Usability Tests rechtfertigen

Usability Tests - Nicole Freund, Daniel Schulz 4430.05.2017

Zusammenfassung

• Usability Tests sollten iterativ angewendet werden

• In der Vorbereitung werden ein Testplan erstellt und die

Teilnehmer gesucht

• In der Durchführung führen Teilnehmer die erarbeiteten

Testaufgaben aus

• Dabei werden Probleme und Anmerkungen notiert

• In der Analyse sollte sowohl auf die Probleme, als auch auf

die positiven Funde eingegangen werden

• Zu jedem Problem werden Vorschläge zur Abhilfe angegeben

Usability Tests - Nicole Freund, Daniel Schulz 4530.05.2017

Quellen

• https://www.usability.gov/how-to-and-tools/methods/usability-testing.html

• https://www.usability.gov/how-to-and-tools/resources/templates.html

• Rubin, Chisnell Handbook of Usability Testing

• https://www.w3.org/WAI/EO/Drafts/UCD/questions.html

• Dumas, A Practical Guide to Usability Testing

• Bilder:

• https://www.iconfinder.com/icons/18141084

• https://de.wikipedia.org/wiki/Datei:Usability_Lab_02.jpg

Usability Tests - Nicole Freund, Daniel Schulz 4630.05.2017