Usability Tests - Nicole Freund, Daniel Schulz 230.05.2017
Gliederung
• Grundlagen
• Vorbereitung
• Durchführung
• Analyse
• Zusammenfassung
Grundlagen
• Was ist ein Usability Test?
• Welche Teile des Projekts kann man testen?
• Wann führt man ihn durch?
• Arten von Usability Tests
• Unterschied zu Beta-Test
Usability Tests - Nicole Freund, Daniel Schulz 430.05.2017
Was ist ein Usability Test?
• Test eines Produkts mit dem Ziel die Usability zu verbessern.
• Testaufgaben sind typische Aufgaben für das Produkt.
• Teilnehmer müssen repräsentativ für echte Nutzer sein.
• Die Tests werden beobachtet und aufgezeichnet.
• Ergebnisse werden ausgewertet und
Verbesserungsvorschläge für bestehende Probleme
gemacht.
Usability Tests - Nicole Freund, Daniel Schulz 530.05.2017
Welche Teile des Projekts kann man testen?
• Hardware
– Installieren
– bedienen
• Software
– Installieren
– Bedienen
• Online Hilfe/Tutorials
Usability Tests - Nicole Freund, Daniel Schulz 630.05.2017
Wann führt man Usability Tests durch?
• Kann zu jeder Zeit im Projekt durchgeführt werden.
• Je früher, desto besser.
• Usability Tests sind ein iterativer Prozess.
Usability Tests - Nicole Freund, Daniel Schulz 730.05.2017
Arten von Usability Tests
• Exploratory (Formative)
– Früh im Projekt (Prototyp)
– Testet wie intuitiv Design-Konzepte sind
• Assessment (Summative)
– Anfang bis Mitte der Entwicklung (frühe Version)
– Testet wie gut Design-Konzepte umgesetzt wurden
• Validation (Verification)
– Ende der Entwicklung (fast fertiges Produkt)
– Testet ob vorher gefundene Probleme behoben wurden
– Testet ob Performance gut genug ist
• Comparison
– Wird in Verbindung mit einer der anderen 3 Testarten durchgeführt
– Testet mehrere verschiedene Versionen gegeneinander, um
herauszufinden welche die beste ist
Usability Tests - Nicole Freund, Daniel Schulz 830.05.2017
Unterschied zu Beta-Tests
• Beta-Tests haben keine feste Aufgaben
– Produkt wird als Ganzes getestet, nicht einzelne Funktionen
• Werden nicht beobachtet/aufgezeichnet
• Werden erst am Ende des Projekts durchgeführt
– Benötigt funktionierendes Produkt
– Häufig zu spät für größere Änderungen
Usability Tests - Nicole Freund, Daniel Schulz 930.05.2017
Beispiel – Mailprogramm
• Bestehendes Email-Programm
• Bisherige Version nutzt veraltete
Komponenten zur Anzeige der Oberfläche
• Es soll festgestellt werden, ob die Benutzer
mit der erneuerten Oberfläche
zurechtkommen.
Usability Tests - Nicole Freund, Daniel Schulz 1130.05.2017
Vorbereitung – Testplan
• Ziel/Zweck und Umfang, Art des Tests
• Teilnehmer
• Aufgaben (Szenarien), Ablauf/Dauer einer Session
• Benötigte Technik
• Rollen (beteiligte Personen)
• Fragen, erhobene Daten
• Ort und Zeit des Tests
• Rekrutierung der Teilnehmer
Usability Tests - Nicole Freund, Daniel Schulz 1230.05.2017
Mailprogramm – Zweck und Art
• Zweck:
– Kommen Benutzer mit der erneuerten
Oberfläche zurecht?
• Stand des Systems:
– Komplette Erneuerung der Oberfläche
– noch nicht alle Details integriert
• Zu testen:
– Am besten alle
– Machbar: Haupt- bzw. Grundfunktionen
• Art des Tests:
– Assessment-Test
– Comparison-Test (für Alt-Nutzer)
Usability Tests - Nicole Freund, Daniel Schulz 1330.05.2017
Teilnehmer
• Anzahl:
– Empfohlen: ca. 6-8
– 4 je Benutzergruppe mindestens
• Eyetracking:
– für stabile Ergebnisse: ca. 39
• Statistiken (Signifikanz, Konfidenz):
– mindestens 20
• Profile der Benutzergruppen für Screening erstellen:
– Alter
– Beruf
– Computerkenntnisse
– Benutzer einer vorherigen Version des Systems
– …
Usability Tests - Nicole Freund, Daniel Schulz 1430.05.2017
Mailprogramm – Benutzergruppen
• Zwei verschiedene Gruppen von Leuten:
– Mit der alten Oberfläche bekannte Nutzer
– Nutzer, die das Programm noch nicht kennen
• Anzahl der Teilnehmer je Gruppe: 4
• Je Gruppe:
– Hälfte männlich, Hälfte weiblich
– Hälfte 20-34, andere Hälfte 35-49
• Alle sollten vertraut mit Emails und der
Arbeit unter Windows 8 sein.
Usability Tests - Nicole Freund, Daniel Schulz 1530.05.2017
Aufgaben
• Erstellen einer Liste zu testender Aufgaben, u. a.
Von Designern/Entwicklern als potentiell problematisch eingestuft
Neue/stark geänderte Funktionen
Kritische Funktionen
Unter Druck ausgeführte Aktionen
• Auflisten der nötigen Ressourcen (Hard- & Software, Daten)
• Schätzen der Dauer für jede Aufgabe
• Streichen von Aufgaben
• Sortieren in einen sinnvollen Ablauf
logische Reihenfolge für den Teilnehmer
wichtige/kritische Aufgaben zuerst
eventuell optionale Aufgaben kennzeichnen
Usability Tests - Nicole Freund, Daniel Schulz 1630.05.2017
Mailprogramm – Aufgaben
• Voraussetzungen:
– PC mit Windows 8 und Internetverbindung
– Mailprogramm installiert und mit Benutzer für
Teilnehmer initialisiert
– Ungelesene eingehende Mails
– Vorgegebener Inhalt für Mail
• Eine bestimmte neue Mail finden & lesen
– Dauer: 2-5 Minuten (Erste Aufgabe)
• Eine neue Mail erstellen
– Dauer: 2-5 Minuten
• Eine (vorhandene) Mail speichern
– Dauer: 1-2 Minuten
Usability Tests - Nicole Freund, Daniel Schulz 1730.05.2017
Szenarien aus Aufgaben
• Kurz und eindeutig fassen
• Aus Sicht des Teilnehmers sinnvoll
• Sprache der Benutzer verwenden, z.B. Wörter aus dem
Menü des Programms vermeiden
• Informationen, die der Benutzer bei der Nutzung
typischerweise hat, sind gegeben
• Direkte Verknüpfung zu einer oder mehreren Aufgaben ist
vorhanden
Usability Tests - Nicole Freund, Daniel Schulz 1830.05.2017
Mailprogramm - Szenarien
• Szenario 1:
Sie sind gerade nach einem Kurzurlaub
wieder zurück an Ihren Schreibtisch im
Büro gekommen. Schauen Sie nach, wie
viele neuen Mails sie bekommen haben.
Falls eine von Ihrem Teamleiter, Hr.
Schulze, ist, lesen Sie diese.
• Szenario 2:
Sie möchten Ihrem Kollegen eine
Einladung für die Projektbesprechung
morgen um 12 schicken – Sie wissen aber
noch nicht, wer sonst noch teilnehmen
sollte. Erstellen Sie einen Entwurf der
Nachricht für später.
Usability Tests - Nicole Freund, Daniel Schulz 1930.05.2017
Dauer einer Session
• Abhängig von den zu testenden Szenarien und der Art des
Systems (Prototyp, Website, Dokumentation, Programm)
• Typisch sind zwischen 1.5 h und 3.5 h (halber Tag)
• Tipps:
– ca. eine Stunde als Zeit außerhalb von Szenarien planen
– Festlegen, was der Moderator tun soll, wenn die Zeit für ein Szenario
überschritten wird
– Bei längeren Sessions: Pause für den Teilnehmer einplanen
Usability Tests - Nicole Freund, Daniel Schulz 2030.05.2017
Ablauf einer Session
• Vorheriges Training?
• Begrüßung, Einführung in das System,
Einverständniserklärung unterschreiben
• Fragebogen vor Testbeginn
• Hinweise des Moderators zum erwünschten Verhalten
• Interview nach Beendigung eines Szenarios
• Fragebogen/Interviewfragen zum Ende der Session
• Verabschiedung
Usability Tests - Nicole Freund, Daniel Schulz 2130.05.2017
Mailprogramm – Technik und Rollen
• Testraum:
– Hardware für den Teilnehmer siehe Aufgaben
– Aufzeichnung:
Videoaufnahme mit Open Broadcaster Software:
Teilnehmer- Gesicht (Kamera am PC),
Bildschirm (Screencapture), mit Ton
• Rollen:
– Moderator: Usability Experte Mr. U.-X.
– Trainer: nicht benötigt
– Protokoll: zwei noch zu bestimmende Personen,
sitzen hinten im Raum und nutzen Stift und
Papier
– Zuschauer: Leiter der Designabteilung soll
eingeladen werden
Usability Tests - Nicole Freund, Daniel Schulz 2230.05.2017
Mailprogramm – Daten
• Eingangsfragebogen:
– Computer- & App-Affinität
– privat genutztes Mailprogramm (Auswahl+
anderes)
• Daten:
– Time On Task
– Fehler:
• 0: keine Fehler
• 1: leichter Fehler + Beschreibung(en)
• 2: schwerer Fehler + Beschreibung
• Fragen nach jedem Szenario:
– War die Aufgabe einfach, angenehm, leichter
als erwartet?
Usability Tests - Nicole Freund, Daniel Schulz 2330.05.2017
Mailprogramm – Daten
• Fragebogen zum Ende:
– Benotung des Programms (1-6)
– Welche drei Dinge mögen Sie am wenigsten?
– Welche Funktion würden Sie auf jeden Fall
hinzufügen?
– Würden Sie dieses Programm gerne benutzen?
– Die Navigation ist übersichtlich (0,10,..,100%)
– …
• Interview als Abschluss:
– Allgemeiner Eindruck, Anmerkungen,
Verbesserungsvorschläge
Usability Tests - Nicole Freund, Daniel Schulz 2430.05.2017
Rekrutierung der Teilnehmer
• Screening Fragebogen, um gewünschte Benutzergruppe zu
identifizieren
• Auf Aufzeichnung des Tests hinweisen
• Zeit, Anfahrt und geplante Dauer mitteilen
• Leistungen für Teilnehmer:
– Anreise-/ Hotelkosten, falls nötig
– Geld, Gutscheine, Firmenmerchandise
– Zertifikat / Teilnahmebescheinigung
Usability Tests - Nicole Freund, Daniel Schulz 2530.05.2017
Durchführung
• Test-Techniken
• Ablauf des Tests
• Rolle des Moderators
• Arten der Aufzeichnung
• Notizen während des Tests
Usability Tests - Nicole Freund, Daniel Schulz 2730.05.2017
Test-Techniken
• Think Aloud
– Teilnehmer werden zum „lauten Denken“ aufgefordert
• Co-Discovery
– 2 Teilnehmer arbeiten gleichzeitig mit dem Produkt und sollen sich
miteinander unterhalten
– „Natürlicher“ als laut zu denken
• Active Intervention
– Wie Think Aloud nur dass der Moderator jederzeit eingreifen und den
Teilnehmer zu seinem Verständnis des Produkts oder dem geplanten
Vorgehen fragen kann
• Benchmarking
– Ohne lautes Denken, dafür wird für die Aufgaben benötigte Zeit
gemessen
Usability Tests - Nicole Freund, Daniel Schulz 2830.05.2017
Ablauf des Tests
• Begrüßung
• Teilnehmer werden nach demografischen Daten gefragt
– Ggf. Fragebogen zum Vorwissen über das Produkt
• Teilnehmer werden um Erlaubnis für (Video-)Aufzeichnung
gebeten
• Teilnehmer wird verwendete Technik erklärt (z.B.Think Aloud)
• Teilnehmer wird Testumgebung gezeigt
• Test und Aufnahme beginnt
• Nach dem Test: Fragebogen zur Meinung über das Produkt
• Verabschiedung
Usability Tests - Nicole Freund, Daniel Schulz 2930.05.2017
Rolle des Moderators
• Erklärt dem Teilnehmer den Test
• Stellt während des Tests die Aufgaben
• Stellt Zwischenfragen
– Bei Active Intervention
• Beobachtet Verhalten vom Teilnehmer
• Falls kein Protokollant vorhanden, macht er Notizen
Usability Tests - Nicole Freund, Daniel Schulz 3030.05.2017
Arten der Aufzeichnung
• Ton-, Video- und Bildschirmaufzeichnung
• Tracking-Software
– z.B. für Mausbewegung, Mausklicks oder Tastatureingaben
• Eye-Tracking
• Textprotokoll
Usability Tests - Nicole Freund, Daniel Schulz 3130.05.2017
Notizen während des Tests
• Probleme/Unsicherheiten des Teilnehmers
• Vom Teilnehmer gemachte Fehler
• Benutzte Lösungswege (falls mehrere möglich)
• Kommentare/Vorschläge zum Produkt(design)
• Für die Aufgaben benötigte Zeiten
Usability Tests - Nicole Freund, Daniel Schulz 3230.05.2017
Analyse
• Material sichten, falls nötig aufbereiten
• Auswertung der gesammelten Daten
• Probleme und positive Abläufe erkennen
• Testbericht und/oder Präsentation anfertigen
Usability Tests - Nicole Freund, Daniel Schulz 3430.05.2017
Analyse - Auswertung der gesammelten Daten
• Auswertung der gesammelten Daten
• Quantitative Ergebnisse:
– Erfolgsquote, Fehlerquote, Bearbeitungsdauer, Zufriedenheit
(Fragebogen, Skala)
– Je Szenario, um teilnehmerübergreifende Probleme zu erkennen
– Eventuell demografische Informationen hinzunehmen
• Qualitative Ergebnisse:
– Verwendete Wege, um zur Lösung zu gelangen
– Probleme, Stellen an denen Teilnehmer verunsichert waren
– Kommentare, Vorschläge der Teilnehmer
– Antworten auf offene Fragen in Interviews oder Fragebögen
Usability Tests - Nicole Freund, Daniel Schulz 3530.05.2017
Mailprogramm – Analyse der Daten
• Szenario 1: Daten – Benutzer < 35 Jahre
Usability Tests - Nicole Freund, Daniel Schulz 3630.05.2017
Teilnehmer Erfolg Fehler Kommentar
Alt_1 X 0
Alt_2 2 Versehentlich
„Posteingang“
geschlossen,
Tn. konnte ihn nicht
wiederherstellen
Neu_1 X 1 Manuelles Zählen der
Nachrichten (Zahlen unten
rechts nicht beachtet),
Dabei einmal verzählt
Neu_3 X 0 „Die Informationen [rechts
unten im Bildschirm] sind
schlecht lesbar“
Mailprogramm – Analyse der Daten
• Szenario 1: Daten – Benutzer < 35 Jahre
• Erfolgsquote (für U35 und Szenario 1):3
4= 75%
• Fehlerquote (für U35 und Szenario 1):2
4= 50%
• Average Task Completion Time:60 𝑠𝑒𝑐 + 4 ∗ 60 𝑠𝑒𝑐 + 3 ∗ 60 sec
3= 160 𝑠𝑒𝑐
• Qualitativ:
– 2mal Problem mit Anzeige der Zahlen zum
Posteingang
Usability Tests - Nicole Freund, Daniel Schulz 3730.05.2017
Analyse – Probleme erkennen
• Punkte, an denen Benutzer unzufrieden sind
• Aufgaben mit einer hohen Fehlerquote/einer geringen
Erfolgsquote
• So spezifisch wie möglich beschreiben
• Die zugrundeliegenden Probleme identifizieren, falls möglich
– z.B. zu wenig aussagekräftige Meldungen
– z.B. fehlende Erfolgsmeldungen
– z.B. uneinheitliche Struktur der Oberflächen
• Zu jedem gefundenen Problem ein Vorschlag, was zu tun ist
Usability Tests - Nicole Freund, Daniel Schulz 3830.05.2017
Analyse – Probleme einordnen
• Lokales oder globales Problem
– Nur dort, wo Problem aufgetreten oder auch in anderen Teilen des
Systems vorhanden?
• Schweregrad des Problems:
– Auf drei- bis vierpunktiger Skala
– Kritisch
– Ernst
– Moderat
– Geringfügig
Usability Tests - Nicole Freund, Daniel Schulz 3930.05.2017
Mailprogramm – Analyse der Daten
• Szenario 1:
– Die Anzeige der Zahlen (neue Nachrichten,
Nachrichten gesamt, …) in der Statusleiste
(unten rechts) ist für die Mehrheit der älteren
Benutzer und auch für einige der jüngeren
Nutzer nicht gut sichtbar.
– Global: Auch für alle anderen Ordner
– Einstufung: Ernst
Usability Tests - Nicole Freund, Daniel Schulz 4030.05.2017
Mailprogramm – Analyse der Daten
• Szenario 1:
– Vorschlag: Diese Zahlen größer schreiben oder
sie an anderen Stellen ebenfalls zeigen.
– Kommentar eines Nutzers:
„Früher gab es die doch, wenn man auf den
Posteingang gezeigt hat“
(gemeint ist: als Tooltip, wenn man in der
Ordneransicht auf den „Posteingang“-Ordner
geklickt hat)
Usability Tests - Nicole Freund, Daniel Schulz 4130.05.2017
Analyse – Positive Abläufe erkennen
• Positive Befunde auch in die Ergebnisse aufnehmen
• Anhaltspunkte:
– hohe Zufriedenheit
– geringe Task On Time, hohe Erfolgsrate
– positive Kommentare der Benutzer
• Ziel:
– gute Designentscheidungen sollen beibehalten werden
– Motivation für Designer und Entwickler
Usability Tests - Nicole Freund, Daniel Schulz 4230.05.2017
Analyse - Testbericht
• Signifikante Ergebnisse, Gesamtbild
• Angaben, um Test reproduzieren zu können
• Detaillierte Ergebnisse
– Nach Szenario sortiert
– Nach Wichtigkeit sortiert
– Szenarioübergreifende zuerst, danach nach Szenario
• Anhang mit detaillierten Daten und Kopien der verwendeten
Aufgabenzettel, Instruktionen, Fragebögen, Richtlinien, etc.
Usability Tests - Nicole Freund, Daniel Schulz 4330.05.2017
Analyse - Präsentation
• Kurze Zusammenfassung von Motivation und Testablauf
• Wichtigste Ergebnisse
• Unterstützung durch Bild & Audio oder Videoclips
• Schlüsselszenen darstellen
• Ziele:
– Perspektive der Benutzer näherbringen
– Verständnis für Wichtigkeit der Verbesserungen wecken
– Vorschläge des Testberichts lesen/umsetzen
– Weitere Usability Tests rechtfertigen
Usability Tests - Nicole Freund, Daniel Schulz 4430.05.2017
Zusammenfassung
• Usability Tests sollten iterativ angewendet werden
• In der Vorbereitung werden ein Testplan erstellt und die
Teilnehmer gesucht
• In der Durchführung führen Teilnehmer die erarbeiteten
Testaufgaben aus
• Dabei werden Probleme und Anmerkungen notiert
• In der Analyse sollte sowohl auf die Probleme, als auch auf
die positiven Funde eingegangen werden
• Zu jedem Problem werden Vorschläge zur Abhilfe angegeben
Usability Tests - Nicole Freund, Daniel Schulz 4530.05.2017
Quellen
• https://www.usability.gov/how-to-and-tools/methods/usability-testing.html
• https://www.usability.gov/how-to-and-tools/resources/templates.html
• Rubin, Chisnell Handbook of Usability Testing
• https://www.w3.org/WAI/EO/Drafts/UCD/questions.html
• Dumas, A Practical Guide to Usability Testing
• Bilder:
• https://www.iconfinder.com/icons/18141084
• https://de.wikipedia.org/wiki/Datei:Usability_Lab_02.jpg
Usability Tests - Nicole Freund, Daniel Schulz 4630.05.2017
Top Related