Sprachen
Seiten
Rechtliche
www.eresult.dewww.eresult.de
UX-TOOLS
eresult GmbH
ARTEN, EINSATZZWECKE, ANBIETER, BEWERTUNG
www.eresult.de 2
DER REMOTE USABILITY-TEST ÄHNELT EINEM USABILITY-TEST IM LABOR. DER TESTLEITER UND DER PROBAND SIND RÄUMLICHVONEINANDER GETRENNT.
www.eresult.de
EMPFEHLUNGENNEGATIVE FINDINGS
3
SYNCHRONE VS ASYNCHRONE REMOTE-TESTS
Asynchrone Remote-Tests• Proband und Testleiter besitzen eine räumliche und
zeitliche Distanz.
• Der Test findet ohne Moderator statt.
• Asynchrone Tests können einen selbstmoderierten (Tool
simuliert den Moderator) oder automatisierten (Tool
erhebt Daten im Hintergrund) Charakter besitzen.
Moderierte Remote-Tests• Proband und Testleiter besitzen eine zeitliche Nähe, aber
eine räumliche Distanz.
• Der Test wird vom Testleiter moderiert.
• Diese Form des Remote-Testing ähnelt stark dem Usability-
Test im Labor.
www.eresult.de
EMPFEHLUNGENNEGATIVE FINDINGS
4
ARTEN VON REMOTE USABILITY TESTS
Moderiert Selbst-moderiert Automatisiert
Qualitativ Quantitativ
Video Metriken
Wenige Probanden Viele Probanden
Warum? Was?
(Synchron) (Asynchron) (Asynchron)
www.eresult.de
EMPFEHLUNGENNEGATIVE FINDINGS
5
REMOTE-TESTS IM VERGLEICH ZUM USABILITY-TEST IM LABOR
Im Labor
• Besser für technisch wenig versierte Probanden
• Eingreifen in Prototypen möglich
• Bessere Beobachtungsmöglichkeiten für das Team
• Besserer Rapport zum Probanden
• Bessere Beobachtung von Körpersprache und Mimik
• Eyetracking möglich
Remote
• Schwierig zu rekrutierende Probanden
• Natürlichere Nutzungssituation
• Website-Intercepts möglich
• Keine Labormiete (ohne Beobachtung)
• Keine Reisekosten (internationale Tests)
• Geheimhaltung schwieriger
• Zugriff auf Prototypen und geschützte Systeme
schwieriger
www.eresult.de
EMPFEHLUNGENNEGATIVE FINDINGS
6
ERKENNTNISSE AUS BISHERIGEN REMOTE-TESTS
Moderiert vs. Unmoderiert
„Die Ergebnisse zeigen, dass die Moderation durch einen geschulten Testleiter einen positiven Effekt auf die Probanden besitzt“
„Durch die Moderation des Testleiters wirkten die Probanden engagierter. Die Angst Fehler zu machen wurden ihnen genommen“
„Besonders ruhige Probanden wurden durch den Moderator zum lauten Denken animiert“
„Besonders bei sehr kritischen Usability-Problemen lieferten die moderierten Methoden deutlich bessere Ergebnisse als der asynchrone RUT“
Labor vs. Remote
„Bei Remote-Tests ist der technische Anspruch an die Probanden deutlich höher als bei einem Usability-Test im Labor“
Quelle: Dustin Rauch: Mobile Usability-Evaluation: Ein empirischer Vergleich der qualitativen Testmethoden Labortest, synchroner Remote-Test und asynchroner Remote-Test im Kontext mobiler Applikationen – Masterarbeit in Zusammenarbeit mit der Stiftung Universität Hildesheim und eResult GmbH
www.eresult.de
EMPFEHLUNGENNEGATIVE FINDINGS
7
TOOLS FÜR REMOTE-TESTS GIBT ES VIELE…
www.eresult.de
MODERIERTE REMOTE TESTS
8
www.eresult.de
EMPFEHLUNGENNEGATIVE FINDINGS
MODERIERTE REMOTE TESTS
Tool
Audio und Video
des Probanden
Screensharing
9
www.eresult.de
EMPFEHLUNGENNEGATIVE FINDINGS
MODERIERTE REMOTE TESTS
VORTEILE NACHTEILE
Prototypen möglich
Anpassungen des Studienkonzeptes
zwischen/während Tests möglich
Nachfragen durch den Moderator möglich
Natürliche Testumgebung
Spontaner durchführbar
Komplexere, aufeinander aufbauende Szenarien
möglich
Hilfestellungen zum nächsten Schritt einer Aufgabe
möglich
Unnatürliche Situation durch Moderator
Nur Probanden mit gewisser technischer Affinität
möglich
10
www.eresult.de
TEAMVIEWER (QUICKSUPPORT)
Weit verbreitete Software für Screen
Sharing und Remote Tech Support
Bei Android alles möglich
iOS Apps nur mit eingebautem SDK
Man kann auch als Interviewer
bedienen, helfen, Prototyp fixen
Kosten: einmalig 579€ (nur Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
11
www.eresult.de
ZOOM
Weitere Software für Screensharing
Bei Android alles möglich
Auf iOS ist ebenfalls alles möglich, aber
nur via AirPlay auf PC/Mac
Keine Bedienung des Probanden-Gerätes
durch den Moderator, nur Screen-
Sharing
Kosten: 15€ / Monat (nur Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
12
www.eresult.de
VALIDATELY
Speziell auf Usability-Tests ausgelegtes Tool
Websites sowie Android-Apps über
Validately-App möglich, die beim Probanden
installiert wird
Bisher alles nur auf Englisch, also
Erklärungen und Tutorials zur Installation
Rekrutierung möglich, aber keine Details
bekannt
Kosten: 199€ / Monat (nur Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
13
www.eresult.de
LOOKBACK
Lookback Live: Ebenfalls Tool speziell für
Usability-Tests
Aktuell nur MAC und iOS-Websites möglich
Alle weiteren Devices aber „soon“, auch
Apps
Sollte beobachtet werden
Kosten: 59€ / Monat (nur Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
14
www.eresult.de
SELBST-MODERIERTE REMOTE
TESTS
15
www.eresult.de
EMPFEHLUNGENNEGATIVE FINDINGS
SELBST-MODERIERTE REMOTE TESTS
VORTEILE NACHTEILE
Keine unnatürliche Situation durch Moderator
Natürliche Testumgebung
Spontaner durchführbar
Prototypen nur eingeschränkt möglich
Keine Anpassung des Studienkonzeptes
zwischen/während Tests
Kein Nachfragen durch Moderator möglich
Nur Probanden mit gewisser technischer Affinität
möglich
Keine zu komplexen, z.B. aufeinander
aufbauenden Szenarien
Dauer ist begrenzt auf max. 30min
16
www.eresult.de
VALIDATELY
Beliebige Aufgaben und Zwischenfragen möglich
Aktuell Anleitung für Probanden nur auf englisch
Bisher nur mobile Web möglich
Android-App-Unterstützung soll im März
kommen
Rekrutierung aus Panel ist möglich, aber nur für
bestimmte englischsprachige Länder
Kosten: 199€ / Monat (nur Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
17
www.eresult.de
LOOKBACK
Lookback war Vorreiter in diesem Bereich
iOS wird nur über Verbindung mit Mac-Laptop
unterstützt
Problem: Es kann kein Testablauf mit Aufgaben
und Fragen angelegt werden. Das Tool ist nur für
die Aufnahme und das Hochladen der Videos.
Somit müssen die Aufgaben auf anderem Web
übermittelt werden, z.B. per Mail
Kosten: 59€ / Monat (nur Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
18
www.eresult.de
RAPIDUSERTESTS
Einer der wenigen deutschen Anbieter
Schon lange am Markt, Fokus auf kleineren,
günstigen Studien
Anzahl der Aufgaben und Fragen relativ
eingeschränkt
Tool und Rekrutierung vermutlich nur in Deutsch
Kosten: ab 49€ / Proband (Tool + Rekrutierung),
ab 3000€ (Full-Service)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
19
www.eresult.de
USERTESTING.COM
Pionier und Marktführer für selbst-moderierte Tests
Alle Plattformen möglich
Tool nur auf Englisch
Rekrutierung direkt nur für bestimmte
englischsprachige Länder, mit anderen Panels aber
auch für andere Länder
Eigene Nutzer für App-Testing nur als „Custom
Panel“ mit Technik-Einführung
Kosten: ab 49€ / Proband
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
20
www.eresult.de
APPLAUSE
Reiner Full-Service-Anbieter
Panel von Probanden, das geschult ist für
die Durchführung der Tests
iOS und Android, Web und Apps
Sprachen des Tools sind unklar
Dies würde über englisch sprechende Tester
(in den gewünschten Ländern) abgedeckt
Kosten: individuell, ca. ab 3000€ / Studie
(Full-Service)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
21
www.eresult.de
USERZOOM
Umfangreiche Tool-Suite, auf größere Unternehmen
ausgerichtet
App-Testing erfordert eingebaute SDKs
Je nach gewünschten Daten (Video, Klickpfade)
müssen gewisse Plugins bei den Probanden
installiert werden
Anbindung an diverse Panel-Anbieter für die
Rekrutierung
Kosten: individuell, ca. ab 2500€ / Studie (nur Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
22
www.eresult.de
AUTOMATISIERTE REMOTE TESTS
23
www.eresult.de
EMPFEHLUNGENNEGATIVE FINDINGS
AUTOMATISIERTE REMOTE TESTS
VORTEILE NACHTEILE
Keine unnatürliche Situation durch Lautes Denken
und Moderator
Natürliche Testumgebung
Leicht quantitativ durchzuführen und
auszuwerten, somit gut für Metriken
Spontaner durchführbar
Prototypen nur eingeschränkt möglich
Keine Anpassung des Studienkonzeptes
zwischen/während Tests
Kein Nachfragen durch Moderator
Keine verbalen Aussagen zur Begründung, maximal
in Textform
Nur Probanden mit gewisser technischer Affinität
möglich
Keine zu komplexen, z.B. aufeinander
aufbauenden Szenarien
Dauer ist begrenzt auf max. 20min
24
www.eresult.de
APPLAUSE
Eigentlich kein richtiges automatisiertes
Testing, da es keine automatisierte
Auswertung, Klickpfade etc. gibt
Aber es lassen sich auch Studien mit
vielen Nutzern und Fokus auf einem
quantitativen Fragen durchführen
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
25
www.eresult.de
USERZOOM
Bietet den größten Feature-Umfang für
automatisierte Tests
Beliebige Kombination von verschiedenen
Methoden (Test-Aufgaben, Survey-Fragen, Card
Sorting etc.) möglich
Umfangreiche automatisierte
Auswertungsmöglichkeiten (Klickpfade etc.)
Kosten: individuell, ca. ab 2500€ / Studie (nur
Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
26
www.eresult.de
LOOP11
Klarer Fokus auf automatisierte Tests,
preisgünstiger als UserZoom
Übliche Auswertungsmöglichkeiten: Success
Rates, Klickpfade etc.
Session Recordings (ähnlich Mousetracking) sind
möglich, wenn Javascript eingebunden wird
Rekrutierung über Panel möglich, aber wohl
ohne direkte Anbindung
Kosten: 199€ / Monat (nur Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
27
www.eresult.de
CHALKMARK
Sehr kleiner Fokus: First-Click-Testing
Es wird je Aufgabe ein Screenshot
gezeigt und eine Aufgabe dazu. Das erste
Klickziel wird gespeichert
Dazu noch Fragebogen möglich
Rekrutierung über Panel möglich, aber
wahrscheinlich nur englischsprachig
Kosten: 99€ / Studie (nur Tool)
Deutsche Sprache
Weitere relevante Sprachen
Mobile Web (iOS)
Mobile Web (Android)
Native Apps (iOS)
Native Apps (Android)
Probanden-Rekrutierung
Eigene Probanden
DIY-Studien
Full-Service-Studien
28
www.eresult.de
KONTAKT
29
www.eresult.de
Elske Ludewig
Principal UX-Consultant & Managing Partner
Tel: +49 551 5177-424
E-Mail: [email protected]
Dustin Rauch
User Experience Consultant
Tel: +49 551 49569-336
E-Mail: [email protected]
Kundenbetreuer
Projektleiter
Webseite: www.eresult.de
Themenblog: www.usabilityblog.de
eresult-Standorte: Hamburg | Göttingen | Köln | Frankfurt | München | Stuttgart
KONTAKT
Top Related