Usability-Testing - nichts leichter als das!

aiciti. eBusiness Kongress 2011. Usability Testing - nichts leichter als das. Namics.

Thomas Link. Creative Director. Partner.Andri Stoffel. Senior Manager.

11. Mai 2011

Namics.

Agenda.

Yes we can... warum ausgerechnet Sie testen sollen

Organisiertes und Ad-hoc Testing

Produkt-Roadmap entlang Usability Meilensteinen

Wandel im Unternehmen erreichen

So geht‘s... das sollten Sie beachten – eine Checkliste

90 Minuten im Überblick.

11. Mai 2011 aiciti. Usability Testing - nichts leichter als das.3

Namics.

Yes we can!

Warum ausgerechnet Sie testen sollen.

11. Mai 2011 4 aiciti. Usability Testing - nichts leichter als das.

Testen ist keine Wissenschaft.

Yes we can!

Photo by Lew57 - http://flic.kr/p/7XhKB9

Ein Orchester statt separate Spezialisten.

Yes we can!

Photo by kevindooley - http://flic.kr/p/7ejcDF

Usability Tests sind nicht „objektiv“.

Yes we can!

Photo by eprouveze - http://flic.kr/p/48kDzX

Konzeption heisst Testpersonen erleben.

Yes we can!

Photo by visualpun.ch - http://flic.kr/p/8VCkZf

Technologie ist das Einzige was in Ihrer IT zählt?

Yes we can!

Photo by flydime - http://flic.kr/p/8hB5oD

Sie haben keine Zeit… für Diskussionen?

Yes we can!

Photo by Pulpolux !!! - http://flic.kr/p/w5T6p

Treffen Sie informierte Entscheidungen.

Yes we can!

#0044CC, das 80 Million Dollar Blue…

Wollen Sie besser als Ihre Mitbewerber sein?

Yes we can!

Picture bymdpettitt - www.flickr.com/photos/mdpettitt

Namics.

Natürlich wollen Sie den Erfolg!

Yes we can!


User Centered Design

Optimierung Analyse

KonzeptionUmsetzung

Performance und Erfolg

Ziele

Innovation

Status quo Test1

Prototyp Test2Usability Controlling 3

Kontroll Test 4

A/B Split Test 5

Sie erhalten, was Sie testen…

Quelle: http://blog.namics.com/2009/11/user-centered-d.html

Namics.

Warum Sie testen sollen.

Mutige Innovationen bestätigen

Innovation von der „Quelle“ abschöpfen

Und darum besser als Ihr Mitbewerber

Persönliche Lernkurve

„Vom User lernen“ macht Sie zum Entscheider

Erleichterung der internen Argumentation und Diskussion

Konzept-Sicherheit und Ziel Erreichung

Ruhiger Schlafen – „Teures will man kennen“

Yes we can!


Namics.

Organisiertes und Ad-hoc Testing.


Namics.

Eine Frage der Frage.


Ad-hoc Test

?

Rekrutierung

Woche 3 Woche 4Woche 2Woche 1

Prototyp

TestplanTest

Testaufgaben & Ziel

Organisierter Test

? Antwort

Antwort


Namics.

Ad-hoc Test: „Tabellensortierung“

Sind Pfeile zur Markierung der Sortierung nötig?



http://bit.ly/gNQA8S

Variante A: Pfeile

Variante B: Links

Namics.

Organisierter Test: „Folksonomy“

Kann das Tagging Prinzip im Intranet eingesetzt werden?



Namics.

Zwei Fragen, zwei verschiedene Tests.

Abgeschlossene Frage

Sind Pfeile zur Markierung der Sortierung nötig?

Teilnehmerzahl grösser als 10

Verständlichkeit, Gebrauchseignung und Effizienz

Test mit vorhandenem Arbeitsstand

Umfassende Suche

Kann das Tagging Prinzip im Intranet eingesetzt werden?

5 Testpersonen

Gebrauchseignung, Effektivität und Lernbarkeit

Test am Beispiel bekannter Websites



Namics.

Gemeinsame Grundlage aller Tests.



Usability Test Grundlagen

Problem-Hypothese(Lernziel)

Erstellung eines geeigneten

Prototyps

Korrekte und bewusste

Teilnehmerwahl

Testfälle konzipieren und

schreiben

Zielformulierungfür Bedienbarkeit

Namics.aiciti. Usability Testing - nichts leichter als das.21

Problem-Hypothese (Lernziel).

Was will man vom Nutzer lernen?

Kein Test ohne Lernbedarf

Abgeschlossene Fragen vs. umfassende Suche

Wahrscheinlichkeit zu Scheitern

Bereitschaft zur Design-Iteration


11. Mai 2011

Je grösser die Wahrscheinlichkeit zu Scheitern, umso wertvoller ist die Feststellung des Erfolgs!

Namics.

Korrekte und bewusste Teilnehmerwahl.

Suchen Sie Ihre Nutzer sorgfältig aus

Vorhandene Research-Arbeit (Persona) nutzen

Rekrutieren Sie auf Ihrer Website

Nehmen Sie sich Zeit

Entschädigen Sie grosszügig

Wie viele Teilnehmer?

Überzeugungsgrad der Antworten vs. Dauer der Sessions

Wenige Teilnehmer? Dann 4 Personen

Ab 11 Testpersonen wird es „langweilig“




Zielformulierung für Bedienbarkeit.

Grundsätzliche Dimensionen

"Ease of learning" vs. "Efficiency of use over time“

Problemstellen erkennen

Fehlinformationen

Unvollständige Transaktionen

Andauernder Bedarf an User-Support


11. Mai 2011


Tasks konzipieren und schreiben.

Basierend auf Zielen der Nutzung

Immer im Bezug auf den Produkt-Erfolg

Sie erhalten, was Sie messen

Angemessene Komplexität

Eingeschränkte und vorhersehbare Menge an Lösungswegen


11. Mai 2011


Erstellung eines geeigneten Prototyps.

Ohne Studienobjekt kein Test

Meine Auswahl an Tools:Papier, PowerPoint, Visio, Fireworks, Axure RP Pro, HTML

Low-fidelity vs. High-fidelity

Papier heisst nicht zwingend „low-fidelity“

Obligatorisch: 1-2 Usability Tests zur Probe


11. Mai 2011

Je präziser Inhalt und Form des Prototyps, desto präziser wird das Feedback!

Unterschiede.


Photo by law_keven - http://flic.kr/p/5vbMzh

Namics.

Was kostet ein „Test“?



Ad-hoc Test

5 Testpersonen

15min Testdauer

Design Briefing

Test 1

5 Testpersonen

1h Testdauer

PPT Report

10min Video

Test 2

11 Testpersonen

1h Remote-Test

Schriftlicher Report

20min Video

Namics.

Usability Consulting Firma.



Ad-hoc Test

5 Testpersonen

15min Testdauer

Design Briefing

Test 1

5 Testpersonen

1h Testdauer

PPT Report

10min Video

Test 2

11 Testpersonen

1h Remote-Test


20min Video

45 - 50 Stunden

CHF 12,200 Arbeitsaufwand CHF 1,800 für Rekrutierung CHF 400 für Entschädigung CHF 0 für LaborCHF 100 für Spesen

CHF 14,500 – 16,000

85 - 100 Stunden

CHF 23,000 Arbeitsaufwand CHF 1,600 für Rekrutierung CHF 1,000 für Entschädigung CHF 300 für Labor*CHF 60 für Spesen

CHF 26,000 – 32,000

5 - 7 Stunden

CHF 1,350 Arbeitsaufwand CHF 300 für Rekrutierung CHF 200 für Entschädigung CHF 0 für LaborCHF 0 für Spesen

CHF 1,850 – 2,000

Namics.

In-House Test – selbst durchgeführt.



Ad-hoc Test

5 Testpersonen

15min Testdauer

Design Briefing

Test 1

5 Testpersonen

1h Testdauer

PPT Report

10min Video

Test 2

11 Testpersonen

1h Remote-Test


20min Video

45 - 50 Stunden

CHF 5,300 Arbeitsaufwand CHF 800 für Rekrutierung CHF 400 für Entschädigung CHF 0 für LaborCHF 100 für Spesen

CHF 6,600 – 7,100

85 - 100 Stunden

CHF 8,500 Arbeitsaufwand CHF 700 für Rekrutierung CHF 1,000 für Entschädigung CHF 300 für Labor*CHF 0 für Spesen

CHF 10,500 – 12,000

5 - 7 Stunden

CHF 500 Arbeitsaufwand CHF 300 für Rekrutierung CHF 200 für Entschädigung CHF 0 für LaborCHF 0 für Spesen

CHF 1,000 – 1,200

Namics.

Kostenrelevante Entscheidungen.

Unnötige Fragestellung

Anzahl Tasks (Testfälle)

Insbesondere bei Konzept-Tests (Prototypen)

Ausführliches Reporting – macht den Test nicht besser

Sorgfältige Rekrutierung kostet Zeit

Besonders wichtig bei wenig Testpersonen

Sparpotential

Eigene Website zur Selektion & Rekrutierung

Remote-Testing ab 10 Testpersonen in Erwägung ziehen




Hilfreiche Online-Dienstleister

Remote Testing

loop11.com Unmoderierte Tests mit guter

Führung der Testpersonen

Kein Eingriff in die Website nötig (meistens)

Erste Auswertung ohne aufwändige Analyse

Userfeedback.ch Unmoderierte Tests mit Video als

Resultat

Preis pro Test-Person incl. Entschädigung

Rekrutierung

ethnio.com Einfachste Rekrutierung auf Ihrer

eigenen Website

„Screening“ Fragen im PopUp

Keine Koordination mit Recruiting-Firma und Aufbau des eigenen Testpersonen-Pool

Ihre eigene Website


11. Mai 2011

Gutschein-Codes: 3 zum Preis von 2: AICITI3FOR2 5 zum Preis von 3: AICITI5FOR3

Namics.

Produkt-Roadmap entlang Usability Meilensteinen.


Produkt-Roadmap.


Picture by 23633172@N07 - www.flickr.com/photos/23633172@N07

Pläne.

Ziele.

Wer hat‘s erfunden?

Namics.

Hören Sie nie auf mit Usability Testing.



Neues Feature

Aktueller Release

Usability Test

Unerfülltes Bedürfnis

WOW

Namics.

WOWWOWWOWWOWWOWWOW

Hören Sie nie auf mit Usability Testing.

Innovation

User Experience ist nach oben unlimitiert

Ein kompetitiver, gesättigter Markt erfordert Innovation

Kunde und Zusammenspiel aller „Touchpoints“



Neues Feature

Aktueller Release

Usability Test

Unerfülltes Bedürfnis

WOW

Namics.

UCD im Innovationsprozess.



Innovation User CenteredDesign

braucht

generiert

Namics.

Wandel im Unternehmen erreichen.

Changing your Organisation


„Changing the organization is the most difficult and most important part of user experience work.“

But how?

Namics.

Wo setze ich an?

Wandel...

...ist ein stetiger Ablauf und erfolgt nicht von heute auf morgen

...erfordert einen spürbaren und beständigen Willen zur Verbesserung

...ist typischerweise top-down getrieben und erfolgreich



Feiern Sie die gefundenen Probleme!


Picture by deegephotos - www.flickr.com/photos/deegephotos

...damit alle wissen, was nicht funktioniert!

alle...

alle...

alle...

Namics.

Sorgen Sie für Zahlen!


Absolut

Analytics Conversion Performance A/B Varianten

Verhältnis Zielerreichung Optionen


Namics.

Framework.



Results Organisation Strategy Experience

Business Resultate zählen

Buy-in

Fry the biggest fishes

Kern

Namics.

So geht‘s... das sollten Sie beachten.


UX-Staffing.


Photo by Universalmuseum Joanneum - www.museum-joanneum.at Photo by www.basilrathbone.net/films

Generator Validator

Namics.

UX-Staffing.

Generator.

ideenreich

innovativ

unabhängig

mutig

zahlreich

Validator.

überprüfend

bedienbar

umsetzbar

absichernd

selektiv



wechselseitig eine furchtbar fruchtbare Kombination

Namics.

In 21 Tagen zum erfolgreichen Testresultat.



Namics.

1. Test-Ziele festlegen

2. Test-Inhalt & -Funktionen bestimmen

3. Test-Personenprofile entwickeln & Assessmentfragen ableiten

4. Start Rekrutierung

5. Equipment reservieren & zusammenstellen (Computer, Kamera, Bildschirme, etc.)



3 Wochen

davor

2 Wochen

davor

1 Woche

davor

1 Tag

davor

Am Morgen

Namics.

TIPP: Test-Ziele festlegen

Sie bekommen, was Sie messen

Easy-to-learn oder Effizienz in der täglichen Nutzung

Hypothesen erstellen, wo Problemstellen vermutet werden(Kein Alibi-Test)



3 Wochen

davor

2 Wochen

davor

1 Woche

davor

1 Tag

davor

Am Morgen

Namics.

1. Tasks und Szenarios schreiben

2. Tagesplanung für den Test-Tag erstellen

3. Beobachter einladen



3 Wochen

davor

2 Wochen

davor

1 Woche

davor

1 Tag

davor

Am Morgen

Namics.

1. Überprüfung Stand Rekrutierung

2. Test-Plan finalisieren, Erlaubnis zur Datenverwendung, Treffpunkt & -ort den Testpersonen zustellen

3. Überprüfung Prototyp, ob Test-Szenarien abbildbar

4. Backupszenario und Ersatzbatterien organisieren



3 Wochen

davor

2 Wochen

davor

1 Woche

davor

1 Tag

davor

Am Morgen

Namics.

Backupszenario

Achtung beim Test auf Entwicklungs-Umgebungen:„Freeze“ für den Test-Tag verlangen

Wenn möglich, Alternativen vorbereiten

- Redundanter Server

- HTML-Abbild

- Screenshots



3 Wochen

davor

2 Wochen

davor

1 Woche

davor

1 Tag

davor

Am Morgen

Namics.

1. Test-Tasks auf Indexkarten drucken

2. Test-Skript für Moderator drucken

3. Fragebogen drucken oder Google Spreadsheet aufsetzen

4. Erlaubnis zur Datenverwendung drucken (falls Testpersonen diese vergessen)

5. Instruktionen für denBeobachter drucken

6. Test-Szenarien auf 1 Blatt drucken

7. Pilottest durchführen (Test-Skript und Szenarien anpassen)



3 Wochen

davor

2 Wochen

davor

1 Woche

davor

1 Tag

davor

Am Morgen

Namics.

8. Entschädigung für Test-Personen bereitlegen

9. Quittungen für den Erhalt der Entschädigung drucken

10. Test-Plan mit Telefonnummern drucken

11. Mit den morgigen Test-Personen Kontakt aufnehmen und Teilnahme bestätigen lassen

12. E-Mail an Beobachter mit Test-Plan und Teilnahme bestätigen lassen


3 Wochen

davor

2 Wochen

davor

1 Woche

davor

1 Tag

davor

Am Morgen


Namics.

13. Schliessen sämtlicher unüblicher Software auf dem Test-Rechner (Instant Messenger, E-Mail & Kalender Alarme, etc.)

14. Lesezeichen mit der URL des Prototypen setzen

15. Herausschreiben der Telefonnummer des internen technischen Firmensupports


3 Wochen

davor

2 Wochen

davor

1 Woche

davor

1 Tag

davor

Am Morgen


Namics.

1. Beobachtungsraum einrichten: Instruktionen, Szenarioliste und Test-Plan bereitlegen

2. Funktionstüchtigkeit des Prototyps nochmals überprüfen

3. Aufzeichnungssoftware überprüfen(Audio & Video)

4. Übertragung zum Beobachtungsraum überprüfen



3 Wochen

davor

2 Wochen

davor

1 Woche

davor

1 Tag

davor

Am Morgen

Namics.

1. „Reset“ der Prototypen-Webseite: Browser-History, Cookies, leeres Browserfenster öffnen

2. Bildschirm abschalten,Rechner laufen lassen

3. Aufzeichnungs-Software starten

4. Test-Task Indexkarten bereitlegen (sortiert/zufällig)



Letzte

Vorbereitung

Willkommen Direkt im

Anschluss

Am

Abend

1 Woche

danach

Namics.

1. Erwartungen abholen, klären und beruhigen

2. Test-Setup erklären

3. Entschädigung übergeben und Quittung unterzeichnen lassen

4. Erlaubnis zur Datenverwendung unterzeichnen lassen



Letzte

Vorbereitung


Anschluss

Am

Abend

1 Woche

danach

Namics.

TIPP: Entschädigung vor Test übergeben

Die Test-Teilnahme entschädigen und nicht das erfolgreiche Lösen einer Test-Aufgabe!



Letzte

Vorbereitung


Anschluss

Am

Abend

1 Woche

danach

Entschädigung muss nicht

verdient werden!

...führt zu entspannten

Test-Personen!

Namics.

1. Überleitung zum Fragebogen

2. Check, ob für Beobachter Unklarheiten bestehen

3. Recording anhalten und verständlich benennen: Nummer, Name, Datum

4. Vorbereitung für die nächste Testperson



Letzte

Vorbereitung


Anschluss

Am

Abend

1 Woche

danach

Namics.

TIPP: Offene Fragen stellen und Test-Person „sprudeln“ lassen

Was haben Sie unter diesem Titel verstanden?

Beschreiben Sie mit ein paar Worten wie nützlich Sie die Funktion empfinden?

Gibt es einen anderen Ort auf der Seite, an welchem diese Funktion für Sie hilfreich wäre?



Letzte

Vorbereitung


Anschluss

Am

Abend

1 Woche

danach

Keine geschlossenen Fragen (Ja / Nein

Antworten)

„Haben Sie diesen Titel

verstanden?“

Namics.

1. Debriefing: Findings mit dem Beobachter besprechen und die Top Issues bestimmen

2. Backup aller Recordings erstellen

3. Dankes-Mail an die Test-Personen des Tages versenden



Letzte

Vorbereitung


Anschluss

Am

Abend

1 Woche

danach

Namics.

Debriefing statt Reporting

Top 10 Issues – nur Daten oder Beobachtung des Verhaltens erlaubt, keine Interpretationen

- Beobachtung

- Zitate

- Fehler-/Erfolgs-Rate

Gruppierung & Bewertung

Diskussion

Verzicht auf Reporting bei Konsens in Issues und Lösungen


Letzte

Vorbereitung


Anschluss

Am

Abend

1 Woche

danach


Namics.

1. Präsentation der Test-Findings und Lösungsvorschläge

2. Verkaufen der erzielten Test-Erfolge



Letzte

Vorbereitung


Anschluss

Am

Abend

1 Woche

danach

Namics.

TIPP: Videos überzeugen! Lange Reports nicht...



Letzte

Vorbereitung


Anschluss

Am

Abend

1 Woche

danach

Namics.

Stolperfallen und Rührei.

Testen ohne Ziel(e)

Pre-Test nicht oder unvollständig gemacht

Prototyp nicht ausreichend oder fehlerhaft

Zu wenig Zeit zwischen den Testpersonen

Task unverständlich oder zu einfach

Moderator: Sichtbar frustriert oder mangelnde Distanz

Die Testperson hat immer recht



Namics.

Buchtipp.

Handbook of Usabiltiy Testingvon Rubin & Chisnell (EN)

www.usabilityworks.net

Download von Templates, Beispielen und Links zu weiteren Quellen www.wiley.com/go/usabilitytesting



$34

http://www.usabilityworks.net/

http://www.wiley.com/go/usabilitytesting



Resultate zählen – nicht gefundene Probleme.


Picture by deegephotos - www.flickr.com/photos/deegephotos

Namics.

Und genau das wollen wir...



User Centered Design

Optimierung Analyse

KonzeptionUmsetzung

Performance und Erfolg

Ziele

Innovation

Status quo Test1

Prototyp Test2Usability Controlling 3

Kontroll Test

A/B Split Test

4

5

Quelle: http://blog.namics.com/2009/11/user-centered-d.html

Namics.

Usability Testing - Nichts leichter als das.

Sie tragen die Verantwortung – darum sollten Sie testen

Testen kann jeder – es muss nur gemacht werden

Das Ziel und das Resultat ist relevant – nicht die Erkenntnis, dass der Wurm drin steckt

Die Organisation muss sich darauf ausrichten – das erreichen Sie über unternehmerischen Gewinn

Im Zentrum stehen Ihre Kunden – der Hebel ist dieUser Experience



Namics.

Bezug Referat und Checkliste.

Kurz gemerkt

http://j.mp/usability-testing

Blog Namics mit allen Namics aiciti-Referaten

http://blog.namics.com/2011/05/usability-testing-selbstgemacht.html


DOWNLOAD





Namics.

Mehr Namics. Save the date.

Namics Fachtagung, 19. Mai 2011, Zürich

Ein "One size Intranet" gibt es nicht - zum Glück.

Aiciti Referatsreihe bei Digicomp, 14. Juni 2011, Zürich

E-Publishing auf dem iPad. Business Ideen und Praxistipps für Konzeption und Interaction Design.

Smart Business Day, 29. September 2011, Zürich

„Commerce – jetzt aber richtig“ – Best Practices, Studienergebnisse und Expertenmeinungen

Details und Anmeldung unter:www.namics.com/kalender

12.04.2023 Denken. Präsentieren. Umsetzen.73

Usability-Testing - nichts leichter als das!

Technology

Transcript of Usability-Testing - nichts leichter als das!