Wie messe ich den Erfolg eines Redesigns? - Vorher-Nachher-Befragung vs. Conversion Rate, Usability...

Wie messe ich den Erfolg eines Redesigns? -Vorher-Nachher-Befragung vs. Conversion Rate

Usability Coffee, Bern, 19.November 2015

� Dr. sc. techn. ETH

� Studium der Biologie an der ETH Zürich mit der Vertiefung in Ergonomie und Usability

� Dissertation zum Thema «Transfer ofTraining in Driving Simulators»

� Usability-Erfahrung seit 1998

� CEO bei soultank AG

� Certified Scrum Product Owner

[email protected]

Marcel B.F. UhrCEO

| Folie 2soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015

� M. Sc. FHNW

� Studium der Angewandten Psychologie an der Fachhochschule Nordwestschweiz

� 4.5 Jahre Usability-Erfahrung

� Usability Consultant bei soultank AG seit Anfang 2013

� Certified Scrum Product Owner

[email protected]

Adrian LauperConsultant


soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015

� Wissenschaftlich fundiertes Beratungsunternehmen

� Seit 1996 im Bereich Usability und Ergonomie tätig

� 2000 Gründung soultank AG in Zug

� 5 Usability-Experten

� Betrieb eines Usability-Labors in Zug

� Europaweit tätig, Fokus Schweiz

Über soultank AG

| Folie 4

Referenzen soultank AG

soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015 | Folie 5

Weitere Referenzen: www.soultank.ch/content/referenzen

Unser Vorgehen - User Centred Design (UCD)


Conversion Rate / System AnalyseConversion Rate / System Analyse

� Beispiele für Aktionen sind:� Etwas kaufen

� Etwas downloaden

� Sich registrieren

� Anmelden für den Newsletter

� Rubriken bei Website wechseln bzw. anschauen

� Etc.

Conversion Rate

Was das ist


� Anteil Besucher, die eine gewünschte Aktion tätigen (Verhalten)

Conversion Rate

Gemessen wird das Verhalten der Nutzer


Quelle/Kanal

Landing Page

� Woher?� Auf welche Seite?� Mit welcher Abfolge?� Wie lange?� Welche Aktion?� Wo verlassen?

NewsletterNewsletter

Anmelden

Klick

� Kriterien über die Benutzer selbst, können nur marginal gemessen werden

� Vertiefte Aussagen über das Verhalten der Nutzer und das genutzte System

Conversion Rate

Gemessen wird das Verhalten der Nutzer


Benutzer

System

Aufgabe(Verhalten)

Kontext (Umfeld)

+++

+++

+

+

� Interesse vom Nutzer

� Attraktivität des Angebots

� Attraktivität der Webseite

� Usability der Webseite

� Produktkomplexität

� Preise

� Reputation der Marke

� Identifikation mit der Marke / dem Webauftritt

� Marketing-Kampagnen oder Presse

Conversion Rate

Einflussfaktoren bei Messung (für Verhalten)


� Makroziel (ein Beispiel)� Conversion Rate optimieren, indem mehr Kunden ein Produkt kaufen «bei

gleichbleibendem Traffic»

Conversion Rate

Makroziele vs. Mikroziele - Verhalten analysieren


Landing Page Bestellung

� Was sagt dies über:

� den Kunden selbst (Person, Erwartungen, Motivation etc.)

� den Kauf, das generelle Kaufverhalten?

� wie das Ziel erreicht wurde?

Conversion Rate



� Welche Faktoren sind für die Conversion Rate verantwortlich?� Häufig besteht ein Informationsdefizit seitens Unternehmen, klare

Fragen nach dem «warum» können nicht beantwortet werden

� Mikroziele

� Konkrete Fragestellungen über Elemente wie: Navigation, Filter etc.� Je detaillierter Fragestellung und Messung, desto einfacher ist es,

Problemstellungen zu finden

� Wissen von Mikrozielen kann genutzt werden, das Makroziel zu erreichen


Landing Page Kategorienseite Detailseiteseite Check-out Bestellung

Mikro Mikro Mikro Mikro Makro

Conversion Rate


� Detail-Aussagen zu einzelnen Elementen möglich, wenn:

� Veränderung von Elementen gezielt gemessen wird, wie sie sich auf das Verhalten der Nutzer auswirkt

� Kontrolle von weiteren Einflussfaktoren

� Ansonsten kann nicht auf Veränderung geschlossen werden

� Bspw. weniger Eingabefelder in Formularen beim Check-out-Prozess

Conversion Rate



Step 2 Step 3

Mikro Mikro

Check-out-Prozess

Online-Befragung / Vorher und NachherOnline-Befragung / Vorher und Nachher

“Standardisierte Beurteilung von Systemen anhand vorgegebener Kriterien (bspw. ISO-Norm-Kriterien), um zu quantitativenAussagen der Nutzer zu gelangen“

� Subjektive Urteile der Nutzer zu bestimmten Systemaspekten

� Befragung von grossen Nutzerpopulationen (Objektivität)

Online-Befragung

Was das ist


SystemSystem beurteilen

� Standardisierte Beurteilung von Systemen anhand vorgegebener Kriterien (bspw. ISO-Norm-Kriterien), um zu quantitativen Aussagen der Nutzer zu gelangen

Vorher-Nachher-Befragung

Was das ist


altes System neues System

Nachher-BefragungVorher-Befragung

� Messen, wie Nutzer das neue System im Vergleich zum alten System beurteilen (bspw. Relaunch einer Webseite)


� Beispielfragen� Was ist Ihr Besuchsgrund?

� Produkt kaufen� Über Produkt informieren

� Nutzergruppe (bspw. aufgrund Personas). Sie sind:� Privatkunde� Geschäftskunde� Auf Job-Suche� Usw.

� Subjektive Beurteilung System. Fragen zum Inhalt: (Skala von 1 = "Stimme überhaupt nicht zu", 6 = "Stimme voll und ganz zu")

� Für mich wichtige Informationen sind vorhanden

Online-Befragung (Vorher-Nachher-Befragung)

Was das ist

� Nutzer werden befragt zu ihrer Erfahrung, Meinung, zum Verhalten und dem genutzten System



Gemessen werden Benutzer, Meinung Aufgabenerfüllung

Erwartung System/Inhalt

Erfahrung & ExpertiseSystem/Inhalt/Internet

Motivation/Interesse

Demographische Daten Subjektive Beurteilung System

� Effektivität� Effizienz� Zufriedenheit � Attraktivität� Loyalität� Etc.

Benutzer Aufgabe(Verhalten)

SystemGenutztes System

Besuchsgrund

� Vertiefte Aussagen über den Benutzer. Je nach detaillierungsgrad der Fragen sind vertiefte Aussagen über Kontext und Aufgabe möglich.


Gemessen werden Benutzer, Meinung Aufgabenerfüllung


Benutzer

System

Aufgabe(Verhalten)

Kontext (Umfeld)

+++++

++

+


� Eingeschränkte Bewertungsfreiheit

�Deshalb zusätzlich offene Antwortfelder anbieten

� Verständnisfragen sind nicht möglich

�Konstruktion und Antworte-Kategorien bei Fragebogen wohl überlegen

� Überpräsentation von Nutzern mit höherer Computerexpertise

� Zusätzlich Erfahrung abfragen, anhand derer Ergebnisse segmentiert werden können

� Unverbindlichkeit des Online-Mediums �� hohe Abbrecherquote

�Ca. 10% ist normal, Daten sollten herausgefiltert werden


Einflussfaktoren bei Messung


� Ergebnisverzerrung durch onlinespezifische Gestaltungsfehler

� Technische Fehler/Probleme

� Lange oder langweilige Befragung� Aufruf für Befragung richtig platzieren

� Zugehörigkeit Nutzer zur Zielpopulation

� Anonyme Erhebung vs. Besonderheiten Zielgruppe verstehen

� Qualität des Erhebungsinstruments� Qualität der Daten ist abhängig von dessen Qualität (sehr

aufwändig in der Konstruktion nach testtheoretischen Prinzipien)


Einflussfaktoren bei Messung

� Insgesamt nur globale Aussagen zur Usability und Attraktivität des Systems möglich

� Alternativ können einzelne Prozesse wie der Check-out-Prozess beurteilt werden (zeitnahe Präsentation Fragebogen)

� Zusätzliche offene Antwortfelder geben detaillierteren Einblick


Daten analysieren


Landing Page Kategorienseite Detailseiteseite Check-out Bestellung

Step 1 Step 2 Step 3

global über ganzes System

� Nicht nur einzelne Aussagen zum Benutzer, zur Aufgabe oder System können gemacht werden, sondern auch zu deren Zusammenhänge


Daten analysieren


Benutzer

System

Aufgabe(Verhalten)

Kontext (Umfeld)

� Beispiel: Privatkunden haben tendenziell die Informationen schneller gefunden als Geschäftskunden

Conversion Rate vs. Online-Befragung

Vergleich


Conversion Rate Online-Befragung

� Gemessen wird Verhalten (Aktionen) der Benutzer

� Gemessen wird Meinung (Zufriedenheit etc.) der Benutzer

� Bestimmung von Nutzerpfaden, Abbruchraten/Effektivität von Prozessen (bspw. Check-out)

� Bestimmung von Nutzer-meinungen


Vergleich



� Gründe für Veränderung (warum) der CR schwierig zu bestimmen. Wird transparenter durch Mikroziele oder zusätzlicher Befragung

� Gründe für Veränderung der Zufriedenheit klarer. Mitunter auch durch offene Fragen und Detaillierungsgrad des Fragebogens. Einflussfaktoren sind bestmöglich zu kontrollieren

� Herausforderung liegt in der Interpretation des gezeigten Verhaltens (was waren konkrete Gründe dafür)

� Herausforderung liegt in der Interpretation der Meinungen,offene Fragen tragen zum Verständnis bei


Vergleich



� Zielgruppe gänzlich unbekannt (wer hat welches Verhalten gezeigt)

� Zielgruppe kann bestimmt und segmentiert werden

� Schnell und flexibel einsetzbar.Für objektive Messung sollten jedoch konkrete Ziele gesetzt werden

� Sorgfältige Planung für Durchführung, nicht zu oft einzusetzen

� Methoden der empirischen Sozialforschung (Schnell R., Hill P.B. & Esser E.)

� Methoden der Usability Evaluation (Sarodnick, F. & Brau, H.)

� TrakkBlog (2013). Die Makro- und Mikrozieleder Conversion Rate. Verfügbar unter: www.trakken.de/trakkblog/optimization/makro-und-mikroziele-der-conversion-rate/

� Nielsen, J. (2013). Conversion Rates. Verfügbar unter: www.nngroup.com/articles/conversion-rates/

Literatur


� Usability Coffee in Bern� Bern, Donnerstag, 21. Januar 2015: Do’s und Dont’s bei Online-

Formularen

� Mehr Informationen finden Sie auf unserer Webseite oder dem hashtag #usabilitycoffee auf Twitter

Nächste Termine


Herzlichen Dank für Ihre Aufmerksamkeit

Bei Fragen stehen wir gerne zur Verfügung

AB14

Folie 31

AB14 Nach vorne genommen, bevor das Team kommt.Andreas Bossard; 08.05.2015

Team

soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015 | Folie 32

soultank AG

Bahnhofplatz

Postfach 4744

6304 Zug

Tel: +41 41 726 50 20Fax: +41 41 726 50 26www.soultank.ch

Gaby SurberMonique Andres

Marcel B.F. Uhr Bianca Redel Andreas Bossard Adrian Lauper

Stefanie Friedli Jérome Fischer

Wie messe ich den Erfolg eines Redesigns? - Vorher-Nachher-Befragung vs. Conversion Rate, Usability...

Data & Analytics

Transcript of Wie messe ich den Erfolg eines Redesigns? - Vorher-Nachher-Befragung vs. Conversion Rate, Usability...