Die Zukunft der Optimierung

PROGRAMM

1. Warum A/B Testing?

2. 5 Praktische Beispiele

3. Ideen für Tests finden

4. Die Zukunft der Optimierung

MARIUS KREMEYER

Senior Account Executive

Psychologe

marius@optimizely.com

Dan Pete

2006: Dan Siroker und Pete Koomen— Product Manager bei Google

2008: Dan — Obama Campaign

2008 - 2010: Carrotsticks, Spreadly, und Y Combinator.

2010: Gründung von Optimizely

2012 (Okt.): 100,000th Experiment, over 1 Billion pages. #1 Website Optimization Platform

2013: $28M für Internationalisierung

100K

$28M

Unsere Geschichte

9000 Glückliche Kunden

$57M 2014: $57M für weitere Expansion

1. Warum A/B Testing?

92:192$ werden für Trafficakquise ausgegeben, nur 1$ für die Optimierung

* IBM TeaLeaf, 2012

1994Seit wann optimiert Amazon seine Webseite?

10 - 20Quelle: Wikimedia.org

Wie viele A/B Tests macht Wikipedia pro Tag?

6000Quelle: Forbes India

Wie viele A/B Tests macht Google pro Jahr?

RICHARD FEYNMAN

“During the Middle Ages there were all kinds of crazy ideas, such as that a piece of rhinoceros horn would increase potency. Then a method was discovered for separating ideas […] And it developed very well, so that we are now in a scientific age.”

RICHARD FEYNMAN

“But even today I meet lots of people who sooner or later get me into a conversation about UFOs, or astrology, […] and so forth.

And I’ve concluded that it’s not a scientific world.”

JOHN OHRINGER - CEO SHUTTERSTOCK

“Nothing goes live on Shutterstock without Testing.”

JEFF BEZOS - CEO AMAZON

“Experiments are by their very nature prone to failure. But a few big successes compensate for dozens and

dozens of things that didn’t work.”

2. Praktische Beispiele

ALLES HINTERFRAGEN!

700.000 EXPERIMENTE SPÄTER

PRAKTISCHE BEISPIELE

BEISPIEL: CHROME INDUSTRIES

Performen Bilder oder Videos auf Produktseiten besser?

HYPOTHESE

Wenn: Wir statt Bildern Videos auf die Produktseiten setzen Dann: Steigen die Bestellungen Weil: Wir uns durch die Bilder emotionaler angesprochen fühlen.

+ 0,2% Conversions

0,2% Uplift in Sales

Videoproduktion teuer

—> Videos nicht rentabel

Große Ersparnis durch die Verwendung von Bildern

LEARNING

BEISPIEL: SIM CITY

Wie erhöhen wir die Anzahl der Vorbestellungen für Sim City?

HYPOTHESE

Wenn: Wir den Rabattbanner entfernen Dann: Steigen die Vorbestellungen Weil: Die Besucher “nur” an dem neuen Spiel interessiert sind und nicht an Rabatten für Folgekäufe.

+ 43% Vorbestellungen

Banner & 20$ off bei nächster Bestellung lenken ab

LEARNING

BEISPIEL: MAGINE

Wie erhöhen wir die Anzahl der Abonnenten?

HYPOTHESE

Wenn: Wir eine Grafik zum Anmeldeprozess auf der Landing Page einsetzen Dann: Steigen die Anmeldungen Weil: Die Besucher genau wissen, welche Schritte auf Sie zukommen werden

- 2% Klicks

+ 9% Abonnenten

Weniger Micro Conversions (Klicks)

Mehr Macro Conversions (Anmeldungen)

Da Nutzer wissen, worauf sie sich einlassen.

LEARNING

BEISPIEL: BLEACHER REPORT

Wie erhöhen wir Facebook Likes und somit Wiederkehrenden Traffic?

HYPOTHESE

Wenn: Wir die Box für Social Shares besser* darstellen Dann: Steigen die Fans auf Facebook und wiederkehrender Traffic Weil: Die Besucher eine andere Darstellung der Box weniger aufdringlich finden

ORIGINAL

SOCIAL CONVERSIONS

HEUTE: SOCIAL PROMOTION

ERGEBNIS

+ 764% Social Conversions

3. Ideen für Tests finden

OPTIMIERUNGSZYKLUS

Ergebnisse!

Analyse!

Hypothesen!

Priorisierung!

A/B Test!

ABER WO FANGE ICH AN?

ANALYTICS

ANALYTICS

Visits

Sign-Ups $ perRecipient

Visitorsper Day

Email $$

ANALYTICS

Visits

Sign-Ups $ perRecipient

Visitorsper Day

Email $$

TICKETS / FRAGEN

NUTZER TESTS / USER-TESTS

HEATMAPS / EYETRACKING

Quelle: ClickTale, Eyequant

WETTBEWERBERANALYSE

1. Welche Webseiten nutzen Sie gerne?

2. Wer sind Ihre direkten Wettbewerber?

3. Was funktioniert in anderen Branchen / Kategorien besonders gut?

4. Die Zukunft der Optimierung

Optimizely ist für A/B Testing von Webseiten…

…UND AUCH FÜR:

• Personalisierungskampagnen

• Segmentierung von Besuchergruppen

• Agile Entwicklung & Deployments

• Optimierung mobiler Webseiten

• Optimierung von Apps in iOS & Android

• Cross-Channel Optimierung

PERSONALISIERUNG

HYPOTHESE (DATING)

Wenn: Wir Personen, die sich noch kein Konto erstellt haben, jeweils eine Person des anderen Geschlechts zeigen

Dann: Erhöhen wir die Anzahl der Anmeldungen

Weil: Nutzer sich persönlich angesprochen fühlen.

ORIGINAL

VARIANTE IN OPTIMIZELY ANLEGEN

AUDIENCE IN OPTIMIZELY ANLEGEN

PERSONALISIERUNG MIT GEO-LOCATION

Wenn: Wir die Ansprache auf die Stadt beziehen

Dann: Werden mehr Besucher einen Termin bei der Parfümerie in ihrer Nähe buchen

Weil: Nutzer sich persönlich angesprochen fühlen

HYPOTHESE

ORIGINAL

AUDIENCE ANLEGEN - LOCATION

VARIANTE - STADTSPEZIFISCH

Vs.

VERGLEICH - ORIGINAL & VARIANTE B

MOBILE OPTIMIERUNG

MOBILE EATS THE WORLD

Quelle: ComScore

SCHLECHTE MOBILE-ERFAHRUNGEN

Quelle: Smashingmagazine, 2013

SCHLECHTE MOBILE-ERFAHRUNGEN

MOBILE VS. WEB

BEISPIEL: NOTEBOOKSBILLIGER

Wie verringere ich die Abbruchrate beim mobilen Checkout?

Wenn: Shop Besucher Social Log-In beim Check-Out nutzen können

Dann: Werden mehr Besucher den Kauf abschließen

Weil: Nutzer Bequemlichkeit schätzen und keinen zusätzlichen Account anlegen müssen

HYPOTHESE

DESKTOP CHECKOUT

- Ohne Registrierung

- Social Log-in

- Log-in Wall - Kein “Social Log-in”

MOBILER CHECKOUT

TESTIDEE

1. Shoppen ohne Registrierung erlauben 2. Einloggen mit Facebook ermöglichen 3. Warum sollte ich mich registrieren?

BEISPIEL: ASOS

- Mehre Social Log-ins - Zahlmethoden klar - Geschlossener Check-Out

OPTIMIERUNG MOBILER APPS

BEISPIEL: FRENCH GIRLS

1 Million Downloads Problem: User Retention Ziel: Onboarding optimieren

AKTIVIERUNG NEUER USER

Aktivierung bei French Girls:

Selfie aufnehmenSelfie zeichnen

Activation Rate: 25%

Wenn: Wir die Reihenfolge der Aktivitäten im Onboarding ändern

Dann: Steigern wir die Anzahl aktivierter User

Weil: User eher Aktionen ausführen, die sie wenig Aufwand kosten und bekannt sind (Selfie aufnehmen)

HYPOTHESE

+ 100% Uplift in Nutzeraktivierung

CROSS-CHANNEL OPTIMIERUNG

STEFAN KAUFT SCHUHE

• Shoppt in der Zalando App im Zug auf dem Weg nach hause, wird dabei aber unterbrochen

• Sitzt auf dem Sofa und sieht einen Zalando Spot, googelt Zalando auf dem Smartphone

• Verlässt das Sofa und schließt den Einkauf auf dem Desktop ab

TANJA BUCHT EINEN FLUG

• Kriegt eine Einladung zum Geburtstag auf der Facebook App – wechselt in die Lufthansa App und schaut wie teuer ein Flug ist

• Zu hause angekommen, vergleicht Preise auf anderen Webseiten und bucht dann direkt auf der Lufthansa Desktop Webseite

• Erhält Erinnerung für Check-In als Push Notification 24 Stunden vor Flug

BEISPIEL: HIPMUNK

Letzte Suche als Default, wenn man Endgerät wechselt

BEISPIEL: GILT

Abbruchrate durch Push-Notifications senken

Data

Sie Ihre Besucher

Action

LEARNINGS

1. A/B Testing - Alles Hinterfragen!

2. Mit Sinn und Verstand Testen

3. A/B Testing geht über Desktop hinaus

marius@optimizely.com

Kontaktdaten:

Vielen Dank!