A/B-Testing aber richtig

DMX Austria 2014, Mirja Bettels, etracker GmbH

© etracker GmbH 2

Tag 1 nach dem Relaunch

Produkt Management

Website Management

Online Marketing

April 14

© etracker GmbH 3

1 Jahr nach dem Relaunch

Produkt Management

Website Management

Online Marketing

April 14

© etracker GmbH 4

Unsere Protagonisten

Alexander

32 Jahre

Master Betriebswirtschaft

Online Marketing Manager

Neu bei Online ElectroniX

Barbara

34 Jahre

Medienfachwirtin

Online Marketing Manager

Seit 4 Jahren bei

Online ElectroniX

Expertin für Web-Controlling

April 14

© etracker GmbH 5

Alexanders erster Tag

April 14

User

Experience-

Analyse

Marketing-

Analyse

Web-Controlling

6 © etracker GmbH

Wie wirken

Kampagnen?

Was passiert auf

meiner Website? Wie passiert es?

Warum passiert

es?

Web-Analyse

Zufriedenheits-

analyse

April 14

© etracker GmbH 7

Web-Controlling

Marketing-Abteilung

Analyse der Website

Ableitung von

Optimierungsempfehlungen

Analysieren Optimieren

IT-Abteilung

Umsetzung der

Optimierungsempfehlungen

April 14

User

Experience-

Analyse

Marketing-

Analyse

Wie wirken

Kampagnen?

Was passiert

auf meiner

Website?

Wie passiert

es?

Warum

passiert es?

Web-Analyse

Zufriedenheits-

analyse

© etracker GmbH 8

… aber sollten wir unsere Ideen nicht

erst testen?

April 14

© etracker GmbH 9

Web-Controlling

Analysieren Optimieren

April 14

Web-Controlling

10 © etracker GmbH

Analysieren Testen Optimieren

April 14

© etracker GmbH 11

Wie soll das funktionieren ?

April 14

© etracker GmbH 12

A/B-Testing aber richtig

April 14

© etracker GmbH 13

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

1

April 14

© etracker GmbH 14

Was ist ein A/B-Test?

1000 Besucher

Original Variante

50 % 50 %

Online ElectroniX

Jetzt kaufen

Online ElectroniX

20 % Rabatt

Jetzt kaufen

April 14

© etracker GmbH 15

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

2

April 14

Bevor man testet: Hypothesen

aufstellen!

16

Eine Hypothese setzt sich aus drei

Komponenten zusammen:

(1) Problemstellung

(2) Optimierungsvorschlag

(3) Erwartetes Ergebnis des

Optimierungsvorschlags

Wenn ............

durch ............ verändert wird,

dann erreichen wir eine Optimierung

der ............ !

© etracker GmbH

“

1

2

3

? April 14

© etracker GmbH 17

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

3

April 14

Probleme identifizieren:

Web-Analyse Daten

18

Was sind typische

Einstiegsseiten?

Auf welchen Seiten gibt es die

meisten Bouncer?

Was sind typische

Ausstiegsseiten?

Welche Traffic-Quelle liefert

die niedrigste Klick to Sale-

Konversion?

© etracker GmbH April 14

© etracker GmbH 19

Probleme identifizieren:

Sales-Funnel

Werbemittel

Landingpage / Startseite

Produktseite

Warenkorb

Bestellprozess

Bestellung abgeschickt

An welchen Stellen im Sales-Funnel brechen die meisten

Besucher weg?

April 14

Probleme identifizieren:

User Experience-Analyse

20

Gibt es auffällige

Mausbewegungen auf einer

bestimmten Seite?

Werden wichtige Elemente

einer Website nicht

betrachtet?

Scrollen die Besucher nicht

zum entsprechenden Call-to-

Action?

© etracker GmbH April 14

© etracker GmbH 21

Probleme identifizieren:

Formularanalyse

Wie viele Besucher interagieren mit dem Formular?

Wie viele schicken das Formular ab?

Wie lange benötigen Besucher pro Feld?

Bei welchen Feldern brechen sie ab?

April 14

Probleme identifizieren:

Besucherfeedback

22

Was sagen die Nutzer über

die User Experience auf der

Website?

Gibt es Probleme, die Nutzer

immer wieder anmerken?

© etracker GmbH April 14

© etracker GmbH 23

Ideen für Tests ableiten:

Was sollte man für einen Test verändern?

One step at a time

Headlines

Seitenlayout

Navigation

Copy-Texte

Das konkrete Angebot an den Kunden

Design und Text von Call-to-Actions

Unterschiedliche Medienarten wie Videos oder Bildergalerien

… oder auch radikale Änderungen

Online ElectroniX

Jetzt kaufen

April 14

© etracker GmbH 24

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

4

April 14

© etracker GmbH 25

Ideen für Tests ableiten:

Grundlagen der Persuasion

Besucher

überzeugen

April 14

© etracker GmbH 26

Ideen für Tests ableiten:

Grundlagen der Persuasion

Künstliche Verknappung

April 14

© etracker GmbH 27

Ideen für Tests ableiten:

Grundlagen der Persuasion

Soziale Erwünschtheit

April 14

© etracker GmbH 28

Ideen für Tests ableiten:

Grundlagen der Persuasion

Commitment und Konsistenz

April 14

© etracker GmbH 29

Ideen für Tests ableiten:

Grundlagen der Persuasion

Begrenzte Auswahl

April 14

© etracker GmbH 30

Ideen für Tests ableiten:

Grundlagen der Persuasion

Begeisterung

Und noch einen

oben drauf…

April 14

© etracker GmbH 31

Alexander hat hierzu mal ein Beispiel…

April 14

© etracker GmbH 32

Beispiel: Warenkorb

Vorher (ohne Optimierung)

April 14

© etracker GmbH 33

Beispiel: Warenkorb

Vorher

Nachher

April 14

© etracker GmbH 34

Beispiel: Warenkorb

Vorher

Nachher

April 14

© etracker GmbH 35

Beispiel: Warenkorb

Vorher

Nachher

April 14

© etracker GmbH 36

Beispiel: Warenkorb

Vorher

Nachher

April 14

© etracker GmbH 37

Beispiel: Warenkorb

Vorher

Nachher

April 14

© etracker GmbH 38

Beispiel: Warenkorb

Vorher

Nachher

April 14

Vorher

Beispiel: Warenkorb

39

1. Klarer und einziger Call-to-Action

2. Übersichtlicher Produktbereich

3. Dynamische Promotionbox für jede

Situation

4. Sichtbare Versand- und

Gesamtkosten

5. Fokus liegt auf dem

KOSTENLOSEN Geschenk

6. Häkchen wecken positive

Assoziationen

7. Gutschein-Code rückt in den

Hintergrund

8. Vertrauen und Flexibilität der

Zahlung werden herausgestellt

9. Call-to-Action wird noch einmal

wiederholt

© etracker GmbH

Nachher

1

2

3

4

5

6

7

8

9

April 14

Und wie kann man das Ganze auf

Online ElectroniX übertragen?

40 © etracker GmbH April 14

Eine Hypothese setzt sich aus drei

Komponenten zusammen:

(1) Problemstellung

(2) Optimierungsvorschlag

(3) Erwartetes Ergebnis des

Optimierungsvorschlags

Wenn auf den Produktseiten

der Call-to-Action auffälliger

dargestellt und mit einem konkreten Angebot

versehen wird, dann wird die Click-Sale-

Conversion steigen!

Unsere Hypothese für die

Produktseiten

41 © etracker GmbH

“

1

2

3

? April 14

© etracker GmbH 42

Verschiedene Varianten testen

Online ElectroniX

Jetzt kaufen

Original

Online ElectroniX

20 % Rabatt

Jetzt kaufen

Online ElectroniX

Jetzt kaufen

Online ElectroniX

Jetzt kaufen

20 %

Rabatt

Variante A

Variante B

Variante C

April 14

© etracker GmbH 43

Verschiedene Varianten testen

Nicht zu viele Varianten mit zu vielen Änderungen testen

Online ElectroniX

20 % Rabatt

Jetzt kaufen

Online ElectroniX

Jetzt kaufen

Online ElectroniX

Jetzt kaufen

20 %

Rabatt

Variante A Variante B Variante C

April 14

© etracker GmbH 44

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

5

April 14

© etracker GmbH 45

Die Wahl des Konversionsziels

Produkt-

übersicht

Produkt

gesehen

Produkt in den

Warenkorb

gelegt

Produkt

gekauft

Kürzere Konversionsziele sind aussagekräftiger als längere

April 14

© etracker GmbH 46

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

6

April 14

© etracker GmbH 47

Multi-KPI-Analyse

8,75% 11,67 %

1.200 1.200

105 140

Konversionsrate

Besucher

Bestellungen

Original Variante A

Der Erfolg eines Tests sollte nicht alleine anhand der

Konversionsrate beurteilt werden

April 14

© etracker GmbH 48

Multi-KPI-Analyse:

Weitere Kennzahlen

Ø Durchschnittlicher Warenkorbumsatz

Umsatz und Ergebnis

Berücksichtigung von Retouren

Berücksichtigung der Customer Journey

Berücksichtigung des Customer Lifetime Value

u.v.m.

April 14

© etracker GmbH 49

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

7

April 14

Testergebnisse auswerten:

User Experience-Analyse

50

Wie hat sich das

Besucherverhalten der

Variante im Vergleich zum

Original geändert?

© etracker GmbH April 14

© etracker GmbH 51

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

8

April 14

© etracker GmbH 52

Analyse des A/B-Tests über alle

Besucher

11,67 %

8,75 % Original

Variante A

April 14

© etracker GmbH 53

Analyse des A/B-Tests nach

verschiedenen Segmenten

9,56 %

9,23 % Original

Variante A 8,68 %

10,30 %

12,15%

8,83%

12,68 %

7,52%

Segment 1 Segment 2 Segment 3 Segment 4

April 14

Segmentieren nicht vergessen

54

A/B-Test sollten nicht nur über

alle Besucher ausgewertet

werden

Einflussfaktoren können z.B.

auch sein

Einstiegsseite

Medium

Kampagne

Herkunft

Keyword

© etracker GmbH April 14

© etracker GmbH 55

Fazit: A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne User Experience-Analyse kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne Segmentierung kein Test

April 14

© etracker GmbH 56

Und die Moral von der Geschicht …

… Analysieren und Optimieren

geht ohne Testen nicht.

April 14

Kommen Sie an unserem Stand vorbei

etracker Academy

in Österreich

Oktober 2014

Jetzt Infos am Stand erhalten!

Mirja Bettels

Senior Partner Manager

Tel: +49 40 55 56 59 54

Fax: +49 40 55 56 59 59

bettels@etracker.com

etracker GmbH

Erste Brunnenstraße 1

20459 Hamburg

© etracker GmbH April 14 58

Ihr persönlicher Ansprechpartner