A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

58
A/B-Testing aber richtig DMX Austria 2014, Mirja Bettels, etracker GmbH

description

Wie geht man bei einem A/B-Test richtig vor? Von der Problemanalyse, über die Hypothesenbildung bis zur Auswertung. Auf der DMX Austria 2014 hat Mirja Bettels, Senior Partner Manager bei der etracker GmbH, alle Bereiche des A/B-Testings umfassend beleuchtet. Die Kernthesen im Überblick: Ohne Hypothese kein Test Ohne Psychologie kein Test Ohne Segmentierung kein Test Ohne Micro-Conversions kein Test Ohne Formularfeldanalyse kein Formulartest Ohne UX-Analyse kein Page-Test Ohne Multi-KPI-Analyse kein Test

Transcript of A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Page 1: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

A/B-Testing aber richtig

DMX Austria 2014, Mirja Bettels, etracker GmbH

Page 2: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 2

Tag 1 nach dem Relaunch

Produkt Management

Website Management

Online Marketing

April 14

Page 3: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 3

1 Jahr nach dem Relaunch

Produkt Management

Website Management

Online Marketing

April 14

Page 4: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 4

Unsere Protagonisten

Alexander

32 Jahre

Master Betriebswirtschaft

Online Marketing Manager

Neu bei Online ElectroniX

Barbara

34 Jahre

Medienfachwirtin

Online Marketing Manager

Seit 4 Jahren bei

Online ElectroniX

Expertin für Web-Controlling

April 14

Page 5: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 5

Alexanders erster Tag

April 14

Page 6: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

User

Experience-

Analyse

Marketing-

Analyse

Web-Controlling

6 © etracker GmbH

Wie wirken

Kampagnen?

Was passiert auf

meiner Website? Wie passiert es?

Warum passiert

es?

Web-Analyse

Zufriedenheits-

analyse

April 14

Page 7: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 7

Web-Controlling

Marketing-Abteilung

Analyse der Website

Ableitung von

Optimierungsempfehlungen

Analysieren Optimieren

IT-Abteilung

Umsetzung der

Optimierungsempfehlungen

April 14

User

Experience-

Analyse

Marketing-

Analyse

Wie wirken

Kampagnen?

Was passiert

auf meiner

Website?

Wie passiert

es?

Warum

passiert es?

Web-Analyse

Zufriedenheits-

analyse

Page 8: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 8

… aber sollten wir unsere Ideen nicht

erst testen?

April 14

Page 9: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 9

Web-Controlling

Analysieren Optimieren

April 14

Page 10: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Web-Controlling

10 © etracker GmbH

Analysieren Testen Optimieren

April 14

Page 11: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 11

Wie soll das funktionieren ?

April 14

Page 12: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 12

A/B-Testing aber richtig

April 14

Page 13: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 13

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

1

April 14

Page 14: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 14

Was ist ein A/B-Test?

1000 Besucher

Original Variante

50 % 50 %

Online ElectroniX

Jetzt kaufen

Online ElectroniX

20 % Rabatt

Jetzt kaufen

April 14

Page 15: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 15

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

2

April 14

Page 16: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Bevor man testet: Hypothesen

aufstellen!

16

Eine Hypothese setzt sich aus drei

Komponenten zusammen:

(1) Problemstellung

(2) Optimierungsvorschlag

(3) Erwartetes Ergebnis des

Optimierungsvorschlags

Wenn ............

durch ............ verändert wird,

dann erreichen wir eine Optimierung

der ............ !

© etracker GmbH

1

2

3

? April 14

Page 17: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 17

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

3

April 14

Page 18: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Probleme identifizieren:

Web-Analyse Daten

18

Was sind typische

Einstiegsseiten?

Auf welchen Seiten gibt es die

meisten Bouncer?

Was sind typische

Ausstiegsseiten?

Welche Traffic-Quelle liefert

die niedrigste Klick to Sale-

Konversion?

© etracker GmbH April 14

Page 19: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 19

Probleme identifizieren:

Sales-Funnel

Werbemittel

Landingpage / Startseite

Produktseite

Warenkorb

Bestellprozess

Bestellung abgeschickt

An welchen Stellen im Sales-Funnel brechen die meisten

Besucher weg?

April 14

Page 20: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Probleme identifizieren:

User Experience-Analyse

20

Gibt es auffällige

Mausbewegungen auf einer

bestimmten Seite?

Werden wichtige Elemente

einer Website nicht

betrachtet?

Scrollen die Besucher nicht

zum entsprechenden Call-to-

Action?

© etracker GmbH April 14

Page 21: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 21

Probleme identifizieren:

Formularanalyse

Wie viele Besucher interagieren mit dem Formular?

Wie viele schicken das Formular ab?

Wie lange benötigen Besucher pro Feld?

Bei welchen Feldern brechen sie ab?

April 14

Page 22: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Probleme identifizieren:

Besucherfeedback

22

Was sagen die Nutzer über

die User Experience auf der

Website?

Gibt es Probleme, die Nutzer

immer wieder anmerken?

© etracker GmbH April 14

Page 23: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 23

Ideen für Tests ableiten:

Was sollte man für einen Test verändern?

One step at a time

Headlines

Seitenlayout

Navigation

Copy-Texte

Das konkrete Angebot an den Kunden

Design und Text von Call-to-Actions

Unterschiedliche Medienarten wie Videos oder Bildergalerien

… oder auch radikale Änderungen

Online ElectroniX

Jetzt kaufen

April 14

Page 24: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 24

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

4

April 14

Page 25: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 25

Ideen für Tests ableiten:

Grundlagen der Persuasion

Besucher

überzeugen

April 14

Page 26: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 26

Ideen für Tests ableiten:

Grundlagen der Persuasion

Künstliche Verknappung

April 14

Page 27: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 27

Ideen für Tests ableiten:

Grundlagen der Persuasion

Soziale Erwünschtheit

April 14

Page 28: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 28

Ideen für Tests ableiten:

Grundlagen der Persuasion

Commitment und Konsistenz

April 14

Page 29: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 29

Ideen für Tests ableiten:

Grundlagen der Persuasion

Begrenzte Auswahl

April 14

Page 30: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 30

Ideen für Tests ableiten:

Grundlagen der Persuasion

Begeisterung

Und noch einen

oben drauf…

April 14

Page 31: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 31

Alexander hat hierzu mal ein Beispiel…

April 14

Page 32: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 32

Beispiel: Warenkorb

Vorher (ohne Optimierung)

April 14

Page 33: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 33

Beispiel: Warenkorb

Vorher

Nachher

April 14

Page 34: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 34

Beispiel: Warenkorb

Vorher

Nachher

April 14

Page 35: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 35

Beispiel: Warenkorb

Vorher

Nachher

April 14

Page 36: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 36

Beispiel: Warenkorb

Vorher

Nachher

April 14

Page 37: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 37

Beispiel: Warenkorb

Vorher

Nachher

April 14

Page 38: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 38

Beispiel: Warenkorb

Vorher

Nachher

April 14

Page 39: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Vorher

Beispiel: Warenkorb

39

1. Klarer und einziger Call-to-Action

2. Übersichtlicher Produktbereich

3. Dynamische Promotionbox für jede

Situation

4. Sichtbare Versand- und

Gesamtkosten

5. Fokus liegt auf dem

KOSTENLOSEN Geschenk

6. Häkchen wecken positive

Assoziationen

7. Gutschein-Code rückt in den

Hintergrund

8. Vertrauen und Flexibilität der

Zahlung werden herausgestellt

9. Call-to-Action wird noch einmal

wiederholt

© etracker GmbH

Nachher

1

2

3

4

5

6

7

8

9

April 14

Page 40: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Und wie kann man das Ganze auf

Online ElectroniX übertragen?

40 © etracker GmbH April 14

Page 41: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Eine Hypothese setzt sich aus drei

Komponenten zusammen:

(1) Problemstellung

(2) Optimierungsvorschlag

(3) Erwartetes Ergebnis des

Optimierungsvorschlags

Wenn auf den Produktseiten

der Call-to-Action auffälliger

dargestellt und mit einem konkreten Angebot

versehen wird, dann wird die Click-Sale-

Conversion steigen!

Unsere Hypothese für die

Produktseiten

41 © etracker GmbH

1

2

3

? April 14

Page 42: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 42

Verschiedene Varianten testen

Online ElectroniX

Jetzt kaufen

Original

Online ElectroniX

20 % Rabatt

Jetzt kaufen

Online ElectroniX

Jetzt kaufen

Online ElectroniX

Jetzt kaufen

20 %

Rabatt

Variante A

Variante B

Variante C

April 14

Page 43: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 43

Verschiedene Varianten testen

Nicht zu viele Varianten mit zu vielen Änderungen testen

Online ElectroniX

20 % Rabatt

Jetzt kaufen

Online ElectroniX

Jetzt kaufen

Online ElectroniX

Jetzt kaufen

20 %

Rabatt

Variante A Variante B Variante C

April 14

Page 44: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 44

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

5

April 14

Page 45: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 45

Die Wahl des Konversionsziels

Produkt-

übersicht

Produkt

gesehen

Produkt in den

Warenkorb

gelegt

Produkt

gekauft

Kürzere Konversionsziele sind aussagekräftiger als längere

April 14

Page 46: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 46

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

6

April 14

Page 47: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 47

Multi-KPI-Analyse

8,75% 11,67 %

1.200 1.200

105 140

Konversionsrate

Besucher

Bestellungen

Original Variante A

Der Erfolg eines Tests sollte nicht alleine anhand der

Konversionsrate beurteilt werden

April 14

Page 48: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 48

Multi-KPI-Analyse:

Weitere Kennzahlen

Ø Durchschnittlicher Warenkorbumsatz

Umsatz und Ergebnis

Berücksichtigung von Retouren

Berücksichtigung der Customer Journey

Berücksichtigung des Customer Lifetime Value

u.v.m.

April 14

Page 49: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 49

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

7

April 14

Page 50: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Testergebnisse auswerten:

User Experience-Analyse

50

Wie hat sich das

Besucherverhalten der

Variante im Vergleich zum

Original geändert?

© etracker GmbH April 14

Page 51: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 51

A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne User Experience-Analyse kein Test

Ohne Segmentierung kein Test

Lektion

8

April 14

Page 52: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 52

Analyse des A/B-Tests über alle

Besucher

11,67 %

8,75 % Original

Variante A

April 14

Page 53: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 53

Analyse des A/B-Tests nach

verschiedenen Segmenten

9,56 %

9,23 % Original

Variante A 8,68 %

10,30 %

12,15%

8,83%

12,68 %

7,52%

Segment 1 Segment 2 Segment 3 Segment 4

April 14

Page 54: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Segmentieren nicht vergessen

54

A/B-Test sollten nicht nur über

alle Besucher ausgewertet

werden

Einflussfaktoren können z.B.

auch sein

Einstiegsseite

Medium

Kampagne

Herkunft

Keyword

© etracker GmbH April 14

Page 55: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 55

Fazit: A/B-Testing aber richtig

Ohne Test keine Optimierung

Ohne Hypothese kein Test

Ohne Problemanalyse kein Test

Ohne Psychologie kein Test

Ohne Mikro-Konversionen kein Test

Ohne User Experience-Analyse kein Test

Ohne Multi-KPI-Analyse kein Test

Ohne Segmentierung kein Test

April 14

Page 56: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

© etracker GmbH 56

Und die Moral von der Geschicht …

… Analysieren und Optimieren

geht ohne Testen nicht.

April 14

Page 57: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Kommen Sie an unserem Stand vorbei

etracker Academy

in Österreich

Oktober 2014

Jetzt Infos am Stand erhalten!

Page 58: A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg. [DMX Austria 2014]

Mirja Bettels

Senior Partner Manager

Tel: +49 40 55 56 59 54

Fax: +49 40 55 56 59 59

[email protected]

etracker GmbH

Erste Brunnenstraße 1

20459 Hamburg

© etracker GmbH April 14 58

Ihr persönlicher Ansprechpartner