Statistik-Manipulationen: Lügen meine Leistungskennzahlen?

Madsack Market Solutions GmbH

Niels Dahnke

Belügen wir uns selbst? Was sind die relevanten Zahlen? Wie erkennt man Manipulationen?

Lügen meine Leistungskennzahlen?

Niels Dahnke

Folie: 2

•  Seit 2011 bei Madsack •  Vorher 10 Jahre heise online •  EDV-Beratung seit 1997 •  Erste kommerzielle

Online-Projekte 1995 •  Veröffentlichungen in

Fachzeitschriften •  Redner auf Fachkonferenzen •  Mitglied im IHK-Prüfungsausschuss •  Referent der Niedersächsischen Akademie

Niels Dahnke – Lügen meine Leistungskennzahlen?

Wieso können KPIs lügen?

Folie: 3

•  Weil wir die falschen Fragen stellen.

•  Weil wir sie falsch berechnen.

•  Weil wir uns verrechnen.

•  Weil wir sie missbrauchen.


Abbildung: depositphotos.com

Leistungskennzahlen (KPIs)

Der Begriff Key Performance Indicator (KPI)

bzw. Leistungskennzahl bezeichnet in der

Betriebswirtschaftslehre Kennzahlen, anhand derer der

Fortschritt oder der Erfüllungsgrad hinsichtlich wichtiger

Zielsetzungen oder kritischer Erfolgsfaktoren innerhalb

einer Organisation gemessen und/oder ermittelt werden

kann. Quelle: Wikipedia

Folie: 4 Niels Dahnke – Lügen meine Leistungskennzahlen?

Eigenschaften von KPIs

•  Kennzahlen sind stets mit direkten oder indirekten Geschäftszielen verbunden.

•  Kennzahlen zeichnen sich durch ihre Aussagekraft in einem bestimmten geschäftlichen Rahmen aus.

•  Kennzahlen verdichten verschiedene Informationen zu einer Zahl, um Ziele kurz und klar darstellen und messen zu können.

•  Kennzahlen beweisen sich in der Praxis oder sind über"üssig.

•  Kennzahlen beantworten die Frage des Erfolgs.


•  Wer nicht fragt... ...bekommt keine Antwort.

•  Wer falsch fragt... ...bekommt keine zielführenden Antworten.

•  Wer nicht hinterfragt... ...trifft falsche Entscheidungen.

Ziele messen mit KPIs



Ziele erreichen mit KPIs


Kennzahlen sind Antworten,

die mit klaren

Verantwortlichkeiten

&

Handlungsoptionen

verknüpft sein sollten. Abbildung: depositphotos.com

Was sind die SEO-KPIs?


•  Pagerank •  Sichtbarkeit / Reichweite •  Kennzahlen aus Alexa und Compete •  Indexierte Seiten / Videos / Bilder •  Google News Oneboxen •  Backlinks •  verlinkende Domains •  verlinkende IPs •  Linkstärke •  Linktexte


Noch mehr relevante KPIs?


•  Reichweite •  Click-Through-Rate (CTR) / Klickrate •  Page Impressions / Seitenabrufe •  Visits / Besuche •  wiederkehrende Besucher •  Verweildauer •  Stickiness •  Performance der Keywords •  Markenbekanntheit •  durchschnittliche Bestellwert •  Abbruchrate im Bestellprozess •  ausgefüllte Kontaktformulare •  Zahl der Downloads •  Umsatz je Besucherklasse

•  durchschnittliche Bestellwert •  Abbruchrate im Bestellprozess •  ausgefüllte Kontaktformulare •  Zahl der Downloads •  Umsatz je Besucherklasse •  Social Media

•  Erwähnungen •  Recommendations •  Engagement •  Involvement •  Sentiment •  Markenbekanntheit •  Zahl der Nennungen •  Reichweite

(Freunde / Follower) Abbildung: depositphotos.com

Was sind denn nun relevante KPIs?

Folie: 10

•  KPIs für wen? •  Geschäftsführung / Entscheider •  Controlling •  PR / Kommunikation / Marketing •  Einkauf / Vertrieb •  Kundenservice •  Marktforschung •  Produktion / Entwicklung •  Strategie



Was sind denn nun relevante KPIs?

Folie: 11

•  KPIs für was? •  Agenturpitch •  Monitoring / Marktbeobachtung •  Planung

•  Strategie •  Themen / Produkte •  Ressourcen (Budget, Personal, Zeit)

•  Dashboard •  Tages- / Monats-Analyse •  Echtzeit-Monitoring




Folie: 12

•  Weil wir die falschen Fragen stellen.

•  Weil wir sie falsch berechnen.

•  Weil wir uns verrechnen.

•  Weil wir sie falsch bewerten.

•  Weil wir sie falsch visualisieren.

•  Weil wir sie missbrauchen.



Mögliche Fragen

Folie: 13

•  Welche Keywords erzeugen hohe Deckungsbeiträge? •  Woher kommen die wertvollsten Besucher? •  Wie kann ich die Abbruchrate im Bestellprozess

verringern? •  Wie hoch ist die vorhandene Reichweite einer

Website im Verhältnis zum Potential? •  Welche Kampagnen oder Partnerseiten generieren

den wertvollsten Traffic? •  Was kostet ein neuer Kunde?


Falsch Bewerten, falsche Fragen

Folie: 14

•  Korrelationen – Was ist Ursache und was ist Wirkung? •  Bewirkt Social Media ein besseres Ranking? •  Oder führt ein gutes Ranking zu mehr Social Signals?



Folie: 15



Ist McDonalds für den Weltfrieden wichtig?


Folie: 16



Es haben noch nie zwei Länder gegeneinander Krieg geführt, in denen es McDonalds gibt.


Folie: 17



Falsch bewertet?

Folie: 18

Alles wird besser, obwohl sich nichts ändert.


Garten Heimwerken KFZ

Banner-‐A Banner-‐B Banner-‐A Banner-‐B Banner-‐A Banner-‐B

Ad-‐Impressions 200 40 20 20 30 100

Klicks 60 8 16 2 24 70

CTR 30% 20% 80% 10% 80% 70%

Welche Kampagne ist erfolgreicher, gemessen an der CTR?

Falsch bewertet?

Folie: 19





Ad-‐Impressions 200 40 20 20 30 100

Klicks 60 8 16 2 24 70

CTR 30% 20% 80% 10% 80% 70%

Aufsummiert Banner-‐A Banner-‐B

Ad-‐Impressions 250 160 Klicks 100 80 CTR 40% 50%

Falsch bewertet?

Folie: 20





Ad-‐Impressions 200 40 20 20 30 100

Klicks 60 8 16 2 24 70

CTR 30% 20% 80% 10% 80% 70%

Aufsummiert Banner-‐A Banner-‐B

Ad-‐Impressions 250 160 Klicks 100 80 CTR 40% 50%

Aus diesem als Will-Rogers-Phänomen bekannten

Effekt, sollte man folgenden Schluss ziehen:

Ohne Drill-Down trifft man

eventuell falsche Entscheidungen!

Falsch gerechnet, falsche Daten

Folie: 21

•  90% der Analysten erstellen ihre Berechnungen in Excel

•  50% alle Excel-Tabellen sind die Basis für Entscheidungen

•  Nur 33% der Kalkulationen sind Dokumentiert

•  Durchschnittliche Lebenszeit eines Excel-Sheets ist 5 Jahre, eine Prüfung der Berechnung $ndet fast nie statt.

•  Geschätzte Verluste jährlich 10 Milliarden US-Dollar


Felienne Hermans

Falsch Visualisieren


Quelle: www.businessobjects.com

Richtig Visualisieren


Quelle: www.graphomate.com

Visualisierungs-Tricks

Folie: 24

Keine Manipulation: Ausgangsdaten



Folie: 25

Skalen-Manipulation: Zeitraum begrenzen



Folie: 26

Skalen-Manipulation: höheres Maximum der y-Achse



Folie: 27

Skalen-Manipulation: niedrigeres Max. auf y-Achse



Folie: 28

Skalen-Manipulation: Abstände x-Achse



Folie: 29

Skalen-Manipulation: abgeschnittene y-Achse


Quelle: www.hichert.com


Folie: 30

Skalen-Manipulation: zweite y-Achse



Folie: 31

Skalen-Manipulation: logarithmische Teilung



Folie: 32

Ausgangsdaten



Folie: 33

Skalen-Manipulation: logarithmische Teilung



Folie: 34

Manipulation: Ausgangsdaten



Folie: 35

Manipulation: Zeitfenster wählen



Folie: 36

Manipulation: Selektion der Datenpunkte



Folie: 37




Folie: 38




Folie: 39




Folie: 40

Steigerung in Prozent Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant Sichtbarkeit am Stichtag: 0,0054 – sehr irrelevant Steigerung um 2.600%



Folie: 41

Steigerung in Prozent Sichtbarkeit zu Beginn: 0,0002 – extrem irrelevant Sichtbarkeit am Stichtag: 0,0054 – sehr irrelevant Steigerung um 2.600%



Folie: 42

Typische Datenmanipulationen •  Skalen-Manipulation •  Achsen stauchen / strecken •  Achsen abschneiden •  Datenreihen abschneiden •  Wahl des Zeitfensters •  Darstellungsformen •  Einheiten-Tricks •  Wahl der Vergleichswerte •  Begrenzte Fragestellung •  Stichproben



So prüft man Statistiken

Folie: 43

1.  Sind die Werte für mich überhaupt relevant? 2.  Sind die Zahlen überhaupt ermittelbar? 3.  Visuelle Manipulationen ausschließen. 4.  Vergleichsdaten besorgen und vergleichen. 5.  Ein"ussfaktoren & deren Gewichtung bestimmen. 6.  Nachrechnen mit eigenen Formeln. 7.  Daten hinter den Gra$ken anfordern. 8.  Was genau werde berechnet? 9.  Querdenken um Fehler zu $nden. 10.  Je höher die Investitionssumme,

desto mehr Zeit für die Prüfung einplanen. Niels Dahnke – Lügen meine Leistungskennzahlen?

KPIs vs. Firmenpolitik


Quelle: www.dilbert.com

Sie haben noch Fragen?

Niels Dahnke

Statistik-Manipulationen: Lügen meine Leistungskennzahlen?

Business

Transcript of Statistik-Manipulationen: Lügen meine Leistungskennzahlen?