1. Information Systems University of InnsbruckMetriken fr ein ROI-basiertesDatenqualittsmanagementDr. Mathias KlierInstitut fr Wirtschaftsinformatik, Produktionswirtschaft und Logistik Bereich Wirtschaftsinformatik II Universittsstrasse 15A-6020 InnsbruckMathias.Klier@uibk.ac.at

2. Agenda Motivation und praktische Problemstellung Anforderungen an Datenqualittsmetriken Entwicklung einer Metrik fr das Datenqualittsmerkmal Aktualitt Anwendung der Metrik bei einem Mobilfunkanbieter Zusammenfassung und DiskussionDr. Mathias Klier - University of Innsbruck Information Systems Seite 2 3. Projekt bei einem MobilfunkanbieterProjektfokus Untersuchung der Kosten-Nutzen-Wirkung von Datenqualitts- manahmen am Beispiel des Kampagnenmanagementprozesses Relevante Fragestellungen Wie kann man Datenqualitt mittels Metriken messen? Wie verbessern sich die Metrikergebnisse durch die Anwendung von Datenqualittsmanahmen? Welche Datenqualittsmanahmen sollen unter Kosten-Nutzen- Aspekten durchgefhrt werden? Wie kann man durch ein effizientes Datenqualittsmanagement den Nutzen fr das Unternehmen verbessern? Allgemeine Ergebnisse des Projekts Metriken zur Messung der Datenqualitt Erfolgreiche Anwendungder Metriken im Kampagnen- management Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 3 4. Fokussierte Datenqualittsaspekte Bentigte Datenmengez. B. tatschlich in einerKampagne bentigte Daten Spezifizierte Datenmengez. B. (Kunden)Attribute einesDatenschemas Datenqualittsdimension Fokus hier: AktualittVorhandene Datenmengez. B. gespeicherte Attribut-werte fr jeden Kunden Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 4 5. Motivation: DatenqualittsmessungUm Datenqualittsmanahmen hinsichtlichKosten-Nutzen- Aspekten bewerten zu knnen, ist ein Regelkreis mit integriertem Messverfahren fr die Datenqualitt notwendig, denn What doesn't get measured doesn't get managed.Datenqualittsregelkreis Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 5 6. Anforderungen an Datenqualittsmetriken A1Normierung A2Kardinalskalierung A3Interpretierbarkeit A4Aggregierbarkeit A5Konfigurierbarkeit A6OperationalisierbarkeitHeinrich, B.; Kaiser M.; Klier M.: A Procedure To Develop Metrics For Currency And Its Application In CRM , erscheint in: ACM Journal of Data and Information Quality, 2009. Heinrich, B.; Klier M.: Datenqualittsmetriken fr ein konomisch orientiertes Qualittsmanagement, in: K. Hildebrand, M. Gebauer, H. Hinrichs, M. Mielke, Hrsg., Daten- und Informationsqualitt Auf dem Weg zur Information Excellence, Vieweg+Teubner, 2008. Heinrich, B.; Kaiser M.; Klier M.: How to measure data quality? a metric based approach, Proceedings of the 28th International Conference on Information Systems (ICIS), Montreal 2007. Heinrich, B.; Kaiser M.; Klier M.: DQ metrics: a novel approach to quantify timeliness and its application in CRM, Proceedings of the 12th International Conference on Information Quality (ICIQ), Boston 2007.Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 6 7. Fokus: Datenqualittsdimension AktualittDefinition/Verstndnis von Aktualitt Unter Aktualitt ist die Eigenschaft der Gegenwartsbezogenheit des Datenbestandes zu verstehen, d.h. inwiefern die im Informations- system erfassten Werte den aktuellen Gegebenheiten in der Realwelt entsprechen und nicht veraltet sind.Beispielhafte praktische Fragestellungen Inwiefern sind die im Informationssystem vorgehaltenen Kundenkontaktdaten (z.B. Adresse) berhaupt noch aktuell? Inwiefern stimmt der erfasste Berufsstatus eines Kunden (z.B. Student) noch mit den realen Gegebenheiten berein?Problem Bisher haben sich in Wissenschaft und Praxis keine Metriken durchgesetzt, die eine Quantifizierung der Aktualitt erlauben und den Anforderungen A1 bis A6 gengen.Dr. Mathias Klier - University of Innsbruck Information Systems Seite 7 8. Entwicklung der Metrik fr Aktualitt (I)Grundlegende Idee Entwicklung einer Metrik auf Basis von wahrscheinlichkeits- theoretischen berlegungen, um einen automatisierten Ablauf der Messung zu ermglichen. Aktualitt wird interpretiert als Wahrscheinlichkeit dafr, dass ein Attributwert immer noch denaktuellen, realen Gegebenheiten entspricht. Betrachtete Attributwerte werden lter und besitzen eine unbekannte Gltigkeitsdauer. Die Wahrscheinlichkeit, mit welcher der Wert im Datenbestand zum Analysezeitpunkt noch aktuell ist, nimmt (fr die meisten Attribute) mit zunehmendem Alter des Attributwerts ab. Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 8 9. Entwicklung der Metrik fr Aktualitt (II)Formalisierung (Attributwertebene) Sei A ein Attribut, w ein Attributwert und Alter(w,A) das Alter des Attributwertes. Sei zudem Verfall(A) die Verfallsrate von Werten des Attributes A. Dann ergibt sich die Metrik bspw. bei einer Exponentialverteilung zuVerfall ( A ) Alter ( w , A ) Q Akt . ( w , A ) :e Dr. Mathias Klier - University of Innsbruck Information Systems Seite 9 10. Entwicklung der Metrik fr Aktualitt (III)Beispiel (Tupelebene/Vermarktung einer Tarifoption) 1. Bestimmung der relevanten Attribute und deren relativerWichtigkeit hinsichtlich Aktualitt 2. Berechnung von Alter(T.Ai,Ai) aus dem gegenwrtigen Zeitpunktund dem Zeitpunkt der Datenerfassung fr die betrachtetenAttributwerte 3. Bestimmung von Verfall(Ai) mit Hilfe von empirischen Daten oderStichprobentests 4. Berechnung der Aktualittsbewertungen auf Attributwertebene: 5. Bewertung der Aktualitt des Tupels: 0 ,99 0 ,91, 00 0 , 20 ,82 0 ,9 0 ,82 1 Q Akt . (T , A1 ,..., A 4 ) 0 ,8820 ,90,20 ,9 1, 0Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 10 11. Anwendung der Metrik fr Aktualitt (I.I)Angebot einer Tarifoption fr PrePaid-Kunden *) 1. Analyse einer frheren, vergleichbaren Kampagne Erfolgsquote der frheren Kampagne in Abhngigkeit von den Metrikergebnissen fr Aktualitt (ex post)*) Das folgende Beispiel wurde anonymisiert und vereinfacht Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 11 12. Anwendung der Metrik fr Aktualitt (I.II)2. Prognose der Profitabilitt der neuen, aktuellen Kampagne Erwarteter Erls abzglich Kosten bei: 1,25 Euro Kosten/Mailing; 20 Euro Durchschnittserls/Neuvertrag Intervall [0; 0,4]: Mailingkosten erwartete Erlse abzglich Kosten Intervall ]0,4; 1]: Mailingkosten erwartete Erlse abzglich Kosten Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 12 13. Anwendung der Metrik fr Aktualitt (I.III)3. Analyse einer potentiellen Datenqualittsmanahme Adresskauf zu 0,40 Euro/Adresse (z.B. Post Direkt GmbH) Im Intervall ]0,4; 1,0]: Adresskauf nicht rentabel Im Intervall ]0,0; 0,4]: Adresskauf rentabel Jedoch nur im Intervall ]0,2; 0,4] gilt: Gesamterlse (Summe Mailingkosten Kosten Adresskauf) Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 13 14. Anwendung der Metrik fr Aktualitt (I.IV)4. Ex post Analyse der Kampagne Fr ca. 20.000 Kunden des Intervalls ]0,2; 0,4] wurden die Adressen bei einem externen Provider erworben und mit den gespeicherten Adressen verglichen. Auszug: ex ante und ex post Aktualitt der AdressdatenIntervall ]0,2; 0,3] Intervall ]0,3; 0,4]Anzahlca. 6.700 ca. 7.100ex post- ca. 1.880 Adressen ca. 2.270 AdressenAktualitt aktuell (~0,28)aktuell (~0,32) Die ex ante prognostizierten Erfolgsquoten stellten sich mit Abweichungen von ca. 0,6% ein. Datenqualittsmanahmen konnten mit Hilfe der Metrik besser dosiert und zielgerichteter eingesetzt werden. Die Profitabilitt der Kampagnen konnte durch Bercksichtigung der Datenqualitt deutlich verbessert werden. Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 14 15. Aber: Metrik nicht fr alle Attribute geeignetDie Exponentialverteilung, die bei der bisherigen Definition der Metrik zu Grunde liegt und bei Adressdaten gerechtfertigt werden kann, ist gedchtnislos d.h. die relative Verfallsrate ist konstant und unabhngig vom Alter des Attributwertes. Diese Annahme trifft natrlich nicht fr alle Attribute zu. Aber: Die Metrik 0,15[Quelle: Statistisches Bundesamt 2007]kann fr andereRelative HufigkeitAttribute und Verfallsraten 0,1 angepasst und entsprechend 0,05verallgemeinert werden (auf Basis verschiedener0 79 11 131517 19212325 Verteilungen):Dauer des Studiums (Semesteranzahl)Dr. Mathias Klier - University of Innsbruck Information Systems Seite 15 16. Anwendung der Metrik fr Aktualitt (II.I)Grundproblematik Oftmals keine qualittsgesicherten Daten ber den Kunden, dessen Transaktionen, Produkte etc. Eine adquate Ansprache des Kunden ist schwierig (bspw. Fehler bei den Kundenstamm- und Vertragsdaten). Eine Unterbreitung individueller, integrierter Kundenangebote ist nur bedingt mglich. Die Erfolgsquoten bei (ausgewhlten) Kundenkampagnen sind zum Teil mig. Fokussierte Problemstellung Durchfhrung einerStudentenkampagne in der ein neues, spezielles Produktangebot fr Studenten(postalisch) unterbreitet werden soll. Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 16 17. Anwendung der Metrik fr Aktualitt (II.II)1. Bisheriges Vorgehen bei solchen Produktkampagnen *)Schreibe die Top-30%-Kunden nach Umsatz an, bei denen der Berufsstatus Student in der Datenbank hinterlegt ist. Bisherige Erfolgsquote: ca. 9% 2. Kalkulation bei Anwendung dieses Vorgehens a. Wenn die Top-30%-Kunden der im System gespeicherten156.000 Studenten angeschrieben werden, liegt der bisherige -Umsatz dieser 46.800 Kunden bei 1.340 .b. Bei einer Erfolgsquote von 9% wrden ca. 4.200 Kunden dasAngebot annehmen. Bei diesen Kunden wrde sich derbisherige Ertrag um 5% erhhen.c. Geschtzter Mehrertrag: 4.200 * 1.340 * 0,05 = 281.400 *) Das folgende Beispiel wurde anonymisiert und vereinfacht Dr. Mathias Klier - University of Innsbruck Information SystemsSeite 17 18. Anwendung der Metrik fr Aktualitt (II.III)3. Neues Vorgehen auf Basis der Metrik fr Aktualitt a. Fr alle Kunden mit dem Status Student werden die Metrik-ergebnisse fr Aktualitt berechnet. 7,000 Anzahl der Kunden6,000Number of customers(top 30% sales)5,000 4,0003,000 2,000 1,0000 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1Metrikergebnisse (Wahrscheinlichkeiten) Intervals of probabilities (metric for timeliness) b. Danach wird fr jeden Kunden der erwartete Umsatz alsStudent ermittelt (Metrikergebnis*Umsatz). c. Diese Kennzahl wird nunmehr als Selektionskriterium fr dieTOP-30%-Kunden verwendet. Von den 46.800 selektierten Kunden wurden ca. 28.100Kunden beim bisherigen Vorgehen nicht bercksichtigt. Dr. Mathias Klier - University of Innsbruck Information Systems Seite 18 19. Anwendung der Metrik fr Aktualitt (II.IV)4. Ergebnisse der durchgefhrten Kampagne Der Mobilfunkanbieter entschied sich allen 75.500 Kunden (d.h. nach beiden Selektionskriterien) ein Angebot zu unterbreiten. # Kunden = 18.100 Erfolgsquote = 10,4% Umsatz = 1.210 EUR KDQKDQ,UKU# Kunden = 28.700# Kunden = 28.700Erfolgsquote = 12,2% Erfolgsquote = 2,7%Umsatz = 1.110 EUR Umsatz = 1.420 EUR Bei bisherigem Vorgehen: Bei Einsatz der Metrik: Erfolgsquote: 5,7% Erfolgsquote: 11,5% -Umsatz: 1.340 - Umsatz: 1.150 Zus. Ertrag: 178.700 Zus. Ertrag: 309.200 Dr. Mathias Klier - University of Innsbruck Information Systems Seite 19 20. Vielen Dank fr Ihre Aufmerksamkeit!KontaktDr. Mathias Klier Leopold-Franzens-University of InnsbruckSchool of ManagementInformation Systems Universittsstrae 15A-6020 InnsbruckAustriaPhone: +43 (0) 512 507 7685Fax: +43 (0) 512 507 9809Email: mathias.klier@uibk.ac.atWWW: http://www.uibk.ac.at/iwi2 Dr. Mathias Klier - University of Innsbruck Information Systems Seite 20