Die Kunst der Vorhersage:Prognose-Modelle für den öffentlichen Sektor

Dipl.-Geol. Magnus Reimann

Techn. Presales & Innovation

Consultant - ORAYLIS

Agenda

Erstellung von Vorhersagemodellen – Predictive Analytics

Einordnung in Business Intelligence-Lösungen

AzureML – Vorhersagemodelle in der Cloud

Anwendungsbeispiele im öffentlichen Sektor

ORAYLIS Überblick

Spezialist für Big-Data- und Business-Intelligence-Lösungen

Gegründet 1999

70 Mitarbeiter

Full-Service Business Intelligence

Plan -> Build -> Run

ORAYLIS ist Top BI Partner von Microsoft

Outstanding HP and Microsoft Frontline Partner of the Year 2012 (Data Management)

Black Belt Partner

APS Premium Partner

Shortlist Partner Microsoft Consulting Services (MCS)

Hortonworks (Hadoop) System Integrator Partner

Microsoft Business Intelligence und Best Practice / Vorgehensmodell

4 Copyright ORAYLIS GmbH

5

Unsere Kunden

Agenda

Erstellung von Vorhersagemodellen – Predictive Analytics

Einordnung in Business Intelligence-Lösungen

AzureML – Vorhersagemodelle in der Cloud

Anwendungsbeispiele im öffentlichen Sektor

Data Mining gibt es schon so lange – was ist neu an Predictive & Big Data

GPS

Proximity Sensor

Ambient Light Sensor

3-Axis Accelerometer

Magnetometer

Gyroscopic Sensor

Wifi

Camera(s)

UI (senses user interactions)

iBeacon

8

IT Innovation is a major driver for Business InnovationDisruptive Digital Transformation ahead…

Dream for decades… will it ever come true?

Dream for decades… will it ever come true?

Kevin Kelly, founder of Wired Magazine:Singularity is the point at which "all the change in the last million years will be superseded by the change in the next five minutes."

„Every industry is now a software industry where they are building these systems ofintelligence… provide SaaS services that go along with your products.“ - Nadella

Big Data treibt Big Data Mining Use Cases

NoBig Data Problem

13

14

Predictive Analytics

Ableitung von Trends und Verhaltensmuster

Mit Hilfe verschiedener statistischer Methoden und Modellierungstechniken

Erkennung von Mustern in aktuellen und historischen Daten

Erstellung von Modellen für zukünftige Daten

Wichtigste Einflussfaktoren

15

16

Predictive Analytics

Descriptive / Data Discovery (Beschreiben)

Sammlung aller relevanten Daten, die zu einem bestimmten Verhalten führen können, um daraus ein Muster abzuleiten

Diagnostic (Erklären)

Entwicklung eines Modells, um die vergangenen Verhaltensmuster zu begründen

Predictive (Vorhersagen)

Entwicklung eines statistischen Modells, um darüber Vorhersagen für die Zukunft ableiten zu können

Prescriptive (Empfehlen)

Ausarbeitung von Empfehlungen, um bei einem bestimmten Trend das Ergebnis in eine gewünschte Richtung zu beeinflussen

17

Grundziele

1. Drive Smarter Decisions from Data: Government agencies overwhelmed with vastquantities of data transform this challenge to an asset, employing predictive analytics todiscover relationships and patterns hidden to the human eye that serve as actionableinsights to drive smarter decisions.

2. Reduce Fraud, Waste, and Abuse: Recover and prevent improper payments usingpredictive analytics to score potential payments, claims and benefits for errors, fraud, waste, and abuse.

3. Automate Manual Processes: Employ analytics of both structured and unstructureddata (text analytics) in order to streamline approvals of claims and benefits, and find documents of interest (E-discovery).

4. Prioritize Resources and Maximize Productivity: Use predictive analytics to score cases where there are an overwhelming number to quickly process, search, or audit –including payments, hotline tips and complaints, applicants for benefits, cargo shipments, products pending approval or patents, and others – ranking them so that managers, investigators, and auditors are more productive and efficient, spending their time on themost valuable cases.

Quelle: www.predictiveanalyticsworld.com/gov/about.php

Agenda

Erstellung von Vorhersagemodellen – Predictive Analytics

Einordnung in Business Intelligence-Lösungen

AzureML – Vorhersagemodelle in der Cloud

Anwendungsbeispiele im öffentlichen Sektor

19

Einordnung in bestehende Business Intelligence-Lösungen

Present

Past

Future

Traditional BI(Batch)

Monitoring BI(Realtime)

Predictive BI(Machine Learning)

Lambda Architecture

20

Microsoft Machine Learing History & AzureML

The Microsoft Data Platform

22

Einordnung in bestehende Business Intelligence-Lösungen

Quelle: Bitkom

„Früher“ hieß es DataMining – hier die Sicht auf das Excel Plugin für die DataMining Algorithmen des SQL Servers (ab 2005)

Technologischer Key-Enabler for Big Data – HDInsight von Microsoft

24

25

HDInsight Eco-System

HDInsight Ecosystem

HDInsight – „On Premise/Boxed“ or „As a Service“ – How big is your cluster?

27

28

Agenda

Erstellung von Vorhersagemodellen – Predictive Analytics

Einordnung in Business Intelligence-Lösungen

AzureML – Vorhersagemodelle in der Cloud

Anwendungsbeispiele im öffentlichen Sektor

Datamining Prozess

Analyse

Modellierung

Training des Modells

Abfrage des Modells

Validerung/ Backtesting

31

AzureML

Quelle: Microsoft

Beispiel: Decision Tree

32

WettbewerbsfähigkeitProdukt: Befriedigend u. schlechter

70% 30%Gesamter Datenbestand

15% 85%

WettbewerbsfähigkeitProdukt: gut und sehr gut

45% 65%

Anzahl Beschwerden ≥ 3

70% 30%

Anzahl Beschwerden < 3

25% 75%

Anzahl Verträge: > 4

10% 75%

Anzahl Verträge: 2 oder 3

25% 75%

Anzahl Verträge: 1

50% 50%

33

AzureML - Algorithmen

Quelle: Microsoft

Vergleich unterschiedlicher Algorithmen

34

35

36

AzureML – Eigene Algorithmen mit R

Quelle: Microsoft

Microsoft Power BI für Discovery und Visualisierung

37

Agenda

Erstellung von Vorhersagemodellen – Predictive Analytics

Einordnung in Business Intelligence-Lösungen

AzureML – Vorhersagemodelle in der Cloud

Anwendungsbeispiele im öffentlichen Sektor

Precobs

Bildrechte: imago stock&people

Mit Hilfe von Precobs (Pre Crime Observation System) kann die Polizei vorhersagen, wo zukünftig eingebrochen wird und so effektiv die Kriminalität nicht nur aufdecken, sondern verhindern.Entwickelt wurde die Software in Oberhausen und ist bereits in Zürich sowie testweise in München und Nürnberg im Einsatz.

http://www1.wdr.de/themen/politik/precobs100.html

39

Aufteilung der Fläche nach Quadranten, PLZ-Gebieten o.ä.

40

41

Mögliche Messungen pro Gebiet und Tag

Einwohnerdichte / Kaufpreisindex / Verbraucherindex / Grundstückspreise / Anteil Einfamilienhäuser / Arbeitslosenquote / Grünflächen (Anteil) etc.

Bevölkerungszusammensetzungen (Alter, Nationalität)

Stadtfeste, Feiern, Schulferien, Feiertage (evtl. Häufigkeitsverteilung der Zieladressen von Taxifahrten)

Nähe zur Autobahn

Jahreszeit (z.B. Anzahl Nachtstunden), Wetter und Wettervorhersage

Einbrüche in den letzten 3/6/12/48 Wochen

Verkehrsaufkommen, Straßenbeleuchtung, Anzahl Hunde pro 100 Einwohner, Verteilung der Fahrzeugherkunft aus Verkehrsüberwachung

Werte aus benachbarten Quadranten

Seiteneffekte: Polizeipräsenz

Messgrößen

Einbrüche nach Kategorie (Häuser, Wohnungen), Versuchte Einbrüche

42

LKA Deutschland - Einbruchsbekämpfung

Mögliches Vorgehen

43

Analyse der Daten

Abstimmung mit Ermittlungsexperten

Datenquellen anbinden Data Mining

Modell

Absicherung / Verbesserung

Zukünftige Daten für dieVorhersage

Verwendung der Vorhersage für Vermeidung von Einbrüchen

Betrugserkennung mit Big Data-Technologien

44

Kostenersparnis bei Gebäudeinstandhaltung und Strom durch AzureML

45

46

Innovation is a manageable process – Innovation Lab & Consulting

47

Approaching the Modern Data Architecture

Think Big

Start Small

Discover Visual

Scale Fast

48

Go try

Microsoft Azure kostenlos testen:

http://azure.microsoft.com/de-de/pricing/free-trial/

AzureML:

http://azure.microsoft.com/en-us/services/machine-learning/

ORAYLIS Blog: Jens Kröhnert: Data Scientist & Predictive BI

http://blog.oraylis.de/2014/11/innovation-lab-data-scientist-predictive-bi/

Download Power BI Designer (kostenlos): https://www.powerbi.com/dashboards/downloads/

ORAYLIS TV: Jens Kröhnert: Power BI Serie

https://www.youtube.com/user/oraylisbi