© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Big Data – Chancen und Anwendungsbeispiele

Dr. Michael May

Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

www.iais.fraunhofer.de

GI Regionalgruppe Köln, 5.6.2013

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Alle Reden über Big Data …

2

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Big Data Das Themenfeld laut BITKOM

3

Quelle: BITKOM Big Data Leitfaden, 2012. BITKOM AK Big Data.

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Open-Source Technologien im Kontext von Big Data (Auswahl)

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Kommerzielle Anbieter im Kontext von Big Data (Auswahl)

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Über das Projekt

Fördergeber

Bundesministerium für Wirtschaft und Technologie, Laufzeit Juli 2012 bis Dezember 2012

Erstellung einer Markt- und Potentialanalyse für Big Data

Aufzeigen konkreter Handlungsoptionen für Wirtschaft, Politik und Forschung

Zielgruppe: Führungskräfte und Entscheider aus Wirtschaft und Politik

Vorgehen:

6

Recherche (Bestandsaufnahme)

Branchenspezifische Zukunftsworkshops (Qualitative Untersuchung)

Online-Umfrage (Quantitative Untersuchung)

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Jede Branche hat charakteristische Unternehmensbereiche für Big Data Anwendungen

7

Recherche

Wir haben international Big Data Use Cases recherchiert und 50 Fälle systematisch aufbereitet

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Ausgewählte Ergebnisse der Online-Umfrage

• 69% aller Befragten in unserer Online-Umfrage wollen strategische Wettbewerbsvorteile durch Big Data erzielen.

• 78% teilen mit, dass sie Ihre personellen Ressourcen im Bereich Big Data verbessern müssen.

• 67% der Befragten teilen mit, dass das Budget für Big Data Themen (Technologien, Analysen, Datenquellen exkl. Personal) steigen sollte.

• Nur 8% der Befragten geben an, dass keine Umsetzungsbarrieren existieren.

8

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Ausgewählte Ergebnisse der Online-Umfrage

• Die Hauptprobleme in der Umsetzung liegen in den Bereichen

• Datenschutz und -sicherheit (49%)

• Budget/Prioritätensetzung (45%)

• technische Herausforderungen des Datenmanagements (38%)

• Expertise (36%)

• mangelnde Bekanntheit von Big Data Anwendungen und Technologien (35%).

• Um die bestehenden Defizite zu ändern, wünschen sich 95% der Befragten Förderung in Form von

• Best Practices, Trainings, gefolgt von Anbieter- und Lösungsübersichten sowie überarbeiteten Datenschutzvorgaben

9

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

BEISPIELE FÜR BIG DATA ANWENDUNGEN

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Living Lab Big Data

me

ssa

ge

pa

ssin

g

message passing

Batch Layer

Real-time

Layer

Data Storage

Input Stream

Batch View

Real-time

View

Architektur Emotionen für Technik Analysen in Echtzeit

Optik

Sound

Verbrauch

Freude

Getriebe

Motor

Ärger

Elektronik

me

ssa

ge

pa

ssin

g

message passing

Batch Layer

Real-time

Layer

Data Storage

Input Stream

Batch View

Real-time

View

Visuelle Datenexploration

Über 3,5 Mio. Emotionen

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Monitor ing verteilter Prozesse

Grundidee: Intelligenz und Lernen in die Sensoren und dezentralen Prozesse (an die Quelle) verlagern

Kommunikationseffizienz: Vermeidung der Zentralisierung

Global System Health Monitoring großer, verteilter Netzwerke, Systeme menschlicher Mobilität, Kommunikationssysteme etc.

flexible, skalierbare Lernverfahren mit statistischen Fehlergarantien

Tausende

- Knoten

- Links

- kritische Ereignisse bzw. Phänomene

FP7-ICT-2009-C

Local Inference in Massively Distributed Systems – EU 2010-2013

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

frühzeitige Detektion von S törungen/ Aus fä l len in Datenzentren

Bis 100k Geräte

>250 Terabytes

Health & Prozess Logs

Signifikante Ausfallraten

Fragen aus der Praxis:

Welche Prozesse verhalten sich auffällig?

Welche Maschine steht kurz vor einem Ausfall?

Welche Nutzungsmuster lassen sich identifizieren?

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Cloud-Dienste operieren auf großen, verteilten Rechenzentren

Monitoring aller Systemprozesse und Hardware: HD Schreibrate, °C, CPU-Auslastung, Prozessanzahl, Transaktionen, Reaktionszeit etc.

Latente Ausfälle in der Cloud

Big Data Ansatz:

Datenintegration möglichst heterogener Sensordaten

Komplexe Verhaltensänderungen berücksichtigen

Gesichertes, frühzeitiges Erkennen von Ausfällen

nicht-parametrische, nicht-überwachte Verfahren

Klass isch:

statische, regelbasierte Verfahren sind limitiert

überwachte maschinelle Lernverfahren sind inflexibel

reaktives Monitoring

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

1 4 Ta g e – Ausfälle von Maschinen bis zu 2 Wochen im vorhinein prognostizieren

7 0 % - Grad der Präzision (=70% der detektierten Maschinen fallen innerhalb der nächsten 14 Tage aus)

2 % False-Positives-Rate

neue Fehlertypen identifiziert

Empirische Ergebnisse

Datengrundlage

Cloud mit 4.500 Knoten

Monitoring Daten über 60 Tage / 12TB pro Tag

2%Ausfallrate täglich healthy machines

faulty machine

Work done by LIFT partner Technion: Gabel, Schuster et al, Latent Fault Detection in Large-Scale Services, DSN‘12

Wie erkennt man abnormales

Verhalten ohne gleichzeitig viele False Positives zu

generieren?

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Fragen aus der Praxis:

Worin liegen die Ursachen für schlechte Gesprächsqualität und

häufige Abbrüche?

Wie beeinflusst dies meine Kundenzufriedenheit und -treue?

Funknetzplanung und Optimierung

50.000 Zellen

100+ Terabytes

>50 Parameter

Hardwarevielfalt

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Sichere Detektion von Ri s iko lagen im Katastrophenschutz

Fragen aus der Praxis:

Wie können Sensornetze und Informationen aus der Bevölkerung

(Social Media, Crowd-Sourced Knowledge) für die Früherkennung und

Folgebeobachtung von Risikolagen genutzt werden?

1 Mrd. Tweets

100 Mio. Handys

Reaktion in weniger als 15 Min.

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

INSIGHT Intelligent Synthesis and Real-time Response using Massive Streaming of Heterogeneous Data (EU 2012-2015)

INSIGHT

Früherkennung von potentiellen

Katastrophenereignissen

Analyse von Social Media,

Mobilifunk, Sensordaten

Big Data Architektur

Crowd-Sourcing Ansätze zum

Aktiven Lernen

Neue Methoden zum Monitoring,

Verarbeiten, Analysieren massiver

Datenströme

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Big Data Infrastructure

Machine Learning

Visual Analytics

Technolog ien als neue Werkzeuge

Technologies Entity Recognition Temporal Analysis

Spatial Analysis Clustering

Topic Recognition Relation Detection

Graph Analysis Mobility Analysis

Fraud and Anomaly Detection

Stream Mining

Data

Prozessdaten Mobile Phone Data

Movement Data Social Media

Enterprise Data Geodata

Web Presences (WWW) Sensor Networks

Counter

Results

Persons, Places, Dates, Organizations, Events,

Product Names Temporal Patterns

Spatial Patterns Topics + Sentiments

Relations Graphs

Mobility Patterns Fraud Patterns + Occurences

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Nutzen aus Big Data

W ISSEN AUS PROZESSEN

Erkennen von kritischen Zuständen, Verstehen der Ursachen

von Ereignissen, Früherkennung von Ausfällen

Optimierung der Konfigurationen und Steuerungen

Mehr Agilität in den Prozessen bei Erhaltung der Stabilität

Neue Verfahren zum Benchmarking, zur Qualitätssicherung

und zur Entwicklung adaptiver Systeme

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

„Werden Sie Data Scientist!“ - Data Scientist Schulungen von Fraunhofer IAIS

Big Data Architektur

Data Scientist Natural

Language Processing

(NLP)

Data Scientist Big Data Analytics

Basics

2 Tage 2 Tage 2 Tage

Ab Mai 2013 Ab Oktober 2012 Ab Mai 2013

Data Scientist Visual

Analytics

2 Tage

Ab Mai 2013

Details: www.iais.fraunhofer.de/data-scientist.html