BIG DATA

© 2015 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH

Der Data Lake am Beispiel von Maschinendaten

BIG DATA

Alf Porzig und Christine Manthey | MHPBoxenstopp: 03.03.2015

© 2015 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 2

Ihre Gesprächspartner

Alf Porzig

Senior Manager -

Leiter Management

Consulting BIG DATA

MHPBoxenstopp: BIG DATA

Christine Manthey

Manager -

Service Unit

Business Intelligence

3 © 2015 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH

10.03.2015 BI Strategy MHP Big Data Future Studie

Einleitung


www.youtube.de/MHPProzesslieferant

Weitere MHPBoxenstopps

Agenda

www.mhp.com/de/events

Zu Anfang sind alle Teilnehmer auf stumm geschalten.

www.mhp.com/de/events

13.00 – 13.10 Uhr Begrüßung Christine Manthey

13.10 – 13.45 Uhr Vortrag Alf Porzig

13.45 – 14.00 Uhr Offene Fragerunde Sie können bereits während der Web Session über die

Chatfunktion im rechten Fenster Fragen einreichen.

www.slideshare.net/MHPInsights

http://www.mhp.com/de/events/detail/business-performance-optimisation-10-02-2015/?utm_source=mhpboxenstopp&utm_medium=Unterlagen&utm_campaign=14-009

http://www.mhp.com/de/events/aktuell/ ?utm_source=mhpboxenstopp&utm_medium=e-mail&utm_campaign=Unterlagen_September

http://www.youtube.com/MHPProzesslieferant

http://de.slideshare.net/MHPInsights

http://www.mhp.com/de/events/detail/bi-strategy-10-03-2015/?utm_source=mhpboxenstopp&utm_medium=Unterlagen&utm_campaign=14-012


Prozesse verbessern kann nur, wer sich im Detail auskennt.

Genauso wie im Großen und Ganzen.


Wir wissen aus Erfahrung,

wie man Ziele erreicht und dabei vorneweg fährt.


Mieschke Hofmann und Partner (MHP)

A Porsche Company


Die Leistung

Management Consulting

System Integration

Application Management

Business Solutions

Business Solutions

Der Unterschied

Symbiose aus Prozess- + IT-Beratung l Prozesslieferant l Excellence l Automotive l Kunden

Die Kompetenz Ganzheitliches Beratungsportfolio über die gesamte Wertschöpfungskette

Technology

Services

Application

Mgmt.

Services

Product

Lifecycle

Mgmt.

Supply

Chain

Mgmt.

Production

& Opera-

tions Mgmt.

Customer

Relations

Mgmt.

Finance &

Controlling

Business

Intelligence

After

Sales

Retail

Mgmt.

Human

Resources


Ganzheitliches Beratungsportfolio über die komplette Wertschöpfungskette.

Unsere Kompetenzbereiche mit Themenfeldern.


Technology

Services

Application

Mgmt.

Services

Product

Lifecycle

Mgmt.

Supply

Chain

Mgmt.

Production

& Opera-

tions Mgmt.

Customer

Relations

Mgmt.

Finance &

Controlling

Business

Intelligence

After

Sales

Retail

Mgmt.

Human

Resources

Production

Planning

Strategic

Production

Consulting

Lean Production

Manufacturing

Execution

Maintenance

Retail Service

Management

Retail

Consulting

Fleet

Management

Sourcing

Planning

Affiliation

Performance

Development &

Talent

Management

Governance,

Risk and

Compliance

Template

Development

and Rollouts

Business

Process

Development &

Optimization

Legal and Fiscal

Requirements

Accounts,

Reporting and

Consolidation

System

Harmonization

CIO

Management

Consulting

Enterprise

Content

Management

Standard

Software

Individual

Software

Application &

Process Services

Application

Management

Consulting

Product

Structure

Management

Product

Development

Process (PDP)

Management

SAP PLM

Consulting &

Solution

Implementation

PTC Windchill

Solution

Integration

DS Enovia V6

Solution

Integration

PLM Strategy &

Management

Consulting

Production

Logistics

Procurement &

Quality

Sales Logistics

Service

Management

Spare Parts

Management

Supply Chain &

Demand

Planning

Service

Management

Spare Parts

Management

Warranty

Processes

(Pro-active)

Complaint

Management

Digital incl.

Connected CRM

& Social CRM

CRM Strategy &

Management

Consulting

Sales Force

Automation incl.

Mobile CRM

Analytics incl.

Segmentation &

Campaign

Management

Vertical Retail

Integration

(Pro-active)

Complaint

Management

BI Technology

BI Strategy

Integrated

Corporate

Planning

Analytical

Business

Processes

Next Generation

BI & BIG DATA

Mobile BI

Scenarios

CRM IT

Consulting &

Solution

Implementation

Transition &

Change

Management

Administrative

Core Processes

MHP Dealer

Performance

Management

Finance and

Controlling for

Automotive

Retailers

Dealer

Management

Systems

MHP Carbon

Innovations Connected

Vehicle Cloud Compute

Sustainable

Mobility Social Business Mobile Business

Real-time

Business Industry 4.0

BIG DATA

Agenda


1. Einführung BIG DATA

2. Der Data Lake – vom Wissenssilo zum integrierten Unternehmen

3. Hadoop – Das Framework für den Data Lake

Agenda






BIG DATA – Was ist das?


Intelligente Nutzung von

polystrukturierten

Massendaten

Wettbewerbsvorteile durch

Erschließung neuer

Informationsquellen

Umsatzsteigerung durch

zielgerichtete Analyse

kundenspezifischer

Informationen

Individualisierung und

Optimierung durch

umfassende Produkt-Sicht

Analytics

Big

Data V

olu

me

BIG DATA: Generierung von wertschöpfenden Informationen und Wissen auf Basis

neuer Technologien und Methoden


BIG DATA vor einem Jahr: Gartner Hype Cycle 2013 – Alle reden darüber


Quelle: Gartner


BIG DATA heute: Gartner Hype Cycle 2015 –Vom Hype zur Realität


Quelle: Gartner


BIG DATA: Woher kommt das?


Quelle: IDC, Wallstreet Journal, Webmagazin, Firmenwebsites, Wikipedia

Weltmarktführer und

Innovationstreiber eCommerce

• Auslieferung bereits vor

Bestellung

• Erschließung neuer

Geschäftsfelder und Services

Marktführer in Deutschland für

eCommerce (Kleidung)

• Optimierung der Prognosegüte

um bis zu 40% bei Absatz und

Retouren

• Optimierung Ressourceneinsatz

Absatzstärkster

Premium-Hersteller

• Vernetzte Kooperation der

Serviceprozesse (Tele-services,

Connected Drive und Internet-

Foren)

Pioneers Early adopters Trend setters Follower

1994 2006 2010 2015

Kommunikation Kunden erzeugen Daten Maschinen erzeugen Daten

//upload.wikimedia.org/wikipedia/de/4/4e/Telecom-italia.svg

//upload.wikimedia.org/wikipedia/de/1/15/Logo_otto_group.svg

//upload.wikimedia.org/wikipedia/de/6/6a/Logo_Visa.svg

//upload.wikimedia.org/wikipedia/commons/2/20/Google-Logo.svg

//upload.wikimedia.org/wikipedia/de/e/e4/Twitter_Logo_Blue.svg

//upload.wikimedia.org/wikipedia/commons/6/62/Amazon.com-Logo.svg

//upload.wikimedia.org/wikipedia/commons/c/cd/Facebook_Logo_Mini.svg

Agenda






Mit BIG DATA Informationen integrieren


BIG

DATA

360° View

Sentiment Analyse

Communities

Churn Reduzierung

Process Mining

Automatisierung

Qualitätsmanagement

Individualisierung der Massen

Preisgestaltung

Benchmarking

Effizienzsteigerung

Research & Development

Prozessoptimierung

Marktbeobachtung

Markenaufbau / Pflege

Produktmanagement

Kostenoptimierung

Industrie 4.0 Usability


Manuelle Prozesse durch getrennte Datenpools


Betriebsdaten

Telematics

Testberichte

Wetter,

Geo-Daten

Prüfstände,

Validierung

ERP-Daten

Maschinen-

Nutzung

Maschinen-

konfiguration

Schadens-

meldungen

Ersatzteil-

bestellungen

Analyse

Verlängerte Durchlaufzeiten

Keine Nutzung unstrukturierter Daten

Zusatzaufwand bei Import und Interpretation


Aufbau integrierte Datenplattform für Telematics, Maschinen-, After Sales-

und Umweltdaten


Betriebs-

daten

Telematics

Testberichte

Wetter,

Geo-Daten

Prüfstände,

Validierung

ERP-Daten

Maschinen-

Nutzung

Maschinen-

konfiguration

Schadens-

meldungen

Ersatzteil-

bestellung

Automatisierte Aufbereitung

und Interpretation der Daten

Integration aller Daten

Archivierung der Rohdaten

Streaming / Realtime-Load Analyse


Sukzessive Integration der Daten entlang der Datenprozesse


Produkt-

Lebenszyklus

Daten-

auswertung

Datenquellen /

Rohdaten

Vorentwicklung

Serien-

entwicklung Produktion Nutzung

Validierung

Betriebsdaten

Tagesberichte

Wetter- und Umgebungsdaten

Messdaten

Maschinendaten TELEMATICS

Prüfstände

Betriebsdaten

Wetter- und Umgebungsdaten

Messdaten

Maschinendaten TELEMATICS

Offline Auswertung

Online Auswertung

Gewährleistungsmanagement

Ersatzteilbestellungen

Konfiguration


Automatisierte Identifikation der tatsächlichen Nutzung der Maschinen


Datenbasis für

Predictive Maintenance

Restwertanalysen

Identifikation von Anomalien

Faktengetriebene Produkt-

entwicklung basierend auf der

Fahrzeugnutzung

Optimierung Flottenmanagement

Anomalie


Win-Win: Mehrwert für die Kunden und für das Unternehmen


Reduktion der Speicherkosten

Steigerung der Analyseperformance

Vorberechnete Kennzahlen und Realtime-Telematics

Auflösen von Wissenssilos

Integration interner und externer Datenquellen

Differenziertere Analysen

Ermittlung der tatsächlichen Nutzung der Produkte

Optimierung des Ressourceneinsatzes

Optimierung des Produktportfolios

Steigerung der Qualität bei Produkten und Service

1

2

3

4 Optimierung Betriebsmitteleinsatz

Optimierung Flotten- / Assetmanagement

Präventive Fehlervermeidung

Optimierung Maschinenperformance

Effizienz-

steigerung

Erkenntnis-

gewinn

Wissens-

einsatz

Neue

Services

Agenda






BIG DATA – Technologisches Clustering


Ho

t D

ata

C

old

Data

Unstrukturierte Daten Strukturierte Daten

Realt

ime

Batc

h

On

lin

e

Streaming In Memory

NoSQL-Datenbanken /

Hadoop SQL-Datenbanken


BIG DATA – der Blick auf die Kosten


Quelle: BITKOM


Überblick zu Enterprise Hadoop


Datenzugriff

Hadoop Distributed File System

Datenmanagement

Governance &

Datenintegration

Sicherheit Betrieb

Script

Pig

SQL

Hive

HCat

Impala

NoSQL

Hbase

Accu-

molo

Stream

Storm

Kafka

Other

YARN

Ready

Apps

Search

Solr

Clouder

a Search

In-

Memory

Spark

YARN: Datenbetriebssystem

Falcon

WebHDFS

NFS

Flume

Sqoop

Ambari

Zookeeper

Oozie

Cloudera

Manager

HDFS

HDFS

YARN

Hive

Falcon

Knox

Hortonworks Distribution

Cloudera Distribution


Der Data Lake


Datenquellen

Data Lake

Datenzugriff

Metadatenmodelle

Analytische Plattformen

• Originaldateien im

Quellformat

• Rohdaten

Rohdaten

Direkter

Daten-

zugriff • Datenaufbereitung

• Datenanreicherung

• Flexible Klassierung

Aufbereitete Dateien

Integrierte Daten

S

tream

ing

/ R

ealt

ime

Batch, interaktiv, Search, In-Memory, Machine Learning, …

• Beliebig viele individuelle Analyselayer pro Fachbereich /

Anwender


Sicherheit mit Apache Hadoop


Sicherheitsadministration Zentralisierte Administration von Policies über alle Hadoop Dienste

Audit

Datenschutz

Authentifizierung

Autorisierung

Umfassende Audit-Informationen über eine zentrale Oberfläche

Verschlüsselung der Daten bei Zugriff und Ablage innerhalb des HDFS Clusters

KERBEROS als Ticketdienst zur Authentifizierung/Anbindung an LDAP oder AD

Domänen (SSO)

Autorisierungen auf Filesystem- (HDFS) und Ressourcenebene (YARN) an User und

Usergruppen


Ihr Ansprechpartner


Alf Porzig

Senior Manager

Leiter Management Consulting BIG DATA

SU Business Intelligence

Mobil: +49 151 2030 1626

E-Mail: [email protected]


MHPBoxenstopp

BU Strategy

13-14 Uhr | 10.03.15

MHPTimetable

weitere Infos

www.mhp.com/

events

Mit nur einem “Klick” zur MHPBoxenstopp Anmeldung

Haben Sie einen MHPBoxenstopp verpasst? Kein Problem - in unserem MHP YouTube-Channel

und auf unserem SlideShare Profil finden Sie alle vergangenen Websessions:

Mitschnitte und Videos im Channel: Präsentationsunterlagen:

http://www.youtube.com/MHPProzesslieferant http://de.slideshare.net/MHPInsights

http://www.mhp.com/de/events/detail/industrie-40-revolution-03-02-2015/?utm_source=mhpboxenstopp&utm_medium=Unterlagen&utm_campaign=14-052

http://www.mhp.com/de/events/detail/bi-strategy-10-03-2015/?utm_source=mhpboxenstopp&utm_medium=Unterlagen&utm_campaign=14-012

http://www.mhp.com/events

http://www.mhp.com/events

http://www.mhp.com/de/events/detail/mhp-sap-bi-optimizer-solution-14-01-2014/ ?utm_source=mhpboxenstopp&utm_medium=e-mail&utm_campaign=Unterlagen_Januar

http://www.mhp.com/de/events/detail/mobile-solutions-15-10-2013-1/

http://www.mhp.com/de/events/aktuell/ ?utm_source=mhpboxenstopp&utm_medium=e-mail&utm_campaign=Unterlagen_Februar

http://www.mhp.com/de/events/aktuell/ ?utm_source=mhpboxenstopp&utm_medium=e-mail&utm_campaign=Unterlagen_Februar




http://de.slideshare.net/MHPInsights/140318-mhp-boxenstoppkostenoptimierungmitmethode



http://www.mhp.com/de/events/detail/mobile-solutions-15-10-2013-1/

BIG DATA

Data & Analytics

Transcript of BIG DATA