EINFÜHRUNGS- VORTRAG „BIG DATA“ - hgnc.de¼hrungsvortrag... · Nutzen und Bedeutung von Big...
Transcript of EINFÜHRUNGS- VORTRAG „BIG DATA“ - hgnc.de¼hrungsvortrag... · Nutzen und Bedeutung von Big...
EINFÜHRUNGS-VORTRAGVORTRAG „BIG DATA“
„Datenanalyse als neuer Produktionsfaktor“neuer Produktionsfaktor
20. Mai 2014
Gigantische Datenmengen �
x10 90% 30 Milliarden
�die Menge der digitalen Infor-
mationen verzehnfacht sich alle
5 Jahre
�der weltweit verfügbaren Daten
sind in den vergangenen 2 Jahren
entstanden
�Einträge auf Facebook
jeden Monat
Um Erfolg im Markt zu haben ist es essentiell, nicht nur detaillierte Einblicke in die zukünftige Entwicklung
zu haben, sondern auch die Fähigkeit zu erarbeiten sich schnell einer bestimmten Entwicklung des Marktes
anpassen zu könnenanpassen zu können.
Agenda
Nutzen und Bedeutung von Big Data1
Einsatzmöglichkeiten von Big Data2
Implementierung und Architektur3
3© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Agenda
Nutzen und Bedeutung von Big Data1
Einsatzmöglichkeiten von Big Data2
Implementierung und Architektur3
4© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Nutzen und Bedeutung von Big Data
Definition und Strukturierung des Big Data Begriffes
Für den Begriff Big Data findet sich in der Literatur und Presse keine einheitliche Definition.Grundsätzlich lässt sich der Begriff aber wie folgt strukturieren:
Zi l tZi l t
• Gewinnung und Nutzung entscheidungs-
18%Größere Bandbreiten an
I f ti
Definition von “Big Data” durch Unternehmen
ZielsetzungenZielsetzungen relevanter Erkenntnisse • Prozessoptimierung in
Echtzeit
15%
16%
18%
Echtzeitinformationen
Neue Arten von Daten und Analysen
Informationen
Art der Informationen
Art der Informationen
• qualitativ vielfältig• unterschiedlich
strukturiert 13%
13%
Zustrom von Daten aus neuen Technologien
Moderne Medienarten
InformationenInformationen • Integration aus verschiedenen Quellen
8%
10%
Das neueste Modewort
Große Datenmengen
neuen Technologien
Dynamik und Umfang
Dynamik und Umfang
• schneller Wandel der Daten
• bisher unbekannter und stetig wachsender D t f Quelle: IBM/Oxford University (Mitte 2012)
7%
0% 5% 10% 15% 20%
Daten aus sozialen Medien
5© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Datenumfang Quelle: IBM/Oxford University (Mitte 2012)
n = 1.144 IT- und Business Experten
weltweite Befragung
Nutzen und Bedeutung von Big Data
Unser Verständnis von Big Data auf einen Blick
Big Data umfasst die
Bereitstellung von
K t M th d
Big Data bezeichnet die Hochgeschwindigkeits-Analyse großer Datenmengen aus
vielfältigen Quellen mit dem Ziel wirtschaftlichen Nutzen zu erzeugenKonzepten, Methoden,
Tools, Technologien
und IT-Architekturen,
um das exponentiell
h d A b t
vielfältigen Quellen mit dem Ziel, wirtschaftlichen Nutzen zu erzeugen.
Volume – Datenvolumen verdoppelt sich ca. alle 2 Jahre
Charakteristika von Big Data:
wachsende Angebot
an vielfältigen
Informationen für
schnelle und fundierte
pp
Variety – Vielfältige Datenquellen und -formate (Soziale Netzwerke, GPS-Signale, Youtube-Videos, �)
Velocity – Die Geschwindigkeit der Datenauswertung („Echtzeit“) ist ein bedeutender Faktor
KPMG betrachtet dabei zusätzlich die folgenden Charakteristika:Entscheidungen
aufzubereiten.
KPMG betrachtet dabei zusätzlich die folgenden Charakteristika:
Veracity – Adäquate Governance- und Kontrollmechanismen ermöglichen es, sogar aus einer Kombination aus strukturierten und verunreinigten Daten gute Einblicke zu gewinnen
Value – Datenverfügbarkeit Operative Prozessverbesserungen Entscheidungsunterstützung Inno-Value Datenverfügbarkeit, Operative Prozessverbesserungen, Entscheidungsunterstützung, Innovationen & Produktentwicklung, Marketing & Sales, Monetarisierung der Daten- und -analyse
• Verbessertes Verständnis durch die
Big Efficiency
Big Flexibility
Big Clarity
Big
Impact
Verarbeitung großer Datenmengen
• Flexible und schnelle Anpassung der Datenanalyse
• Zeitnahe Bereitstellung von entschei-
6© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Big Efficiency Zeitnahe Bereitstellung von entscheidungsrelevanten Informationen
Nutzen und Bedeutung von Big Data
Kriterien zur Begriffscharakterisierung – „Das V5-Konzept“
• Entstehung immer größerer Datenmengen
• in oft unbekanntem Ausmaß für dieVolume
• Komplexität zahlreicher Datentypen steigt
(strukturiert semi-strukturiert unstrukturiert)
betreffenden Unternehmen
Variety
• neben dem klassischen Reporting werden
(strukturiert, semi strukturiert, unstrukturiert)
• Informationsquellen werden vielfältiger
Variety
Datenströme zunehmend in Geschäfts-
prozesse integriert (Echtzeitauswertungen)
• Self-Service Business Intelligence
Velocity
• Zuverlässigkeit von Informationen
(naturgemäße Unvorhersagbarkeit)Veracity
• Prozessverbesserungen
• EntscheidungsunterstützungValue
7© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
• Monetarisierung
Nutzen und Bedeutung von Big Data
IT-Trends und deren Zusammenwirken mit Big Data
Cloud Computing und SaaS
Zunehmende Entwicklung dezentraler
InformationsbereitstellungskonzepteInformationsbereitstellungskonzepte
Mobile Informationstechnologien
Entstehung stark wachsender
Datenmengen und Location BasedBi Neue Herausforderungen aber
auch Möglichkeiten für den
Umgang mit den Folgen dieser
IT-Trends
Datenmengen und Location Based
Services
Sensoren und M2M
Vernetzung von Produktionsgütern,
Big
Data
IT Trends g g
Maschinen und anderen Geräten
Social Web
Erzeugung und Distribution von Content durch
die Nutzer von Social Media Anwendungen
Verfügbare Daten und die geeignete Technik, diese auszuwerten sinddiese auszuwerten, sind
notwendige Voraussetzungen.
Aber wie kann die Nutzung dieser
I f ti f U t h h ?8© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Informationen für Unternehmen aussehen?
Nutzen und Bedeutung von Big Data
Mithilfe der klassischen Datenanalyse konnten bisher nur strukturgleiche und komplett strukturierte Daten verarbeitet werden
Big Data ermöglicht die integrative Analyse sowohl strukturierter, semistrukturierter als auch unstrukturierter Daten.
Big DataDatenwelt
Strukturiert(Länge und Format definiert)
Unstrukturiert(Länge und Format undefiniert)
Semistrukturiert(Länge und Format teils definiert)
Maschinell generiert vom Menschen generiert Maschinell generiert vom Menschen generiert
�Sensordaten (RFID, medizinische Geräte, GPS-
�Sensordaten (RFID, medizinische Geräte, GPS-
� Inputdaten (Dateneingabe auf Computern)
� Inputdaten (Dateneingabe auf Computern)
�Satellitenbilder
(Satellitenüberwachung, �Satellitenbilder
(Satellitenüberwachung, � Interne Textdaten
(Umfrageergebnisse, E-� Interne Textdaten
(Umfrageergebnisse, E-Daten)
�Web-Log-Daten (Aktivitäten auf Servern und Netzwerken)
Daten)
�Web-Log-Daten (Aktivitäten auf Servern und Netzwerken)
�Clickstream-Daten
(Websitelinks)
�Spieldaten (Aufzeichnung des Verhaltens bei Online-
�Clickstream-Daten
(Websitelinks)
�Spieldaten (Aufzeichnung des Verhaltens bei Online-
Wetterdaten)
�Wissenschaftliche Daten
(Seismische u. athmos-phärische Daten)
Wetterdaten)
�Wissenschaftliche Daten
(Seismische u. athmos-phärische Daten)
Mails)
�Social-Media-Daten
(Facebook, Youtube)
�Mobildaten (Standortinfor-
Mails)
�Social-Media-Daten
(Facebook, Youtube)
�Mobildaten (Standortinfor-�Point-of-Sale-Daten
(Kundendaten am POS)
�Finanzdaten (Aktienkurse)
��
�Point-of-Sale-Daten
(Kundendaten am POS)
�Finanzdaten (Aktienkurse)
��
Spielen etc.)
��
Spielen etc.)
��
�Fotos und Videos (Verkehr)
�Radar- und Sonardaten
(Ozeanographisch-seismische Profile)
�Fotos und Videos (Verkehr)
�Radar- und Sonardaten
(Ozeanographisch-seismische Profile)
(mationen, Messages)
�Websiteinhalte
(verschiedene Inhalte auf Websites)
(mationen, Messages)
�Websiteinhalte
(verschiedene Inhalte auf Websites)
9© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
��
���� ����
Nutzen und Bedeutung von Big Data
Durch neue Methoden der Datenspeicherung und -verarbeitung können Marktteilnehmer Wert aus vielfältigen Daten generieren
Es reicht nicht aus, relevante Daten zu identifizieren und zugänglich zu machen.Entscheidend für den Erfolg ist die Kompetenz, diese Daten zu nutzen.
„Unternehmen, die die Bedeutung von Big Data und Business Analytics erkennen, weisen
eine doppelt so hohe Wahrscheinlichkeit auf zu den Top Performern in ihrer Industrie zu
zählen als andere Unternehmen.“ (MIT Sloan Management Review)
Big Data Value
&&Distribution &
Logistik
Distribution &
LogistikProduktionProduktion
Forschung &
Entwicklung /
Innovation
Forschung &
Entwicklung /
Innovation
Finanz- & Risiko-
Controlling
Finanz- & Risiko-
ControllingMarketing & SalesMarketing & Sales
Monetarisierung
von Daten und
deren -analyse
Monetarisierung
von Daten und
deren -analyse
�Echtzeit-Korrektur �Echtzeit-Korrektur �Echtzeit-Analyse �Echtzeit-Analyse �Besseres �Besseres �Neue Faktoren für �Neue Faktoren für �Detailliertere �Detailliertere �Verkauf �Verkauf von Routen auf Basis aktueller Verkehrsdaten
�Optimierung von Lieferketten
von Routen auf Basis aktueller Verkehrsdaten
�Optimierung von Lieferketten
von�
�Maschinendaten
Wartungskosten↓
Fehlerkosten↓
von�
�Maschinendaten
Wartungskosten↓
Fehlerkosten↓
Verständnis der Kunden-bedürfnisse
�Verkürzung der Time to Market
Verständnis der Kunden-bedürfnisse
�Verkürzung der Time to Market
die Bewertung des Kreditrisikos
�Betrugserkennung
�Prognosen/
die Bewertung des Kreditrisikos
�Betrugserkennung
�Prognosen/
Markt-segmentierung(Mikrosegmente)
�Flexible Personalisierung
Markt-segmentierung(Mikrosegmente)
�Flexible Personalisierung
generierter Daten (z.B. Kunden-, Verkaufs-, Produktionsdaten) an externe Nutzer
generierter Daten (z.B. Kunden-, Verkaufs-, Produktionsdaten) an externe NutzerLieferketten
�Auswertung der Machine-to-Machine-Kommunikation
Lieferketten
�Auswertung der Machine-to-Machine-Kommunikation
Fehlerkosten↓
Personalkosten↓
�Bestandsdaten
Lagerkosten↓
Fehlerkosten↓
Personalkosten↓
�Bestandsdaten
Lagerkosten↓
Time-to-Market
�Echtzeit-Analyse wissenschaftlicher Experimente (z B für neue
Time-to-Market
�Echtzeit-Analyse wissenschaftlicher Experimente (z B für neue
Simulationen/ Szenarien in Echtzeit
�Ständig aktuelle V l t Ri k
Simulationen/ Szenarien in Echtzeit
�Ständig aktuelle V l t Ri k
Personalisierung des Angebots (Customization)
�Reduktion der Streuverluste/
Personalisierung des Angebots (Customization)
�Reduktion der Streuverluste/
�Angebot von Big Data-Analysetools und -methoden
�Angebot von Big Data-Analysetools und -methoden
10© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Kommunikation (M2M)Kommunikation (M2M) Fehlmengenkosten↓ Fehlmengenkosten↓
(z.B. für neue Medikamente)(z.B. für neue Medikamente)
Values-at-RiskValues-at-Risk Streuverluste/ MarketingkostenStreuverluste/ Marketingkosten
Nutzen und Bedeutung von Big Data
Evolution von einfacher Datenanalyse hin zu Big Data (technisch)
Nachverfolgung
In
Visualisierung
tegra
tion &
Nu
Manuell
Benachrichtigung
utz
en
Reifegrad
Z it t t A l A it d K ti i li h d it ti ■ Daten als Produktionsfaktor■ Zeitversetzte Analysen zur nachträglichen Betrachtung
■ Manuelle Aufbereitung und Interpretation der Analysen
■ Geringe Datengranularität d Q lität
■ Ausweitung der Datenerhebung
■ Vorhersagen basierend auf Datenauswertungen
■ Nutzung von Data W h /M t
■ Kontinuierliche und iterative Verarbeitung von Daten
■ Neue Erkenntnisse im Hinblick auf Business Performance
A d
■ Daten als Produktionsfaktor
■ Analyse großer Datenvolumina möglich
■ Verarbeitung strukturierter und unstrukturierter Daten
und Qualität
■ Manuelle Verarbeitung externer Informationen
Warehouse/Mart
■ Systeme zur Unterstützung von Entscheidungen
■ Anwendung von statistischen Methoden
■ Vollständig automatisierte Verarbeitung
■ Data Mining
■ Strukturunterschiede akzeptabel
■ Erkennen von komplexen Zusammenhängen und Mustern
■ Datenauswertung in Echtzeit
■ Analyse von „externen“ Daten
11© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
■ Strukturgleiche Daten notwendig
■ Analyse von „externen Daten
Nutzen und Bedeutung von Big Data
Evolution von einfacher Datenanalyse hin zu Big Data (fachlich)
Nachverfolgung
Nu
Visualisierung
utz
en
Manuell
Benachrichtigung
Komplexität
St d d R ti V t h K ti i li h d it ti ■ Daten als Produktionsfaktor■ Standard Reporting
■ Ad hoc Reporting
■ KPI Monitoring
■ Verstehen von Businessfaktoren
■ Visualisieren von Transaktionen
■ Anomalien erkennen
■ Kontinuierliche und iterative Verarbeitung von Daten
■ Neue Erkenntnisse im Hinblick auf Business Performance
A d
■ Daten als Produktionsfaktor
■ Analyse großer Datenvolumina möglich
■ Verarbeitung strukturierter und unstrukturierter Daten
■ Visualisieren von Beziehungen
■ Anwendung von statistischen Methoden
■ Vollständig automatisierte Verarbeitung
■ Data Mining
■ Strukturunterschiede akzeptabel
■ Erkennen von komplexen Zusammenhängen und Mustern
■ Datenauswertung in Echtzeit
■ Analyse von „externen“ Daten
12© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
■ Strukturgleiche Daten notwendig
■ Analyse von „externen Daten
Nutzen und Bedeutung von Big Data
Big Data – Der Markt in Zahlen
Kennzahlen belegen ein rasantes Wachstum des Big Data Marktes. Daraus ergeben sich sowohl für bestehende als auch für neue Unternehmen große Chancen, aber auch H f d
Ein starkes Wachstum im globalen Big Data Markt
Optimistische Erwartungen Vorreiter Neue Anbieter mit Big Data-Lösungen
Herausforderungen.
globalen Big Data Markt
Ø36% jährlich
15 7 Mrd €
43% der Unternehmen
erwarten einen
E-Business-
Unternehmen sind prädestiniert für Big Data
Anwendungen
Lösungen
Parstream, Exasol, Empolis & Mellmo
gesellen sich zu15,7 Mrd. € in 2016ROI > 25%
Anwendungen gesellen sich zu
Microsoft, SAP & Co.
Ein neues Geschäftsmodell
270 Mi €
Ein wachsendes Angebot
80Kompatibilität
Schnittstellenwachsenden Marktanteile
Die Umsatzanteile von270 Mio. €
globaler Umsatz durch „reine“
Big Data Companies
80 weltweit nennenswerte
Unternehmen bieten bereits Big Data Lösungen an
Schnittstellenermöglichen den graduellen
Übergang von konventionellen Systemen und neuen
Technologien zu Big DataLösungen
Die Umsatzanteile von
Europa (27% ) und den USA (42%) im globalen
Big Data-Markt gleichen sich an*Lösungen sich an
Quelle: BITKOM , Experton Group 2012
*Größere anfängliche Bedenken hinsichtlich des Datenschutzes und der Datensicherheit (vor allem in
Deutschland) haben den USA gegenüber Europa einen Vorsprung in der Entwicklung verschafft. Es wird
13© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
) g g p p g g
erwartet, dass sich diese Marktanteile durch die Anpassung der europäischen Richtlinien auf einander
zubewegen.
Agenda
Nutzen und Bedeutung von Big Data1
Einsatzmöglichkeiten von Big Data2
Implementierung und Architektur3
14© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Einsatzmöglichkeiten von Big Data
Big Data ermöglicht Performanceverbesserungen und das Aufdecken neuer Potentiale auf allen Stufen der Wertschöpfungskette
Infrastructure
Präventivanalyse zur Verhinderung des A f ll i hti
1HR Management
Schnelle und bedarfs-gerechte Reaktion auf
i l S h
2Tech. Development
Verbesserte Informationsverar-
b it d l
3Procurement
Kombinierte Auswertung von
O li b tt b t
4
Ausfalls wichtiger Unternehmensysteme
saisonale Schwan-kungen, kurzfristige
Änderungen etc. durch Big Data-Analysen
beitung und –analyse sowie Erweiterung des Unternehmens-Know-
how
Onlinerabattangeboten und eigenen Lager-
beständen
Infrastructure
Human Resource Management
Technology Development
1
2
3
Procurement
Serv
ice
nbound
ogis
tics
era
tions
utb
ound
ogis
tics
ark
eting
& S
ale
s
4
5 6 7 8 9
Marketing & SalesOutbound LogisticsOperationsInbound Logistics Service5
SIn Lo
Op
Ou
Lo
Ma &
6 7 8 9
Zielgenaue Kunden-ansprache durch
Auswertung von SocialMedia-Profilen und
sonstigen Kundendaten
Predictive Analytics zur zielgenauen Prognose von Absatzmengen –
Vermeidung des Aufbaus von unnötigen
Verhinderungmachineller
Produktionsausfälle durch Realtime-Auswertung der
Nutzung von Realtime-POS-Daten zur
Identifizierung von Out-of-Stock-Situationen
und Benachrichtigung
Auswertung von Kundenfeedback aus externen Kanälen zur
Verbesserung der Serviceaktivitäten
15© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
sonstigen KundendatenAufbaus von unnötigen Lagerbeständen
Auswertung der Maschinendaten
und Benachrichtigung der Lieferanten
Serviceaktivitäten
Einsatzmöglichkeiten von Big Data
Nutzung von Informationen – Was bedeutet Big Data für Unternehmen?
Wo kommen Big Data Analysen heute schon zum Einsatz? – einige Beispiele
Fraport AG� Auswertung von Sensor-Daten zur Vorhersage der Fluggast-Ströme um so Warteschlangen an den
Daten
� Auswertung von Sensor-Daten zur Vorhersage der Fluggast-Ströme, um so Warteschlangen an den Abfertigungspunkten weitestgehend zu vermeiden
Sears Corp. (US-amerikanischer Handelskonzern)� Kombination von Daten über Kunden, Produkte und Werbung zur Entwicklung kundenindividueller Werbung
(heute auch von vielen anderen Handelsunternehmen, wie Amazon, genutzt)
Anwendungen
Nutzung
( g )
VISA Inc.� Kann über Kreditkartentransaktionen vorhersagen, welches Ehepaar sich in absehbarer Zeit scheiden lässt,
woraus auf die Kreditwürdigkeit geschlossen werden kann
Weitere Beispiele fürEinsatzszenarien
Branche Einsatzmöglichkeiten
Energiewirtschaft Steuerung des Energieverbrauches(über Speicherung und Auswertung von Messwerten)(über Speicherung und Auswertung von Messwerten)
Finanzwirtschaft Zahlungsstromanalysen zur Betrugserkennung
Handel Click-Stream-Analysen im Online Handel(Echtzeit-)Kundenanalysen / Kaufverhaltensanalysen(Echtzeit-)Kundenanalysen / Kaufverhaltensanalysen
Telekommunikation Location-Tracking � Händler können diese Daten in Echtzeit verwenden, um Verbraucher, die in der Nähe von Shops sind, über Angebote zu informieren
S i l W b I di id li i t W b
16© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Social Web Individualisierte WerbungEchtzeitanalysen des Nutzerverhaltens
Einsatzmöglichkeiten von Big Data
Big Data Aktivitäten von Unternehmen weltweit und in Deutschland
Was sagen empirische Studien über den Planungsstand von Unternehmen zum Thema Big Data?
Anteil an Unternehmen mit Big Data Initiativen in 2012Big Data Aktivitäten - internationaler Querschnitt
34% 66%Deutschland
g
28%
Big Data Aktivitäten internationaler Querschnitt
Pilotprojekte begonnen und erste Big Data Lösungen implementiert
53% 47%Total
24%
48%
Lösungen implementiert
Noch keinerlei Big Data-Aktivitäten gestartet
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
mit Big Data Initiative 2012 ohne Big Data Initiative 2012
Quelle: TATA Consultancy Services / n = 1.217 / weltweite Studie
24%Big Data Aktivitäten geplant
Quelle: IBM/Oxford University (Mitte 2012) / n = 1061 / weltweite Studie
Bereits implementiert
8%
Heute noch kein Thema, auch nicht
in Planung25%
Big Data Aktivitäten in deutschen UnternehmenKey Findings zum Planungsstand
� alle Studien bestätigen, dass sich der Großteil der
U t h it d Th tik b f t
Mit der Thematik beschäftigt, aber
noch nicht umgesetzt
%
Heute noch kein Thema, aber
geplant
25% Unternehmen mit der Thematik befasst
� Jedoch nur wenige Unternehmen konnten ihre Big Data
Projekte bereits umsetzen
� fast 50% der deutschen Unternehmen befassten sich 2012
noch nicht mit Big Data, nur wenige haben Projekte bereits
17© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
43%24%
Quelle: Experton Group(Mrz./Apr. 2012) / n = 63 / deutschlandweite Studie
noch nicht mit Big Data, nur wenige haben Projekte bereits
umgesetzt
Einsatzmöglichkeiten von Big Data
Welche Ziele verfolgen Unternehmen mit der Auswertung der Big Data?
Mitarbeiterzusammenarbeit4%
Die wichtigsten Zielsetzungen von Big Data Projekten für Unternehmen
HRAndere
7%
In welchen Bereichen fokussierten Unternehmen branchenübergreifend ihre Big Data Investitionen in 2012
Neues Geschäftsmodell14%
Finance/Accounting8%
Distribution/Logistik7%
5%7%
Vertrieb15%
Kundenorientierte Ergebnisse
49%
Risiko-/Finanzmanagement15%
Herstellung/Produktion8%
Marketing15%
Kundenservice13%
kundennaher Einsatz43%
Betriebliche Optimierung18%
Quelle: IBM/Oxford University (Mitte 2012) / n = 1067 / weltweite Studie
Produktentwicklung11%
IT11%
Quelle: TATA Consultancy Services / n = 1.217 / weltweite Studie
Key Findings zum Einsatzgebiet und den Zielen
� Insgesamt stehen vor allem vertriebsnahe Beweggründe im
Z h it Bi D t P j kt i V d dZusammenhang mit Big Data Projekten im Vordergrund
� Auch die deutschlandweite Studie der EXPERTON Group sowie
eine Studie des Fraunhofer Institutes führen zu einem ähnlichen
Resümee
18© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
� Viel Potential wird zudem im Logistik-Bereich gesehen
Agenda
Nutzen und Bedeutung von Big Data1
Einsatzmöglichkeiten von Big Data2
Implementierung und Architektur3
19© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Implementierung und Architektur
Anforderungen an Technologien zur Nutzung der Big Data
Daten
Anwendungen
Nutzung
Welche Folgen haben dieseDimensionen von Big Data
für die IT?Big
Data
Big
Data
Big
Data Nutzungfür die IT?DataDataData
Folgen für Software-LösungenFolgen für Software-Lösungen
� Insbesondere im Software-Bereich vollziehen sich
signifikante Veränderungen, um den
Anforderungen an die Big Data gerecht zu werden
� Es ergeben sich deutliche Veränderungen für
� Insbesondere im Software-Bereich vollziehen sich
signifikante Veränderungen, um den
Anforderungen an die Big Data gerecht zu werden
� Es ergeben sich deutliche Veränderungen für
Folgen für Hardware-Lösungen
� Ausbau der Bandbreiten zur Datenübermittlung
� Speichermöglichkeiten der wachsenden Daten
�
Folgen für Hardware-Lösungen
� Ausbau der Bandbreiten zur Datenübermittlung
� Speichermöglichkeiten der wachsenden Daten
�Datenbank-Technologien und Schwerpunkte
bestehender Datenbanken verändern sich
Datenbank-Technologien und Schwerpunkte
bestehender Datenbanken verändern sich
33% 0% 67%Sonstige
Bereiche, in denen mit den größten Wirkungen auf die IT-Infrastruktur gerechnet wird
� �� �
76%
64%
64%
33%
23%
26%
26%
0%
1%
10%
10%
67%
Storage / Datenbanken
Netzwerk-Infrastruktur(Switching, Router, Loadbalancing)
Kapazität Bandbreite
Sonstige
55%
64%
76%
32%
30%
23%
13%
6%
1%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Analyse- & Reportingsysteme
Server / CPU-Last
Storage / Datenbanken
20© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
hohe Zustimmung mittlere Zustimmung niedrige ZustimmungQuelle: Experton Group(Mrz./Apr. 2012) / n = 85 / deutschlandweite Studie
Implementierung und Architektur
Analytische versus Big Data Systeme und die Auswirkungen auf den Analyseprozess
Vergleich der SchwerpunkteProzess der Big Data Analyse
(explorative Analyse)
Analytische
Systeme (DW / BI)
Big Data
Systeme
Zentrale Datenhaltung,ll D t ü kt
Daten existieren an mehreren
St ll U i k it
Business und IT identifizieren Datenquellen
alle Daten müssen exakt zueinander passen
Stellen, Ungenauigkeitensind akzeptabel
Qualitativ hochwertigeDaten
Einfachheit der Nutzung
IT stellt Plattform zur
Strukturierte, bereinigteund aggregierte Daten
Verarbeitung der Rohdatenmit vielen unterschiedlichen
Formaten
IT stellt Plattform zur Verfügung
Wiederkehrende Berichte Interaktion in Echtzeit
Periodische Erstellung Optimiert für Flexibilität
Business bewertet Daten
(Basis für kreatives Erkunden der Daten)
ZentralistischeOrganisation
Heterogene, dezentrale
Organisation
Ergebnisse werden mit klassischen Quellen zusammengeführt
21© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
zusammengeführt
Implementierung und Architektur
Überwindung der Herausforderungen bei der operativen Umsetzung der Big Data-Lösung
Datenaufzeichnung /
� Identifikation relevanter Datenquellen
Filt “ d üt li h D t
� Identifikation relevanter Datenquellen
Filt “ d üt li h D t
�Definition geeigneter Filter
D fi iti d i hti “ M t d t
�Definition geeigneter Filter
D fi iti d i hti “ M t d t
UmsetzungUmsetzung HerausforderungenHerausforderungenStufeStufe
�Datenextraktion aus Originalquelle�Datenextraktion aus Originalquelle �Schwierigkeiten bei der Überführung der�Schwierigkeiten bei der Überführung der
Datenaufzeichnung / -
sammlung
� „Filterung“ der nützlichen Daten
�Generierung von Metadaten zur Beschreibung und Aufzeichnung der Daten
� „Filterung“ der nützlichen Daten
�Generierung von Metadaten zur Beschreibung und Aufzeichnung der Daten
�Definition der „richtigen“ Metadaten
�Datenbanksysteme, die den Ursprung der Daten nachvollziehen (Provenance)
�Definition der „richtigen“ Metadaten
�Datenbanksysteme, die den Ursprung der Daten nachvollziehen (Provenance)
Extraktion / Bereinigung
g q
�Überführung in analysefähige Formate
� Bereinigung der Daten zur Validierung (Fehlermodelle)
g q
�Überführung in analysefähige Formate
� Bereinigung der Daten zur Validierung (Fehlermodelle)
Schwierigkeiten bei der Überführung der Formate (applikationsabhängig)
�Fehlermodelle und Datenbereinigungs-methoden existieren oft noch nicht
Schwierigkeiten bei der Überführung der Formate (applikationsabhängig)
�Fehlermodelle und Datenbereinigungs-methoden existieren oft noch nicht
Integration / Bereinigung
�Datenintegration zur Ermöglichung automatisierter Computeranalyse
�Datenbankdesign und -struktur
�Datenintegration zur Ermöglichung automatisierter Computeranalyse
�Datenbankdesign und -struktur
�Heterogenität der Daten
�Frühe Entwicklungsstufe der Big Data Integration
�Vor- und Nachteile einzelner Designs
�Heterogenität der Daten
�Frühe Entwicklungsstufe der Big Data Integration
�Vor- und Nachteile einzelner Designs
Analyse / Modellierung
�Datenabfrage und Data Mining
� Interaktive Datenanalyse / Realtimeabfrage
�Verbindung von Datenbanken und Analytics-Software
�Datenabfrage und Data Mining
� Interaktive Datenanalyse / Realtimeabfrage
�Verbindung von Datenbanken und Analytics-Software
�Heterogenität, Dynamik, Interaktion und geringe Vertrauenswürdigkeit von Big Data
�Koordination zwischen Datenbanken und Analytics-Software
�Heterogenität, Dynamik, Interaktion und geringe Vertrauenswürdigkeit von Big Data
�Koordination zwischen Datenbanken und Analytics-SoftwareSoftwareSoftware Analytics-SoftwareAnalytics-Software
Interpretation
�Applikationen, welche Nachvollziehbarkeit der Analyseergebnisse und ihrer Annahmen (Provenance) gewährleisten
�Applikationen, welche Nachvollziehbarkeit der Analyseergebnisse und ihrer Annahmen (Provenance) gewährleisten
� In bestimmten Fällen geringe Vertrauens-würdigkeit und Fehleranfälligkeit von Big Data
� In bestimmten Fällen geringe Vertrauens-würdigkeit und Fehleranfälligkeit von Big Data
22© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
�Visualisierung der Ergebnisse�Visualisierung der Ergebnisse �Komplexität erschwert die Visualisierung�Komplexität erschwert die Visualisierung
Implementierung und Architektur
Auswirkungen auf die IT-Architektur der transaktionalen und analytischen Systeme
Durch die veränderten Schwerpunkte, die sich durch Big Data Systeme ergeben, entstehen auch veränderte technische Anforderungen. Folgende Techniken spielen besonders
� Verteilung von Daten auf Knoten� (Skalierbarkeit durch Parallelisierung
der Auswertung)� “
wichtige Rollen.
)
� Verarbeitung mit „Map-Reduce“ Technik� (Datenanalyse, die Informationen
strukturiert, shuffelt und anschließend reduziert) Die bestehende IT-
Infrastruktur vielerIn-Memory
A li ti
� Ablage von Daten im Arbeitsspeicher� Ermöglicht deutlich schnellere
Datenbank-Abfragen� Vor allem für analytische Anwendungen
i t
Infrastruktur vieler
Unternehmen erlaubt einen graduellen Übergang auf Big Data Lösungen bzw dieApplication
� Steht für „Not only SQL“� Datenbanken die einen nicht
geeignet Big Data Lösungen bzw. die
Integration mit Big Data
Konzepten
� Datenbanken, die einen nicht-relationalen Ansatz verfolgen
� Verzicht auf starre Schemata, Daten werden ohne feste Struktur gespeichert
23© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Implementierung und Architektur
Maßgeschneiderte Big Data-Architektur für Ihren Anwendungsfall
Um das große Datenvolumen schnell verarbeiten zu können, ist der Aufbau einer maß-geschneiderten Big Data-Architektur notwendig.
Big Data Applikationen
Au
tom
aA
uto
ma
VisualisierungVisualisierung
Reports
Alerts
Beliebige Reporting
-Tools
Dashboards BI Suite
Cockpits Modelle
Analytische Data Warehouses & Data Marts
Reporting & Visualisierung
AnalyseAnalyse
SQL In Memory DB Stream Engine
ODS KI“ I di DW
Beliebige Analytics
atis
ierte
Ab
atis
ierte
Ab
Analytics (Traditionell & Advanced)
Toolsp
Datenbanken & Tools
ODS „KI“ Indizes DW -Tools
bla
ufs
teu
er
bla
ufs
teu
er
InformationsbeschaffungInformationsbeschaffung
Sicherheitsinfrastruktur
Operative Datenbanken
ru
ng
ru
ngDaten Verfeinerung
(Hadoop)
Trans-
formation
Laden SQL, No SQL
New SQL, Files
24© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Physische Infrastruktur
Implementierung und Architektur
Technologien & Informationsaustausch
Regelmäßiger Informationsaustausch
Regelmäßiger Informationsaustausch
Big Data – Technologien (Auswahl)Big Data – Technologien (Auswahl)
� Verteilung von Daten auf Knoten(Skalierbarkeit durch Parallelisieren der Auswertung)
� Verarbeitung mit „Map-Reduce“ Technik(Datenanalyse, die Informationen strukturiert, verteilt und anschließend reduziert)
In-Memory
Application
� Ablage von Daten im Arbeitsspeicher� Ermöglicht deutlich schnellere
Datenbank-Abfragen� Vor allem für analytische Anwendungen
Applicationgeeignet
� St ht fü N t l SQL“
HANA� Steht für „Not only SQL“� Datenbanken, die einen nicht-relationalen
Ansatz verfolgen� Verzicht auf starre Schemata, Daten
werden ohne feste Struktur gespeichert
25© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
g p
Implementierung und Architektur
Funktionsweise von Hadoop
Der Einsatz hat Folgen für:
� Volume� Variety� Velocity
Der Einsatz hat Folgen für:
� Volume� Variety� Velocity
en
de
zip
ien
en
de
zip
ien • Cluster-Datei-System verteilt die
Daten auf verschiedene Systeme in einem Rechnerverbund
HDFS*
• Ablage der Daten in zerlegter Form (die Größe der
Datenblöcke ist vom System definiert)
• Replikation der Blöcke beugt Datenverlust bei
� Velocity� Velocityi g
run
dle
ge
isch
e P
rin
z
i g
run
dle
ge
isch
e P
rin
z einem Rechnerverbund
• Datenverarbeitung im Ablageort
• Replikation der Blöcke beugt Datenverlust bei
Knotenausfall vor („Sicherheits-Blöcke“)
Zw
ei
tech
n
Zw
ei
tech
n
Datenverarbeitung im Ablageort durch die Aufteilung der Daten-verarbeitung in kleine Portionen und ihre parallele Abwicklung
MapReduce
Systemvoraussetzungen für den Hadoop-Einsatz
� Grundsätzlich mit Hilfe von Standardrechnern durchführbar� Dateisystem muss auf Fehlertoleranz ausgelegt sein, da in einem solchen Rechnerverbund von Hardwareausfällen
auszugehen ist (funktioniert mit beschriebener Replikation der Blöcke)� Java Developer Kit ab V 1.6� Linux als Betriebssystem wird empfohlen
26© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
� Linux als Betriebssystem wird empfohlen
*HDFS = Hadoop Distributed File System
Implementierung und Architektur
Funktionsweise von in Memory-Datenbanken
In-MemoryDer Einsatz hat Folgen für:
�VelocityDer Einsatz hat Folgen für:
�Velocity
Application
Warum ist das Speichern pvon Informationen im Arbeitsspeicher
für Big Data Analysen so interessant?
Wenn Daten im Arbeitsspeicher und nicht auf anderen Speichermedien abgelegt werden, wird
die Geschwindigkeit erhöht, mit der Datenbanken auf diese Daten zugreifen können.
Daten können schnell ausgewertet und damit
beispielsweise sogar in Echtzeit in Prozesse
eingebunden werden!
27© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
eingebunden werden!
Implementierung und Architektur
Funktionsweise von NoSQL
Der Einsatz hat Folgen für:
�Variety
Der Einsatz hat Folgen für:
�Variety
Was macht den Einsatz einer Datenbanksprache, die nicht nur relationale Datenstrukturen verarbeiten können,
yy
die nicht nur relationale Datenstrukturen verarbeiten können, notwendig?
Unstrukturierte Datenmengen können nicht
mit Datenbanken ausgewertet werden, die
auf Relationen und Tabellen aufbauen.
W i t d U t hi d N SQL h kö li h SQL D t b k t kt ?Was ist der Unterschied von NoSQL zu herkömmlichen SQL-Datenbankstrukturen?
� NoSQL benutzt eine festen Tabellenschemata als Datenspeicher � SQL kann schlecht mit häufig ändernden Datenstrukturen umgehen, die aber zunehmend wichtiger werden� NoSQL hat nur geringe Sicherheit bezüglich der Datenkonsistenz, deren Problematik sich jedoch aufgrund der häufig
28© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
extrem hohen Datenmenge relativiert
Implementierung und Architektur
Big Data Security – Exemplarische Risiken entlang der Prozesskette
Risiken für die Datensicherheit und den Datenschutz existieren entlang der gesamten Prozesskette von der Erfassung bis zur Bereitstellung der Berichte. Die Sicherheits-anforder ngen steigen mit Z nahme der Datenmenge der Daten ielfalt nd der
Exemplarische
Darstellung Risiken:N t k i ht fü b
Risiken:• Verlust der Vertraulichkeit im
Datentransfer
anforderungen steigen mit Zunahme der Datenmenge, der Datenvielfalt und der Geschwindigkeit der Verarbeitung.
Analyse BerichtswesenErfassung / Extraktion
g• Netzwerk nicht verfügbar• Fehler während der Übertragung
Datentransfer• Nicht-autorisierte Änderung von Daten
im Transfer
Non-
SAP
SAP Analytics
AnalyseErfassung / Extraktion
!!
!!
!Quellsysteme
! !
Risiken:• Datensynchronisation nicht möglich, da
Quellsysteme nicht verfügbar• Nichteinhaltung von Gesetzen bei der
Erfassung und Speicherung von Daten
Risiken:• Nicht-authorisierte Änderungen
von Daten• Gefahr von Datenschutzverstössen
durch Anreicherung von Daten• Mangelnde Zugriffskontrolle auf
Risiken:• Mangelnder Zugriffsschutz• (Nachträgliche) Manipulation der
Berichte?
29© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
g p g• Unsichere Rechtslage bei der
Verarbeitung (z.B. bzgl. Datenschutz)
Mangelnde Zugriffskontrolle auf Daten
Implementierung und Architektur
Big Data Security – Risikobewertung
NonSAP A l ti
Analyse BerichtswesenErfassung / Extraktion
1 2 1 2Non-
SAP
SAP Analytics
Quellsysteme
1
1 2
33 4
4
3
4 1
Exemplarisch
1 2
IT Risiko Matrix (exemplarisch)Top Risiken (Auszug)
Gefährdung der Aussagequalität der Berichte aufgrund von nicht autorisierten Änderungen der Daten oder dem Verlust der Verfügbarkeit einzelner Komponenten
1
Sehr
Hoch
IT Risiko Matrix (exemplarisch) Top Risiken (Auszug)
Verlust der Vertraulichkeit /Integrität während der Datenübertragung durch unzureichende Sicherheitsmaßnahmen (Keine digitalen Signaturen, keine Verschlüsselung)
2
Mittel
2
3
1
ein
lich
keit
g)
Verlust der Zugriffskontrolle von Daten durch unzureichende Berechtigungskonzepte
3
4 Nichteinhaltung von Gesetzen und Unternehmensrichtlinien
Mittel
4
5Wah
rsch
e
Unternehmensrichtlinien
5Unsichere Rechtslage z.B. hinsichtlich des Datenschutzes kann zu unbewussten rechtlichen Verstößen führen
Sehr
Gering
Sehr Mittel Kritisch
30© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
Schadenshöhe
Sehr
niedrig
Mittel Kritisch
Ansprechpartner
Michael Brenner
Senior Manager
Consulting
Alfredstraße 277 Tel. +49 (201) 455-8569
Moritz Schneider
Manager
Consulting
Tersteegenstraße 19-31 Tel. +49 (211) 475-8679
D 45133 Essen Mobil +49 (174) 3277231
D40474 Düsseldorf Mobil +49 (174) 3904722
31© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent
member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.
© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a
subsidiary of KPMG Europe LLP and a member firm of the
KPMG network of independent member firms affiliated withKPMG network of independent member firms affiliated with
KPMG International Cooperative ("KPMG International"), a
Swiss entity. All rights reserved.
Der Name KPMG, das Logo und „cutting through
complexity“ sind eingetragene Markenzeichen von KPMG
International Cooperative ( KPMG International“)International Cooperative („KPMG International ).