Hadoop & IT-Strategie – Ein Spagat zwischen Innovation und ... · Wir fokussieren mit unseren...

Ein Spagat zwischen Innovation und Kosten – Geht das überhaupt ?

DOAG 2014

Hadoop & IT-Strategie –

©

Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT.

Reporting

� Standard & Adhoc � Reporting� Dashboarding� BI Office Integration� Mobile BI & In-memory� SAS Trainings for

Business Analysts

Analytics

� Predictive Models, Data Mining & Statistics

� Social Media Analytics

� Customer Intelligence� Scorecarding� Fraud & AML

Risk

� Solvency II (Standard & internal Model)

� Regulatory Reporting� Compliance � Risk Management

Enterprise DWH

� Data Modeling & Integration & ETL

� Architecture: DWH & Data Marts

� Hadoop & Columnar DBs

� Data Quality & Data Masking

Themenbereiche Über metafinanz

metafinanz gehört seit fast 25 Jahren zu den erfahrensten Software- und Beratungshäusern mit Fokus auf die Versicherungsbranche. Mit einem Jahresumsatz von 270 Mio. EUR und über 450 Mitarbeitern entwickeln wir für unsere Kunden intelligente zukunftsorientierte Lösungen für komplexe Herausforderungen

Manager IT-Consulting

� Projekt-/Programmleitung für Integrations-, Migrations- und Einführungsprojekte

� Schwerpunkt Finance/Risk, Data-warehousing, Business-Intelligence

Mail: [email protected]: +49 89 360531 5432

Business Intelligence

BI & RiskIhr Kontakt: Oliver Herzberg

18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 2

©

Inhalt.

2

3

1 Herausforderungen für CIO’s im Kontext Datenmanagement

Anwendungsszenarien Hadoop

Zusammenfassung und Fazit


©

Herausforderungen für CIO’s im Kontext Datenmanagement

1.

©

Die effiziente und wirtschaftliche Versorgung der Unternehmen mit IT ist nicht nur ein Kostenfaktor …

Fokus Technologie Prozesse Business Modelle

Fähigkeiten Programmieren, System-Management

IT Management, Service Management

Digitale Führung

Mindset Kundenzentriert Serviceorientiert Partnerschaftlich

Auswirkung Sporadische Automatisierung und Innovationen

Dienstleistungen und Lösungen, Effizienz und Effektivität

Digital Business Innovation, neue Werte

DigitalisierungIT Manufaktur IT Industrialisierung

Wir

sind

hie

r

Quelle: Gartner Executive Program, Taming the Digital Dragon: The 2014 CIO Agenda

… sondern wird als elementarer Wettbewerbsfaktor erkannt und vom Business wahrgenommen


©

Herausforderungen für Unternehmen.

Chancen

Marktveränderungen

Digitalisierung

Kosten

Regulatorischer Druck


©

Der Markt befindet sich im Umbruch …

… die Kundenbedürfnisse verändern sich rasch, die Marktanforderungen werden immer komplexer.


©

Durch die Digitalisierung ganzer Lebensbereiche wird eine bislang unbekannte Datentiefe ermöglicht.

… Die Vielfalt, Herkunft, Verfügbarkeit, Qualität und letztlich die gewonnene Aussagekraft variieren signifikant.


©

Deutschland hat bei der Digitalisierung der Wirtschaft Nachholbedarf …

„Unternehmen wird eine Zukunftsaufgabe gestellt:

Sie müssen dem strategischen Management der internen und externen Daten und Informationen als auch deren Umsetzung in der Praxis einen höheren Stellenwert zumessen.“

Quelle: manager magazin 07/2014

… führende Politiker rufen dazu auf, die Digitalisierung mit größerer Entschlossenheit voranzutreiben


©

Eine spartenübergreifende Studie von Gartner zur Verteilung der IT-Kosten zeigt, …

… mehr als 40% der IT-Produktionskosten sind in Data-Centern gebunden

Quelle: Gartner Significanty Reducing I&O Costs, 7 May 2014

I&O: Wohin

fließt das Geld?

ServiceDesk13%

ClientCompu-

ting20%

Networking26%

Rechen-zentrum

41%

I&O56% IT-Budget53% IT-Personal


©

Die kontinuierlich steigenden regulatorischen Anforderungen haben wesentliche Auswirkungen auf den Informationsbedarf.

Abwicklungsmechanismus Anlegerschutz Bankenunion Basel III Beihilferecht Benchmarks CRD IV/CRR Compliance BCBS239 Comprehensive Assessement EBA EMIR ESMA EU-Bankenaufsicht

Eigenkapital interne Modelle Einlagensicherung Electronic

Banking Finanztransaktionssteuer VerbraucherschutzGeldwäschebekämpfung Solvency II Großkredite IFRS9 KartenKrisenmanagement LCR Lease Leverage Ratio MaRisk MASan MacroHedge Accounting MiFID OSCar/OSeC Rating Risikomanagement

SEPA Stresstest Transparenz von Bankentgelten EU-Vermittler Richtlinie

… Die damit verbundenen wachsenden Datenmengen wirken direkt auf den Speicherbedarf und die damit in Zusammenhang stehenden IT-Kosten.


©

In komplexen Projekten fallen bis zu 60% der Aufwände direkt oder indirekt auf Datenbeschaffung, -validierung und -transformation.

… Leistungsfähige, flexible und elastische DWH- und BI-Infrastrukturen wirken vor allem in künftigen Changekosten


©

Datenmanagement wird damit elementarer Bestandteil der IT-Strategie von Unternehmen.

CIOs stehen damit vor der Herausforderung,

� der Regulatorik genüge zu leisten was Kosten ohne Ertrag bedeutet.

� die Chancen aus der Digitalisierung zur Bindung und Erschließung neuer Märkte gewinnbringend zu nutzen.

� andererseits aber auch aktiv die Potentialezu erkennen und zu nutzen, die aus solchen Transformationsprozessen entstehen:

InnovationInnovationInnovation

Gewaltige Datenschätze, die es zu heben gilt!


©

Anwendungsszenarien Hadoop2.

©

Mit dem Opensource Framework Hadoop stehen neue und bisher nicht umsetzbare Analytics Möglichkeiten zur Verfügung.

Drill

Ambari

HCatalog

Cloudera Manager

Parquet

SequenceFiles

… Es gibt aber auch konkrete Usecases, die auf die Reduzierung von Infrastruktur-/Storagekosten abzielen.


©

� Optimierung z.B. von Speicherplatz � Ersatz bestehender ETL-Prozesse � Günstigere Datenspeicherung im Cluster, statt kostenintensive

RDBMS-Systeme

� Funktionale Erweiterung bestehender DWH-Lösungen � Operational Data Stores (ODS) als vorgeschalteter

Datensammler� Near-/Realtime – Streaming von Daten

� Daten aus unterschiedlichen Quellen� Verknüpfung mit unterschiedlichen Datentypen � Data Mining und Maschine Learning

Hadoop - Einsatzgebiete und Beispiele.

RDBMS Offload

DWH Extension

Big Data Exploration


©

Die fünf größten Herausforderungen im Kontext Big Data/Analytics.

12%

18%

15%

12%

12%

11%

13%

14%

14%

13%

11%

26%

8%

7%

7%

29%

33%

33%

Wie kann Mehrwert ausden Daten generiert werden

Integration unterschied-lichster Datenquellen

41%

Knowhow und verfügbare Ressourcen

Infrastruktur und Architektur

57%

Definition der Strategie

2nd 3rdTop challenge

Quelle: Gartner 2014 Q: What are your organizations's top 3 hurdles or challenges with big data? n=687


©

Unser iteratives Vorgehensmodell zur Einführung von Hadoop umfasst vier Kernphasen.

Phasenmodell

� Rollout und Einbindung weiterer Unternehmensbereiche (Prozesse, Organisation)

� Advanced Analytics = Potentiale voll ausschöpfen

Optimierung

� Aufbau Infrastruktur

� Prototyp

� Interdisziplinärer Teams (OpsDev)

� Agile Vorgehensweise

� Ergebnis: Projektreadynesshergestellt

Initiierung

� Ziele und Potentiale festlegen

� Umfeld und Machbarkeits-analyse

� Ergebnis: Roadmap und Business-Case

Orientierung

� Einfache Usecases

� Iterativer Anbindung weiterer Datenquellen/-typen

� Integration in bestehende BI-Lösungen

Umsetzung

Phase 0


©

Strategische Personalentwicklung

Zentrales FiBu - ArchivUmsetzung gesetzl.

Anforderungen

An folgenden Anwendungsszenarien soll veranschaulicht werden, …

� Volltextsuche nach Mitarbeiterskills

� Übersicht Skillverteilung

� Analyse Skillverteilung in Verbindung mit Auftragssystem

� Reduzierung Kosten bei der Archivierung geschäfts-relevanter Daten

� Einsatz klassischer Archivlösungen ist teuer

� Zugriff auf Informationen oft nur eingeschränkt möglich

� Überleitbarkeit und Erklär-barkeit von Steuerungs-informationen

� Stetig wachsende Datenmengen

� Knappe Ressourcen

� Kostenreduzierung

… wie durch die Einführung von Hadoop-Lösung nachhaltige, aber auch gleichzeitig innovative Assets geschaffen werden können.


©

… Die Mitarbeiter Profile sollen durchsuchbar sein. Zusätzlich soll die Verteilung und die Korrelationen zwischen den Skills analysiert werden können.

Zielsetzung: Transparenz über Skills und Potentiale der Mitarbeiter schaffen.


©

Lösungsansatz: Mit der Hadoop Search API kann der Personalstamm performant analysiert werden, …

Windows Fileserver

R:\Intern\ProfessionalServices\MA Profile

WinSCP hdfs dfs -put

CentOS

LinuxFilesystem

HDFSClouderaSearch

MapReduceIndexerTool

… durch den Einsatz von SolR Cloud wird dabei ein hohes Maß an Flexibilität und Stabilität erreicht, was sich in geringen TCO widerspiegelt.

HueSearch

SolrJ

SolrConsole

REST API


©

Zielsetzung: Reduzierung Kosten bei der zentrale Archivierung geschäftsrelevanter FiBu-Daten …

… zur Erfüllung gesetzlicher Anforderungen. Der Einsatz klassischer Archivlösungen ist teuer, der spätere Zugriff oft nur eingeschränkt möglich.

Datawarehouse

Klassische Speichermedien (SAN, Storage, Tape)

Archivsysteme und optische Medien


©

Lösungsansatz: Zentrale Archivierung mit Hadoop …

… durch Replikation der im Core-DWH gehaltenen Daten und sukzessiver Ausbau zur Big Data Integrations- und Analyticsplattform.

DWHQuickWin: � Reduzierung

Storage-Kosten

Mehrwert/Potentiale:� Investitionssicher-

heit bestehendes Core-DWH

� Ausbau zur BigData Inte-grations- und Analyseplattform

Analytics

In Memory

SAP

Marktdaten

DMS

Hadoop - Archiv

Je mehr Daten, desto höhere Analysemöglichkeiten �� Mehrwert


©

Zielsetzung: Reduzierung Kosten bei gleichzeitiger Umsetzung gesetzlicher Anforderung.

Die Überleitbarkeit und Erklärbarkeit von Steuerungsinformationen stellt bei wachsenden Datenmengen und zur Verfügung stehenden Ressourcen Finanzinstitute heute vor immer größere Herausforderungen.


©

Lösungsansatz: Ergänzung DWH durch den Aufbau eines Hadoop ODS und damit ...

… Kostenreduzierung durch die Ablösung von Point-to-Point Verbindungen bei gleichzeitiger Erhöhung der Qualität im Reporting.


©

Um künftig als Unternehmen erfolgreich am Markt agieren zu können, …

� Der Spagat zwischen Innovation und Kostendruck, ist die Herausforderung und Hürde

� Mit dem Einsatz von Hadoop – werden klassische DWH‘s nicht überflüssig –sondern sinnvoll ergänzt

� Für Big Data gilt „Think Big, think out ofthe box – but start small“

… müssen wir bereit sein neue Wege durch unbekanntes Terrain zu gehen.


©

Metafinanz unterstützt Ihre Kunden bei Einführung von Hadoop end-to-end: Von Entscheidung und Konzeption bis hin zu Einführung und Optimierung.

metafinanz ist herstellerunabhängig, erfahren, kompetent, zuverlässig und lieferfähig

BUILDDECIDE PLAN OPTIMIZE

metafinanz Consulting Leistungen rund um Data Warehouse und Enterprise Information Management� Businessanalyse, Systemauswahl und Integrationskonzept� Gesamtheitliche IT Architektur Strategie und Designkonzeption (IT Strategie)� Customizing von Big Data Lösungen für Ihre besonderen Business Anforderungen (Zukunftsfähigkeit)� DWH Configuration & Optimierung für mehr Leistungsfähigkeit (Effizienzpotential)

VorstudieHadoop-Strategie

� Identifikation Use Cases� Tool-/Distributor-Auswahl & Architektur� Projekt- und Betriebs-Setup

DWH Cost Savings� Data Mart Offload (hist. Daten)� ETL-Offload: Staging� Calculation Offload

Dokumentenverarbeitung� Dokumentenarchivierung� Volltextsuche� Textanalyse

Log-File-Analysen� Click-Stream-Analyse Web-Anwendungen� Security Analytics (Server-Logs, Firewall-Logs, …)


Besuchen Sie uns auch auf:

metafinanz Informationssysteme GmbHLeopoldstraße 146D-80804 MünchenPhone: +49 89 360531 - 0Fax: +49 89 350531 - 5015Email: [email protected]

Vielen Dank für Ihre Aufmerksamkeit

Hadoop & IT-Strategie – Ein Spagat zwischen Innovation und ... · Wir fokussieren mit unseren...

Documents

Transcript of Hadoop & IT-Strategie – Ein Spagat zwischen Innovation und ... · Wir fokussieren mit unseren...