Big Data Referenzarchitektur im agilen und digitalen Wandel · Tweets, RSS- und Newsmeldungen im...

Für externe Präsentationen bitte immer eine Titelfolie mit der Ressort-Farbe verwenden.

Big Data Referenzarchitektur im agilen und digitalen Wandel

Data Analytics 2019, Phantasialand Brühl

DB Systel GmbH | Werner Schönau | T.IPB 1 | 27.03.2019

Agenda


1.

2.

3.

4.

DB Systel – Wer wir sind und wohin wir gehen

Agilisierung der IT-Governance, Referenzarchitektur und des Vorgehens im Projekt

Entwicklung der Datawarehouse & Big Data Architekturpattern

Praxisbeispiel: SD4M & Early-Bird

Wer wir sind: Fakten

DB Systel - Digital bewegen. Gemeinsam.

3800 Mitarbeiter, 25% Frauenanteil,

über 70 verschiedene Nationalitäten

Über 600 IT-Verfahren im Betrieb

100.000 digitale Arbeitsplätze

13.000 Security-Events pro Sekunde

40.000 Systeme im monatlichen

Schwachstellen-Scan

Über 80% der IT-Verfahren

werden in die Cloud migriert

Über 45 neue digitale Geschäftsideen,

entwickelt in unseren Innovation-Labs

1.500 Besucher monatlich in den Labs

Beteiligung an mehreren vom Bund

geförderten Forschungsprojekten

zur Zukunft von Verkehr und Logistik

Personenverkehr, Güterverkehr,

Logistik, Infrastruktur, Konzernleitung


Wohin wir gehen: Agiler, digitaler Wandel

Einzelmaßnahmen dienen dem unternehmensweiten Kulturwandel


Architektur &

TechnologieOrganisation

InnovationMethoden

Agilität

DevOpsSAFe

„Two Deliferies a

Day“

Agiles BI-

Vorgehensmodell

Scrum

Team,

Productowner,

Agility-Master

Selbst-

organisation

Team-

verantwortung

CommunitiesGilden

Skydeck

Innovation-Room Pitch-Day

Accelerator-

Programm

Hackertrons

Brown-Bags

Cloud

Business-Hub

(API first)

Security-ScansContainer

Micro-

Services

Data-

Lakes

GitLab

Kooperationen (Uni,

Bund, Partner) Ausbildung

(Bachelor & Master

Arbeiten)

Mitarbeiter-

Enablement

Analysten

/ ext. Labs

Start-Ups

(intern)

Fail Fast

CI, CT, CD

User-

Centricity

Self-

Service

Open Data

KI

„Zero.One.Data“

Big Data Projekte

Netzwerke

Beispiel: Innovationsförderung im Accelerator-Programm

https://www.dbsystel.de/dbsystel/digitalisierung/innovationen/skydeck-uebersicht/accelerator-programm

Early-Bird

Extrahiert Mobilitätsinformationen aus

Social-Media in Echtzeit.

Entstand aus Forschungsprojekt SD4M.


Agenda


1.

2.

3.

4.





IT-Architekturmanagement im DB-Konzern und DB Systel

Etablierte Methoden greifen ineinander


Abkürzungen, Quellen, Links:

COBIT = Control Objectives for Information and Related Technology, http://de.wikipedia.org/wiki/Cobit

TOGAF = The Open Group Architecture Framework, http://de.wikipedia.org/wiki/TOGAF

CMMi = Capability Maturity Model Integration, http://de.wikipedia.org/wiki/CMMI

ITIL = IT Infrastructure Library, http://de.wikipedia.org/wiki/ITIL

Sichten und Komponenten = DB-Systel Architekturbeschreibung, siehe z.B. http://de.wikipedia.org/wiki/4%2B1_Sichten, http://www.arc42.de/

UML = Unified Modeling Language (Vereinheitlichte Modellierungssprache), http://de.wikipedia.org/wiki/Unified_Modeling_Language

COBIT

IT-Governance DB Konzern

TOGAF

IT-Bebauung (Enterprise-Architecture-Management)

Architektursichten und Komponenten mit UML

IT-Architektur von Systemen bei DB-Systel

Referenzarchitekturen und Baupläne

CMMi

IT-Projekte bei DB-Systel, Level 3 zertifiziert

Proces-Library

ITIL

RZ-Betrieb bei DB-Systel, zertifiziert

RZ Portfolio & Plattformen

http://de.wikipedia.org/wiki/Cobit

http://de.wikipedia.org/wiki/TOGAF

http://de.wikipedia.org/wiki/CMMI

http://de.wikipedia.org/wiki/ITIL

http://de.wikipedia.org/wiki/4+1_Sichten

http://www.arc42.de/

http://de.wikipedia.org/wiki/Unified_Modeling_Language

System „Referenzarchitektur“ bei DB-Systel

Standardisierung schafft Qualität, Effizienz, Nachhaltigkeit


Big

Picture

Referenzarchitekturen

Referenzplattformen

Referenzbaupläne

Referenzarchitekturenstrukturieren den fachlichen

Anwendungsbereich, beschreiben die

technische Lösung produktunabhängig (!)

mittels geeigneter Architektur-Pattern,

beschreiben dann welche Produkte und

Technologien in Frage kommen und welche

im „Standard“ der DB gesetzt sind und

bieten Auswahlkriterien für

Referenzbaupläne.

Big Pictureunterstützt den Entwurf einer angemessenen

technischen Software-Architektur für ein

einzelnes IT System bis zu einer komplexen IT

Systemlandschaft

Referenzplattformensind Plattformleistungen, die

optimal auf die Referenz-

baupläne und den Betrieb

abgestimmt sind

Referenzbauplänebeschreiben produktabhängig wie

und in welchen Ausprägungen die

Lösung realisiert werden kann,

setzen Vorgaben im Design, der

Implementierung und im Betrieb

und zeigen auf, wie nicht-

funktionale Anforderungen

umgesetzt werden.

Architektur- & Portfoliosteuerung „Top-Down“ - Stand 2012

Vorlaufzeiten, Gremien, Personalstand erschweren Agilität

(


Die Weiterentwicklung des IT-Lösungsportfolios erfolgt im Technologiemanagement-Prozess (TecM)

Das Technologiemanagement-Board stellt die Ausrichtung des Portfolios mit IT-Vision der Deutschen Bahn sicher

Die Entwicklung der Referenzarchitekturen, Baupläne, Plattformen erfolgt bedarfsgerecht

Kontrolle der Einhaltung der Referenzarchitektur-Vorgaben erfolgt via CMMi-Prozesse durch Chief- & Lead-Architect

GF

Geschäftsführung

taktischer Rahmen

technologische Schlüsselthemen

taktischer Rahmen und Schlüssel-

themen des Geschäftsbereich

Technologie Programm

Langfrist Technologie

Strategie

TechnologieBusiness

Unternehmensstrategie

Bereichsstrategie

taktischer Rahmen

(Operative) Programme

Langfriststrategie

GBL

FBL

Progr. Mgmt.

CTO

TM

EA

CA

Markt

Kunden-

bedarf/

Kunden-

bedarf

Abnahme Vo

rgab

eErstellungErg

eb

nis Input

Vorgabe

Projekt-

bedarfe

(Fachbereich)

Interne

Projekte RA

>4 Jahre

18 – 24 Monate

12 Monate

3+ Monate

Projekte

(Anforderer, Auftraggber)

DB

Projekte

(Umsetzung, Auftragnehmer)

LA (DB-Systel)

Kontrolle der

Standards über

Chief Architekt,

Lead Architect

Agilisierung der IT-Governance im Projektkontext

Agile Teams erhalten mehr Freiraum und Verantwortung


IT-Governance

Projekt-Team

Wenig

Freiraum &

Verantwortung

IT-Governance

Agiles-Team

Mehr

Freiraum &

Verantwortung

Früher Heute

Reduktion auf

wesentliche

Vorgaben,

erarbeitet in

Gilden (CTO)

Mehr Freiraum für

Innovation

Mehr Verantwortung

für

Qualität, Effizients,

Nachhaltigkeit

Moderation der Vorgaben,

Beobachtung der Best-

Practice in Communities,

Fördern von

Innovationsideen

„Diktat“ der Vorgaben,

„Harte“ Steuerung,

häufig „Nein“ zu

Innovationsideen

Tiefreichende

Vorgabenhirarchie,

erarbeitet in

aufwändigen internen

Programmen

Vorgaben oft als

Störfaktor /

„Spaßbremse“ ?!

Agilisierung des „BI-Vorgehensmodell“

Fundierte Systemstrategie ist auch im agilen Vorgehen wichtig


Building BlockSystem-Strategie Building Block

Building Block

Rea

lisie

rungs-

Roa

dm

ap

System-Strategie auf Basis

Ziele & Grundsatzanforderungen

Architektur & Kostentreiber

Domänen und fachl. Kernentitäten

Festlegung der technischen

Basisarchitektur / Plattform

Roadmap auf Flughöhe „Epic“

Umsetzung von KleinstanforderungenSprint 1 Sprint n Deployment…

Bei bestehender technischer Architektur / InfrastrukturR

escopin

g&

Fa

chlic

hes D

esig

n

Scopin

g

Technisches

Prototyping

B.-Block-

Architektur

Test- und Abnahmeplanung

Daten-Profiling

Implemen-

tierung

SystemtestAbnahme-

test

Deploy-

ment

Umsetzung von technischen & fachlichen Features in Sprints

Referenzarchitektur

hilft bei der

Systemstrategie

Referenzbauplan &

Plattform

hilft bei der Realisierung

Grundsatzanforderungen

Domänen / fachl.

Kernentitäten

Technis

che

Arc

hitektu

r

Architektur- & Kostentreiber

Vergleiche z.B. auch SAFe:https://www.scaledagileframework.com/what-is-safe/

Agenda


1.

2.

3.

4.





Entwicklung der Referenzarchitektur BI, DWH, Big Data

Wachsende Anzahl innovativer Themen & Technologien

Themen der letzten Jahre:

Evolution des klassischen

DWHs, Data-Vault-Modell,

Agilisierung, Self-Service BI,

Gartners Logical DWH,

Predictiv Analytics R!,

Hadoop, Spark, Kafka …,

Lambda- /Kappa Architektur,

Open-Data, Data Lake, KI &

Deep Learning …

Anzahl Kern-Technologien:

– 2010 ca. 5 stabil

– 2018 ca. 30 wachsend


Hadoop

Entwicklung der DWH & Big Data Architektur

Immer mehr NF-Anforderungen können erfüllt werden


RDBMS

Cube(s)

DIM-Modell

Core

ER-Modell

„Single

Point of

Truht“

File-System

Stage

(temp.)

RDBMS

Cube(s)

DIM-Modell

Core

DV-Modell

„Single

Point of

Facts“

File-System

Stage

(temp.)

RDBMS

Cube(s)

DIM-Modell

File-System

Stage

(temp.)

RDBMS

Cube(s)

DIM-Modell

Hadoop

Stage

(dauerhaft)

Core

ER-, DV-,

?-Modell

Kimball Core-DWH

ER-Modell

Core-DWH

Data-Vault

DWH-Offloading

/ div. Data LakesHybride & Erweiterte

Architekturansätze

Query

Ingestion

Batch

(Facts)

HIVE,

HDFS

Speed

NoSQL

Serving

(Cube)NoSQL/

RDBMS

Lambda-Arch. /

Kappa-Arch.

Bemerkung: Hadoop meint das gesamte Ökosystem, incl. NoSQL, alternative Filesysteme …

Innovationsdruck:

- Self-Service BI / Data-

Integration

- Data Virtualisierung /

Enterprise Inf.-Mgmt

- „KI guided BI“

- Integration KI Systeme

- Fast-Data

- OLAP virtuell

- Adaptives Tuning &

Data-Mgmt (KI)

- Hardware Innovationen

- …

+ + + + =/- + OLAP

- - + + + + Agilität

- + + + + + Flexibilität

- - = = + + Robustheit

+ = = + +/= + Kostengünstig

- - - +/= + + Big Data (3Vs)

Integration von KI-Modellen in transaktionale Anwendungen

Systemumgebung für KI-Modelle vom PoC bis Produktion


Eigenschaften:

Lose Kopplung zw.

„Nutzendes System“

und „Modell-Execution“

Modell-Deployment unab-

hängig vom Release des

nutzenden Systems

Versionierung und auto-

matisches Deployment

Elastisches Skalieren der

Modell-Execution möglich

Monitoring des Modells

Abnahme des Modell

Rekalibrierung des

Modells

PoC-Umgebung gibt dem

Data-Scientisten die

nötige Freiheit

Data-Lake PoC-

Umgebung

Modell

Nutzendes

System

Model-

Building

Test- &

Abnahme

Modell

Expl. Testdaten

je Szenario

Versionierung & CI / CD

ModellModellversionierung

& Deployment

Datenfluss

Adaption neuer

Tools & Datenflüsse

Monitoring

PoC

Modelle

123

4

1. Verprobung der KI- / Modell-Idee im PoC

2. Entwickeln und Verbessern des produktiven Modells

3. Abnahme des produktiven Modells

4. Ausführung im nutzenden System

Daten für die Modellerstellung Externe Daten

Portfolio von Oracle im Bild der Referenzarchitektur

Umfassender Technologie-Stack für BI, DWH, Big-Data

Oracle Datenbank

– RDBMS

– RDBMS (Security, Audit)

– BigData SQL

– BigData Connectors

Oracle Big-Data

– Hadoop Distribution

(HDFS, Hive, Spark, Kafka)

Oracle NoSQL

Oracle Advanced Analytics

– R, Spark, RDBMS-Native

– GUI, R-Studio, Zeppelin

Oracle ODI

– ETL / ELT Code

Oracle Golden-Gate

– Quellen / Ziel-Unabhängig

Oracle EMM (Enterprise-

Metadata-Mgmt)

Oracle EDQ (Enterprise-

Data-Quality)


RDBMS

BigData SQL

BigData

HadoopBD-C

NoSQLAdv.Ana EMM

EDQ

Golden Gate

RDBMS

Security

ODI

Oracle Komponenten und Features

Features bestimmen die Qualität der Lösungen

Oracle RDBMS

– Compression

– Partitioning

– In-Memory Option

– Automatic Data Optimization (Data Temperature)

– Automatic Degree of Parallelisme

– SQL Optimizer

– External Table (z.B. auch AWS S3)

– BigData SQL mit div. Connectoren

– Security & Audit

Oracle ODI

– GUI / ETL-Case-Tool

– ETL und ELT (Code Generierung für div. Umgebungen)

– Repository

– Div. Quellen und Ziele

Oracle Advanced Analytics / ML

– GUI / Zeppelin Notebooks

– R, Spark MLlib und native Algorithmen (In-Database-Execution)

– PMML


Oracle Golden Gate

– Div. Quellen und Ziele

– CDC (Change-Data-Capture)

– Lesen von Transaktionslogs

– Batch & Realtime

Oracle Exadata & Big Data Appliance

– Optimierte Hardware

– SQL Ausführung dort wo die Daten liegen

– HDFS, Hive, Spark

Oracle Cloud

– Autonomous DWH (Self-Patching, -Tuning,

Adaptive Caching …)

– Hadoop (hdfs, Hive, Spark, Kafka)

– Elastizität

– Paas, SaaS

– Pay per use

Agenda


1.

2.

3.

4.





Beispiel: SD4M – Smart Data for Mobility

Konsortialprojekt führte zu DB-interner Lösung Early-Bird

Projektpartner im Smart Data Projekt:– DB Systel GmbH (Konsortialführung)

– Deutsches Forschungszentrum für Künstliche Intelligenz GmbH

– idalab GmbH

– ]init[ AG für digitale Kommunikation

– PS-Team Deutschland GmbH & Co. KG

Big-Data-Analytik-Plattform für multimodale Smart Mobility Services

Links: https://www.sd4m.net/#html , https://www.digitale-technologien.de/DT/Navigation/DE/Foerderprogramme/Smart_Data/smart_data.html ,

http://www.smartdata-blog.de/2017/05/04/big-data-praxis-smart-data-projekt-sd4m-verarbeitet-139-000-meldungen-taeglich-mobilitaet/


https://www.sd4m.net/#html

https://www.digitale-technologien.de/DT/Navigation/DE/Foerderprogramme/Smart_Data/smart_data.html

http://www.smartdata-blog.de/2017/05/04/big-data-praxis-smart-data-projekt-sd4m-verarbeitet-139-000-meldungen-taeglich-mobilitaet/

Beispiel: EarlyBird – Real Time Insights

…verbessert Abläufe, erhöht Kundenzufriedenheit


Echtzeit Verarbeitung von

Tweets, RSS- und

Newsmeldungen im Kontext

Mobilität

Klassifikation der Daten nach

z.B. Unfall, Zugausfall, etc.

Geo-Referenzierung anhand

Textinhalt

Visualisierung als Web

Applikation mit einer Live-

Karte

Auf Basis der SD4M-Plattform

„Vielen Dank für Ihre Aufmerksamkeit“ kann auch durch ein anderes Abschlusszitat oder eine Botschaft ersetzt werden.

Vielen Dank für Ihre Aufmerksamkeit

Mobil 0160 97435825

werner.schoenau

@deutschebahn.com

DB Systel GmbH

Jürgen-Ponto-Platz 1

60329 Frankfurt am Main

www.dbsystel.de

Diplom Physiker

Werner Schönau

Chief Architect

BI, Data-Warehousing, Big Data

Application Development & Integration

T.IPB 1

Big Data Referenzarchitektur im agilen und digitalen Wandel · Tweets, RSS- und Newsmeldungen im...

Documents

Transcript of Big Data Referenzarchitektur im agilen und digitalen Wandel · Tweets, RSS- und Newsmeldungen im...