Wie modelliere ich mein Core DWH?

2013 © Trivadis

BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN

2013 © Trivadis

Wie modelliere ich mein Core DWH? DOAG Konferenz 2013, Nürnberg

Dani Schnider, Trivadis AG

19. November 2013DOAG - Modellierung Core DWH

1

2013 © Trivadis

DOAG - Modellierung Core DWH2

Dani Schnider

Principal Consultant und DWH/BI Lead Architectbei Trivadis in Zürich

Kursleiter verschiedener Trivadis-Kurse

Co-Autor des Buches «Data Warehousing mit Oracle – Business Intelligence in der Praxis»

19. November 2013

2013 © Trivadis

Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution-Engineering und der Erbringung von IT-Services mit Fokussierung auf und Technologien im D-A-CH-Raum.

Unsere Leistungen erbringen wir aus den strategischen Geschäftsfeldern:

Trivadis Services übernimmt den korrespondierenden BetriebIhrer IT Systeme.

Unser Unternehmen


B E T R I E B

3

2013 © Trivadis

Mit über 600 IT- und Fachexperten bei Ihnen vor Ort

4

12 Trivadis Niederlassungen mitüber 600 Mitarbeitenden

200 Service Level Agreements

Mehr als 4'000 Trainingsteilnehmer

Forschungs- und Entwicklungs-budget: CHF 5.0 / EUR 4 Mio.

Finanziell unabhängig undnachhaltig profitabel

Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden

Stand 12/2012

4


Hamburg

Düsseldorf

Frankfurt

FreiburgMünchen

Wien

BaselZürichBern

Lausanne

4

Stuttgart

Brugg

4

2013 © Trivadis

DOAG - Modellierung Core DWH

Ausgangslage

19. November 2013

Data Warehouse

MartsCleansing Area CoreStaging AreaQuellsysteme

MetadatenETL

BI-Plattform

?

5

Source driven Business driven

2013 © Trivadis


Vorgehensweise für Datenmodellierung im DWH

Anforderungsgetriebene Datenmodellierung Business-driven (Top-down) Core-Modell wird aus fachlichen Anforderungen an

Data Marts abgeleitet Resultat: Dimensionales Core-Datenmodell

19. November 2013

6

Quellsystemgetriebene Datenmodellierung Source-driven (Bottom-up) Core-Modell wird aus verfügbaren Daten der

Quellsysteme abgeleitet Resultat: „Relationales“ Core-Datenmodell

2013 © Trivadis


Anforderungsgetriebene Datenmodellierung

7

2013 © Trivadis


Dimensionales Core-Datenmodell

19. November 2013

8

Empfehlungen: Keine Aggregationen im Core Im Core generell Slowly Changing Dimensions verwenden Versionierung mit Head-/Versionstabellen Data Marts nicht zwingend als physische Schicht, eventuell

nur Views

Einsatzgebiet: Struktur der Data Marts ist bekannt (Business

Requirements!) Conformed Dimensions zwischen den Data Marts

Core ist „Gesamtmenge aller Data Marts“ Dimensionen und Fakten aller Data Marts auf feinster Granularitätsstufe Implementierung als Star oder Snowflake Schema

2013 © Trivadis

DOAG - Modellierung Core DWH19. November 2013

D D

D D

D

F

F

D D

Data Mart 1

Data Mart 2

Core

D D

D D

F

D

FCle

ansi

ng A

rea

Sta

ging

Are

a

9

2013 © Trivadis


D D

D D

D

F

F

D D

D D

D

F

F

D D

D D

D

D

D

D D D

Data Mart 1

Data Mart 2

Core

10

2013 © Trivadis


Beispiel: DWH für Liegenschaftenverwaltung

19. November 2013

11

Data Mart „Gebäudeunterhalt“

Data Mart „Mieterzahlungen“

Core

2013 © Trivadis



19. November 2013

12

V1 V2

V1 V2

V1 V2

2013 © Trivadis


Head-/Versionstabellen

Head-Tabelle Eindeutiger Schlüssel pro Objekt (PK) Fachlicher Schlüssel (UK) Statische Attribute

Versions-Tabelle Eindeutiger Schlüssel pro Version (PK) Fremdschlüssel auf Head-Tabelle Gültigkeitsdauer (Gültig von – Gültig bis) Dynamische Attribute

19. November 2013

13

Head-Tabelle

Versions-Tabelle

2013 © Trivadis



19. November 2013

14

V1 V2

HV

HV

HV

HV

2013 © Trivadis


D D

D D

D

F

F

H H

H H

F

F

D D

H H

H

H

H

H

Data Mart 1

Data Mart 2

Core

V

VV

V

V

V V

V

V

V

V

D D D

V V

15

2013 © Trivadis


Quellsystemgetriebene Datenmodellierung

16

2013 © Trivadis


„Relationales“ Core-Datenmodell

Was bedeutet hier „relational“ und „3. Normalform“? Star und Snowflake Schemas sind auch relational Snowflake Schema ist in 3. Normalform (3NF) Gemeint ist: Aus Quellsystem abgeleitetes Core-Datenmodell

19. November 2013

17

Empfehlungen: Nur fachlich relevante Daten in Core übernehmen Code-Tabellen und Lookup-Tabellen denormalisieren Stammdaten-Historisierung im Core mit Head- und

Versionstabellen

Einsatzgebiet: Unterschiedliche oder noch unbekannte Anforderungen der

Data Marts Historisierung und Integration von Daten aus

verschiedenen Quellsystemen

2013 © Trivadis


Source System 1

T

T

T T

T

T

T

T

T

T

T

T

Source System 2

Core

H

H

F H

V

VV

F

H V

H V

FH

VH

V

H

V

Sta

ging

Are

a /

Cle

ansi

ng A

rea

18

2013 © Trivadis


Beispiel: Datenmodell des Quellsystems

19. November 2013

19

2013 © Trivadis


Beispiel: Core-Datenmodell (nicht historisiert)

19. November 2013

20

2013 © Trivadis


Beispiel: Core-Datenmodell (historisiert)

19. November 2013

21

H

H

H H

H

H

H

V

V

V V

V

V

V

2013 © Trivadis

Data Vault Modeling

Hub: Eindeutiger Schlüssel pro Objekt (PK) Fachlicher Schlüssel (UK) Audit-Informationen (Ladedatum, Quellsystem)

Satellite: Fremdschlüssel auf Hub oder Link Gültigkeitsdauer (Gültig von – Gültig bis) Fachliche Attribute (statisch und dynamisch) Audit-Informationen (Ladedatum, Quellsystem)

Link: Künstlicher Schlüssel (Surrogate Key) Fremdschlüssel auf zwei oder mehr Hubs Audit-Informationen (Ladedatum, Quellsystem)


22

H

S

L

2013 © Trivadis


Source System 1

T

T

T T

T

T

T

Core (Data Vault)

H

S

SS

HH

H

H

H

H

S

S

S

SSS

S

S

S

S

L

L

L

L

L

S

L

23

2013 © Trivadis

Data Vault Modeling


24

Empfehlungen: Hubs enthalten ausschliesslich Schlüsselattribute (keine

„statischen“ Daten) Fachliche Attribute in Satellites (historisiert) Alle Beziehungen über Links (n-zu-n Beziehungen)

abbilden Bei Bedarf auch Satellites für Links möglich

Einsatzgebiet: Enterprise Data Warehouse mit vielen Quellsystemen Agile DWH-Projekte mit vielen Erweiterungen und Change

Requests

2013 © Trivadis

Generische Datenmodelle

Grundidee: Erweiterungen ohne Modellanpassungen möglich Datenmodell soll möglichst allgemein gehalten werden Konfigurierbar über Metadaten (z.B. Rolle, Objekttyp, etc.)


26

Empfehlungen: Nicht verwenden!

Einsatzgebiet: Agile DWH-Projekte mit vielen Erweiterungen und Change

Requests

2013 © Trivadis


Generic Core

Partner

ObjectRole

Type

Source System 1

T

T

T T

T

T

T

T

T

T

T

T

Source System 2

Sta

ging

Are

a /

Cle

ansi

ng A

rea

27

2013 © Trivadis

Beispiel: Generisches Datenmodell


28

PersonFirma

MieterVermieterBesitzer

GebäudeWohnung

G = GebäudeW = Wohnung

2013 © Trivadis

BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN

Fragen und Antworten...

2013 © Trivadis

Dani SchniderPrincipal Consultant

Tel.: +41 58 459 50 [email protected]


Wie modelliere ich mein Core DWH?

Presentations & Public Speaking

Transcript of Wie modelliere ich mein Core DWH?