2013 © Trivadis
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
2013 © Trivadis
Wie modelliere ich mein Core DWH? DOAG Konferenz 2013, Nürnberg
Dani Schnider, Trivadis AG
19. November 2013DOAG - Modellierung Core DWH
1
2013 © Trivadis
DOAG - Modellierung Core DWH2
Dani Schnider
Principal Consultant und DWH/BI Lead Architectbei Trivadis in Zürich
Kursleiter verschiedener Trivadis-Kurse
Co-Autor des Buches «Data Warehousing mit Oracle – Business Intelligence in der Praxis»
19. November 2013
2013 © Trivadis
Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution-Engineering und der Erbringung von IT-Services mit Fokussierung auf und Technologien im D-A-CH-Raum.
Unsere Leistungen erbringen wir aus den strategischen Geschäftsfeldern:
Trivadis Services übernimmt den korrespondierenden BetriebIhrer IT Systeme.
Unser Unternehmen
19. November 2013DOAG - Modellierung Core DWH
B E T R I E B
3
2013 © Trivadis
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort
4
12 Trivadis Niederlassungen mitüber 600 Mitarbeitenden
200 Service Level Agreements
Mehr als 4'000 Trainingsteilnehmer
Forschungs- und Entwicklungs-budget: CHF 5.0 / EUR 4 Mio.
Finanziell unabhängig undnachhaltig profitabel
Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden
Stand 12/2012
4
19. November 2013DOAG - Modellierung Core DWH
Hamburg
Düsseldorf
Frankfurt
FreiburgMünchen
Wien
BaselZürichBern
Lausanne
4
Stuttgart
Brugg
4
2013 © Trivadis
DOAG - Modellierung Core DWH
Ausgangslage
19. November 2013
Data Warehouse
MartsCleansing Area CoreStaging AreaQuellsysteme
MetadatenETL
BI-Plattform
?
5
Source driven Business driven
2013 © Trivadis
DOAG - Modellierung Core DWH
Vorgehensweise für Datenmodellierung im DWH
Anforderungsgetriebene Datenmodellierung Business-driven (Top-down) Core-Modell wird aus fachlichen Anforderungen an
Data Marts abgeleitet Resultat: Dimensionales Core-Datenmodell
19. November 2013
6
Quellsystemgetriebene Datenmodellierung Source-driven (Bottom-up) Core-Modell wird aus verfügbaren Daten der
Quellsysteme abgeleitet Resultat: „Relationales“ Core-Datenmodell
2013 © Trivadis
19. November 2013DOAG - Modellierung Core DWH
Anforderungsgetriebene Datenmodellierung
7
2013 © Trivadis
DOAG - Modellierung Core DWH
Dimensionales Core-Datenmodell
19. November 2013
8
Empfehlungen: Keine Aggregationen im Core Im Core generell Slowly Changing Dimensions verwenden Versionierung mit Head-/Versionstabellen Data Marts nicht zwingend als physische Schicht, eventuell
nur Views
Einsatzgebiet: Struktur der Data Marts ist bekannt (Business
Requirements!) Conformed Dimensions zwischen den Data Marts
Core ist „Gesamtmenge aller Data Marts“ Dimensionen und Fakten aller Data Marts auf feinster Granularitätsstufe Implementierung als Star oder Snowflake Schema
2013 © Trivadis
DOAG - Modellierung Core DWH19. November 2013
D D
D D
D
F
F
D D
Data Mart 1
Data Mart 2
Core
D D
D D
F
D
FCle
ansi
ng A
rea
Sta
ging
Are
a
9
2013 © Trivadis
DOAG - Modellierung Core DWH19. November 2013
D D
D D
D
F
F
D D
D D
D
F
F
D D
D D
D
D
D
D D D
Data Mart 1
Data Mart 2
Core
10
2013 © Trivadis
DOAG - Modellierung Core DWH
Beispiel: DWH für Liegenschaftenverwaltung
19. November 2013
11
Data Mart „Gebäudeunterhalt“
Data Mart „Mieterzahlungen“
Core
2013 © Trivadis
DOAG - Modellierung Core DWH
Beispiel: DWH für Liegenschaftenverwaltung
19. November 2013
12
V1 V2
V1 V2
V1 V2
2013 © Trivadis
DOAG - Modellierung Core DWH
Head-/Versionstabellen
Head-Tabelle Eindeutiger Schlüssel pro Objekt (PK) Fachlicher Schlüssel (UK) Statische Attribute
Versions-Tabelle Eindeutiger Schlüssel pro Version (PK) Fremdschlüssel auf Head-Tabelle Gültigkeitsdauer (Gültig von – Gültig bis) Dynamische Attribute
19. November 2013
13
Head-Tabelle
Versions-Tabelle
2013 © Trivadis
DOAG - Modellierung Core DWH
Beispiel: DWH für Liegenschaftenverwaltung
19. November 2013
14
V1 V2
HV
HV
HV
HV
2013 © Trivadis
DOAG - Modellierung Core DWH19. November 2013
D D
D D
D
F
F
H H
H H
F
F
D D
H H
H
H
H
H
Data Mart 1
Data Mart 2
Core
V
VV
V
V
V V
V
V
V
V
D D D
V V
15
2013 © Trivadis
19. November 2013DOAG - Modellierung Core DWH
Quellsystemgetriebene Datenmodellierung
16
2013 © Trivadis
DOAG - Modellierung Core DWH
„Relationales“ Core-Datenmodell
Was bedeutet hier „relational“ und „3. Normalform“? Star und Snowflake Schemas sind auch relational Snowflake Schema ist in 3. Normalform (3NF) Gemeint ist: Aus Quellsystem abgeleitetes Core-Datenmodell
19. November 2013
17
Empfehlungen: Nur fachlich relevante Daten in Core übernehmen Code-Tabellen und Lookup-Tabellen denormalisieren Stammdaten-Historisierung im Core mit Head- und
Versionstabellen
Einsatzgebiet: Unterschiedliche oder noch unbekannte Anforderungen der
Data Marts Historisierung und Integration von Daten aus
verschiedenen Quellsystemen
2013 © Trivadis
DOAG - Modellierung Core DWH19. November 2013
Source System 1
T
T
T T
T
T
T
T
T
T
T
T
Source System 2
Core
H
H
F H
V
VV
F
H V
H V
FH
VH
V
H
V
Sta
ging
Are
a /
Cle
ansi
ng A
rea
18
2013 © Trivadis
DOAG - Modellierung Core DWH
Beispiel: Datenmodell des Quellsystems
19. November 2013
19
2013 © Trivadis
DOAG - Modellierung Core DWH
Beispiel: Core-Datenmodell (nicht historisiert)
19. November 2013
20
2013 © Trivadis
DOAG - Modellierung Core DWH
Beispiel: Core-Datenmodell (historisiert)
19. November 2013
21
H
H
H H
H
H
H
V
V
V V
V
V
V
2013 © Trivadis
Data Vault Modeling
Hub: Eindeutiger Schlüssel pro Objekt (PK) Fachlicher Schlüssel (UK) Audit-Informationen (Ladedatum, Quellsystem)
Satellite: Fremdschlüssel auf Hub oder Link Gültigkeitsdauer (Gültig von – Gültig bis) Fachliche Attribute (statisch und dynamisch) Audit-Informationen (Ladedatum, Quellsystem)
Link: Künstlicher Schlüssel (Surrogate Key) Fremdschlüssel auf zwei oder mehr Hubs Audit-Informationen (Ladedatum, Quellsystem)
19. November 2013DOAG - Modellierung Core DWH
22
H
S
L
2013 © Trivadis
DOAG - Modellierung Core DWH19. November 2013
Source System 1
T
T
T T
T
T
T
Core (Data Vault)
H
S
SS
HH
H
H
H
H
S
S
S
SSS
S
S
S
S
L
L
L
L
L
S
L
23
2013 © Trivadis
Data Vault Modeling
19. November 2013DOAG - Modellierung Core DWH
24
Empfehlungen: Hubs enthalten ausschliesslich Schlüsselattribute (keine
„statischen“ Daten) Fachliche Attribute in Satellites (historisiert) Alle Beziehungen über Links (n-zu-n Beziehungen)
abbilden Bei Bedarf auch Satellites für Links möglich
Einsatzgebiet: Enterprise Data Warehouse mit vielen Quellsystemen Agile DWH-Projekte mit vielen Erweiterungen und Change
Requests
2013 © Trivadis
Beispiel: Core-Datenmodell als Data Vault
19. November 2013DOAG - Modellierung Core DWH
25
HS
S
S
SH
H H
S S
SS
S
S
L
LL
L
2013 © Trivadis
Generische Datenmodelle
Grundidee: Erweiterungen ohne Modellanpassungen möglich Datenmodell soll möglichst allgemein gehalten werden Konfigurierbar über Metadaten (z.B. Rolle, Objekttyp, etc.)
19. November 2013DOAG - Modellierung Core DWH
26
Empfehlungen: Nicht verwenden!
Einsatzgebiet: Agile DWH-Projekte mit vielen Erweiterungen und Change
Requests
2013 © Trivadis
DOAG - Modellierung Core DWH19. November 2013
Generic Core
Partner
ObjectRole
Type
Source System 1
T
T
T T
T
T
T
T
T
T
T
T
Source System 2
Sta
ging
Are
a /
Cle
ansi
ng A
rea
27
2013 © Trivadis
Beispiel: Generisches Datenmodell
19. November 2013DOAG - Modellierung Core DWH
28
PersonFirma
MieterVermieterBesitzer
GebäudeWohnung
G = GebäudeW = Wohnung
2013 © Trivadis
Wie modelliere ich mein Core DWH?
19. November 2013DOAG - Modellierung Core DWH
29
2013 © Trivadis
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
Fragen und Antworten...
2013 © Trivadis
Dani SchniderPrincipal Consultant
Tel.: +41 58 459 50 [email protected]
19. November 2013DOAG - Modellierung Core DWH
Top Related