Metadatenklassifizierung und Datenmodellierung für

den Data Governance Erfolg

Sultan Shiffa, Senior Software Consultant, Embarcadero technologies

Sultan.shiffa@embarcadero.com

Agenda

• Datenmodellierung im Zeitalter von Big Data– DM gestern/heute und in der Zukunft– Herausforderungen und Trends

• Datenmodellierung und Data Governance im Unternehmen– Was ist Data Governance? Die DG Lücke und Architektur– Wie starte ich Data Governance mit heutigen Werkzeugen

• Datenmodellierungsportale für Unternehmensmetadaten – Datenklassifizierung, Benutzer– Probleme, Facebook ähnliche Kollaboration , Integration mit

Werkzeugen

GESTERN, HEUTE UND IN DER ZUKUNFT

DATENMODELLIERUNG IM ZEITALTER VON BIG DATA

Datenmodellierung gestern

• Logische und physikalische Modellierung

• Reverse Engineering und Dokumentation

• Forward Engineering• Impact Analyse• Designvorlagen und Patterns• Enterprise Data Dictionary• Data Lineage / Dokumentation• Reporting

Anforderungen an Datenmodellierung der Zukunft

Mobile DBMS Unterstützung

• Wie z.B. Interbase, Firebird, SQL Lite und weitere mobile Plattformen

Big Data Unterstützung• Reverse Engineering und Compare;

NoSQL Technologien sowie Big Data wie Hadoop, Cloudera, Azure, Apache, Mongo DB usw.

Metadaten und Data Governance Support

• Unternehmensportale, Business Definitionen, Integration mit Tools für Entwicklung, Administration, Integration mit Webseiten

• Datenbereitstellung für nicht technische User

Datenintegrationsunterstützung

• ETL Data Lineage

UDMs

Data Modelers Data Architects Data Stewards

Data Governance Big Data Professionals

Business Intelligence Professionals

MetadatenportalWebportal Data LineageRepositoryData Modeling

Business Users

Eine Datenmodellierungsplattform für gemeinsame Nutzung von Daten

Big DataETL Tools

Physische Modelle

HERAUSFORDERUNGEN UND DIEAUSGANGSLAGE

DATENMODELLIERUNG IM ZEITALTER VON BIG DATA

Komplexität im Unternehmen

Was ist ein Kunde?

Cloud-Daten

Web LogsMessdaten

BI, DWH, MDM, ETL, Relationale Datenbanken

Mobile

Herausforderungen & Chancen

Kosten für “schlechte” Daten mehr als $600Mrd jährlich für US Geschäfte.Quelle: TDWI

Datenqualität Best Practices steigern Umsatz um 66%Quelle: Sirius Decisions

Die Fortune 1000 Firmen könnten den Umsatz um $2.01Mrd steigern durch Steigerung Datennutzbarkeit um 10%.Quelle: University of Texas

95% der Unternehmensdaten sind unverwertbar, Grund: Datensilos und schlechte IntegrationQuelle: Forrester

Weitere Herausforderungen und die Lage

Die Herausforderung

• 30%-50% Datenwachstum pro Jahr

• Verwaltung und Daten effektiv nutzen konkurrenzfähig zu sein

• Konformität mit Vorschriften und gesetzlichen Regelungen

• IT Kosten senken

• Unstrukturierte Daten

Praktische Lösungswege

• Aufbau einer Unternehmensinformationszuordnung – Ein

Metadaten-Rahmenwerk für Kollaboration, Verständnis &

Synchronisierung

• Standardisierung bei Werkzeugen, Metadaten nutzen um

Datenqualität und Effizienz zu verbessern.

• Einige Unternehmen haben immense Summen in Governance Beratungen investiert –Ergebnisse im Aktenschrank?

• Andere wissen nicht wo man startet

Aktuelle Lage

• WAS IST DG, DIE DG LÜCKE UND DATENARCHITEKTUR, WIE STARTE ICH DG?

DATENMODELLIERUNG UND DATA GOVERNANCE

Was ist Data Governance?

• Data Governance ist eine auf Strategie, Rechte undPflichten basierte Praxis zur Verwaltung von Information und die Identifizierung und Verbesserung deren Werte für das Unternehmen.

Definition

• Bereitstellung von zuverlässigen und relevantenInformation, die Unternehmen bei Compliance, Kontrolle und Entscheidungsfindung helfen

Mission

• Umsatz steigern, Kosten senken und/oder Risiken minimierenVorteile

Ein DG Rahmenwerk

Quelle: Data Governance Institute

Data Governance Ziele

• Anerkennung von Daten als Unternehmenswerte

• Standardisierung von Daten innerhalb des Unternehmens

• Erfassung, Analyse und gemeinsame Nutzung der Daten

• Daten sind aus der Geschäftssicht definiert und die Regeln vorgegeben

• Zentrale Lokation und Bereitstellung der Daten und deren Definitionen sowie Regeln

Ergebnis von Data Governance

• Einheitliche Bezeichnungen• Einheitliche Geschäftsregeln• Einheitliche Namenskonventionen für Daten• Einheitliche Datendefinitionen• Einheitliche Datenbetrachtung• Einheitliche Datennutzung• Niedrige und kontrollierte Datenredundanz• Verbesserte Datenqualität

Die Governance Lücke - Warum viele DG Bemühungen ineffektiv sind?

Data GovernanceOrganisationen, Strategien, Prozesse, Metrik

Anwendungen & Daten

DEV ETLMDM DQ

Information Management

Data Governance Plattform – Das Datenmanagement Ökosystem

Data GovernanceOrganisationen, Strategien, Prozesse, Metriken

Anwendungen & Daten

DEV ETLMDM DQ Met

adat

a G

ove

rnan

ce

ArchitekturBewertungen, Planungen, Vorschriften, Abgleiche

Information Management

Web

API

Daten –Architekten

DBAs

Entwickler

Ente

rpri

se In

form

atio

n M

apVerantwortliche

Sync

Verfügbarkeit Integrität Support

Web

po

rtal

Wie Modellierungstools den Grad des Data Governance abdecken

18

Ungoverned[Unbekannt]

Charakteristik: Datenbanken wuchern/ Anarchie, dezentrale Information, AutomatisierungslückenProbleme: Redundanz, Inkonsistenz, hohe Kosten, Kein Vertrauen in Daten, IT fokussiert auf Technologie basierte Initiativen

Scoped[Risiken Eingegrenzt]

Veröffentlichte Bestandsaufnahme für Prozesse, Systeme & DatenVorteil: eingegrenzte Risiken; Chancen & Prioritäten identifiziert; Anlagen und Werte „auffindbar“

Meilenstein: Veröffentlichte Bestandsaufnahme für Prozesse, Systeme & DatenVorteil: eingegrenzte Risiken; Chancen & Prioritäten identifiziert; Anlagen und Werte “auffindbar”

ReverseEngineering

ER/Data Lineage

Repository

Established[Projekte Kontrolliert]

Meilenstein: Beratungsausschuss; Strategiegetriebene Standardisierung auf Tech

& Methoden; Schlüssel Rollen etabliert; initiativegetriebene unabhängige ProjekteVorteil: Ausuferung gestoppt; Datennutzung und Wiedernutzung gestiegen

Meilenstein: Beratungsausschuss; Strategiegetriebene Standardisierung auf Tech

& Methoden; Schlüssel Rollen etabliert; initiativegetriebene unabhängige ProjekteVorteil: Ausuferung gestoppt; Datennutzung und Wiedernutzung gestiegen

Meilenstein: Beratungsausschuss; Strategiegetriebene Standardisierung auf Tech

& Methoden; Schlüssel Rollen etabliert; initiativegetriebene unabhängige ProjekteVorteil: Ausuferung gestoppt; Datennutzung und Wiedernutzung gestiegen

Portal

Advanced[Koordinierte Bemühung]

Meilenstein: Org formalisiert, rationalisierte Daten, active gemeinsam genutzt (z.B. MDM, Kundensicht 360); Metriken etabliert und erzwungen, Ziele definiertVorteil: Redundanzen und Inkonsistenzen reduziert; Konkurrenzstatus verbessert

Governed[Kontinuierliche Verbesserung]

Meilenstein: weitgehend angenommen, quantifizierte kontinuierliche VerbesserungVorteil: Kosten kontrolliert, Qualität definiert, Vertrauen verbessert, Daten als Mitbewerbsvorteil; IT fokussiert auf das Business

Meilenstein: weitgehend angenommen, quantifizierte kontinuierliche VerbesserungVorteil: Kosten kontrolliert, Qualität definiert, Vertrauen verbessert, Daten als Mitbewerbsvorteil; IT fokussiert auf das Business

Meilenstein: Org formalisiert, rationalisierte Daten, active gemeinsam genutzt (z.B. MDM, Kundensicht 360); Metriken etabliert und erzwungen, Ziele definiertVorteil: Redundanzen und Inkonsistenzen reduziert; Konkurrenzstatus verbessert

Meilenstein: Org formalisiert, rationalisierte Daten, aktiv gemeinsam genutzt (z.B. MDM, Kundensicht 360); Metriken etabliert und erzwungen, Ziele definiertVorteil: Redundanzen und Inkonsistenzen reduziert; Konkurrenzstatus verbessert

Enterprise Data Dictionary

Portal

Role BasedSecurity

Data Dictionary

NamingStandardsTemplate

Security Center Groups

Infer Domains

UniversalMappings

• METADATENKLASSIFIZIERUNG

DATENMODELLIERUNGSPORTALE

UND METADATENVERWALTUNG

Unternehmensinformationszuordnung -Zuordnung der Landschaft

Wo?

Wer?

Wie?Warum?Was?

Embarcadero Connect

Tabellen und Spalten

Unternehmensinformationszuordnung oder Klassifizierung von Information durch Bedeutung, Geschäftsrelevanz, Nutzung und Verantwortung

Business Metadaten

Prozess-Modelle

Governance Policy

Logisch & PhysischDatenmodelle

Anwendungs-modelle

Gemeinschafts-Praxis

Bu

sin

ess

Glo

ssar

• BENUTZER

DATENMODELLIERUNG UND METADATENVERWALTUNG

Problem: Informationsbarriere zwischen Business und IT• Business

– Definiert die Prozesse und Produkte

– Interne Kunde der IT

– Sponsoren

– Möchten Budget kürzen

• IT

– Meist eine separate Abteilung

– Werden als Kostfaktor angesehen

– Fokus technische Ziele

BA

DG

DBA Dev

SA

BI MDM

Datenkonsumenten, Techniker und Führungskräfte

DA

TechnischeArchitekten

Business User

Ops

Auditor

Admin

Finanz

Analyst

TechnischeUser

Profitieren von Geschwindigkeit und Genauigkeit

von Daten

Liefern und leiten die Programme, die über

Portale verbessert werden

Profitieren durch verbesserte Datenqualität

und gesetzliche Compliance

Daten-Konsumenten

Auditoren Daten Analysten Business Analysten Data Governance Rollen

Weniger Zeit zu verbringen

Genaue Interpretation der stets wachsenden

Volumen der Unternehmensdaten

Gefährliche Geschäftsentscheidungen

auf Basis unvollständiger und

missverstandenen Daten

Vorteile:• Kontext für Datenverständnis im täglichen Arbeitsablauf• Schnelle Analysen• Konsistenz der Berichte

Technische Benutzer

Daten Architekten Daten Modellierer DBAs Daten & Anwendungsentwickler

Entwicklung oder Re-Engineer bestehender

Datenstrategien zur Unterstützung von

Anforderungen Daten genauer zu verstehen

Keine Compliance mit noch mehr Komplexen Regularien

Vorteile:• Schnelle Anwendungsentwicklung mit Fachbegriffen• Intelligente Datenbanktools mit Informationszuordnung• Einhaltung Industrievorschriften und Business

Standards

Führungskräfte

IT Führungskraft zuständig für wichtige datenbezogene Unternehmerische Initiativen

Strategische Entscheidungen, die auf

unvollständige oder missverstandene Daten

beruhen

Aussetzung an signifikante berufliche

und personelle Risiken

durch teure Compliance Herausforderungen

Vorteile:• Risikomanagement auf Grund von Datenqualität und schlechte Datenverwaltung• Unterstützung der unternehmerischen Compliance Initiativen

• PROBLEME, „FACEBOOK“ ÄHNLICHE KOLLABORATION, INTEGRATION MIT ANDEREN TOOLS

DATENMODELLIERUNGSPORTALE UND METADATENVERWALTUNG

Problem: Isoliertes Wissen

MenschenSoziales Wissen

Informationals Wert

Lösung: Information Sozialisation

MenschenInformationals Wert Soziales

Wissen

Webportals für die Verbindung von Menschen, Prozesse und Technologie

Bereitstellung

Governance und Kollaboration

Technische Metadaten

Business Metadaten

Repository

Data Modeling Webportal

Architektur Business

Datenintegration&

InformationManagement

IntegratedTooling

EnterpriseData

Unternehmensportale erlauben die gemeinsame Nutzung von Daten

Finden

Wissen

Schützen

Daten finden – Daten wissen – Daten schützen

Metadaten+ Sozialisierung+ Governance =

+

+

(Websuche)

( Annotation, Wissen anderer nutzen)

+(Information im Team austauschen, „Like“, „Teilen“ und Diskussionen über Fachbegriffe)

Finden - Suche

Wissen – Definitionen & Richtlinien

Schützen– Inline-Definitionen & Alarme

Integration: Gemeinsame Nutzung von Business-Begriffen und Datenelementen

Business&

DatenRepository

RES

T A

PI

DBA

Data Modelling

Glossary Tool Tips

Apps

DataElements

Data Sources

Search

Terms3rd Party

Tools

Metadatenportale erlauben Kollaboration über Daten

Anpassung der Attribute besseres Verständnis

Klassifizierung und Zuordnung

Erfassung “Teamwissen”

Webintegration: Browser Tool-tips in Wikipedia

Effektive Kollaboration zwischen Business und IT

Business Users

Datenarchitekten/Modellierer

Kollaboration, Kommunikation und Verbesserung der Metadaten

Unternehmensglossare Fachbegriffe

Detaileigenschaften/ Beschreibungen

Submodelle

Entitäten/Tabellen

Attribute/Spalten

Logische Modelle

Physische Modelle

ZusammenfassungUnternehmensdaten im Unternehmen effektiv nutzen

• Datenmodelle müssen mobile und unstrukturierte Daten erfassen

• Aufbau von Portale für eine zentrale und gemeinsame Nutzung von Business Definitionen für unternehmensweite Projekte

• Kollaboration zum Aufbau einer konsistenten Wissensdatenbank für Data Governance

• Integration von Datenmodellierungswerkzeugen mit ETL, Entwicklungs- und Administrationswerkzeugen

• Unterstützung für Effizienzsteigerung und Compliance• Praktische und schnelle Implementierung von Daten- und

Metadaten Governance mit Business Datenmodellierung

VIELEN DANK

Sultan Shiffa, Embarcadero sultan.shiffa@embarcadero.comhttp://www.embarcadero.com