Damit beginnt ein Vortrag in einer OC Veranstaltung ...¼r-Big-Data.pdf · ODI für Big Data - mehr...

© OPITZ CONSULTING GmbH 2016 Seite 1 ODI für Big Data - mehr als Konnektoren

OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH

Titelfolie für

Veranstaltungen • Damit beginnt ein Vortrag

in einer OC Veranstaltung.

• Haupttitel: 1zeilig!

• Untertitel: max 2. Zeilen

• Referent: Name, Funktion,

OC Niederlassung

• Kapitelnummer:

Die Nummer des Vortrags

in der Tagesagenda

• Fußzeile mit Haupttitel füllen.

Bodo Clausen,

Lead Consultant & Competence Center Big Data Lead

Opitz Consulting Deutschland GmbH

Martin Frisch, Developer

Opitz Consulting Deutschland GmbH

mehr als Konnektoren

ODI für Big Data



1Pager • Layout ausschließlich für den

1Pager

• Einsatz ist bei Konferenzen,

ext. Veranstaltungen etc.

obligatorisch. Die Folie ist

Folie 2 (nach der Titelfolie)

• Der Inhalt darf nicht

verändert werden.

• Ausnahme: Der Block

Märkte darf situativ um

Partnerlogos

(ORACLE, etc.) ergänzt

werden

Mission

Wir entwickeln gemeinsam mit allen

Branchen Lösungen, die dazu führen, dass

sich diese Organisationen besser entwickeln

als ihr Wettbewerb.

Unsere Dienstleistung erfolgt

partnerschaftlich und ist auf eine langjährige

Zusammenarbeit angelegt.

Leistungsangebot

Application Lifecycle Management

IT-Beratung

Business-Lösungen

Managed Services

Training und Coaching

IT-Trends

Märkte

Branchenübergreifend

Über 600 Kunden

29%

Industrie / Versorger /

Telekommunikation

29%

Handel / Logistik /

Dienstleistungen

42%

Öffentliche Auftraggeber / Banken und

Versicherungen / Vereine und Verbände

Eckdaten

Gründung 1990

400 Mitarbeiter

11 Standorte



Titel und Inhalt: • Dies ist das Haupttemplate

für Inhaltsseiten.

• Titel: 1-2zeilig!

• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten

• Max bis zur 3. Ebene

• Logo: optional. rechts des

Titels zwischen den letzten

beiden Rastern


Themen

Apache Hadoop?

Startschwierigkeiten Big Data PoC

Pragmatischer Start

DWH Offload

Beispiel DWH Offload mit dem ODI

Beispiele

Apache Hive

Apache Pig




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Hadoop ist

ein Framework für die

Verwaltung von Cluster-

Kapazitäten.

eine Software, welche

Redundanz und Lastverteilung

gewährleistet.

auf Skalierung mit

kostengünstiger Commodity

Hardware ausgelegt.

eine Open-Source Plattform für

viele andere Werkzeuge.




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Hersteller nutzen Hadoop um

ihre Software skalierbarer zu

machen

performanceoptimierte

Appliancelösungen anzubieten

eine kostengünstige

Storagealternative anbieten zu

können.




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Apache betreut 30+ Toplevel Big Data Projekte

spezialisierter Anwendungszweck

Keine Allrounder!




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Startschwierigkeiten Big Data PoC

Use Cases Identifizieren

Gedanken zum Datenschutz

Tools auswählen

Distribution auswählen

Hardware Sizing und ggf. Anschaffung

Infrastruktur aufsetzen/installieren

PoC umsetzen




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Pragmatischer Start

Use Case DWH Offload

Infrastruktur Big Data Lite VM

Möglichkeiten ODI

Danach weitere Use Cases?

Entwicklungs Cluster aufsetzen

vielleicht Oracle Big Data Appliance




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


DWH Offload: Was ist das?

Einfaches ETL und Daten auf Hadoop Cluster auslagern

Daten empfangen

Daten aggregieren

Daten filtern

Daten historisieren

Daten persistieren

Vorteile

Platz für wichtigere Daten im DWH

Resourcen frei für Analytics

Neue Verarbeitungsmöglichkeiten




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Das bedeutet in diesem Fall




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Ist Zustand

Operationales System SALES

Staging Area SA_SALES

Data Mart SALES_PRD_CST_MLY

Src 2 Staging Staging 2 DM




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Source 2 Staging (Oracle) Logical Design




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Source 2 Staging (Oracle) Physical Design




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Umwandlung zu Apache Hive Staging




Staging 2 DM Src 2 Staging




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Anpassungen Oracle 2 Apache Hive

SA_SALES Tabelle erstellen




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern



SA_SALES im ODI zufügen




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern



Neues Mapping Source zu Staging (Hive) Oracle Source

Hive Target

Expression Datum zu String




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern



Neues Mapping Physical View




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Ausführen Oracle 2 Apache Hive




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern






für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Ergebnisse Oracle 2 Apache Hive




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Oracle Staging 2 DM




Src 2 Staging Staging 2 DM




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Staging 2 DM (Oracle) Logical Design




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Staging 2 DM (Oracle) Physical Design




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Staging 2 DM (Oracle) SQL Code generiert




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Daten in der Tabelle




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Umwandlung zu Apache Hive Staging




Staging 2 DM Src 2 Staging




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Änderungen Apache Hive Staging




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Erzeugter Hive Code




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Load Hive zu Oracle DWH




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Anpassungen um Apache PIG zu nutzen

Logical Design Staging Location Hint => Pig

Expression und Aggregate Execute on Hint => Staging




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Anpassungen um Apache PIG zu nutzen

Physical Design erzeugen




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Erzeugter Pig Code

String Manipulation Daten laden

Aggregierung Daten speichern




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


und Apache Spark

Analog zu Pig

ggf. Expressions anpassen (auch bei Pig)




für Inhaltsseiten.


• Inhalt:

• 3-7 Punkte o 2-3

Hauptpunkte mit

Unterpunkten




beiden Rastern


Zusammengefasst

ODI bietet GUI für Hive, Pig, Spark Development Erweiterungen von Pig und Spark implizit verfügbar

DWH Offloading als Use Case

Pragmatischer Ansatz PoC Ist eine Überlegung wert

Beispiele für Erweiterungen Weblogs verarbeiten

360° Kundensicht (falls Webshop vorhanden)

Foren, Blogs, Feeds crawlen

Wie kommen unsere Produkte an

Sensordaten aus z.B. Produktionslinien

Predictive Maintenance

Streaming der Daten



Kontakt 2fach: • Diese Folie wird als vorletzte

Folie genutzt, um den

individuellen Bezug zu 2

Referenten herzustellen.

• Als Fotos müssen

quadratische Fotos der

Referenten in qualitativ

hochwertiger Form vorliegen.

• Die Fotos geht über 2

Rasterbreiten.

• Die Daten der Adresse sollten

vollständig eingegeben

werden

Kontakt

Bodo Clausen, Lead Consultant & Competence Center Big Data Lead

E-Mail: [email protected]

Telefon: 02261 6001 0

Martin Frisch, Developer

E-Mail: [email protected]

Telefon: 02261 6001 0

Damit beginnt ein Vortrag in einer OC Veranstaltung ...¼r-Big-Data.pdf · ODI für Big Data - mehr...

Documents

Transcript of Damit beginnt ein Vortrag in einer OC Veranstaltung ...¼r-Big-Data.pdf · ODI für Big Data - mehr...