OBIEE & EXADATA PERFORMANCE TUNING PROJEKTERFAHRUNG

Moritz Werning

03/2012© 2012 sumIT AG

Gliederung

•Einleitung •OBIEE Grundlagen •Ausgangssituation beim Kunden •Testzyklus & Systemüberwachung•Performance Tuning

–Tuning auf DB Ebene – Tuning auf OBIEE Ebene

•Zusammenfassung & Ausblick

2

03/2012© 2012 sumIT AG 3

sumIT AG

•Bietet Beratungs- & Implementierungs-dienstleistungen in der Schweiz

•Experten für–Data Warehousing und – Business Intelligence Lösungen

•Fokussiert auf Oracle-Technologie•‘BI Foundation specialized’-Partner•‘Data Warehousing specialized’-Partner•Exalytics-Kompetenzzentrum mit eigenem Server•Unser Motto: Get Value From Data•Besuchen Sie unsere Web-Site: www.sumit.ch

03/2012© 2012 sumIT AG

Der Referent

•Diplom Informatik (Bioinformatik) an der Eberhard Karls Universität Tübingen•Vier Jahre Erfahrung mit Oracle•Bereiche

–Data Integration–Data Warehousing–Business Intelligence

•Consultant bei sumIT AG

4

03/2012© 2012 sumIT AG

Gliederung

•Einleitung •OBIEE Grundlagen •Ausgangssituation beim Kunden •Testzyklus & Systemüberwachung•Performance Tuning

–Tuning auf DB Ebene – Tuning auf OBIEE Ebene

•Zusammenfassung & Ausblick

5

03/2012© 2012 sumIT AG

Oracle Business Intelligence System Architektur (single-host)

6

03/2012© 2012 sumIT AG

Grundlagen

7

Presentation Services BI Server DatabaseAnwender

Data Set(s)

Physische SQL(s)

Data Set(s)

Logische SQL(s)

„gerenderte“ Dashboardseite

Dashboard/Report Request

03/2012© 2012 sumIT AG

Gliederung

•Einleitung •OBIEE Grundlagen •Ausgangssituation beim Kunden •Testzyklus & Systemüberwachung•Performance Tuning

–Tuning auf DB Ebene – Tuning auf OBIEE Ebene

•Zusammenfassung & Ausblick

8

03/2012© 2012 sumIT AG

Ausgangssituation beim Kunden VOR EXADATA

•Oracle Database 11gR1 (ohne OLAP)•Kern Applikation und DWH auf der gleichen IBM Hardware•IBM Host am Limit •Hardware nicht auf DWH Anforderungen ausgelegt•I/O Durchsatz < 1 GB/s •Wachsende Anforderungen von allen Systemen•Performance von ETL und Abfragen nicht zufriedenstellend•OBIEE Infrastruktur OBIEE 11.1.1.5 Solaris•Migrationsphase: grosses BI Projekt in Entwicklung

–mit Blick auf EXADATA wenig Aggregate vorgesehen

9

03/2012© 2012 sumIT AG

Situation beim Kunden MIT EXADATA

•Oracle Exadata half racks (dedizierte DWH Umgebung)–Oracle 11gR2 & Exadata DB Maschine

•neue Performance Features – I/O Durchsatz (7 storage cells) bis zu 10.8 GB/s

•täglichen ETL Verarbeitung deutlich verkürzt•OBIEE Infrastruktur OBIEE 11.1.1.5 Solaris

– (Migration auf OBIEE 11.1.1.6. wird gerade durchgeführt)

•Abfrageperformance bis zu einem Faktor von 50 schneller •ABER nicht alle Dashboard Antwortzeiten entsprechen den Erwartungen

Weiterer Performance-Tuning-Bedarf

10

03/2012© 2012 sumIT AG

Physische Datenquellen

•Relationaler Datamart/Access Layer–entsprechend der Oracle Bestpractice für Datamarts– Star Schema–Partitioning: Faktentabellen Intervall partitioniert– Foreign Key & Not Null Constraints– Bitmap Indexes

•Nutzung Oracle Dimensions für Level und Hierarchie Informationen•Tägliche Statistik Berechnung mittels AUTO_SAMPLE_SIZE

11

03/2012© 2012 sumIT AG

Star Schema & Oracle Dimensionen

•Vorteile:– dimensionale Semantik bleibt in der DB erhalten–einfaches BI Model (Physical Layer ist ein Star Schema)–weniger Joins (im Vergleich zu 3NF)– ermöglicht Nutzung spezieller DB Performance Feature

•star query transformation•query rewrite

•Nachteile:– begrenzte Flexibilität

•nur 1:N Beziehungen zwischen Dimensionen und Faktentabellen

12

03/2012© 2012 sumIT AG

Gliederung

•Einleitung •OBIEE Grundlagen •Ausgangssituation beim Kunden •Testzyklus & Systemüberwachung•Performance Tuning

–Tuning auf DB Ebene – Tuning auf OBIEE Ebene

•Zusammenfassung & Ausblick

13

03/2012© 2012 sumIT AG

Testzyklus

•Definition Antwortzeit – Zeit bis die Dashboardseite alle Ergebnisse darstellt

•Erarbeitung der Erwartungswerte SOLL-Zustand (Definiere)–direkte Erhebung

•Bestimmung des IST-Zustandes (Messe)•TOP Down oder BOTTOM Up Analyse (Analysiere)•ZIEL: Finde die Ursachen langer Antwortzeiten•Teste Lösungsansatz (Messen und wieder Analysieren)•Review der Ergebnisse •Implementierung der Lösung

14

03/2012© 2012 sumIT AG

Testzyklus: Beispiel

•IST Zustand: Antwortzeiten Dashboardseite X > 2 Minuten•Soll Zustand: Antwortzeiten Dashboardseite X < 10 Sekunden•Analyse:

–Verantwortliche Komponente?•Ein Report mit einem physischen SQL DB Zeit > 2 Minuten

–Anzahl Reports auf Dashboardseite– Ist das physische SQL so, wie es sein sollte?– Ist der Execution Plan des physischen SQL sinnvoll?–Wie kann der Execution Plan optimiert werden? Statistiken aktuell?– Liegt die Ursache in der Kombination der Reports der Dashboardseite?

•Teste DB Hint und Seiteneffekte => Messen•Implementiere den Hint auf der Produktion

15

03/2012© 2012 sumIT AG

Eingesetzte Systemüberwachung

•BI Analytics: Session Management•BI Server: Usage Tracking Data•EM DB Console SQL Monitoring •FMW Control Metriken•Logviewer•OS Auslastung

16

03/2012© 2012 sumIT AG

Gliederung

•Einleitung •OBIEE Grundlagen •Ausgangssituation beim Kunden •Testzyklus & Systemüberwachung•Performance Tuning

– Tuning auf DB Ebene – Tuning auf OBIEE Ebene

•Zusammenfassung & Ausblick

17

03/2012© 2012 sumIT AG

Performance Tuning

•Akteure– BI Entwickler– Datenbankentwickler

– DBA– Systemadministratoren (OS & Netzwerk)

•gute Zusammenarbeit wichtig•Optimale Voraussetzungen:

– Klare definierte Ziele: •Optimiere die Gesamtperformance des OBIEE Systems•OBIEE ist langsamer als normal, finde und behebe Ursache•Ein Report hat lange Antwortzeiten, beschleunige den Report•Optimiere langsame Reports

– definierter Zeitrahmen18

03/2012© 2012 sumIT AG

Performance „Schrauben“

•Aufbau der Dashboardseite (Kombination von Analysen und Prompts)•Aufbau der darin enthaltenen Analysen (Reports)•RPD Datenmodel & RPD Statistik (Number of Elements)•Physische Datenbankstrukturen•Konfiguration: Fusion Middleware (FMW), BI Servers, BI Presentation Services •Betriebssystem Konfiguration und Hardwareausstattung (BI Server Host)•DB System und Netzwerk •DB Objekt Statistiken•Caches•Systemlast•...

19

03/2012© 2012 sumIT AG

Tuning auf DB Ebene

•DB-Workload auf der Datenbank besser verwalten•physische SQLs schneller ausführen•Waits reduzieren•Datenmengen reduzieren

20

03/2012© 2012 sumIT AG

DB Workload Management

•Ressource Plan Management•Zuweisung über DB Services•Ressourcenzuweisung

– „Max. Auslastungsgrenzwert“–Aufteilung Resourcen–Anweisungswerte

•„Max. Parallelitätsgrad“•„Max. Prozentsatz von Parallel Server-Ziel“ •..

– Schwellenwerte •Grenzwerte für die Ausführungszeit (s)

21

03/2012© 2012 sumIT AG

Parallel Query-Degree of Parallelism (DOP)

•einfache Möglichkeit zur Beschleunigung•Vorsicht vor Concurrency Waits•Oracle 11gR2 - Auto DOP

–parallel statement queueing – in memory parallel processing

•Tests mit DBA sinnvoll

22

03/2012© 2012 sumIT AG

Table Compression

•Oracle Exadata HCC (Hybrid Columnar Compression) – reduziert Datenmengen– verringert Ausführungszeiten

•QUERY LOW compression (Exadata only) sinnvoll

23

03/2012© 2012 sumIT AG

Tuning auf FMW & OBIEE Ebene

•Verbesserung der Gesamtperformance durch Konfigurationsanpassungen der verschiedenen Komponenten

•Verringerung der Antwortzeiten einzelner Dashboadseiten•Verringerung der Antwortzeiten einzelner Reports

24

03/2012© 2012 sumIT AG

Performance Konfigurationseinstellungen FMW & OBIEE

•Fusion Middleware Control– Sessionhandling

•BI Server NQSConfig.INI– SORT Einstellungen– Server Einstellungen–Cache Einstellungen

•BI Presentation Server Instanceconfig.xml–Cache Einstellungen–View, Charting & Queue Einstellungen

25

03/2012© 2012 sumIT AG

OBIEE Caches

•Abfragecaches verkürzen die Antwortzeiten für die meisten Abfragen massiv•BI Presentation Server Cache •BI Server Cache

–Query Result Cache–Query Plan Cache

•Option RAM-Disk für die Cache Dateien •Cache Strategie entwerfen und umsetzen

– sinnvolles Cache Seeding nach wichtigen ETLs z.B. MEVs – die wichtigsten Dashboardseiten sollten sich für die wichtigsten Prompt Einstellungen im Cache befinden

– logical SQL für Cache Seeding kann per Usage Tracking extrahiert werden

26

03/2012© 2012 sumIT AG

Aggregat Tabellen auch mit Exadata

•trotz großartigen I/O Durchsatz der Exadata –Aggregat Tabellen sind sinnvoll und notwendig

•Query Rewrite auf Materialized Views nicht zuverlässig•Alternativen:

–Nutzung Aggregate Persistence Wizards – Einbindung manuell erstellter und geladener Tabellen oder MViews in das BI Datenmodell

27

03/2012© 2012 sumIT AG

OBIEE Connection Pool Konfiguration

•Maximum Connections = 20% der Anzahl gleichzeitiger Anwender * Anzahl Analysen je Dashboardseite (besser Anzahl physischer SQL Abfragen)

•ENABLE/DISABLE Star Query Transformation•ENABLE/DISABLE Parallel Query•PARALLEL_DEGREE_POLICY•Parallel Min-Time-Threshold•Force Parallel Local•Dynamic Sampling Level

28

03/2012© 2012 sumIT AG

DB Hints in OBIEE (1)

•DB Hints für den allgemeinen Tabellenzugriff (Physical Tables)•sind in allen Abfragen mit der Tabelle enthalten

–PARALLEL(AUTO)–NOPARALLEL(T99999)– STAR_TRANSFORMATION–NO_STAR_TRANSFORMATION–USE_HASH(T99999)– ...

•Cacheable Option sinnvoll wählen

29

03/2012© 2012 sumIT AG

DB Hints in OBIEE (2)

•Hints auf Physical Joins (Physical Complex Join, Physical Foreign Key)•diese Hints beeinflussen den Join zwischen zwei Tabellen •sie wirken sich nur aus, wenn der Join ausgeführt wird

– STAR_TRANSFORMATION–USE_HASH(T19999,T99991)–NO_STAR_TRANSFORMATION

30

03/2012© 2012 sumIT AG

OBIEE & Star Transformation, wann und wie benutzen?

•Vorteil:– gut bei hoher Selektivität und vielen Dimensionen– verhindert:

•MERGE JOIN CARTESIAN oder NESTED LOOP mit Full Table Access

•Nachteil:– lange Laufzeiten bei einigen komplexen physischen SQLs möglich–bei Summary Querys ist STAR TRANSFORMATION oft langsamer als HASH JOINS

•=> STAR_TRANSFORMATION Hints auf Joins mit Detail Dimension •USE_HASH bei grossen Übersichtsabfragen

31

03/2012© 2012 sumIT AG

Zusammenfassung

•Hinterfrage Anwenderbeschwerden•Nutze alle zur Verfügungen stehenden Monitoring Möglichkeiten

–Ohne ein Montoring der DB ist Performance Tuning schwierig

•IO Performance der Oracle Exadata genial – aber Aggregate sind immer sinnvoll– Caching ist wichtig

•RPD DB Hints können helfen (Vorsicht)•Vorsicht vor Dashboardseiten, die sehr viele einzelne oder sehr große physische SQLs genieren

•Vorsicht mit Parallel Query –Auto DOP kann das Leben einfacher machen

•Vorsicht mit Star Query Transformation32

Copyright © 2012, Oracle and/or its affiliates. All rights reserved. 33

ORACLE EXALYTICS

NOW AVAILABLE IN SWITZERLAND FOR PROOF OF SOLUTIONS

Ausblick - Exalytics

Copyright © 2012, Oracle and/or its affiliates. All rights reserved. 34

EXALYTICS Centers of Excellence

EXALYTICS Live Shows : 4th of December, Beau Rivage Palace,

Lausanne, 08:30 – 12:00 5th of December, Au Premier, Zürich

HB, 08:30 – 12:00

Proof of Solutions directly in your premises

03/2012© 2012 sumIT AG

Fragen?

?

35

03/2012© 2012 sumIT AG

Kontaktadresse

Moritz WerningsumIT AGTäfernstrasse 28CH-5405 Baden-DättwilSchweiz

Telefon: +41 (0) 56 470 25 00Fax: +41 (0) 56 470 25 05E-Mail: moritz.werning@sumit.chInternet: www.sumIT.ch

36