Home: DOAG e.V. - Prof. Dr. Wolfgang Benn...– Endkundenprodukte/Lösungen (dimensio, scrivo,...

Prof. Dr. Wolfgang Benn


2


2008

Die Professur DVS der TU Chemnitz nimmt am Programm ForMaT des BMBF teil.

2009

Team dimensio informatics gewinnt den „Sonderpreis Wissenschaftler“ beim Ideenwettbewerb „Schicke Ideen“ des Gründernetzwerks der sächsischen Hochschulen, SAXEED.

2010

dimensio informatics kommt beim branchenübergreifenden sachsenweiten Businessplanwettbewerb von FutureSAX unter die ersten 6 von 63 Teilnehmern.

Jul.10

Die Firma dimensio informatics GmbH wird in Chemnitz gegründet.

Sep.10

Der Technologie Gründer Fonds Sachsen beteiligt sich am Unternehmen.

3


4


Veränderung von DB-Parametern – Puffergrößen, Optimierungsanweisungen, etc.

Modifikation der Hauptspeicherverwendung – In-Memory

Einsatz von Parallelität – Prozessorparallelität: Nutzung von Multicores

– Storageparallelität: Shared-Nothing-Architekturen

Spaltenbasierte Speicherung – Column-Store

Clusterbildung – Dynamische Lastverteilung

– Shared-Everything-Architekturen

5


Ist eine bestehende Applikation überhaupt zu verändern?

Was kostet eine Anpassung? – Kann sie in-house durchgeführt werden?

– Muss sie extern in Auftrag gegeben werden?

– Lohnt es sich überhaupt?

Wer kann/darf diese durchführen? – Stehen betriebliche Vorschriften entgegen?

– Stehen gesetzliche Vorschriften entgegen?

– Stehen Sicherheitskriterien entgegen?

6


Lösung technologischer Problems durch Technologie, nicht durch Technik! – KIWI (Kill It With Iron) verschiebt eine Problemlösung lediglich

– Warum Nachdenken, wir haben doch Clouds…

Betrachtung von Anwendung und (!) Datenbank – Erkennt und optimiert z.B. sporadisches Auftreten von Langläufern

– Erkennt nicht-performante Anfragen und optimiert gezielt

Präzise Lösungen für wohl definierte Probleme – Schnelles Lesen, wenn schnelles Lesen benötigt wird

– Schnelles Schreiben, wenn schnelles Schreiben benötigt wird

– …

7


8


card

igo

9

Ein Basiswerkzeug zur minimal-invasiven Integration von Performancewerkzeugen in bestehende IT-Landschaften.

Eine Anzahl von Performancewerkzeugen zur Analyse, Optimierung und Lösung von Performanceproblemen.


10

Proxy

Driver (e.g. JDBC)

API


Nicht-transparent (1,3): Integration in eine Applikation Integration in ein Datenbanksystem Transparent (2): Integration ins Netzwerk

card

igo

11


card

igo

API

Die Applikation kennt das Werkzeug und spricht es direkt an. Ergebnisse eines Auftrages gehen an die Applikation zurück. Der Verkehr zwischen Applikation und Datenbank bleibt unverändert.

12


card

igo

API

13

Die Applikation kennt das Werkzeug und spricht es direkt an. Das Werkzeug sendet den Auftrag direkt an die Datenbank. Das Ergebnis des Auftrages geht an das Werkzeug zurück oder direkt an die Applikation.


API

card

igo

14

Die Datenbank kennt das Werkzeug und spricht es direkt an. Ergebnisse eines Auftrages gehen an die Datenbank zurück. Der Verkehr zwischen Applikation und Datenbank bleibt unverändert.


Verbindung zur App aufbauen – int App_init(void** handle, std::string address, int port, bool verified = true);

Auftrag geben und auf Antwort warten – void App_query(void* handle, const std::string& query_string, std::vector<

std::string>& results);

Verbindung zur App abbauen – void App_destroy( void** handle);

15


card

igo

Austausch des Treibers Weder Anwendung noch Datenbank merken etwas von der Existenz des Werkzeuges.

16


Bis Java 1.6 – Ersetzen von

• Class.forName("oracle.jdbc.OracleDriver").newInstance();

– Durch

• Class.forName("com.cardigospy.engine.spy.cardigoSpyDriver").newInstance();

Ab Java 1.6 – nichts

17


card

igo

18

Weder Anwendung noch Datenbank merken etwas von der Existenz des Werkzeuges.


Änderung einer Zeile in Tnsnames.ora

ORA11 =

(DESCRIPTION =

(ADDRESS_LIST =

(ADDRESS = (PROTOCOL = TCP)(HOST = cardigo.proxy)(PORT = 1521)))

(CONNECT_DATA =

(SERVICE_NAME = ORA11)))

19


dimensio informatics ist ein Technologiehersteller – only B2B, no B2C

ist ein Partner-EcoSystem

Die Produktpalette ist dem angepasst

– Basisprodukt (cardigo)

– Partnerprodukte/Werkzeuge (analytico, optimo)

– Endkundenprodukte/Lösungen (dimensio, scrivo, securido)

20


21


22

Analyse von nicht-performanten Queries

Aufspähen vermeintlich nicht-deterministischer Defekte

Einsatz als Analysewerkzeug für den späteren Einsatz von – optimo

– dimensio

Aktueller industrieller Einsatz: – Bei einem Unternehmen aus der Finanzwirtschaft zur ganzheitlichen

Analyse eines selten auftretenden Performance-Defizits.

– Keine Performance-Einbußen durch minimal-invasive Integration, daher seit Monaten im laufenden Geschäftsbetrieb aktiv.

card

igo


23


24

Gezielte Optimierung von nicht-performanten Queries durch Ersetzen und/oder Umschreiben

Aktueller industrieller Einsatz: – Bei einem Dienstleister für die Energiewirtschaft zur Optimierung

bestimmter Querysequenzen im Bereich Smart-Metering.

– Deutliche Performance-Steigerung (> Faktor 100).

– Ergebnis: Erhebliche Kostenersparnis durch Weiterverwendung und Neuausrichtung bestehender Applikationen.

card

igo


25


dimensio ist ein mehrdimensionaler Datenbankindex – Dimension = Attribut

– Mehrdimensional = SQL-Query mit langer Prädikatliste

– Lange Prädikatliste = Korrelation vieler Attributwerte

dimensio ist ein semantischer Datenbankindex

– semantisch = Intervallbildung mit Bezug auf den DB-Inhalt • Datensätze mit ähnlichem Inhalt bilden eine Gruppe (Cluster)

• Cluster bilden die Intervallgrenzen

– klassisch wäre eine Intervallbildung nach • technischen Gegebenheiten (z.B. Plattenstruktur)

• mathematischen Formeln (z.B. Modulo)

• vordefinierter Metrik (z.B. Manhattan-Metrik)

26


ca. 13.000 Records mit 998 Dimensionen 27


Post-Processing – 4.000 Anfragen (Wochenleistung PKW-Produktion)

– 6 Std. ohne dimensio zu 3 Min. 20 Sec. mit dimensio

Bildvergleich – Ähnlichkeitssuche in 50.000 Bildern (Vergleich von Merkmalsvektoren)

– 12 Sec. ohne dimensio zu 0,001 Sec. mit dimensio

Business Intelligence – Anfragen mit ca. 2.000 Dimensionen (In-Memory + Column Store)

– 20 Sec. ohne dimensio zu 0,032 Sec. mit dimensio

28


Alle Bereiche, in denen viele Werte zu korrelieren sind – z.B. lange Prädikatlisten in SQL-Statements

Probleme, die mehrdimensional sind bzw. zu lösen sind – z.B. Volltextsuche, Mustererkennung in Gensequenzen, etc.

Einige Beispiele – Business Intelligence

– Post-Processing / Materialnachweise /Garantieverfahren

– GIS

– Energieversorgung / Smart Metering

– Telekommunikation / Banking / Kundenbeziehungen

29


30


alpha ventus 12 Windkrafträder 45 km nördlich von Borkum

Alle Daten sollen für Simulationen und Auswertungen gespeichert werden

1.500 Sensoren erzeugen 3,2 * 109 Werte/Tag = 37,000 Werte/Sekunde

Datenstruktur: ID, TS, V = 21 Byte = 760 kB/sec

Datenbank Einfügeleistung

Getestet mit ähnlicher Datenstruktur

Länge: 17 Byte

Max. Einfügeleistung: 2,700 Werte/Sekunde

31


32

0

50000

100000

150000

200000

250000

300000

Maximale Einfügeleistung: 250.000 Tupel


Wie werden 250.000 Tupel zu 250 kHz? Jedes gepufferte Einfügen benötigt eine Verarbeitungszeit…

Der Datenstrom ist jedoch nicht zu unterbrechen!

Die Windmühle selbst ist die Lösung…

33


Schreibt Datenströme in klassische RDBMS Ohne Cluster

Ohne zusätzliche Hardware

Maximale Einfügefrequenz 250 kHz

D.h. 250.000 Tupel pro Sekunde

Kann die Daten aus dem Datenstrom (vor)verarbeiten

Aggregatbildung on-the-fly

Vergleiche zwischen eingehenden Daten und bestehenden

Managementsysteme erhalten sofortiges Feed-back durch Aggregationen und/oder Vergleiche

34


35


36

Herausforderungen:

Richtungsbruch auf Applikationsebene

Kommunikationsbruch auf Ebene der Infrastruktur

Nutzung dienstbasiertes Rechtesystem (MAC)

Web-Server Database 1Client ClusterServerDatabase 2

Externes Rechnernetz Internes Rechnernetz


37

BSI-Maßnahmenkatalog 5.130: Ein Storage Area Network ist häufig als Fibre-Channel (FC-SAN) realisiert. … Speichersubsysteme, Server und deren Betriebssysteme können, unabhängig voneinander, auch mehrfach zugeordnet werden.

Speichernetzwerk

Rechnernetzwerk

Dual- Interfaces

Rechnernetzwerk

secu

rid

o

Fibre Channel SAN

secu

rid

o


38

dimensio informatics GmbH Brückenstr. 4 09111 Chemnitz Telefon: +49 371 26 20 19 0 Telefax: +49 371 26 20 19 10 [email protected] www.dimensio-informatics.com

Home: DOAG e.V. - Prof. Dr. Wolfgang Benn...– Endkundenprodukte/Lösungen (dimensio, scrivo,...

Documents

Transcript of Home: DOAG e.V. - Prof. Dr. Wolfgang Benn...– Endkundenprodukte/Lösungen (dimensio, scrivo,...