Projekt Ferienclub Business Intelligence Jan Weinschenker...

Projekt FerienclubProjekt Ferienclub

Business IntelligenceBusiness Intelligence

Jan WeinschenkerJan Weinschenker

[email protected]

Jan WeinschenkerJan Weinschenker 22

AgendaAgenda

Ziele und AufgabenZiele und AufgabenBI-ArchitekturBI-ArchitekturDatenmodelleDatenmodelleExtraktion, Transformation, LadenExtraktion, Transformation, LadenVorgehen im ProjektVorgehen im ProjektZusammenfassung und AusblickZusammenfassung und Ausblick


Ziele und AufgabenZiele und Aufgaben

Business Intelligence im FerienclubBusiness Intelligence im Ferienclub

Testdaten generierenTestdaten generierenUnsere Anwendungsfälle realisierenUnsere Anwendungsfälle realisieren

Testschema mit KundendatenTestschema mit KundendatenAppointmentsAppointments (Tracking)(Tracking)


BI-ArchitekturBI-Architektur

Datenquelle

Datenquelle

ArbeitsbereichBasisdatenbank

ETL

0

10

20

30

40

50

60

70

80

1

Darstellung

Analyse


BasisdatenbankBasisdatenbank

ptt_dimension_appointments

PK appointmentid

appointmentid_extern

ptt_dimension_categories

PK categoryid

category

ptt_dimension_gender

PK genderid

gender

ptt_dimension_home

PK homeid

country city

ptt_dimension_place

PK placeid

placeid_extern name longitude latitude validrange

ptt_dimension_states

PK stateid

statename

ptt_facts

PK id

FK4 placeid ageFK3 genderidFK2 categoryidFK5 stateidFK1 appointmentid beginyear beginmonth beginday beginhour beginminute begintimestamp endyear endmonth endday endhour endminute endtimestampFK6 homeid


Ausgangslage: PTTAusgangslage: PTT

ptt_appointment_user

PK,FK2 useridPK,FK1 appointmentid

ptt_place

PK placeid

name longitude latitude validrange

ptt_user

PK userid

name anrede firstname passwordFK1 addressid geburtsdatum

ptt_address

PK addressid

country province zipcode street email phone

ptt_appointment

PK appointmentid

subject datetime duration categoryFK1 placeid status lead

ptt_dimension_appointments

PK appointmentid

appointmentid_extern

ptt_dimension_categories

PK categoryid

category

ptt_dimension_gender

PK genderid

gender

ptt_dimension_home

PK homeid

country city

ptt_dimension_place

PK placeid

placeid_extern name longitude latitude validrange

ptt_dimension_states

PK stateid

statename

ptt_facts

PK id

FK4 placeid ageFK3 genderidFK2 categoryidFK5 stateidFK1 appointmentid beginyear beginmonth beginday beginhour beginminute begintimestamp endyear endmonth endday endhour endminute endtimestampFK6 homeid


Extraktion und TransformationExtraktion und Transformation

Extraktion der DatenExtraktion der DatenAus Produktivsystem in Aus Produktivsystem in

den Arbeitsbereichden Arbeitsbereich

Transformation der DatenTransformation der Daten In eine analyseoptimierte FormIn eine analyseoptimierte Form


Laden der DatenLaden der Daten

… … in die Basisdatenbankin die Basisdatenbank

Dort endgültige Dort endgültige LagerungLagerungBasis für AnalysenBasis für AnalysenKeine Änderungen mehrKeine Änderungen mehr


Verwendete WerkzeugeVerwendete Werkzeuge

Arbeitsbereich und BasisdatenbankArbeitsbereich und BasisdatenbankBizGres DBMS (ein PostGreSQL-Fork)BizGres DBMS (ein PostGreSQL-Fork)

ETL: Enhydra OctopusETL: Enhydra OctopusJava-basiertJava-basiertKonfiguration über XMLKonfiguration über XMLDatenbankzugriff per JDBC (kein Bulkload)Datenbankzugriff per JDBC (kein Bulkload)

Diverse JDBC-TreiberDiverse JDBC-Treiber


Verwendete WerkzeugeVerwendete Werkzeuge

Eclipse-PluginsEclipse-PluginsXMLBuddyXMLBuddyQuantumDBQuantumDB

Fedora LinuxFedora LinuxAqua Data StudioAqua Data StudioAntAnt


Vorgehen im ProjektVorgehen im Projekt

Installation und Konfiguration der Installation und Konfiguration der Arbeitsumgebung (MS I)Arbeitsumgebung (MS I)

Erzeugen von TestdatenErzeugen von TestdatenTestdaten und Testdatenschema (MS II)Testdaten und Testdatenschema (MS II)Testdaten für PTT-Schema (MS III)Testdaten für PTT-Schema (MS III)


Vorgehen im ProjektVorgehen im Projekt

ETL-Jobs verfassen (XML, SQL)ETL-Jobs verfassen (XML, SQL)Definition von Definition von

Quell- und ZieldatenbankQuell- und ZieldatenbankQuell- und ZielschemaQuell- und ZielschemaKopier- und TransformationsvorgängenKopier- und Transformationsvorgängen

Fehlersuche und DebuggingFehlersuche und DebuggingEigenheiten von JDBC-ImplementierungenEigenheiten von JDBC-ImplementierungenÄnderungen an DatenbankschemataÄnderungen an Datenbankschemata


Zusammenfassung und AusblickZusammenfassung und Ausblick

ETL ist FummelkramETL ist Fummelkram Man kennt die Datenschemata aller Man kennt die Datenschemata aller

BeteiligtenBeteiligten

Ich hätte gerne nochIch hätte gerne nochEin besseres Cleanup derEin besseres Cleanup der

Quelldaten gemachtQuelldaten gemachtEine SOA-AdminschnittstelleEine SOA-Adminschnittstelle

implementiert implementiert


Fragen?Fragen?


QuellenQuellen

BizGres DMBSBizGres DMBShttp://www.bizgres.orghttp://www.bizgres.org

Enhydra Octopus ETL-ToolEnhydra Octopus ETL-Toolhttp://octopus.enhydra.orghttp://octopus.enhydra.org

JTDS JDBC-Treiber (für MS SQLServer)JTDS JDBC-Treiber (für MS SQLServer)http://jtds.sourceforge.net/http://jtds.sourceforge.net/

PostgresQL JDBC-Treiber (für BizGres)PostgresQL JDBC-Treiber (für BizGres)http://jdbc.postgresql.org/http://jdbc.postgresql.org/


QuellenQuellen

XMLBuddy Eclipse PluginXMLBuddy Eclipse Plugin http://xmlbuddy.com/http://xmlbuddy.com/

QuantumDB Eclipse PluginQuantumDB Eclipse Plugin http://quantum.sourceforge.net/http://quantum.sourceforge.net/

Fedora LinuxFedora Linux http://fedora.redhat.com/http://fedora.redhat.com/

Aqua Data StudioAqua Data Studio http://www.aquafold.com/http://www.aquafold.com/

Apache AntApache Ant http://ant.apache.org/http://ant.apache.org/

Projekt Ferienclub Business Intelligence Jan Weinschenker...

Documents

Transcript of Projekt Ferienclub Business Intelligence Jan Weinschenker...