BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe...

34
BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias Böhm, Jürgen Bittner SQL GmbH Dresden Franklinstraße 25a 01069 Dresden transconnect@sql- gmbh.de Dirk Habich, Wolfgang Lehner TU Dresden Nöthnitzer Str. 46 01187 Dresden [email protected] dresden.de Uwe Wloka HTW Dresden (FH) Friedrich-List-Platz 1 01069 Dresden [email protected] Die Definition des Message Transformation Model (MTM) und dessen Realisierung in TransConnect ®

Transcript of BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe...

Page 1: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

BTW 2007, Aachen, 09.03.2007

Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in

datenzentrischen Anwendungsszenarien

Matthias Böhm, Jürgen Bittner

SQL GmbH DresdenFranklinstraße 25a

01069 Dresden

[email protected]

Dirk Habich, Wolfgang Lehner

TU DresdenNöthnitzer Str. 4601187 Dresden

[email protected]

Uwe Wloka

HTW Dresden (FH)Friedrich-List-Platz 1

01069 Dresden

[email protected]

Die Definition des Message Transformation Model (MTM) und dessen Realisierung in TransConnect®

Page 2: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

2 / 34

Gliederung

• Einleitung und Motivation

• Message Transformation Model

• Integrationsplattform TransConnect®

• Zusammenfassung und Ausblick

Page 3: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

3 / 34

Gliederung

• Einleitung und Motivation

• Message Transformation Model

• Integrationsplattform TransConnect®

• Zusammenfassung und Ausblick

Page 4: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

4 / 34

Einleitung und Motivation

Ausgangssituation

• Prozessintegration:WSBPEL hat sich mittlerweile weitestgehend

durchgesetzt

• Anwendungsintegration: Kein anerkanntes Modell / Standard für die

Beschreibung datenintensiver Prozesse

• Adaption von Prozessbeschreibungssprachen der Prozessintegration in der Anwendungs- und Informations-integration

– Message Broker

– EAI-Server

– ETL-Tools

Page 5: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

5 / 34

Einleitung und Motivation

Motivation

• Sowohl in Workflow- als auch in ETL-Beschreibungen sind Aspekte des Kontrollflusses und des Datenflusses abzubilden

• Workflow-Systeme: Konzentration auf Kontrollfluss

• ETL-Tools: Konzentration auf Datenfluss

EAI: Notwendigkeit der Kombination der Vorteile beider Verarbeitungsmodelle

Page 6: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

6 / 34

Einleitung und Motivation

Motivation zur Weiterentwicklung der Integrationsplattform TransConnect®

• Konzeptuelles Modell zur Abbildung von Integrationsprozessen– Flexibilität bei der Modellierung von Integrationsszenarien– Datenunabhängigkeit– Unabhängigkeit von konkreten Prozessbeschreibungssprachen

• Integration einer Prozesssteuerung zur Realisierung des konzeptuellen Modells

Page 7: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

7 / 34

Einleitung und Motivation

Beispielszenario „ETL-Prozess“ – Teil 1

Page 8: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

8 / 34

Gliederung

• Einleitung und Motivation

• Message Transformation Model (MTM)

• Integrationsplattform TransConnect®

• Zusammenfassung und Ausblick

Page 9: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

9 / 34

Message Transformation Model (MTM)

Anforderungen

• Funktionale Anforderungen (Auswahl)– beliebig viele Quell- und Zielsysteme– synchrones und asynchrones Verarbeitungsmodell– Content Based Routing durch eine geeignete Anfragesprache– Abstraktion von konkreten Systemtypen

• Nicht-Funktionale Anforderungen (Auswahl)– Effiziente Verarbeitung

– Skalierbare Verarbeitung

– Transaktionales Verhalten

Page 10: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

10 / 34

Message Transformation Model (MTM)

Einordnung des Modells in eine adaptierte 3-Schichten-Architektur

Page 11: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

11 / 34

Message Transformation Model (MTM)

MTM Nachrichtenmodell

Page 12: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

12 / 34

Message Transformation Model (MTM)

MTM Nachrichtenmodell

• Externe Ebene

Page 13: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

13 / 34

Message Transformation Model (MTM)

MTM Nachrichtenmodell

• Konzeptuelle Ebene

Angelehnt an „Molekül-Atom-Datenmodell (MAD)“ [HMMS87]

Page 14: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

14 / 34

Message Transformation Model (MTM)

MTM Nachrichtenmodell

• Interne Ebene: Attributorientierter, feingranularer Ansatz

Page 15: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

15 / 34

Message Transformation Model (MTM)

MTM Nachrichtenmodell

• Interne Ebene: Attributorientierter, grobgranularer Ansatz

Page 16: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

16 / 34

Message Transformation Model (MTM)

MTM Prozessmodell

Page 17: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

17 / 34

Message Transformation Model (MTM)

MTM Prozessmodell

• Konzeptuelle Ebene

• Entwurfsdimensionen– Strukturelle Art– Funktionale Orientierung– Interne Repräsentation

Page 18: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

18 / 34

Message Transformation Model (MTM)

MTM Prozessmodell

• Konzeptuelle Ebene – Strukturelle Art

Page 19: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

19 / 34

Message Transformation Model (MTM)

MTM Prozessmodell

• Konzeptuelle Ebene – Funktionale Orientierung

Page 20: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

20 / 34

Message Transformation Model (MTM)

MTM Prozessmodell

• Konzeptuelle Ebene – Interne Repräsentation

Page 21: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

21 / 34

Message Transformation Model (MTM)

MTM Prozessmodell

• Konzeptuelle Ebene

Angelehnt an „JBoss Graph Oriented Programming“ [JGOP06]

Page 22: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

22 / 34

Message Transformation Model (MTM)

MTM Prozessmodell

• Konzeptuelle Ebene – Anforderungsorientierte Operatoren

Page 23: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

23 / 34

Message Transformation Model (MTM)

Beispielszenario „ETL-Prozess“ – Teil 2

• Differenzierung in Teilprozesse

Page 24: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

24 / 34

Message Transformation Model (MTM)

Beispielszenario „ETL-Prozess“ – Teil 2

• Beispielprozess ‘es_process1‘ (WSBPEL Process)

<process xmlns="">

<!--declarations-->

<!– process description-->

</process>

Externe Ebene

Page 25: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

25 / 34

Message Transformation Model (MTM)

Beispielszenario „ETL-Prozess“ – Teil 2

• Beispielprozess ‘es_process1‘ (MTM ProzessType)

KonzeptuelleEbene

Page 26: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

26 / 34

Message Transformation Model (MTM)

Beispielszenario „ETL-Prozess“ – Teil 2

• Beispielprozess ‘es_process1‘ (Java ProcessPlan)

public class es_process1 extends ProcessPlan

{

private InternalMessage msg1 = null;

private InternalMessage msg2 = null;

@Override

protected InternalMessage executeNode(InternalMessage input) throws MTMException

{

try

{

Invoke node1 = new Invoke("sap_mq","DEQUEUE",AService.OTYPE_RECEIVE);

node1.setIDs(getPTID(), getPID(), getNID());

msg1 = node1.execute( msg3 );

}

catch( MTMSignalException mse )

{

/*signal handling*/

}

/*...*/

}

}

Interne Ebene

Page 27: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

27 / 34

Gliederung

• Einleitung und Motivation

• Message Transformation Model (MTM)

• Integrationsplattform TransConnect®

• Zusammenfassung und Ausblick

Page 28: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

28 / 34

Integrationsplattform TransConnect®

Architekturentwurf TransConnect

Page 29: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

29 / 34

Integrationsplattform TransConnect®

Entwurf TransConnect Server

Page 30: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

30 / 34

Integrationsplattform TransConnect®

WFPE - ProcessParser

Page 31: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

31 / 34

Gliederung

• Einleitung und Motivation

• Message Transformation Model (MTM)

• Integrationsplattform TransConnect®

• Zusammenfassung und Ausblick

Page 32: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

32 / 34

Zusammenfassung und Ausblick

Ausgangssituation• Kein Modell / Standard für Anwendungsintegration• Notwendigkeit der Kombination der Vorteilen von Workflow-Systemen

und ETL-Tools• Notwendigkeit der Beschreibung von Prozessen der

Anwendungsintegration– Kontrollfluss

– Datenfluss

– Interaktion mit externen Systemen

• Erzeugung effizient ausführbarer Prozesspläne

Lösungsansatz• Externe Ebene: Standardisierte Prozessbeschreibungssprachen• Konzeptuelle Ebene: Definition Message Transformation Model• Interne Ebene: Kompilierte Prozesspläne

Page 33: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

33 / 34

Zusammenfassung und Ausblick

Ergebnisse• Definition des Message Transformation Model (MTM)

– Nachrichtenmodell– Prozessmodell

• Beschreibung des MTM mit WSBPEL– Einfaches Mapping der interaktionsorientierten Operatoren– Einfaches Mapping der kontrollflussorientierten Operatoren– Umfassende Erweiterung der datenflussorientierten Operatoren

(Einbettung in <extensionActivity>)

• Erweiterung von TransConnect– Nachweis der Praktikabilität

Ausblick• Optimierung von Integrationsprozessen

– Perspektive 1: Systeminterne Prozessoptimierung– Perspektive 2: Systemübergreifende Prozessoptimierung

Page 34: BTW 2007, Aachen, 09.03.2007 Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias.

BTW 2007, Aachen, 09.03.2007

Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in

datenzentrischen Anwendungsszenarien

Matthias Böhm, Jürgen Bittner

SQL GmbH DresdenFranklinstraße 25a

01069 Dresden

[email protected]

Dirk Habich, Wolfgang Lehner

TU DresdenNöthnitzer Str. 4601187 Dresden

[email protected]

Uwe Wloka

HTW Dresden (FH)Friedrich-List-Platz 1

01069 Dresden

[email protected]

Die Definition des Message Transformation Model (MTM) und dessen Realisierung in TransConnect®