Potential der Grid-Technologie für das DLR · R. Simulations- und Softwaretechnik Hempel Workshop...

Simulations- und SoftwaretechnikR. Hem

pel

1

Potential der Grid-Technologie für das DLR

Rolf Hempel<[email protected]>

Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR)

Simulations- und Softwaretechnik

Workshop “Software-Technologie im DLR”, 10.11.2004


pel

2Workshop „Software-Technologie im DLR“, 10.11.2004

Rahmenbedingungen und Umfeld

Was ist Grid-Computing?

Grid-Technologie heute


Gliederung:


pel


Warum beschäftigen wir uns JETZT mit diesem Thema?

Aktuelle Ereignisse:

4 12.08.2004: BMBF veröffentlicht 1. Call im D-Grid-Förderprogramm

h Aufbau nationaler “Community-Grids” (vertikale Projekte)h Parallel dazu: Grid-Middleware-Integrationsplattform

(gemeinsames “horizontales” Projekt)h Antrags-Deadline: 22.10.2004h Fördervolumen: 20 Mio €

4 DLR-Beteiligung:

h Zwei “Community-Grid-Anträge” (DFD, PA, SC)h Integrationsplattform, Thema Datenmanagement (SC)h Dennoch: DLR unterrepräsentiert


pel


Warum beschäftigen wir uns JETZT mit diesem Thema?

Nationales Förderprogramm (5 Jahre), finanzielle Randbedingungen:

4 100 MEuro durch BMBF

4 100 MEuro aus den Budgets der Forschungseinrichtungen

4 100 MEuro durch die Industrie

Das heißt:

4 Möglichkeiten für neue Projektgelder

4 Wenn man nicht mitmacht, möglicher Verlust von Ressourcen


pel


Internationaler Kontext

In den USA ist alles größer:

4 Advanced Cyberinfrastructure Program (ACP) der NSF

4 Jährliches Födervolumen: 1 Milliarde $

4 Einzelheiten: http://www.cise.nsf.gov/sci/reports/toc.cfm

In Europa:

4 Umfangreiche Ausschreibungen im 6. Rahmenprogramm der EU

4 Seit 2001: U.K. eScience-Programm, Förderung: 40 M£ / Jahr

4 Deutschland Schlußlicht (mit Griechenland und Portugal)trotz guter technischer Entwicklungen

4 Mit D-Grid soll das anders werden …


pel






Gliederung:


pel



Begriff: geprägt im Jahre 1999 durch die Autoren der “Grid-Bibel”

Ian Foster, Argonne National Laboratory

Carl Kesselman, Information Sciences Inst., USC

Fokussierung verschiedener IT-Entwicklungenauf einen Begriff

Kernthema: Gemeinsame Nutzungvernetzter Ressourcen


pel


Analogie 1: “Electrical Power Grid”

4 Durchbruch der Elektrizitäts-Nutzung durch Vernetzung im “Grid”

4 Vorteile:

h Reliability: Zuverlässige Verfügbarkeit der Leistungh Consistency: Standardisierte Schnittstellen, auf die sich die

Nutzer einstellen könnenh Pervasiveness: Überall (grundsätzlich) verfügbar

4 Übertragung auf Grid-Computing:

h Nutzer spezifiziert Problem (auf abstrakter Ebene)h Lösung durch einen “Service” im Gridh Unabhängigkeit von konkreten Server-Eigenschaften

4 Schlagwort: “Rechenleistung aus der Steckdose”


pel


Analogie 2: “World-Wide Web”

4 Das Internet gibt es bereits seit 1969

4 Der exponentielle Aufschwung der Internet-Nutzung durch dasWWW: Erst in den 90er Jahren

Warum?

4 Die neue Qualität ergab sich aus:

h Dem einheitlichen Transferprotokoll (http)h Der einheitlichen Dokumentbeschreibungssprache (html)

4 Dadurch: Weltweit standardisierter Zugriff auf Dokumente


pel


Analogie 2: “World-Wide Web”

Grid-Computing: Weltweit standardisierter Zugriff auf Ressourcen, z.B.h Computerh Datenbankenh Services (z.B. Application Service Provision)h Großanlagen (z.B. Teleskope, VR-Einrichtungen, etc.)

Auch hier heißt das Schlüsselwort: Standardisierung, z.B.h Transferprotokoll: SOAPh Service-Definition: WSDLh Standard-Architektur für Low-level-Dienste: WSRF

(z.B. Authentifizierung, Sicherheit, Service-Lokalisierung)


pel


Warum jetzt? (diesmal technisch begründet)In der Vergangenheit:

4 Teure und schwache Netzwerke Lokale Ressourcen-Nutzungökonomisch zwingend

4 1986: “Back-bone” des Netzwerks der NSF-Zentren: 56 Kbit/s

Wachstumsraten 2001 – 2010:

4 Computer: Faktor 60

4 Netzbandbreite: Faktor 4000

Verteilte Ressourcen-Nutzung fürimmer mehr Anwendungenökonomisch sinnvoll!

Ab

b. a

us

Scie

nti

fic

Am

eric

an, J

an. 2

001


pel


Die Grid-Idee wurde nicht über Nacht geboren

Vorläufer und erste Grid-Entwicklungen:

4 Nutzung (weltweit) verteilter Rechnerressourcen: Condor

4 Standardisierter Zugang zu (Groß-)Rechnern: UNICORE

4 “Betriebssystem” für verteilte Rechner-Ressourcen: LEGION

4 Service-orientierte “Middleware” für Grids: Globus Toolkit

Schwerpunkte auf unterschiedlichen Grid-Aspekten

Allen gemeinsam: Standardisierte Schnittstellen,Abstraktion von den Eigenheiten konkreter Ressourcen


pel






Gliederung:


pel


Grid-Ansätze in heutigen Projekten

Variationen des Themas “verteilte Ressourcen-Nutzung”:

4 Compute-Grids: Bündelung verteilter Rechen-Ressourcen(Metacomputing, SETI@home, etc.)

4 Data-Grids: Gemeinsame Nutzung und Verarbeitung großerverteilter DatenressourcenTreibende Kraft: Hochenergiephysik (CERN)

4 Ressource-Grids: Virtualisierung von Rechenressourcen,On-Demand-Computing, (Outsourcing)

4 Service-Grids: SW-Services anbieten / nutzen, Orchestrierung


pel


Treibende Kraft: Global Grid Forum

Kurze Geschichte des GGF:

4 Zunächst U.S.-Inititative (Grid Forum), gegründet Juni 1999

4 Seit März 2001: Global Grid Forum

4 Seither: 10 GGF-Meetings, jeweils ≈ 500 Teilnehmer

4 Offenes Forum, gegliedert in ca. 50 “Working Groups” zu Teilthemen

4 10. GGF-Meeting: Berlin 10.-12.03.2004

4 Sichtbares Ergebnis des GGF:

h OGSA: Open Grid Service Architectureh OGSI: Open Grid Service Infrastructure


pel


Open Grid Service Architecture

1. Hosting Environment

2. OGSI (Open Grid Service Infrastructure)- WSDL - Information - Notification

3. Permeating Principles and Policies- Message passing between Services - Security- Service management framework - Transport mechanism

4. Key OGSA Services- Discovery - Registration

5. OGSA-compliant System Grid Services (e.g. Globus Toolkit 3)- Workflow - Federation - Orchestration - Brokerage - Accounting

6. Application Grid Services


pel


Globus Toolkit als “Referenz-Middleware”

4 Nicht zufällig: Entwickelt von den Autoren der “Grid-Bibel”

4 Ähnliche Rolle wie die von MPICH bei der Durchsetzung desMPI-Standards

4 Frühe Unterstützung einer Service-orientierten Architektur

4 GTK 3: “OGSA-Compliant”

4 GTK 4 (geplant): Referenz-Implementierung von WSRF

Was ist das?


pel


Parallel zur Grid-Diskussion: Entwicklung von Web Services im kommerziellen Bereich4 Weiterentwicklung des WWW:

h Aufruf von “Services” statt (statischen) Dokumentenh Erste Schritte: Serverseitiges Scripting (z.B. ASP)

4 Architektur für Web-Services standardisiert durch W3C / OASIS

4 Verschiedene SW-Plattformen für Web-Services, z.B.:

h .NET (Microsoft)hWebSphere (IBM)h SunONE (Sun)

4 Interoperabilität gewährleistet durch Standards, insbesondere:

hWSDL (Web Service Description Language)h SOAP (Simple Object Access Protocoll)


pel


Nutzung von Web Services

Kunde:Service-Aufruf

Kunde:Service-Aufruf

Service Broker(UDDI)

Service Broker(UDDI)

Dienstleister:Service-Angebot

Dienstleister:Service-Angebot

Service registrieren

Service aufrufen

Serv

ice fi

nden

Kommunikation mitSOAP = http + XML


pel


Konvergenz von Web- und Grid-Services

Neueste Entwicklung:

4 OGSA/OGSI wird zur Basis des Web-Service-StandardsWSRF (Web Service Ressource Framework)

4 Standardisierung im OASIS WSRF Technical Committee

4 Grid-Service-Technologie kommt in den “Mainstream”

4 Größtes technisches Problem bei der Integration:

h Einige Grid-Services sind “stateful”hWeb-Services sind “stateless” (gedächtnislos)


pel






Gliederung:


pel


1. Angebot von Services für externe Nutzer

Zugriff auf Erdbeobachtungs-Datenarchive:

4 Grid-Service-Interface für externe Nutzer

4 Vereinheitlichung des Zugriffs auf verschiedene Archive(ESA, CEOS, …)

4 Dadurch “Federation” von Archiven im Grid möglich

4 “Added-Value-Services” können auf Standard-Interfaces aufbauen

4 Bereits Grid-Projekte bei

h ESA ESRINh CEOS Grid Task Force


pel


1. Angebot von Services für externe Nutzer

Für andere Anwendungen ist das Potential zu prüfen:

4 Beispiel: Ausführung von DLR-Simulationscodes nach ASP-Modell(Computing on demand)

h Sinnvoll bei externen Kooperationspartnernh Allgemeines Angebot zweifelhaft, wenn Code-Nutzung viel

Spezialwissen erfordert

4 Erster Ansatz: Web-Portal für TRACE-Code bei AT

h Zusammenarbeit mit Industrie und Universitätenh Code-Downloads, Beispielrechnungen, Computing on demandh Link: www.trace-portal.de


pel


2. Gemeinsame Ressourcen-Nutzung im DLR-Grid

4 Ressourcen: Computer, File-Systeme, Großanlagen (?)

4 Aufbau eines DLR-weiten “Resource Grid”

4 Einbeziehung von Compute-Resourcen außerhalb des DLR, z.B.:HPC-Portal bei HWW (http://www.hpcportal.de), “pay-per-use”

Erste Ansätze:

4 SISTEC-Grid: Experimentelle Plattform (Globus TK3)

4 Geplante Erweiterung des DataFinder zur Nutzung vonDaten-Servern im Grid


pel


Das SISTEC-Grid

GIIS

GRIS

GRIS

GRIS

GRIS

GRIS

GRIS

GRIS

GRIS

GRIS

Köln-Porz

GIIS

GRIS

GRIS

Braunschweig

Solaris

AIX

IRIX

HP-UX

Linux


pel


Virtual Enterprises

Virtuelle Organisationen auf Projektebene:

4 Großes Potential wegen der verteilten Struktur des DLR

4 Einrichtungen, die an einer gemeinsamen Aufgabe arbeiten bilden eine virtuelle Organisation

h Projekteh Hinzunahme externer Partner

4 Wesentlicher Nutzen der Grid-Technologie:Umfangreiche Sicherheitsmechanismen fürZugriffskontrolle und Kommunikation

4 Vereinheitlichung der Nutzung der dezentral verteilten HPC-Ressourcen durch Grid-Infrastruktur


pel


3. Service-Architektur in eigener SW-Entwicklung

Nutzung von Web- und Grid-Service-Architekturen zu:

4 Verbesserung der Modularität und Wiederverwendbarkeit

4 Erhöhung der Flexibilität bei späteren Erweiterungen

4 Standard-Services nutzen, anstatt selbst entwickeln

Nutzung vielversprechend z.B. in der numerischen Simulation

4 Erste Versuche mit dem Integrationssystem TENT bei SISTEC

4 Externes Beispiel aus der “Computational Chemistry”: ECCE


pel


CORBA

GUI

Factory

TENT-Factory: (CORBA-)Server for starting programs

Grid

Factory

Workstation / PC

Factory

Cluster (LSF, NQS, ...)Integrationssystem TENT


pel


TENT-Anwendungen Space re-entry

Flight maneuvers

Rocket motorsCar design

Virtual aircraftTurbine engines


pel


TENT und Grid-Computing

Implementierung mit dem Globus Toolkit™ 2.x / 3.x

4 C-Version für Komponenten in C/C++

4 Java CoG Kit für Java-Komponenten und das Basis-System

Grid/Globus-Features, die in TENT benutzt werden:

4 Authentifizierung (Single Sign-On)

4 Ressourcen-Auswahl und –Alloziierung (GIIS, GRIS, GRAM)

4 Datenaustausch (Grid-FTP)

Task Farming Service (für Parameterstudien):

4 Startet Jobs mit verschiedenen Parametereinstellungen im Grid

4 Realisiert als Grid-Service (nach OGSA-Modell)Grundlage: ETTK (IBM Emerging Technologies Toolkit)


pel


Übergang von einem problemspezifischen PSEzu einer erweiterbaren Grid-Computing-Umgebung

Beispiel: Ecce, entwickelt am PNL

(Extensible Computational Chemistry Environment)

Details unter:

Schuchard, Didier, Black: Ecce – A Problem Solving Environment’s Evolution Toward Grid Services and a Web Architecture

CCP&E 14:1221-1239 (2002) – erhältlich bei

http://aspen.ucs.indiana.edu/gce/C535EccePNL/c535eccepnl.pdf


pel


Das “Problem Solving Environment” Ecce

4 Entwicklung von Ecce seit mehr als 10 Jahren

4 Teil der “MS3 Molecular Science Software Suite”, zusammen mitNWChem (Anwendungsalgorithmen) undParSoft (Bibliotheken und Tools für paralleles Rechnen)

4 In Betrieb seit 1997

4 Seit 2001: Übergang zu einer neuen Architektur,basierend auf Web-Standards (z.B. WebDAV) und Grid-Services


pel


Ursprüngliche Ecce-Architektur 4 Event-basierendeKomponenten-Architektur

4 Publish/subscribe Event-System

4 Separate Komponenten fürMolekülkonstruktion, Auswahlvon Basis-Sets und Input-Parametern, Job-Start, etc.

4 Komponenten-Integration auf Objekt-Ebene, gemeinsamesSchema

4 OODBMS zur persistentenDatenspeicherung


pel


Neue Ecce-Architektur 4 Service-Architektur basierendauf Web-Protokollen

4 SOAP/HTTP zur Interaktionzwischen Komponenten

4 WebDAV zum Management von Daten/Metadaten(siehe DataFinder!)

4 Informations-Serviceunabhängig von Objekt-Eigenschaften

4 Benutzung von Globus zurAuthentifizierung und Job-Management im Grid


pel


Vorteile der neuen Architektur

4 Entwicklung einer Suite von speziellen Einzelkomponenten zuAnwendungskomponenten + generischen Middleware-Services

4 Verbesserte Wiederverwendbarkeit der Services durch Abstraktion von den Objektdetails

4 Übergang von

h gemeinsamem Objektmodell und Daten-Schema zuh offenen, dynamischen Schemata + Übersetzungs-Service

erlaubt eine flexiblere Kopplung der Komponenten

4 Komponenten leichter separat zu entwickeln

4 Daten-Architektur jetzt WebDAV-enabled; einfacher anpaßbar an verschiedene Umgebungen (wie bei DataFinder)


pel


Die bleibende Herausforderung: Interface-Semantik4 Fundamentales Problem beim Datenaustausch zwischen

Web- bzw. Grid-Services:exakte Datendefinition / Transformation zwischen Formaten

4 Beispiel: Ergebnis einer CFD-Berechnung

h Physikalische Bedeutung der berechneten Gitterfunktionen?h Welche Algorithmen wurden verwendet?h In welchen Einheiten sind sie definiert?h Wie genau?h Bezugssystem für Koordinaten?h etc.

4 Definition und Standardisierung von Interface-Semantiken:Größte ungelöste Aufgabe des Grid-Computing


pel


Kommentar eines Industrievertreters

4 Semantik ist das Schlüsselproblem für den automatisiertenDatentransfer in Geschäftsprozessen

4 Konversionen müssen automatisch und korrekt erfolgen

Even in five years from now, not more than half of the necessary research will be finished. But it’s a very good time to get into exploring the Grid!

(Alan Gould, Advanced Technology Center, BAE Systems)

Potential der Grid-Technologie für das DLR · R. Simulations- und Softwaretechnik Hempel Workshop...

Documents

Transcript of Potential der Grid-Technologie für das DLR · R. Simulations- und Softwaretechnik Hempel Workshop...