Betriebs- systeme und Verteilte Systeme Architektur des Grids Projektgruppe Peer2Peer Suche nach...

Betriebs-systeme

und Verteilte Systeme

Architektur des GridsProjektgruppe Peer2Peer Suche nach WebservicesWS 2004/SS 2005Andre Höing

2

Agenda

Definitionen Geschichte Unterschied OGSI / OGSA Schichten des Grids Grid Services Weitere OGSA Konventionen Forschung / next generation Zusammenfassung

Definition Geschichte Schichten GridServices OGSA Forschung

3

frühe Definition

1998 Ian Foster and Carl Kesselman „The Grid: Blueprint for a New Computing Infrastructure“

„A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive and inexpensive access to high-end computational capabilities“

„Ein Rechen-Grid ist eine Hard- und Software Infrastruktur, die einen verlässlichen, beständigen, überall vorhandenen und preisgünstigen Zugang zu high-end Rechenressourcen bereitstellt.“


4

Moderne Definition

2000 Ian Foster, Sven Tuecke u.a. „The Anatomy of the Grid“

Schlagwort: „Sharing“ Nicht in erster Linie von Dateien, sondern

Direkter Zugang bei Bedarf zu Computer, Software, Daten und andere Ressourcen

Stark kontrolliert, mit genauer Klärung Was geteilt wird Wer Zugriff hat Unter welchen Bedingungen geteilt wird

Virtual Organization: Zusammenschluss der Teilnehmer, die durch die Regeln definiert werden.


5

Checklist

Juli 2002 Ian Foster „What is the Grid“

Ein Grid ist ein System, welches verschiedene Ressourcen (in verschiedenen Domänen), die nicht

zentral verwaltet werden, koordiniert. standardisierte, offene, universelle Protokolle und Interfaces

benutzt. nicht triviale Dienste anbietet.


6

Anfänge

1967 – erstes Netzwerkpaket wurde ausgetauscht (NPL Data Network / 768 kbps)

1973 – erste internationale Netzwerkverbindung (ARPANET) 1975 – TCP Verbindung über Satellit 1976 – erster Cray 1979 – erster Multiprozessor Computer 1984 – 1.000 Internet Hosts 1986 – NSFNET Backbone 56 kbps 1988 – NSFNET Backbone1,5 Mbps 1988 – Condor 1989 – 100.000 Internet Hosts


7

Condor Erster Vorläufer des Modernen Grids

Nur ein Condor „Pool“ zusammengesetzt aus vielen Machinen Finden von einzelnen bestimmten Ressourcen unter einer Vielzahl

verschiedener Maschinen Fehlertoleranz

Umgang mit Jobs, die niemals enden Ab- und Einschalten einzelner Rechner

Netzwerk ist auf ein LAN beschränkt Nutzung von Ressourcen aus verschiedenen Domainen

Für die Forschung frei erhältlich: www.cs.wisc.edu/condor

Entwicklung noch aktiv


8

Weitere Fortschritte

1991 – PGP released 1991 – CORBA v1.1 1991 – NSFNET 44.7 Mbps Backbone 1991 – WWW entwickelt von Tim Berners-Lee 1992 – 1.000.000 Internet Hosts 1993 – Legion project 1996 – SETI@home 1997 – start Globus 1998 – Globus Toolkit 1 2000 – Globus Toolkit 2 2003 – Globus Tooklit 3 2005 – Globus Toolkit 4

Im Moment Developer Release 3.9.3


9

Globus Version 1

Toolkit mit Standards für Sicherheit (GSI) Zugriffskontrolle und Datentransfer (GRASS und GridFTP) Finden und Zuteilung von Ressourcen (GIS und GRAM) Starten entfernter Programme (globusrun)

GIS – Grid Information Service Jede Ressource startet „Grid Ressource Information Server“ (GRIS) Sammlung der Informationen im Grid Index Information Service (GIIS) Ressource Specification Language (RSL)

GSI - Grid Security Service Gute Akzeptanz der Sicherheitsstandards (X.509 Zertifikat mit

Ablaufdatum) Anmeldung am gesamten Grid möglich


10

Globus Version 2

GRAM (Globus Ressource Allocation Manager) Interface zu den verschiedenen

lokalen Ressource Mgmt Tools

MDS – Metacomputing Directory Service: LDAP basiert Datenbank für den GRIS

GridFTP (Erweiterung des FTP Protokolls): Parallele Transfers Teiltransfers Third-Party Transfers Authentifizierte Datenleitungen

ResourceManagement

InformationServices

Data Management

Security (GSI)

GR

AM M

DS

GridFT

P


11

Version 3

Open Grid Service Architecture standardisierter Aufbau eines

Grids Erlaubt Virtualisierung von

Ressourcen Integration von bereits

bestehenden Ressourcen und Programmen

Tools für Auslastung, Sicherheit, Netzwerk QoS, Erreichbarkeitsmanagement

Alles im Grid ist ein Service

Open Grid Service Infrastructure Formale und technische

Spezifikationen um den OGSA Aufbau umzusetzen Definiert WSDL Bestimmungen

und GSDL Erweiterungen Definiert wichtige Interfaces (in

WSDL) und Verhaltensweisen, die wichtig für einen Grid Service (GS) sind

Ziel: Vereinigung von Web Services und Grid Technologie


12

Schichten des Grids

Quelle: A visual tour of Open Grid Services Architecture - http://www-106.ibm.com/developerworks/grid/library/gr-visual/


13

Grid Service

Erweiterung eines Web Service um Lifecycle management Factory Notification State management Service Groups Handle Map

Erweiterungen werden durch OGSA/OGSI spezifiziert

Quelle: A visual tour of Open Grid Services Architecture - http://www-106.ibm.com/developerworks/grid/library/gr-visual/


14

OGSA Funktionen (1)

Lifecycle Management Robustheit gegen das Auftauchen und Verschwinden einzelner

Dienste Nicht alle Dienste werden zu jeder Zeit benötigt Generierung der Dienste manuell oder durch eine Fabrik Zerstörung der Dienste explizit oder durch Soft-State Lifetime

Management Factory

Starten der Dienstinstanzen nur, wenn sie benötigt werden Eine Fabrik kann verschiedene Dienste erzeugen Nicht alle Dienste werden dynamisch erzeugt Liefert einen Grid Service Handle (GSH) zurück


15

OGSA Funktionen (2)

Notification Kommunikation der einzelnen Dienste innerhalb eines Grids

untereinander Notification Source

Anmelden eines Dienstes bei einem Anderen Dienst bekundet Interesse an einer bestimmten Art von

Informationen „Subscription Manager“ Dienst regelt Lebensdauer und

Eigenschaften dieser Anmeldung Notification Sink

Gegenstück zur Quelle Asynchrones versenden von Nachrichten an einen vorher

angemeldeten Dienst


16

OGSA Funktionen (3)

State Management Grid Services können verschiedene Zustände besitzen Informationen werden in Form von „Service Data“ gespeichert Minimale Service Data Menge für jeden GS zwingend notwenig

Service Data Beschrieben durch eine WSDL Erweiterung Enthält Informationen über

Den Dienst allgemein Die Interfaces des Dienstes Informationen über den Status der Anwendung

Nicht nur Meta Daten, sondern auch dynamische Informationen über den aktuellen Zustand


17

OGSA Funktionen (4)

Service Groups Zusammenschluss mehrer GS in eine Virtuelle Gruppe Z.B. alle Dienste, die sich in einem bestimmten Cluster befinden

Handle Map Speichert Informationen um Dienste innerhalb des Grids zu finden Auflösung eines Grid Service Handles zu einer Grid Service

Reference


18

GSH und GSR

Jede GS-Insatanz besitzt einen eindeutigen, unveränderbaren Namen innerhalb des gesamten Grids => Grid Service Handle (GSH) Enthält unter anderem Informationen über den HomeHandleMap

Dienst GSH kann bei einer Handle Map nachfragen, wo der Dienst mit

einer bestimmten GSH liegt=> Grid Service Reference (GSR) Enthält Informationen über den Ort des Dienstes (IP) Kann ablaufen

Trennung zwischen Dienst und Ort des Dienstes


19

Interfaces GridService

FindServiceData SetTerminationTime Destroy

NotificationSource SubscribeToNotificationTopic

NotificationSink DeliverNotification

Factory CreateService

HandleMap FindByHandle

Registry RegisterService UnregisterService


20

Finden eines Dienstes

Client

Registry

GridService

RegistryName, Lifetime, etc

MySQLDatabase Service

GridService

QueryDatabaseInterface

Name, Lifetime, etc

DB ServiceFactory

GridService Factory

Name, Lifetime, etcHandleMap

HandleMap

RegisterService

FindServiceData

GSHFindByHandle

GSRCreateService

GSH

GSH

GSR


21

Beispiel Applikation

Registry

UserApplication

MiningFactory

DatabaseFactory

Compute Service Provider

Storage Service Provider

DatabaseService

DatabaseService

BioDB n

BioDB 1

Ich möchte eine Datenbankmit Informationen über e.coli Bakterien erstellen.

Finde einen Dienst für themenbezogene Datensuche und eine Datenbank um die Informationen zu speichern.

GSHs für dieangeforderten Dienste

Erstelle einen Suchdienst mitanfänglicher Lebendsdauer 10.

Erstelle einen Datenbankdienst mitanfänglicher Lebendsdauer 1000.

Database

MinerAnfrage

Anfrage

Keepalive

KeepaliveErgebnisse

Ergebnisse

Quelle: testbed.gridcenter.or.kr/kor/technical_doc/ KISTI-IBM-0522/ppt/day2-01-IntroductionOGSA.ppt


22

Was kann OGSA noch?

Dienste müssen jederzeit upgradebar sein, ohne den Betrieb des Grids einzuschränken oder laufende Jobs zu beeinflussen Evtl. Kompatibilitätsprobleme mit älteren Versionen Clients müssen nicht nur Namen der Dienste unterscheiden,

sondern auch Versionen Finden von kompatiblen Diensten wäre ideal

Verlässliche Aufrufe der Dienste Synchronisation zum sicherstellen, dass die Nachrichten erhalten

wurden Authentifizierung

Sicherstellen der Identität einzelner Dienste oder Teilnehmer Besonders wichtig bei Vertragsverhandlungen etc.


23

Grid Core Services

Service Management Automatisierung von

Installation, Erhaltung, Beobachtung und Problemlösung

Sammelt Informationen über das Grid

Service Communication Nachrichtenschlangen,

Nachrichtenversenden, Protokollieren der Kommunikation

Policy Management Gerüst für Erschaffung,

Verwaltung und Administration von Verträgen

Security Einheitliche Sicherheitsmodelle,

-mechanismen, -protokolle und -technologien


Quelle: A visual tour of Open Grid Services Architecture – http://www-106.ibm.com/developerworks/grid/library/gr-visual/

24

Globus Version 4

Web Service Ressource Framework OGSA/OGSI wurde weitestgehend von der Globus Alliance ohne

die WebService Community definiert Oft werden nur Teile von OGSI benötigt, aber alle mussten

installiert werden => OGSI wird in 6 Web Service Spezifikationen aufgespaltet/erweitert

WS-RessourceLifetime WS-RessourceProperties WS-Notification WS-RenewableReferences WS-ServiceGroup WS-BaseFaults


25

Zusammenfassung

Alles im Grid wird als Grid Service dargestellt (Hard- und Software)

Schichten des Grids Vorstellung der Funktionen Auflösen von GSH und GSR Kommunikation Soft-State Lifecycle Service Data Ausblick auf die nächste Generation


26

ENDE

Vielen Dank für die Aufmerksamkeit

Architektur des Grids

Betriebs- systeme und Verteilte Systeme Architektur des Grids Projektgruppe Peer2Peer Suche nach...

Documents

Transcript of Betriebs- systeme und Verteilte Systeme Architektur des Grids Projektgruppe Peer2Peer Suche nach...