Überblick: Auswirkungen von Grids auf RZ-Serviceangebotethings which haven’t been possible...

© 2006 ZAIK/RRZK

Überblick: Auswirkungen von Grids auf

RZ-Serviceangebote

Prof. Dr. Ulrich LangZentrum für Angewandte Informatik Köln

Universität zu Köln

DFN-Nutzergruppe e-Science 10. Mai 2006

Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 2

Überblick

Vortrag zur Einstimmung und Bewusstseinsbildung

Was ist das Grid?Wer setzt es ein?Zu welchen Zwecken wird es eingesetzt?Welche Vorteile bringt das Grid?


Was ist das Grid?

A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities. (Ian Foster & Carl Kesselman, „The Grid“, MK, 1998.)“Grid Problem”, which we define as flexible, secure, coordinated resource sharing among dynamic collections of individuals, institutions, and resources. (Ian Foster, Carl Kesselman and Steven Tuecke, “The Anatomy of the Grid”,..., 2001.)“A Grid provides an abstraction for resource sharing and collaboration action across multiple administrative domains…”(Source: NGG Expert Group, 16 June 2003 “European Grid Research 2005-2010)

Grid computing is a form of distributed computing that involves coordinating and sharing computing, application, data, storage, or network resources across dynamic and geographically dispersed organizations. Grid technologies promise to change the way organizations tackle complex computational problems.


Geschichte und Stand der Grid-Entwicklung

Umfangreiche internationale Finanzierung für Grid-Projekte> 500 M€ national, Europa- und weltweitUSA, Asien, EU 6FP IST, UK e-Science, D-Grid

Unterschiedliche Phasen der Grid-ProjekteD-Grid begann erst am 2. September 2005 EU 5FP ist beendet, 6FP-Projekte laufen UK e-Science: 2 Finanzierungszyklen wurden durchgeführt, inzwischen Einrichtung von Support-Zentren

Alle Projekte verlangen und versprechen NachhaltigkeitGrid-Infrastrukturen

Globus Toolkit, Unicore, g-Lite, Condor, …


Grid-Technologie für komplexe wissenschaftliche Probleme

Charakteristiken komplexer wissenschaftlicher Probleme Massive DatenvoluminaMassiver Bedarf an RechenleistungGeographische Verteilung der KooperationspartnerGeographische Verteilung der Ressourcen

AnwendungsbereicheAstronomie, Geowissenschaften, Ingenieurswissenschaften, Bio-und Lebenswissenschaften, Klima- und Wettersimulation, Medizin, etc.

Grid-TechnologieHard- und Software-Infrastruktur für heterogene verteilte Anwendungen und verteiltes Arbeiten


Charakteristiken von Problemhandhabungen

Organisation von Arbeitsabläufen (Workflows)Kopplung und Integration von ArbeitsschrittenAutomatisierung von Abläufen

Bewegung großer DatensätzeRessourcenorientierte, adaptive Verarbeitung

Kooperation zwischen geographisch verteilten Personen

Integration & Automatisierung durch Middleware & ToolsManagement von Berechnungen und DatenEntdecken (Discovery) von RessourcenKoordinierter Softwareentwicklungsprozess


Grundlegende Grid-VersprechenGrid technologies advance Science and Education in that we can do things which haven’t been possible before. Grid infrastructure attracts and enables new businesses and creates new jobs, especially in today's rural areas. Grids make us more competitive by better utilizing resources.

Sich selbst überwachende, adaptive InfrastrukturHinreichend beschriebene Komponenten

offen gelegte und abfragbare StrukturierungFunktion, Verhalten, QoS, …

Tools zur Analyse und Anpassung an Grid-ZustandAuffinden geeigneter KomponentenBestimmung wie Komponenten kombiniert werden können

Tools zur Komposition, Diagnose & Zustandsänderung


Grid TechnologyVirtual Organisations

Sharing & Collaboration

SecuritySingle Sign on, delegation

Distribution & fast file transferBut various protocols

Resource ManagementDiscoveryProcess creationSchedulingMonitoring

PortabilityUbiquitous APIs & Modules

Foster, I., Kesselman, C. and Tuecke, S., The Anatomy of the Grid: Enabling Virtual Organisations, Intl. J. Supercomputer Applications, 15(3), 2001


Identischer Zugriff für alle KooperationspartnerNutzung aller intellektueller Ressourcen

Labs, Universitäten, entfernte Standorte Wissenschaftler, Studenten

Optimierte Nutzung von Investitionen, z.B. im HPCReduktion von Systemkomplexitäten

Partitionierung von TasksAutomatisierte dynamisch verteilte Abläufe Transparente Nutzung von Ressourcen

Reduktion von Managementproblemen bei langfristigen Berechnungen

Vorteile von Grid-Computing


UK e-Science Programme: Grid-Anwendungen der nächsten Generation

‘e-Science is about global collaboration in key areas of science, and the next generation of infrastructure that will enable it.’

John Taylor, DG of UK OST

Die Anforderungen der e-Science Grid-Anwendungsprojektebestimmen die durch die Grid Middleware anzubietenden Services

UK Projekte sind mehr auf Grid Data Services als auf Teraflop/s bzw. HPC-Systeme ausgerichtet

Folgende Informationen wurden teilweise Präsentationen von Tony Hey entnommen, der Koordinator der UK e-Science-Initiative war


Finanzierung des UK e-Science-Programms

Erste Phase: 2001 –2004Anwendungsprojekte

£74MAlle Bereiche derWissenschaft und des Ingenieurswesens

Kern-Programm£15M Forschungsinfrastruktur£20M Projekte in Zusammenarbeit mitIndustrie

Zweite Phase: 2003 –2006Anwendungsprojekte

£96MAlle Bereiche derWissenschaft und des Ingenieurswesens

Kern-Programm

£16M Forschungsinfrastruktur£10M DTI Technology Fund


UK e-Science Grid Anwendungsprojekte

Teilchenphysik und Astronomie (PPARC)- $25M GridPP und $8M AstroGrid

Ingenieurswissenschaften und Physik (EPSRC)- Finanzierung von 6 Projekte mit jeweils ca. $5M

Biologie, Medizin und Umweltwissenschaften- Gesamtfinanzvolumen $35M


UK e-Science Pilotprojekte

GRIDPP (PPARC)ASTROGRID (PPARC)Comb-e-Chem (EPSRC)DAME (EPSRC)DiscoveryNet (EPSRC)GEODISE (EPSRC)myGrid (EPSRC)RealityGrid (EPSRC)

Climateprediction.com (NERC)Oceanographic Grid (NERC)Molecular Environmental Grid (NERC)NERC DataGrid (NERC + OST-CP)Biomolecular Grid (BBSRC)Proteome Annotation Pipeline (BBSRC)High-Throughput Structural Biology (BBSRC)Global Biodiversity (BBSRC)


UK e-Science Pilotprojekte

Biology of Ageing (BBSRC + MRC)Sequence and Structure Data (MRC)Molecular Genetics (MRC)Cancer Management (MRC + PPARC)Clinical e-Science Framework (MRC)Neuroinformatics Modeling Tools (MRC)


Powering the Virtual Universehttp://www.astrogrid.ac.uk

(Edinburgh, Belfast, Cambridge, Leicester, London, Manchester, RAL)

Multi-wavelength showing the jet in M87: from top to bottom – Chandra X-ray, HST optical, Gemini mid-IR, VLA radio.

Picture credits: “NASA / Chandra X-ray Observatory / Herman Marshall (MIT)”, “NASA/HST/Eric Perlman (UMBC), “Gemini Observatory/OSCIR”, “VLA/NSF/Eric Perlman (UMBC)/Fang Zhou, Biretta (STScI)/F Owen (NRA)”

AstroGrid provides advanced, Grid based, federation and data mining tools to facilitate better and faster scientific output.


Comb-e-Chem Projekt

X-Raye-Lab

Analysis

Properties

Propertiese-Lab

SimulationVideo

Diff

ract

omet

er

Grid

StructuresDatabase


Nucleotide Annotation Workflows

Discovery Net Projekt

Download sequence

from Reference

Server

Save to Distributed Annotation

Server

InteractiveEditor &

Visualisation

Execute distributed annotation workflow

NCBIEMBL

TIGR SNP

InterPro

SMART

SWISSPROT

GO

KEGG

1800 clicks500 Web access200 copy/paste3 weeks workin 1 workflow and

few second execution


Schwerpunkte der englischen e-Science-Förderung

Datazugriff und -integrationOGSA-DAI- und DAIT-Projekt mit IBM

Zentrale Grid-DatendiensteWorkflow, ProvenienzVerteilte Anfragen, Wissensmanagement

Datenpflege, -archivierung und DatenhandhabungDigital Curation Centre mit JISC Sicherheit, AA und Ähnliches

e-Science CA, GSI und WS-Sicherheit


OGSA – Datenzugriffs- und Integrationsprojekt

Znetraler Bereich der Middleware-ArbeitenEntwicklung hochqualitativer datenzentrischer Middleware-EigenschaftenGesamtetat $5M Etablieren von drei Zentren:Edinburgh, Manchester und NewcastleIndustriepartner: IBM US, IBM Hursley und Oracle UK


UK e-Science: Phase 2

Drei wesentliche, neue Aktivitäten:

1. Einrichtung nationaler Grid Services und Aufbau einesGrid Operation Centre

2. Finanzierung eines Open Middleware Infrastrukturinstitutes zum Testen, Überarbeiten und Speichern in einem UK-Repository

3. Einrichten eines Digital Curation Centre um Langzeitspeicherprobleme zu behandeln


Das UK Open Middleware Infrastructure Institute (OMII)

“Repository” für im UK entwickelte Open Source MiddlewareDokumentation, Spezifikation,QA und StandardsFinazierung zur Überführung von ‘Forschungs-’software in eine ‘Produktionsqualität’Finanzierung von MiddlewareProjekten um Softwarelücken zu schliessenZusammenarbeit mit US NSF, EU-Projekten und AnderenUnterstützung durch große IT-FirmenSouthampton wurde als OMII Standort ausgewähltEntspräche im D-Grid Kontext einer Organisation, die sich der Pflege der Prototype-Grid Software widmet.


D-Grid-Initiative

Integrationsprojekt (DGI)German Astronomy Community Grid (GACG)Collaborative Climate Community Data and ProcessingGrid (C3-Grid) Grid Infrastructures for high Energy Physics (GridHEP)Innovative Grid Developments for engineeringApplicationsMediGridTextGrid


Ergänzende Funktionalitäten des Grids

Human Resource GridProjekte zur Unterstützung der Zusammenarbeit von Spezialisten

AccessgridAccessgrid basierte kooperative Anwendungen

Ontology Grids, Knowledge Grids


Human Resource Grid

“A Grid provides an abstraction for resource sharing and collaboration across multiple administrative domains…”(Source: NGG Expert Group, 16 June 2003 “European Grid Research 2005-2010)Charaktristiken eines Human Collaboration Grid

„Ressourcen“ sind hier Spezialisten unterschiedlicher Fachrichtungen und deren Know-howWeitere grid-basierte Ressourcen werden benötigt (Rechner, DB-Server, Scanner, …)Problemstellung ist nur durch Kooperation der Spezialisten behandelbarSpezialisten befinden sich an verschiedenen Standorten


Access Grid and Collaboration TechnologiesConnecting People and Applications via the Grid

Access Grid

Access Grid ⇒ Integrating Group to Group Collaboration and Visualization


Referenzen

Greg Riccard: Managing Scientific Information Making theInternet Work for Big Science, UK National e-ScienceCentre, http://www.nesc.ac.uk/presentations/. Oct 2002Tony Hey: The UK e-Science Initiative and Web Services: http://www.hellasgrid.gr/content/downloads/Hey.pdf


Arbeitsgruppenbildung

Vorbereitung von Folgeveranstaltungen zur Vertiefung der Kernthemen vorbereitenAwareness Creation & Easy Access

Breite Nutzerschaft für Grid Sensibilisieren

Erarbeitung zentraler Serviceangebote Mögliche Arbeitsgruppenthemen sind:

Bereitstellung von Grid-Grundinfrastruktur in installationsfähiger Form Bereitstellung zentraler Basisdienste Bereitstellung grid-fähiger Applikationspakete und AnwendungsworkflowsBereitstellen von Sicherheits- und NetzdienstenAufbau eines Kompetenz-Netzwerks zur Beratung und Unterstützung von Rechenzentren und Nutzern


Bereitstellung von Grid-Infrastruktur in installationsfähiger Form

Welche Grid-Middlewares sind geeignet? P2P-Basis? Zentrale Dienste? Ad-Hoc-Grids(aufbauen/abbauen, oder dauerhafte Installationen)? Wie können Middlewares weitestgehend vorkonfiguriert werden?

Dazu Anwendungsszenarien von RZen identifizieren.

Integration in existierende zentrale Infrastrukturen (sowohl Grid-Ebene als auch Basis-Ebene) Können Komponenten aus verschiedenen Quellen kombiniert werden? Welche Plattformen werden unterstützt(Linux/Unix, Windows, MacOS X; x86, x86_64, ia64, ppc, ...)?


Bereitstellung zentraler Basisdienste

Identifikation von Szenarien, welche zentralen Dienste werden benötigt? Inwieweit können P2P-Ansätze zentrale Dienste obsolet machen? Wer kann welche Dienste bereitstellen? Aufwandsabschätzung. Welche vorhandenen Dienste können genutzt werden?Verstetigung der Bereitstellung, auch über lange Zeiträume; Nachhaltigkeit. Bundeslandübergreifende Nutzung von Ressourcen?


Bereitstellung grid-fähiger Applikationspakete und Anwendungsworkflows

Wer hat bereits Applikationen grid-fähig gemacht?Identifikation fruchtbarer Anwendungsszenarien. Wie können Workflows einfach beschrieben/konstruiert werden? Welche Granularität ist sinnvoll? Können verschiedene Anwendungen gemeinsame Grundlagen nutzen? LizenzproblematikBereitstellung für Anwender: Webportal? Auf welcher Basis? Visualisierung


Aufbau eines Kompetenz-Netzwerks zur Beratung und Unterstützung von Rechenzentren und Nutzern

Kooperationsstruktur für (Grid-)Spezialisten etablieren:Einrichtung von Mailinglisten zu verschiedenen Themen, Archivierung, Suche. Aufbau von FAQs. Kollaborationstools: z. B. Wikis, Diskussionsforen, Access Grid;Erstellung eines Webportals.

Beratung und SchulungskonzepteThemenschwerpunkte identifizierenZielgruppen (stufenweiser Aufbau von Strukturen):

RZ-Mitarbeiter, Identifikation von Ansprechpartnern für zweite Zielgruppe

Anwender

Außenwirkung


Bereitstellung Netzwerk- und Sicherheitsinfrastruktur

Ist dies eigene Arbeitsgruppe oder Teil von Basis-Diensten?

Aufbau einer Authentication & Authorization InfrastructureEntwicklung von Sicherheitskonzept,

Identifizierung von Anforderungen von RZen lokal, Anforderungen auf Grid-Ebene

Ausstellung von Zertifikaten Identifikation geeigneter Software-Tools Unterschiede, Vorteile, Nachteile P2P- oder zentrale Ansätze Ad-Hoc-Mechanismen? Anforderungen an Netzwerk? Leistung, Firewalls, etc.

Überblick: Auswirkungen von Grids auf RZ-Serviceangebotethings which haven’t been possible...

Documents

Transcript of Überblick: Auswirkungen von Grids auf RZ-Serviceangebotethings which haven’t been possible...