Technische universität dortmund Service Computing Einführung Service Computing Einführung Prof....

technische universität dortmund

Service ComputingEinführung Prof. Dr. Ramin Yahyapour

IT & Medien Centrum13. Oktober 2009


Logistik

Vorlesung: Prof. Dr. Ramin Yahyapour Dienstag, 8:30- 10 Uhr

Übung: Dr. Thomas Röblitz Donnerstag: 14:15 – 16 Uhr (?) Praktische Übungen

Terminänderungen beachten: Beispiel:

Kommende Woche am Donnerstag Vorlesung!

LSF Anmeldung für Mailingliste und Materialien in EWS


Overview

What is Service, Cloud, Grid Computing?

Application Examples

Architecture of Grids

Current Development

Similarities to eBusiness Solutions and Ubiquitous

Computing


Vorstellung IT & Medien Centrum Das ITMC ist der IT und Medien Dienstleister der Universität Beispiele:

Management der Netzwerk-Infrastruktur bis an die Dose bzw. WLAN Zugang, DNS, Firewall, DHCP

Support-Services Service-Desk Graphik, Print E-Learning Audio/Video-Erstellung und Bearbeitung

Betrieb zentraler Server und Dienste eMail, Groupware Identity Management Web-Server Campus Management/Ressourcen Management

Hosting und Housing von Servern Betrieb von HPC-Systemen für wissenschaftliches Rechnen.


Wiss. Rechnen/ HPC an der TU

2006: LiDO 464 CPU Cores (AMD) 20 Tbyte Storage

2008: D-Grid Ressourcen Zentrum Ruhr

(DGRZR) 2048 CPU Cores (Intel) 110 Tbyte Storage

2009: LiDO2 3328 CPU Cores (Intel) 215 Tbyte Storage


Traditioneller Rechnerbetrieb Dedizierte System für

Anwendungen HW angepasst auf Anwendung,

daher hohe Performanz Systeme teilweise redundant für

Ausfallsicherheit Heterogene Infrastruktur Kapazitäten meist

überdimensioniert, um künftiges Wachstum vorwegzunehmen

Physische Hardware

OperatingSystem

Anwendung

Storage/Network

Physische Hardware

OperatingSystem

Anwendung

Storage/Network

Physische Hardware

OperatingSystem

Anwendung

Storage/Network

Physische Hardware

OperatingSystem

Anwendung

Storage/Network

Physische Hardware

OperatingSystem

Anwendung

Storage/NetworkPhysische Hardware

OperatingSystem

Anwendung

Storage/Network

MailDB WebApp

Service X


Virtualisierung von Rechnern Der Einsatz von

Virtualisierung erlaubt eine Trennung von HW und Anwendung.

VM sind isoliert voneinander Mehrere VMs können sich

einen Host teilen Heterogenität kann besser

verwaltet werden. Die Ressourcen lassen sich

zuteilen und partitionieren.

Physische Hardware

Storage/Network

Virtualisierungs-plattform (Xen, vmWare, Hyperv)

Anwendung

Virtuelle MaschineGast OS

Anwendung


Nach Forrester:Über 30% Kostenersparnis

Physische Hardware

Storage/Network


Anwendung


Anwendung


Physische Hardware

Storage/Network


Anwendung


Anwendung


Physische Hardware

Storage/Network


Anwendung


Anwendung


Physische Hardware

Storage/Network


Anwendung


Anwendung



Änderung für den Betrieb eines Data Centers

CPUs

Services

Physical Storage

Virtualisierungs-Management

Physical Network

VirtuelleServer

Speicher-virtualisierung

Netzwerkvirtualisierung

Trennung von Ressourcen und Anwendungen

Ressourcen werden dynamisch zugeteilt

Ressourcen werden selbst als Services angeboten

ITMC: Server-Virtualisierung seit

2008 Speicher-Virtualisierung

projektiert


In die Wolken: Cloud Computing Kommerzielle Anbieter liefern Ressourcen (Amazon EC2) On-demand Zugang zu Ressourcen „Elastizität“ (dynamische Anpassung) Pay-per-use

Nutzung wird einzeln abgerechnet Leichter Einstieg

PaaSPlatform as a Service

IaaSInfrastructure as a Service

SaaSSoftware as a Service

Applikationen

Plattform zur Erstellung von Applikationen

Infrastruktur für Server, Speicher, Netzwerk, …

http://images.google.com/imgres?imgurl=http://www.dbtechno.com/images/salesforce_google_apps.jpg&imgrefurl=http://www.dbtechno.com/category/products/page/4/&usg=__Ch56e0FmEM28c9Z_vbcFUPACW1k=&h=203&w=300&sz=6&hl=en&start=118&um=1&tbnid=ejqtZQnBD9bQSM:&tbnh=78&tbnw=116&prev=/images?q=Salesforce&ndsp=18&hl=en&rls=com.microsoft:en-us:IE-SearchBox&rlz=1I7GGLJ&sa=N&start=108&um=1

http://images.google.com/imgres?imgurl=http://www.3gjuice.com/wp-content/uploads/2008/07/amazon_crave.jpg&imgrefurl=http://current.com/items/89969635/amazon_we_are_not_homophobic_claims_ham_fisted_cataloging_error.htm&usg=__oCzYUN7j12atBfsvMYSoa-lKdCY=&h=300&w=350&sz=40&hl=en&start=1&um=1&tbnid=sK54FwL7xw4MTM:&tbnh=103&tbnw=120&prev=/images?q=Amazon&hl=en&rls=com.microsoft:en-us:IE-SearchBox&rlz=1I7GGLJ&sa=N&um=1


10

Amazon Web Services EC2 (Elastic Computing Cloud) ist der Computing Service

von Amazon Basiert auf Hardware Virtualisierug (Xen) Nutzer fragen virtuelle Maschonen und und verweisen auf ein ein VM-Image,das in

S3 abgelegt ist. Nutzer haben volle Kontrolle über die Instanzen (z.B. Root-Zugang, wenn

notwendig). Anfragen können über SOAP oder REST erfolgen.

S3 (Simple Storage Service) ist der Storage Service von Amazon, um Daten in der Cloud zu speichern Unabhängig von anderen Diensten nutzbar Daten werden hierarchisch organisiert und als Objekte oder Buckets abgelegt Zugriff über SOAP, REST und BitTorrent

Weitere AWS Dienste: SQS (Simple Queue Service) SimpleDB Billing services: DevPay Elastic IP (Static IPs for Dynamic Cloud Computing)


11

Beispiel: Amazon WS EC2

Dienst:Hosting Virtueller Maschinen on Demand

Service Level Agreement (SLA):“Amazon EC2 SLA commitment is 99.95% availability for each Amazon EC2 Region”

CPU-Leistung:[gemessen in “EC2 Compute Unit” (ECU)]“One EC2 Compute Unit (ECU) provides the equivalent CPU capacity of a 1.0-1.2 GHz 2007 Opteron or 2007 Xeon processor.”


12

Beispiel: Amazon WebServices EC 2 Standard Instances

Small Instance1.7 GB Hauptspeicher, 1 EC2-Compute-Unit (1 virtual CPU-core), 160 GB Hintergrundspeicher, 32-bit Plattform

Large Instance7.5 GB Hauptspeicher, 4 EC2-Compute-Unit (2 virtual CPU-cores), 850 GB Hintergrundspeicher, 64-bit Plattform

Extra Large Instance15 GB Hauptspeicher, 8 EC2-Compute-Unit (4 virtual CPU-cores), 1690 GB Hintergrundspeicher, 64-bit Plattform

High-CPU Instances High-CPU Medium Instance

1.7 GB Hauptspeicher, 5 EC2-Compute-Unit (2 virtual CPU-core), 350 GB Hintergrundspeicher, 32-bit Plattform

High-CPU Extra Large Instance7 GB Hauptspeicher, 20 EC2-Compute-Unit (8 virtual CPU-cores), 1690 GB Hintergrundspeicher, 64-bit Plattform


Public/Commercial Clouds Klares Business Modell

(Pay by Creditcard..)

Aktiver Markt mit vielen Anbietern Metering, Accounting, Billing Einstieg einfach und günstig … Ausstieg nicht!

Für größere Data Centernur begrenzt attraktiv


Private Clouds Dienstorientierung innerhalb eines Data Centers Angebot von Infrastruktur oder Plattformen als Dienst Beispiel:

ITMC liefert virtuelle Maschinen Storage on-demand für Lehrstühle

Klare Web-Schnittstellen für den Nutzer

CPUs

Services

Physical Storage

Virtualization Management

Physical Network

VirtuelleServer

Speicher-virtualisieru

ng

Netzwerkvirtualisieru

ng

1) Dynamische Skalierung

Weitere Ressourcen

2) Scale-Out

CPUs

Services

Physical

Storage


Physical

Network

Virtuelle

Server

Speicher-

virtualisierun

g

Netzwerk

virtualisierun

gEinbindungvon externen Ressourcen

Attraktives Management-Modell; Dynamische Skalierbarkeit


Cloud Computing – Hype ?Gartner Hype Cycle 2008

Hype!

Aber Konzepte bleiben.


Bewertung Clouds Einfaches Managementmodell

Betreiber Dienste Betreiber Infrastruktur

Klare Schnittstellen Betreiber Infrastruktur sieht die Anwendung nicht.

Hohe Effizienz auf Seiten des Betriebs Management von vielen VMs möglichst effizient auf verfügbaren Ressourcen Ähnliche Entwicklung bei Storage

Hohe Flexibilität Erzeugung von neuen VMs auf Knopfdruck

Offenheit von Clouds zurzeit noch nicht gegeben „Einbahnstraße“ zu einem Provider Aktuelle Bestrebungen zur Liberalisierung und Standardisierung


17

Unterstützung neuer Angebote Beispiel von Amazon:

Animoto, “Scale as you grow” (Musik-unterlegte Videos aus eigenen Bildern) http://www.animoto.com


18

Eigenschaften eines Anbieters


Grid Computing?

Ressourcen „teilen“ (sharing)

Produktionsumgebung in vielen Disziplinen

Kollaboration in Forschungsgruppen

Betrieb und Nutzung sind kompliziert

TU Dortmund in mehreren Grids beteiligt


Clouds für HPC Kann Virtualisierung und Cloud Computing für wissenschaftliches

Rechnen genutzt werden?

Abhängig von der wiss. Anwendung Parallele Applikationen mit hohen Kommunikationsanforderungen: wenig

geeignet „Bag of Tasks“ Anwendungen mit geringen Anforderungen: durchaus

geeignet

Vorteil: Virtualisierung findet unabhängig Einzug in DataCenter: Knowhow

vorhanden VMs erlauben besser auf die Bedürfnisse der Nutzer einzugehen… … und Verantwortlichkeit auf den Nutzer zu übertragen (Software-Pflege) Mehr Freiheitsgrad im Management (Migration, Preemption)

Langfristig: Job = Virtuelle Maschine

Es wird künftig spezielle HPC-Systeme und Compute Clouds geben


Ressourcen Management Das automatische Management von Clouds oder Grids ist eine

komplexe Aufgabe Welche Ressourcen werden für welchen Dienst/Anwendung wann

eingesetzt? Hoch dynamisch und von der Arbeitslast/Workload abhängig

Optimierungsziele: Antwortzeit Qualität Kosten Ressourcenverbrauch Strom (!)

Multikriterielles Optimierungsproblem


Unterschiede zwischen Grids und Service ComputingGrids führen meist Batch-Jobs

aus: Dynamische Einreichung neuer

Jobs, meist unabhängig Batch Queuing-Systeme Typischerweise “Space-sharing”

Ausführung Sequentielle oder parallele

Applikationen

Clouds/SOA/SOI sind: Meist transkations-orientiert, wiederholende

Dienste Hosting ist für lange Zeiträume Häufig “time-sharing” Ausführung Meist synchrone Workflows über

verschiedene Dienste Gekoppelte Ressourcen

Hosting Environment, AppServer, Datenbank


SOI Ressourcen-Management

CPUs

Services

Physical Storage


Physical Network

VirtuelleServer



Neue Dienste


Ressourcen-Management

CPUs

Services

Physical Storage


Physical Network

VirtuelleServer



Neue Dienste

Verteilung auf Ressourcen

Dynamische Anpassungder Infrastruktur

Aktivierung und Deaktivierung von Ressourcen


SLA@SOI /

Technische Herausforderungen Einheitliche Schnittstellen und Interoperabilität

Dynamisches Ressourcen Management Auf Seiten der Nutzer beim Verteilen der Ressourcen Für den Betreiber im Management der Dienste

Komplexität beherrschen! Skalierbarkeit, Effizienz, Dynamik, Verfügbarkeit

Management von x1000 Diensten ist anspruchsvoll Komplexe Geschäftsbeziehungen zu den einzelnen

Diensten

Koordinierung Ein einzelner Dienst ist häufig uninteressant, Die

Orchestrierung von Diensten über verschiedene Ressourcen ist notwendig Beispiel: SLA Management


Service Level Agreements Es existiert ein starker Trend Service-Management über SLAs

abzubilden. Elektronischer bilateraler Kontrakt definiert im Vorfeld:

Dienstgüte Rahmen-/Nutzungsbedingungen Technische Anforderungen Optimierungsziele Kosten/Strafen

Automatische Verhandlungs-prozesse werden benötigt

Das SLA ist elektronisch auswertbar.

ProviderConsumer

Optimierungs-problem

Optimierungs-problem Verhandlungs-

protokoll

SLA Beschreibung

Translation

Monitoring

Adaption


Experiment: Overhead für SLA Erstellung Parallele Anwendung benötigt mehrere Rechenressourcen

gleichzeitig Koordinierte Reservierung und garantierte parallele

Ausführung Dienstgütegarantien mittels elektronischer Verträge = SLA

Testanordnung 4 Systeme mit eigenem Management, 160 Rechenressourcen mit lokalem

Scheduler Rechenressourcen mit zufälliger Lastverteilung Exklusive Ressourcennutzung Parallele Anwendung benötigt 6 Rechenressourcen

Ablauf1. früheste mögliche Startzeit pro Ressource2. Scheduling (mögl. weitere Iteration)3. Überprüfung der Reservierung (mögl. weitere Iteration)4. Start der Anwendung

Meta-Scheduler

Scheduler

Rechenres.

Dienstgütegarantien

Meta-Scheduler

Scheduler

Rechenres.


Testergebnisse

1 Meta-Scheduler kontrolliert alle Rechenressourcen

4 Meta-Scheduler kontrollieren jeweils ¼ der Rechenressourcen Durchschnittliche Zeit bis

eine Ko-Allokation erfolgt ist: ca. 20 sec

Vergleich bei Allokation auf einem einzelnen System: ca. 15 sec

Verhandlungs-/SLA-Overhead ist vertretbar für realen Einsatz


Service Provider

Contracting/Sales

SOA

SOI

SLA Orchestration/

Transformation/Aggregation

SLA (Re-)Negotiation

Provisioning

MonitoringAdjustment

Alerting

physical

virtual

Mapping

SLA

BusinessAssessment

Service Demand

Forecasting

Resource Consumption Forecasting

Procurement

BusinessUse

Service Demand

Customer

BusinessAssessment

Infrastructure Provider

Monitoring, Arbitration

Software Provider

Projekt EU FP7: 15 Mio Eurou.a. SAP, Intel, Telefonica, Telekom Austria, TU DO


Service VM

Service VM

DBVMDBVM

Inventory

Inventory

Business

BusinessBusiness View

Layer

InfrastructureService Layer

Software Service Layer

Business SAMI

InventorySAMI

InfrastructureSAMI

InfrastructureSAMI

Softwaremanagement

Prediction

Design-timemodelling

Design / Prediction Plane SLA Management Plane Service Management Plane


Technological Trend - Computational Power

Computational power follows Moore‘s Law:double of transistor density every 18 months.

Do we need this computational power?


Applications

Several relevant problems are still not adequately solved.

molecular, atomic simulation (chemistry, physics) pharmaceutics climate research artificial intelligence

Grand Challenge Problems


Technological Trend - Networking Network performance doubles every

9 months.

Computer

Network

1986 to 2000

x500 x340.000

2001 to 2010

x60 x4000

the difference will yield several dimensions in a few years!


Consequence

“When the network is as fast as the computer's internal links, the machine disintegrates across the net into a set of special purpose appliances” (George Gilder)

Parallel programming Distributed applications Decentral problem solving


The Grid “Resource sharing & coordinated problem

solving in dynamic, multi-institutional virtual organizations” (Ian Foster)

Source: Globus, Ian Foster


Grid Vision

Simple, transparent access to resources without central control

dynamic coordination and combination of services on demand

easy additionof resources autonomic management of Grid components complexity of the infrastructure is hidden from

user or resource provider.

Analogy: Power-Grid

Transformation to „e-Science“ Support of „Virtual Organizations“


Computational Grids Connection of:

High-performance computers, parallel computers

Workstations-/PC-Cluster in the future single PC systems

The Grid automatically dertermins on request, where, when, which computers are available for a task.

Idea orginitates from metacomputing (‘90)


Trend of Online-Data

The storage density doubles every 12 months. Example online-data:

2000 ~0.5 Petabyte 2005 ~10 Petabytes 2010 ~100 Petabytes

Not only computational performance but also data management is a key challenge in the future!


Data-intensive Applications Medical Data

Digital X-Rays Brains-ScansPetabytes of Data


Data-intensive Applications Medical Data

Digital X-Rays Brains-ScansPetabytes of Data

Molecular Data Genom Proteine Drug analysis

Environmental Data Weather-/Climate Geophysics Astronomy

Physics High-Energy Physics Astronomy

typical: time-variant, 3D modelsrequire large volumes of data(simulated, recorded)


Example: CERN’s Large Hadron Collider

1800 Researchers, 150 Institutes in 32 Countries

work on 100 PetaByte of data with several 10.000s of processors!


Example CERN-LHC Data-Grid

Tier2 Centre ~1 TIPS

Online System

Offline Processor Farm ~20 TIPS

CERN Computer Centre

FermiLab ~4 TIPSFrance Regional Centre

Italy Regional Centre

Germany Regional Centre

InstituteInstituteInstituteInstitute ~0.25TIPS

Physicist workstations

~100 MBytes/sec

~100 MBytes/sec

~622 Mbits/sec

~1 MBytes/secPhysics data cache

~PBytes/sec

~622 Mbits/sec




Caltech ~1 TIPS

~622 Mbits/sec

Tier 0Tier

1

Tier 2

Tier 4

Source: Ian Foster, DataGrid, CERN


Grid-“Resources“ Computer und data management ultimately require also

network management Considerations of network connections Reservation of network properties Quality-of-service features

e.g.: GMPLS/MPLS

other resources: Visualization (3D-Cave, Video-Conferencing), Experimental devices and instruments Software (Licences) Services etc.


Grid-Initiatives Several Grid projects in research and academics Globus Toolkit

Open-Source solution defacto standard for several protocols and services

Open Grid Forum Forum similar to IETF, W3C Definition and standardisation of Grid protocols and services

Commercial support IBM, Microsoft, Sun, Compaq, … Platform, Avaki, Datasynapse, ...

Combination of technological interests from eScience and eBusiness


Architecture of a Grid Situation

different types of components, different rules, policies, provider

Requirement of standardisation: description of and access to resources

independent, distributed, and scalable services shared protocols


Grid Functions (1) Security

Authentication Privacy

Information Services Information about existing resources or services Lookup and discovery of functionalities

Resource Management Integration of resources


Grid Functions (2) Data Management

Data transferring Data localisation Replication Synchronisation

Scheduling automatic selection of resources coordination of resource allocation

Accounting Billing


Future Grid Applications

Use of Grid-APIs for portable access to Grid functionalities

Example: dynamic resource discovery data transfers requesting network services

higher abstraction level in software development


Multi-level InfrastructureApplication

Fabric“Control local execution”

Connectivity“Communication with internal resource functions and services”

Resource“Add resource”: Negotiate access, control access and utilization

Collective

“Coordination of several resources”: infrastructure services, application services

Internet

Transport

Application

Link

Inte

rnet P

roto

col A

rchite

cture

Source: Ian Foster


Open Grid Service Architecture OGSA is currently standardised in OGF. Goal is the simple integration of new services into the Grid.

service-oriented approach

Communication via WebServices, SOAP

Similarity with eBusiness solutions Similar protocols Application Server


Globus Toolkit™ Open-Source software package with basic services

usually the reference implementation of services that are standardized by the Global Grid Forum.

Primarily, just a „bag of services“ to implement Grid projects

Security Information Services Resource management Data transferring

no directly usable/installable „product“


Example of a Grid Job1. Required Resources:

needs 48 processing nodes of a specified architecture/properties for 6 hours a nearby visualization device is requested during execution

2. Allocation Time Requirements: should be executed between 8am and 6pm the following day

3. Data Requirements: needs a specified data set

4. Storage Requirements: needs 1 GB of storage during execution

5. Software Requirements: utilizies a specified licensed software package

6. Network Requirements: a network connection with a given bandwidth between the VR device

and the application is needed

7. Cost Requirements: The user is willing to pay at most 4 Euro

8. Objectives: He prefers cheaper job execution over an earlier execution.


Automatic Allocation and Reservation

timePrefetching Input-Data

Computation

Storing Output-DataNetwork 1

Computer 1 Reservation

ComputationComputer 2

CommunicationNetwork 2

Visualization CaveVisualization

StorageStorage

Software LicenseSoftware Usage

Goal: Automatic planning of the resource allocation


Future Grid Scenario

Remote CenterReads and Generates TB of Data

LAN/WAN Transfer

WAN TransferVisualization

In the near future the Grid offers usersonline access to

Petabyte of data storage, Teraflops of computational

power, on-demand access to QoS-

network connections on-demand software, automatic access to arbitrary

services.

Difference to „Internet“,anticipated potential !


eBusiness Applications Internet Business services B2C:

eCommerce-Solutions Portals

Internet Business services B2B: Inter-operation between companies Supply-Chain Management

Intranet Solutions Enterprise Application Integration EAI


Trend in eBusiness Solutions Previously:

use of the internet as add-on technology to existing business models often stand-alone solutions for specific prupose

Current and future: integration of different services (in-house, between companies) to improve

efficiency orientation of internal and external business processes and workflows leveraging new business models


Technological ChallengesSimilar to Grid standards Standardization of services and protocols similar technologies

XML-Processing Web-Services, SOAP Enterprise Java Beans

Requirements security reliability performance scalability interoperability


Pervasive/Ubiquitous ComputingMobile Solutions

Easy and transparent integration of different mobile components

Requirements security reliability performance scalability interoperability

Same Requirements; similar solutions but often additional constraints:

devices may be subject tighter limitations in size, cost, performance


Kursinhalt

Grundlagenzu aktuellen Web Technologien XML JSP, JavaBeans EJB Web-Services

Peer2Peer Grid Computing Cloud Computing


Danke für die Aufmerksamkeit!


Presentations includes figures, trademarks, logos which are properties of third parties..Rights are reserved to the corresponding rights owners.

Technische universität dortmund Service Computing Einführung Service Computing Einführung Prof....

Documents

Transcript of Technische universität dortmund Service Computing Einführung Service Computing Einführung Prof....