Chancen und Risiken der Cloud (BigData-Seminar)

© Zühlke 2013

Alexander Appel

Ein Realitätscheck

Chancen und Risiken der Cloud

7. November 2013Folie 1

© Zühlke 2013Chancen und Risiken der Cloud | Alexander Appel

Vorteile der betrieblichen Nutzung von Cloud Computing

Unternehmens-vorteile

Unternehmens-Agilität

Flexibilitätsgewinn durch höhere

Prozessautomatisierung

Wachstums-fähigkeit

Erschließung neuer Geschäftsoptionen

Time to MarketPortfolioerweiterung

en

Kosten-optimierung

pay what you see(CAPEX to OPEX)

use what you need(OPEX Optimierung)

Quelle: Price Waterhouse Coopers, Cloud Computing im Mittelstand, Mai 2011

© Zühlke 2013

Cloud Computing im Vergleich zu klassischen Hosting Ansätzen

private infrastructureshared operations

shared infrastructureand operationshybrid

cloudpublic cloud

hybrid hostin

g

Out-sourcing

hybrid opera-tions

private

cloud

hybrid archi-

tecture

legacy IT

IT

private infrastructureand operations

private infrastructureand operations

supplier control

on-demand,virtual,

automated

customer control

scheduled, physical, manual

private infrastructureshared operations

shared infrastructureand operations

Daten dort verarbeiten wo sie entstehen

http://news.netcraft.com/archives/2013/05/20/amazon-web-services-growth-unrelenting.html

Vom Kleinen ins Große

… bzw. sehr große …

http://www.visitsequoia.com/img/Trees_looking_up.jpg

?Darf ich meine Daten überhaupt

in der Cloud speichern?


Datenschutz – Unsere Einschätzung (1)

• Deutsche Unternehmen sind an deutsches Datenschutzrecht gebunden, gleichgültig, ob sie Daten in einer Private Cloud verarbeiten oder Public Cloud-Dienste nutzen.

• Beste Möglichkeit zur Nutzung von Cloud-Diensten entsprechend dem BDSG: Auftragsdatenverarbeitung („Verarbeitung von Daten im Auftrag und auf Weisung des Unternehmens“) innerhalb einer EU/EWR-Cloud. – Dienstleister ist dem internen Rechenzentrum des

Unternehmens vergleichbar. – Auftragsdatenverarbeitung muss über umfangreiche Verträge

mit spezifischen Regelungen zum Datenschutz abgesichert sein.

– Auftragsdatenverarbeitung darf nur innerhalb der EU / dem EWR erfolgen, Cloud-Anbieter muss garantieren, dass die Daten den EWR nicht verlassen.

• Bezüglich Datenspeicherung und -Verarbeitung außerhalb der EU bestehen erhebliche datenschutzrechtliche Anforderungen. Daten-speicherung und -Verarbeitung außerhalb der EU ist aber legal möglich in Ländern, die adäquate Datenschutzstandards haben (Japan, Schweiz).

7. November 2013 Folie 8


Datenschutz – Unsere Einschätzung (2)

• Allerdings stehen über 90% der Cloud Computing-Infrastruktur in den USA, und US-Unternehmen sind gemäß Patriot Act dazu verpflichtet, Daten an US-Behörden weiterzugeben. Dies schließt auch Daten aus EU-Rechenzentren amerikanischer Anbieter mit ein!

• Die Verarbeitung personenbezogener Daten durch Unternehmen, die am Safe Harbor-Programm des US-Handelsministeriums teilnehmen und die entsprechenden Grundsätze befolgen, ist legal. Allerdings darf keine Übermittlung „besonders schutzbedürftiger“ Daten erfolgen, z.B. von Gesundheitsdaten.

• Allerdings bezieht sich der Schutz durch das Safe Harbor-Programm nicht auf andere Daten, die beispielsweise Geschäftsgeheimnisse des Unternehmens ausmachen, wie Forschungs- oder Finanzdaten…

• Und nicht selten nutzen auch deutsche SaaS-Anbieter die IaaS-Dienste amerikanischer Provider…

Pflicht zur persönlichen

Überprüfung durch den Auftraggeber!

James Woolsey, ehemaliger Direktor der CIA

"Würde [...] man eine technologische Analyse von etwas aus einem befreundetem Land machen, was keine Bedeutung hat, außer von kommerziellem Nutzen zu sein, und das dann in der Schublade liegen lassen, weil es nicht an ein amerikanisches Unternehmen weitergegeben werden kann? Ich glaube, das wäre ein Missbrauch von Ressourcen der Nachrichtendienste. Ich denke nicht, dass man so verfahren würde.“


Kann ich meine Daten nicht zusätzlich absichern?


Informationssicherheitsnormen und kryptographische Verfahren

ISO/IEC 27001

• Diese internationale Norm spezifiziert die Anforderungen für Herstellung, Einführung, Betrieb, Überwachung, Wartung und Verbesserung eines dokumentierten Informationssicherheits-Managementsystems unter Berücksichtigung der IT-Risiken innerhalb der gesamten Organisation.

Kryptographische Verfahren

• Anbieter empfehlen explizit die zusätzliche Verschlüsselung sensitiver Informationen in der Cloud!

• Die Umsetzung geeigneter Mechanismen liegt dabei in der Hand des Kunden.


Unsere Vernetzte Zukunft

Quelle: Keynote, Amphion Forum 2012, San Francisco

Cloud in der Praxis:Connected Vehicles Platform


• Mehrere Millionen Fahrzeuge

• Durchschnittlich 10.000 Übertragungen pro Sekunde

• Durchschnittlich 1KB Daten pro Übertragung

• Vorerst sollen die Daten nur gesammelt und offline ausgewertet werden

• Es soll ein Prototyp in der Cloud erstellt werden, um erste Erfahrungen mit den Daten zu sammeln

Connected Vehicles Platform (CVP)Telematik Kennzahlen



Ausprägungen von Cloud ServicesIaaS / PaaS / SaaS

You m

anage

Software (as a Service)

Platform(as a Service)

Infrastructure(as a Service)

Packaged Software

You m

anage

You m

anage

Managed b

y

vendor

Managed b

y

vendor

Managed b

y

vendor

Applications Applications Applications Applications

DataData Data Data

Runtime Runtime Runtime Runtime

Middleware Middleware Middleware Middleware

O/S O/S O/S O/S

Virtualization

Virtualization

Virtualization

Virtualization

Servers Servers Servers Servers

Storage Storage Storage Storage

Networking Networking Networking Networking


• 10.000 Übertragungen pro Sekunde

• 10.000 * 1 KB = 10 MB pro Sekunde

Das sind pro Monat:

• 10MB * 2.629.746 S = 26,3 TB

• 26,3 Milliarden Übertragungen

Und pro Jahr:

• 315,57 TB Daten

• 315,57 Milliarden Übertragungen

Connected Vehicles Platform (CVP)Telematik Mengengerüst



Prototyp A:- Sammeln der Daten in Cloud Storage- Auswertungen mit Hadoop OnDemand

Amazon S3 S3 Buckets

Elastic MapReduce Hadoop On Demand Cluster



0

2629

7

5259

4

7889

1

1051

88

1314

85

1577

82

1840

79

2103

76

2366

73

2629

70

2892

67

3155

64

3418

61

3681

58

3944

55

4207

52

4470

49

4733

46

4996

43

5259

40

5522

37

5785

34

6048

31

6311

28 $-

$10,000.00

$20,000.00

$30,000.00

$40,000.00

$50,000.00

$60,000.00

Preisentwicklung Cloud StorageBeispiel Amazon S3

Im ersten Jahr$ 164.093

Im zweiten Jahr$ 463.090



0

2629

7

5259

4

7889

1

1051

88

1314

85

1577

82

1840

79

2103

76

2366

73

2629

70

2892

67

3155

64

3418

61

3681

58

3944

55

4207

52

4470

49

4733

46

4996

43

5259

40

5522

37

5785

34

6048

31

6311

28 $-

$20,000.00

$40,000.00

$60,000.00

$80,000.00

$100,000.00

$120,000.00

$140,000.00

Preisentwicklung Cloud StorageBeispiel Amazon S3(mit PUT Requests)

Im ersten Jahr$ 1.741.940

Im zweiten Jahr$ 2.040.937



Prototyp B:- Sammeln der Daten in NoSQL Datenbank- Auswertungen mit Hadoop OnDemand

Dynamo DB Table

Elastic MapReduce Hadoop On Demand Cluster



0

2629

7

5259

4

7889

1

1051

88

1314

85

1577

82

1840

79

2103

76

2366

73

2629

70

2892

67

3155

64

3418

61

3681

58

3944

55

4207

52

4470

49

4733

46

4996

43

5259

40

5522

37

5785

34

6048

31

6311

28 $-

$5,000.00

$10,000.00

$15,000.00

$20,000.00

$25,000.00

Preisentwicklung NoSQL DatenbankBeispiel Amazon DynamoDB(10.000 Write Units reserviert für 3 Jahre)





0

2629

7

5259

4

7889

1

1051

88

1314

85

1577

82

1840

79

2103

76

2366

73

2629

70

2892

67

3155

64

3418

61

3681

58

3944

55

4207

52

4470

49

4733

46

4996

43

5259

40

5522

37

5785

34

6048

31

6311

28 $-

$20,000.00

$40,000.00

$60,000.00

$80,000.00

$100,000.00

$120,000.00

$140,000.00

$160,000.00

$180,000.00

$200,000.00

Preisentwicklung NoSQL DatenbankBeispiel Amazon DynamoDB(inklusive Storage-Kosten)




Wie lassen sich Kosten sparen?

© Zühlke 2013

Kostenoptimierung durch geschickte Datenlogistik

Chancen und Risiken der Cloud | Alexander Appel

Dynamo DB

Table

Amazon Redshift

Amazon GlacierAWS Data Pipeline

EMR Cluster

Amazon S3

MS SQL


Widerspricht jedoch dem Datenlokalitätsprinzip!

ACHTUNG: Cloud-Vendor-Lock-In !

Wechsel zu preisgünstigeren Konkurrenten

nur noch schwer möglich.

Fühlen Sie sich wirklich wohl in einer solchen Abhängigkeit?

Was wenn der Cloud Anbieter Pleite geht?


Prototyp C:Einsatz geeigneter Open Source Produkte auf reinen Infrastruktur Services

Dispatcher Instances

Apache Hadoop Cluster

…

…

ElastiCache

Amazon Glacier

Amazon S3

MS SQLApache Kafka

Messaging

Twitter Storm Cluster

Apache Zookeeper

ELB



Prototyp C:Einsatz geeigneter Open Source Produkte auf reinen Infrastruktur Services

Dispatcher Instances

Apache Hadoop Cluster

…

Apache Zookeeper

ELB



0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 $-

$20,000.00

$40,000.00

$60,000.00

$80,000.00

$100,000.00

$120,000.00

Preisentwicklung InfrastrukturBeispiel Amazon EC2





0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 $-

$20,000.00

$40,000.00

$60,000.00

$80,000.00

$100,000.00

$120,000.00

Preisentwicklung InfrastrukturBeispiel Amazon EC2(mit reserved instances)





Überblick Preisentwicklung der untersuchten Lösungsvarianten

1 2 $-

$500,000.00

$1,000,000.00

$1,500,000.00

$2,000,000.00

$2,500,000.00

S3DynamoDBEC2



DevOps und IaaS‚Infrastructure-As-Code‘

• DevOps steht in erster Linie für die engere Kooperation zwischen Entwicklung und Betrieb in Software Projekten

• Zentrales Konzept ist die komplette Automatisierung von Infrastruktur und Softwarekonfiguration

• Tools wie Chef oder Puppet unterstützen Software Konfigurationsmanagement

• Wir haben gute Erfahrungen in Entwicklungs-projekten gemacht, auch außerhalb der Cloud

• Infrastruktur, die als Code vorliegt kann jeder Zeit wiederhergestellt werden

Das spart Kosten in der Cloud!7. November 2013 Folie 34


High Performance ComputingBeispiel Amazon EC2 Instanztypen

• General Purpose (m1.large)7.5 GB RAM 4 EC2 Compute Units (2 virtual cores)I/O Performance: Moderate

$ 0,26 pro Stunde

$ 4,90 pro Stunde

• High Storage (hs1.8xlarge)117 GB RAM35 EC2 Compute Units (16 virtual cores)I/O Performance: Very High (10 Gigabit Ethernet)24 x 2 TB dedicated hard drives

$ 2,36 pro Stunde

• Cluster GPU (cg1.4xlarge)22.5 GB RAM33.5 EC2 Compute Units (16 virtual cores)I/O Performance: Very High (10 Gigabit Ethernet)2 x NVIDIA Tesla M2050 GPU


Standardisierungsbestrebungen in Sachen Cloud Computing


Open Source Cloud Software und Schnittstellenstandardisierung

• Open Source Software für den Betrieb und das Management von IaaS Diensten

• Geeignet für den Betrieb von Public und Private Clouds

• Bieten eine Amazon EC2 und S3 kompatible API an (AWS ist de-facto Standard)

• Offener Cloud API StandardOpen Cloud Computing Interface



Cloud Computing hat Nutzenvorteile auch für Connected Products und Big Data Szenarien.

Geringe Anfangsinvestition und Skalierungsfähigkeit ideal für Prototyping und iteratives Vorgehen.

PaaS Angebote sind leistungsfähig und ermöglichen ein schnelles Time-to-Market. Bei großen Datenmengen

entstehen aber auch hohe Kosten und eine zunehmende Bindung zum

jeweiligen Cloud-Anbieter (Vendor-Lock-In).

Standardisierung bei IaaS am weitesten voran geschritten.

Im Zusammenhang mit DevOps bietet IaaS die höchste Flexibilität

in der Lösungsgestaltung und langfristigen Kostenoptimierung.7. November 2013 Folie 38

Alexander Appel [email protected]

mailto:[email protected]

http://de.linkedin.com/pub/alexander-appel/33/322/690

http://blog.zuehlke.com/big-data-der-geraete/

Chancen und Risiken der Cloud (BigData-Seminar)

Technology

Transcript of Chancen und Risiken der Cloud (BigData-Seminar)