26ict 7-8.2013

LSI Fellow Corporate

Strategy

Rob Ober

Infos zum Autor

In diesem Beitrag:g Der Aufbau von Mega-Datacentern

g Der Einsatz von SDN (Software Defined Networks)

g Was Unternehmen von Mega- Rechenzentren lernen können

g Wie Mega Datacenter Pionierarbeit leisten

Mega-Datacenter

Rechenze

ntren

Think big: Mega Datacenter ebnen Weg zu neuen IT-Infrastrukturen

Nur wenige Menschen dürfen sie betreten, aber

jeder Internetnutzer greift täglich auf sie zu:

Mega-Rechenzentren. Betreiber wie Facebook,

Google oder United Internet bieten über sie unzäh-

lige Internet-basierte Dienste an.

Bil

d:

Ric

k B

ow

me

r/A

P

27 ict 7-8.2013

Mega-Datacenter

Amazon und viele Wettbewerber ermöglichen

Unternehmen, über riesige Rechenzentren die

Vorteile von Cloud Computing zu nutzen.

Mega Datacenter (MDC) machen inzwischen 25 Pro-

zent des weltweiten Servermarkts aus und sind zu

einer treibenden Kraft für IT-Innovationen gewor-

den, da sie mit der explosionsartigen Datenzunahme

Schritt halten und sich rapide weiterentwickeln müs-

sen. Unternehmen orientieren sich daher an MDC

und wollen MDC-Architekturen für ihre eigenen

privaten Clouds, Computing-Cluster und Analyse-

anwendungen für Big Data nachahmen. Denn MDC

setzen die Massstäbe hinsichtlich Leistung, Kosten-

efizienz, skalierbarer Implementierungen und Um -

satz generierung aus Daten.

Anatomie eines MDC

Ein Teil des Geheimnisses ist, dass die Anatomie eines

MDC weniger komplex ist, als man annehmen könnte.

Grosse Betreiber verwenden nur eine Handvoll

unterschiedlicher Plattformen, die für unterschiedli-

che Aufgaben optimiert sind, wie Speicherung,

Datenbanken, Analysen/Suche/Graphenanalysen

oder Webserver. Die Grösse der Rechenzentren ist

kaum noch vorstellbar – MDC umfassen im Allgemei-

nen 200 000 bis 1 000 000 Server und 1,5 bis 10 Millio-

nen Laufwerke.

MDC-Server werden im Allgemeinen in grossen

Clustern von 20 bis 2000 Serverknoten verwaltet.

Abhängig von seiner speziellen Aufgabe, enthält ein

Server zum Beispiel nur Bootspeicher, nur direkt

zugeordnete Laufwerke oder nur durch RAID repli-

zierten Speicher für Datenbank- und Transaktions-

daten. Anwendungen führen die Rechenzentren auf

dem Cluster aus. Das heisst auch: Ein fehlerhafter

Knoten kann die Leistung des gesamten Clusters

beeinträchtigen. Wenn ein Server Probleme bereitet,

ist es oft der effektivste Weg, ihn vorläuig ganz abzu-

schalten, damit die übrigen 99  Prozent bei voller

Geschwindigkeit arbeiten können.

MDC-Betriebssysteme und -Infrastrukturen sind

Open-Source-Lösungen – und die meisten Weiter-

entwicklungen an MDC werden wieder der Commu-

nity zur Verfügung gestellt. Die Betreiber stellen ihre

Hardware oft selbst zusammen oder speziizieren sie

zumindest selbst. Da es sich bei MDC-Netzwerken im

Allgemeinen um statische Konigurationen handelt,

bei denen die Minimierung der Transaktionslatenz

im Vordergrund steht, verwenden MDC-Architek-

ten SDN-Infrastrukturen (Software Deined Net-

work), um die Leistung zu verbessern und die Kosten

zu senken.

Da MDC so riesig sind, benötigen sie eine «Lights-

Out-Infrastruktur». Das heisst, die Administratoren

haben nur vergleichsweise einfache manuelle War-

tungsaufgaben. Ansonsten hält die Infrastruktur mit-

hilfe von automatisierten Skripts selbst ihren Betrieb

aufrecht. Betreiber von MDC minimieren ihre Infra-

strukturkosten so weit wie nur möglich. Dies führt

dazu, dass MDC-Architekten alles eliminieren, was

nicht für die zentralen Anwendungen benötigt wird,

selbst wenn es kostenlos bereitgestellt wird. Ein

Rechenbeispiel: Wenn 200 000 Server je eine über-

lüssige LED aufweisen, sind dies 10 000 US-Dollar

unnötige Kosten für die LEDs und 26 000 Watt Ener-

gieverbrauch im Jahr. Das entspricht 26 Föhns oder

Wasserkochern, die rund um die Uhr laufen.

Homogenität ist alles

Was können Unternehmen von aktuellen Mega-

Rechenzentren lernen? Das Erste ist die Verwen-

dung homogener Infrastrukturen, die leicht zu war-

ten und zu verwalten sind. Investitionen müssen vor

allem in Optimierungen und Efizienz liessen. Über-

geordnetes Ziel muss es sein, die Kosten für Infra-

struktur und ihre Verwaltung und Wartung sowie für

Strom und Kühlung zu verringern und möglichst

stark automatisierte und skalierbare interne Verwal-

tung zu erreichen.

Eines der wichtigsten Infrastruktur-Subsysteme ist

der Speicher. Storage wirkt sich direkt auf die Anwen-

dungsleistung und Serverauslastung aus. MDC set-

zen Massstäbe dabei, Speicher zu optimieren, eine

Flut von Daten zu verwalten, einen hochverfügbaren

Betrieb sicherzustellen und gesetzliche Anforderun-

gen an die Aufbewahrung von Daten und den Stand-

ort der Datenspeicherung zu erfüllen. MDC nutzen

ausschliesslich Direct-Attached Storage (DAS), keine

SANs (Storage Area Networks) oder NAS (Network

Attached Storage). Der Grund: DAS ist einfacher

sowie günstiger in der Anschaffung und Wartung,

bedeutet weniger Latenz für den Prozessor und bietet

höhere Leistung.

Das Utah Data Center in

Bluffdale, Utah, in den

USA. Das Megaprojekt der

NSA (National Security

Agency), die aufgrund der

Datenspionage seit Wo-

chen die Schlagzeilen in

den Medien dominiert,

geht noch im Verlaufe des

Septembers 2013 ans Netz

und misst etwas weniger

als 100 000 Quadratmeter.

Damit wird es vorerst

das zweitgrösste MDC der

Welt werden.

Bil

d:

Op

en

Co

mp

ute

Pro

ject

Open Compute verspricht eine minimalistische, kosteneffektive,

leicht skalierbare Hardware-Infrastruktur für Rechenzentren

mit Computing-Clustern.

28ict 7-8.2013

Mega-Datacenter

Es wird immer wieder betont, dass viele Mega-

Rechenzentren ganz normale, handelsübliche Sata-

Festplatten und SSDs (Solid-State-Drives) für DAS

verwenden. Darüber hinaus stellen sie aber fast

immer eine SAS-Infrastruktur (Serial-Attached

SCSI) bereit, die auch Sata-Geräte unterstützt, um die

Gesamtleistung des Speichersystems zu verbessern

und die Verwaltung zu vereinfachen.

Bei der Bewertung von Spei-

cherlösungen haben

sich Unternehmen

lange auf IOPs und

MByte/s als wich-

tigste Messdaten kon-

zentriert. MDC-Archi-

tekten haben aber

erkannt, dass Anwendun-

gen, die IOPs auf SSDs for-

cieren, schnell an unüber-

windliche Grenzen stossen

– die Spitzenwerte liegen

häuig unter 200 000 IOPs –

und dass die Leistung in

MByte/s nur geringen Einluss

auf die tatsächlichen Antwortzeiten

hat. Was wirklich mit Anwendungsleis-

tung, erreichten Ergebnissen und Serverauslastung

korreliert ist, ist die I/O-Latenz. Genauer gesagt: Die

Latenzzeiten beim Schreiben haben massive Auswir-

kung auf die Datenbankleistung.

MDC erreichen hohe Leistungssteigerungen zu kon-

trollierten Kosten, indem sie mehr SSDs, SSD-

Caching oder beides implementieren. Die Lese-/

Schreib-Latenz für rotierende Festplatten liegt im

Allgemeinen um die 10 Millisekunden. Die durch-

schnittliche Lese-Latenz für SSDs hingegen liegt bei

etwa 200 Mikrosekunden und die Schreib-Latenz bei

etwa 100 Mikrosekunden – also nur bei einem Bruch-

teil der Zeit. Liegt der Flash-Speicher auf PCIe-Kar-

ten, reduziert dies die Latenz sogar noch weiter – auf

einige Dutzend Mikrosekunden. SSDs können Fest-

platten ergänzen, um die Anwendungsleistung und

die Anzahl unterstützter Benutzer zu verbessern. Im

Ergebnis bringen Server und Anwendungen die

vier- bis zehnfache Leistung als in klassischen Archi-

tekturen, wie sie bis heute in den meisten Unterneh-

men zu inden sind.

SSD cacht «Hot Data» am PCIe-Bus

SSD-Caching erreicht die geringste Latenz bei direk-

tem Anschluss an den PCIe-Bus eines Servers. Intel-

ligente Caching-Software stellt fest, auf welche

Daten Anwender oder Systeme am häuigsten

zugreifen oder welche in einem bestimmten Zeit-

raum am wichtigsten sind («Hot Data»). Geeignete

Systeme, beispielsweise von LSI, platzieren diese

Daten in Flash-Speicher mit geringer Latenz, auf den

die Anwendungen direkt zugreifen.

Einige Beschleunigungskarten mit Flash-Caching

unterstützen mehrere Terabytes SSD-Speicher,

sodass sie gesamte Datenbanken oder Working-Sets

als «Hot Data» zwischenspeichern können. Auf diese

Daten können die Anwendungen bei jeglichem

Work load schnell zugreifen. Weil der Weg der Daten

nicht über das viel langsamere Netzwerk führt, ist der

Datenverkehr auch nicht von Engpässen oder Verzö-

gerungen bedroht.

In Unternehmen geht es bei Entscheidungen zur Ver-

wendung von SSDs hauptsächlich um die Speicher-

ebene und die Kosten pro GByte oder pro I/O-Vor-

gang. SSDs sind ausserdem zuverlässiger, weniger

störend, leichter zu verwalten, schneller zu replizie-

ren und neu zu erstellen sowie energiesparender als

Festplatten. Die überlegene Leistung von SSDs

ermöglicht umfangreichere Ergebnisse mit weniger

Servern, Softwarelizenzen und Serviceverträgen,

sodass die Gesamtbetriebskosten gesenkt werden.

Pionierarbeit für das Rechenzentrum der Zukunft

MDC leisten Pionierarbeit. Sie entwickeln Anwen-

dungslösungen, die weit höher skaliert werden kön-

nen als jedes käuliche Produkt. Beispiele sind

Hadoop-Analysen und davon abgeleitete Anwen-

dungen sowie Clustersysteme für Abfragen und

Datenbanken wie Cassandra und Google Dremel.

Diese Anwendungen inspirieren mittlerweile auch

kommerzielle Lösungen.

Erste Initiativen versprechen, Architekturen, Kos-

tenvorteile und efiziente Verwaltung von MDC auf

den Markt für Unternehmen zu bringen. Zwei Bei-

spiele: Open Compute verspricht eine minimalisti-

sche, günstige, leicht skalierbare Hardware-Infra-

struktur für Rechenzentren mit Computing-Clustern.

Ähnlich verspricht Openstack-Software die automa-

tisierte, clusterbasierte Verwaltung von MDC auch

Über LSI und den Autor

Die LSI Corporation entwickelt Halbleiter und Software, um

Speicher und Netzwerke in Data-Centern und mobilen

Netzwerken zu beschleunigen (Infos: www.lsi.com).

Autor Robert Ober ist LSI Fellow Corporate Strategy und

treibt in dieser Rolle neue Technologien, Unternehmenskon-

takte und Produkte voran. Ober hat über 25 Jahre Erfahrung

in Prozessor- und Systemarchitektur. Vor LSI war Ober

Fellow im Büro des CTO von AMD. Auch Chief Architect bei

Infineon Technologies und Manager of Newton Technologies

bei Apple Computer stehen auf seinem Lebenslauf. Ober war

einer der Gründer des OLPC und ist ausserdem Vorstands-

mitglied des Opensparc.

Noch im Bau und ab

2016 im Einsatz: Chi-

nas Langfang Data-

center, das mit fast

600 000 Quadratme-

tern fast dreimal so

gross sein wird wie

das derzeit grösste

Datacenter, das

Switch Super NAP.

Wir s hafe Si herheit für Ihre Co plia e.Der S hutz Ihrer Date u d I for aio e ist u ser grosses A liege . Dafür setze wir u s ei , edi gu gslos; Tag für Tag.

Mega-Datacenter

Rechenzentren in Unternehmen zugänglich zu

machen. Dabei verwalten Rechenzentrumsbetreiber

Pools von Computing-, Speicher- und Netzwerkres-

sourcen automatisch – der Heilige Gral des Software

Deined Datacenter. Einige Rechenzentrums-Archi-

tekten vermuten, dass diese Lösungen die Gesamt-

betriebskosten um bis zu 70 Prozent senken können.

Ausserdem gibt es zurzeit eine MDC-Bewegung, die

sich bemüht, Server auf Rack-Ebene zu zerteilen. Die

Initiatoren wollen Prozessor, Arbeitsspeicher, Spei-

cher, Netzwerk und Stromversorgung voneinander

trennen und ihre Lebenszyklen separat voneinander

verwalten – auch dies, um mit weniger Budget mehr

Leistung zu erzielen. Indem sich IT-Architekten in

Unternehmen auf die Optimierungen auf Rack- oder

Rechenzentrumsebene konzentrieren statt auf die

herkömmlich betrachteten Kosten einzelner Kompo-

nenten, erhalten sie leistungsstärkere Systeme mit

geringeren Anschaffungs- und Verwaltungskosten.

Die heutigen Mega-Rechenzentren sind also das

Labor für die Entwicklung zukünftiger Unterneh-

mens-Rechenzentren. Sie sind treibende Kraft für

Innovationen, da sie immer weiter skaliert werden,

um der Datensintlut Herr zu werden. Zu den wich-

tigsten Prinzipien, die Unternehmen heute schon von

MDC übernehmen können, gehören Homogenität

der Systeme, Verwendung von DAS, Reduzierung

von Latenzzeiten und der Einsatz von SSD-Caching

auf dem PCIe-Bus. n

Das Switch Super NAP in Nevada ist mit über 200 000 Quadratme-

tern das derzeit grösste Mega-Datacenter der Welt. Switch Com-

munications betreibt insgesamt sieben Datacenters im Las Vegas

Valley, das als besonders sicher vor Naturkatastrophen gilt.

Bild: Switch

IPG AG

Technoparkstrasse 2

CH-8406 Winterthur

T +41 52 245 04 74

info@ipg-ag.com

www.ipg-ag.com

IDMIAMaaS RBAC AM/SSO PAM EDU

Wir s hafe Si herheit für Ihre Co plia e.Der S hutz Ihrer Date u d I for aio e ist u ser grosses A liege . Dafür setze wir u s ei , edi gu gslos; Tag für Tag.