In der IT ändere sich ständigalles, heißt es. Immerzu

kämen neue Sachen auf denMarkt, da könne man kaumnoch mitkommen, angesichtsder permanenten Entwicklun-gen. Das klingt zwar einleuch-tend, ist es aber nicht. Die Entwicklungen in der IT sind eigentlich Glieder einer langenKette von Verbesserungen endétail, da und dort.

Ein gutes Beispiel dafür istdas Storage Area Network(SAN). Die Idee, ein nur denSpeicheraufgaben gewidmetesNetz vom LAN oder WAN abzu-trennen, hatte etwas Beste-chendes, da bestehende Män-gel mit einem Schlag aus derWelt geschafft waren. So gutwie alle großen Unternehmenhaben seit Ende der 90er-Jahreein oder mehrere SANs aufBasis von Fibre Channel (FC)implementiert, und Experten,Analysten sowie die Fachpressewaren des Lobes voll. Da unddort drehten die Entwickler imLaufe der Jahre an ein paarStellschräubchen, aber dasPrinzip blieb überschaubar undletztlich unverändert.

FC-SANs gelten inzwischenals ausgereift und im Vergleich

zum klassischen LAN als ein-fach, weil mit weniger Trans-portdiensten und Konfigurati-onsoptionen ausgestattet. Dieshält die Zahl der möglichenFehlerquellen gering. Das SAN-Management selbst bestehthauptsächlich aus der Verwal-tung des Netzes, der FC-Swit-ches und der über sie erreich-baren Speichereinheiten.

Keine Frage desGeldesDass FC-SANs relativ viel Geldkosten, hat die großen Anwen-der und Early Adopters weniggestört. Sie konnten zudem indie notwendige Ausbildungihrer SAN-Fachleute investie-ren: „Die eigentliche Schwierig-keit bei einer FC-Implementie-rung liegt gewöhnlich in dergeringen Erfahrung der Server-und Netzwerkadministratorenmit dem Thema Datenspeicher.Und das, obwohl ein großer Teilder Investitionen der IT geradein diesen Bereich fließt. Immerwieder kann man feststellen,dass auf der Serverseite dieI/O-Last der Festplatten keineBeachtung findet und keinehistorischen Aufzeichnungen

I

Storage

WettrennenSpeichernetze und Ethernet – eine ambivalente Beziehung

Ist iSCSI wirklich billiger als Fibre Channel? Und sindFC-SANs wirklich zuverlässiger als iSCSI oder andereEthernet-SAN-Varianten? Bevor man sich in Details undunsinnigen Konfrontationen verliert, die nicht immer aufgesichertem Wissen beruhen, lohnt es sich, ein paarPrinzipien von Speichernetzwerken und ihrer Geschichtein Erinnerung zu rufen.

Storageextra

SAN – wie ausgereiftsind die aktuellenÜbertragungstechniken?Speichernetze und Ethernet – eine ambivalente Beziehung

Wettrennen Seite I

Was taugt Fibre Channel fürs SAN?

Nie am Ziel Seite VII

Vorschau

NetworkingVirtual Private Networks Seite VIII

Veranstaltungen30. August – 2. September 2010, San FranciscoVMworld 2010www.vmworld.com

12. – 14. Oktober 2010, KopenhagenVMworld 2010www.vmworld.com

26. – 27. Oktober 2010, Frankfurt am MainStorage Networking World 2010www.snweurope.net

26. – 27. Oktober 2010, Frankfurt am MainVirtualization World 2010www.virtualizationworld.net

26. – 27. Oktober 2010, Frankfurt am MainDatacenter Technologies 2010www.datacentertechnologies.net

iX extra

Storage zum Nachschlagen:

www.heise.de/ix/extra/storage.shtml

Ein

Ver

lags

bei

heft

er d

er H

eise

Zei

tsch

rifte

n Ve

rlag

Gm

bH

& C

o. K

G

sponsored by:

über den Verlauf der Last vor-handen sind.“ [1]

Noch heute, mehr als zehnJahre nach der Geburt von FC-SANs, erhält man auf die Fragenach Nachteilen dieser Technikmeistens nur eine Antwort: „Zuteuer“. Manchmal folgen noch„Komplexität“ und „Ausbil-dungsaufwand“. Bei der Fragenach der technischen Reife undStabilität von Fibre Channelverweisen die meisten auf denVergleich mit den Fähigkeitenvon Ethernet.

Schaut man zurück, botEthernet damals nur einenDurchsatz von 10 MBit/s, 100MBit/s oder 1 GBit/s, eingesetzthauptsächlich in der Open-Sys-tems-Welt, bei lokalen Desk-top-Anbindungen an zentraleServer und im Internet. Zu-nächst waren nur relativ weni-ge Mitarbeiter in solche Netzeeinbezogen. Was man beimbloßen Transport von Informa-tionen von A nach B zunächstnoch an geringer Geschwindig-keit und verzögertem Ankom-men am Zielpunkt hinnehmenkonnte, stellte sich als wesent-licher Mangel für den Transportvon Speicherdaten dar [2].Flow-Control-Mechanismenund garantierter Durchsatzwaren unbekannt, Latenz undProtokoll-Overhead zu groß.

Genau hier hat Fibre Channelseine Vorzüge. Es handelt sich

immer noch um eine Netzanbin-dung, aber sie ist in einen eige-nen Protokoll-Stack eingebaut,mit dem Resultat eines wesent-lich geringeren Overheads. Erverfügt über eingebaute FlowControl, sequenzielle Datenüber-tragung und kann Bandbreitengarantieren – ob Punkt zuPunkt, in einem Maschennetzoder einer Arbitrated Loop.

Ohne Zögern

Der wohl wichtigste Unterschiedzwischen dem Ethernet- unddem Fibre-Channel-Protokollliegt in der Latenz: In FC-SANssind Verzögerungen oder Wie-derholungen aufgrund von Pa-ketverlusten nicht tolerierbar,da sie Datenblöcke und SCSI-Befehle unmittelbar zwischenServerbetriebssystem undSpeichergerät transportieren.Peter Coleman, langjährigerStorage-Experte und ehemali-ger SNIA-Mitarbeiter – jetzt beiCompellent im Trainingsbereichtätig –, spricht in diesem Zu-sammenhang von der Erblastdes SCSI-Protokolls, das be-sonders empfindlich auf Verzö-gerungen reagiert. Sein eigenerBus beschränkte die Kabel auf-grund der Laufzeitunterschiededer parallel geschickten Bits zuBeginn auf sechs respektivedrei Meter. Man war allgemeinbegeistert, als es schließlich

SCSI-Kabel mit 12 oder 25 MeterLänge gab – in heutigen Unter-nehmensumgebungen schonlange nicht mehr vorstellbar.

Das SCSI-Erbe hatte Konse-quenzen für das Netzwerkkon-zept einer Shared-Bus-Infra-struktur, wie man sie zunächstfür FC-SANs vorsah: Wenn eineKommunikation zwischen zweiGeräten hergestellt war, verfü-gen sie über die ganze Band-breite mit garantierter Latenz.Genau dies braucht man, umeine eigene Netzwerkarchitek-tur für Speicherdaten aufzu-bauen: Man benötigt eine Kommunikationsinfrastruktur,die – sobald zustande gekom-men – durch keine andere Verbindung gestört wird. FibreChannel war hierfür die adäqua-te Lösung: Es bot eine sichereVerbindung und geringe Latenzauch bei größerer Distanz.

Brocade gilt als der eigent -liche Vertreter eines FC-SAN,der mit seinem OEM-Modellschließlich für dessen Durch-setzung am Markt sorgte. Aller-dings traf dies erst für die zwei-te Phase der SANs zu, da esBrocade um die Durchsetzungeiner Fabric ging – also einerSwitched Architecture. Zu-nächst stand erst einmal dieSAN-Variante Arbitrated Loopim Vordergrund. Hier waren vorallem zwei Hersteller involviert:Vixel (später von Emulex über-

nommen) und Gadzoox (spätervon Broadcom übernommen).

Der Normierungs-AusschussT10, der sich mit SCSI beschäf-tigte, und anschließend derT11-Ausschuss kümmertensich um eine Verbesserung derparallelen Architektur, indemman versuchte, SCSI-Komman-dos von der physischen Trans-portschicht zu trennen und sozu einer seriellen Architektur zugelangen. Neben Vixel und Gad-zoox engagierten sich hier IBM,Emulex, QLogic und JNI.

Weichenstellung für die ZukunftAls Brocade und andere zuihrer Markteroberung ansetz-ten, wollten die UnternehmenSwitch-orientierte Storage-Architekturen einsetzen, weilman mit den Verbindungen beiEthernet schmerzvolle Erfah-rungen gemacht hatte: vomkollisionsbeladenen Bus überebensolche Hubs zu Switches.Switched Ethernet war der Wegin die Zukunft, und jeder wollteihn gehen. Als Brocade, Ancoroder QLogic anfingen, überSwitched Fabrics zu sprechen,stießen sie schnell auf Zustim-mung, weil das Unabhängigkeitvon den Internet-Protokollenversprach. Gadzoox und Vixelvertraten dagegen den Stand-punkt, dass Arbitrated Loopnoch immer der bessere Wegsei, und niemand würde mehrals 126 Geräte in einem Spei-chernetz verbinden wollen. EinProtokoll-Kreuzzug begann.

Vor diesem Hintergrundsetzte sich schließlich Brocadedurch. Gadzoox verlor immermehr seiner OEM-Beziehungenmit Compaq, Data General oderDEC, und Brocade erobertenach und nach mit seinemOEM-Modell, dem Verzicht aufeinen eigenen Vertrieb, denMarkt für Switched Fabric aufBasis des FC-Protokolls. AlsGadzoox dann doch mit einemFabric-Switch herauskam, wares zu spät. Der Marktanteil warvon ursprünglich 80 auf 10 Pro-

II iX extra 8/2010

Storage

SAS – Serial Attached SCSI:Serieller SCSI-Nachfolger fürinterne und externe Massen-speichergeräte sowie für Back-planes. Für die externe Anbin-dung benötigt ein Server HBAs.Obwohl ursprünglich wie SCSIeine DAS-Architektur (DirectAttached Storage), lassen sichmit SAS-Switches inzwischenSpeichernetze realisieren, dieallerdings nur für Entfernungenvon ein paar Metern taugen.Replikation und Disaster Reco-

very sind deshalb nur in be -schränktem Umfang möglich.Dennoch zählen manche SASzu den SAN-Techniken.

IB – Infiniband:ˇAufgrundseiner hohen Geschwindigkeitund geringen Latenz wirddieses Protokoll bisher meis-tens im Server- und High-Per-formance-Computing-Bereich(HPC) eingesetzt. Durch denvergleichsweise geringen Preisist es gerade für die HPC-

Domänen Wissenschaft undForschung sowie für denöffentlichen Sektor geeignet.Sein direkter Speicherzugriff(RDMA) macht es auch für denBanken- und Healthcare-Sektorinteressant. Im Speicherbereichhat es bisher kaum Fuß fassenkönnen, obwohl die meistenInfiniband-Hersteller von Fibre-Channel-Anbietern gekauftwurden. Momentan krankt Infiniband an der mangelndenGlasfaser-Implementierung.

Aktuelle SAN-Techniken jenseits vonEthernet und Fibre Channel

Verkauf erfolgt ausschließlich an Gewerbetreibende, Firmen, Freiberufl er (Ärzte, Rechtsanwälte etc.), staatliche Institutionen und Behörden. Druckfehler, Irrtümer und Änderungen in Preis und Ausstattung vorbehalten. Unsere Versandkosten richten sich nach Gewicht und Versandart. Genaue Preisangaben fi nden Sie unter: www.thomas-krenn.com/versandkosten. Thomas-Krenn.AG, Speltenbach-Steinäcker 1, D-94078 Freyung

EU: +49 (0) 8551 9150-0 · AT: +43 (0) 7282 20797-3600 · CH: +41 (0) 848 207970www.thomas-krenn.com Made in Germany!

Überzeugen Sie sich vom SC846 Storage-Servermit NexentaStorTM Zertifi zierung

Server individuell konfi gurieren: www.thomas-krenn.com/sc846

UNIFIED STORAGE KOMPLETTSYSTEM

4.095,-SC846 STORAGE-SERVER+ NEXENTASTOR TM AB EUR

EINZIGARTIG

• Basierend auf Open Solaris und ZFS• Selbstheilendes Storagesystem• Einfaches Management über intuitive Weboberfl äche • Unübertroffene Datenintegrität und -konsistenz aufgrund des transaktionsbasierten Zugriffs• Perfekte Integration von SSD Technologie• Nahtlose Einbindung in VMware, XenServer und Hyper-V Umgebungen• Energiesparend dank Effi cientline Technologie

JETZT NEU! Flächendeckendes Händler- und Servicenetz in der Schweiz: www.thomas-krenn.com/ch

ix0810_x_000_ThomasKrenn.indd 1 30.06.2010 16:43:29 Uhr

IV iX extra 8/2010

Storage

zent zurückgegangen, und die Vorherrschaftlag nun bei Brocade und QLogic. Gadzooxwurde schließlich von Broadcom übernom-men, weil man dort an Teilen der Technik fürdie eigene HBA-Produktion interessiert war,während Vixel an Emulex ging. Eine weitereDynamik kam in den Markt, als Cisco be-gann, sich für FC-Switches zu interessieren.

Die große Masse der Anwender hieltsich anfangs auch deswegen zurück, weilvor zehn bis zwölf Jahren viele Begriffe und„revolutionäre“ Techniken herumschwirrten– es war die Zeit, als sich die Dotcom-Blase so richtig aufblies. FDDI sollte das In-ternet ersetzen, und ATM und Token Ringsollten die Netzwelt auf eine neue qualitati-ve Stufe heben. Keine der drei Technikenhat sich durchgesetzt, aber ein gewisserfader Nachgeschmack und eine Distanz gegenüber Neuem sind geblieben. Erst alssich anerkannte Player wie EMC, HP oderIBM auf die Seite von FC schlugen – undlangfristige OEM-Verträge mit Brocade ab-schlossen –, erfuhren Fabric-Architekturenoder SANs eine Art offizielle Anerkennung. Wartung und Service durch mindestenseinen der großen Anbieter, wie in diesen

Fällen angeboten, gehören zu den oft unter-schätzten, „weichen“ Entscheidungskrite -rium jenseits von Preisen oder technischerAttraktivität.

Im Schatten des Riesen

Die Stunde der FC-SANs kam nicht zuletztwegen der veränderten Anforderungen anSpeicherdaten und Netzwerk, ausgelöstdurch Business-kritische Applikationen. Wares zum Beispiel zu Beginn der 90er-Jahrenoch akzeptabel, wenn bei einer Publikums-bank ein Ausfall der IT drei Tage nicht über-schritt, so Coleman, erfordern heute elektro-nischer Aktienhandel oder Internet-Bankingeine wesentlich höhere Verfügbarkeit: Mehrals drei Stunden würden die Geschäftsbasisgefährden. Daten müssen in einer globali-sierten Wirtschaft nicht nur on-site repliziertzugänglich – meist in Form von Backup-Tapes, die aufwendig gesucht, gefundenund zurückgespielt werden müssen –, son-dern in mindestens zwei Rechenzentren pa-rallel abgelegt sein, damit man sie im Not-fall schnell von B nach A oder umgekehrtreplizieren kann. Und diese Anforderungen

erhöhten den Druck auf Latenzzeiten imNetz, nicht nur lokal, sondern auch bei WideArea Networks (WANs). Mit FC-SANs warzumindest für den Speicherbereich eineneue Stufe der Zuverlässigkeit erreicht.

Doch damit sind die Netzwerktechnikennoch nicht am Ende. Eher unbemerkt ange-sichts der schönen neuen Welt der FC-SANs hat sich eine Parallelwelt entwickelt,in der sich – zunächst in einigen Nischenangesiedelt – eine Alternative zum etablier-ten Fibre Channel entwickelte. Das mussnicht einmal, von den bereits erwähntenAnschaffungskosten abgesehen, etwas miteinem inhärenten Mangel des Fibre Chan-nel zu tun haben. Jedes IT-System oderjede IT-Technik weist im Laufe der Zeit irgendeinen Flaschenhals oder eine Be-schränkung auf oder kollidiert mit neuerenEntwicklungen – wie derzeit Fibre Channelmit der Server-Virtualisierung.

Man kann iSCSI als Versuch ansehen,das vorhandene Wissen über LANs auf dieKonstruktion und das Management von alternativen Speichernetzen zu übertragenund damit administrative Anstrengungen zureduzieren. Statt getrennter Netze – einstals Fortschritt gepriesen – sollte das vor-handene TCP/IP-Netz nun wieder gemein-sam genutzt werden: Neben und zusam-men mit der Kommunikation zwischenDesktops und Servern per Ethernet soll dieÜbertragung von Daten zwischen den Ser-vern und den Speichersystemen ablaufen.Doch ganz so einfach ließ sich das nichtumsetzen: „Die Erfahrung zeigt aber einanderes Bild: iSCSI setzt ein gut adminis-triertes TCP/IP-Netz voraus. In der Regelfordert der Server administrator mindestenszwei unabhängige Datenpfade zwischenSpeichersystem und Servern, die nicht mitdenen zwischen Clients und Servern kolli-dieren dürfen.“ [1]

Anfängerfehler mit Folgen

Des Öfteren haben Administratoren ver-sucht, das vorhandene Firmen-LAN für einiSCSI-Speichernetz samt Failover-Funktio-nen zu nutzen. Solche Versuche endeten im Desaster. Wichtig wäre es, nicht ein fach loszu experimentieren, sondern demSchichtenmodell zu folgen und zunächsteine unabhängige IP-Infrastruktur aufzu-bauen – also (wieder) ein eigenes Spei-chernetz aufzuziehen: statt auf FC- nun auf Ethernet-Basis. Dies dient dem iSCSI-Dienst und dem Speichermanagement ein-schließlich redundanter Kanäle und Multi-pathing. Der Installa tionsaufwand besteht

VOR- UND NACHTEILE DER ÜBERTRAGUNGSTECHNIKEN IM SAN

Protokoll Pro ContraFC –ˇdeterministisch; unter Volllast vor-

hersehbares Verhalten –ˇgarantierte In-order Delivery ohne

Verluste, d.ˇh. kurze Latenz und schlanker Transportlayer

–ˇhohes Ansehen bzgl. Stabilität

–ˇhoher Preis, teurer Support; deutlich geringere Stückzahlenals Ethernet

–ˇmehr zusätzliche Admin- Kom -petenzen (verglichen mit iSCSI)benötigt

iSCSI –ˇniedrigster Preis –ˇwenig Zusatzkompetenz neben

LAN-Administration notwendig –ˇKomponenten schon vorhanden

–ˇAntwortverhalten unter Volllast istschwer vohersagbar, IP und Ether-net sind undeterministisch

–ˇgenießt „Geht doch“-Ansehen bei Midrange- und Teillast-Servern,dadurch überzogene Erwartungen

–ˇQoS- und Cut-through-Switching-Weiterentwicklungen in Ethernetsind inkompatibel und wenig er-probt

FCoE –ˇverringert die Anzahl und Vielfaltan Netzwerkadaptern pro Server

– erhält bewährte FC-Paradigmen –ˇnutzt „verbessertes“ Ethernet

ohne Packet Drop etc. –ˇpseudodeterministisch

–ˇvorerst hoher Preis –ˇeine Vermengung von LAN-Back-

bone und SAN-Backbone ist nichtstabilitätsfördernd

–ˇConverged Ethernet ≠ Ethernet:Zusatzkompetenzen benötigt

Infiniband –ˇniedrigstmögliche Latenz beihoher Bandbreite (bis 96 Gbps)

–ˇelementar für Clouds und Gridsmit großen Netzen

–ˇkomplexe Kompatibilitätsmatrix –ˇgeringes Ansehen außerhalb von

Uni versitäten (nur in „embedded“Form akzeptiert, Vielfaltsproblem)

in solch einer Infrastruktur zweifach: inder Bereitstellung der IP-Infrastruktur undder Implementierung der Speichereinhei-ten. Zudem benötigt man mindestens 1 GBit/s schnelle Managed Switches mitFunktionen wie Jumbo Frames.

iSCSI eignet sich für wenig dynami-sche Netze und für solche mit wenigenSpeichereinheiten, also eher für mittel -ständische Unternehmen. Es umgehtzwar die Investition in teures Fibre-Chan-nel-Equipment, zieht allerdings einen hö-heren Aufwand bei der Konfiguration derTCP/IP-iSCSI-Netze nach sich, besonderswenn ein zweites, unabhängiges Ether-net-Speichernetz aufgebaut wird. Ein FC-Switch in kleineren Umgebungenlässt sich dagegen komfortabel wie eineMehrfachsteckdose betreiben.

Noch vor einigen Jahren bedeutetedas eine Reihe von Pluspunkten für FC,mit denen Ethernet nicht mithalten konn-te. iSCSI hatte zunächst eine Menge vonBeschränkungen, vor allem beim Over-head. Doch einige Entwickler konzen-trierten sich auf den Protokoll-Stack, und2004 kam es zu ersten Standardisierun-gen auf der Softwareseite. Viele Anwen-der nahmen iSCSI jedoch noch immer alsInfrastrukturvariante mit eigenen Netz-werkausgaben wahr, ohne auf die Proto-kollebene zu achten. Auch dies kann alsanfängliche Hürde im Durchsetzungspro-zess von iSCSI gesehen werden.

Mit dem Fortschreiten der x86-Pro-zessoren-Technik änderte sich die Verar-beitungszeit der in iSCSI notwendigenSoftwarebefehle: Sie lasteten die CPUsnicht mehr zu fast 80 Prozent aus wienoch in den Tagen von Pentium III oder IV,sondern vielleicht nur noch zu 20 Prozentwie heute bei Prozessoren mit 4 oder 8Kernen. Software-Implementierungen desiSCSI-Protokolls gewannen dadurch einegewisse Attraktivität. Hinzu kommt dieVerbreitung von 1-GBit- und 10-GBit-Ethernet, wobei sich weitere Geschwindig-keitszunahmen bis zu 40 oder 100 GBit/sabzeichnen, deren Durchsetzung abernoch einige Zeit dauern wird.

Leicht und schnell muss es seinInsofern ist klammheimlich eine Alterna -tive entstanden, deren Implementierungjedoch nicht automatisch günstiger aus-fallen muss – das hängt auch davon ab,ob ein iSCSI-Speichernetz wirklich kom-plett neu aufgebaut werden muss.

Eine weitere Neuerung etwa in dergleichen Zeit fand mit Infiniband statt:ein leistungsfähiges Transportprotokoll,das zudem Remote DMA (Direct MemoryAccess) beherrscht. Da die Herstelleraber noch immer zögern, statt derschweren, unflexiblen Kupferkabel (CX4)Glasfaser zu verwenden, hat Infinibandsich in die Nische des High PerformanceComputing zurückgezogen. Für diesenAnwendungsbereich existieren aber auchHigh Performance Storage Cluster, derenKnoten über Infiniband kommunizieren.

Allgemein ausgedrückt: Serielle Archi-tekturen mit hohen Takten setzen sich inallen Bereichen durch und beschleunigenden Datentransport. Je schneller man dieDaten aus den Geräten heraus ins Netztransportiert, desto wahrscheinlicherwerden auch die Bottlenecks dorthin ver-lagert und vom Netzwerk in die Sto rage-Systeme. Betrachtet man die Speicher-Arrays genauer, findet man auch dort einschneidende Veränderungen: Plattenmit höheren Umdrehungsgeschwindig-keiten von 10ˇ000 und 15ˇ000 U/min bishin zu SSDs (Solid State Drives), die biszu dreimal höheren Durchsatz liefern alsmechanische Festplatten. Damit die ein-zelnen, in den letzten Jahren performan-ter gewordenen Komponenten in denServer- und Speichersystemen ihre volleLeistung bringen können, brauchen sieein FC-Netz mit 8ˇGBit/s oder mehr.

Parallele Performance

iSCSI lebt von der Idee, SCSI-Befehlenicht über ein separates FC-SAN zu schi-cken, sondern sie in TCP/IP-Pakete zukapseln und in dieser Form über die bestehende Ethernet-Infrastruktur desUnternehmens zu schicken. FC als Zwi-schenträger entfällt in diesem Szenario.Doch die FC-Alternative kämpft prinzipiellmit einigen Schwierigkeiten: „Dabei darfman nicht vergessen, dass sich serielleSCSI-Varianten, ob übers Netz oder direktangeschlossen, an der letzten parallelenSCSI-Version messen lassen müssen:Deren 320 MByte/s entsprechen einemNettodurchsatz – ohne Overhead der darunterliegenden Protokolle – von 3,2 GBit/s über serielle Leitungen (mit8B/10B-Codierung).“ [2] Doch dürfteiSCSI von dem derzeitigen Übergang zu10-GBit-Ethernet und dem prognostizier-ten zu 40 GBit/s profitieren.

Übersehen darf man auch nicht, dassTCP/IP in Anlehnung an das ARPAnet des

iX extra 8/2010

Storage

ix0810_x_00_mit_Anz.indd 5 02.07.2010 17:18:38 Uhr

Pentagon für die Nachrichten-übertragung über große Stre-cken mit vielen Routern geplantwar. Auch Umwege waren ex-plizit vorgesehen. Dies schlägtsich bis heute in der verpflich-tenden Bestätigung jedes ein-zelnen Daten pakets nieder – mitder Folge einer systembeding-ten Grundlatenz und eines gro-ßen Overheads. SCSI selbst,das als Anwendungsschichtoberhalb des FC implementiertist, schickt oder holt auf Basisvon Befehlen Daten zu oder vonHosts und Speichergeräten.

Das Ein- und Auspacken der SCSI-Daten in TCP/IP- undEthernet-Pakete erfordert Re-chenarbeit, geht also zu Lastender CPU-Leistung. Die anfangspropagierten iSCSI-Hardware-Initiatoren, die die Packarbeit

an spezialisierte Chips aufHBAs delegieren, konnten sichnicht durchsetzen: Sie warenunzureichend ausgerüstet undkonnten leistungsmäßig nichtmit den von Cisco und Micro-soft propagierten Software -lösungen mithalten. Zudemnahmen die Serverherstellereine Integration dieser Softwarein ihre Betriebssysteme vor. FürCPU-Entlastung sorgen heuteeher TCP/IP-Offload-Engines.

Zu den weiteren Einwänden,die gegen ein Ethernet-gestütz-tes SAN erhoben werden, gehö-ren Verweise auf die Hacker-Anfälligkeit der LAN-Protokolle,die unterschiedlichen Qualitäts-anforderungen zwischen demClient/Server-Verkehr und demHost-Storage-Verkehr sowiedie Überprüfung der Kosten-

vorteile, die ein iSCSI-Netzbieten soll.

iSCSI-Platzhirsch Dell ist in-sofern in einer guten Position,als das Unternehmen mit demGestus auftreten kann, für alleKundenanforderungen etwasanbieten zu können: Wem iSCSInicht passt, dem kann man dieganze FC-SAN-Lösungspalettedes Partners EMC, die Dell in-zwischen sogar unter eigenemBrand vermarktet, zur Verfü-gung stellen. Natürlich fährtDell besser, wenn es die eige-nen iSCSI-Produkte mit einerselbst definierten Marge ver-kaufen kann, als wenn es diesemit dem OEM-Partner teilenmuss.

Zudem engagiert sich Dellstark im Bereich der Server-Vir-tualisierung. Beispielsweise

enthält die neue Firmware-Ver-sion 5.0 der EqualLogic-iSCSI-Systeme, die ab Sommer 2010ausgeliefert und allen beste-henden Dell/EqualLogic-Kun-den kostenlos zur Verfügunggestellt wird, außer neuenFunktionen für automatischesTiering mit SSD-Speicherme-dien sowie Funktionen für ThinClones spezielle Anpassungenan VMware („VM aware sto -rage“), die Dell zukünftig auchauf Citrix und Microsoft aus-dehnen will.

Fazit

Inzwischen haben sich die Fraktionen von Fibre Channelund iSCSI auf eine Art Arbeits-teilung geeinigt – iSCSI inmehr mittelständischen Umge-bungen ohne allzu hohe Ver-fügbarkeitsanforderungen, undFC für große Unternehmen mitgeschäftskritischen Anwendun-gen wie Oracle-Datenbankenoder Customer RelationshipManagement (CRM). FCoEsteckt noch immer mitten inden Standardisierungsprozes-sen, und von einem Druck derKunden, die unbedingt dieseneueste Variante eines „Con-verged Network“ haben wollen,ist weit und breit nichts zusehen. Bis jetzt ein klassischerFall von – herstellergetriebener– Paperware [3]. (sun)

Hartmut Wiehrist freier Journalist.

Literatur[1]ˇMario Vosschmidt, Hartmut

Wiehr; SAN; Gut eingebun-den; Speichernetze und ihreVerwaltungsinstrumente;iXˇ8/2008, S.ˇ122

[2]ˇHartmut Wiehr; Storage;Wenn das Gute so naheliegt; Speichernetze im LAN;iXˇ8/2009, S.ˇI

[3]ˇJoe Skorupa; Myth: A SingleFCoE Data Center Network= Fewer Ports, Less Com-plexity and Lower Costs;Gartner, März 2010

VI iX extra 8/2010

Storage

ANBIETER VON ETHERNET-STORAGE

Hersteller Produkt Website3PAR SAN www.3par.comAdvanced UniByte iSCSI-SAN, NAS www.advunibyte.deBrocade Switches, Ethernet-Komponenten (Foundry) www.brocade.comCisco Server, Switches, FCoE-Komponenten www.cisco.comCompellent SAN www.compellent.comCPI Storage, HBAs, Netzkomponenten www.cpigmbh.deDell Server, Storage, iSCSI www.dell.deEMC Storage, iSCSI, NAS www.emc.comEmulex HBAs, Switches, FCoE-Komponenten www.emulex.comEnhance Technology SAN, Netzkomponenten www.enhance-tech.comEUROstor Storage, iSCSI, NAS www.eurostor.comFujitsu Server, Storage, IP-SAN www.fujitsu.deHDS Storage, iSCSI, NAS www.hds.comHewlett-Packard Server, Storage, NAS, Netzkomponenten www.hp.comIBM Server, Storage, iSCSI www.ibm.comInfortrend Storage, iSCSI www.infortrend.comJuniper Netzkomponenten www.juniper.comLSI Storage www.lsi.comNetApp Unified Storage, NAS www.netapp.deNetgear Netzkomponenten www.netgear.comN-Tec iSCSI-SAN, NAS, Netzkomponenten www.ntecgmbh.deOracle/Sun Server, Storage www.oracle.comOverland Storage NAS (Snap Server) overlandstorage.comQLogic HBAs, Switches, FCoE-Komponenten www.qlogic.comQuantum Storage www.quantum.comRaidSonic Storage, NAS www.raidsonic.destarline Storage, iSCSI, NAS www.starline.deThomas Krenn Server, Storage, Netzkomponenten www.thomas-krenn.comTIM AG iSCSI-SAN, NAS www.tim.detranstec Storage, NAS, Netzkomponenten www.transtec.de

Diese Übersicht erhebt keinen Anspruch auf Vollständigkeit.

Um die Eignung von FibreChannel bewerten zu

können, bedarf es zunächsteines kurzen Blicks auf das ursprüngliche SCSI-Protokoll.Entwickelt wurde das SmallComputer Systems Interfacezur Übertragung der Daten in-nerhalb eines Systems, genau-er zwischen der Zentraleinheitund dem peripheren Massen-speicher, etwa zwischen Mo -therboard und Festplatte. SCSIhat sich zunächst im Bereichder Unix-Betriebssysteme etab-liert. Mit Microsofts Einstieg indie Serverwelt folgten Imple-mentierungen für die Windows-Betriebssysteme. Die ange-schlossenen Geräte und HBAsbildeten immer eine abge-schlossene Umgebung. Somitwar es geradezu verführerischfür Hersteller, die eine oder an-dere Abweichung vom Standardbeziehungsweise eine eigeneInterpretation des Standards zuimplementieren.

Dass man eine Festplatteanfänglich zwar mit einem Be-triebssystem verwenden konn-te, nicht jedoch mit einem anderen, sollte angeblich fürStabilität sorgen, sicherte aberauch den Marktanteil gegen-über Konkurrenten. Der Grundfür ein solches Plattenverhaltenliegt in speziellen Protokoll-funktionen für Informationenund Statusabfragen im SCSI-Protokoll. Als Folge davon ver-langen einige Storage-Systemenoch heute für das Bereitstellen

von Volumes die Angabe desBetriebssystems.

Wollte man also einen allge-meingültigen Standard schaf-fen, wurde man gleich mitmehreren Herausforderungenkonfrontiert. Sie betrafen unteranderem Durchsatz, Restriktio-nen der Leitungslänge, redun-dante Anbindungen und dasZusammenspiel mehrerer Initiatoren und mehrerer Gerä-te/Ziele in einer Umgebung.Ausgangspunkt dafür waren diephysischen Übertragungsmög-lichkeiten. Um die bisherigeVerzahnung von physischem Interface und Protokoll zu ent-zerren und die Entwicklung zubeschleunigen, führte man ent-sprechend dem OSI-Modell einSchichten-Modell ein. JedeSchicht ist dabei separat mit sämtlichen Varia -tionen definiert. Darin ersetztFibre Channel „nur“ die Physi-cal und Signalling Layer desSCSI-Protokolls, während SCSInoch immer den Upper Layerbildet.

Verwöhntes SCSI

Die Unabhängigkeit der einzel-nen Layer bei Fibre Channel er-möglicht auch heute noch eineinfaches Upgrade, etwa aufder physischen Schicht FC-0:Durch Austausch der SFP-Transceiver (Small Form-FactorPluggable Interfaces) und Glas-fasern kann man sehr einfachvon Multimode auf Singlemode

wechseln und damit die mögli-che Entfernung von wenigenHundert Metern auf bis zu über100 km erhöhen. Für solch ex-treme Entfernungen ist danndie Bereitstellung von speziel-len Buffern vorausgesetzt.

In Bezug auf eine zuverlässi-ge Übertragung sind die höhe-ren Ebenen des SCSI-Protokollsausgesprochen verwöhnt. Aufeinem SCSI-Bus gab es kaumBitfehler – entweder der Busfunktionierte oder man tausch-te die Komponenten: Ab-schlusswiderstand, Kabel, Plat-ten, HBAs. Es konnte auchkeine Rahmenüberholungengeben – es gab ja nur einenWeg vom Master zu den Slaves.Und das wichtigste: Jeder„Slave“ hatte nur einen „Mas-ter“. Somit war das SCSI-Proto-koll auf Effizienz getrimmt:schnelle Verschiebung von ge-speicherten Blöcken, maschi-nennah und in State Machinesimplementiert. Fehlerbehand-lung und Reaktionen auf Bitfeh-ler sollten die Ausnahme blei-ben. Eine Bitfehlerrate von 10-12 ist im Standard verankert– das entspricht aber immerhineinem Fehler etwa alle 17 Mi-nuten bei einer Übertragungs-geschwindigkeit von 1ˇGBit/s.Die Retransmission Timeoutssind im SCSI-Protokoll mit biszu 60 Sekunden implementiert.Wer will schon jede Viertelstun-de einen „Freeze“ in seiner Ap-plikation von bis zu einer Minutehaben? Daher gilt als Best-Prac -tice-Empfehlung eine Bitfehler-rate von weniger als 10-15 undsomit etwa alle 11,6 Tage.

Die Hürde der Bitfehlerratehaben die Entwickler genom-men, und ein höherer Durch-satz, mehrere Initiatoren sowieredundante Anbindungen eröff-nen der Open-Systems-Weltnun weitere Möglichkeiten,etwa ein einfacheres Clusteringvon Servern, Spiegelung vonDaten oder Verteilung über Gebäudegrenzen hinweg.

Die ursprüngliche FibreChannel Arbitrated Loop hatschon viele bis dahin gültige

Einschränkungen überwunden.Ein Vergleich mit FDDI (FiberDistributed Data Interface) lässterahnen, dass Fibre Channelden „Lichtwellenleiter-Metro-Ring“ nicht nur bei den Funk-tionen beerbt hat, sondern wohleinige FDDI-Entwickler direktbeteiligt waren. Mit der Konse-quenz, dass FC mit seiner Zu-verlässigkeit nicht nur SCSItransportieren kann, sonderndarüber hinaus weitere Upper-Layer-Protokolle definiert. Bei-spielhaft sei hier das Virtual In-terface erwähnt, welches etwazur Steuerung von Waffensyste-men in der Luftfahrtindustrieeingesetzt wird.

Höher, schneller,weiterDer Trend zu immer mehr Spei-chersystemen und Servern ineinem Speichernetz hat dannzur Entwicklung der SwitchedFabric Topology geführt. Dabeischielten die Entwickler durch-aus auf die Erfolge des Ether-net, doch galt weiter die Her -ausforderung, dass keineFrames in der Fabric verlorengehen sollen. Nimmt man dieseTopologie mit ihren Besonder-heiten ernst, trifft eigentlich dashäufig genutzte Synonym SAN,also Storage Area Network,nicht zu. Eine FC-Fabric ent-spricht eher einem verteiltenPunkt-zu-Punkt-System undnicht einem Netz im klassi-schen Sinne. Die Übertragungvon Rahmen durch eine Fabric,frei von Frame-Verlusten, ohneFrame-Überholungen, gleichbe-rechtigt für alle Teilnehmer mitTransferzeiten im Mikrosekun-den-Bereich, stellt bis heute dieHerausforderung dar, die SCSImit auf den Weg gibt. EineHürde, die auch FCoE zu neh-men hat, wenn es erfolgreichsein will.

Darüber hinaus gibt es beiFC sinnvolle Features, die diegegenwärtige Aktualisierungdes Standards nicht überlebenwerden. Von den Class of Services, die maßgeblich das

iX extra 8/2010 VII

Storage

Nie am ZielWas taugt Fibre Channel fürs SAN?

Rechenzentren setzen meist Fibre Channel alsProtokollstandard zur Kommunikation zwischen Servernund Storage-Farmen ein. Weiterentwicklungen undneue Standards wie Fibre Channel over Ethernet bieteneine gute Gelegenheit, einen Blick auf die Entwicklungvon Fibre Channel zu werfen.

Buffer Management in der Fabric beschreiben, wird derClass of Service 1 demnächstentfallen. Dabei garantiert gera-de dieser Class of Service einebestimmte Bandbreite End-to-End. Aber die Implementierunghat sich als zu aufwendig her -ausgestellt. Einzig der vonBroadcom 2003 aufgekaufteHersteller Gadzoox Networkshatte sie in die Praxis umge-setzt.

Seither haben sich die An-forderung an das Design mo-derner FC-Fabrics geändert. Beider Entwicklung von FC hat wohlkaum jemand an Fabrics mitEntfernungen von über 100 km,mit über 1000 Ports und meh-reren 10ˇ000 Zonen gedacht.Außerdem sollen noch „alte“Server mit 1 GBit/s schnellenPorts über 16 GBit/s schnelleISLs (Inter-Switch-Links), wiesie für dieses Jahr angekündigtsind, auf Storage-Systeme mit8ˇGBit/s zugreifen können. Un-geklärt ist auch, ob man wirk-lich alle neuen Features undGeschwindigkeiten braucht.

Aus der Sicht des Trouble -shooting für FC-SAN-Umgebun-gen stellt sich hier die Frage, obnicht zunächst ein anderer Typvon Evolution vonstatten gehenmuss. Dabei muss man sichFolgendes klar machen: In denAnfängen des Ethernets hatsich kaum jemand um die Pro-tokolle selbst gekümmert –wenn das „Netzwerk“ mal wie-der Schuld war, wurden erstmal die Abschlusswiderständegetauscht, die Verkabelung ge-prüft, einzelne Stationen vomNetz getrennt, um auszuprobie-ren, ob es dann wieder funktio-niert. Doch nach und nachwaren die Administratorendiese umständlichen Prozedu-ren leid und wollten wissen,was tatsächlich in ihrem Netzpassiert. Praktische Folge: Ka-beltester, Protokoll-Analysato-ren und Monitoring-Systemegehören heute zur Standard-ausstattung der Netzwerkabtei-lungen – viele Unternehmenveranschlagen in ihrem Budget

sogar etwa zehn Prozent expli-zit für solche Zwecke.

Trial and Error

Im SAN dagegen herrschennoch immer Trial und Error, wiein reinen SCSI-Zeiten. Dochdies ist in den komplexen SAN-Umgebungen von heute nichtmehr zeitgemäß. Kaum ein Ap-plikationsverantwortlicher kanndie I/O-Last im SAN auch nurannähernd benennen, ge-schweige denn voraussagen.Der SAN-Administrator ist aufseine Erfahrung und auf seine„hellseherischen“ Fähigkeitenangewiesen. Viele Problemewerden mit überdimensionier-tem Durchsatz und teuremOver-Provisioning erschlagen.

Andersherum sorgt die Ser-ver-Virtualisierung durch ihreKonsolidierung für neue Eng-

pässe. Die Tatsache, dass einphysischer Host in einer virtua-lisierten Umgebung die Res-sourcen für ein ganzes Bündelvon Servern und ihren Anwen-dungen zur Verfügung stellenmuss, erschwert Vorhersagenzur I/O-Last immens. Bei einerUmstellung auf virtuelle Servergreifen dann auch die Erfahrun-gen der SAN-Administratorennicht mehr.

Die Undurchsichtigkeit imSAN könnte dazu führen, dassmancher iSCSI dann doch fürdie bessere Wahl hält. Doch imLAN hört das Management beider TCP-Ebene auf, oberhalbder TCP-Ebene sind allenfallsnoch die Firewall-Administrato-ren aktiv. Den Block-I/O auf dasLAN zu verschieben, behebtnun mal nicht die mangelndeTransparenz im SAN. Zwarexistieren Protokoll-Analyser

für FC-Netze, doch sind siekostspielig und in SAN-Etatsnicht vorgesehen.

Integrierte Analysefunktionenauf Serverseite, in der Fabricund auf den Storage-Systemenliegen noch weit hinter dem zu-rück, was in den IP-Wolken zumStandard gehört. Wie soll ein er-folgreicher Umstieg auf FCoEfunktionieren, wenn nicht einmaldie bisherigen FC-Implementie-rungen bis in die Details ver-standen werden, und SAN-Ad-ministratoren nicht wissen, wasin ihren Fabrics passiert? Andiesem Punkt sind die Herstellervon SAN-Equipment gefordert,mehr Funktionen zur Überwa-chung und Analyse über stan-dardisierte Schnittstellen zurVerfügung zu stellen. (hw/sun)

Jan Bartelsist Geschäftsführer der

Men@Net GmbH.

VIII iX extra 8/2010

Storage

Das Kommunikationsaufkom-men zwischen Unternehmens-standorten sowie Firmen undihren mobilen Mitarbeiternwächst rasant – und damit auchdie Notwendigkeit sicherer Da-tenverbindungen. Virtual PrivateNetworks (VPN) ermöglichen densicheren Zugriff aus dem Inter-net auf das Firmennetz oder dieVerbindung von Firmenstand -orten über öffentliche IP-Netze. Mit IPSec-, SSL- oder MPLS-VPNs stehen dafür unterschiedli-che Varianten beziehungsweiseTechniken mit jeweils spezifi-schen Stärken zur Verfügung.

VPNs spielen aber nicht nur im Unternehmenseinsatz eineRolle – auch für den privatenNutzer werden sie immer inte-ressanter, und etliche Heimrou-ter verfügen mittlerweile überentsprechende Funktionen.

Häufig wird die VPN- Funk -tion direkt in Router oder Fire-walls integriert. Aber auchHardware-Speziallösungen –sogenannte Appliances – undreine Softwarelösungen findensich am Markt. Der Anwenderhat somit die Möglichkeit eige-ner Installation (Customer-ma-naged), kann jedoch auch VPN-

Dienste vom Service-Provider(Provider-provisioned) in An-spruch nehmen.

iX extra 09/2010 erklärt dieGrundlagen, erläutert die Unter-schiede der möglichen Sicher-heitstechniken und gibt einenÜberblick über verfügbare Hard-ware- und Softwarelösungensowie über VPN-Serviceange -bote. Marktübersichten von Anbietern von VPN-Hard- und -Software sowie von VPN-Ser-vices runden das iX extra ab.

Erscheinungstermin: 19. August 2010

In iX extra 09/2010Networking – Virtual Private Networks

DIE WEITEREN IX EXTRAS:

Ausgabe Thema Erscheinungstermin

10/10 Embedded Systems SE für Automotive Computing 23.09.10

11/10 IT-Security Virenscanner gegen Malware-Trends 21.10.10

12/10 Storage Storage as a Service – Archivierung, 18.11.10Dokumentenmanagement und mehr