1.3.2005 Speichersystemkonzept Uni HD und MA 1

Neues Speicherkonzept der Universitäten Heidelberg und Mannheim

Rolf Bogus, Gerhard Rathmann

Dr. Werner Aufsattler

Rolf.Bogus@URZ.Uni-Heidelberg.DE

Gerhard.Rathmann@URZ.Uni-Heidelberg.DE

Werner.Aufsattler@RZ.Uni-Mannheim.DE

1.3.2005 Speichersystemkonzept Uni HD und MA 2

Übersicht

• Situation vor Realisierung des Speicherprojektes

• Ziele der Speicherkonsolidierung

• Beschaffte Geräte

• Realisierung

• Erste Erfahrungen

• Ausblick

1.3.2005 Speichersystemkonzept Uni HD und MA 3

Situation vor Realisierung des Speicherprojektes - HD

• Direkt zugewiesene Speichersysteme bei allen Servermaschinen:– Sun-Server für Netzdienste mit SUN-Raidsystem

(Raid 5 mit Hotspare), zusammen etwa 0,5 TB– IBM-AIX-Server für Datensicherung mit IBM SSA-

Plattensystemen, für AFS-Fileservice mit Comparex-(Hitachi)-Raidsystemen und für Mail mit IBM-SCSI-Plattensystem, zusammen etwa 2,5 TB

– Windows-Fileservercluster mit Infortrend IDE-Raidsystem, 0,5 TB

1.3.2005 Speichersystemkonzept Uni HD und MA 4

Situation vor Realisierung des Speicherprojektes - MA

• Mit HBFG-Antrag 2002 realisiertes zentrales HP-Speichersystem XP1024– Sieben AFS-Fileserver unter Linux mit

doppelter FC-HBA-Anbindung an XP1024– An XP1024 angebundene Servermaschinen– 2 Brocade 16-Port-SAN-Switche– Für jeden Fachbereich eigenes

„Koppelsystem“ (Samba-Gateway)

1.3.2005 Speichersystemkonzept Uni HD und MA 5

Situation vor Realisierung des Speicherprojektes - Übersicht

1.3.2005 Speichersystemkonzept Uni HD und MA 6

Situation vor Realisierung des Speicherprojektes - Probleme

• Probleme in Heidelberg:– Speichersysteme bei manchen Servern voll belegt,

bei anderen noch Kapazität frei– Umverteilung von Speicherplatz bei direkt

angeschlossenen Speichersystemen unmöglich– hoher Betreuungsaufwand durch 9 verschiedene

Speichersystem-Modelle– Nutzer haben unterschiedliche Benutzerverzeichnisse

auf Windows- und auf Unix-Systemen

• Probleme in Mannheim:– Keine synchrone Spiegelung wichtiger Daten

1.3.2005 Speichersystemkonzept Uni HD und MA 7

Ziele der Speicherkonsolidierung

• Vereinfachung der heterogenen Landschaft• Flexibilisierung durch zentrale Speicherzuteilung• Erhöhung der Datensicherheit• Geringerer Managementaufwand• Zusammenlegung von Windows- und Unix-

Dateiservice• Synchrone Datenspiegelung für hochwichtige

Daten

1.3.2005 Speichersystemkonzept Uni HD und MA 8

Beschaffte Geräte in HD

• Speichersystem HDS 9980V mit 14 TB Netto-kapazität

• HDS NAS-Gateway-Filer GF920c als ausfall-sicheres Clustersystem für Windows- und Unix-Fileservice

• CISCO SAN-Director MDS 9509 mit 64 2Gbit-SAN-Ports

• ADVA-Komponenten und HDS-Lizenzen für synchrone Datenspiegelung

• Erweiterung der USV, Steuerrechner, Zusatzserver, Datenkassetten zur Sicherung, …

1.3.2005 Speichersystemkonzept Uni HD und MA 9

Beschaffte Geräte – HDS 9980V

1.3.2005 Speichersystemkonzept Uni HD und MA 10

Beschaffte Geräte – NAS-Filer

1.3.2005 Speichersystemkonzept Uni HD und MA 11

Beschaffte Geräte – SAN-Director

1.3.2005 Speichersystemkonzept Uni HD und MA 12

Beschaffte Geräte – ADVA-Zusatz

1.3.2005 Speichersystemkonzept Uni HD und MA 13

Ausgetauschte Geräte in MA

• HDS Educational Fund ermöglicht Aus-tausch:– Speichersystem HP XP1024 (7 TB) ausge-

tauscht gegen HDS 9980V mit 11 TB Nettokapazität

– 2 Brocade 16-Port-SAN-Switches ausge-tauscht gegen CISCO SAN-Director MDS 9509 mit 64 2Gbit-SAN-Ports

– Garantieverlängerung der Speicherumgebung um fast drei Jahre

1.3.2005 Speichersystemkonzept Uni HD und MA 14

Realisierung - HD

• Einbau FC-HBAs in Server• Manuelle Datenmigration von direkt

angeschlossenen Raidsystemen in 9980V• Windows-Fileservercluster mit Secure Copy (Fa.

Small Wonders) in NAS-Filer kopiert• Inbetriebnahme der synchronen Spiegelung HD

– MA• Zuteilung von Speicherplatz des NAS-Filers an

Server ohne FC-HBAs

1.3.2005 Speichersystemkonzept Uni HD und MA 15

Realisierung - MA

• HDS 9980V parallel zur alten HP XP1024 aufgebaut, ebenso SAN-Director

• Die meisten Daten mittels AFS-Methoden („vos move“) umgezogen

• Server mit doppelten FC-HBAs benötigen Software von HDS anstelle von HP

1.3.2005 Speichersystemkonzept Uni HD und MA 16

Realisierung - Übersicht

1.3.2005 Speichersystemkonzept Uni HD und MA 17

Erste Erfahrungen

• SAN-Speicher ist ein Vielfaches schneller als die bisherigen lokal angeschlossenen Speichersysteme

• Doppelte FC-HBAs liefern nicht nur Redundanz, sondern auch Lastausgleich

• NAS-Speicher ist ein Vielfaches schneller als die bisherigen internen Platten

• HDS-Support ist ausgezeichnet

1.3.2005 Speichersystemkonzept Uni HD und MA 18

Ausblick - iSCSI

• Speicherplatz-Angebot an Institute für selbst betriebene Instituts-Server über das vorhandene LAN (iSCSI)

• Anfallende Kosten für Institute müssen noch zusammengestellt werden

• CISCO unterstützt dieses innovative Projekt mit einem entsprechenden iSCSI-Einschub für CISCO-Director

1.3.2005 Speichersystemkonzept Uni HD und MA 19

Ausblick - Serverkonsolidierung

• Beschaffung zweier IBM Bladecenter mit 15 Intel-Blades HS20

• Qlogic-SAN- und CISCO-Ethernet-Switche integriert

• Betriebssystem: Redhat Advanced Server• „SAN-Blades“: keine eigene Festplatte,

Booten aus dem SAN• „NAS-Blades“: eingebaute Festplatte mit

Betriebssystem, Daten im NAS-Filer

1.3.2005 Speichersystemkonzept Uni HD und MA 20

Ausblick – Datenbank-Cluster

• Test von Oracle Real Application Cluster Version 10g auf zwei Blades

• Gemeinsames Dateisystem: OCFS, (zertifiziertes) NFS oder ASM – Tests laufen noch

• Ausbau auf sechs bis acht Knoten geplant

1.3.2005 Speichersystemkonzept Uni HD und MA 21

Fragen?