Rechenzentrum für GSI und Alice-Tier-2

Rechenzentrum für GSI und Alice-Tier-2

Ein neuer Raum undneue Infrastruktur

Rechenzentrum für GSI und Alice

• Motivation• Historie• Planung• Bau und Inbetriebnahme• Zukunft• Aktuell

28.10.2008 2IT-Palaver - Helmut Kreiser / IT

Motivation• RZ – 1 (altes Rechenzentrum)

– historisch, ausgelegt auf Mainframes– räumlich sehr eng aufgestellte Rackreihen– Racks nicht tief genug– elektrische Versorgung 180 KW USV- plus Normalnetz– Kühlung und Klima modernisiert

• max. 150 KW (180 KW) durch Umluftkühlgeräte• Beschluss

– nur zentrale Server und Services– Netzwerk- und backbones– Mass-Storage und Tape-L-ibrary‘s

28.10.2008 IT-Palaver - Helmut Kreiser / IT 3

Motivation

• Suche nach neuen Räumlichkeiten für „Number Cruncher“– GSI– Alice– FAIR



• Betriebsgebäude Raum BG.2.009– großer Raum, Klimaanlage, Doppelboden– aber auch

• Gebäudeleittechnik• FRS-Werkstatt und Lagerplatz• Strahlenschutz-Cave• Strahldiagnose und Betrieb• UHV• ET (zentrales Not-AUS)• B - RZ (Netzwerk-Knotenpunkt für FAIR)

Historie

Historie

• letzter freier Platz genutzt• Aufstellung von 7 Racks mit 180 Rechnern• 65 KW Stromverbrauch, luftgekühlt

– Klimaanlage ausgelastet– „Sauna-Feeling“– Laut– an „Not-Aus“ gekoppelt

• neues RZ - 2


Planung• GSI hat durch MoU Rechenkapazität für Alice

zugesagt (Alice-Tier-2 Rechenzentrum)• Anfang 2008 zusätzliche Gelder für das GSI

Alice-Tier-2 RZ angekündigt (500 K€)• März: Erstellung einer Konzeptstudie

– wassergekühlte Umluftracks– neu strukturierte Stromversorgung– 40 Racks mit ca. 500 KW– notwendige Infrastruktur– Kosten


Planung• April: Konzeptstudie (Rittal-System)

– 500 KW – Anschluß an zentrale GSI-Kälte

• Wärmetauscher– Pufferspeicher (Wasserkreislauf)– zusätzliche Kühleinheiten (Chillars) als Notkühlung– neue Verrohrung– USV für Kühlagreggate und Pumpen– Normalnetzversorgung der Rechner– Statik der Decke überprüfen (750 kg/qm)

[ 40 x 13 kg (1HE) + 150 kg Rack = 670 kg/0,6 qm ][ Blade-Center: 4 x 185 kg + Rack = 890 kg/0,6 qm ]


Warum Rittal-System


• Racks vorhanden• sehr modular• Kühleinheiten modular (LCP)

– stehen neben den Racks– kein Wasser innerhalb eines Racks– Steuerelektronik (Wasserdurchfluß, Lüftersteuerung)– 30 KW Kühlleistung pro LCP– redundant, kühlen in beide Richtungen– horizontaler Luftstrom über die

gesamte Höhe

Planung

• 1. Ausbaustufe– 8 Racks (120 x 60 cm)– 8 LCP (Liquid Cooling Package – Kühlmodule)– Powerversorgung ca. 140 KW– neue NSHV (500 KW + Strom für Kühlaggregate)– Power Distribution Rack (10 x 120 qmm Kabel)– Stromschienen in den Racks ( 2 x 96A/Rack)– Kühlung

• Verrohrung für 16 Racks (1 Reihe)• Wärmetauscher (6 12 Grad)

– Leckage-Warnanlage (Racks und Verrohrung)– Rauchfrüherkennung (geschlossene Racksysteme mit Umluftkühlung)


Bau und Inbetriebnahme• LITCOS: Planung und Durchführung des 1. Abschnitts• GSI:

– NSHV und Stromversorgung bereitstellen– Projekt überwachen– Fläche bereitstellen

• Verschiebung/Reduzierung der FRS-Werkstatt (Temporär)• Umzug Doku-Schränke MSR• Auflösung Strahlenschutz-Cave mit Teilumzug in einen

Dokumentationsraums• Vorbereiten des Raumes für SiSt• Verschließen mehrerer Deckendurchbrüche


Zeitablauf• Anfang 2008: Gelder wurden angekündigt• März: Konzeptstudie erstellen• April: Konzeptstudie vorgestellt• Mitte April:

– LoI zur Auftragsvergabe– Gespräche zur Flächenbereitstellung und Nutzung

• Mitte Mai: Auftragsvergabe• Mitte Mai: Fläche war geräumt und bereitgestellt• Mitte Juni: Beginn der Aufstellungsarbeiten• Ende Juni: Abschluß der Arbeiten• 7. Juli: offizielle Übergabe• 10. Juli: Inbetriebnahme der neuen Infrastruktur• 14.-16. Juli: Umzug der Rechner in die neuen Racks durch IT• 17. Juli: Einschalten aller Systeme• ab 18. Juli: Schrittweise Inbetriebnahme der Rechner


Bauphase


Inbetriebnahme

• Umzug von 250 Rechner– 160 im RZ – 2 (aus luft- in wassergekühlte Racks)– 60 aus dem RZ – 1

• in 3 Tagen durch IT selbst durchgeführt• Im August: Einbau von 7 Blade-Center für

zusätzliche Alice-Rechenkapazität• pro Rack auf 40 HE Rechner installiert• Stromverbrauch+Kühlung: 120-130 KW (Spitze)


Umzug


Blades


was wurde erreicht• 8 Racks für Computing komplett voll• ca. 120 – 130 KW Input elektrischer Leistung• Kühlungsinfrastruktur unabhängig von vorhandener Klimaanlage

• leise• ausbaufähig auf 16 Racks ohne Aufwand

– ca. 250 KW Input elektrischer Leistung– Vollausbau mit weiterer Verrohrung (zusätzliche Investitionen)

• Luft-Kühlungstemperatur 20 C, bei ca. 15 Grad Temperaturdifferenz zwischen vorne und hinten in den Racks

• bisher störungsfreier Betrieb der Kühleinheiten und Rechner• Kosten:

– Infrastruktur ca. 300 K€– zusätzliche Rechner: ca. 200 K€


Zukunft


• weitere Gelder für Alice-Tier-2 in Aussicht• 3 weitere wassergekühlte Racks• Erweiterung der Mittelspannungsanlage (20 KV) in 2008/2009• eigener Trafo (1 MW) in 2009

– 500 KW für Rechner– Kühlungsinfrastruktur

• Mittelfristig:– USV (für Kühleinheiten)– Ausbau auf ca. 30 Racks in 2 Reihen– 3. Reihe wäre möglich

Status


Aktuell• Ausfall der Rechner im RZ – 2

– Abschaltung der Kühlwasserversorgung– Abschaltung der Stromversorgung

• RZ – 2 hat aus Geldmangel keine Notkühlung– Vorschlag Konzeptstudie: GSI-Kühlung nutzen, eigene

Chillars und Pufferspeicher als Notkühlung• RZ – 2 hat keine USV-Versorgung

– geplant: nur für Kühlungsinfrastruktur und Netzwerk• RZ – 2: keine temperaturgesteuerte Durchflußregelung

des Primärwärmetauschers– Abschalten/Anschalten größerer Stromleistungen– Einfluß auf Kühlkreislauf der GSI


Rechenzentrum für GSI und Alice-Tier-2

Documents

Transcript of Rechenzentrum für GSI und Alice-Tier-2