ColdCon®Ein MEGWARE-Projekt am Leibniz-Rechenzentrum (LRZ) in Garching

Weltweit 1. direktwassergekühlter AMD-Cluster mit effizienter Abwärmenachnutzung

Jürgen Gretzschel – GeschäftsführerJörg Heydemüller – HPC Repräsentant

Unternehmensprofil• Gründung 1990 in Chemnitz / Sachsen

• 50 Mitarbeiter

• rund 550 installierte Hochleistungsrechner in Europa

• Universitäten, Forschungseinrichtungen, Wirtschaft als Auftraggeber

• MEGWARE Eigenentwicklungen im Hard- und Softwarebereich

MEGWARE Firmensitz mit Produktions- und Testcenter in Chemnitz 2

3

ColdCon® - ein MEGWARE-Projekt am LRZ Garching• ClustCool® = Kupferkühler auf allen elementaren Chipsätzen

• 178 ClustCool Dualserver AMD Opteron 6128HE – 8 Core CPUs, 2.0GHz

• 16GB RAM (1GB pro Server)

• diskless System / QDR-Infiniband-Netzwerk 40 Gbit/s

• ca. 1 Million € Auftragsvolumen

Wasserkühlung im Server Hochleistungsrechner „CooLMUC“ am LRZ

ColdCon® - ein MEGWARE-Projekt am LRZ Garching• direkte Wasserkühlung auf CPU und Chipsatz

• Transport von mehr als 75% der Wärme nach außen

• feste Verrohrung aus Kupfer

• kein Auslaufen möglich

• tropffreie Kupplungen

• einfache Wartung

• ∆T≈5K

Produktion der 178 Server

ColdCon® - ein MEGWARE-Projekt am LRZ Garching

Ein besonderes Dankeschön an Prof. Dr. Bode (Leiter des LRZ) undDr. Huber (Leiter der Gruppe Compute Server am LRZ)

ColdCon®- DirektwasserkühlungSicherheit

• Notkühler mit Wärmetauscher 30 kW Leistung

• mechanische Temperaturfühler (Unterverteilung)

• elektronische Sensoren (MEGWARE ClustSafe)

• Überwachung durch die MEGWARE ClustWare

Wasser in der IT – eine große Herausforderung

ColdCon®- DirektwasserkühlungEnergiebilanz

• 2 Lüfter mit 30W je Knoten ≈ 5 kW Einsparung

• Energieaufwand für Wasser unter 30 °C ↦ 1,46kWh/m3

• ∆T=6K, 45 kW Verbrauch ↦ 6,5m3 Wasser pro Stunde

• ≈ 9,4 kW Einsparung

Keine Lüfter in den Servern notwendig

ColdCon®- DirektwasserkühlungEnergiebilanz

• Lüfter zur Schrankkühlung pro Schrank 1,5 kW ≈ 4,5 kW Einsparung

• Energieaufwand für Kühlwasser über 30 °C ↦ 0,36 kWh/m3

∆T=6K, 45 kWh Verbrauch ↦ 6,5m3 pro Stunde

≈ 2,3 kW Aufwand

• Kühltechnik

2,4 kW Aufwand

Am Ende steht 55°C warmes Wasser zur Verfügung.

ColdCon®- DirektwasserkühlungAdsorption

• Energieaufwand 1,46kWh/m3

• ∆T=6K, 8 kW Verbrauch ↦ 1,15m3 pro Stunde

• ≈ 1,7 kW Einsparung

• ≈ 0,7 kW Aufwand

Eine Adsorptionsanlage erzeugt 11 kW Kälte zur Kühlung konventioneller IT-Technik.

ColdCon®- DirektwasserkühlungEnergiebilanz

• 5 kW+9,4 kW+4,5 kW+1,7 kW ≈ 20,6 kW Einsparung

• 2,3 kW+2,4 kW+0,7 kW ≈ 5,4 kW Aufwand

15,2 kW gesamte Einsparung

• 15,2 kW Einsparung

0,15 € / kWh über 5 Jahre

≈ 100.000 €Ein Mehraufwand, der sich lohnt!

ColdCon®- Direktwasserkühlung - Weiterentwicklung

• Weiterentwicklung der Wasserkühlung

• Erhöhung der Wärmeabfuhr innerhalb der Server von 75% auf 85%

• außerdem Nutzung energieeffizienter Komponenten,

z. B. energiesparende Speichermodule von Samsung

Erweiterung des CooLMUC bringt weitere Effizienzsteigerung

Vielen Dank!www.megware.com