White Paper...

IT-Klimatisierung

von Dipl.-Physiker Michael Nicolai White Paper 02

Copyright © 2005

All rights reserved.

Rittal GmbH & Co. KGAuf dem Stützelberg

D-35745 Herborn

Phone +49(0)2772 / 505-0Fax +49(0)2772/505-2319

www.rittal.dewww.rimatrix5.com

Rittal White Paper – IT-Klimatisierung 2

Inhalt

1 Executive Summary ................................................................................................3

2 Klima – Definitionen und Bedeutung für die IT ....................................................4 2.1 Verlustleistungen steigen permanent............................................................................4 2.2 Packungsdichte im Rack / on Board .............................................................................5

3 Klimatische Bedingungen für IT-Systeme ............................................................7

4 Luftkühlung und Optionen .....................................................................................8 4.1 Luftleistungen................................................................................................................9 4.2 Temperaturverteilung - ganzheitlicher Ansatz...............................................................9 4.3 Luftstrom und Ausrichtung ..........................................................................................10 4.4 Probleme der Luftführung mit Doppelböden ...............................................................10

4.4.1 Im Raum ............................................................................................................11 4.4.2 Im Rack..............................................................................................................13

4.5 Luft/Luft Wärmetauscher.............................................................................................14 4.5.1 Voraussetzungen für den Einsatz......................................................................14 4.5.2 Einsatzgebiete ...................................................................................................14

4.6 Luft/Wasser Wärmetauscher.......................................................................................14 4.6.1 Möglichkeiten.....................................................................................................15 4.6.2 Einsatzgebiete ...................................................................................................15

4.7 Besonderheiten der Luft/Wasser Wärmetauscher Rittal Liquid Cooling Package ......16 4.8 Kühlgeräte...................................................................................................................16 4.9 Vergleich des Leistungsspektrums unterschiedlicher Kühl-Lösungen........................17

5 Kühl-Lösungen für höchste Leistungen .............................................................18 5.1 CPU-Flüssigkeitskühlung............................................................................................18

5.1.1 Möglichkeiten.....................................................................................................19 5.1.2 Aufbau der Kühlkörper.......................................................................................20 5.1.3 Flüssigkeitskühlung im Überblick.......................................................................21 5.1.4 Rückkühler.........................................................................................................21 5.1.5 Besonderheiten..................................................................................................22

5.2 Leistungsfähigkeit der Kühl-Lösungen im Vergleich ...................................................22 5.3 Bewertung / Entscheidungshilfen................................................................................23

6 Regelung und Monitoring der klimatischen Bedingungen................................24

7 Autoreninformation...............................................................................................26

Seite 2/26


1 Executive Summary Die Klimatisierung von IT-Systemen ist entscheidend für deren Verfügbarkeit sowie Sicherheit und damit für den Geschäftsbetrieb – sie ist unternehmensrelevant! Die weiterhin steigende Integration und Packungsdichte bei Prozessoren und Computer/Server-Systemen verursacht Abwärmemengen, die noch vor wenigen Jahren auf so begrenztem Raum unvorstellbar waren. Schon ein Serverrack mit 30 Intel-Prozessoren modernster Prägung liefert eine Abwärme, die zum Betrieb einer Sauna ausreichend wäre! Je nach (Verlust-)Leistung der eingesetzten Rechner-Komponenten sind unterschiedliche Kühlungs-Lösungen auf dem Markt erhältlich – bis zur CPU-Flüssigkeitskühlung. Neben der verfügbaren Bandbreite der Klimatisierungs-komponenten ist deren Kompatibilität mit den eingesetzten Schrank/Rack-Systemen entscheidend. Optimale Systeme zeichnen sich neben der einfachen Nachrüstbarkeit unterschiedlichster Klimalösungen auch dadurch aus, dass sich alle Bestandteile ideal ergänzen. Auf diese Weise werden bereits getätigte Investitionen geschützt. Vervollständigt wird eine herausragende Lösung – neben der Planungs- und Implementierungskompetenz des Rack/Klima-Systemanbieters – durch umfassende Monitoring-Lösungen. Es ist unabdingbar, eindeutige Informationen darüber zu gewinnen, welche klimatischen Bedingungen im Rechenzentrum oder in einzelnen Racks herrschen. Die Lieferung von Racks, Klimatisierungskomponenten und in Management-Systeme integrierbaren Monitoring-Lösungen aus einer Hand bietet dem Kunden ein Höchstmaß an Zuverlässigkeit. Daneben zeichnet sich ein guter Systemanbieter auch dadurch aus, dass er Projektunterstützung von Anfang an bieten kann. So entstehen sichere Lösungen für einen gesicherten Geschäftsbetrieb.

Rittal RimatriX5 – Das sichere Rechenzentrum der Zukunft Ob kleines, mittleres oder großes Unternehmen –die Anforderungen an die IT-Performance steigen permanent. Hochkomplexe Anwendungen, schnellere Prozessoren, Information und Kommunikation rund um die Uhr verlangen mehr als eine intakte physikalische Infrastruktur. Mit RimatriX5 – Driving IT-Performance – bietet Rittal jetzt eine integrierte Gesamtlösung für hochmoderne Rechenzentren mit umfassendem Service und fünf perfekt aufeinander abgestimmten IT-Bausteinen: Rack, Power, Cooling, Security sowie Monitoring/ Remote Management. Damit erhalten Unternehmen eine Komplettlösung für eine sichere, verfügbare und kostensparende IT-Infrastruktur. Weitere Infos unter: www.rimatrix5.de

Seite 3/26


2 Klima – Definitionen und Bedeutung für die IT Klimatisieren steht für die gezielte Beeinflussung der Parameter

• Lufttemperatur

• Luftfeuchtigkeit

• Luftgeschwindigkeit und Strömungsrichtung

• Luftdruck

• Schadstoffgehalt und Schadstoffzusammensetzung Das Klima ist entscheidend für die Zuverlässigkeit und damit Verfügbarkeit von elektronischen Systemen. In IT-Umgebungen ist insbesondere die Temperatur Feind Nummer eins für die empfindliche Mikroelektronik. Bei Halbleitern gilt die Faustregel, dass eine Steigerung der Umgebungstemperatur um 10 °C (bezogen auf die maximal zulässige Betriebstemperatur) deren Lebensdauer um die Hälfte verkürzt. Durch mitunter ungünstige Aufstellbedingungen und die zunehmende Verlustleistung von Computersystemen ist Klimatisierung unumgänglich. Alle elektronischen Bauteile geben im Betrieb Wärme ab, die man als Verlustleistung bezeichnet. Diese Energie muss von den Komponenten weg und nach außen abgeführt werden. Die Wärmeübertragung geschieht im Wesentlichen über Wärmeleitung – also durch Weitergabe von Teilchen zu Teilchen – oder über Konvektion – Aufnahme der Energie durch ein flüssiges oder gasförmiges Transportmedium. Da elektronische Bauteile nur geringe Wärmemengen in Form der Wärmeleitung abgeben, muss eine Abführung daher in Form der Konvektion erfolgen. Weil Luft ein schlechter Wärmeleiter ist, gibt es Grenzen bei der Abführung der Verlustleistung aufgrund der geringen Abstrahlfläche – auch wenn weitere Kühlkörper mit Kühlrippen die Oberfläche zusätzlich vergrößern. Flüssigkeiten sind deutlich bessere Medien für den Wärmetransport. So leitet Wasser die Wärme um ein Vielfaches besser als Luft. Aus diesem Grund steigt die Bedeutung von Flüssigkeitskühlungen mit der Erhöhung von Prozessorleistungen und Packungsdichte.

2.1 Verlustleistungen steigen permanent Trotz aller revolutionären Veränderungen in der Informationstechnologie (IT) über Jahrzehnte hinweg, hat sich im Bereich der Kühlung von Rechenzentren nur wenig verändert. Kühlung war schon immer notwendig. Allerdings führte erst die ständig weiter steigende Packungsdichte (Transistoren pro Chip und Prozessoren pro Board) sowie die ebenfalls ungebrochene Erhöhung von Prozessor-Taktraten zu rasant steigenden thermischen Problemen, die bereits bei der Planung von Systemen, Racks und Rechenzentren berücksichtigt werden müssen. Die Verlustleistung – einfacher gesagt: die Abwärme – steigt proportional mit der Rechenleistung. Nach wie vor gilt die Moore’sche Vorhersage, nach der sich die Anzahl der Transistoren pro Chip alle 18 Monate verdoppelt. Die folgende Grafik zeichnet diese Entwicklung nach und lässt kein Abflachen der Kurve erwarten.

Seite 4/26


Neben der technologisch bedingten Steigerung der Rechnerleistungen ist ein wichtiger Aspekt bei der Abführung von Verlustleistungen der Raumbedarf. Zum Einen fallen für jeden Raum – und besonders die mehrfach abgesicherten Rechenzentrumsräume – regelmäßige Kosten an. Dazu gehört beispielsweise die Miete. Nicht zuletzt aus diesem Grund bringt die Miniaturisierung der Rechnerkomponenten einen Vorteil hinsichtlich der benötigten Stellfläche. Optimale Racks mit einem hohen Nettovolumen und flexibler Anreihbarkeit in allen Ebenen unterstützen den Fortschritt mit einem guten Platz-/Performance-Verhältnis. Gleichzeitig entstehen aber enorme Verlustleistungen auf engstem Raum, die im Sinne der Systemverfügbarkeit beherrscht werden müssen.

2.2 Packungsdichte im Rack / on Board Mit heute (Stand 2005) bereits mehr als 130 W/cm² je CPU – pro Quadratzentimeter entspricht das zwei Standard-Glühlampen – gewinnt die Aufgabe ‚Rechenzentrumsklimatisierung’ Konturen. Trotz eines großen Angebots an Kühlkörpern wird es immer problematischer, die Verlustleistungen mittels Luftkühlung abzuführen. Nach Messungen und Erfahrungen aus der Praxis lassen sich bis zu 3 kW Verlustleistung in einem Rack/Gehäuse noch mit der klassischen Doppelbodenkühlung beherrschen, wie sie in vielen Rechenzentren existiert. Kommerzielle Rechenzentren sind damit größtenteils noch ausreichend gekühlt. Im technisch/wissenschaftlichen Bereich entstehen mit sog. Blade-Servern bereits 10 kW Verlustleistung pro Rack.

Seite 5/26


Eine weitere Verdopplung ist absehbar durch steigende Leistungsfähigkeit bei sinkender Baugröße – oder einfach: Die Leistungsdichte steigt. Das folgende Bild zeigt ein Hochleistungs-Cluster der Universität Utrecht mit 70 Intel Xeon-Prozessoren und rund 11 kW Abwärme. Gleichzeitig wird ersichtlich, dass diese enorme Leistung auf sehr kompaktem Raum entsteht und auch abgeführt werden muss. Konventionelle Lüfterlösungen scheiden – wie der Aufbau zeigt – aus.

CPU-Flüssigkeitskühlung eines Hochleistungs-Clusters im Rack montiert. Hier werden 11 kW abgeführt.

Seite 6/26


3 Klimatische Bedingungen für IT-Systeme Universelle Bürogebäude erfüllen in aller Regel nur geringe technische Anforderungen, damit sie für unterschiedlichste Zwecke nutzbar sind. In Ermangelung speziell konzipierter Alternativen finden IT-Systeme, oder besser gesagt Rechenzentren, ihren Platz dann in umgebauten, knapp bemessenen Büro-Infrastrukturen. Dieser Umstand macht das Thema Klimatisierung nochmals komplexer. Denn neben dem Raumbedarf und oft fehlender Klimatisierungstechnik müssen häufig weitere Probleme wie Lärmemissionen und aufwändiger Brandschutz beachtet werden. Aus diesem Blickwinkel ist es einfacher, wenn IT-Systeme in industriellen Umgebungen aufgestellt werden. Hier gibt es ausreichend Platz und Lärm ist kein Problem. Allerdings kann es Probleme mit Luftverschmutzung, Vibrationen und möglicherweise hohen Temperaturen geben. Neben den klimatischen Rahmenbedingungen ist daher zusätzlich auf eine hohe Schutzart der Gehäuse zu achten, denn offene und durchlüftete Racks scheiden selbstverständlich aus – was die Klimatisierung zusätzlich erschwert.

Geschlossene Schränke in der Industrieumgebung - eine Herausforderung für die Klimatisierung

Betriebs-Empfehlungen nach Klassen Die meisten elektronischen Systeme sind in bestimmte Klassen eingeteilt, die sichere klimatische Rahmenbedingungen für Betrieb und Ruhe vorgeben. Betrachtet man beispielsweise die Klassen 1 und 2 im Betriebszustand, so stellt die optimale Temperatur in jedem mit aktiven Komponenten eng bestückten Rack eine echte Herausforderung dar.

Seite 7/26


4 Luftkühlung und Optionen Die einfachste Möglichkeit der Wärmeableitung erfolgt über die Gehäuseoberflächen eines Schrankes, sofern die Umgebungstemperatur unter der Innentemperatur liegt. Allerdings können auf diese Weise nur geringste Wärmemengen abgegeben werden. Ein Beispiel: (W=k*A*Δt)

• Δt = 10K (Temperaturdifferenz innen/außen)

• Schrank 800 x 2000 x 900mm A = 7,13 m²

• Daraus ergibt sich eine abführbare Wärmemenge von ca. 5,5 W/m²K

• Ergebnis: bei geschlossenem Schrank können ca. 315 W Verlustleistung, bei offenem Schrank ca. 600 W Verlustleistung abgeführt werden

• Das Ergebnis lässt sich auf 1.500 W verbessern, wenn bei gleichen Voraussetzungen im geschlossenen Schrank Einschublüfter mit einer Luftleistung von 3,2 m³/h pro W/K die Luftumwälzung beschleunigen

Luftumwälzung im Schrank zur Verbesserung der Konvektion über die Außenwände

Als nächste Möglichkeit steht eine passive Belüftung der Schränke zur Verfügung. Mit gezielten Ausbrüchen in Sockel, Dachblechen und/oder Türen und Seitenwänden erfolgt ein Luftaustausch nach der Regel unten/vorne kühle Luft hinein und oben/hinten erwärmte Luft heraus. Dieser Aufbau reicht bei hoher Packungsdichte meist nicht aus. Daher muss eine Zwangslüftung eingesetzt werden. Im Zubehörprogramm von Gehäuse-Systemanbietern wie Rittal finden sich spezielle Lösungen, die den Anforderungen gerecht werden, soweit das Temperaturgefälle zwischen Schrankinnenraum und Umgebungstemperatur ausreichend groß ist. Mit entsprechenden Modulen können die Dächer der Schränke angehoben oder mit leistungsstarken Lüftern versehen werden, die unten kühle Luft einsaugen und oben an die Umgebung abgeben. Die dazu nötige kühle Umgebungsluft kann jedoch meist nur in klimatisierten Räumen wie Rechenzentren bereitgestellt werden. Diese einfache Lösung eignet sich wegen des Geräuschpegels der Lüfter nicht für jeden Einsatz – beispielsweise im Office-Bereich – selbst wenn Klimaanlagen dort für eine kühle Umgebung sorgen.

Seite 8/26


Beide Anforderungen, hohe Luft-/Kühlleistung und ein möglichst geringer Geräuschpegel, müssen hier gleichzeitig erfüllt werden. Scheidet diese recht einfache Lösung aus, ist für eine erfolgreiche Klimatisierung der Einsatz von speziellen Lüftungs- und Kühlkomponenten erforderlich.

4.1 Luftleistungen Die folgende Tabelle gibt Auskunft über die maximalen Luftströme, die von verschiedenen, für Racks geeigneten Lüftermodulen erreicht werden.

Quelle: Rittal

4.2 Temperaturverteilung - ganzheitlicher Ansatz Für eine effiziente Kühlung geht es nicht nur um die Zufuhr in ein Rack, sondern im Sinne eines ganzheitlichen Ansatzes um die Verteilung im Kleinen und im Großen. Das bedeutet, für einen sicheren Systembetrieb betrachten Spezialisten stets das gesamte Bild – von der Luftverteilung im Server über die Verteilung im bestückten Rack bis hin zur Temperaturverteilung im Rechenzentrum. Mit Hilfe moderner bildgebender Verfahren wird die Wärmeverteilung sichtbar gemacht. Dieser umfassende Ansatz ist wichtig, weil sich auf diese Weise Wärmenester im Rack sowie im Raum vermeiden lassen. Selbst in klimatisierten Räumen kann es zu Problemen mit der Wärmeabfuhr kommen, weil die geplanten Strömungen der Raumklimatisierung meist anderen Vorgaben folgen als zur Kühlung von empfindlichem technischen Equipment. Bereits für die Planungsphase eines Racks gibt es eine vom Rack/Klimaspezialisten Rittal entwickelte Softwarelösung. Sie unterstützt bei der Ermittlung und Dokumentation leistungsmäßig passender Klimatisierungskomponenten bei vorgegebenen Verlustleistungen für jeden einzelnen Schrank. Eine hinterlegte Datenbank enthält Informationen über Gehäuse und Klimatisierungskomponenten und eine weitere stellt die Verlustleistungen gängiger Leistungselektronik – editierbar – bereit. Außer der notwendigen Luft-Kühlleistung werden vom Programm auch Hinweise zur Luftführung gegeben.

Seite 9/26


4.3 Luftstrom und Ausrichtung Schon bei bereits klimatisierter Raumluft und damit einem positiven Δt zwischen Schrankinnenraum und klimatisierter Raumluft sowie relativ geringen thermischen Verlusten im Schrank spielt die gezielte Ausrichtung des Luftstroms eine entscheidende Rolle. Flexible, durchdachte Racksysteme gestatten eine variable Luftführung. So erlauben großflächig gelochte Front- und Rücktüren eine horizontale Luftführung von vorne nach hinten durch das Equipment. Meist wird diese Art der Strömung zusätzlich durch in den Computersystemen integrierte Lüfter unterstützt.

Zwei Möglichkeiten der Luftführung in Racks, horizontal oder vertikal

Bei Doppelboden-Kühlung sind alternativ auch geschlossene Schranktüren einsetzbar, so dass eine vertikale Luftdurchströmung von unten nach oben erzwungen wird. Gleichzeitig muss klar sein, dass beide Formen ohne weitere Maßnahmen in Form von Luftleitblechen oder Zusatzlüftern das Entstehen von Wärmenestern in hoch belasteten Systemen nicht sicher verhindern können.

4.4 Probleme der Luftführung mit Doppelböden Der bereits im klassischen Mainframe-Rechenzentrum eingeführte Doppelboden zeigt sich in seiner Luftführung den heutigen, teils extrem hohen Anforderungen nicht mehr gewachsen. Dies ist kein Wunder, denn die Mainframes hatten im Verhältnis zu Leistung und Bauvolumen keine hohen Verlustleistungen. Darüber hinaus wurden die wirklich großen Systeme bereits in der Vergangenheit mit Flüssigkeit gekühlt. Ein Trend, der nun auch alle kompakten, sehr leistungsfähigen Computer-Systeme – insbesondere solche mit Blade-Servern – einholt.

Seite 10/26


4.4.1 Im Raum Selbst mit Doppelboden heizt sich bei manchen einfachen Systemen die Kühlluft im Verlauf der Luftführung durch die Systeme von Rackreihe zu Rackreihe immer weiter auf, so dass den ‚letzten’ Systemen im Raum unter Umständen keine ausreichend kalte Luft mehr zugeführt wird (s. folgende Grafik). Hier sind intelligente Luftführungen notwendig, um maximalen Nutzen aus der Doppelboden-Klimatisierung zu ziehen.

Doppelboden früher: Die rechts einströmende kalte Luft erwärmt sich von Rechnerreihe zu Rechnerreihe

Weitere Probleme entstehen durch ungeeignete Luftführung.

• Eine niedrige Decke verringert das Luftvolumen

• Es entstehen interne Re-Zirkulationen und Rückströmungen am Reihenende

• Bodenplatten mit zu geringer Durchströmung und zu niedrigem Druck im Doppelboden

• Eine schlechte Abstimmung der Luftverteilung aus den Wärmetauschern (CRAC) kann im schlimmsten Falle gekühlte Luft wieder aus den Schränken absaugen. Kombiniert mit Rückströmungen am Ende der Reihe entstehen Hot Spots (s. folgende Grafik) Abkürzungen: HVAC – Heating Ventilation Air Conditioning (vereinfacht: Wärmetauscher) CRAC – Computer Room Air Conditioner

Seite 11/26


Die beste Performance wird erzielt mit einem Doppelboden in Verbindung mit einer Doppeldecke. Folgender Aufbau verspricht beste Ergebnisse:

Die ideale Gestaltung von Doppelboden und Doppeldecke

Schematische Darstellung der Luftführung mit Doppelboden-/Doppeldecke

Seite 12/26


4.4.2 Im Rack Auch im Rack/Schrank ist eine gezielte Luftführung entscheidend. Nicht nur die Luftmenge bestimmt die Kühlleistung der Installation, sondern die systematische Anströmung von Baugruppen mit hoher Abwärme. Eine genaue Analyse durch Spezialisten identifiziert die Wärmenester. Für eine effiziente Kühlung finden sich im Programm von Gehäuse-Systemanbietern Luftleitsysteme ebenso wie Lüfterwände, die auf bestimmten Ebenen für eine bessere Luftumwälzung sorgen, als dies durch die in den Computersystemen eingebauten Lüfter möglich ist. Lüfter im Rack unterstützen die gezielte Luftverteilung auch in Verbindung mit Doppelböden. Der Aufbau eines Racks kann ein Auslöser für problematische Luftführungen sein. Hier ist die Unterstützung durch Rack- und Klimaspezialisten empfehlenswert. Im Zweifel geben Wärmebildaufnahmen Aufschluss darüber, wo Probleme vorliegen.

Mögliche Wärmeverteilung in einem Rack, dargestellt durch Simulation von Computational Fluid Dynamics (CFD)

Erwünscht ist der Luftstrom durch das Equipment. Leicht kann es aber auch zu Luftkurzschlüssen kommen, beispielsweise, wenn freie Ebenen nicht durch Blindplatten verschlossen sind. (s. auch folgende Grafik)

Mögliche Probleme der Luftführung in einem Rack mit 65% perforierten Türen vorne und hinten

Quelle HP

Seite 13/26


Empfehlung 1. Schränke mit den Vorder-, bzw. Rückseiten zueinander aufstellen (cold isle /

hot isle) 2. Freie 19“ Einbauplätze mit Blindplatten verschließen, damit keine Rezirkulation

auftritt 3. Zur optimalen Anströmung von neuralgischen Punkten im Rack Luftleitsysteme

integrieren 4. Maximale Kühlleistung nach tatsächlicher, nicht nach elektrischer Verlust-

leistung auslegen und nicht überschreiten 5. Kühlleistung nicht auf den Raum, sonder auf die Racks beziehen 6. Hot Spots vermeiden, thermische Lasten gleichmäßig im Raum verteilen 7. Racks nicht ausschließlich nach Funktion, sondern auch nach Verlustleistung

zusammenstellen

4.5 Luft/Luft Wärmetauscher Die Kühlung von Computersystemen in Schränken muss besonderen Anforderungen genügen, wenn diese in verschmutzter Umgebung aufgestellt werden, beispielsweise in industriell genutzten Umgebungen. Der fortschreitende Einsatz mikroprozessorgesteuerter Lösungen in der Produktion, die mit ‚klassischen’ IT-Netzwerken konvergieren, erfordert solche Installationen zunehmend häufiger. In diesen Fällen muss die Luft im Schrankinneren von der Außenluft getrennt werden. Luft/Luft Wärmetauscher sind die bessere Lösung im Vergleich mit Filterlüftern, die die Außenluft nur von groben Verschmutzungen befreien.

4.5.1 Voraussetzungen für den Einsatz In jedem Fall sind Luft/Luft Wärmetauscher nur einsetzbar, wenn es ein Temperaturgefälle innen/außen in der Form gibt, dass die Außentemperatur deutlich unter der Innentemperatur liegt.

4.5.2 Einsatzgebiete Sie kommen gleichermaßen in geschlossenen Räumen mit belasteter Luft zum Einsatz wie bei Installationen im Außenbereich, um beispielsweise neben verschmutzter Luft auch Insekten und andere schädigende Einwirkungen von den Einbauten eines Schrankes fernzuhalten.

4.6 Luft/Wasser Wärmetauscher Luft/Wasser Wärmetauscher (LWWT) erweitern das Spektrum der Luft/Luft Wärmetauscher um die Möglichkeit der Kühlung eines Schrank-Systems auch ohne Temperaturdifferenz zwischen Innenraum und Außenluft. Im Schrankinneren kommt ein Wärmetauscher zum Einsatz, der von außen mit ‚kaltem’ Kühlwasser versorgt wird. Mittels entsprechender Lüfter wird die Luft im Schrank umgewälzt. Innenraum und Außenluft bleiben von einander getrennt. Das Herunterkühlen des Wassers erfolgt in externen Kühlwassersystemen mit entsprechenden Rückkühlanlagen. Sie werden mit den Schranksystemen geliefert oder sind bereits für andere Kühl- und Klimatisierungsaufgaben am Einsatzort vorhanden.

Seite 14/26


Luft/Wasser Wärmetauscher und schematischer Kühlluft-Kreislauf im Schrankinneren

4.6.1 Möglichkeiten Moderne LWWT ermöglichen Kühlleistungen bis 30 kW. Wie bei den meisten anderen luftgeführten Kühlungen erzeugen Lüfter im Schrank einen möglichst hohen Luftvolumenstrom. Bis zu 4.500 m³/h sind möglich. Dazu wird im Kühlkreislauf ein Wasser-Volumenstrom mit bis zu 50l/min Durchfluss benötigt. LWWT sind in verschiedenen konstruktiven Auslegungen verfügbar. Von einer kühlenden Seitenwand/Tür bis zu Einschubkühlern mit entsprechenden Lüftern gibt es bei Systemanbietern eine Vielzahl von Lösungsansätzen. Eine ausgeklügelte interne Luftführung kann das Entstehen von Wärmenestern verhindern. In diesem Zusammenhang wird auf Punkt 4.2 verwiesen.

4.6.2 Einsatzgebiete Als Einsatzgebiete kommen insbesondere Bereiche in Betracht, wo hohe Verlustleistungen abgeführt werden müssen. Höhere Verluste als 4 kW/Rack sind auf Dauer weder mit ‚normalen’ Lüftern im Rack/Schrank noch über Doppelboden-Kühlung sicher zu beherrschen. In diesen Fällen kann durch Flüssigkeitskühlung deutlich mehr Kühlleistung in das Rack gebracht werden. Ein weiterer Vorteil ist der merklich niedrigere Geräuschpegel einer solchen Installation, da die Lüfter im Schrankinneren betrieben werden und Rückkühlanlagen meist entfernt (im Freien) montiert werden. Ein Vorzug der Luft/Luft Wärmetauscher gilt auch hier: Das geschlossene Schrankinnere wird vor möglicherweise verschmutzter Außenluft geschützt.

Seite 15/26


4.7 Besonderheiten der Luft/Wasser Wärmetauscher Rittal Liquid Cooling Package • Komplette Zugänglichkeit der 19“-Ebene

• Absolut gleichmäßige Verteilung der kalten Luft vor der 19“-Ebene

• Skalierbare Kühlleistung – standardmäßig 4 kW/Modul

• Nachrüstung im laufenden Betrieb möglich

• Einbindung in ganzheitliches (Fern-)Überwachungssystem

• Klimatisierung ist temperaturneutral für den Aufstellort

• Auch 2 Schränke mit einem LWWT kühlbar durch Einbau zwischen 2 Schränken

4.8 Kühlgeräte Wenn keine positive Temperaturdifferenz zwischen Schrank-Innenraum und Umgebung vorliegt und eine Wärmeabführung in die direkte Umgebung möglich ist, kommen Kühlgeräte in Betracht. Sie sind als Einschubkühlgeräte (6 HE, 19“) sowie als Klimaschaltschränke, -türen und -seitenwände verfügbar. Ebenso werden – auch nachträglich – häufig Dachaufbaukühlgeräte eingesetzt.

Seite 16/26


Luftführung mit einem Türklimagerät

Der Vorteil liegt in der direkten Kälteerzeugung vor Ort. Damit sind externe Kühlanlagen und -kreisläufe nicht erforderlich. Ein weiterer Vorteil liegt in der einfachen Nachrüstbarkeit. Mit den steigenden Leistungen der Rechner im Schrank ist eine passende Klimatisierungslösung – bei entsprechenden Umgebungsbedingungen – jederzeit ohne aufwändige Installationsarbeiten nachrüstbar. In dieser Installationsoption vor Ort liegt gleichzeitig eine gewisse Einschränkung, denn die Abwärme muss vom Betriebsraum aufgenommen und ggf. abgeleitet werden. Ein weiterer Nebeneffekt ist das unvermeidlich leicht ansteigende Geräuschniveau im direkten Umfeld des Schrankes.

4.9 Vergleich des Leistungsspektrums unterschiedlicher Kühl-Lösungen

Seite 17/26


5 Kühl-Lösungen für höchste Leistungen Die eingangs erwähnte steigende Packungsdichte und die damit einhergehende Verlustleistung erfordert zunehmend Kühlungen, bei denen Luft als Übertragungsmedium ausscheidet. Die entstandene Wärme muss am Entstehungsort abgeführt werden. Das bedeutet an den Prozessoren, denn sie verursachen den größten Teil der Verlustleistung. Allerdings dürfen andere Komponenten (Speicher, Festplatten, Netzteile) und ihre Verlustleistungen dabei nicht übersehen werden. Sie werden ‚herkömmlich’ im gleichen Schrank gekühlt.

5.1 CPU-Flüssigkeitskühlung Die zunehmende Abwärme in Computersystemen mit hoher Packungsdichte, lässt sich künftig nur noch mit Flüssigkeitskühlungen beherrschen, denn sie geht im Wesentlichen von der kleinen Oberfläche der CPUs aus. Warum Flüssigkeitskühlung? Die Antwort lässt sich mit wenigen Stichpunkten geben:

• Die Kühlleistung kann sehr genau platziert werden

• Geringere Geräuschemission

• Energieeinsparung durch Betrieb im Free Free-Cooling Modus oder mit Radiatoren

• Hohe Vorlauftemperatur (im Vergleich zu LWWT) für gesteigerte Energie-Effizienz

• „Temperaturneutrale“ Erweiterung von Rechenzentren

Seite 18/26


Funktionsvoraussetzungen sind ein vorhandenes oder neu einzurichtendes Kühlflüssigkeitssystem, anwendungsbezogene Komponenten sowie eine Integration in die jeweiligen Schrankgehäuse. Der Einsatz im Rack – insbesondere bei der Nachrüstung – kann zu Raumverlust führen. Manche Lösungen erfordern für die Installation von Wasser-Steigleitungen und Verteilern viel Platz. Modulare System-Lösungen – beispielsweise von Rittal – integrieren Steigleitungen und Verteiler in die Schrank-Rahmenprofile und beeinträchtigen somit nicht den Netto-Raum. Zum Anschluss der Flüssigkeitskühlung ist eine sichere Verbindungstechnik unabdingbar, damit Wasser und Elektronik nicht in Berührung kommen. Garantiert tropffreie Verbindungen garantieren heute maximale Sicherheit. Sie lassen sich selbst im laufenden Betrieb für Systemaufrüstungen oder Wartungsarbeiten risikolos trennen. Die Kühlwasserbereitstellung erfolgt bei größeren Installationen meist über Rückkühler, mit einem Standort außerhalb des Rechenzentrums. Auf diese Weise werden bereits vorhandene Raumklimaanlagen nicht zusätzlich durch die Abwärme der Flüssigkeitskühlung belastet. Ein weiterer Vorteil ist die Senkung des Geräuschniveaus im Rechenzentrum oder Serverraum, weil im Server-Rack nur noch wenige Lüfter notwendig sind. Für einzelne flüssigkeitsgekühlte Racks ist aber beispielsweise von Rittal auch ein Mini-Rückkühler verfügbar, der in der 19“ Ebene integriert wird.

5.1.1 Möglichkeiten Auf dem Markt ist eine Reihe von nachrüstbaren Lösungen und Prozessor-Kühlkörpern verfügbar.

Kühlkörper und Halteklammern Tropfreie Kupplungen/Stecker

und Steigleitungen

Seite 19/26


5.1.2 Aufbau der Kühlkörper Um die Abwärme der Prozessoren schnell und mit geringen Wassermengen aufzunehmen, wurden Kühlkörper entwickelt, die im Inneren aus einem Stapel mikrostrukturierter Kupferplatten bestehen. Die Kanaltiefe beträgt dabei 200 μm, die Kanalbreite 500 μm. Das große Oberfläche/Volumen-Verhältnis garantiert einen maximalen Wärmetransport. Bis zu 250 W/cm² werden auf diese Weise an den Hotspots abgeführt.

Aufbau eines Prozessorkühlkörpers aus mikrostrukturierten Platten (l) und Außenansicht (r)

Performance, Bruchsicherheit und mögliche Verformung der Kühlungskomponenten werden bei Rittal in eigenen Labors regelmäßig überprüft, um den Kunden beim Einsatz maximale Sicherheit zu bieten. So werden diese Kühlsysteme mit bis zu 80 bar (!) Wasserdruck getestet. Wenn die empfohlenen Kühlflüssigkeiten zum Einsatz kommen, entstehen in den Mikrokanälen auch im Dauerbetrieb weder Blockaden durch Algen noch Korrosion – beides hätte fatale Folgen.

Seite 20/26


Besonderheiten von CPU Flüssigkeits-Kühlkörpern • Hervorragender Wirkungsgrad

• Höchste Qualitätsstandards (TÜV zertifiziert)

• Bereits 100 ml/min pro CPU ausreichend

• Klein und leicht (Luft-Kupferkühlkörper wiegen bis zu 900g)

• Kleine, bewegliche Fittinge

• Geringer Schlauchdurchmesser (4 mm Durchmesser außen)

• Kompakte Pumpen möglich

• Einfaches und sicheres Handling • Industrielle Massenproduktion

5.1.3 Flüssigkeitskühlung im Überblick

• Entscheidungskriterien: zu erwartende maximale Verlustleistung, Aufstellbedingungen, Anschaffungskosten, Betriebskosten, Erweiterungskosten, Zukunftssicherheit, Kosten für Ausfallzeiten, physikalische Sicherheit, usw.

• Es gibt nicht die IT-Kühlung. Nach einer genauen Bedarfsanalyse – und Zukunftsplanungen – gilt es, die ausgewählte Kühlstrategie mit hochwertigen Komponenten zu realisieren

• Verlustleistungen von 25+ kW pro Rack, lassen sich mit Flüssigkeit einfach, sicher und effizient abführen

• Flüssigkeitskühlung ist technisch beherrschbar

• Hohe Energie-Einsparpotentiale aufgrund der deutlich höheren Vorlauftemperaturen (vgl. mit Luft/Wasser Wärmetauschern)

• Diese Technologie deckt den Kühlleistungsbedarf der nächsten Jahre

• Anpassung an vorhandene Rechenzentrums-Strukturen ist notwendig (und möglich), Wechsel von der Raum- zur Rack-Klimatisierung

5.1.4 Rückkühler Die Bereitstellung des Kühlwassers mit der benötigten Vorlauftemperatur erfolgt durch geeignete Rückkühlanlagen. Die Zusammenführung mit bereits vorhandenen Flüssigkeitskühlungen ist ebenso möglich wie der Aufbau von speziellen Rückkühlanlagen für die IT-Systemkühlung. Systemanbieter mit Klimatisierungs-Know-how können Unternehmen umfassend beraten und vorhandene Ressourcen optimal nutzen. Rückkühler sind – je nach Leistung – von Einschubmodellen im 19“ Maßraster für den Einsatz im Schrank bis zu externen Radiatoren für die Außenaufstellung verfügbar.

Seite 21/26


Die Rückkühlung in Stichpunkten • Wasserdurchsatz pro Rack (bei 32 Dual Boards) ca. 6,4 l/min bei 1,5 bar

• Steigleitung ½” pro Rack

• CPU-Temperatur liegt typischerweise 10 -15°C über der Kühlwassertemperatur

• Folge: Kühlwassertemperaturen um 35°C sind ausreichend

• Pumpen sind redundant vorhanden und werden im 24h Rhythmus gewechselt

5.1.5 Besonderheiten In einem Schrank mit leistungsfähigen Computer-Systemen erzeugen nicht nur die Prozessoren Verlustleistung – auch wenn sie den höchsten Anteil daran haben. Ihre Wärme wird ideal über die Flüssigkeitskühlung abgeführt, denn Wirkungsgrad und „hohe“ Vorlauftemperatur garantieren einen ökonomischen und gleichermaßen sicheren Systembetrieb. Neben den CPUs erzeugen auch Hauptspeicher, Festplatten und Netzteile nicht unerhebliche Abwärme. Für deren Abführung bedarf es in jedem voll bestückten Schrank darüber hinaus einer gezielten Luftkühlung. Diese kann entweder aus einem vorhandenen Doppelboden bezogen werden oder – je nach Leistung – mittels Luft/Luft Wärmetauschern, Luft/Wasser Wärmetauschern oder Klimageräten realisiert werden.

5.2 Leistungsfähigkeit der Kühl-Lösungen im Vergleich

Seite 22/26


5.3 Bewertung / Entscheidungshilfen Die vorangegangene Tabelle hilft bei der Wahl der erforderlichen Klimatisierungskomponenten – von einfachen Lüfterlösungen bis zur CPU-Flüssigkeitskühlung. Entscheidend sind die tatsächlichen Verlustleistungen. Weil sich diese mit Erweiterungen bei der Hardware schnell ändern können, empfiehlt sich die Zusammenarbeit mit einem seriösen und erfahrenen Partner für Schränke und Klimatisierung, denn zwischen beiden Faktoren existieren vielfältige Abhängigkeiten. Die besten Lösungen sind stets für einen weitestgehenden Investitionsschutz konzipiert. Das heißt, nachträgliche Erweiterungen sind möglich – beim Rack und bei der Klimatisierung. Auf diese Weise wachsen alle Komponenten eines Rechenzentrums mit den Anforderungen – Rechner, Racks und Klimatisierung. Außerdem bietet ein erfahrener Klima- und Rackspezialist Unterstützung bei Aufspüren von Klimaproblemen und deren Behebung. Er setzt beispielsweise Simulations-Softwarelösungen und Wärmebildkameras ein. Müssen extreme Leistungen abgeführt werden, so sollten eigene Labors des Anbieters in der Lage sein, die Systeme im Echtbetrieb zu analysieren.

Tipp: Sprechen Sie Ihren Lieferanten an und fragen Sie nach den Möglichkeiten der Unterstützung bei komplexen Projekten!

Seite 23/26


6 Regelung und Monitoring der klimatischen Bedingungen In modernen Server-Racks finden Einbauten Platz, deren Wert enorm hoch ist. Sie werden in Racks nicht nur gegen unbefugte Zugriffe geschützt, sondern darüber hinaus mit Sensoren für die unterschiedlichsten Umgebungs-bedingungen versehen. Elektronische Überwachungssysteme wie das CMC (Computer Multi Control) von Rittal protokollieren diese Umgebungsbedingungen und lösen rechtzeitig Alarme aus, wenn bestimmte Sollwertvorgaben nicht mehr eingehalten werden – auch beim Einsatz von Flüssigkeitskühlungen.

Beispiel eines Sensorplans für eine Wärmetauscher-Seitenwand

Welche Faktoren bei den Kunden den höchsten Stellenwert haben, zeigt die Auswertung einer Umfrage: An erster Stelle steht dabei die Temperatur, weil elektronische Systeme sehr empfindlich auf zu hohe Temperaturen reagieren. Direkt danach folgt die Zugangssteuerung, die ebenfalls elektronisch via Netzwerk möglich ist. Mit größerem Abstand folgen – je nach Aufstellort – Rauch-, Wasser- und Erschütterungssensoren sowie die Möglichkeit zur Verbindung der Überwachungseinrichtung mit den Schnittstellen anderer Geräte, die selbst Alarme auslösen – beispielsweise USV-Geräte.

Seite 24/26


Konfigurationsbildschirm des Monitoringtools Rittal CMC-TC

Alle Ist-Werte (Temperatur, Luftfeuchte, Spannung), Sollwerte und Statusinformationen werden bei einem solchen Kontroll-System via aktueller Übertragungstechniken oder SNMP-Protokoll („Simple Network Management Protocol) an entsprechend ausgerüstete Management-Systeme weitergeleitet und dort ausgewertet. Diese lösen im Fehlerfall automatisch direkte Alarme beim Administrationspersonal aus – auf der Management-Konsole, als SMS oder E-Mail. Die Kosten zur Überwachung stehen im Verhältnis 1 : 50 verglichen mit dem Wert des Schrankinhalts.

Tipp: Verlassen Sie sich nicht auf die bloße Zusage der Klimatisierungsspezialisten. Überwachen Sie die Umgebungsbedingungen beim Betrieb Ihrer Server lückenlos mit entsprechenden Lösungen.

Seite 25/26


Seite 26/26

7 Autoreninformation Dipl.-Physiker Michael Nicolai ist Mitarbeiter im internationalen Produktmanagement für Schaltschrank-klimatisierung bei Rittal. Der Schwerpunkt seines Einsatzgebietes liegt bei neuen Anwendungen wie z.B. der IT-Kühlung, zu denen beispielsweise auch die Infrarot-Thermografie und die CFD Wärmefluss-Simulation (Computational Fluid Dynamics) zählen.

White Paper...

Documents

Transcript of White Paper...