Supported by: Project consortium: Module 5 Netzwerk Equipment Technischer und operativer Rahmen.

Supported by:www.efficientdacenter.org

Project consortium:

Module 5Netzwerk Equipment

Technischer und operativer Rahmen

http://www.efficientdacenter.org/

Supported by: www.efficientdacenter.org 2

AusgangssituationNetzwerk Equipment und Energiebedarf

Netzwerke in Rechenzentren: verursachen ca. 8% bis 12 % des Energiebedarfs der IT-Ausstattung werden generell über lange Zeiträume eingesetzt (4-7 Jahre) sind ein potent. Flaschenhals für die Gesamtleistung & Energieeffizienz

Monitoring & Control

Cooling & Air Flow

Power Supply & UPS

Server Room / Data Center

InfrastructureNetwork Equipment

Architecture & Topology

Components & Cabling

Virtualization & Configuration



Netzwerk AttributeKundenanforderungen

Grundlegende Leistungsparameter:

Hohe Bandbreite, geringe Latenzzeit (Auswahl der Netzwerktechnologie) Skalierbarkeit und Agilität (Netzwerkarchitektur und -management) Flexibilität zur Unterstützung div. Services (Konsolidierung, Anforderungen

bestehender Systeme) Sicherheit (zunehmende Bedeutung und beeinflusst den Overhead) Hohe Verfügbarkeit und Redundanz (QoS-Anforderungen) Verwaltbarkeit und Transparenz (wird durch Virtualisierungslösungen

unterstützt) Langfristige Rentabilität Kostenoptimierung (CAPEX und OPEX reduzieren)




Cooling & Air Flow

Power Supply & UPS






technische Performance Energie Performance

VerbesserungszielDie richtige Balance finden

hoch

gering

Balance zwischen technischer Performance und Energiebedarf



Rechenzentren NetzwerkeFunktionales Model


Cooling & Air Flow

Power Supply & UPS






Ethernet Switch Fiber Channel Switch

Access

Aggregation

Core

Routers

Firewall /Security Firewall /Security

Core Switches

LAN SAN

N

W E

S



Rechenzentren Netzwerke Basis Netzwerkarchitektur & Komponenten


Access

Aggregation

Core

Routers


Core Switches

LAN SAN

N

W E

S



Netzwerk Energieprofil

Einflussfaktoren für die Energieprofil des Netzwerkes:

Netzwerkarchitektur (Technologie, Anzahl der Layer, Attribute) Netzwerktopologie (inklusive Verkabelung und Switchtopologie) Gerätespezifikationen (Komponenten, Funktionen und Konfigurationen) Virtualisierung, lastadaptives Management (geeignete Standards und

Protokolle)



Verbesserungsstratgie und Ziele

Die drei grundlegenden Verbesserungsziele:

Verringerung der physischen Komponenten (Geräteanzahl):

Verringerung der Leistungsaufnahme der entsprechenden Geräte

Systemoptimierung auf Rack- und Raumebene



Verringerung der physischen Komponenten

Verringerung der physischen Komponenten (Geräteanzahl): Router-, Switch-, Portkonsolidierung (Virtualisierung, Multifunktionalität,

Dienste) Weniger Netzwerklayer durch all-IP Technologien (z.B. FCoE) Erstellen einer einheitlichen Netzwerkstruktur Einführung der aktuellen Breitbandtechnologie (10/40Gbit/s)


Access

Aggregation

Core

RoutersN

W E

S


Access

Aggregation

Core

Routers


Core Switches

LAN SAN

N

W E

S



Netzwerk-Virtualisierung

System-Virtualisierung inkl. des Netzwerkes bedeutet: Virtuelle Router (Software mit Routingfunktionalität, mehrere Systeme auf

einer realen Maschine) Virtuelle Links (logische Verbindungen der virtuellen Router) Virtuelle Netzwerke (virtuelle Router verbunden durch virtuelle Links)

Vorteile der Netzwerk-Virtualisierung Managementschnittstellen sind flexibler Reduzierte Anschaffungskosten durch Softwareeinsatz Verbesserte Leistung der Anwendungen durch vereinfachte

Diensterweiterung und -zuordnung Potentiell verringerter Stromverbrauch durch Gerätekonsolidierung



Netzwerk-Virtualisierung Best Practice

Netzwerk-Virtualisierung in Verbindung mit Konsolidierung

Router: Verringerung der physischen Router um über 50% verringerter Energiebedarf um annährend 60%

Firewall: Zentralisierte Firewalls basierend auf logischen Netzwerkstrukturen

reduzieren den Firewall bezogenen Energiebedarf auf bis zu 60%

klassischer Aufbau

Untrusted Network

zentralisierte Firewalls mit VMs

Untrusted Network

VM

VM

VM



Konsolidierung auf der GeräteebeneZusammenbringen der “traffic classes”

Processor Memory

HCA NIC HBA

Processor Memory

Storage Network(SAN)

Inter Processor

(IPC)

Local Area Network (LAN)

IPC LANSAN

Fiber Channel / InfinibandEthernet 10G/40G/100G Ethernet

CNA

FC SwitchEN Switch EN Switch

Server

Technologieimplementierung für hohe Bandbreite / Geschwindigkeitund “converged Network Adapter” (CAN) führt zu:

Reduzierung von Netzwerkgeräten, Verkabelung und Gateways Darus resultiert ein geringerer Gesamtenergiebedarf




Access

Aggregation

Core

Routers


Core Switches

LAN SAN

N

W E

SInitial Situation: Two separate network technologies with respective hardware (switches)


Access

Aggregation

Core

Routers


Core Switches

LAN SAN

N

W E

SVerbesserung: einheitliche Netzwerktechnologie (IP-basierend) mit reduzierter Hardware (Switch)

LAN und SAN KonsolidireungEinheitliche Protokolle



Ausgangssituation:Klassisches SAN (FC or IB)

Fiber Channel (FC) Infiniband (IB) (lossy) Ethernet

FCP (FC Protocol)

SRP(SCSI RDMA Protocol)

IP (Internet Protocol)

TCP (Transmission Control)

FCIP (FC over IP)

FCP (FC Protocol)

Small Computer System Interface (SCSI)

Application

• Packetverlust möglich• hoher Overhead Geringe Übertragungseffizienz

• Verlustfrei• kleiner Overhead Hohe Übertragungseffizienz



Lossless EthernetFiber Channel (FC) Infiniband (IB) (lossy) Ethernet

FCP (FC Protocol)

SRP(SCSI RDMA Protocol)

FCP (FC Protocol)

FCoE (FC over Ethernet)

IP (Internet Protocol)

TCP (Transmission Control)

iSCSI (internet SCSI)

Small Computer System Interface (SCSI)

Application

Verbesserungsoption:Netzwerkkonsolidierung (IP-basiert)

IP-based (Ethernet)



Vollständig konsolidierte Netzwerkarchitektur


Access

Aggregation

Core

RoutersN

W E

S



Leistungsaufnahme der Geräte

Verringerung des Stromverbrauchs der Netzwerkgeräte durch: Durchschnittlichen Stromverbrauch (Moore`s law) Power Management (derzeit noch nicht verfügbar) Netzteil (Effizienz, Redundanz) Passive und aktive Kühlung (Kupfer-Kühlkörper, regelbare

Lüfterdrehzahl)



Positive Effekte hoher Techologiedynamik- Mikro/Nanoelektronik (Moore), Kommunikationstechnik (Shannon) ,

… Aber: Kosten und echnology gaps

- Implementierung geeigneter Schnittstellen (AVT/MST), wertvolle (selten) Materialen…

0

20

40

60

80

100

2008 2010 2012 2014 2016 2018 2020

Inte

rcon

nect

Siz

e (A

tom

s)

Roadmap der Halbleiter-Technologie (phyiskalischen und ökonomische Grenzen)

45 nm Technologie

32 nm

22 nm

16 nm

11 nm

Moores Law



175

150

125

100

75

50

25

Initial Boot

Idle no Link

Idle w / Link

70% Load

100% Load

Uplink Modules

35.1

56.9

104.3 107.4 108.5

136.5

58.8 60.3 60.9

88.9

Power (W)

3Com Switch4800G 48-Port

3Com Switch4800G 24-Port

2x uplinks and 1x 10G XFP transceiver

Vergleich von 3Com Switch 4800G 24/48-Port Energieprofil

GeräteauswahlSwitchtopologie und geeignete Dimensionierung



Ausstattung: 8 W pro 10GE Schnittstelle, Geringer Stromverbrauch für 10GE Verbessterte Kühlungseffizienz mit

regelbarer Lüfterdrehzahl (die Drehzahl wird automatisch an die bestehenden Bedingungen angepasst)

Offenlegung von InformationenProduktbeschaffung(Energieffizienz)

Juniper Switch-EX4500Quelle: Juniper 2011



Netzteileffizienz

Ausgangssituation:– Viele Netzteile in installierten Netzwerkgeräten

haben eine potent. Effizienz von unter 80%– Netzteile mit einer Energieeffizienz von über 90%

bereits am Markt verfügbar Energy Star und 80 Plus

– Energy Star für Servernetzteile setzt bereits Effizienzanforderungen von 90%

– 80 Plus Programm hat noch höhere Anforderungen

– Empfehlung für 80 Plus Gold / Plantinum Effekte

– Reduzierter Stromverbrauch– Geringerer Kühlungsaufwand– Absenkung der TCO

% of Rated Load

20% 50% 100%

80 PLUS Bronze

81% 85% 81%

80 PLUS Silver

85% 89% 85%

80 PLUS Gold

88% 92% 88%

80 PLUS Platinum

90% 94% 91%



Power Management Energy Efficient Ethernet

Abschalten von Ethernet Transceivers (PHYs) in Zeiten mit geringen Datenaufkommen

Vergleichbar mit Wake-on-LAN Konzept 1000BASE-T und 10GBASE-T Transceiver neue LPI Modes wurden

definiert Hauptmerkmale:

Abschalten der Transmitter und drei von vier Rreceivern Aufnahme eines Refresh-Zyklus Definition eines Alarmsignals für schnelle Reaktivierung

Aktuell noch nicht für Netzwerkgeräte für Rechenzentren verfügbar



Best PracticeEE Netzwerkgerätevergleich

Source: (Lippis 2011)

IBM BNT RackSwitch

G8264

IBM BNT RackSwitch

G8124

Force 10 Voltaire Vantage 6048

Apresia 15k0

1

2

3

4

5

6

WattsATIS /10GbE Port

IBM BNT RackSwitch

G8264

IBM BNT RackSwitch

G8124

Force 10 Voltaire Vantage 6048

Apresia 15k0

50

100

150

200

250

300

TEER

bette

rbe

tter



Systemoptimierung auf Rack- und Raumebene

Switchtopologie (ToR, EoR) geeignete Verkabelung (Luftstrom, Kabelart, Schnittstelle) Position im Rack (Kühlungskonzept) Virtualisierung und Steuerung



End-of-Row Switchtopologie optimale Ressourcenausnutzung

10 Server

Rack #1

14 Server

Rack #2

16 Server

Rack #3

8 Server

Rack #4

Suboptimal EoR utilization

Rack #1 Rack #2

Optimal End-of-Row switching

large amount of cabling

Line

Car

d

EoRSwitch

good scalability & flexibility



48 Port Switch

10 Server

Rack #1

48 Port Switch

14 Server

Rack #2

48 Port Switch

16 Server

Rack #3

48 Port Switch

8 Server

Rack #4

Optimal ToR switching

48 Port

Rack #1

suboptimal server configuration

Unused ports

Suboptimal ToR utilization

all ports used

Simple cabling

48 Port

Rack #2

Top-of-Rack Switchtopologie optimale Ressourcenausnutzung



Geeignete VerkabelungVerbesserung v. Luftstrom und Kühlung



VerkabelungKupfer

Kupfer twisted pair: Geringe Kosten: im Vergleich zu Glasfaserlösungen Begrenzte Reichweite: z.B. geeignete Entfernung für 10GE sind

ca. 10m Geringer Strombedarf: z.B. 10GE “small form factor pluggable

(SFP) nur 0.1W (auf 10m) 10GbE Kupferkabel PHY aktuell ca. 10W pro Port Weniger robust: z.B. Kabel kann während der Installation

einfacher brechen als vergleichbares Glasfaserkabel)



Verkabelung Glasfaserleiter

Glasfaserleiter: Hoher OpEx : aktive Komponenten (Photonik) Hohe Performanz: Geschwindigkeit, Bandbreite über lange

Distanzen (300m) Energieverbrauch: mit 10GbE Port benötigen Glasfaserleiter 1-2W Sehr robust: unter Berücksichtigung von Isolation, Biegeradius

und entsprechenden Netzwerkgeräten Besonders geeignet für Core-Switching-Netz, während Kupfer die

erste Wahl für Serververbindungen mit TOR-Switchen ist.



Verkabelung Vergleich von Glasfaser und Kupfer

10 GbE MedienGlasfaser (SR/LRM)

Kupfer(Base-T)

Stromverbrauch (PHY + Adapter)

1 - 3 Watt 14 - 17 Watt

Entfernung 300 m 100 m

Zukünftige Datenraten 40 - 100 Gb/sec 10 Gb/sec

Dichte pro Rackeinheit 32 24

Kabeldichte 10% 100%



OptimierungsprozessSchritt-für-Schritt

Maßnahmen: Auswahl von Verbesserungszielen (bedarfsgerecht, konvergiert und

intelligent) Planung der Netzwerkarchitektur (Technologie) Beschaffung energieeffizienter Geräte (Power Management) Umsetzen geeigneter Verkabelung (Einfluss auf Luftdurchsatz und Kühlung) Lastausgleich und Virtualisierung



Optimierungsprozess Auswahl von Verbesserungszielen

Tasks: Messen/Monitoren der spezifischen Leistungsaufnahme (Vorraussetzung):

Individuelle Komponenten Entsprechende thermische und technische Parameter (Luftdurchsatz,

Temperatur, Lüfterdrehzahl) Definition von Zielvorgaben:

Energieefficienz (TEER/ECR) Power Management (Anmerkung: noch nicht verfügbar, Langzeitziel) Schwellwerttemperatur (z.B. Grenzbereich entsprechend ASHRAE)



Optimierungsprozess Planung der Netzwerkarchitektur

Tasks: Festlegen vorrangiger Zielparameter für:

Technische Performanz (hohe Bedeutung für Interoperabilität, Einbindung bestehender Technik)

Energie (eco) Performanz Übertragung der Leistungsparameter in produktorientierte technische

Spezifikationen: An diesem Punkt muss die Entscheidung für die grundlegende

Netzwerktechnologie der individuellen Netzwerke geroffen werden (LAN, SAN, Access)

Art, Anzahl der Netzwerkports Datendurchsatz Funktionalität und zusätzliche Dienste (Virtualisierung und Steuerung)



Optimierungsprozess Beschaffung effizienter Geräte

Tasks: Marktanalyse entsprechend der indentifizierten Spezifikationen Öffentliche Beschaffungsrichtlinien Beratung Anforderung energiebezogener Test-/Benchmarkdaten (TEER) Vergleich verschiedener Angebote (existieren Guides für Auswahlprozesse)



Ausblick

Spezifische “Best-Practice-Beispiele” (reale Daten/praktische Fälle)

Beispiele für Reduzierung der Hardware (Virtualisierung) Netzwerk Power Management (Standby und geringer idle)

Weiterentwicklungen nach dem Stand der Technik (vollständig optisch, Tunnel Konzepte)

Klassifizierung der Verbesserungsoptionen



Weitere LiteraturempfehlungenWhite papers

Online Publikationen

Etc



Weitere Literaturempfehlungen

Energy Consumption Rating Initiative– www.ecrinitiative.org

Cisco Efficiency Assurance Program– www.cisco.com/assets/cdc_content_elements/flash/dataCenter/eap

IBM, Network solutions– http://www-03.ibm.com/systems/networking/

Energy Proportional Datacenter NetworksAbts D.et al. (2010), Proceedings of the International Symposium on Computer Architecture, Saint-Malo– http://static.googleusercontent.com/external_content/untrusted_dlcp/research.go

ogle.com/de//pubs/archive/36462.pdf


http://www.ecrinitiative.org/

http://www.cisco.com/assets/cdc_content_%0Belements/flash/dataCenter/eap





http://www-03.ibm.com/systems/networking/

http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/de/pubs/archive/36462.pdf

http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/de/pubs/archive/36462.pdf


Weitere Literaturempfehlungen

Government Data Center Network Reference Architecture, Using a High-Performance Network Backbone to Meet the Requirements of the Modern Government Data Center, Juniper (2010) – http://www.buynetscreen.com/us/en/local/pdf

/reference-architectures/8030004-en.pdf

ElasticTree: Saving Energy in Data Center NetworksHeller B. et al. (2010)– http://www.usenix.org/event/nsdi10/tech/full_papers/heller.pdf


http://www.buynetscreen.com/us%0B/en/local/pdf/reference-architectures/8030004-en.pdf




http://www.usenix.org/event/nsdi10/tech/full_papers/heller.pdf

Supported by: Project consortium: Module 5 Netzwerk Equipment Technischer und operativer Rahmen.

Documents

Transcript of Supported by: Project consortium: Module 5 Netzwerk Equipment Technischer und operativer Rahmen.