Performante Kreuzverbindungsnetzwerke als Spine-Leaf-Architekturin DatenzentrenHigh-performance cross-connect networks as spine-leaf architecturein data centerTorsten Ortloff (a), Ulrich Lohmann (b), Jürgen Jahns (c), Kai Wirkus (d)(a) FiberCon GmbH, Rittershausstraße 38, 58708 Menden, Germany, e-Mail: t.ortloff@fibercon-gmbh.de(b) Hochschule des Bundes, Gescherweg 100, 48161 Münster, Germany, e-mail: ulrich.lohmann@vit-bund.de(c) Fernuniversität Hagen, Universitätsstraße 11, 58084 Hagen, Germany, e-mail: juergen.jahns@fernuni-hagen.de(d) LWL-Sachsenkabel GmbH, Hauptstraße 110, 09390 Gornsdorf, Germany, e-Mail: k.wirkus@sachsenkabel.de

Kurzfassung

Die umfassende Virtualisierung in Datenzentren im Kontext von Cloud Computing, IP-Storaging und Software DefinedNetworking (SDN) erfordert Anpassungen der existierenden Routing- und Verbindungskonzepte hinsichtlich der wach-senden Bandbreiten sowie der latenzfreien Skalierbarkeit verwendeter Ressourcen. Neue Layer-2 Multipfad-Protokollewie z.B. SPB und TRILL liefern hier signifikante Performancevorteile durch vermaschte Kreuzverbindungsnetze in Formvon Spine-Leaf Architekturen. Dieser Artikel beschreibt - im Kontext der sogenannten Hyperskalierbarkeit - die Reali-sierung erforderlicher Spine-Leaf-Architekturen auf Basis steckbarer Kreuzverbindungsnetze.

Abstract

The comprehensive virtualization in data center in the context of cloud computing, IP storaging and software definednetworking (SDN) requires adjustments of the existing concepts for routing and interconnections in the view of necessarybandwidth and scalability of the resources without any additional latency. Layer-2 Multipath-protocols like SPB andTRILL offers significant advantages in performance by meshed Crossnetworks in form of spine-leaf-architectures. Thisarticle described - in the context of so called hyper-scalability- the realisation of necessary spine-leaf-architectures basedon pluggable crossbar networks.

1 Hyperskalierbarkeit - NeueAnforderungen an die RZ-Infrastruktur

Die steigende Nutzung von Virtualisierungstechnologienin den Rechenzentren in den letzten Jahren erzeugt neueAnforderungen für die Infrastruktur und das Managementder beteiligten Ressourcen. Im Kontext des Cloudcom-puting wächst die Verwendung dedizierter Services, dieein örtlich-flexibles Hostings und eine resultierende,bedarfsgerechte Skalierung der Ressourcen erfordern.Exemplarisch sei hier das IP-Storaging oder die Nut-zung virtualisierter Applikationen in Docker-Containerngenannt, die durch eine VLAN-Einrichtung RZ-internflexibel gehostet werden können. Das zusätzliche VLAN-Management muss von den existierenden Layer2-Switcheund deren Datenverbindungen, die meist als faseroptischeVerbindung mit Datenraten von 1 bis 40 Gb/s performantumgesetzt werden können.

Im Zuge dieser Veränderung wurde der Begriff der

Hyperskalierbarkeit durch die Betreiber der hyper-scaleData Center geprägt.Die sogenannte Hyperskalierbarkeitbeschreibt die Fähigkeit der bedarfsorientierte, instantanenund performanceneutralen Ressourcenanpassung. DieseHyperskalierbarkeit und die hieraus resultierenden Spine-Leaf-Architekturen gehen auf Charles Clos zurück, der diezugrundeliegende voll-vermaschte Verbindungsstrukturin Form der Clos-Netze bereits im Jahr 1953 vorschlug [1].

1.1 Veränderung der Datenflüsse undSpine-Leaf-Architekturen

Primärer Treiber für die zunehmenden Implementierun-gen der Spine-Leaf-Architekturen sind die Veränderungender Datenflüsse im Data Center. Wurde in der Vergangen-heit der Großteil der Daten auf externen Verbindungen inund aus dem RZ transportiert (North-South-Traffic), be-steht aktuell der Großteil der Datenverbindungen im RZaus intern geschalteten Datenverbindungen auf dem Layer2 (East-West-Traffic). Das Verhältnis der externen zu deninternen Datenverbindungen von ehemals 4:1 kehrte sich inden letzten Jahren um zu einem Verhältnis 1:4. Dies führt

zu einer geänderten Situation in der existierenden Router-Topologie. In der Abbildung 1 ist diese Architektur darge-stellt.

Abbildung 1 Konventionelle dreischichtige Router-Architektur mit North-South-Traffic

Die konventionellen Routerarchitekturen bestehen aus dreiEbenen, die die Core-, Aggregation- und die Access-Switche beinhalten.Diese Architektur eignet sich, um denNorth-South-Traffic performant zu handeln. Bei einer Zu-nahme des East-West-Traffics im RZ führt diese Architek-tur allerdings vermehrt zu Bottlenecks auf der Aggregati-onsebene, da die internen Verbindungen diese Ebene durchdie interne Weiterleitung massiv belasten. [2]

Abbildung 2 Spine-Leaf-Architektur für zunehmendenEast-West-Traffic

Die Spine-Leaf-Architektur, auf Basis vermaschter Clos-Netze mit voller Kreuzverbindungseigenschaft, ermöglichteinen performanten Datendurchsatz des East-West-Trafficsund eine hyperskalierbare Infrastruktur in der Form, dasszusätzliche Ressourcen-Knoten ohne Änderung der exis-tierenden Topologie eingebunden werden können. In die-ser Architektur bilden sogenannte Border-Spine-Switchedie Grenze zwischen Layer 2und Layer 3. Das Schema derTopologie ist exemplarisch in Abbildung 2 dargestellt.

1.2 Multipath-ProtokolleDie Nutzung der Spine-Leaf-Architektur bedingt einMulti-Pfad-Verbindungsprotokoll auf Layer 2, welches -im Gegensatz zum klassischen Spanning-Tree-Protokoll(STP) - in der Lage ist, parallele Pfade zum Datentransportzu nutzen. Hierdurch werden deutliche Performancesteige-rungen in Routing erzieltAls prominente Vertreter dieser Multipath-Protokolle sindhier Shortest Path Bridging (SPB) und Transparent Inter-connection of Lots of Links (TRILL) zu nennen. Das SPBist im IEEE Standard 802.1aq spezifiziert, TRILL im RFC6326 der IETF. Beides sind Layer 2 Link-State-Verfahren,die - neben der performanten Multipfad-Nutzung - in derLage sind, eine deutlich größere Anzahl von Knoten zuverbinden als das klassische Spanning Tree Protokoll. Diesentfaltet gerade bei der Verwendung von virtuellen LAN-Strukturen (VLAN) große Relevanz.

2 Realisierung der Spine-Leaf-Topologie durch Clos-Netze

Die Spine-Leaf-Topologie verbindet die Spine- und Leaf-Ebene durch eine volle Kreuzverbindung. Dies entsprichtdem Verbindungsschema der Clos-Netze, die Charles Closbereits 1953 vorgeschlagen hat [1]. Dieses Schema enthälteine volle Kreuzverbindung (Crossconnect), die alle Ein-gangskanäle auf alle Ausgangskanäle verbindet. In der Ab-bildung 3 ist eine 4x4 Crossconnect mit 4 Eingangskanälenund 4 Ausgangskanälen dargestellt.

Abbildung 3 In der 4x4 Crossconnect ist jeder der 4 Ein-gänge mit jedem der 4 Ausgänge verbunden.

Die intern benötigten Verbindungen Ni dieses Kreuzver-bindungsschemas skalieren quadratisch mit der Anzahl derEingangskanäle N.

Ni = N2 (1)

Diese internen Verbindungen erzeugen KreuzungspunkteNk innerhalb des Schemas, die mit wachsender Kanalan-zahl und der Anforderung von äquidistanten Verbindungen(Skew-Effekt) ein geometrisches Problem darstellen kön-nen. Die Anzahl dieser Kreuzungspunkte Nk lässt sich mitfolgender Beziehung berechnen.[3]

Nk =14·N2 · (N−1)2 (2)

Somit ist die Realisierung einer faseroptischen Kreuzver-bindung mit hoher Kanalanzahl nach wie vor eine geome-trische Herausforderung, da faseroptische Besonderheitenwie z.B. die maximalen Krümmungsradien beachtet wer-den müssen. Die Verhältnisse der internen Verbindungensowie Kreuzungspunkte in Bezug zur Kanalanzahl sind inder folgenden Tabelle dargestellt.

Kanalanzahl N int. Verbindun-gen Ni

Kreuzungen Nk

4 16 368 64 78412 144 435616 256 1440024 576 7617632 1024 246016

Tabelle 1 Skalierung der internen Verbindungen undKreuzungspunkte der Kreuzverbindung in Bezug zur Ka-nalanzahl

Äquidistante faseroptische Verbindungen sind primär imBoard-Level-Bereich für Datenraten im höheren Gb/s-Bereich erforderlich, um den sogenannten Skew-Effekt beiparallelen Leitungen zu vermeiden. Aufgrund der unter-schiedlichen Leitungslängen der parallelen Verbindungenund der resultierenden Laufzeitverzögerungen kann es insynchronisierten Systemen zu Übertragungsfehlern kom-men. Die folgende Beziehung stellt die Verhältnisse nähe-rungsweise für Glasfasern aus SiO2 dar.[4]

∆t∆L

=nc0

=5psmm

(3)

Die Signallaufzeit in SiO2-Fasern ergibt somit eine Lauf-zeitverzögerung von 5ps pro mm Weglängenunterschiedder Fasern. Das entspricht der Hälfte der Pulsweite eines10Gp/s Signals (NRZ).

3 3D-Matrixstecksystem zur Rea-lisierung kreuzungsfreier Cross-connects

Zur Lösung der Realisierung hochkanaliger faseroptischerKreuzverbindungen im Board- und Rack-Level-Bereichwird ein neuartiges 3D-Steckverbindungssystem vorge-schlagen, welches die Komplexität des Verbindungssche-mas durch Erweiterung in die dritte Dimension vermin-dert [4] Innerhalb dieses Steckverbindungssystems lassensich die entstehenden Faserkreuzungen der konventionel-len Crossconnect-Ausführungen durch die dritte Dimensi-on dahingehend entflechten, dass die die Eingangskanälein Spalten und die Ausgangskanäle in Zeilen einer quadra-tischen Matrix angeordnet sind [5]. In der Abbildung 4 istdas Schema für die 4x4 Kreuzverbindung dargestellt.Das Schema der Verbindungsmatrix zeigt, dass lediglicheine Rotation der Eingangsseite um 90 die erforderlicheVerbindungslogik auf der Ausgangsseite erzeugt. DieserFall gilt für den Board-Level-Bereich mit unidirektionalen

Abbildung 4 3D Crossconnect Stecksystem mit 4x4Kanälen. In jeder Ausgangszeile - der um 90 gedrehtenAusgangsebene - finden sich die entsprechenden Ein-gangskanäle des Kreuzverbindungsschemas wieder.

Verbindungen. Im Rack-Level-Bereich mit bidirektionalenVerbindungen über Tx- und Rx-Transceiver kann die erfor-derliche Verbindungslogik durch eine transponierte Matrixerzeugt werden.

Abbildung 5 Anwendungsbeispiel aus dem BereichHDTV media distribution

In der Abbildung 5 ist eine exemplarische Anwendung die-ser Kreuzverbindung aus dem Bereich „avionical mediadistribution (HDTV in Flight Entertainment Systemen)“dargestellt. Jedes Signal der Sendeeinheiten 0,1,2,3 ist aufjeder Empfangseinheit 0’,1’,2’,3’ verfügbar.

3.1 Fertigungsaspekte des Matrixstecksys-tems

Die geometrische Genauigkeit der Fertigung eines fa-seroptischen Stecksystems hat direkten Einfluss auf dieDämpfung des Übertragungssystems. In Abbildung 6 sinddiese geometrischen Faktoren und ihre Auswirkungen hin-sichtlich der Koppeldämpfung visualisiert. Die laterale,longitudinale und radiale Ungenauigkeit in der Fertigungwirkt sich direkt auf die Dämpfung aus.Dieser Einfluss der Fertigungsgenauigkeit auf die Dämp-fung kann durch folgende Beziehungen berechnet werden.

alat [dB] =−10log(

1− 2∆rπR· g+2

g+1

)(4)

along[dB] =−10log(

1−G · NA ·∆zn0R

)(5)

Abbildung 6 Geometrische Faktoren der Koppeldämp-fung in faseroptischen Übertragungssystemen

arad [dB] =−10log(

∆Θ√2π∆n

· Γ(2/g+2)Γ(2/g+3/2)

)(6)

Die Koppeldämpfung ist direkt von der Fertigungsgenau-igkeit bzw. dem resultierenden Faserversatz und den op-tischen Eigenschaften der Faser abhängig, die detaillier-ten Parameter und Zwischenrechnungen der dargestelltenBeziehungen sind der Literatur [6] zu entnehmen. In ei-ner prototypischen Entwicklung des Matrixstecksystemsin Zusammenarbeit mit der Euromicron-Werkzeuge GmbHwurden Dämpfungswerte im Bereich zwischen 0,4 und 1,2dB erzielt. Die hierzu erforderliche Genauigkeit der erfor-derlichen Bohrungen zur Konfektionierung der Multimo-defasern betrug +-3µm.In der Abbildung 7 ist die prototypische Realisierung des4x4 Matrixstecksystems mit MMF dargestellt.

Abbildung 7 Prototypische Realisierung eines Matrix-stecksystems 4x4

Das Strahlprofil zur Bewertung der Qualität der Konfek-tionierung innerhalb der Matrix wurde per UV-Laser in derangekoppelten Fluoreszenzschicht visualisiert. Das Beam-forming der Auskoppelebene der Abbildung 8 zu entneh-men.Aktuell sind Matrixstecksystem mit einer Kanalkapazitätvon 12x12 realisierbar, wie die prototypische Implemen-tierung in Form einer Matrix mit Bündchenfasern (Fiber-bundles) zeigt. Die Ausgangs-Faserbündchen enthalten ge-

Abbildung 8 Visualisierung des MMF-Beamformings inder Auskoppelebene der Fasermatrix

mäß dem Kreuzverbindungsschema alle Signale der Faser-bündchen der Eingangsseite.

Abbildung 9 Prototypische Realisierung eines Ma-trixstecksystems 12x12 mit Fiberbundles (Hersteller:Euromicron-Werkzeuge GmbH)

3.2 Realisierung der Spine-Leaf-Architektur auf der Rack-Level-Ebene

Auf der Rack-Level-Ebene existieren, im Vergleich zurBoard-Level-Ebene, i.d.R. komfortablere geometrischeVerhältnisse aufgrund des 19“-Rack-Standards. Allerdingserzeugen die erforderlichen Kreuzverbindungen der Spine-Leaf-Architektur hier massive Zusatzaufwände bei derInstallation und Dokumentation sowie bei der Erweiterungder RZ-Infrastruktur.

In Abbildung 10 ist ein Steckschema zur Realisierungeines zentralen, bidirektionalen Kreuzverbindungselemen-tes in Form einer transponierten Steckmatrix für Tx- undRx- Kanäle dargestellt. Hierdurch lässt sich jeder Knoten(Tx/Rx) mit jedem anderen Knoten (Tx/Rx) verbinden. Esexistieren - im Vergleich zum bisherig dargestellten Cross-Connect - keine Ein- und Ausgangskanäle mehr, sondern

vielmehr gleichberechtigte Endknoten, die über Tx- undRx-Kanäle angeschlossen werden.

Abbildung 10 Schema eines bidirektionalen Kreuzver-bindungselementes für die Rack-Level-Ebene in Formeiner transponierten Steckmatrix mit Tx- und Rx-Kanälen

Diese zentralen Kreuzverbindungselemente mit trans-ponierten Tx- und Rx-Kanälen ermöglichen eine völligflexible Handhabung der Endknoten in dem Sinne, dasssowohl Spine- als auch Leaf-Elemente nachträglichangeschlossen werden können, ohne die Funktion (bzw.die entsprechende interne Verbindung) vorher kennen undberücksichtigen zu müssen.

Seit kurzem sind hier kommerzielle Lösungen erhältlich,die die Komplexität der Verbindungen des Mesh-Layersder Spine-Leaf-Architektur in einem zentralen Device kap-seln. So bietet die Firma FiberCon GmbH in Koopera-tion mit der Firma LWL-Sachsenkabel GmbH mit demCrossCon R©eine zentrale Mesh-Layer-Komponente an, diedie Erweiterung einer Spine-Leaf-Architektur dahinge-hend vereinfacht, dass eine flexible (zeitlich spätere) An-bindung zusätzlicher Knoten an das Netzwerk mühelosmöglich ist, ohne die erforderlichen internen Verbindungenherstellen zu müssen. Die Abbildung 11 stellt das Schemadar.

Abbildung 11 Realisierung des Mesh Layers durch einezentrale CrossCon R©Komponente

In dem Schema sind alle erforderlichen Kreuzverbindun-

gen bereits in der Zentralkomponente enthalten, um spä-tere Änderungen der Topologie flexible durchführen zukönnen. Der Anschluss an die Zentralkomponente erfolgtmittels Trunk-Leitungen, die eine parallele Verbindung zuden angeschlossenen Spine- bzw. Leaf-Switchen realisie-ren, ohne zusätzliche Leitungskreuzungen zu erzeugen.

Abbildung 12 Die zentrale CrossCon R©-Komponente fürden Mesh-Layer als Rackeinschub der Firma FiberConGmbH

Die Steckverbindungselemente des CrossCon R©sind alsURM- oder MPO-Variante erhältlich weisen eine interneDämpfung von max. 0,5 dB auf . Die Zentralkomponenteist aktuell in den Konfigurationen 8x8, 12x12 und 16x16erhältlich.Mit der 8x8 Variante des CrossCon R©lassensich unterschiedliche Konfigurationen erzeugen, wie. z.B.Verbindungen von 3x Spine auf 5x Leaf bzw. 4x Spine auf5x Leaf usw.

Zum modularen Einsatz kommerzieller Mesh-Komponenten, z.B. das Ersetzen einer 8x8 Komponentedurch mehrere 4x4 Komponenten gilt die Umrechnung aufBasis der internen Verbindungen aus Tabelle 1, d.h. die 64internen Verbindungen der 8x8 Komponente werden durch4 Module mit 4x4=16 internen Verbindungen realisiert.Auf Basis der Berechnungen aus Tabelle 1 bedeutet dies,dass eine 12x12 CrossCon-Komponente durch 9Stk. und16x16 durch 16Stk. 4x4-Modulen ersetzt würden.

Der Hersteller FiberCon GmbH empfiehlt die di-rekte Investition in eine hohe Kanalanzahl derCrossCon R©Zentralkomponente, ein späterer Austauschbei Anwachsen der Spine-Leaf-Topologie ist allerdingsebenfalls möglich.

Untersuchungen der Firma Corning Inc. zur Amortisati-on zentraler Mesh-Komponenten in der Main DistributionArea (MDA) der Spine-Leaf-Architektur liefern Ergebnis-se in der Art, dass die Verbindungskosten um 45% im Ver-gleich zu Einzelkomponenten reduziert sowie Platzeinspa-rungen mit zentralen Mesh-Komponenten in der MDA um75% im Vergleich zu Einzelverbindungen erzielt werden[7].

4 Literatur

[1] C. Clos, „A study of non-blocking switching net-works“, Bell System Technical Journal, 1953

[2] Cisco Inc., „Cisco Data Center Spine-and-LeafArchitecture: Design Overview“, Onlinequelle(https://www.cisco.com/c/en/us/products/collateral/switches/nexus-7000-series-switches/white-paper-c11-737022.pdf),2016

[3] A. Dias, R. Kalman, J. W. Goodman, A. A. Sawchuk,“Fiber-optic crossbar switch with broadcast capabili-ty” , Optical Engineering 27(11) 955-960, Nov. 1988

[4] M.Gruber, J.Jahns, E.M. El Jourdi and S.Sinzinger,“Practical realization of massively fiber free-spaceoptical interconnects”, Appl. Opt. 40, pp.1602-1605,2001

[5] D. Baudet, B.Braux, O.Prieur, R. Hughes,M.Wilkinson, K.Latunde-Dada, J. Jahns, U.Lohmann,D.Fey, N.Korafolas; “Innovative On Board PayloadOptical Architecture for High Throuput Satellites”,Proccedings International Conference on SpaceOptics, 2010

[6] E.Brinkmeyer „Optische Fasern: Grundlagen“, in „Op-tische Kommunikations-Technik“ , Springer Verlag,2002

[7] M. Keskin, “Cabling the spine- and leaf networkswitch fabric” , Journal of Cabling Installation Main-tanance, April 2017