Center for Information Services and High Performance Computing (ZIH)

Theorie und Einsatz von Verbindungseinrichtungen inparallelen Rechnersystemen

Statische Verbindungsnetzwerke

04. Juni 2010

Andy Georgi

INF 1046Nothnitzer Straße 4601187 Dresden

0351 - 463 38783

m

Foliensatz

Verfugbarkeit der Folien

Vorlesungswebseite:http://tu-dresden.de/die_tu_dresden/zentrale_einrichtungen/

zih/lehre/ss2010/tevpr

2/47

Agenda

1 Einfuhrung

2 Vollstandige Vermaschung

3 Stern

4 Ring

5 Gitter

6 Baum

7 Cube

8 Literaturverzeichnis

3/47

Agenda

1 Einfuhrung

4/47

Einfuhrung I

Kommunikation zwischen Knoten uber feste Verbindungsleitungen wie inKapitel 2 beschrieben

Kosten beschranken sich auf Hardware-Unterstutzung in den Knoten undLeitungen

Beschreibung der topologischen Verbindungsstrukturen mittelsVerbindungsfunktionen

5/47

Einfuhrung II

Verbindungsfunktion

Verfugt ein Knoten A uber eine Verbindungsfunktion f (A), so werden beiAusfuhrung dieser Funktion Daten vom Knoten A zu Knoten f (A) = Btransferiert.

6/47

Einfuhrung III

Verbindungsfunktionen in SIMD-Systemen:

Alle aktiven PEs fuhren die gleiche Verbindungsfunktion ausPassive PEs senden keine Daten, konnen allerdings Daten empfangenDatenverlust moglich

Verbindungsfunktionen in MIMD-Systemen:

Befehlsverarbeitung erfolgt unabhangig voneinanderI.d.R. Zwischenpufferung der Daten

7/47

Agenda

2 Vollstandige Vermaschung

8/47

Vollstandige Vermaschung

Dedizierte Verbindungen von jedem Knoten zu jedem anderen Knoten

Interne Konflikte ausgeschlossen

Beschrankung der maximal erzielbaren Kommunikationsleistung erfolgtausschließlich durch die technische Realisierung

9/47

Agenda

3 Stern

10/47

Stern

Master-Slave-Architektur

Verbindungsaufbau erfolgt uber zentralen Knoten (Master)

Effizient bei Multicast-Operationen oder Prozesssynchronisation

11/47

Agenda

4 RingKlassische Ring-TopologieChordaler RingToken-RingRegister-Insertion-RingScalable Coherent Interface

12/47

Klassische Ring-Topologie

Verbindungsfunktionen in einem bidirektionalen Ring:

ring+ = (P + 1) mod Nring− = (P − 1) mod N

Ein unidirektionaler Ring implementiert nur eine der beidenVerbindungsfunktionen

Keine Zugriffsbeschrankungen

13/47

Chordaler Ring

Ziel: Reduzierung des Durchmessers und der mittleren Weglange

Umsetzung: Einfugen zusatzlicher Verbindungen, sog. Chords

Die Chord-Lange C bezeichnet den Abstand der verbundenen Knoten

Ein Chordaler Ring nach Arden und Lee [ArL81] enthalt stets einegerade Anzahl von Knoten und vier Verbindungsfunktionen:

ring+1 = (P + 1) mod Nring−1 = (P − 1) mod Nring+C = (P + C ) mod N, wenn P ungeradering−C = (P − C ) mod N, wenn P gerade

14/47

Token-Ring

Zugangsregelung mit Hilfe von Token

Ablauf im IEEE 802.5 Token-Ring-Protokoll standardisiert:

1 Sender wartet auf Free-Token2 Umwandlung in Busy-Token, welches zusammen mit den zu sendenden

Daten an den Ring ubergeben wird3 Weiterleitung der Nachricht entsprechend der Verbindungsfunktion4 Entfernung der Nachricht vom Netz durch den Quellknoten5 Freigabe des Tokens nach der vollstandigen Ubertragung der Nachricht

15/47

Register-Insertion-Ring

EP AP

Schieberegister

PE 0

EP AP

Schieberegister

PE 1

Abbildung: Register-Insertion-Ring mit zwei Knoten

16/47

Scalable Coherent Interface

Prozessor

Dekoder RingpufferVorgänger

Nachfolger

Empfangs-puffer

Sende-puffer

PE n

Abbildung: Blockschaltbild eines SCI-Knotens

17/47

Agenda

5 GitterMesh-NetzTorusIlliac-Netz

18/47

Zweidimensionale Gitter

Verteilung der Knoten auf MR Reihen und MS Spalten

Unterscheidung zwischen offenem und geschlossenem Gitter

Befindet sich der betrachtete Knoten in Reihe k auf Spalte j , so ergibtsich sein Index I aus

IH = j + MS ∗ k bei horizontaler, bzw.IV = k + MR ∗ j bei vertikaler Zahlrichtung

19/47

Mesh-Netz

Offenes Gitter mit horizontalen und vertikalen Verbindungen der direktenNachbarn

Implementiert vier Verbindungsfunktionen:

meshright (IH) = (j + 1) + MS ∗ kmeshleft (IH) = (j − 1) + MS ∗ kmeshdown (IH) = j + MS ∗ (k + 1)meshup (IH) = j + MS ∗ (k − 1)

20/47

Torus

Geschlossenes Gitter mit horizontalen und vertikalen Verbindungenzwischen Randknoten einer Reihe bzw. Spalte

Verbindungsfunktionen:

torusright (IH) = ((j + 1) mod MS) + MS ∗ ktorusleft (IH) = ((j − 1) mod MS) + MS ∗ ktorusdown (IH) = j + MS ∗ ((k + 1) mod MR)torusup (IH) = j + MS ∗ ((k − 1) mod MR)

21/47

Illiac-Netz I

Benannt nach dem Rechner Illiac-IV [BoD72], welcher diese Topologieimplementierte

Geschlossenes Gitter mit folgenden Eigenschaften:

Vertikale und horizontale Verbindungen zu den direkten NachbarnVerbindung der Randknoten einer SpalteVerbindung des Endknotens einer Reihe mit dem Anfangsknoten dernachfolgenden Reihe

22/47

Illiac-Netz II

Verbindungsfunktionen:

illiacright (IH) = ((j + 1) + MS ∗ k) mod Nilliacleft (IH) = ((j − 1) + MS ∗ k) mod Nilliacdown (IH) = (j + MS ∗ (k + 1)) mod Nilliacup (IH) = (j + MS ∗ (k − 1)) mod N

23/47

Agenda

6 BaumBinarbaumek-fache BaumeRing-erweiterte BaumeHypertreeFat-Tree

24/47

Baumstrukturen

DefinitionAus graphentheoretischer Sicht handelt es sich bei einem Baum um einenungerichteten zusammenhangenden azyklischen Graphen. Dabei ist dieserdurch eine Wurzel gekennzeichnet, von der keine, eine oder mehrere Kantenausgehen. Die Kanten verbinden die Wurzel mit ihren Kindsknoten, wobei essich entweder um Blatter - d.h. Knoten ohne weiterfuhrende Kanten - oderrekursiv um Wurzeln weiterer Baume handelt. Die Tiefe T eines Baumesentspricht der maximalen Anzahl von Kanten, welche durchlaufen werdenmussen, um von der Wurzel zu einem Blatt zu gelangen.

25/47

Binarbaume I

DefinitionDie Wurzel eines Binarbaumes besitzt stets einen rechten und einen linkenKindsknoten. Dabei handelt es sich entweder um ein Blatt oder die Wurzeleines weiteren Teilbaumes, welcher wiederum einem Binarbaum entspricht. Istzudem die Entfernung von der Wurzel zu allen Blattern identisch, so sprichtman von einem vollstandigen Binarbaum.

26/47

Binarbaume II

Ein Knoten mit dem Index I kann in einem vollstandigen Binarbaumfolgende Verbindungsfunktionen ausfuhren:

childright (I ) = 2I ; wenn I kein Blattchildleft (I ) = 2I + 1 ; wenn I kein Blattparent (I ) = bI/2c ; wenn I nicht der Wurzel entspricht

27/47

k-fache Baume

Ziel: Reduzierung des Durchmessers bei gleichbleibender Knotenzahl

Losung: Reduzierung der Tiefe

Umsetzung: Erhohung der erlaubten Anzahl von Kindern pro Knoten

28/47

Ring-erweiterte Baume

Erweiterung des Baumes um horizontale Verbindungsleitungen

Verbindung der Blattebene mit Hilfe einer Ring-Topologie ergibtvollstandig verknupften Binarbaum [HoZ81]

Durch Anwendung der Ring-Erweiterung auf alle Ebenen entsteht einBinarbaum mit vollstandigen Ringverbindungen [HoZ81]

29/47

Hypertree I

Hamming-Distanz

Als Hamming-Distanz H wird die minimale paarweise Stellendistanz einesCodes definiert [Ham86]. Die Stellendistanz d(x,y) bezeichnet dabei die Anzahlder Stellen, in denen sich zwei gleich lange Worter x und y unterscheiden. FurWorter unterschiedlicher Lange ist die Stellendistanz hingegen nicht definiert.

30/47

Hypertree II

Grundlage bildet ein vollstandiger Binarbaum

Verbindung der Knoten A und B einer Ebene, wenn H(A,B) = 1

Unterscheidung zwischen Hypertree I und Hypertree II [Goo81]

31/47

Beispiel

000001

000010

000100

001000

010000

100000 100001

010001

100010 100011

001001

010010

100100 100101

010011

100110 100111

000101

001010

010100

101000 101001

010101

101010 101011

001011

010110

101100 101101

010111

101110 101111

000011

000110

001100

011000

110000 110001

011001

110010 110011

001101

011010

110100 110101

011011

110110 110111

000111

001110

011100

111000 111001

011101

111010 111011

001111

011110

111100 111101

011111

111110 111111

Abbildung: Hypertree mit 63 Knoten veteilt auf sechs Ebenen

32/47

Fat-Tree

Erhohung der verfugbaren Datenrate in Richtung der Wurzel [Lei85]

Beibehaltung des Routingalgorithmus und wesentlicher Eigenschaftender ursprunglichen Baumstruktur

33/47

Agenda

7 CubeKlassisches Cube-NetzTwisted Cube-NetzCrossed Cube-NetzEnhanced HypercubeFolded HypercubeIncomplete Hypercubes

34/47

Klassisches Cube-Netz I

Hamming-Distanz

Das klassische Cube-Netz besteht aus N = 2n Knoten, wobei n auchals Dimension bezeichnet wird. Zwei Knoten A und B sind jeweils dannmiteinander verbunden, wenn H(A,B) = 1.

35/47

Klassisches Cube-Netz II

Per Definition verfugt in einem klassischen Cube-Netz jeder Knotenuber n Ein- und Ausgange

Entsprechend ist auch die Implementierung von n Verbindungsfunktionennotwendig:

cubek(bn−1bn−2...bk ...b1b0) = bn−1bn−2...bk ...b1b0, mit 0 ≤ k < n

36/47

Twisted Cube-Netz

Umstrukturierung vorhandener Verbindungsleitungen zur Reduzierungdes Durchmessers

Vorgehensweise [EsN91]:

1 Auswahl eines Zyklus uber vier Knoten a, b, c, d ∈ V in einem klassischenCube-Netz

2 Bestimmung zweier Kanten {a, b}, {c, d} ∈ E aus diesem Zyklus, welchenicht uber einen Knoten miteinander verbunden sind

3 Ersetzung der gewahlten Kanten: ϕ({a, b}, {c, d}) = {a, c}, {b, d}

37/47

Crossed Cube-Netz I

Definition

Als CQn wird ein n-dimensionales Crossed Cube-Netz [Efe92] bezeichnet. CQ1

besteht aus zwei miteinander verbundenen Knoten. Ist n > 1 so wird CQn

aus den beiden Subnetzen CQ0n−1 und CQ1

n−1 gebildet, indem die Knotenu = 0un−2...u0 und v = 1vn−2...v0 mit u ∈ CQ0

n−1 und v ∈ CQ1n−1 genau

dann miteinander verbunden werden wenn gilt:

1 un−2 = vn−2, falls n gerade ist, und

2 u2i+1u2i ∼ v2i+1v2i , fur alle i mit 0 ≤ i < b(n − 1)/2c

38/47

Crossed Cube-Netz II

Paarweise VerwandtschaftZwei binare Sequenzen x = x1x0 und y = y1y0 werden als paarweise verwandtbezeichnet, wenn (x , y) ∈ {(00, 00), (10, 10), (01, 11), (11, 01)}. Sind x und ypaarweise miteinander verwandt so schreibt man x ∼ y , andernfalls x � y .

39/47

Enhanced Hypercube

Definition

In einem Enhanced Hypercube [TzW91] der Ordnung ω, mit 0 ≤ ω < n − 1,werden gegenuber der klassischen Cube-Topologie Verbindungsleitungenzwischen allen Knotenpaaren

{(xn−1 ... xn−ω xn−ω−1 ... xi ... x0), (xn−1 ... xn−ω xn−ω−1 ... xi ... x0)}

hinzugefugt.

40/47

Folded Hypercube

Spezialfall des Enhanced Hypercubes der Ordnung ω = 0 [ElL91]

Erweiterung um N/2 Verbindungsleitungen zwischen Knoten mit dermaximalen Hamming-Distanz

Reduzierung des Durchmessers auf dn/2e

41/47

Incomplete Hypercubes

Erweiterung der bisher vorgestellten Cube-Topologien um eineDimension erfordert eine Verdopplung der Knotenzahl

Incomplete Hypercubes lassen eine beliebige Knotenanzahl zu

Eingrenzung auf Netze, welche aus zwei vollstandigen Cube-Netzenunterschiedlicher Große 2n und 2k bestehen [TzC92]

42/47

Agenda

8 Literaturverzeichnis

43/47

Literaturverzeichnis I

[IE1596] David B. Gustavson, Qiang LiThe Scalable Coherent Interface (SCI), Santa Clara University 1996.http://userweb.cs.utexas.edu/users/dburger/teaching/

cs395t-s08/papers/9_sci.pdf

[ArL81] B. W. Arden, H. LeeAnalysis of chordal ring networks, Apr 1981.IEEE Transactions on Computers, Band C-30, Nr. 4, S. 291-295

[Dot84] K. W. DotyNew designs for dense processor interconnection networks, May 1984.IEEE Transactions on Computers, Band C-33, Nr. 5, S. 447-450

[BoD72] W. J. Bouknight, S. A. Denenberg, D.E. McIntyre, J. M.Rundall, A. H. Sameh, D.L. SlotnickThe Illiac IV system, Apr 1972.Proceedings of the IEEE, Band 60, Nr. 4, S. 369-388

44/47

Literaturverzeichnis II

[HoZ81] E. Horowitz, A. ZoratThe binary tree as an interconnection network: Applications tomultiprocessor system and VLSI, Apr 1981IEEE Transactions on Computers, Band C-30, Nr. 4, S. 247-253

[Ham86] R. W. HammingCoding and Information Theory, Jan 1986Prentice Hall, ISBN-13: 978-0131390720

[Goo81] J. R. Goodman, C. H. SequinHypertree – A multiprocessor interconnection topology, Apr 1981Computer Sciences Technical Report #427

[Lei85] C. E. LeisersonFat-Trees: Universal networks for hardware-efficient supercomputing, Oct1985IEEE Transactions on Computers, Band C-34, Nr. 10, S. 892-901

45/47

Literaturverzeichnis III

[EsN91] A.-H. Esfahanian, L. M. Ni, B. E. SaganThe twisted N-cube with application to multiprocessing, Jan 1991IEEE Transactions on Computers, Band C-40, Nr. 1, S. 88-93

[Efe92] K. EfeThe crossed cube architecture for parallel computation, Sep 1992IEEE Transactions on Parallel and Distributed Systems, Band 3, Nr. 5,S. 513-524

[TzW91] N.-F. Tzeng, S. WeiEnhanced Hypercubes, Mar 1991IEEE Transactions on Computers, Band C-40, Nr. 3, S. 284-294

[ElL91] A. El-Amawy, S. LatifiProperties and performance of folded hypercubes, Jan 1991IEEE Transactions on Parallel and Distributed Systems, Band 2, Nr. 1,S. 31-42

46/47

Literaturverzeichnis IV

[Kat88] H. P. KatseffIncomplete hypercubes, May 1988IEEE Transactions on Computers, Band C-37, Nr. 5, S. 604-608

[TzC92] N.-F. Tzeng, H.-L. ChenAn effective approach to the enhancement of incomplete hypercubecomputers, Feb 1992Journal of Parallel and Distributed Computing, Band 14, Nr. 2, S.163-174

47/47