VMI 2 - Technische Universität Chemnitz · PDF fileJuli 2002 Technische Universität...

Technische Universität Chemnitz

VMI 2.0(NCSA - National Center for Supercomputing Applications)

Frank [email protected]

Juli 2002 Technische Universität Chemnitz 1

Inhalt

•Problemstellung (Wozu VMI 2.0?)

•Aufbau und Funktionsweise

•Testergebnisse

•Zukünftige Arbeit


Problemstellung

•SANs werden immer grösser

•SANs schliessen sich zu grösseren Rechenplattformen zusammen --> Grids entstehen

3 Hauptprobleme ergeben sich:

Verfügbarkeit

Ausfall vonNetzgeräten

Nutzbarkeit

verschiedeneNetztechniken(GigE, SCI,...)

Verwaltbarkeit

Finden und Isolierenvon problematischen

Komponenten


Problemstellung(2)

Historie:

•Myrinet, Giganet und GigE sind immer mehr zu Standardnetzen im Workstation-Cluster-Bereich geworden.

•Flaschenhals war nun die Messaging Software

•Durch Entwicklungen wie Fast Messages, Active Messages und U-Net u.a., ist man nah an die Hardwaregeschwindigkeit gekommen.

--> Nächste Herausforderung ist nun die Lösung der 3 Hauptprobleme(Verfügbarkeit, Nutzbarkeit und Verwaltbarkeit)


Problemstellung(3)

•Grids im Gegensatz zu SANs meist heterogen, damit schwierig nutzbar

•Durch inhärente Skalierbarkeit ist aber enorme Rechenleistung machbar

•Globus und Legion bieten Dienste an zur Arbeit im Grid (Authentifizierung, Directory und Naming Services...)

•Diese stützen sich auf low-level Kommunikationsschichten (gewöhnlich Sockets über IP)


Problemstellung(4)


Problemstellung(5)

VMI muss Interface-spezifische Komm.-details wissen:

•Flusskontrolle

•Buffermanagement

•Paketisierung

•Fehlererkennung

•Nachrichtenfolge


Problemstellung(6)

•VMI 1.0 war erster Versuch verschiedene Interfaces zu vereinheitl ichen

•MPI-Applikationen sollten binär-portabel sein

•grundlegende Netzabstraktion war Punkt-zu-Punkt Kommunikation

•Interface-spezifische Details in dynamisch nachladbaren Modulen gehandhabt

•In maschinenspezifischer Konfigurationsdatei werden alle benötigten Interfaces angegeben

•bestes Device wurde für Kommunikation ausgewählt


Problemstellung(7)

Mängel bei VMI 1.0:

•Deviceauswahl nur zur Prozessinitialisierung

•Benutzung nur eines Devices

•kein remote monitoring und management

•es wurde nur für SANs und parallele Programme entworfen

•TeraGrid-Projekt erfordert Messaging-Layer der:v eff izient über Wide Area Verbindungen und SANs arbeitetv mit dynamischen Client/Server sowie auch mit peer-to-peer Kommunikationsmodellen umgehen kann


Aufbau und Funktionsweise

•VMI 2.0 behält Multi-Netzwerk Unterstützung von VMI 1.0 (ansonsten komplettes Redesign)

Die folgenden Features sollen die 3 Hauptprobleme angehen:

•Kanalbündelung homogener und heterogener Netzwerke•Failover-Fähigkeit•Skalierbarkeit auf tausende Knoten•dynamische Feature-Konfiguration•Portabil ität•Remote Monitoring•Remote Management•Unterstützung von parallelen und verteil ten Rechenmodellen

!!Die Features dürfen nicht zu erheblichen Leistungseinbußen führen!!


Aufbau und Funktionsweise(2)

•implementiert als User-level Messaging-Layer plus eine Anzahl daemons

•Basisarchitektur nach Vorbild von MS Windows NT Kernel

Designdetails:

•IRB Verarbeitungsmodell

•Datenmodell

•VMI 2.0 Kern

•Daemons


Aufbau und Funktionsweise(3) - IRBs

•VMI 2.0 devices werden in Ketten angeordnet (Sende-Kette, Empfangs-Kette,...)

•Nachrichten und Kontrollbefehle werden mittels I/O Request Blocks (IRB) zu den Devices transportiert

•Devices können Nachrichten modifizieren, Header anfügen/entfernen oder einfach weiterleiten

•letztes Device beim Senden (sink-device) hat 2 Möglichkeiten bei der Verarbeitung:

v IRB sofort verarbeiten und abschliessenv IRB in pend-Zustand bringen und asynchron so schnell wie möglich abschliessen


Aufbau und Funktionsweise(4) - IRBs


Aufbau und Funktionsweise(5) -Datenmodell

•Daten werden unter Ausnutzung verschiedener Datenstrukturen gekapselt:


Aufbau und Funktionsweise(6) - Kern

•Vorbild NT - Kernel(für unterschiedliche Aufgaben gibt es jeweils einen Manager)

•Device Manager läd/entläd devices•Chain Manager ordnet die devices in Ketten an (Sende/Empfangs -Kette)•Connection Manager richtet Verbindung zu Prozess ein•Buffer Manager: Daten werden mit Buffern und buffer ops assoziiert•buffer ops werden mit Slab Manager in einen Slab gebracht•Aufruf des Stream Managers zum Senden der Daten, ein IRB wird erzeugt (I/O Man.) und an erstes Device gesendet•Durchlaufen aller devices bis zum sink-device, Einspeisung ins Netz•Empfang der Nachricht auf der Gegenseite


Aufbau und Funktionsweise(7) -Daemons

•dienen für remote monitoring und management

•ermöglicht User und Admin die Kontrolle von Applikationen und Computern

•da Skalierbarkeit ein wesentliches Merkmal darstell t, sollten die Überwachungsmöglichkeiten dem angepasst sein

•Daemons sind hierarchisch gegliedert:v VMIeyes (pro Knoten)v Reaper (pro SAN)v Nark (pro Grid)

•monitoring Bibliothek ist Back End, verschiedene Front Ends können darauf aufsetzen (Yama)


Testergebnisse

•Evaluierung soll zeigen, dass:v VMI‘ s Flexibili tät nicht auf Kosten der Leistung erreicht wirdv die 3 Hauptprobleme (Verfügbarkeit, Nutzbarkeit und Verwaltbarkeit) verbessert werden können ohne übertriebenen Leistungsverlustv die Wahl der Architektur (nach Win NT) richtig ist

•Problem einer einigermaßen repräsentativen Testaufstellung

Testumgebung: Cluster mit 1GHz x86 CPUs, Myrinet und GigE. Als devices kommen GM+Myrinet (source/sink device) und Transfer device (Failover und Datastriping) zum Einsatz


Testergebnisse(2)


Testergebnisse(3)

• Um Kommunikations-Flaschenhälse zu finden, wurde folgende Zeitl inie gemessen


Zukünft ige Arbeit

•durch die extreme Flexibilität (nachladbare devices) kann jeder etwas beisteuern

v z.B. neue devices für Kompression, QoS,...

•Es könnte untersucht werden wie Grid basiertes Computing mit asymmetrischen Übertragungstechniken läuft (ADSL, Cable Modem..)

•Neue IRB-Typen für mehr Funktionali tät (barriers, multicast..)

•Weitere Forschung bei Datastriping nötig um effizient zu sein


Literatur

•VMI 2.0: A Dynamically Reconfigurable Messaging Layer for Availabili ty, Usabili ty and Management (Scott Pakin und Avneesh Pant)

•VMI: An Efficient Messaging Library for Heterogenous Cluster Communication (Avneesh Pant, Sudha Krishnamurthy, Rob Pennington, Mike Showerman, Quian Liu)

•Inside Microsoft Windows 2000 Third Edition (David Solomon und Mark E. Russinovich)


??Noch Fragen??

VMI 2 - Technische Universität Chemnitz · PDF fileJuli 2002 Technische Universität...

Documents

Transcript of VMI 2 - Technische Universität Chemnitz · PDF fileJuli 2002 Technische Universität...