vmi 2 - technische universität chemnitz · pdf filejuli 2002 technische universität...
TRANSCRIPT
Technische Universität Chemnitz
VMI 2.0(NCSA - National Center for Supercomputing Applications)
Frank [email protected]
Juli 2002 Technische Universität Chemnitz 1
Inhalt
•Problemstellung (Wozu VMI 2.0?)
•Aufbau und Funktionsweise
•Testergebnisse
•Zukünftige Arbeit
Juli 2002 Technische Universität Chemnitz 2
Problemstellung
•SANs werden immer grösser
•SANs schliessen sich zu grösseren Rechenplattformen zusammen --> Grids entstehen
3 Hauptprobleme ergeben sich:
Verfügbarkeit
Ausfall vonNetzgeräten
Nutzbarkeit
verschiedeneNetztechniken(GigE, SCI,...)
Verwaltbarkeit
Finden und Isolierenvon problematischen
Komponenten
Juli 2002 Technische Universität Chemnitz 3
Problemstellung(2)
Historie:
•Myrinet, Giganet und GigE sind immer mehr zu Standardnetzen im Workstation-Cluster-Bereich geworden.
•Flaschenhals war nun die Messaging Software
•Durch Entwicklungen wie Fast Messages, Active Messages und U-Net u.a., ist man nah an die Hardwaregeschwindigkeit gekommen.
--> Nächste Herausforderung ist nun die Lösung der 3 Hauptprobleme(Verfügbarkeit, Nutzbarkeit und Verwaltbarkeit)
Juli 2002 Technische Universität Chemnitz 4
Problemstellung(3)
•Grids im Gegensatz zu SANs meist heterogen, damit schwierig nutzbar
•Durch inhärente Skalierbarkeit ist aber enorme Rechenleistung machbar
•Globus und Legion bieten Dienste an zur Arbeit im Grid (Authentifizierung, Directory und Naming Services...)
•Diese stützen sich auf low-level Kommunikationsschichten (gewöhnlich Sockets über IP)
Juli 2002 Technische Universität Chemnitz 5
Problemstellung(4)
Juli 2002 Technische Universität Chemnitz 6
Problemstellung(5)
VMI muss Interface-spezifische Komm.-details wissen:
•Flusskontrolle
•Buffermanagement
•Paketisierung
•Fehlererkennung
•Nachrichtenfolge
Juli 2002 Technische Universität Chemnitz 7
Problemstellung(6)
•VMI 1.0 war erster Versuch verschiedene Interfaces zu vereinheitl ichen
•MPI-Applikationen sollten binär-portabel sein
•grundlegende Netzabstraktion war Punkt-zu-Punkt Kommunikation
•Interface-spezifische Details in dynamisch nachladbaren Modulen gehandhabt
•In maschinenspezifischer Konfigurationsdatei werden alle benötigten Interfaces angegeben
•bestes Device wurde für Kommunikation ausgewählt
Juli 2002 Technische Universität Chemnitz 8
Problemstellung(7)
Mängel bei VMI 1.0:
•Deviceauswahl nur zur Prozessinitialisierung
•Benutzung nur eines Devices
•kein remote monitoring und management
•es wurde nur für SANs und parallele Programme entworfen
•TeraGrid-Projekt erfordert Messaging-Layer der:v eff izient über Wide Area Verbindungen und SANs arbeitetv mit dynamischen Client/Server sowie auch mit peer-to-peer Kommunikationsmodellen umgehen kann
Juli 2002 Technische Universität Chemnitz 9
Aufbau und Funktionsweise
•VMI 2.0 behält Multi-Netzwerk Unterstützung von VMI 1.0 (ansonsten komplettes Redesign)
Die folgenden Features sollen die 3 Hauptprobleme angehen:
•Kanalbündelung homogener und heterogener Netzwerke•Failover-Fähigkeit•Skalierbarkeit auf tausende Knoten•dynamische Feature-Konfiguration•Portabil ität•Remote Monitoring•Remote Management•Unterstützung von parallelen und verteil ten Rechenmodellen
!!Die Features dürfen nicht zu erheblichen Leistungseinbußen führen!!
Juli 2002 Technische Universität Chemnitz 10
Aufbau und Funktionsweise(2)
•implementiert als User-level Messaging-Layer plus eine Anzahl daemons
•Basisarchitektur nach Vorbild von MS Windows NT Kernel
Designdetails:
•IRB Verarbeitungsmodell
•Datenmodell
•VMI 2.0 Kern
•Daemons
Juli 2002 Technische Universität Chemnitz 11
Aufbau und Funktionsweise(3) - IRBs
•VMI 2.0 devices werden in Ketten angeordnet (Sende-Kette, Empfangs-Kette,...)
•Nachrichten und Kontrollbefehle werden mittels I/O Request Blocks (IRB) zu den Devices transportiert
•Devices können Nachrichten modifizieren, Header anfügen/entfernen oder einfach weiterleiten
•letztes Device beim Senden (sink-device) hat 2 Möglichkeiten bei der Verarbeitung:
v IRB sofort verarbeiten und abschliessenv IRB in pend-Zustand bringen und asynchron so schnell wie möglich abschliessen
Juli 2002 Technische Universität Chemnitz 12
Aufbau und Funktionsweise(4) - IRBs
Juli 2002 Technische Universität Chemnitz 13
Aufbau und Funktionsweise(5) -Datenmodell
•Daten werden unter Ausnutzung verschiedener Datenstrukturen gekapselt:
Juli 2002 Technische Universität Chemnitz 14
Aufbau und Funktionsweise(6) - Kern
•Vorbild NT - Kernel(für unterschiedliche Aufgaben gibt es jeweils einen Manager)
•Device Manager läd/entläd devices•Chain Manager ordnet die devices in Ketten an (Sende/Empfangs -Kette)•Connection Manager richtet Verbindung zu Prozess ein•Buffer Manager: Daten werden mit Buffern und buffer ops assoziiert•buffer ops werden mit Slab Manager in einen Slab gebracht•Aufruf des Stream Managers zum Senden der Daten, ein IRB wird erzeugt (I/O Man.) und an erstes Device gesendet•Durchlaufen aller devices bis zum sink-device, Einspeisung ins Netz•Empfang der Nachricht auf der Gegenseite
Juli 2002 Technische Universität Chemnitz 15
Aufbau und Funktionsweise(7) -Daemons
•dienen für remote monitoring und management
•ermöglicht User und Admin die Kontrolle von Applikationen und Computern
•da Skalierbarkeit ein wesentliches Merkmal darstell t, sollten die Überwachungsmöglichkeiten dem angepasst sein
•Daemons sind hierarchisch gegliedert:v VMIeyes (pro Knoten)v Reaper (pro SAN)v Nark (pro Grid)
•monitoring Bibliothek ist Back End, verschiedene Front Ends können darauf aufsetzen (Yama)
Juli 2002 Technische Universität Chemnitz 16
Testergebnisse
•Evaluierung soll zeigen, dass:v VMI‘ s Flexibili tät nicht auf Kosten der Leistung erreicht wirdv die 3 Hauptprobleme (Verfügbarkeit, Nutzbarkeit und Verwaltbarkeit) verbessert werden können ohne übertriebenen Leistungsverlustv die Wahl der Architektur (nach Win NT) richtig ist
•Problem einer einigermaßen repräsentativen Testaufstellung
Testumgebung: Cluster mit 1GHz x86 CPUs, Myrinet und GigE. Als devices kommen GM+Myrinet (source/sink device) und Transfer device (Failover und Datastriping) zum Einsatz
Juli 2002 Technische Universität Chemnitz 17
Testergebnisse(2)
Juli 2002 Technische Universität Chemnitz 18
Testergebnisse(3)
• Um Kommunikations-Flaschenhälse zu finden, wurde folgende Zeitl inie gemessen
Juli 2002 Technische Universität Chemnitz 19
Zukünft ige Arbeit
•durch die extreme Flexibilität (nachladbare devices) kann jeder etwas beisteuern
v z.B. neue devices für Kompression, QoS,...
•Es könnte untersucht werden wie Grid basiertes Computing mit asymmetrischen Übertragungstechniken läuft (ADSL, Cable Modem..)
•Neue IRB-Typen für mehr Funktionali tät (barriers, multicast..)
•Weitere Forschung bei Datastriping nötig um effizient zu sein
Juli 2002 Technische Universität Chemnitz 20
Literatur
•VMI 2.0: A Dynamically Reconfigurable Messaging Layer for Availabili ty, Usabili ty and Management (Scott Pakin und Avneesh Pant)
•VMI: An Efficient Messaging Library for Heterogenous Cluster Communication (Avneesh Pant, Sudha Krishnamurthy, Rob Pennington, Mike Showerman, Quian Liu)
•Inside Microsoft Windows 2000 Third Edition (David Solomon und Mark E. Russinovich)
Juli 2002 Technische Universität Chemnitz 21
??Noch Fragen??