Download - Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007
![Page 1: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/1.jpg)
Parallele Datenverarbeitung
Was sind Clusterund wie sind sie aufgebaut
Leiv-Erik Braun
Mai 2007
![Page 2: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/2.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Überblick über die Systeme
Quelle: http://www.top500.org/lists/2006/11/overtime/Architectures
![Page 3: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/3.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
SMP - Symmetric Multi Processing
Viele Prozessoren (<=16) und ein gemeinsamen SpeicherEin Prozessor bzw. Kern bearbeitet den nächstmöglichen
Task oder Thread (Queue)(z.B. Dual Core PC, IBM JS21-MP BladeServer)
CPU CPUCPU ...
MEM
![Page 4: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/4.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
IBM JS21 BladeServer (SMP System)
Quelle: http://www-5.ibm.com/es/press/fotos/servidoresytecnologia/i/BladeCenterjs21.jpg Quelle: ftp://ftp.software.ibm.com/systems/support/system_x_pdf/31r1760.pdf
![Page 5: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/5.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
MPP - Massive-Parallel-Prozessing
Mehrere Prozessoren und kein gemeinsamer Speicher Ein Prozessor bearbeitet einen seperaten Teil eines Problems
– z.B. DOE/NNSA/LLNL eServer BlueGene, NNSA/Sandia National Laboratories Cray Red Storm
CPU
MEM
CPU
MEM
CPU
MEM
...
![Page 6: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/6.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
IBM BlueGene/L (MPP System)
Quelle: http://www-03.ibm.com/servers/deepcomputing/pdf/bluegenesolutionbrief.pdf
![Page 7: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/7.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Cluster
mehrere Rechner im Verbund– Oft SMP Nodes
– Ein Knoten hat weniger Prozessoren als der Verbund Knoten hat
– z.B. BCC BladeCenter JS21 IBM, NNSA Power Edge 1850
CPU CPUCPU...
MEM
CPU CPUCPU...
MEM
CPU CPUCPU...
MEM
CPU CPUCPU...
MEM
![Page 8: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/8.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
BladeServer JS21-MP Cluster (MareNostrum)
Quelle: http://www-5.ibm.com
![Page 9: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/9.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Constellations (Cluster of Clusters)
Große SMP‘s im Verbund– Ein Knoten hat mehr Prozessoren, als der Verbund Knoten hat
– 1 System mit tausend RecheneinheitenTera-10 Bull/NovaScale, Nagoya University Primepower HPC2500
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
CPU1
...
MEM
CPU2 CPU10CPU1
...
MEM
CPU2 CPU10
Knoten Constellation
![Page 10: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/10.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Bull NovaScale Tera-10
Quelle: http://www.guideinformatique.com/IMAGES/SimulNul02.jpg
![Page 11: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/11.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Warum sind Cluster so beliebt?
Quelle: http://www.top500.org/lists/2006/11/overtime/Architectures
![Page 12: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/12.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Warum sind Cluster so beliebt?
Viele Anbieter der Komponenten (großer Markt)
Aufbau mit einfachen Mitteln möglich (kostengünstig)
Variabler Einsatz von Kapital für Netzwerk, Rechenleistung und Arbeitsspeicher (offene Preisgestaltung)
Meist variabel erweiterbar (Skalierbarkeit)
Bei Defekt eines Knotens ist ein Großteil des Clusters weiter nutzbar (Robustheit)
Bei Defekt unkopliziert und kostengünstig reparabel (Hot Swappable)
![Page 13: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/13.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Kommunikationstechnologien im Cluster
SP Switch
InfiniBand SCI QS-Net
Myrinet 2000 Myrinet 10G
QS-Net²InfiniPath
NUMAlink
Proprietäre Lösungen Cray Interconnect
RapidArray CrossbarGb Ethernet
![Page 14: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/14.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Höchstes Ziel: Der Cluster soll rechnen
Ansprüche an das Netzwerk–Schneller Datentransfer
Remote DMA (RDMA)
–Entlastung der CPU
Schlankes ProtokollKein Management des
DatentransferAuslagerung auf NIC/HCA
–Hohe Robustheit
–Geringe Latenz
Aplication
UserAPIs
Upper Layer
Protokolle
Provider
Hardware
IP based Apps
Protokolltreiber(TCP/IP)
API / VERBS
HardwareTreiber
Host Channel Adapter Network Interface Card
Kernel S
paceU
ser Space
Kernel BypassStandard
![Page 15: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/15.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Günstiger Standard (Gigabit Ethernet)
10 Gb/s (heute)100 Gb/s (Ende 2009)
– 10 * 10Gb/s gebündelt(http://www.spectrum.ieee.org/dec06/comments/1657)
TCP/IP–Viel Information im Protokollstack die im Cluster nicht nötig
ist (Overhead)Leistungsschub durch TOE (TCP Offload Engine)
–Hardware die sich um en-/develop, handshake, ect. kümmert um dem Prozessor Arbeit zu ersparen
![Page 16: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/16.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Myrinet von Myricom
Nutzt vorhandene Ethernet Technologie–Begrenzt auf die aktuelle Ethernet Technologie = 10Gb/s
Hat eigene NetzwerkkartenRemote DMA fähigHat eigenes „schlankes Protokoll“Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden
bei (10Gb) (http://www.myricom.com/scs/performance/MX-10G/)
2 Lösungen im Angebot–Myrinet 2000 (2Gb)
–Myrinet 10G (10Gb)
![Page 17: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/17.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Myrinet installationen
Myrinet 2000 (Kupfer) Myrinet 10G (Glasfaser)
Quelle: http://cse.uluc.edu/turing/gallery.htmlQuelle: http://www.bsc.es/media/317.jpg
![Page 18: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/18.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
InfiniBand von der Infiniband Trade Association (IBTA)
Nutz eigene neue TechnologieNormal 2,5 Gb/s durch 8bit/10bit Kodierung = 2 Gb/sBegrenzt durch Taktrate (Maximal 96Gb/s)Hat eigene Host Channel Adapter (HCA)Nutzt Remote DMA (RDMA)Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden
bei (10Gb-96Gb)
![Page 19: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/19.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
InfiniBand – Speed durch Bündelung und Takterhöhung
SDR Singel Data RateDDR Double Data RateQDR Quad Data Rate
96 Gb/s48 Gb/s24 Gb/s8x
32 Gb/s16 Gb/s8 Gb/s4x
8 Gb/s4 Gb/s2 Gb/s1x
QDRDDRSDR
96 Gb/s48 Gb/s24 Gb/s8x
32 Gb/s16 Gb/s8 Gb/s4x
8 Gb/s4 Gb/s2 Gb/s1x
QDRDDRSDR
![Page 20: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/20.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
InfiniBand Kabel (1x, 4x, 12x)
Quelle: http://www.cs-electronics.com
![Page 21: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/21.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
InfiniBand Installation
Quelle: http://hpc.msstate.edu/computing/maverick/gallery/production
![Page 22: Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007](https://reader036.vdokument.com/reader036/viewer/2022062318/55204d6849795902118be199/html5/thumbnails/22.jpg)
Parallele Datenverarbeitung
Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007
Ende