Grid applications, environments and
programming models
Präsentiert von:
Beikircher Wolfgang
Schgaguler Evelyn
Was Sie erwartet:
• Einführung in Grid
- Überblick
- Eingabe von Workflows
- Abbildung ins Grid
- Ausführung der Workflows
- Anwendungen
• Pegasus
• Karajan
• Zusammenfassung- Überblick
- Ziele
- Spezifikation
- Ausführung
- Ereignismodell
Einführung
5% genutzte Kapazität
95% ungenutzte Kapazität
10% genutzte Kapazität
90% genutzte Kapazität
Auslastung der CPU bei:
... PC‘s ... Server
Was ist das Grid?
• Rechenleistung innerhalb Netzwerk
zusammenfassen (Grid Computing)
• parallele Lösungen rechenintensiver Probleme
• geringere Kosten
• hohe Rechenleistung
• Computer, Teleskope, Mikroskope, usw.
• geförderte Projekte z.B. CERN (durch die EU)
• wesentlich kürzere Rechenzeit
Softwarearchitektur
Context Service
Data Service
Information Service
Resource Management Service
Infrastructure Service
Self-Management Service
Security Service
Execution Management Service
OGSA
Grid - Applikationen
Distributed Supercomputing
High-Throughput Computing
On-Demand Computing
Data-Intensive Computing
Collaborative-Computing
Teleimmersion
Pegasus -Planning for Execution in Grids
Ein framework für Workflows
Überblick
• Flexibles framework
• Konfigurierbares System, das plant, vorbereitet
und Workflows ausführt
– Algorithmische und KI Techniken kommen zum Einsatz
• Unterstützt eine Reihe von Programmen zur
Ausführung von Workflows
Spezifikation
• Workflows als abstrakt definiert
– Transformationen und Daten mit Hilfe der
logischen Namen
• Workflowdefinition mit Chimera oder
händisch
• Ausgabe ist ein gerichteter Graph,
beschrieben in XML
Beispiel einer Eingabedatei für Chimera
Konstruierter, abstrakter Graph
preprocess
findrange
analyze
f.a f.df.b
1, f.b2
f.b1, f.b2
f.c1
f.c2
Ausgabe als XML-Datei
Abbildung der Workflows
Pegasus
RLS
TCMDS
Logische Daten
Standort der Daten
Logi
sche
Tra
nsf.
Standort der T
ransf.
Resso
urce
n fin
den
Stand
ort d
er R
esso
urce
n
Reduktion von Workflows
• Optimiert Workflows
• Prüft Durchführbarkeit der Workflows
Ausführung von Workflows
Pegasus
RLS TC MDS
DAGManChimera
Abstract Workflow
Concrete WorkflowVDL Jobs
Anwendungen (1) - LIGO
• Interferometry Gravitational-Wave Observatory
• Gravitationswellen werden erzeugt von:
– Schwarzen Löchern
– Erdbeben in Neuronensternen
– Pulsare
• Pegasus-Planer analysiert Daten:
– Workflows bilden
– auf den Grid ausführen
Anwendungen (2) - LlGO
Anwendungen (3) - SCEC
• Southern California Earthquake Center (SCEC)
• Bei Demonstrationen von Erdbebenanalysen
• GriPhyN entwickelte Virtual Data Toolkit
• Vorgehensweise:
– Workflow Templates produzieren u. mit Daten füllen
– abstrakte Workflows erzeugen
– an das Virtual Data System (VDS) weiterleiten
– DAGMan und CondorG führen Workflows aus
Karajan
A Grid Orchestration Framework
Überblick
• Karajan ist eine Workflow Sprache und
Ausführungsmotor
• Ereignisgesteuert
• Stützt sich auf 2 grundlegende
Technologien:
– Java‘s Jini
– Rio
Schematische Darstellung
Ziele
• Erzeugung einer verteilten Infrastruktur
• Client – Server – Service Programmierung
so einfach wie möglich zu machen
• Entwicklung einer Infrastruktur in der
Services unabhängig von einander
arbeiten können
Spezifikation eines Workflows
• Workflows werden mittels XML-Datei
spezifiziert
• Vordefinierte Tags bestimmen den Ablauf
• Verschiedene Gridelemente einbindbar:
– Parallele Iteratoren
– Gridftp
Beispiel einer Definition
….
<sequential>
<element1/>
<parallel>
<element2/>
<element3/>
</parallel>
<element4/>
</sequential>
….
element1
element2 element3
element4
Ausführung der Workflows
• Workflow engine basiert auf
Ereignismodell
• Elemente reagieren auf Ereignisse von
anderen Elementen
• Elemente interagieren mit Services
Ereignismodell
• Ereignisse signalisiert durch Flags
• Flags werden in JavaSpace geschrieben
• 2 verschiedene Modelle
– Client distribution model
– Service distribution model
Client distributionmodel
Servicedistribution
model
Zusammenfassung
• Wiederholung Grid
• Pegasus
– Spezifikation von Workflows (XML-Datei)
– Planung von Workflows (RLS, TC, MDS)
– Ausführung von Workflows
• Karajan
– Definition der Workflows
– Ereignismodel
Vielen Dank