CERA Eine Oracle Datenbank in der
Klimaforschung
Hannes Thiemann Gruppe Modelle und Daten (M&D) am Max-Planck-Institut für Meteorologie, Hamburg
Arne BrüningServer Technologies Competence Center
Oracle Deutschland GmbH, Hamburg
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 2
Überblick
Vorstellung M&D & Cera Was sind Klimamodelle Die Daten
Die Lösung Die Hardware Die Anwendung Wohin mit 1 PB?
Ausblick
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 3
„Modelle und Daten“ (M&D)und
„Deutsches Klimarechenzentrum“ (DKRZ)
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 6
Phänomene und Prozesse im Klimamodell
Non
o
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 9
Beispiel eines 3D Gitters in einem Atmosphärenmodell
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 11
Beispiele verschiedener Gitterauflösungen
600km 400km
300km 110km
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 12
Typische Auswertung
Quelle: IPCC
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 13
Typische Datenmengen
Modell
Datenmenge (einzelne Variable, einzelnes Höhenlevel)
pro Zeitschritt
Datenmenge (gesamtes Modell) pro Modellmonat
Datenmenge (gesamtes Modell) pro 500 Jahreslauf
T42L19 (300 km)
16 KB 650 MB 3.7 TB
T106L31
(110 km)100 KB 5.2 GB 30 TB
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 15
Allgemeine Topologie
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 17
Umsetzung in Oracle
Jede Zeitserie einer einzelnen 2-dimensionalen Variable wird in einer Tabelle als BLOB abgespeichert.
Damit entsprechen einem typischen Experiment je nach Konfiguration etwa 200 bis 450 Tabellen.
Eine einzelne Tabelle kann bei einem 500 Jahres-Experiment somit eine Größe von bis zu 70 GB erreichen.
Die Daten werden, während das Modell läuft, bereits in die Klimadatenbank eingefüllt.
Einfüll-Programme (OCI, Oracle Call Interface) bearbeiten den Rohdatenblock, der von den Klimamodellen erzeugt wird.
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 20
Benutzeroberfläche
Der Benutzerzugriff erfolgt über ein Java Applet.
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 22
Hardware
Die vom DKRZ betriebene NEC SX-6/192M24/ 192 mit einer theoretischen Peak Performance von 1536 Gflops steht auf Platz 33 der 21. Top500 Liste der schnellsten Rechner weltweit. (www.top500.org)
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 23
Storage
Am DKRZ werden derzeit 4 Silos des Typs Storage Tek betrieben. Bei insgesamt ca. 5150 nutzbaren Stellplätzen pro Silo ergibt sich bei 200 Gbyte pro Cartridge somit eine nutzbare Gesamtkapazität von ca. 4 Petabyte.
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 24
Datenserver
Für den Datenservice werden verschiedene Rechner verwendet
Sun (E12k und 4800) NEC TX7 (Linux 64 bit)
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 26
Problem: Migration auf iA64 Linux mit 24 CPU‘s NEC TX-7 Intel Itanium2 24 CPU
ccNuma-Boards @ 4 CPU‘s HW-Partitionierbar
Oracle9iDB für iA64-Linux „druckfrisch“ NEC-Linux unterstützt 24 CPU‘s, aber ... ... Oracle unterstützt nur United Linux und Red Hat ... die wiederum weder NUMA, noch 24 CPU‘s
unterstützen
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 27
Problem: „Nur“ 65.535 Datafiles
Datenfiles die gegenwärtig befüllt werden, können noch nicht read only gesetzt werden
Plattenplatz reicht nicht aus, um neue Modellläufe komplett zu speichern, ohne daß bereits Daten ausgelagert werden müssen
Aus Handling-Gründen ca. 10 GB/File= max. 655.350 TB
Benötigt wird aber min. 1 PB!!!
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 28
Problem: Datenverlust bei langlaufenden Simulationen Eine Klimasimulation kann mehrere Monate dauern Damit wären im Falles eines Datenverlustes auch die
Ergebnisse mehrerer Monate verloren.
Lösung: Partitioning Option (Range Partitioning)
Vermindertes Risiko durch R/O-Setzen der einzelnen Partitionen und Auslagerung
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 29
Problem: Wie migriert man 30 TB von Sun nach Linux online? Nur ca. 9 TB Daten auf Disk, der Rest
im StorageTek Silo Grössere Down-Zeiten nicht akzeptabel
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 30
Die LösungHW-Partitioning und separate Datenbanken
11 12 13 14 15 16
NEC TX-7
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 31
Die LösungHW-Partitioning und separate Datenbanken
11 12 131 14 1516
MetadatenDaten
SUNEnterprise
UserSecurity
OID
DB-Link
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 32
Problem: Wie bekommt man ein Petabyte in eine Oracle-DB Nur 9 TB Platte Daten nur Read-Only => Tablespace Read-Only Nologging!
Problem beim Crash, dafür nur einmal sichern
Alte Lösung (Erklärung Offline nehmen, per ftp-schicken, init.ora-Parameter)
Lösung: EMC/Legato DiskExternder
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 35
AusblickMega, Giga, Tera, Peta, Exa, Zetta, Yotta ...
11 12 131 14 1516
MetadatenDaten
EnterpriseUserSecurity
OID
11 12 131 14 1516
Metadaten Daten
Real Application Clusters
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 36
Kontakt
Hannes Thiemann ([email protected])Modelle und Daten
Max-Planck-Institut für Meteorologie
Bundesstrasse 55
20146 Hamburg
Arne Brüning ([email protected])Server Technologies Competence Center
Oracle Deutschland GmbH
Niederlassung Hamburg
H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 37