Wachsende Anforderungen an die Langzeitarchivierung im Deutschen Fernerkundungsdatenzentrum

K-D Missling H Maass J Pollex H-J Wolf et al

wwwDLRde bull Chart 1 gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 2 gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 3 gt Storage2012gt Missling et al gt 14062012

DLR ndash Deutsches Zentrum fuumlr Luft- und Raumfahrt eV

- Forschungszentrum

- Luftfahrt

- Raumfahrt

- Energie

- Verkehr

- Raumfahrt-Agentur - Projekttraumlger

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 4

DLR-Standort Neustrelitz

- Institute und Einrichtungen

Deutsches Fernerkundungsdatenzentrum Institut fuumlr Kommunikation und Navigation Institut fuumlr Methodik der Fernerkundung

- Technologiemarketing

- DLR_Campus Neustrelitz

- Standort des DLR mit ca 70 Mitarbeitern

- Bodenstationen - Datenmanagement - Echtzeitsysteme - Testfeld DEMMIN

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 6 gt Storage2012gt Missling et al gt 14062012

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Galileo

copy European Union 1995-2012

Galileo

copy European Union 1995-2012

SSA

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Photo ESA

Molard16th ISU Annual International Symposium 21 ndash 23 February 2012 Strasbourg France

Iridium-Kosmos collision Fev 2009

US satellite Shot Down Feb 2008

China Fengyun-1C Jan 2007

-Forschung Entwicklung

-Datengewinnung ~management und ~prozessierung

-Nutzer

-IMPC -Ionosphaumlrenwetter alltagstauglich

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 2 gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 3 gt Storage2012gt Missling et al gt 14062012

DLR ndash Deutsches Zentrum fuumlr Luft- und Raumfahrt eV

- Forschungszentrum

- Luftfahrt

- Raumfahrt

- Energie

- Verkehr

- Raumfahrt-Agentur - Projekttraumlger

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 4

DLR-Standort Neustrelitz

- Institute und Einrichtungen

Deutsches Fernerkundungsdatenzentrum Institut fuumlr Kommunikation und Navigation Institut fuumlr Methodik der Fernerkundung

- Technologiemarketing

- DLR_Campus Neustrelitz

- Standort des DLR mit ca 70 Mitarbeitern

- Bodenstationen - Datenmanagement - Echtzeitsysteme - Testfeld DEMMIN

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 6 gt Storage2012gt Missling et al gt 14062012

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Galileo

copy European Union 1995-2012

Galileo

copy European Union 1995-2012

SSA

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Photo ESA

Molard16th ISU Annual International Symposium 21 ndash 23 February 2012 Strasbourg France

Iridium-Kosmos collision Fev 2009

US satellite Shot Down Feb 2008

China Fengyun-1C Jan 2007

-Forschung Entwicklung

-Datengewinnung ~management und ~prozessierung

-Nutzer

-IMPC -Ionosphaumlrenwetter alltagstauglich

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 3 gt Storage2012gt Missling et al gt 14062012

DLR ndash Deutsches Zentrum fuumlr Luft- und Raumfahrt eV

- Forschungszentrum

- Luftfahrt

- Raumfahrt

- Energie

- Verkehr

- Raumfahrt-Agentur - Projekttraumlger

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 4

DLR-Standort Neustrelitz

- Institute und Einrichtungen

Deutsches Fernerkundungsdatenzentrum Institut fuumlr Kommunikation und Navigation Institut fuumlr Methodik der Fernerkundung

- Technologiemarketing

- DLR_Campus Neustrelitz

- Standort des DLR mit ca 70 Mitarbeitern

- Bodenstationen - Datenmanagement - Echtzeitsysteme - Testfeld DEMMIN

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 6 gt Storage2012gt Missling et al gt 14062012

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Galileo

copy European Union 1995-2012

Galileo

copy European Union 1995-2012

SSA

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Photo ESA

Molard16th ISU Annual International Symposium 21 ndash 23 February 2012 Strasbourg France

Iridium-Kosmos collision Fev 2009

US satellite Shot Down Feb 2008

China Fengyun-1C Jan 2007

-Forschung Entwicklung

-Datengewinnung ~management und ~prozessierung

-Nutzer

-IMPC -Ionosphaumlrenwetter alltagstauglich

DLR ndash Deutsches Zentrum fuumlr Luft- und Raumfahrt eV

- Forschungszentrum

- Luftfahrt

- Raumfahrt

- Energie

- Verkehr

- Raumfahrt-Agentur - Projekttraumlger

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 4

DLR-Standort Neustrelitz

- Institute und Einrichtungen

Deutsches Fernerkundungsdatenzentrum Institut fuumlr Kommunikation und Navigation Institut fuumlr Methodik der Fernerkundung

- Technologiemarketing

- DLR_Campus Neustrelitz

- Standort des DLR mit ca 70 Mitarbeitern

- Bodenstationen - Datenmanagement - Echtzeitsysteme - Testfeld DEMMIN

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 6 gt Storage2012gt Missling et al gt 14062012

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Galileo

copy European Union 1995-2012

Galileo

copy European Union 1995-2012

SSA

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Photo ESA

Molard16th ISU Annual International Symposium 21 ndash 23 February 2012 Strasbourg France

Iridium-Kosmos collision Fev 2009

US satellite Shot Down Feb 2008

China Fengyun-1C Jan 2007

-Forschung Entwicklung

-Datengewinnung ~management und ~prozessierung

-Nutzer

-IMPC -Ionosphaumlrenwetter alltagstauglich

DLR-Standort Neustrelitz

- Institute und Einrichtungen

Deutsches Fernerkundungsdatenzentrum Institut fuumlr Kommunikation und Navigation Institut fuumlr Methodik der Fernerkundung

- Technologiemarketing

- DLR_Campus Neustrelitz

- Standort des DLR mit ca 70 Mitarbeitern

- Bodenstationen - Datenmanagement - Echtzeitsysteme - Testfeld DEMMIN

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 6 gt Storage2012gt Missling et al gt 14062012

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Galileo

copy European Union 1995-2012

Galileo

copy European Union 1995-2012

SSA

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Photo ESA

Molard16th ISU Annual International Symposium 21 ndash 23 February 2012 Strasbourg France

Iridium-Kosmos collision Fev 2009

US satellite Shot Down Feb 2008

China Fengyun-1C Jan 2007

-Forschung Entwicklung

-Datengewinnung ~management und ~prozessierung

-Nutzer

-IMPC -Ionosphaumlrenwetter alltagstauglich

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 6 gt Storage2012gt Missling et al gt 14062012

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Galileo

copy European Union 1995-2012

Galileo

copy European Union 1995-2012

SSA

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Photo ESA

Molard16th ISU Annual International Symposium 21 ndash 23 February 2012 Strasbourg France

Iridium-Kosmos collision Fev 2009

US satellite Shot Down Feb 2008

China Fengyun-1C Jan 2007

-Forschung Entwicklung

-Datengewinnung ~management und ~prozessierung

-Nutzer

-IMPC -Ionosphaumlrenwetter alltagstauglich

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Galileo

copy European Union 1995-2012

Galileo

copy European Union 1995-2012

SSA

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Photo ESA

Molard16th ISU Annual International Symposium 21 ndash 23 February 2012 Strasbourg France

Iridium-Kosmos collision Fev 2009

US satellite Shot Down Feb 2008

China Fengyun-1C Jan 2007

-Forschung Entwicklung

-Datengewinnung ~management und ~prozessierung

-Nutzer

-IMPC -Ionosphaumlrenwetter alltagstauglich

Galileo

copy European Union 1995-2012

SSA

Europaumlische Weltrauminitiativen ~projekte

ESA Photo

Photo ESA

Molard16th ISU Annual International Symposium 21 ndash 23 February 2012 Strasbourg France

Iridium-Kosmos collision Fev 2009

US satellite Shot Down Feb 2008

China Fengyun-1C Jan 2007

-Forschung Entwicklung

-Datengewinnung ~management und ~prozessierung

-Nutzer

-IMPC -Ionosphaumlrenwetter alltagstauglich

Galileo

copy European Union 1995-2012

Europaumlische Weltrauminitiativen ~projekte

SSA

ESA Photo

GMES

Global Monitoring for Environment and Security Uumlberblick -GMES

-Betreiber

-Anwendungen und Geoinformationsdienste

-Informations- und Datenmanagementkapazitaumlt

-Satellitengestuumltzte Erdbeobachtungssysteme

-Boden- und Luftgestuumltzte Beobachtungssysteme

-Zentrale Elemente

ESA GMES Service Elemente EU Integrierte Projekte EU Pilot Dienste

ESA SENTINEL Satelliten EUMETSAT Missionen Nationale Missionen Satelliten aus Drittlaumlndern

Messnetze im Land Ozean Atmosphaumlre

Fluzeugmessungen GIS- und Soziooumlkonomische

Daten

Missionskontrolle Datenempfang Verarbeitung Archivierung

Verteilung Netzwerke

-Implementierung

-Europaumlische Kommission

-Europaumlische Staaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 10

Global Monitoring for Environment and Security Uumlberblick -GMES

-Betreiber

-Anwendungen und Geoinformationsdienste

-Informations- und Datenmanagementkapazitaumlt

-Satellitengestuumltzte Erdbeobachtungssysteme

-Boden- und Luftgestuumltzte Beobachtungssysteme

-Zentrale Elemente

ESA GMES Service Elemente EU Integrierte Projekte EU Pilot Dienste

ESA SENTINEL Satelliten EUMETSAT Missionen Nationale Missionen Satelliten aus Drittlaumlndern

Messnetze im Land Ozean Atmosphaumlre

Fluzeugmessungen GIS- und Soziooumlkonomische

Daten

Missionskontrolle Datenempfang Verarbeitung Archivierung

Verteilung Netzwerke

-Implementierung

-Europaumlische Kommission

-Europaumlische Staaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 10

-Kooperativ

Instrumente maritimer Uumlberwachung

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 11

TerraSAR-X amp TanDEM-X - Start

- 15 Juni 2007 (TerraSAR-X)

- 21 Juni 2011 (TanDEM-X)

- PPP mit AstriumInfoterra

- DLR Projektleitung

- Bodensegment

Hochaufgeloumlstes X-Band Radar

Formationsflug

Digitales Gelaumlndemodell

-TSX1_SAR__MGD_SE___SM_S_SRA_20090704T171000 -TSX1_SAR__MGD_SE___SM_S_SRA_20090704T171000

Schiffsdetektion

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 13

Monitoring von Oumll-Plattformen

-Neustrelitz

-copy EMSA Proposal 2011

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 14

Oumlldetektion in der Nordsee

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 15

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 16

-1 Trawler

-2 Trawler

-Deutsche Marine Unterstuumltzung Fregatte Koumlln ndash Illegale Fischerei

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 17

-Hans Island Strait Groumlnland

-Mode StripMap -Aufloumlsung 33m

-Aufnahme Maumlrz 2008

-07 -18 -29

-Hans Island

Eis Monitoring der Nord-Ost Passage

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 18

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 19

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

TerraSAR-X amp TanDEM-X - Start

- 15 Juni 2007 (TerraSAR-X)

- 21 Juni 2011 (TanDEM-X)

- PPP mit AstriumInfoterra

- DLR Projektleitung

- Bodensegment

Hochaufgeloumlstes X-Band Radar

Formationsflug

Digitales Gelaumlndemodell

-TSX1_SAR__MGD_SE___SM_S_SRA_20090704T171000 -TSX1_SAR__MGD_SE___SM_S_SRA_20090704T171000

Schiffsdetektion

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 13

Monitoring von Oumll-Plattformen

-Neustrelitz

-copy EMSA Proposal 2011

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 14

Oumlldetektion in der Nordsee

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 15

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 16

-1 Trawler

-2 Trawler

-Deutsche Marine Unterstuumltzung Fregatte Koumlln ndash Illegale Fischerei

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 17

-Hans Island Strait Groumlnland

-Mode StripMap -Aufloumlsung 33m

-Aufnahme Maumlrz 2008

-07 -18 -29

-Hans Island

Eis Monitoring der Nord-Ost Passage

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 18

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 19

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

-TSX1_SAR__MGD_SE___SM_S_SRA_20090704T171000 -TSX1_SAR__MGD_SE___SM_S_SRA_20090704T171000

Schiffsdetektion

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 13

Monitoring von Oumll-Plattformen

-Neustrelitz

-copy EMSA Proposal 2011

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 14

Oumlldetektion in der Nordsee

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 15

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 16

-1 Trawler

-2 Trawler

-Deutsche Marine Unterstuumltzung Fregatte Koumlln ndash Illegale Fischerei

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 17

-Hans Island Strait Groumlnland

-Mode StripMap -Aufloumlsung 33m

-Aufnahme Maumlrz 2008

-07 -18 -29

-Hans Island

Eis Monitoring der Nord-Ost Passage

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 18

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 19

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Monitoring von Oumll-Plattformen

-Neustrelitz

-copy EMSA Proposal 2011

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 14

Oumlldetektion in der Nordsee

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 15

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 16

-1 Trawler

-2 Trawler

-Deutsche Marine Unterstuumltzung Fregatte Koumlln ndash Illegale Fischerei

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 17

-Hans Island Strait Groumlnland

-Mode StripMap -Aufloumlsung 33m

-Aufnahme Maumlrz 2008

-07 -18 -29

-Hans Island

Eis Monitoring der Nord-Ost Passage

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 18

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 19

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Oumlldetektion in der Nordsee

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 15

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 16

-1 Trawler

-2 Trawler

-Deutsche Marine Unterstuumltzung Fregatte Koumlln ndash Illegale Fischerei

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 17

-Hans Island Strait Groumlnland

-Mode StripMap -Aufloumlsung 33m

-Aufnahme Maumlrz 2008

-07 -18 -29

-Hans Island

Eis Monitoring der Nord-Ost Passage

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 18

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 19

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 16

-1 Trawler

-2 Trawler

-Deutsche Marine Unterstuumltzung Fregatte Koumlln ndash Illegale Fischerei

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 17

-Hans Island Strait Groumlnland

-Mode StripMap -Aufloumlsung 33m

-Aufnahme Maumlrz 2008

-07 -18 -29

-Hans Island

Eis Monitoring der Nord-Ost Passage

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 18

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 19

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

-1 Trawler

-2 Trawler

-Deutsche Marine Unterstuumltzung Fregatte Koumlln ndash Illegale Fischerei

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 17

-Hans Island Strait Groumlnland

-Mode StripMap -Aufloumlsung 33m

-Aufnahme Maumlrz 2008

-07 -18 -29

-Hans Island

Eis Monitoring der Nord-Ost Passage

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 18

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 19

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

-Hans Island Strait Groumlnland

-Mode StripMap -Aufloumlsung 33m

-Aufnahme Maumlrz 2008

-07 -18 -29

-Hans Island

Eis Monitoring der Nord-Ost Passage

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 18

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 19

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 19

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

wwwDLRde bull Chart 20

D-SDA Archive Volume Neustrelitz amp Oberpfaffenhofen

Status 31 March 2012

gt Storage2012gt Missling et al gt 14062012

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 21 gt Storage2012gt Missling et al gt 14062012

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Archiving Datenmanagement

rarr Automatische TapeLibraries (Robot systems) rarr HSM (Hierarchical Storage Management)

Sichere Langfristarchivierung

rarr Qualitaumltsuumlberwachung rarr parallele Nutzung verschiedener Technologien rarr Erhaltung(Refreshing Replikation Migration Emulation) rarr Erzeugung von Redundanz-Informationen rarr Umwandlung von Datenformaten

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 22

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Processing Systems

DIMS NZ

Order Management

Orders Reports

Ingestion System 11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Product Library

Archive

Inventory

Processing System

User Information Services

(incl Pickup Point)

EOWEB

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

OnlineOffline Product Generation amp Delivery

Post-Processing Post-Processing

Processing System

Product Library

Archive

Inventory

Processing System Processing System Ingestion System

11111111 00010101 10111001 00000000

Level 0 10110011 00010101 10111001 01100100

Raw

Production Control

Request Trees

Ope

ratin

g To

ol

Requests

DIMS OP

Data Information and Management System

Archive

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 23

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

FC

Sw

FC

Sw

DIMS

Nam

eW

eb

SW

Ser

vice

DIMS Operations

Server

Pro

duct

ion

Con

trol Production

Control Server

SL8500 ACSLS

SAN Storage System

13 TByte

DIMS Neustrelitz mit Prozessoren

C-AF Production

Network

ENVISAT MERIS

Proc System(s)

Champ Proc System(s)

BIRD Proc Systems

GRACE Proc Systems

xxx Proc System(s)

TerraSAR-X TMSP

Proc System Processing

Systems

CAF Firewall

to DLR Backbone Switch

Pos

t P

roce

ssin

g

Post Processing

Server

Hig

h A

vaila

bilit

y

High Availability Upgrade

Server P

rodu

ct

Libr

ary Product Library

Inventory Server

FC

Switc

h FC

Sw

itch

FC

Sw

FC

Sw

TerraSAR-X TMSP

Proc System

FC

Sw

FC

Sw

Secondary Copy Robot Library

(remote) Haus 4

Primary Copy Robot Library

(remote) Haus 7

15 9940B

6 T10kC

12 LTO-3

Archive Server

Archive Server

i2000

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 24

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

wwwDLRde bull Chart 25

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Inhalt

- DLR- Uumlberblick

- Mehr Daten rarr Noch mehr Daten

- Europaumlische Raumfahrtprogramme und ~initiativen

- Problem geloumlst ndash Naumlchstes Problem

- Ausblick

wwwDLRde bull Chart 26 gt Storage2012gt Missling et al gt 14062012

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Data Curation ndashwie stellt man Interpretierbarkeit sicher - komplexere Sicht auf Daten als reine Lesbarkeit

- auch Sicherheit Vertrauen Herkunft Aktualitaumlt Qualitaumlt von Daten und Metadaten

Interoperabilitaumlt - Zugang von digitalen Informationen aus unterschiedlichsten Quellen

(Forschung private Unternehmen oumlffentliche Aumlmter etc)

- fuumlr verschiedene Benutzer (Buumlros Verwaltungen Buumlrger etc) Fuumlr eine Vielzahl von Anwendungsfaumlllen (Forschung Regierungs- etc)

- Datei-basierte Erweiterung - Service-orientierte Datenzugriff

Ausblick- Anstehende Probleme

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 27

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 28

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Ausblick

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 29

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Ausblick- Anstehende Probleme Risiken der jetzigen Organisation der Langzeitarchivierung - Hard- und Software veraltet - Verstaumlndnis von Daten anderer Wissensgebiete - Zugang und Nutzungsbeschraumlnkungen - aktuelle Verwalter(Organisation) der Daten nicht mehr existent -Identifikationsmoumlglichkeit des Speicherortes (rarr Persistent Identifier) Digitale Langzeitarchivierung in einzelnen Organisationenrarr

robuste Daten-und Informations-Infrastruktur einer internationalen Forschungsgemeinschaft

httpwwwalliancepermanentaccessorg

gt Storage2012gt Missling et al gt 14062012 wwwDLRde bull Chart 30

Klaus-Dieter Miszligling Telephone +49 3981 480 114 klaus-dietermisslingdlrde wwwDLRdeeoc