Download - Zentrale IT-Services aus der Perspektive eines Experimentalphysikers Rainer Mankel DESY Hamburg
Zentrale IT-Services aus der Perspektive eines
Experimentalphysikers
Rainer Mankel
DESY Hamburg
1-Oct-2002R. Mankel, DESY Computing 2
Typische Perspektiven(Langjähriger) DESYaner• hat sich an alles gewöhnt &
glaubt daß es so normal ist• etablierter Arbeitsstil, kennt
Lösungen für „seine“ IT-Probleme
• kennt Ansprechpartner• oft sehr konservativ (Userid
f15xyz...), lieber nichts ändern
Gastwissenschaftler (Student oder PostDoc)
• kennt Situation an anderen Instituten
• findet übereinstimmende wie abweichende Konzepte
• erwartet standardisierte Services• sucht Information, Lösungen und
Ansprechpartner
Experiment-Computing• Klare Aufgaben bei
Rekonstruktion und Datenalyse
Gastwissenschaftler („Dignified Professor“)
• kein signifikanter CPU-Verbrauch
• Schwerpunkt auf elementaren Services: Kommunikation, Drucken, vergessenes Passwort fixen, versehentlich gelöschte Files zurückholen
1-Oct-2002R. Mankel, DESY Computing 3
Gestern & Heute
• Gestern ging man nach Hause wenn
– der Strom ausfiel
– die IBM down war
• Heute geht man nach Hause wenn
– Strom oder Netzwerk ausfallen
– AFS nicht geht (z.B. Binary Server)
– OSM oder dCache ein größeres Problem haben
– das Netzwerk-Kabel für das Notebook fehlt
1-Oct-2002R. Mankel, DESY Computing 4
Experiment-Computing (z.B. ZEUS)
50 M 200 M Events/year
Interactive
Data Analysis
Tape storage incr.
20-40 TB/year
~450 Users Disk storage
3-5 TB/year
Data mining
MC production
Data processing/
reprocessing
1-Oct-2002R. Mankel, DESY Computing 5
Number Crunching: die Farmen
• HERA-II bringt (zumindest langfristig...) steigende Ereignisraten & Datenmengen:
– Ereignisgröße, Ereignisraten -> höhere Datenraten
• Aber auch: die Standards bei der Analysegeschwindigkeit wachsen ständig
– Abstand zwischen „letzter Batch Analyse“ und Präsentation der Daten (z.B. Kollaborationstreffen) wird immer kleiner
• früher 4 Wochen, jetzt 1 Woche
• Moderne PC-Farmen und Commodity Fileserver bringen die nötige Leistung, verlangen aber auch der zentralen Infrastruktur immer mehr ab
– Installation, Stromversorgung
– Netzwerk
– Konsolzugang
1-Oct-2002R. Mankel, DESY Computing 6
Leistungssprung für HERA-IIR
ekon
stru
iert
e E
reig
nis
se (
pro
Tag
)
450 k
1.5 M
3 M
1-Oct-2002R. Mankel, DESY Computing 7
Commodity Computing: Fluch & Segen• HERA-Experimente verwenden ca. 100
Farm-PCs pro Experiment– ca. 500 Farm-PCs bei DESY-HH
• Typische “Lebensdauer” 3-4 Jahre– 1999: 350 MHz 2002: Dual 2.2 GHz
• Sehr wichtig:Hardware-InstallationssupportLinux-SupportKonsolzugangKonfigurationspflege
• Daß PC-Spiele und HEP-Analyseprogramme dieselbe Hardware benutzen, ist vermutlich nur ein Zwischenstadium– 1U-Server ?– Systemlösungen?– Was kommt nach Linux?
1-Oct-2002R. Mankel, DESY Computing 8
Zum Vergleich: Fermilab
• Fermilab hat im September auf einen Schlag 434 PCs geliefert bekommen– beachtliche logistische Herausforderung: was tun wenn der Laster kommt?– wohin mit all den Kartons („Burn-in Phase“), wo einstöpseln?– Abwärme
• Verdoppelt die Zahl der Einheiten (bei gleichbleibendem Personalstand)• Auch wir müssen lernen, wie man wirklich große Systeme unterstützen kann
1-Oct-2002R. Mankel, DESY Computing 9
File Server
• Geänderte Paradigmen: Vergrößerung der Disk Area reduziert Zahl der Zugriffe auf die Tape Library
• ZEUS Disk Space (Ereignisdaten):– Anfang 2000: 3 TB davon FC+SCSI: 100%– Mitte 2001: 9 TB 67%– Mitte 2002: 18 TB 47%
• Notwendiges Wachstum war in der Form nur mit Commodity Komponenten möglich
1-Oct-2002R. Mankel, DESY Computing 10
Linux @ DESY - eine Erfolgsstory• Linux schaffte es in den letzten Jahren von “Null Support” zu einer
strategischen Plattform
• Andere (Vendor-) UNIX auf dem Rückzug
1-Oct-2002R. Mankel, DESY Computing 11
dCache
• Leistungsfähige Mass Storage Middleware für alle DESY-Gruppen
– hat bei ZEUS tpfs (1997) und SSF (2000) abgelöst
• Erlaubt den Aufbau großer, verteilter Cache Server Systeme Nun ein Schlüsselsystem für die HEP-Experimente Zuverlässigkeit muss immer weiter perfektioniert werden
Output (User read)
Input (Staging)
1-Oct-2002R. Mankel, DESY Computing 12
Interaktive Umgebung
• Desktops und Workgroup Server
• Primäre Funktionen:
– Rechenpower & Plattenplatz für interaktive Analyse
– Integration of Linux (WGS) and Windows (Desktop)
– Basisstation für mobiles Computing (notebooks)
• Probleme:
– Crossmounts der Platten zwischen Workgroup Servern und Desktops
• Verwaltung, Performance, Stabilität (NFS)
– Cross Platform Support Wir brauchen einen „Large File Space“
– skalierbar
– exportiert Verzeichnisse auf „alle“ Rechner
– unterstützt UNIX und Windows
– Zentrales Backup
1-Oct-2002R. Mankel, DESY Computing 13
Netzwerke
• So wichtig wie Elektrizität
• In kaum einem Bereich waren Verbesserungen in den letzten Jahren so stark spürbar
– switched networks
– Gb backbone
– Dynamische VLANs
– Funk-LANs
• In kaum einem Bereich gewöhnt man sich so schnell daran
• Zukunft:
– lohnt es sich, noch Fast Ethernet zu kaufen?
– 10 Gbit Ethernet wird kommen
– Funk-LAN auf dem gesamten Campus ? (oder zumindest in Geb. 1a-e ...)
1-Oct-2002R. Mankel, DESY Computing 14
Veränderung der kollaborativen Umgebung
• Bisher waren HEP-Kollaborationen stark „DESY-zentrisch“
• Zukunft: Rolle der externen Institute wird gestärkt
• Beispiel: neues ZEUS Event Display– portabler C++ Client– Client/Server Struktur– Zugriff
• auf zentrale Geometrie und Ereignisdaten via HTTP
• auf Programme und dynamische Bibliotheken via AFS
– auch Online-Events überall sichtbar
New vertex detector within calorimeter (new ZEUS event display)
1-Oct-2002R. Mankel, DESY Computing 15
Kollaborative Applikationen (Forts.)
• DESY sollte die Unterstützung der externen Institute weiter verbessern
• In Zukunft wird GRID-Computing die Standards setzen
• Verallgemeinerung des WWW auf Hochleistungscomputing
• „Virtuelle Communities“
• „Resource Sharing“
• Es ist wichtig, den Anschluß nicht zu verpassen
• Pilotprojekt?
1-Oct-2002R. Mankel, DESY Computing 16
Kollaborative Arbeit: Meetings
Nicht mehr zeitgemaess:
• Wie organisiert man Meetings so, dass elektronische Praesentationen automatisch vom Sprecher aufs Web hochgeladen werden und von dort abgerufen werden koennen?
1-Oct-2002R. Mankel, DESY Computing 17
Eine ZEUS-Lösung: ZEMS
ein Groupware Tool fuer DESY?
1-Oct-2002R. Mankel, DESY Computing 18
• Email ist das wichtigste Kommunikationsmittel großer internationaler Kollaborationen
• Niemand kann mit so vielen Kollegen mehr per Telefon, Fax oder selbst Meetings kommunizieren
• Schnelligkeit und Zuverlässigkeit der Email bestimmen die Effizienz
• Viele Wissenschaftler organisieren ihren gesamten Arbeitsablauf mittels Mailbox, Mailfolder etc (“Schicken Sie mir eine Mail”)
Probleme & Herausforderungen:
• Mobiler Zugang (SSL-basierter Zugriff auf SMTP Server)
• Schnelligkeit
• Spam
• Vernetzung von Mailinglisten mit Kollaborationsverzeichnissen etc
1-Oct-2002R. Mankel, DESY Computing 19
“Home-Computing” - RAS
• Immer mehr Systeme der Experimente erlauben Ferndiagnose per Internet
• Experten diagnostizieren ihre Systeme von Zuhause, greifen in die Steuerung ein
Probleme:
• Zugriffsrechte
• ISDN ist für viele Anwendungen zu langsam
VPN ist essentiell Wie können wir DSL einbinden? (entsprechend Callback)
1-Oct-2002R. Mankel, DESY Computing 20
Der „Travelling Scientist“
• HEP-weiter Trend zum „mobilen Computing“ wird auch bei DESY zunehmen
• Der „Travelling Scientist“ reist typischerweise mit einem Notebook, und will, wo immer er ist (DESY, CERN, FNAL, Starbuck‘s, zuhause), Zugang zu
– seiner Email
– seinem Webserver
– seinem Homeverzeichnis
– irgendeinem Scanner und Drucker
• Typische Probleme:
– Netzwerkverbindung (Classical & Wireless)
– Netzwerkprivilegien, Zugriff auf Peripherie
– Limitierungen des Mailservers
– Konfiguration des Notebooks
1-Oct-2002R. Mankel, DESY Computing 21
Das Applikations-Defizit
• Der Zugang zu allgemeinen Applikationen ist verbesserungsfähig
• Beispielsweise werden zur Anfertigung von Vorträgen, Bildern etc oft die seltsamsten Programme benutzt
• Gründe:
– Betriebssystem und Applikation passen nicht zusammen
– Unkenntnis & fehlender Überblick
– fehlende Anlaufstellen bei Problemen
• Auswege: transparenter Zugang zu UNIX und Windows für jeden Wissenschaftler„Knowledge Database“ – die wichtigsten Probleme bei Word, StarOffice,
PowerPoint, DreamWeaver, PhotoShop etc (& ihre Lösung)Expertenhilfe aus dem RechenzentrumBesondere Unterstützung fuer Schlüsselapplikationen (z.B. ROOT)
UNIX Windows
1-Oct-2002R. Mankel, DESY Computing 22
1-Oct-2002R. Mankel, DESY Computing 23
DESY: Powered by ???
• Es gibt nur eine wirkliche Rechtfertigung für die hohen öffentlichen Mittel, die DESY zu seiner Finanzierung braucht:– „Spitzenforschung auf absolutem Weltniveau“
• „Meßbare“ Qualitätskriterien:– Zahl der Publikationen, Artikel, Zitierungen– Zahl der auswärtigen Wissenschaftler– Zahl der Doktorarbeiten– Unterstützung von Universitätsgruppen etc
1-Oct-2002R. Mankel, DESY Computing 24
Ausblick
• Die technischen Möglichkeiten werden sich weiterentwickeln, ebenso die Ansprüche
• Auch die zentralen Dienste werden internationaler werden, in globalen Kooperationen arbeiten
• Die Zusammenarbeit zwischen zentralen Diensten & IT wird sich intensivieren
• Es wird immer mehr Nutzer geben, die DESY noch nie gesehen haben.
• Wir sollten mehr für die externen Gruppen tun
1-Oct-2002R. Mankel, DESY Computing 25
DESY-Computing vor 10 Jahren…
• Es hat sich sehr viel getan...• Es wird sich auch in Zukunft noch viel tun.