Zentrale IT-Services aus der Perspektive eines Experimentalphysikers Rainer Mankel DESY Hamburg.

Zentrale IT-Services aus der Perspektive eines

Experimentalphysikers

Rainer Mankel

DESY Hamburg

1-Oct-2002R. Mankel, DESY Computing 2

Typische Perspektiven(Langjähriger) DESYaner• hat sich an alles gewöhnt &

glaubt daß es so normal ist• etablierter Arbeitsstil, kennt

Lösungen für „seine“ IT-Probleme

• kennt Ansprechpartner• oft sehr konservativ (Userid

f15xyz...), lieber nichts ändern

Gastwissenschaftler (Student oder PostDoc)

• kennt Situation an anderen Instituten

• findet übereinstimmende wie abweichende Konzepte

• erwartet standardisierte Services• sucht Information, Lösungen und

Ansprechpartner

Experiment-Computing• Klare Aufgaben bei

Rekonstruktion und Datenalyse

Gastwissenschaftler („Dignified Professor“)

• kein signifikanter CPU-Verbrauch

• Schwerpunkt auf elementaren Services: Kommunikation, Drucken, vergessenes Passwort fixen, versehentlich gelöschte Files zurückholen


Gestern & Heute

• Gestern ging man nach Hause wenn

– der Strom ausfiel

– die IBM down war

• Heute geht man nach Hause wenn

– Strom oder Netzwerk ausfallen

– AFS nicht geht (z.B. Binary Server)

– OSM oder dCache ein größeres Problem haben

– das Netzwerk-Kabel für das Notebook fehlt


Experiment-Computing (z.B. ZEUS)

50 M 200 M Events/year

Interactive

Data Analysis

Tape storage incr.

20-40 TB/year

~450 Users Disk storage

3-5 TB/year

Data mining

MC production

Data processing/

reprocessing


Number Crunching: die Farmen

• HERA-II bringt (zumindest langfristig...) steigende Ereignisraten & Datenmengen:

– Ereignisgröße, Ereignisraten -> höhere Datenraten

• Aber auch: die Standards bei der Analysegeschwindigkeit wachsen ständig

– Abstand zwischen „letzter Batch Analyse“ und Präsentation der Daten (z.B. Kollaborationstreffen) wird immer kleiner

• früher 4 Wochen, jetzt 1 Woche

• Moderne PC-Farmen und Commodity Fileserver bringen die nötige Leistung, verlangen aber auch der zentralen Infrastruktur immer mehr ab

– Installation, Stromversorgung

– Netzwerk

– Konsolzugang


Leistungssprung für HERA-IIR

ekon

stru

iert

e E

reig

nis

se (

pro

Tag

)

450 k

1.5 M

3 M


Commodity Computing: Fluch & Segen• HERA-Experimente verwenden ca. 100

Farm-PCs pro Experiment– ca. 500 Farm-PCs bei DESY-HH

• Typische “Lebensdauer” 3-4 Jahre– 1999: 350 MHz 2002: Dual 2.2 GHz

• Sehr wichtig:Hardware-InstallationssupportLinux-SupportKonsolzugangKonfigurationspflege

• Daß PC-Spiele und HEP-Analyseprogramme dieselbe Hardware benutzen, ist vermutlich nur ein Zwischenstadium– 1U-Server ?– Systemlösungen?– Was kommt nach Linux?


Zum Vergleich: Fermilab

• Fermilab hat im September auf einen Schlag 434 PCs geliefert bekommen– beachtliche logistische Herausforderung: was tun wenn der Laster kommt?– wohin mit all den Kartons („Burn-in Phase“), wo einstöpseln?– Abwärme

• Verdoppelt die Zahl der Einheiten (bei gleichbleibendem Personalstand)• Auch wir müssen lernen, wie man wirklich große Systeme unterstützen kann


File Server

• Geänderte Paradigmen: Vergrößerung der Disk Area reduziert Zahl der Zugriffe auf die Tape Library

• ZEUS Disk Space (Ereignisdaten):– Anfang 2000: 3 TB davon FC+SCSI: 100%– Mitte 2001: 9 TB 67%– Mitte 2002: 18 TB 47%

• Notwendiges Wachstum war in der Form nur mit Commodity Komponenten möglich


Linux @ DESY - eine Erfolgsstory• Linux schaffte es in den letzten Jahren von “Null Support” zu einer

strategischen Plattform

• Andere (Vendor-) UNIX auf dem Rückzug


dCache

• Leistungsfähige Mass Storage Middleware für alle DESY-Gruppen

– hat bei ZEUS tpfs (1997) und SSF (2000) abgelöst

• Erlaubt den Aufbau großer, verteilter Cache Server Systeme Nun ein Schlüsselsystem für die HEP-Experimente Zuverlässigkeit muss immer weiter perfektioniert werden

Output (User read)

Input (Staging)


Interaktive Umgebung

• Desktops und Workgroup Server

• Primäre Funktionen:

– Rechenpower & Plattenplatz für interaktive Analyse

– Integration of Linux (WGS) and Windows (Desktop)

– Basisstation für mobiles Computing (notebooks)

• Probleme:

– Crossmounts der Platten zwischen Workgroup Servern und Desktops

• Verwaltung, Performance, Stabilität (NFS)

– Cross Platform Support Wir brauchen einen „Large File Space“

– skalierbar

– exportiert Verzeichnisse auf „alle“ Rechner

– unterstützt UNIX und Windows

– Zentrales Backup


Netzwerke

• So wichtig wie Elektrizität

• In kaum einem Bereich waren Verbesserungen in den letzten Jahren so stark spürbar

– switched networks

– Gb backbone

– Dynamische VLANs

– Funk-LANs

• In kaum einem Bereich gewöhnt man sich so schnell daran

• Zukunft:

– lohnt es sich, noch Fast Ethernet zu kaufen?

– 10 Gbit Ethernet wird kommen

– Funk-LAN auf dem gesamten Campus ? (oder zumindest in Geb. 1a-e ...)

http://images.google.de/imgres?imgurl=www.arpagan.com/auctions/2001Nov13/pics/images/026_%25204%2520Cisco%25202900%2520Catalyst%252024%2520Port.jpg&imgrefurl=http://www.arpagan.com/auctions/2001Nov13/pics/pages/026_%25204%2520Cisco%25202900%2520Catalyst%252024%2520Port.htm&h=768&w=1025&prev=/images%3Fq%3DCisco%2Bcatalyst%26start%3D20%26svnum%3D10%26hl%3Dde%26lr%3D%26ie%3DUTF-8%26oe%3DUTF-8%26sa%3DN


Veränderung der kollaborativen Umgebung

• Bisher waren HEP-Kollaborationen stark „DESY-zentrisch“

• Zukunft: Rolle der externen Institute wird gestärkt

• Beispiel: neues ZEUS Event Display– portabler C++ Client– Client/Server Struktur– Zugriff

• auf zentrale Geometrie und Ereignisdaten via HTTP

• auf Programme und dynamische Bibliotheken via AFS

– auch Online-Events überall sichtbar

New vertex detector within calorimeter (new ZEUS event display)


Kollaborative Applikationen (Forts.)

• DESY sollte die Unterstützung der externen Institute weiter verbessern

• In Zukunft wird GRID-Computing die Standards setzen

• Verallgemeinerung des WWW auf Hochleistungscomputing

• „Virtuelle Communities“

• „Resource Sharing“

• Es ist wichtig, den Anschluß nicht zu verpassen

• Pilotprojekt?


Kollaborative Arbeit: Meetings

Nicht mehr zeitgemaess:

• Wie organisiert man Meetings so, dass elektronische Praesentationen automatisch vom Sprecher aufs Web hochgeladen werden und von dort abgerufen werden koennen?


Eine ZEUS-Lösung: ZEMS

ein Groupware Tool fuer DESY?


Email

• Email ist das wichtigste Kommunikationsmittel großer internationaler Kollaborationen

• Niemand kann mit so vielen Kollegen mehr per Telefon, Fax oder selbst Meetings kommunizieren

• Schnelligkeit und Zuverlässigkeit der Email bestimmen die Effizienz

• Viele Wissenschaftler organisieren ihren gesamten Arbeitsablauf mittels Mailbox, Mailfolder etc (“Schicken Sie mir eine Mail”)

Probleme & Herausforderungen:

• Mobiler Zugang (SSL-basierter Zugriff auf SMTP Server)

• Schnelligkeit

• Spam

• Vernetzung von Mailinglisten mit Kollaborationsverzeichnissen etc


“Home-Computing” - RAS

• Immer mehr Systeme der Experimente erlauben Ferndiagnose per Internet

• Experten diagnostizieren ihre Systeme von Zuhause, greifen in die Steuerung ein

Probleme:

• Zugriffsrechte

• ISDN ist für viele Anwendungen zu langsam

VPN ist essentiell Wie können wir DSL einbinden? (entsprechend Callback)


Der „Travelling Scientist“

• HEP-weiter Trend zum „mobilen Computing“ wird auch bei DESY zunehmen

• Der „Travelling Scientist“ reist typischerweise mit einem Notebook, und will, wo immer er ist (DESY, CERN, FNAL, Starbuck‘s, zuhause), Zugang zu

– seiner Email

– seinem Webserver

– seinem Homeverzeichnis

– irgendeinem Scanner und Drucker

• Typische Probleme:

– Netzwerkverbindung (Classical & Wireless)

– Netzwerkprivilegien, Zugriff auf Peripherie

– Limitierungen des Mailservers

– Konfiguration des Notebooks


Das Applikations-Defizit

• Der Zugang zu allgemeinen Applikationen ist verbesserungsfähig

• Beispielsweise werden zur Anfertigung von Vorträgen, Bildern etc oft die seltsamsten Programme benutzt

• Gründe:

– Betriebssystem und Applikation passen nicht zusammen

– Unkenntnis & fehlender Überblick

– fehlende Anlaufstellen bei Problemen

• Auswege: transparenter Zugang zu UNIX und Windows für jeden Wissenschaftler„Knowledge Database“ – die wichtigsten Probleme bei Word, StarOffice,

PowerPoint, DreamWeaver, PhotoShop etc (& ihre Lösung)Expertenhilfe aus dem RechenzentrumBesondere Unterstützung fuer Schlüsselapplikationen (z.B. ROOT)

UNIX Windows


DESY: Powered by ???

• Es gibt nur eine wirkliche Rechtfertigung für die hohen öffentlichen Mittel, die DESY zu seiner Finanzierung braucht:– „Spitzenforschung auf absolutem Weltniveau“

• „Meßbare“ Qualitätskriterien:– Zahl der Publikationen, Artikel, Zitierungen– Zahl der auswärtigen Wissenschaftler– Zahl der Doktorarbeiten– Unterstützung von Universitätsgruppen etc


Ausblick

• Die technischen Möglichkeiten werden sich weiterentwickeln, ebenso die Ansprüche

• Auch die zentralen Dienste werden internationaler werden, in globalen Kooperationen arbeiten

• Die Zusammenarbeit zwischen zentralen Diensten & IT wird sich intensivieren

• Es wird immer mehr Nutzer geben, die DESY noch nie gesehen haben.

• Wir sollten mehr für die externen Gruppen tun


DESY-Computing vor 10 Jahren…

• Es hat sich sehr viel getan...• Es wird sich auch in Zukunft noch viel tun.

Zentrale IT-Services aus der Perspektive eines Experimentalphysikers Rainer Mankel DESY Hamburg.

Documents

Transcript of Zentrale IT-Services aus der Perspektive eines Experimentalphysikers Rainer Mankel DESY Hamburg.