Einrichten eines IVV Naturwissenschaften NWZnet -Arbeitsplatzes … · 2007. 3. 28. · Rechnern in...

Einführung in die Administration von Rechnern in der IVV WS 2005/06

09.02.2006

www.uni-muenster.de/IVVNWZ 1

09-Feb-2006 Thomas Bauer([email protected])

IVV NaturwissenschaftenIV der Fachbereiche Biologie • Chemie • Physik

Westfälische

Wilhelms-Universität

Münster

Einrichten eines Einrichten eines NWZnetNWZnet--ArbeitsplatzesArbeitsplatzesals als GRIDGRID--RechnerRechner ffüür r MORFEUSMORFEUS

2

Inhalt

�Was ist Morfeus?

�Überblick über die Condor-Software

�Das Morfeus-GRID

�Installation, Nachkonfigurationen

�Windows� Linux

�Ausblick

�Zusammenfassung


09.02.2006


3

Was ist Morfeus?

�Multiple Orphaned Resources For Educational Use

�Erschließung der bestehenden und noch nicht voll ausgenutzten Rechenleistung

�Realisierung durch das frei verfügbare Condor-Batchsystem

4

Konzept der Condor-Software

� Ein Central Manager

� Weiß über alle Ressourcen bescheid

�Status, Hardware, ...� Verteilt anstehende Jobs auf Clienten

� Entscheidet anhand von Prioritäten, welcher Benutzer bevorzugt wird

� Viele Clients

� Bearbeiten Jobs aus der Queue, wenn sie nicht vor Ort angefordert werden

� Stellen Jobs in die Queue


09.02.2006


5

Das Morfeus-GRID� Hardware

� Intel P2, P3, P4

� AMD XP

� Stand Februar 2006

� ~200 Clients�~15 Linux

�~175 Win XP

�~10 Win 2000

� Leistung

� 410.000 MIPS

� 130 GFlops

� In 1,5 Jahren 45 Jahre Rechenzeit

Terminalserver

(NWZhome.uni-muenster.de)

Biologie Physik

Central Manager

(morfeus.uni-muenster.de)

6

Quellen

� Offizielle Installer

� www.cs.wisc.edu/condor/downloads

� Stable Release (Version 6.6.10) und Morfeus-Konfigurationsdateien

�Windows: Static� N:\Software\Programming\Morfeus\Windows

�Linux: Dynamic (glibc 2.3)� N:\Software\Programming\Morfeus\Linux

� Morfeus-Installationsscript für Windows

� N:\Admin\CMD\install_condor.bat


09.02.2006


7

Windows: Installation von der Clients

� Administrativ einloggen (y-Account)

� Automatisches Script N:\Admin\CMD\install_condor.bat

bis zum Ende durchlaufen lassen

� Aktuelles Image beinhaltet bereits Condor!

� Installationsverzeichnis C:\Condor

� Globale Konfiguration: condor_config

� Lokale Konfiguration: condor_config.local

8

Windows: Konfigurationsdatei condor_config� Zentrale, identische Konfiguration für alle Windows-

Clients

� Beinhaltet die wichtigsten Einstellungen für die Morfeus-GRID-Clients

� Gespeichert unterN:\Software\Programming\morfeus\Windows\condor_config

� Registry-Eintrag auf lokaler MaschineHKEY_LOCAL_MACHINE\SOFTWARE\Condor\CONDOR_CONFIG

definiert diesen Pfad� Wird durch Gruppenrichtlinie auf oberster Ebene eingestellt� Lokale Datei c:\condor\condor_config ist ohne

Bedeutung!


09.02.2006


9

Windows: Eigene condor_config benutzen (I)

�Policy der entsprechenden OU muss angepasst werden

�Active Directory öffnen

�Gruppenrichtlinie editieren bzw. erschaffen

�Bei Computerkonfiguration Rechts-Klick auf Administrative Vorlagen � Vorlagen hinzufügen/entfernen...

�N:\Admin\CMD\ADM\NWZnet\

morfeus.adm hinzufügen

10

Windows: Eigene condor_config benutzen (II)

�Windows versteckt neu hinzugefügten Eintrag, daher: Ansicht � Filterung...

�Alle Häkchen entfernen

�Gewünschter Pfad zu der condor_configkann nun über die Policy-Einstellung in Computereinstellungen/Administrative/ Vorlagen/NWZnet/Software/Morfeusdefiniert werden


09.02.2006


11

Windows – Nachkonfiguration der condor_config.local (I)

�c:\condor\condor_config.local

editieren

�Prozessortyp

�Konvention für arch_type: �Intel Celeron: Cel

�Intel Pentium II, III, IV: P2, P3, P4

�AMD XP: 686

�Neuen Prozessor-Typ bitte [email protected]

12

Windows – Nachkonfiguration der condor_config.local (II)

�Anzahl Prozessoren

�Pentium 4 mit Hyperthreading wird als Dualprozessor erkannt: �num_cpus = 1

�Echte Mehrprozessormaschinen entsprechend anpassen�z.B. num_cpus = 4

�Abschließend Restart des Condor-Service


09.02.2006


13

Windows XP - Firewall

�Durch Gruppenrichtlinie auf oberster Ebene korrekt konfiguriert

�Ausnahmen zulassen�Condor Master

�C:\Condor\bin\condor_master.exe

�Condor Scheduler�C:\Condor\bin\condor_schedd.exe

�Condor Job Starter�C:\Condor\bin\condor_startd.exe

14

Deinstallation von Condorunter Windows 2000, XP

� Service Condor beenden

� Evtl. alle condor_*-Prozesse beenden

� C:\Condor löschen

� Registry säubern� HKEY_LOCAL_MASCHINE\SOFTWARE\Condor

� HKEY_LOCAL_MASCHINE\SYSTEM\CurrentControlSet\Services

\Condor

� Lokale(n) Benutzer condor_reuse_vm* entfernen

� Reboot


09.02.2006


15

Installation von Linux–Clients(I)� Getestet mit SuSE 8.2, 9.1, 9.3 und 10.0

� Vorraussetzung zur Installation: PERL� Einloggen als root

� Anlegen eines lokalen Benutzers condorYaST � Security & Users

� condor-6.6.10-linux-x86-glibc23-dynamic.tar.gz per ftp nach /tmp kopieren� ftp nwz

� cd nwznet_inforoot:[nwznet.morfeus.linux]

� bin

� get condor-6.6.10-linux-x86-glibc23-dynamic.tar.gz;1 /tmp/condor-6.6.10-linux-x86-glibc23-dynamic.tar.gz

16

Installation von Linux–Clients(II)� Entpacken

� tar xzfv /tmp/condor-6.6.10-linux-x86-glibc23-dynamic.tar.gz

� Installationsskript aufrufen� cd /tmp/condor-6-6-10/

� perl condor_install

� Alle Fragen mit Enter quittieren, außer

� Step 2: (...) Are you planning to set up condor on multiple machines? no

� Step 8: What machine will be your centralmanager? (...)morfeus.nwznet.uni-muenster.de


09.02.2006


17

Installation von Linux–Clients- Pfade

� Binaries

� /usr/local/condor/bin

� /usr/local/condor/sbin

� Log-Dateien

� /home/condor/log

� Konfigurationsdatei condor_config

� /usr/local/condor/etc/

� Konfigurationsdatei condor_config.local

� /home/condor

18

Installation von Linux–Clients- Nachkonfiguration (I)� condor_config.local per ftp nach /home/condor kopieren und anpassen

� arch_type und num_cpus wie auf Folie 11 und 12 konfigurieren

� Bei SuSE 9.1, 9.3, 10.0 versagt die automatische Erkennung des Arbeitsspeichers�MEMORY = 512

� condor_config nach /usr/local/condor/etc/ kopieren� ftp: get condor_config;1 /usr/local/condor/etc

� Wird unter Linux (noch) nicht zentral vorgegeben


09.02.2006


19

Installation von Linux–Clients- Nachkonfiguration (II)� Condor starten

� /usr/local/condor/sbin/condor_master

� 3 Dämonen

� condor_master, condor_schedd, condor_startd

� Autostart von Condor bei Reboot

� condor nach /etc/init.d kopieren� ftp: get condor.;1 /etc/init/condor

� chmod u+x /etc/init.d/condor

� YaST�System Services (Runlevel) als ExpertMode�Condor: Runlevel 3 & 5 � Enable the Service

20

Deinstallation von Condorunter Linux� Dämonen condor_* beenden

� kill -9 UID

� Verzeichnisse löschen� /home/condor

� /usr/local/condor

� Benutzer condor entfernen

� YaST�System Services (Runlevel)

� Condor: Runlevel entfernen � Disable the service� /etc/init.d/condor entfernen

� Softlinks in /usr/local/bin entfernen


09.02.2006


21

Ausblick

�Vergrößerung des Morfeus-GRID

�Condor-Updates für Windows-Clients per Group Policy (MSI-Pakete)

�Zentrale condor_config für Linux-Clients

22

Zusammenfassung

�Funktionsweise von Condor

�Installation und Deinstallation der Condor-Software

�Windows-Clients

� Linux-Clients

�Konfiguration von Condor für das Morfeus-GRID


09.02.2006


23

Fragen und Antworten

�[email protected]

Einrichten eines IVV Naturwissenschaften NWZnet -Arbeitsplatzes … · 2007. 3. 28. · Rechnern in...

Documents

Transcript of Einrichten eines IVV Naturwissenschaften NWZnet -Arbeitsplatzes … · 2007. 3. 28. · Rechnern in...