Post on 28-Oct-2019
Unix-Einführung
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
Werkzeuge unter Windows
Unix-Grundlagen
Benutzung von Programmen auf dem Cluster
Windows-Werkzeuge
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
Zugang mit Textkonsole:
ssh-client http://www.urz.uni-heidelberg.de/Dokumentation/IBM-PCs.shtml
putty http://the.earth.li/~sgtatham/putty/latest/x86/putty-0.59-installer.exe
Kopieren von Dateien
ssh-client http://www.urz.uni-heidelberg.de/Dokumentation/IBM-PCs.shtml
winscp http://winscp.net/eng/download.php
Graphische Anzeige unter Windows
winaXe http://www.urz.uni-heidelberg.de/Dokumentation/IBM-PCs.shtml
Windows-Werkzeuge
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
für ‚Experten‘
cygwin: http://www.cygwin.com
komplette Unix-Umgebung unter Windows
Kostenlos
X11 (graphische Oberfäche)
compiler
Skriptsprachen etc.
gut zum Testen/Üben
Grundlagen Terminologie
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
Server
entfernter Rechner oder Dienst
Client
lokaler Dienst, der auf den Server zugreift
Protokoll
ein Kommunikationskanal z.B http: 80, ssh: 22
www.uni-heidelberg.de = www.uni-heidelberg.de:80
Dienst
ein vom Server angebotenes Protokoll
ssh dienst
X11 Protokoll
Grundlagen Windowmanager
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
X11-Protokoll
lokal
Windows-PC
X-Serverremote
Linux-PC
Anmelden am server (chi) per ssh-Protokoll
Auf dem server Starten eines graphischen Programms
lokale Darstellung mittels X-Server (Vorsicht andere Terminologie)
ssh-Protokoll
Grundlagen Windowmanager
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
X11-Protokoll
„getunnelt“
lokal
Windows-PC
X-Server remote
Linux-PC
z.B. chi
X11-Protokoll unsicher
deshalb Tunneln des Protokolls innerhalb ssh
nur so graphische Fenster auf chi
ssh-Protokoll
Grundlagen Zugang
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
mit VPN (virtual private network)
ssh
lokal
Windows-PC
X-Server remote
Linux-PC
server
innerhalb der Uni
VPN
lokal
Windows-PC
X-Server remote
Linux-PC
server
Zugang CiscoVPN
innerhalb der Uni (ACI/OCI/PCI)
direkt
außerhalb (auch WLAN)
Cisco-Client http://www.urz.uni-heidelberg.de/Netzdienste/vpn/
URZ-account
X-Server winaXe
nach Installation:
xsettings als
Administrator
ausführen
nach Ausführen von
xsession als
admin:
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
ssh-client putty
X11-forwarding
anschalten
Konfiguration
speichern
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
ssh-client putty
Profil abspeichern
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
Zugang zu Server (Windows)
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
1. ggf. CiscoVPN starten
2. winaXe starten
3. putty starten, Profil laden
Zugang auf Server
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
Textzugang
schnell, von zuhause
zum Kontrollieren von Rechnungen meist ausreichend
shell: bash (bourne again shell)
Graphischer Zugang
Visualisierung von Molekülen
Datenbanken (CSD)
Komfort
Kommando-Prompt
konsole
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
komfortable Version der Texteingabe
Teil der KDE-Oberfläche (Linux)
läuft lokal
läuft auf dem Server! Die Ausgabe wird übertragen, Anzeige durch winaXe
konsole
Programme auf chi
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
Dokumentation http://chi.aci.uni-heidelberg.de
wichtigste Infos
Account:
ab Diplomand
bei AK-Sekretariat
Formular auf chi
Unix Essentials
bash = bo(u)rn(e) again shell
Dateisystem
Grundlegende Befehle
Nomenklatur für Beispiele:
<name> : Namen einsetzen
/home/<name> /home/kurs1 etc
Cluster <chi> bzw. angegeber Name
fett: Unix-Commando
Unix Dateisystem 1
Root = /
Verzeichnistrenner: / (nicht \ !)
Wo bin ich: pwd
Verzeichniswechsel: cd
Home-Verzeichnis: /home/<name>
Unix Dateisystem 2
Relative und absolute Pfade: / vs. ~
Tilde: ~ cd /home/martin oder cd ~
Leerzeichen in Dateinamen vermeiden:
Sonderzeichen: _ - , keine Umlaute!
Besondere Dateien: . und ..
cd .. : ein Verzeichnis nach oben
cd . : aktuelles Verzeichnis
Unix Dateisystem 3
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
Rechte
User, Group, others
jeweils Dreiergruppen: (Oktalformat) rwx
r = read, w = write, x = execute
Modifikation von Benutzerrechten mit chmod
a = all, u = user, g = group
-rwxrwxrwx = 777
Gruppenrechte
chmod g+rw hallo.txt
chmod og-rwx hallo.txt
Reguläre Ausdrücke: regular expressions
Selektive Platzhalter
Alle Dateien : * (nicht *.*)
Alle .com Dateien: *.com
Alle hallo-<ziffer>: hallo-?
Beispiel
*.com : alle .com Dateien im aktuellen Verzeichnis
Unix Befehle: ls
Auflisten von Dateien
Eine Datei: ls hallo
Alle .com Dateien: ls *.com
(Fast) alle Dateien im Verzeichnis: ls * oder ls
Weitere Formen: ll = ls -l , la = ls -a
nicht überall verfügbar
Unix Befehle: pwd / cd
Aktuelles Verzeichnis: pwd
Verzeichniswechsel: cd
pwd; cd . ; pwd; cd ..
Verzeichnis: /home/muster/kurs/test/
cd /home/muster/kurs/test/
cd test2
cd ~/kurs/test/test2
Unix Befehle: touch
Erzeugen leerer Dateien
touch test
ls test
Später: Editoren: vi, emacs, nedit
Löschen des Bildschirms : clear
Unix Befehle: mkdir/rmdir
Erstellen von Verzeichnissen
mkdir ~/test-dir
mkdir /home/muster/test-dir
mkdir ../muster/test-dir
Löschen von leeren Verzeichnissen
rmdir ~/junk-dir
Unix Befehle: cp
Kopieren von Dateien und Verzeichnissen
Dateien: cp hallo hallo2
Verzeichnisse:
cp –r testdir testdir2
cp –r testdir/ .
cp –rv testdir/ testdir2
-r : rekursiv
-v : verbose
Unix Befehle: scp
Kopieren von Dateien und Verzeichnissen
zwischen zwei (Linux)-Computern
scp hallo hallo2
kopiert lokal (ruft cp auf)
scp <quelle> <ziel>
scp test1 zielrechner:/home/martin
kopiert Datei test1 auf den zielrechner nach /home/martin/test1
scp –r test2 zielrechner:/home/martin
kopiert rekursiv (test2 kann ein Verzeichnis sein
Unix Befehle: scp
absolute und relative Pfade:
scp –r test1 ziel:test1
kopiert rekursiv nach ziel in $HOME/test1
($HOME ist normalerweise /home/<muster>)
ändern der Netzerkennung
scp h2o.out muster@ziel:
kopiert h2o.out zum Rechner ziel, entfernter Username muster
Unix Befehle: ssh
unter Unix: (oder cygwin)
Einloggen auf einem anderem Rechner
ssh chi
Ändern des Namens:
ssh –l muster chi
X11-forwarding:
ssh –X chi
Beenden einer Session bitte mit exit oder CTRL-d
Unix Befehle: mv
Dateien verschieben/umbenennen
Datei: mv hallo hallo_alt
Verzeichnis: mv hallo hallo_alt
Im Dateibaum: mv ~/test1.com dir2
wenn dir2 existiert (als Verzeichnis): dir2/test1.com
wenn nicht : Umbenennen in dir2 (Datei)
Unix Befehle: rm
Löschen von Dateien/Verzeichnissen
ACHTUNG: KEIN Papierkorb!
rm hallo
Interaktiv: rm –i hallo
Rekursiv: rm –r test-dir
Ohne Nachfrage: rm –rf * !!
besser: cd folder_to_delete
pwd
rm –ri *
cd ..
rmdir folder_to_delete
Unix Befehle: man/info
Hilfesysteme:
1. man
2. info
Eingabe von: man man
Bsp: man less : Hilfe über Aufrufparameter.
info less : moderneres Hilfesystem.
Einfachster Zugang über emacs. (C-h i)
Unix: Prozesse
Befehle parallel ausführen
cp –r alles backup & Vorsicht!
Anzeige mit: jobs
Kontrolle über die Shell: CTRL-z
fg und bg
%1&
Unix: bash
History: mit Pfeiltasten
Ergänzung mit TAB
CTRL-a und CTRL-e Sprung an Anfang/Ende der Zeile
Letzter Befehl mit !<Name>
history
dann !123 führt entsprechnenden Befehl aus
Exit aus der Shell: exit oder CTRL-d
(bitte nicht das „Kreuz“ unter Windows!)
Pager less
Anzeige einer Datei ohne sie zu verändern
wichtig bei laufenden Rechnungen!
less <dateiname>
Quit : q
Follow mode: SHIFT-f
Anfang: p Ende SHIFT-g SPC, b,
Suche: /SCF , dann n oder SHIFT-n
Prozessanzeige top
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
Anzeige über Auslastung der CPUs
load-Anzeige
maximal 1 pro Core
Beenden (in top) eigner Prozesse: mit k(ill)
Anzeige von Prozessen: ps
PID: process ID
beenden mit kill <PID>
Unix: Editoren
Gebräuchlichste Editoren
vi schnell, mächtig, kryptisch
emacs sehr gut, aber umfangreich
nedit einfach, intuitiv, nicht überall verfügbar
Funktion 1/Einarbeitungszeit
Editor vi
Einfüge- und Kommandomodus, Umschalten mit
ESC, Kommando mit :
Insert :i
Replace :r (ein Zeichen), :R
Löschen :dd (eine Zeile), :x (Zeichen)
ESC :wq write and quit
Hilfe: vi :help
auch als Windows-Version!
Editor nedit
(N)irwana (Edit)or
menügesteuert
Aufruf: nedit datei &
Copy & paste
Menü / Help
Editor (x)emacs
Anleitung: http://chi.aci.uni-heidelberg.de
Graphischer Modus auch für Einsteiger.
sowohl emacs als auch xemacs
Textmodus mit emacs –nw (für console)
Komplexer Editor (aber gut!)
META-Taste = ALT , also M-x = ALT-x
Hilfe: CTRL-h i (Hilfe-Index)
Probieren: M-x doctor RET
Editor (x)emacs
gibt es auch unter Windows
gut zum Ansehen/Editieren von Files die unter Linux erzeugt wurden
cut & paste
markieren: CTRL-space und dann cursor setzen
in den Zwischenspeicher: ALT-w
kopieren mit CTRL-y
Kommandos emacs
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
C- : ctrl-Taste
M- : Alt-Taste
cluster
Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin
45 Opteron Rechner, 100+ Cores
16 AMD MP Rechner, 32 Cores
Master Quad-Xeon
Arbeitskreis-Rechenknoten Chi (master node)
AMD XP 1900 16x2
AMD Opteron45x2
AMD Quad
cluster Schlangensystem
Anzeige laufender Rechnungen
listnodes
Jobs werden der Reihe nach verarbeitet.
Status R: running Q: queued
Anhalten/Löschen von Jobs
killjob <jobid>
Beispiel Quantenmechanik
Gaussian 03
Input erstellen
Abschicken
Inputs erstellen
xyz Koordinaten
Z-Matrix
(redundant coordinates)
Alles Textdateien! Mit jedem Editor zu öffnen
Eingabe: Z-Matrix
Beschreibung des Moleküls in internen Koordinaten
(keine Translation, keine Rotation)
Bindungen, Winkel, Diederwinkel (Torsionen)
Vorteil: klare Beschreibung (e.g. Torsionsprofil von
Ethan)
Z-Matrix
1. Atom: keine Freiheitsgrade!
2. Atom: Bindung zu 1.
2. Atom: Bindung und Winkel
3+. Atom: Bindung, Winkel, Torsion
Rein geometrische Beschreibung, kein Kraftfeld!
(Elektronendichte)
Eingabe: g03 – H2O
#P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinput
Leerzeile
Water optimization
Leerzeile
0 1
H1
O2 H1 r1
H3 O2 r1 H1 a1
Variables:
r1 1.0
a1 104.5
Leerzeile
XYZ Input
Leichter aus anderen Programmen / Formaten zu
erhalten;
Reihenfolge der Atome unwichtig (keine
Abhängigkeiten)
Für große Moleküle empfehlenswert
Eingabe XYZ
#P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinput
Leerzeile
Formaldehyde optimization
Leerzeile
0 1
C 0.0 0.0 z1
O 0.0 1.22 0.0
H 0.94 -0.54 0.0
H -0.94 -0.54 0.0
Variables:
z1
Leerzeile
Rechnung abschicken 1-2-3
1. Input erstellen (mit nedit/emacs/vi) h2o.com
2. Abschicken: g03 h2o.com
3. Schlangensystem: listnodes
4. less h2o.out (kein &!)
5. In less: SHIFT-f (follow mode)
6. In less: CTRL-c , (q)
QM-Rechnung Files
Endung Inhalt
.com g03 Eingabedatei
.out g03 Ausgabedatei
.chk.bz2 Komprimiertes Checkpointfile
.fchk.bz2 Formatiertes Checkpointfile
Visualisierung z.B. molden
1. Eingabe von: molden &
2. Öffnen der h2o.out Datei
3. Visualisierung der Optimierung etc.
4. Orbitale, HOMO/LUMO
5. Ändern der Z-Matrix möglich.
andere Möglichkeiten
gaussview 3.0 (g03v)
molekel
Tools grep
Durchsuchen von Textdateien
Beispiel: SCF Done in h2o.out
grep "SCF Done" h2o.out
grep "SCF Done" h2o.out | less
siehe: man grep
Tools bzip2/bunzip2
Komprimieren von Dateien
Komprimieren
bzip2 h2o.out
Ergebnis : h2o.out.bz2
Dekomprimieren
bunzip2 h2o.out.bz2
Ergebnis: h2o.out
analog mit gzip/gunzip (Endung .gz)
Tools zip
Erstellen von Archiven (Windows-compatibel)
zip –r zipfile.zip g03-files/ erstellt komprimiertes Archiv mit allen Dateien
in g03-files
unix-tool: tar Erstellen
gzip: tar czvf tarfile.tar.gz g03-files
bzip2: tar cjvf tarfile.tar.bz2 g03-files
Entpacken
tar xzvf tarfile.tar.gz
tar xjvf tarfile.tar.bz2
Tools bc
"Taschenrechner"
bc -l
1.234+4.321
quit
Tools dos2unix/unix2dos
Umwandeln der Zeilenendung unter Unix und
Windows
Editoren emacs, vim machen das unter Windows
automatisch (aber z.B. nicht nodepad)
auf dem Server verfügbar
lokal mittels cygwin installierbar
man recode
Tools > >> | < <<
File-IO umleiten und Pipes
cat hallo > hallo2
Inhalt der Datei hallo nach hallo2 schreiben
cat hallo >> hallo2
Inhalt der Datei hallo an Datei hallo2 anfügen (append)
grep "SCF Done" h2o.out | less
Suche nach Zeilen mit „SCF Done“ und Anzeige in less
grep "A" *.out | grep "B" | less
Pipe-Symbol : Verknüpfung von Input und Output
Tools (windows) winzip
Kopieren von Dateien zwischen Windows und Linux
frei erhältlich
Explorer-Interface (zwei Fenster nebeneinander)
sicher, einfach
Tools Dateiformate
Umwandlung verschiedener Formate mit newzmat
z.B. Aus dem checkpoint file eine neue Eingabestruktur:
1. bunzip2 h2o.chk.bz2
2. newzmat 03 –ichk h2o.chk –ocart h2o-o.com
3. bzip2 h2o.chk.bz2
andere Möglichkeiten
babel
maestro (graphische Oberfläche)
mercury (graphisch, Teil der CSD-Datenbank)
molekel
Beispiel QM-Rechnung
Rechnungstypen
Single point SP (default)
Geometry optimization OPT
Frequency calculation FREQ
Eigenschaftsberechnungen
etc.
Programme
gaussian 03 , turbomol, jaguar, dalton, nwchem …..
QM-Rechnung SCF
Self Consistent Field
Iteratives Verfahren zum Optimieren der Dichte:
Abbruch wenn Pn = Pn-1
Geometrie-Optimierung
Zyklus
SCF Done
Converged?
Stationary Point Found.