Control-M DS Utilities - aticstro.com · \\Default\pgsql\bin ... CONTROL-M AGENT Utilities. ATICS...

$: Control-M DS Utilities - aticstro.com · \\Default\pgsql\bin ... CONTROL-M AGENT Utilities. ATICS GmbH IT–Beratung ... Um dieses Problem$
© ATICS GmbH 2016

ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein

Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de

1

Holger [email protected]

Control-M DS Utilities„Was man vielleicht nicht immer kennt!“



© ATICS GmbH 2016

2

POSTGRESQL



© ATICS GmbH 2016

3

Psql – SQL-Client für PostgreSQL

Pfad des PostgreSQL-Clients: Windows

<Installation-Pfad>\<Product>\Default\pgsql\bin

Unix/Linux$HOME/<Product>/pgsql/bin

Die notwendigen Umgebungsvariablen sind beiUnix/Linux abgelegt unter:$HOME/<Product>/.PGenv.csh (für CSH)$HOME/<Product>/.PGenv.sh (alle anderen Shells)

Aufruf des Clients:psql -U <UserID> [-d <DB-NAME>] [-f <SQL-File]

Das DB-Passwort kann vorab über dieUmgebungsvariabel PGPASSWORD übergeben werden!



© ATICS GmbH 2016

4

Weitere Optionen des PostgreSQL-Clients

-F Legt das Separator für Ausgaben fest

-H Gibt die Ausgabe im HTML-Tabellen-Format aus

-o Ausgabedateinamen

-t Unterdrückt Spaltenüberschriften und den Row Counter



© ATICS GmbH 2016

5

Praktische Meta-Commands in psql

Meta-Commands beginnen in psql immer mit einem\ (Backslash), und zwar unmaskiert.Ein Suchbegriff [ pattern ] kann oft mit übergeben werden.RegEx werden dabei unterstützt (*,?,[…],etc.).

\! [ Befehl ]

Ausführung eines OS-Befehls, ohne psql zu verlassen

\cd [ directory ]

Wechselt auf OS-Ebene das aktuelle Verzeichnis

Ohne [ directory ] auf das Login-Verzeichnis des Benutzers

\dt [ pattern ]

Zeigt die existierenden Tabellen an

\pset Option [ Wert ]

Setzt Optionen für die Ausführung (teilweise s.v.)

footer off => Unterdrückt den Row Counter

null ‚NICHTS‘ => Gibt den Wert NICHTS bei NULL-Werten aus



© ATICS GmbH 2016

6

PostgreSQL-Log

Unter folgendem (Unix/Linux) Pfad findet man dieDatenbanklog für jeden Tag:

$HOME/pgsql/data/pg_log /postgresql-YYYY-MM-DD_000000.log

Wenn statt 000000 eine andere Zahl im Dateinamen steht,dann ist dies die Uhrzeit, als PostgreSQL wieder gestartetwurde!

Bis FIXPACK 100 war diese Datei normalerweiseleer. Seit dem erscheint darin ca. alle 4 ½ Stundeneine Meldung, falls der Archive Mode nicht aktiv ist!



© ATICS GmbH 2016

7

CONTROL-M SERVER

Utilities



© ATICS GmbH 2016

8

User Environment Variablen

Um Usern Control-M Server Utilities zur Verfügungstellen zu können, müssen folgende Variablen imUser Environment definiert werden: CONTROLM_SERVER => <controlm-

directory/ctm_server>

CONTROLM_USER => <DBO>

CONTROLM_DATABASE => <Tablespacename>

CTM_DATABASE_TYPE => <Datenbanbtyp>



© ATICS GmbH 2016

9

User Environment - Zugriffsrechte

Lese Rechte auf (nur bei Linux/Unix): <controlm-directory>/.controlm

<controlm-directory>/pgsql/etc/pg_service.conf

(nur wenn PostgreSQL-DB benutzt wird)

Schreib/Lese Rechte auf: <controlm-directory>/ctm_server/prflag/

<controlm-directory>/ctm_server/proclog/

<controlm-directory>/ctm_server/tmp/



© ATICS GmbH 2016

10

ctmudchk – Prüfen eines User Daily Jobs

Mit ctmudchk können User Daily Jobs überprüft werden(LIST), ob sie alle Jobs korrekt eingeplant haben. Zusätzlichkönnen fehlende Jobs nachgeplant werden (ORDER).



© ATICS GmbH 2016

11

ctmlog – LISTMSG nnnn

Im Messages Guide sind (fast) alle Meldungenbeschrieben, die man über die Option LISTMSGselektieren kann.

Hier ein paar praktische Beispiele:

Jobs, die nicht angelaufen sind aber beim Tageswechselgelöscht werden – Keep active for (Max Wait Exceeded -5047):

ctmlog listmsg 5047 YYYYMMDD <Startzeit TageswechselHHMM> YYYYMMDD <HHMM (Startzeit Tageswechsel +10min)> /tmp/ctmlog_5047.txt 132

Jobs, die abgebrochen sind (auch die, die wiederaufgesetzt/ auf OK gesetzt wurde! - 5134):

ctmlog listmsg 5134 <Vortag YYYYMMDD> <StartzeitTageswechsel HHMM> <YYYYMMDD> <HHMM (StartzeitTageswechsel +10 min)> /tmp/ctmlog_5134.txt 132



© ATICS GmbH 2016

12

ctmlog – LISTMSG nnnn

Jobs, die automatisch auf OK gesetzt wurden(Action OK - 5132):

ctmlog listmsg 5132 <Vortag YYYYMMDD> <StartzeitTageswechsel HHMM> <YYYYMMDD> <HHMM (StartzeitTageswechsel +10 min)> /tmp/ctmlog_5132.txt 132



© ATICS GmbH 2016

13

Undokumentierte Utilities Control-M Server

p_36 Rechnet die CONTROL-M Orderid in einen numerischen

Wert um:

schedt Erstellt eine Liste der Folder

und ihrem USER DAILYaus dem CONTROL-M Server

shcalendar (nur Unix/Linux) Listet die definierten Kalender in einem CONTROL-M

Server auf



© ATICS GmbH 2016

14

CONTROL-M AGENT

Utilities



© ATICS GmbH 2016

15

io_benchmark.sh – (nur bei Unix/Linux)

Führt Schreibtests auf ein Verzeichnis aus, um diedurchschnittliche Geschwindigkeit dafür zu ermitteln.

Sehr praktisch, u.U. Performance Engpässe wegenPlatten-/Filesystemproblemen auf die Spur zukommen!io_benchmark.sh



© ATICS GmbH 2016

16

CONTROL-M EM

Utilities



© ATICS GmbH 2016

17

Language Variablen unter UNIX/Linux

Speziell beim exportieren per Utility vonJobs/Foldern, deren Daten die deutschenSonderzeichen „ä,ö,ü,ß“ enthalten, kann esabhängig von der Default-Sprachumgebung imUNIX/Linux zu Problemen kommen. Oft sind derenWerte LEER nach dem Export!

Um dieses Problem zu umgehen, muss immerdaran gedacht werden, gegebenenfalls temporärdie entsprechenden Variablen um zu definieren. Hier ein Beispiel für SLES 11, das die deutschen

Sonderzeichen beim Export korrekt unterstützt:LC_ALL=

LC_COLLATE=C

LC_MESSAGES=C

LC_CTYPE= de_DE.ISO8859-1 oder de_DE@euro

LANG=de_DE.ISO8859-1 oder de_DE@euro



© ATICS GmbH 2016

18

Administration ohne CCM GUI - ccmcli

Sollte einmal an einem Arbeitsplatz keineConfiguration Manager Gui (CCM) installiert sein,kann man via ccmcli die EM-Komponenten übereine Shell verwalten.



© ATICS GmbH 2016

19

ccmcli – Stoppen eines Gateways

Leider ist die Ausführung etwas„irreführend“!



© ATICS GmbH 2016

20

Übersicht der eingeloggten GUI-User

Mit Hilfe dieses Commands kann man sich die aktiven WLAClient Sessions anzeigen lassen:

[em] ccmcli -U <emuser> -P <empassword> | -pf<Password-File> - -t GUI_Server -n < GUI_ServerName> -h < GUI_Server Host> -ctlcmd PGUI

In der Spalte 2 steht der EM Login User, in der Spalte 3 derPC, auf dem diese GUI läuft.



© ATICS GmbH 2016

21

Überwachung des Control-M EM Servers

Mit folgenden Befehlen lassen sich die EM-Komponenten prüfen, ob diese aktiv sind. Alle Befehleliefern bei Rückmeldung „Aktiv“ einen RC = 0,andernfalls RC = 1 (wenn nicht anders vermerkt). Sollten unter Unix/Linux mit dem EM Admin Benutzer

ausgeführt werden!

[em] bedeutet, dass die Kommandozeile bei Unix/Linux mitem beginnen muss!

Prüfe ob DB online (bei PostgreSQL)pg_ctl status

Ergebnismeldung positiv:pg_ctl: server is running (PID: nnnn)

<Installdir EM-Server>/ctm_em/pgsql/bin/postgres

Returncode wenn nicht erfolgreich: 3



© ATICS GmbH 2016

22

Überwachung des Control-M EM Servers

Prüfe Gateway(s) online Zeile sollte je Gateway ausgeführt werden!

[em] ctl <dbo/pass> -mcs -C Gateway –dc <Gateway-Nameaus CCM> -cmd life_check

Ergebnismeldung positiv:Gateway „<Gateway-Name aus CCM>" on <hostname> is alive!

Message returned: "Connected„

Returncode wenn nicht erfolgreich: 61



© ATICS GmbH 2016

23

Stoppen CONTROL-M/EM über Shell

[em] bedeutet, dass die Kommandozeile bei Unix/Linux mit embeginnen muss!

CCMCLI=„[em] ccmcli -U <emuser> -P <password> | -pf <Password-File>-s <CMS-Server>“

${CCMCLI} -t GCS -n <GCS Name> -h <GCS Host> -cmd stop

${CCMCLI} -t GUI_Server -n < GUI_Server Name> -h < GUI_Server Host>-cmd stop

(Folgende Zeile entsprechend für jedes Gateway wiederholen:)

${CCMCLI} -t Gateway -n <Gateway Name> -h <Gateway Host> -cmd stop

[em] ctl –mcs -C Config_Agent –M <EM-Host> –cmd shutdown

[em] ctl –mcs -C CMS –M <EM-Host> –cmd stop

stop_web_server/stop_web_Server.bat

stop_ns_daemon/stop_ns.bat

stop_server (nur wenn DB-Server von BMC benutzt wird (Unix/Linux)!)



© ATICS GmbH 2016

24

Starten CONTROL-M/EM über Shell

[em] bedeutet, dass die Kommandozeile bei Unix/Linux mit embeginnen muss!

start_server (nur wenn DB-Server von BMC benutzt wird (Unix/Linux)!)

start_cms/start_cms.bat

start_config_agent/net start „Control-M EM Configuration Agent –Service-Name“

start_ns_dameon/start_ns.bat

CCMCLI=„[em] ccmcli -U <user> -P <password> | -pf <Password-File>-s <CMS Server>“

${CCMCLI} -t GCS -n <GCS Name> -h <GCS Host> -cmd start

(Folgende Zeile entsprechend für jedes Gateway wiederholen:)

${CCMCLI} -t Gateway -n <Gateway Name> -h <Gateway Host> -cmd start

${CCMCLI} -t GUI_Server -n < GUI_Server Name> -h < GUI_Server Host>-cmd start

start_web_server/start_web_server.bat



© ATICS GmbH 2016

25

Es gibt im WLA Client keine Möglichkeit (mehr),“lokal” einen Folder zu löschen, um ihn perDownload vom Control-M Server nochmals zuholen! Wichtig, wenn man z.B. den Synchronization Mode auf “No

Synchronization” gesetzt hat!

Das geht nun nur noch per Control-M EM CLI: [em] bedeutet, dass die Kommandozeile bei Unix/Linux mit

em beginnen muss![em] cli [-U <user_name> [-P <password>] | -pf <passwordfile>] -H <GUI Server Name> -FOLDER_DELETE <CTM_name><table_name> [<library>|*] Local

„Lokales“ löschen von Foldern im Control-M EM



© ATICS GmbH 2016

27

Diese Meldung erscheint dann, wenn man den ge-löschten Folder wieder öffnen möchte!

Dann muss man natürlich den gutenalten „Download“ durchführen.

Entweder in der GUI oder per Utility:[em] cli [-U <user_name> [-P <password>] | -PF <passwordfile>] -H <Server Name> [-DDMM] [-BY_FORCE] [-ACTION_REASON<Auditfeld Reason>] [-ACTION_NOTE <Auditfeld Description>]-FOLDER_DOWNLOAD <CTM_name> <folder_name> [<library>*]




© ATICS GmbH 2016

28

VARIABLENSYSTEMPARAMETER

Ein paar weitere nützliche Dinge



© ATICS GmbH 2016

30

►Braucht man Umgebungsvariablen in seinem Job,können diese ausgelesen werden über%%GETENV

Umgebungsvariablen in Control-M Jobs nutzen



© ATICS GmbH 2016

31

Neue Variablen (ab V9 Fixpack 100)

%%$GROUP_ORD - will contain 36 base parentorder number

%%$TABLE_ID - will contain 36 base parent ordernumber

%%FOLDER_ID - will contain decimal parent ordernumber

%%$FOLDER_ID - will contain 36 base parentorder number,

%%SMART_ORDERID - will contain the SMART(outer most parent) order number in decimal

%%$SMART_ORDERID - will contain the SMART(outer most parent) order number in base 36



© ATICS GmbH 2016

33

Wichtige Systemparameter für Control-M EM

Archivierte Jobnetze (History) erhöhen:MaxOldDay 14 (2)

MaxOldTotal 28 (4)

Audit History länger speichern:AuditHistoryDays 31 (1)



© ATICS GmbH 2016

34

Wichtige Systemparameter für Control-M EM

Per Default ALLE neu angelegten Folderautomatisch mit dem User Daily SYSTEM(Automatic Order) versehen

AutomaticOrderMethodByDefault 0 (1)

Wenn man das nicht haben will, dann muss man diesenParameter auf 0 setzen und die Control-M EM ServerProzesse GUI_Server, Gateway(s) durchstarten!

Per Default werden leere Smart Folder automatischausgeblendet, auch wenn sie noch aktiv (im StatusExecuting oder Held) sind!

ViewpointPolicy SELECT_JOBS_AND_SG (SELECT_JOBS)

Wenn man das nicht haben will, was absolut zu empfehlenist, dann muss man diesen Parameter aufSELECT_JOBS_AND_SG setzen und sich aus demControl-M EM WLA Client ab- und anmelden !



© ATICS GmbH 2016

35

Wichtige Systemparameter für Control-M Server

NOT_ORDERED_JOB_ALERT 0 – Liefert per Defaultfolgende Meldung im Alert Fenster:

ONE OR MORE JOBS IN DAILY <daily_name> WERE NOTORDERED

Wenn man das nicht haben will auf 2 setzen (Empfehlung)!

STATISTICS_CLEANUP_IN_NEWDAY Y - Wenn auf Ngesetzt wird die Statistik nicht mehr beim Tageswechselreorganisiert (New Day läuft schneller!).

Dann sollte man aber ctmruninf –purge einmal am Taglaufen lassen!



© ATICS GmbH 2016

36


Sysout Größe für Output-Abfrage für WLA-Clientbegrenzen (in KB):

OUTPUT_LIMIT_SIZE nnnn

Output Fenster auf 132 Zeichen Breite umstellen:OUTPUT_WINDOW_SIZE 132 (80)

Mail Subject ohne “Shout by orderno” Prefix:MAIL_ADD_SUBJECT_PREFIX N

Mail Prefix Text „Mail message from Control-M“unterdrücken:

MAIL_ADD_BODY_PREFIX N



© ATICS GmbH 2016

37


CCM Fehlermeldung bei Agent-Nichtverfügbarkeit erstnach 3 Prüfungen:

CTM_CONFIG_AGENT_AGENT_UNAVAIL_THRESHOLD 3

Control-M Agents nicht automatisch suchen(lassen), wenn im Job definiert aber nichtexistiert (Meldung “Discovery” im CCM)

HOST_AUTODISCOVER N (Y)

Alert erzeugen, wenn AutoEdit Variablen nicht aufgelöstwerden:

CTM_AUTOEDIT_SHOUT_ON_ERROR_URGENCY <urgency>

N – Nicht senden

R – Gelbe Meldung (Default)

U – Orange Meldung

V – Rote Meldung



© ATICS GmbH 2016

38

Wichtige Systemparameter für Control-M Agent

Änderungen der Zugriffsrechte vom Job-Sysout aufeinem Unix/Linux-Agenten im User-Mode(zulässige Oktale: 660 664 666):

OUTPUT_MODE_AS_USER 644

Änderungen der Zugriffsrechte vom Job-Sysout aufeinem Unix/Linux-Agenten im Root-Modus(zulässige Oktale: 600 640 644 660 664 666):

OUTPUT_MODE 644 (600)

Alarmiert über CCM (Xalerts), wenn der Plattenplatzdes Agenten HOME-Directory diesen Wertunterschreitet (Default 100MB):

MIN_FREE_SPACE_WARN nnn



© ATICS GmbH 2016

39

Wichtige Systemparameter für Control-M Agent

Legt die max. Größe (in KB) vom Anfang einesJob-Sysouts fest, der in der EM GUI abgerufenwerden kann:

OUTPUT_LIMIT_SIZE_START nnn

Legt die max. Größe (in KB) vom Ende eines Job-Sysouts fest, der in der EM GUI abgerufen werdenkann:

OUTPUT_LIMIT_SIZE_END nnn

Startet mehrere p_ctmat (Tracker) Prozesse, umsehr viele Jobs (> 300) parallel zu überwachen

MULTITRACK_ENABLED Y

Control-M DS Utilities - aticstro.com · \\Default\pgsql\bin ... CONTROL-M AGENT Utilities. ATICS...

Documents

Transcript of Control-M DS Utilities - aticstro.com · \\Default\pgsql\bin ... CONTROL-M AGENT Utilities. ATICS...