Control-M Forecast – Simulation mit Periodic Statistics · Control-M Forecast kopiert voll...

© ATICS GmbH 2014

ATICS GmbHIT–BeratungOberstaße 48/c64589 Stockstadt/Rhein

Tel: (+49) 6158 / 985 110Fax: (+49) 6158 / 985 111Email: [email protected]://www.atics.de

1

Holger [email protected]

Control-M Forecast –

Simulation mit Periodic Statistics



© ATICS GmbH 2014

2

Problemstellung

Unterschiedliche Joblaufzeiten bei täglichem, wöchentlichemund monatlichem Lauf erschweren die Laufzeitanalyse und –prognose

Unterschiedliche Jobnamen für Tages-/Wochen-/Monatsverarbeitung sind nicht erwünscht

Erschwert Wartbarkeit der Jobs und Abläufe

Control-M Forecast ist zwar installiert, wird aber außer derFunktion „View Schedule“ nicht (optimal) genutzt

z/OS Scheduling Tables werden nicht im Control-M EMDesktop gepflegt, somit ist ein Control-M Forecast für z/OSJobs nicht möglich



© ATICS GmbH 2014

3

Projektziel

Projekt wurde im Januar 2014 aufgesetzt mit den Zielen:

Lauffähige Simulationsumgebung im Testumfeld aufbauen

Aufbau von Testabläufen mit z/OS und DS Jobs, mitunterschiedlichen Laufzeiten zu unterschiedlichen Terminen, z.B.täglich und am Ultimo.

Aufbau von periodischen Statistikkalendern basierend desLauftages z.B. täglich, wöchentlich, Ultimo, etc. für diese Jobs

Forecast Umgebung korrekt parametrisieren

BMC Forecast online und im Batch testen bzgl. der Testabläufe

Auswertungsmöglichkeiten testen, Reportgenerierung

Einsatz der ATICSTOOLS für das (regelmäßige) „Urladen“ derz/OS Scheduling Tables in Control-M EM Server

Dadurch profitiert noch ein anderes, parallel laufendes Projekt„Control-M Change Management“, die mit der Aktualität der z/OSScheduling Tables im COntrol-M EM „Probleme“ haben

Projektende April 2014



© ATICS GmbH 2014

4

Kunde

Aktuell 3. größte Bank Deutschlands nach Bilanzsumme

Sitz in Frankfurt/Main

Setzt Control-M z/OS und Control-M DS jeweils Release 7 ein



© ATICS GmbH 2014

5

Grundsätzliches zu Control-M Forecast

Mit Control-M Forecast ist es möglich, z.B.:

Einen Tagesplan grafisch als Netzplan, als Gantt-Diagramm oderals Liste in der Zukunft anzusehen

Engstellen schon vor dem Auftreten festzustellen oderOptimierungen zu testen, beispielsweise durch

(zeitliches) Simulieren von fehlenden Conditions

Zu langer Job Laufzeiten

Herunter-/Hochsetzen von Quantitativen Ressourcen

Zeitliche Auswirkungen von Jobabbrüchen darzustellen



© ATICS GmbH 2014

6

Darstellungsmöglichkeiten

Netzplan

Gantt-Diagramm

Liste



© ATICS GmbH 2014

7

Laufzeit-Statistik

Control-M Forecast kopiert voll automatisch bei jedemTageswechsel für jedes im Control-M EM Serverangebundene Control-M die Laufzeit-Statistikdaten inseparate Datenbanktabellen.

Dadurch besteht die Möglichkeit, auch erweiterteLaufzeitanalysen durchzuführen als nur basierend auf den letzten20 Jobläufen (Default).

Zusätzlich besteht die Möglichkeit über sogenannte „Peridocstatical calendars“ Laufzeitverhalten und –unterschiede in denForecast mit einlaufen zu lassen. Für die Nutzung dieserMöglichkeit sind vorbereitende Arbeiten notwendig



© ATICS GmbH 2014

8

Richtige Konfiguration des Control-M Forecast

„User Daily Definition“ hat zweiverschiedene Funktionen, abhängigauch von Control-M z/OS oderControl-M DS. Der User Daily„SYSTEM“ wird automatisch für alleangebundenden Control-Ms eingestelltund deren definierten Order Time ausden Systeminformationen derentsprechenden Control-M EMGateways übernommen. DieseUhrzeit ist der Startzeitpunkt, mitdem Control-M Forecast rechnet!

Die Order Time lässt sich hier nichtändern, nur in den entsprechendenControl-M Systemparametern!

Der User Daily „SYSTEM“ beiControl-M z/OS ist hier nur einSynonym für den Control-M z/OSJob DAILYPRD (oderentsprechend)!



© ATICS GmbH 2014

9

Zuordnung Userdaily Tables z/OS

Um eine ähnliche User Daily Zuordnung von Control-M z/OSTables für Control-M Forecast zu erreichen, müssen dieseTables hier über die User Daily Definition manuell zugeordnetwerden.

Die Vorgehensweise ist folgendermaßen:

Control-M EM Desktop => Tools => Forecast Configuration

Selektion des User Daily SYSTEM in der User Daily Definition

Anklicken des „EDIT-Buttons“ oder Doppelklick auf dieAuswahlzeile



© ATICS GmbH 2014

10

Zuordnung Userdaily Tables z/OS

Selektion derentsprechenden Tablesunter „All Tables“ und„kopieren“ dieser über „>“nach „Selected Tables“.

Über die STRG-Tastekönnen mehrere Tablesselektiert werden!

Dies muss entsprechendfür ALLE „User Daily“ imz/OS gemacht werden!



© ATICS GmbH 2014

11

Ausblick automatische Zuordnung von z/OSTables zum einem User Daily

Es gibt eine Möglichkeit, dieses für z/OS ähnlich wie imControl-M DS zu „erweitern“. Eine Beschreibung findet man inder BMC Knowledge Base unter CAR00043162. DieseErweiterung entspricht dann dem Verfahren im IOA 8.

Die Vorgehensweise würde aber den KOMPLETTENTagewechselablauf im Control-M z/OS umstellen und esmüssen diverse APARS vorab im Control-M z/OSeingespielt werden.



© ATICS GmbH 2014

12

Periodic Statistic Calendars

Um das Laufzeitverhalten eines Jobs abhängig von seinemVerarbeitungstag, z.B. längere Laufzeiten bei einem Ultimo,simulieren und auswerten zu können, müssen vorabsogenannte „Periodic statistical calendars“ (PSC)eingerichtet werden.

Diese „Kalender“ entsprechen im Prinzip einem „PeriodischenKalender“ im Control-M. D.h., bei diesen Kalender werdenArbeitstage nicht per Y/N definiert, sondern über sogenanntePerioden, die A-Z oder 0-9 heißen können.

Die Besonderheit hier ist, dass diese Kalender nur im Control-M EM Server gespeichert werden müssen, da sie nur für denControl-M Forecast gelten!



© ATICS GmbH 2014

13

Anlegen eines „Periodic statistical calendars“

Die Einrichtung eines PSCs erfolgt über den Control-M EMDesktop. Dafür muss wie erwähnt zuerst ein „PeriodischeKalender“ definiert werden. Dies erfolgt über Tools =>Calendar Manager.



© ATICS GmbH 2014

14

Festlegen der Perioden

Danach können dann die entsprechenden Tage mit einemPeriodennamen (Periods) definiert werden. Hier in demBeispiel wurden 2 Perioden definiert:

Für Mo – Fr die Periode „T“

Jeder 2. (Arbeits-)Tag im Monat die Periode „M“

Dieser Kalender MUSS NICHT per Upload in das entsprechendeControl-M geladen werden!!



© ATICS GmbH 2014

15

Aktivierung des PSCs

Damit ein definierter Periodische Kalender als PSC genutztwerden kann, muss dieser über den Periodic StatisticsManager entsprechend aktiviert werden. Dies geschieht imControl-M EM Desktop über Tools => Periodic StatisticsManager.

Die Daten werden dann ab dem nächsten Tageswechselentsprechend gesammelt.



© ATICS GmbH 2014

16

PSC Filter

Hier werden Filterdefinitionen (PSC Filter) angelegt, u.a. fürwelchen Tables/Jobs oder Applikationsnamen der PSC dieStatistik sammeln soll.

Die Reihenfolge der PSC Filter ist wichtig: Entsprechend derdefinierten Reihenfolge werden die Statistischen Daten fürTables/Jobs anhand der Filter generiert.

D.h., sollte ein Table/Job durch mehrere PSC Filternangesprochen werden, so wird nur beim erstenzutreffenden Filter die Daten gespeichert!



© ATICS GmbH 2014

17

PSC Filter definieren

Im Periodic Statistical Definition Fenster können fürbestimmte Control-M Tables-/Jobfelder Auswahlkriteriendefiniert werden:

Name Auswahlname, den manspäter selektieren kann

Description Eine kurz Beschreibung



© ATICS GmbH 2014

18

Period Type

Statistics collectedaccording to the periodsin the calendar

Wenn aktiv, werden anhand desausgewählten „Periodic calendars“ dieStatistik gesammelt

Statistic collectdaccording to a perioddefined by conditionprefix

?

Job FilterHier können Regular Expressions benutzt werden: *, ?, [ ], !

Control-M Auswahl des entsprechenden Control-M Server. Durch Komma getrenntkönnen mehrere angegeben werden

Table Defintion der zu berücksichtigenTablename

Table Nur z/OS: PDS-Name der Tables

Application Defintion der zu berücksichtigenApplication-Namen aus denTablesn/Jobs

Group Defintion der zu berücksichtigenGroup-Namen aus den Tablesn/Jobs

Job Name / Mem Name Defintion der zu berücksichtigen Jobs

Path / Mem Lib Skript Pfade oder PDS-Namen

Node / Group ID Defintion der zu berücksichtigenControl-M Agenten oder Nodegroups(nur DS)

PSC Filter definieren



© ATICS GmbH 2014

19

Änderung der Statistik-Ansicht

Die Darstellung der Statistikändert sich dann auchentsprechend. Sobald füreinen Job/Table über einenPSC Daten gesammeltwerden, werden auch nurnoch die Statistiksätze ausdem PSC in der Control-MEM GUI angezeigt.

Standard

PSC



© ATICS GmbH 2014

20

Beispiel PSC Filter

Hier ein Beispiel füreinen PSC Filter, derfür alle Jobs imDatacenter OS390 undUNIX_NT anhand desPSC„PERIODIC_STATISTICAL_MASTER“ für alleJobs, die mit demApplikationsnamen„SUMMIT*“ laufen,sammeln soll.



© ATICS GmbH 2014

21

„What-If“ Szenario

In allen „What If“ Szenarien des Control-M Forecast kannman über „Advanced“ diese PSCs mitberücksichtigt

Man kann dabei eine oder mehrere Periode per Kommagetrennt dabei angeben



© ATICS GmbH 2014

22

Beispiel

Der Table ATICS_FORECAST_TEST hat unterschiedlicheLaufzeiten im täglichen Ablauf und am Ultimo. Es soll nunsimuliert werden, wie sich das Laufzeitverhalten bei einerErhöhung um 20% bei der täglichen und Ultimo verarbeitungauswirkt.



© ATICS GmbH 2014

23

Beispiel

Definition des „What-If“ Szenarios für die tägliche Laufzeit mitdem PSC FORECAST_PERIODIC und dessen Periode D

Eine Erhöhung der Laufzeiten ist hier nicht ersichtlich:Normale Laufzeiten Lauzeiten + 20%



© ATICS GmbH 2014

24

Beispiel

Das selbe „What-If“ Szenario nun für den monatlichen Lauf.Dafür wird aus dem PSC FORECAST_PERIODIC diePeriode M ausgewählt, die die Daten nur für den Ultimolaufberücksichtigt.

Hier ergeben sich bei den einzelnen Jobs längere Laufzeiten:Normale Laufzeiten Lauzeiten + 20%



© ATICS GmbH 2014

25

Forecast im Batch

Control-M Forecast kann auch als Batchjob ausgeführtwerden, wobei die Ausgabe hier nur als CSV-Datei erfolgt.Diese kann dann z.B. in Excel oder in eine Datenbankimportiert und ausgewertet werden.

em forecastcli -u <user> [[-p <password>] | -pf<password_file>] -s <server_name>

-odate [YYYYMMDD|+n] [Filter] [-scenario<name>] [-run_time [Min|Avg|Max]]

-job_info_file <file_name> [-service_info_file<file_name>] [-hide_times]



© ATICS GmbH 2014

26

Filter (optional)

Über die Option “Filter” kann die Auswahl für den Forecasteingeschränkt werden. Auch hier können die vorherbeschriebenen Sonder-/Ersetzungszeichen angewandtwerden.

-dc_name <name> Control-M EM Datacenter Name

-table_name <name> Table Name

-appl_name <name> Applikationsname

-grp_name <name> Gruppen Name

-mem_lib <name> JCL PDS/Skript Pfad Name

-job_name <name> Job Namen



© ATICS GmbH 2014

27

Beispiel

Es soll ein Forecast 5 Tage in die Zukunft für alle Tables“MAINDAY” aller Control-M Server im Control-M EM ENTWdurchgeführt werden ($1 wird über Autoedit berechnet:%%$CALCDATE %%$ODATE +5).

em forecastcli -pf $HOME/.pfile -s ctmentw -odate $1 -table_name "MAINDAY" -job_info_file/tmp/MAINDAY.csv

Jobprotokoll:

Using SSL

Services Information for date '20140405':

Business Services:

* Late Services 0

* Completed on time 0

* Deadline out of forecast 0

Jobs:

* Not Running 0

* Ended OK 35

* Running 0



© ATICS GmbH 2014

28

Beispiel Ergebnis

Anschliessend kann die ausgegebene Datei z.B. in MS Excelimportiert werden für eine weitere Analyse oder für einespezielle Sortierung.



© ATICS GmbH 2014

29

ATICSTOOLS: „Urladen der z/OS Tables“

Mit Hilfe der schon lange existierenden ATICSTOOLSATRX001 für z/OS und ATEM007 für Windows/xNIX kann einsogenanntes „Urladen“, d.h. Laden aller z/OS SchedulingTables, erfolgen, wenn man will täglich

ATRX001 DD SYSIN-Beschreibung

USERDAILY Angabe eines Userdaily-Namens.Dieser erscheint dann im Control-M EM Table-Manager (kannmehrfach angegeben werden)

EINGABE PDS-Name der z/OS Scheduling Tabellen (kann mehrfachangegeben werden)

MEMBER Zulässige Auswahl (kann mehrfach angegeben werden)

* Alles übernehmen

A* Nur Member, die mit A beginnen (kann mehrfachangegeben werden)

ABC Absolute Angabe (kann mehrfach angegeben werden)

A*Z Nur Member, die mit A beginnen und mit Z enden (kannmehrfach angegeben werden)



© ATICS GmbH 2014

30

ATICSTOOLS

Ablaufplan

ATRX001J: Dieser führt dasREXX Programm aus.

ATRX001_Transfer: Holt perControl-M for AFT die Dateivon Host ab und speichertdiese auf dem Server

ATEM007: Führt denDownload der Tables durch

Control-M Forecast – Simulation mit Periodic Statistics · Control-M Forecast kopiert voll...

Documents

Transcript of Control-M Forecast – Simulation mit Periodic Statistics · Control-M Forecast kopiert voll...