Puppet im IT-DLZ · Tools und Helferlein 2/2 16.10.2018 Helge Klein und Thomas Schweier -- OSAD...

52
Puppet im IT-DLZ 16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 1

Transcript of Puppet im IT-DLZ · Tools und Helferlein 2/2 16.10.2018 Helge Klein und Thomas Schweier -- OSAD...

Puppet im IT-DLZ

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 1

Organigramm LDBV

Abteilung 1

Verwaltung,

zentrale Dienste

Landesamt für Digitalisierung, Breitband und VermessungLeitung: Wolfgang Bauer

Abteilung 2

Kartographie,

Geotopographie

Abteilung 3

Geodaten und

Geodatendienste

Abteilung 4

Informations- und

Kommunikationstechnik

Abteilung 5

Regionalabteilung

Süd

Abteilung 6

Regionalabteilung

Nord

Abteilung 7

Regionalabteilung

Ost

Abteilung 8

Digitalisierung

IT-Dienstleistungszentrum des Freistaats Bayern

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 2

Organigramm IT-DLZ

Abteilung IT1IT-DLZ-Steuerung und

Anwendungsentwicklung

IT11IT-DLZ-

Querschnittsaufgaben

IT12IT-DLZ-Controlling

IT13Anwendungsentwicklung

IT14EDV-Beschaffung,

IT-DLZ-Haushalt/KLR

Abteilung IT2

Kundenbetreuung undAnwendungsbetrieb

IT21Kundenbetreuung

IT22Change-Management und Service Desk des IT-DLZ

IT23Anwendungsbetrieb 1

IT24Anwendungsbetrieb 2

Abteilung IT3

Technischer Betrieb

IT31Serverbetrieb

Solaris, Linux, zOS

IT32Serverbetrieb

Windows

IT33Administration von

Datenbanken

IT34IT-Basisdienste

Abteilung IT4

IT-DLZ-Infrastruktur,Speichertechnologie

IT41Technisches Gebäude-

management, Monitoring

IT42Netzwerkinfrastruktur,

Netzübergänge

IT43Speicherinfrastruktur,

dezentrale Infrastrukturen

IT44RZ-Infrastruktur,

BayKOM

IT-Dienstleistungszentrum des Freistaats BayernLeitung: Martin Stegmeier

IT35eAkte 1

IT45Clients

IT15Testcenter

IT36eAkte 2

IT25Cloud Lab und IT-DLZBusiness Management

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 3

Aufgaben des IT-DLZ 1/4

• Technischer Betrieb

geschäftsbereichsübergreifender

Infrastruktur

– Bayerisches Behördennetz,

– zentraler Internetübergang,

– zentrale Mailserver,

– Firewall und Sicherungstechniken

Kernaufgaben als zentraler IT-Dienstleister staatlicher Stellen in Bayern:

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 4

Aufgaben des IT-DLZ 2/4

Kernaufgaben als zentraler IT-Dienstleister staatlicher Stellen in Bayern:

• Technischer Betrieb von

Servern und Datenbanken

(Betrieb von physikalischen und

virtuellen Servern sowie von

hochverfügbaren Datenbanken

und Applikationsservern)

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 5

Aufgaben des IT-DLZ 3/4

Kernaufgaben als zentraler IT-Dienstleister staatlicher Stellen in Bayern:

• Betrieb hochverfügbarer zentraler

Plattformen für

− Fachverfahren und

E-Government

− Dokumentenmanagement,

Vorgangsbearbeitung und

Content Management

Linux

Windows

VMware

MySQL

Oracle

PostgreSQL

Exchange

SharePoint

eGov-Suite

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 6

Aufgaben des IT-DLZ 4/4

Kernaufgaben als zentraler IT-Dienstleister staatlicher Stellen in Bayern:

• Entwicklung und

Anwendungsbetrieb

ressortübergreifender

und kundenspezifischer

DV-Verfahren, wie z.B.

BayernPortal oder

Servicestelle der

Staatskanzlei

In-STEP

JavaVisual Studio

Confluence

Jira

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 7

Wir für Bayern – unsere Kunden 1/2

Landesanstalt fürLandwirtschaft

Ämter für ländlicheEntwicklung

Landesamt fürUmwelt

Wasser-Wirtschaftsämter

Landesanstalt für Wald- undForstwirtschaft

Ämter fürLandwirtschaftund Forsten

Nationalpark-verwaltungen

BayerischeAkademie für

Naturschutz undLandschaftspflege

Regierungen

Landesamt fürGesundheit und Lebensmittel-

sicherheit

Landesanstalt fürWein- und Garten-Bau und Schulen

BayerischeStaatskanzlei

Staatsministerium für Ernährung, Land-

wirtschaft und Forsten

Staatsministerium des Innern und für

Integration

Staatsministerium für Gesundheit und Pflege

Staatsministerium für Umwelt und

Verbraucherschutz

Staatliche Führungsakademie für

Ernährung, Landwirtschaft und

Forsten

Landesamt für Statistik

Staatsministerium für Wirtschaft, Energie

und Technologie

Landesamt für Maß und Gewicht

Landesamt fürGesundheit und Lebensmittel-

sicherheit

Verwaltungsgerichtsbarkeit

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 8

Wir für Bayern – unsere Kunden 2/2

Landesamt für Steuern

Landesamt für Sicherheitin der Informationstechnik

Landesamt für Digitalisierung, Breitband und Vermessung

Landesamt für Finanzen

Schlösser- und Seen-verwaltung

Zentrum Bayern Familie und Soziales

Staatsministerium der Finanzen,

für Landesentwicklung und Heimat

Staatsministerium für Familie, Arbeit und

Soziales

StaatlicheRechnungs-

prüfungsämter

Zentraler Dienstder Bayerischen

Staatstheater

Staatsministerium für Wissenschaft und

Kunst

Akademie fürLehrerfortbildung und

Personalführung

Staatsinstitut fürSchulpädagogik und

Bildungsforschung

Staatsministerium für Unterricht und Kultus

Autobahndirektionen

Staatsministerium für Wohnen, Bau und

Verkehr

Haus des DeutschenOrdens

Arbeitsgerichtsbarkeit

Sozialgerichtsbarkeit

StaatlicheBauämter

Immobilien Bayern

Finanzgerichtsbarkeit

Bayerisches Landesamt für

Schule

Bayerischer ObersterRechnungshof

Landtagsamt

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 9

IT-Sicherheit

• IT-Sicherheit ist ein vorrangiges Ziel des IT-DLZs

• Teile des IT-DLZs - Betrieb des Internet-übergangs, Exchange und der technische Datenbank- und Anwendungsbetrieb für die EU-Zahlstelle - sind seit 2017 nach ISO 27001 auf Basis von IT-Grundschutz zertifiziert

Zertifikatsübergabe12.10.2017

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 10

Entwicklung des RZ

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 11

IT-DLZ in (IT-)Zahlen

5 Petabyte

Storage

7.000

Server

3.000

Datenbanken

19.000pro Jahr

Tickets am

Service-Desk

70.000

E-Mail-Postfächer

72%

Virtualisierungsquote

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 12

Mitarbeiter und Standorte

Im IT-DLZ arbeiten 430

Mitarbeiterinnen und

Mitarbeiter an

8 Standorten!

Das IT-DLZ betreut mit

seinem Team 323

Kundenstandorte AugsburgMünchen

Landshut

Regensburg

Nürnberg

Marktredwitz

Fürth

Straubing

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 13

Referat IT 23

Techn. Anwendungsbetrieb 1

IT-231

München

Techn. Anwendungsbetrieb 2

IT-233 München

Techn. Anwendungsbetrieb 3

IT-234 Regensburg

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 14

IT-Services von IT 23

► Service Java-Hosting

► Service Anwendungsbereitstellung über Terminalserver

► Service Technischer Infrastruktur- und Anwendungsbetrieb

► Service Geoinformationssysteme (GIS) – Managed ArcGIS Server

► Service ArcGIS Enterprise Portal (im Aufbau)

► Service Newsletter EMM (im Aufbau)

► Service Confluence/Jira (im Aufbau)

► KIB – Koordination Infrastruktur Betrieb

► GIS-Tage

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 15

Technischer Anwendungsbetrieb

IT-DLZ

Anwendungs-betrieb

Inbetrieb-nahme

Koordination innerhalb RZ

Monitoring

Backup / Recovery

Incident /

Problem

Management

Changes

Kunde

Auftrag

Koordination mit Hersteller

Fachliche Tests

Abnahme

Benutzer-verwaltung

2nd Level Support

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 16

Wieso Automatisierung und Standardisierung?

2009 drei Kollegen

2018 vier Kollegen

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 17

Java-Hosting im IT-DLZ

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 18

Basis Server – Ubuntu 16.04

Anwendung Anwendung

Instanz Instanz

Tomcat

Puppet Agent

Anwendung

Instanz

Basis Server – Ubuntu 16.04

Anwendung Anwendung

Instanz Instanz

Tomcat

Puppet Agent

Anwendung

Instanz

Test-Server Prod-Server

Unsere betriebliche Herausforderungen

Tomcat

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 19

Weitere Werkzeuge im Einsatz

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 20

Bitbucket in Verbindung mit Puppet Enterprise

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 21

Architekturskizze

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 22

Produktiv-Umgebung

Test-Umgebung

Puppet -- Dashboard

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 23

Unter dem Projekt liegen die eigentlichen Repositories

Javahosting:• Puppet Module• Puppet Hieradata• Tools und

Helferlein wie folgt:

Tools und Helferlein 1/2

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 24

Tools und Helferlein 2/2

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 25

YAML-CreatorsRubyscripte für die YAML Datei Erstellung wie z.B.• create_full.rb - Tomcat Grundstruktur• create_instance.rb - Tomcat Instanzen• create_user.rb - Kundenuser

Custom(LDBV) Facterwie z.B. Ausgabe von:• angelegten Kundenusern• cacerts (Tomcat Truststore)• Tomcat Logfiles (durch Kunden angelegt)• Tomcat Instanzen• Tomcat Version• JDK Version• Instanzbeschreibung• Serverbeschreibung• Kundendaten

CSV-CreatorsPuppet Datenbank Abfrage (Rubyscript), erstellt Excel Liste mit allen relevanten LDBV-Factern

Einfache Verwaltung von Systemen

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 26

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

Einfache Verwaltung von Systemen

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 27

Infrastruktur als Code grafisch darstellen

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 28

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

Infrastruktur als Code grafisch darstellen

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 29

Zugriffskontrolle auf der Detailebene

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 30

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

In Planung: AD – Anbindung incl. Rollen Konzept

Zugriffskontrolle auf der Detailebene

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 31

Überblick über Ihren derzeitigen Status

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 32

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

Überblick über Ihren derzeitigen Status

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 33

Puppet Server-Tracking: Zustand und Leistung

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 34

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

Puppet Server-Tracking: Zustand und Leistung

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 35

Unternehmenssupport für Module

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 36

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

Supported:• accounts• apt• concat• inifile• stdlib

Module in Verwendung

Approved:• augeasproviders_core• augeasproviders_shellvar• archive• collectd• splunk• staging

Unternehmenssupport für Module

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 37

Überwachung und Verwaltung an einem Ort

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 38

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

Überwachung und Verwaltung an einem Ort

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 39

Integrierte Tools für eine schnellere Wertschöpfung

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 40

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

Ein Gefühl von Sicherheit

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 41

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

Ein Gefühl von Sicherheit

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 42

Das Fachwissen von Puppet zum Greifen nah

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 43

Quelle:https://www.innovate-systems.de/wp-content/uploads/2016/09/Puppet-Der_Wert_von_Puppet_Enterprise-DE_D931-ds-PE-explore-value_A4.pdf

Das Fachwissen von Puppet zum Greifen nah

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 44

Unsere Vorteile durch Puppet

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 45

16.04 ➔ 18.04

Leichtere Migration Zentrale, zeitlich geregelte Upgrades

Rollback von älteren JDK und Tomcat Versionen

Leichte, schnelle Wiederherstellung

Verbindlicher Ist-Zustand Javahosting Server

Zentrales Paketmanagement über Repository

Nach Puppetlauf - Javahosting

▪ JDK in der gewünschten Version▪ Tomcat in der gewünschten Version▪ Beliebig viele Tomcat Instanzen incl. HTTP und HTTPS Connector▪ Tomcat Rechtestruktur

▪ SSL-Testzertifikat (selbstsigniert)▪ Log4j2 Konfiguration▪ Logrotate Konfiguration Tomcat Logfiles▪ Aktualisierte LDBV-Facter

▪ Webadmin, Instanzenuser und Gruppen (local)▪ Kundenuser und Kunden-Gruppen (local)

▪ Splunk Forwarder incl. Konfiguration

▪ Start der angelegten Instanzen

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 46

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 47

Wenn du ein Schiff bauen willst,

dann trommle nicht Männer zusammen,

um Holz zu beschaffen,

Aufgaben zu vergeben und

die Arbeit einzuteilen,

sondern lehre sie

die Sehnsucht nach

dem weiten, endlosen Meer.

Antoine de Saint-Exupéry

Welche Mitarbeiter benötigen Sie für Puppet?

Unsere nächsten Schritte mit Puppet

▪ AD - Anbindung incl. Rollenkonzept – Enterprise Konsole (GUI)

▪ Update Puppet Enterprise Master auf 2018.1 (Puppet 5.5)

▪ Automatische Installation/Wiederherstellung Puppet Umgebung, Puppet Enterprise Master und Atlassian Bitbucketserver

▪ BSI - Audit (ISO 27001 - Zertifizierung)

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 48

Unsere Tipps für den Einsatz von Puppet

• Aufwand der Einarbeitung in Puppet Umgebung und Techniken nicht unterschätzen

• Viel leichterer Einstieg durch externe Unterstützung

• Puppet Module verwenden, die möglichst den Anforderungen entsprechen

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 49

Zusammenfassung 1/2

Wie viele Datenbanken und Server betreibt das IT-DLZ?

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 50

7.000

Server

3.000

Datenbanken

10.000

Wie viele Javahosting Server werden über Puppet verwaltet? 61

Zusammenfassung 2/2

Was steht auf Folie 49?

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 51

Tipps für den Einsatz von Puppet

Haben Sie die richtigen Mitarbeiter?

Wenn du ein Schiff bauen willst,

dann trommle nicht Männer zusammen, um Holz zu

beschaffen,

Aufgaben zu vergeben und

die Arbeit einzuteilen,

sondern lehre sie

die Sehnsucht nach

dem weiten, endlosen Meer.

Antoine de Saint-Exupéry

16.10.2018 Helge Klein und Thomas Schweier -- OSAD 2018 ATIX AG 52

Ansprechpartner

[email protected]

[email protected]