LBS-Hosting 3 - Verbundzentrale des GBV · PDF file...

Click here to load reader

  • date post

    19-Aug-2020
  • Category

    Documents

  • view

    1
  • download

    0

Embed Size (px)

Transcript of LBS-Hosting 3 - Verbundzentrale des GBV · PDF file...

  • LBS-Hosting 3.0 Updates aus der Systemtechnik

    Dennis Benndorf / Steffen Haupt / Sascha Henkel - Systembetreuung -

    26.11.2019

  • Inhaltsverzeichnis

    1. Hardware-Hosting Solaris-Server

    2. Ceph Infrastruktur

    3. Verteiltes Installationsverfahren der LBS4-Software

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    2

  • 1. Hardware-Hosting Solaris-Server

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    3

  • Überblick der LBS-Hosts

    • Produktion ➢2x SPARC T4-4 512GB RAM ➢4x SPARC T4-2 512GB RAM

    • Test ➢2x T4-2 256GB RAM

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    4

    • Quelle:www.dmgi.net

  • Virtualisierung der LBS-Zonen

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    5

    Virtualisierungsschicht

    8x

    26x Produktion

    38x Test

    • Quelle:www.dmgi.net

    • Quelle:yEd • Quelle:yEd • Quelle:yEd • Quelle:yEd • Quelle:yEd

  • Verfügbarkeit der LBS-Hosts

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    6

    Oberer Maschinenraum

    Unterer Maschinenraum• Quelle:yEd • Quelle:yEd

    • Quelle:www.dmgi.net

    • Quelle:www.dmgi.net

    • Quelle:www.dmgi.net

    • Quelle:www.dmgi.net

    • Quelle:www.dmgi.net

    • Quelle:www.dmgi.net

    • Quelle:www.dmgi.net

    • Quelle:www.dmgi.net

  • Hardware-Ausbau der LBS-Hosts

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    7

    • Installation einer zusätzlichen PCI-Express-Erweiterungskarte

    ➢2 Ports mit je 10 Gbit/s Übertragungsrate

    ➢Anbindung Ceph-Storage

    Quelle: www.storesys.de

  • Netzwerkangriffserkennung für LBS-OPAC

    • Verteilter Angriff auf LBS-OPACs am 29.04.2019

    • Konfiguration eines Intrusion Prevention System Filters ➢SNORT auf Sophos-Firewall ➢Überprüfung der vom Client gelieferten Netzwerkpakete ➢Bereitgestellte IPS-Signaturen für Apache und PHP ➢Bei Erkennung: Verwerfen von Netzwerkpaketen

    Quelle:www.aboutdebian.com

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    8

  • IPS der VZG im Einsatz

    • Auszug IPS-Policy Apache

    • Auszug IPS-Log

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    9

  • 2. Ceph Infrastruktur

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    10

  • Aufbau und Schnittstellen

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    !11

  • Physische Verteilung und Skalierung

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    Opelhaus

    MRU

    MRO

    M on

    ito re

    ● Ungerade Anzahl Monitore zur Statusüberwachung ● N Storageserver je in den Maschinenräumen mit M

    Replikaten in S Standorten ● Skaliert in die Breite!

    !12

  • Physische Verteilung und Skalierung

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    Opelhaus

    MRU

    MRO

    M on

    ito re

    ● Ausfall eines gesamten Serverraumes ist erlaubt!

    !13

  • Physische Verteilung und Skalierung

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    MRU MROBackend (40 Gbit)

    ISCSI 1 (10 Gbit) ISCSI 2 (10 Gbit)

    ● Mehr Server führen zu ● Mehr Speicherplatz ● Mehr CPU-Leistung ● Mehr RAM als Read-Cache ● Mehr IO-Leistung durch Festplatten und

    Controller

    !14

  • ● Sind die Daten in allen Replikaten gleich? ● Bitflip ● Fehlerhafter Sektor

    => Scrubbing Gegenlesen und Vergleich der Replikate

    => Checksum on Read Checksummen Vergleich zum Stand der Abspeicherung beim Lesezugriff

    Konsistenzcheck

    !15

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • Management:
 Vergrößerung durch neuen Server

    ● 3 Server + ein neuer Server ● Automatische Daten- und Lastverteilung

    Füllstand der Festplatten der Server Füllstand der Festplatten der Server

    !16

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • ● Erstellt bei Ausfall eines Servers(einer Festplatte) Kopien auf verbliebenen Servern ● Kapazität als Global Spare ● Cluster sollte nie voll sein!

    Füllstand der Festplatten der Server

    Management:
 Ausfall eines Servers

    Füllstand der Festplatten der Server

    !17

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • [email protected]:~# ps -ef |grep osd

    ceph 31016 1 2 May24 ? 03:52:42 /usr/bin/ceph-osd -f --cluster ceph --id 120 --setuser ceph --setgroup ceph ceph 31277 1 2 May24 ? 03:17:56 /usr/bin/ceph-osd -f --cluster ceph --id 121 --setuser ceph --setgroup ceph ceph 31569 1 1 May24 ? 02:37:15 /usr/bin/ceph-osd -f --cluster ceph --id 122 --setuser ceph --setgroup ceph

    [email protected]:~# ps -ef |grep ceph-mon

    ceph 1973 1 2 May03 ? 14:43:51 /usr/bin/ceph-mon -f --cluster ceph --id ceph-node-mru-1 --setuser ceph ….

    ● Nutzt Mehrkernsysteme ● Jeder Datenträger ist ein Prozess

    Management:
 Alles ist ein Prozess

    !18

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • ● systemctl stop [email protected]

    ● # Dies führt zu einem Recovery der ausgefallenen Kopien ● # Es sei denn, die Option ● # ceph osd set noout ● # ist zuvor gesetzt. Sollte nicht dauerhaft gesetzt sein.

    Management:
 OSD außer Betrieb nehmen

    !19

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • ● ceph osd reweight osd.120 0 (OSD bleibt online, aber keine Daten werden gehalten) ● ceph osd reweight osd.120 0.5 (OSD bekommt nur 50% des Datengewichts)

    Management:
 OSD Füllstand manipulieren

    !20

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • ● ceph tell osd.* injectargs '–osd_recovery_sleep=2'

    Management:
 Recovery-Geschwindigkeit anpassen

    !21

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • ● ceph tell osd.* injectargs '–osd_scrub_sleep=2'

    Management:
 Scrub-Geschwindigkeit anpassen

    !22

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • Management:
 ISCSI-Pfade live migrieren

    !23

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • Monitoring: Das Dashboard

    !24

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • Monitoring: Des gesamten Cluster im Überblick

    !25

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • Monitoring: Der einzelnen Ceph-Node

    !26

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • Monitoring: Aus Sicht von VMware

    !27

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • Migration:

    ● Migration von 92% aller Serversysteme abgeschlossen ● Datenbanken der LBS-Testsysteme seit langem im Ceph ● Eigener NVMe-SSD Pool für Produktionssdatenbanken ● Zuletzt installierte Instanzen werden zuerst migriert:

    ● SBB ● Kiel ● Erfurt ● HSU

    ● Auch in Vorbereitung der Migration auf Linux: ● Migration der Datenbanken der übrigen Systeme ● Downtime nötig, da BCP notwendig.

    !28

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

  • 3. Verteiltes Installationsverfahren der LBS4-Software

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    29

  • LBS-Hosting 3.0 – Updates aus der Systemtechnik

    30

  • LBS-Hosting 3.0 – Updates aus der Systemtechnik

    31

  • LBS-Hosting 3.0 – Updates aus der Systemtechnik

    32

  • Voraussetzungen: •mind. Version 2.10 mit EAServer-Failover •Loan 4

    (erfüllt bei 18 Testsystemen, Stand Nov.2019)

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    33

  • als sybase @ • Log- Dump ; Dboptions an

    als jaguar @ • LBS4- Software kopieren und installieren

    als sybase @ • Dboptions aus ; Komplettsicherung

    LBS-Hosting 3.0 – Updates aus der Systemtechnik

    34

  • # script LBSRemoteInst … # OS ermitteln, usr-profile festlegen

    OS=$( ssh [email protected]${LBShost} uname )

    case $OS in

    'SunOS') uProfile=.profile ;;

    'Linux') uProfile=.bash_profile ;;

    esac

    # Software kopieren

    scp $Repo/$LBSversion/Software/$LBSfile [email protected]${LBShost}:tar

    # Auspacken

    ssh [email protected]${LBShost} tar xf tar/$LBSfile

    # LBS4 stoppen

    ssh [email protected]${LBShost} com/lbs4 stop

    # DB-Namen, -Server-Namen und -Host ermitteln

    dbn=$(ssh [email protected]$LBShost grep lbs.database.url confdir/lbs.properties | cut -d '/' -f 2 )

    dbs=$(ssh [email protected]$LBShost grep ^[a-z] EAServer/openclient-12.5.1/interfaces | tail -1)

    dbh=$(ssh [email protected]$LBShost cat EAServer/openclient-12.5.1/interfaces | awk '{ if ($1 == "'$dbs'" ) { getline; print $4} }' | tail -1)

    # DB-Optionen setzen ("trunc", "select in