OSMC 2014: Erfahrungen mit Icinga1 Loadbalanced Cluster an der JKU | Melanie Bernkopf
12
Click here to load reader
description
Dieser Vortrag wird den Aufbau des Monitorings an der Johannes Kepler Universität Linz von den Anfängen bis zu dem derzeitigen Loadbalanced Failover Betrieb mit Icinga (seit 3 Jahren produktiv) behandeln. Das erste Monitoring wurde im Netzwerkbereich eingerichtet und 2009 auf Nagios3 umgestellt, um einige Mankos der schon veralteten Nagios Installation zu kompensieren. Im Jahr 2012 begannen wir ein Loadbalanced Failover System zu erstellen das Icinga2 sehr ähnlich ist und im Zuge der Erneuerung der Hardware aktiv ging. Bis 2013 wurden zwei Server in Betrieb genommen. Mittels Merlin und mod_gearman konnte die Load von 5 bis 6 auf 0,4 gesenkt werden; das Monitoring ist auch bei einem Totalausfall eines der Maschinenräume noch erreichbar und führt als Peak 2000 Checks pro Minute aus. Netzwerk-Security und rechtliche Überlegungen, die beim Aufbau relevant waren und wie diese gelöst wurden, wird genauso angesprochen wie das Absichern der Server selber in einem offenen Provider-ähnlichen Netzwerk mit unterschiedlichen Peeringpartnern.
Transcript of OSMC 2014: Erfahrungen mit Icinga1 Loadbalanced Cluster an der JKU | Melanie Bernkopf
Monitoring an der JKU
Monitoring an der JKU
Icinga1 Loadbalanced Failover
Titel/Ersteller, Datum 1
2
Melanie Bernkopf, 19.11.2014
Die Anfänge
Letztes Jahrtausend Netsaint installation
2004 Nagios 1.2
2008 Auftrag neu Konzeptionierung Monitoring
2009 Nagios 3.0.6 geht mit zwei Servern in Betrieb
2012 Installation und neu Aufbau mit Icinga
3
Melanie Bernkopf, 19.11.2014
Gründe für ein neues Konzept
Nicht mehr möglich die aktuelle Software zu Monitoren
Hard- und Software benötigten Updates
Oracle Datenbanken waren nicht im Monitoring
Server Netzwerkanbindung nicht mehr ausreichend
Hohe Latenzen und Load
4
Melanie Bernkopf, 19.11.2014
Zusätzliche Dienste
SMS Gateway
SNMPTrapd
Grafische Auswertung
Failover mit NSCA
Nagvis Maps
Datenweitergabe UNI Website
Dashboards auf den
Arbeitsplätzen
5
Melanie Bernkopf, 19.11.2014
Nagios 3
Zuwachs im ersten Jahr von 600 Services auf 1500 Services
Ein Server wurde zu schwach ausgelegt
Umstieg auf Icinga wurde hier schon überlegt
6
Melanie Bernkopf, 19.11.2014
Herausforderungen
Dual Stack Netzwerke IPv4/IPv6
Firewalls teils Zentral teils von den Instituten gemacht
Aufbau des gesamten Netzwerks mehr wie bei einem Provider
Lustige Wissenschaftler und Kollegen
7
Melanie Bernkopf, 19.11.2014
Services
Cisco Hardware
HP Hardware
Oracle Datenbanken
Webserver
SAP
Mail Server
Novell
LDAP
Telefonie
SAN
Netzwerk Peering
8
Melanie Bernkopf, 19.11.2014
Icinga
Aufteilung der Abteilungsserver wurde verworfen
Loadbalanced Failover mit Merlin
Mod_gearman um Last zu verringern
Corosync Pacemaker Cluster
MySQL Replication Datenhaltung
9
Melanie Bernkopf, 19.11.2014
Schema Icinga
10
Melanie Bernkopf, 19.11.2014
Was nicht möglich war
Pnp4nagios nicht möglich einer redundanten Erzeugung und Verfügbarkeit
der RRD Grafen
Updates Icinga und Merlin nicht möglich
Import historischer Logdaten
11
Melanie Bernkopf, 19.11.2014
JKU CERN Vergleich
JKU Monitoring:
Service Check Latency: 0.00 sec 0.38 sec 0.143 sec
Host Check Latency: 0.00 sec 2.79 sec 0.265 sec
CERN Monitoring:
Service Check Latency: 0.03 sec 57 sec 14 sec
Host Check Latency: 0 sec 35 sec 12 sec
12
Melanie Bernkopf, 19.11.2014
Momentaner Stand
Migration Icinga2
Einbinden Haustechnik Klimatechnik
Helpdesk Dashboards und Links in das Interne WIKI
SMSGateway Mandantenfähig machen
Business Process Monitoring
