Cassini I Guiding ahead

© 2013 Cassini Consulting

Kai Wilken I Cassini & Thomas Falkenberg | Payback Version 1.0

Im Dreiklang Performance sichtbar machen Logstash, Kibana, Elasticsearch

Thomas Falkenberg

! Performance Engineer, Payback GmbH ! #performance ! #devops ! #opensource ! @falkenbt ! falkenbt@gmail.com

3 15.11.13 Cassini Consulting

Kai Wilken

! Consultant bei Cassini Consulting

! #physik ! #devops ! #performance

! @dervanil ! kai.wilken@cassini.de

4 15.11.13 Cassini Consulting

Maisfeld + Intro + Homer

15.11.13 Cassini Consulting 5

???

6 15.11.13 Cassini Consulting

7 15.11.13 Cassini Consulting

Und das Maisfeld bei Payback...

Warum brauche ich Metriken?

8 15.11.13 Cassini Consulting

Metrik Cycle

Optimierung Analyse

Validierung Entwicklung

Analyse der Auswirkungen und Sammlung von Metriken

Verbesserung auf Basis der Beobachtungen

Überprüfung / Bestätigung der Effekte durch Optimierung

Neue oder veränderte Features und Funktionen

Ziele von zentraler Logsammlung und Auswertung

! Überblick in komplexen Umgebungen behalten ! Unterstützung bei der Ursachenforschung

in Fehler- / Problemfällen ! Verhalten des Systems unter realen Bedingungen

beobachten ! Ressourcennutzung und mögliche Engpässe

kennen, Trends ableiten können ! Auswirkungen von Veränderungen (z.B. neues

Release) transparent machen und bewerten können ! Kontrolle von vertraglichen Verpflichtungen (SLAs)

9 15.11.13 Cassini Consulting

Wie arbeitet logstash?

10 15.11.13 Cassini Consulting

Filter

Redis Logfile TCP Graphite Twitter SVN …

Redis Logfile TCP Graphite Twitter SVN Elasticsearch …

•  Grok •  Multiline (z.B. für Stacktrace) •  Bedingungen •  Key-value (z.B. Request Parameter) •  …

Grok it!

…

2013-11-06 09:42:13,274;INFO;d3e7a1db;getAccountTransactions;admin;196;0; 2013-11-06 09:42:13,375;INFO;8f72ea2c;getAccountBalance;admin;121;0; 2013-11-06 09:42:13,454;INFO;caab93cd;updateMember;admin;653;COR-00011;

11 15.11.13 Cassini Consulting

%{DATA:timestamp};%{DATA:loglevel};%{DATA:requestId};%{DATA:service};%{DATA:consumer};%{INT:responseTime:int};%{DATA:errorCode};

logfile

grok pattern

Baukasten: logstash, elasticsearch, kibana, graphite, PeX

12 15.11.13 Cassini Consulting

System under Test

Database

PErformance eXposure

1. Preload

2. Warmup 3. Load-Test

4. Report

Metrics sampler

PayLoad

kibana

13 15.11.13 Cassini Consulting

DEMO

Wie geht es weiter…

14 15.11.13 Cassini Consulting

QA

DEV

OPS

"Big Data"

Lessons learned

15 15.11.13 Cassini Consulting

?

Lernkurve Integration Support Spaß

Security Hausaufgaben Performance Housekeeping Interpretation

!

Fragen? Fragen!

16 15.11.13 Cassini Consulting

Links

! Elasticsearch: http://www.elasticsearch.org/

! Kibana: http://www.elasticsearch.org/overview/kibana/

! Logstash: http://logstash.net/

! Graphite: https://github.com/graphite-project

! Statsd: https://github.com/etsy/statsd/

! MetricsSampler: https://github.com/dimovelev/metrics-sampler

17 15.11.13 Cassini Consulting

Cassini Consulting Niederlassung Hamburg Kai Wilken Johannisbollwerk 16 20459 Hamburg Deutschland T +49 (0)151 11 44 38 53 kai.wilken@cassini.de visit www.cassini.de

Alle Angaben basieren auf dem derzeitigen Kenntnisstand. Änderungen vorbehalten. Dieses Dokument von Cassini Consulting ist ausschließlich für den Adressaten bzw. Auftraggeber bestimmt. Es bleibt bis zur einer ausdrücklichen Übertragung von Nutzungsrechten Eigentum von Cassini. Jede Bearbeitung, Verwertung, Vervielfältigung und/oder gewerbsmäßige Verbreitung des Werkes ist nur mit Einverständnis von Cassini zulässig.

15.11.13 Cassini Consulting 18