Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen
-
Upload
kai-wilken -
Category
Technology
-
view
862 -
download
3
description
Transcript of Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen
![Page 1: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/1.jpg)
Cassini I Guiding ahead
![Page 2: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/2.jpg)
© 2013 Cassini Consulting
Kai Wilken I Cassini & Thomas Falkenberg | Payback Version 1.0
Im Dreiklang Performance sichtbar machen Logstash, Kibana, Elasticsearch
![Page 3: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/3.jpg)
Thomas Falkenberg
! Performance Engineer, Payback GmbH ! #performance ! #devops ! #opensource ! @falkenbt ! [email protected]
3 15.11.13 Cassini Consulting
![Page 4: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/4.jpg)
Kai Wilken
! Consultant bei Cassini Consulting
! #physik ! #devops ! #performance
! @dervanil ! [email protected]
4 15.11.13 Cassini Consulting
![Page 5: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/5.jpg)
Maisfeld + Intro + Homer
15.11.13 Cassini Consulting 5
???
![Page 6: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/6.jpg)
6 15.11.13 Cassini Consulting
![Page 7: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/7.jpg)
7 15.11.13 Cassini Consulting
Und das Maisfeld bei Payback...
![Page 8: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/8.jpg)
Warum brauche ich Metriken?
8 15.11.13 Cassini Consulting
Metrik Cycle
Optimierung Analyse
Validierung Entwicklung
Analyse der Auswirkungen und Sammlung von Metriken
Verbesserung auf Basis der Beobachtungen
Überprüfung / Bestätigung der Effekte durch Optimierung
Neue oder veränderte Features und Funktionen
![Page 9: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/9.jpg)
Ziele von zentraler Logsammlung und Auswertung
! Überblick in komplexen Umgebungen behalten ! Unterstützung bei der Ursachenforschung
in Fehler- / Problemfällen ! Verhalten des Systems unter realen Bedingungen
beobachten ! Ressourcennutzung und mögliche Engpässe
kennen, Trends ableiten können ! Auswirkungen von Veränderungen (z.B. neues
Release) transparent machen und bewerten können ! Kontrolle von vertraglichen Verpflichtungen (SLAs)
9 15.11.13 Cassini Consulting
![Page 10: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/10.jpg)
Wie arbeitet logstash?
10 15.11.13 Cassini Consulting
Filter
Redis Logfile TCP Graphite Twitter SVN …
Redis Logfile TCP Graphite Twitter SVN Elasticsearch …
• Grok • Multiline (z.B. für Stacktrace) • Bedingungen • Key-value (z.B. Request Parameter) • …
![Page 11: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/11.jpg)
Grok it!
…
2013-11-06 09:42:13,274;INFO;d3e7a1db;getAccountTransactions;admin;196;0; 2013-11-06 09:42:13,375;INFO;8f72ea2c;getAccountBalance;admin;121;0; 2013-11-06 09:42:13,454;INFO;caab93cd;updateMember;admin;653;COR-00011;
11 15.11.13 Cassini Consulting
%{DATA:timestamp};%{DATA:loglevel};%{DATA:requestId};%{DATA:service};%{DATA:consumer};%{INT:responseTime:int};%{DATA:errorCode};
logfile
grok pattern
![Page 12: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/12.jpg)
Baukasten: logstash, elasticsearch, kibana, graphite, PeX
12 15.11.13 Cassini Consulting
System under Test
Database
PErformance eXposure
1. Preload
2. Warmup 3. Load-Test
4. Report
Metrics sampler
PayLoad
kibana
![Page 13: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/13.jpg)
13 15.11.13 Cassini Consulting
DEMO
![Page 14: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/14.jpg)
Wie geht es weiter…
14 15.11.13 Cassini Consulting
QA
DEV
OPS
"Big Data"
![Page 15: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/15.jpg)
Lessons learned
15 15.11.13 Cassini Consulting
?
Lernkurve Integration Support Spaß
Security Hausaufgaben Performance Housekeeping Interpretation
!
![Page 16: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/16.jpg)
Fragen? Fragen!
16 15.11.13 Cassini Consulting
![Page 17: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/17.jpg)
Links
! Elasticsearch: http://www.elasticsearch.org/
! Kibana: http://www.elasticsearch.org/overview/kibana/
! Logstash: http://logstash.net/
! Graphite: https://github.com/graphite-project
! Statsd: https://github.com/etsy/statsd/
! MetricsSampler: https://github.com/dimovelev/metrics-sampler
17 15.11.13 Cassini Consulting
![Page 18: Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen](https://reader033.fdokument.com/reader033/viewer/2022051210/54c2e5724a7959ad5c8b45ec/html5/thumbnails/18.jpg)
Cassini Consulting Niederlassung Hamburg Kai Wilken Johannisbollwerk 16 20459 Hamburg Deutschland T +49 (0)151 11 44 38 53 [email protected] visit www.cassini.de
Alle Angaben basieren auf dem derzeitigen Kenntnisstand. Änderungen vorbehalten. Dieses Dokument von Cassini Consulting ist ausschließlich für den Adressaten bzw. Auftraggeber bestimmt. Es bleibt bis zur einer ausdrücklichen Übertragung von Nutzungsrechten Eigentum von Cassini. Jede Bearbeitung, Verwertung, Vervielfältigung und/oder gewerbsmäßige Verbreitung des Werkes ist nur mit Einverständnis von Cassini zulässig.
15.11.13 Cassini Consulting 18