RRDTool Basis- u. Hintergrundwissen (Simon Meggle, Nagios-Workshop 2010 Nürnberg)

RRDToolBasis- und Hintergrundwissen

Simon MeggleWIRECARD Technologies AG

Nagios-Workshop 2010, Nürnberg

RRDTool Basis und Hintergrundwissen 2

● Grundlagen: Bestands- und Stromdaten● Unterscheidung von Kennzahlen

● Berechnung von Stromdaten

● Datenfluss in RRDTool● Datentypen

● Schritt 1: Transformierung zu Stromdaten

● Schritt 2: Normalisierung zu PDPs

● Schritt 3: Konsolidierung zu CDPs

● RRDTool lebt in der Vergangenheit!

Agenda


Grundlagen: Bestands- und Stromdaten

Unterscheidung von Kennzahlen nach● Bestandsdaten

– Kontostand– Anzahl Bundesbürger– Kilometerzähler im Auto



Unterscheidung von Kennzahlen nach● Bestandsdaten

– Kontostand– Anzahl Bundesbürger– Kilometerzähler im Auto

● Stromdaten (=Veränderungen von Bestandsdaten über einen Zeitraum)

– Geldbewegung pro Zeit● Einkommen (+)● Ausgaben (-)

– Demografische Entwicklung pro Zeit; Zahl der● Geburten (+)● Sterbefälle (-)● Zuwanderungen (+)● Abwanderungen (-)

– Gefahrene km pro Zeit (+)



Nachteile:● Graph skaliert schlecht● „alles sieht gleich aus“

Wozu Stromgrößen erfassen?

Negativ-Beispiel für die Erfassung von Bestandsgrößen:



Nachteile:● Graph skaliert schlecht● „alles sieht gleich aus“● Interpretation nur anhand der Deltas möglich

Wozu Stromgrößen erfassen?

Negativ-Beispiel für die Erfassung von Bestandsgrößen:



Berechnung von Stromdaten

= Veränderungen von Bestandsdaten (∆y) über Zeit (∆x):

∆y

∆xt




∆y = 50

∆x = 10


Es seien:● ∆y=50 Bytes in● ∆x=10 Sekunden

übertragen worden.

t


50 Bytes




∆y = 50

∆x = 10


übertragen worden.

Unbekannt: Was geschah wirklich in ∆x?

… 2s nichts,...in 5s 50 Bytes (=10 B/s) ,… 3s nichts ?

t




50 Bytes


∆y = 50

∆x = 10


übertragen worden.


… 5s nichts,...in 1s 50 Bytes (=50 B/s) ,… 4s nichts ?

t




50 B

ytes

Unbekannt: Was geschah wirklich?50 Bytes / 5s = 10 B/s ?50 Bytes / 1s = 50 B/s ?50 Bytes / 2,5s = 20 B/s ?


∆y = 50

∆x = 10


übertragen worden.


… 1s nichts,...in 2,5s 50 Bytes (=20 B/s) ,… 6,5s nichts ?

t


50 Bytes



EGAL!

Fakt ist:50 Bytes in 10s übertragen!

Einzig berechenbare Bandbreite:50 Bytes/10s = 5 Bytes/s

Die Bandbreite 5 Bytes/s über 10s drückt die übertragene Datenmenge aus.

„Transformation“


∆y = 50

∆x = 10t


Datenfluss in RRDTool

● DS (Datasources): Jede RRD besitzt ein oder mehrere DS; diese liefern die Datengrundlage für Primary Data Points (PDPs)

● ds-name: frei wählbarer Name der DS (1-19 Zeichen)● DST (DataSourceType):

● COUNTER● DERIVE ● ABSOLUTE● GAUGE● (COMPUTE: Verrechnung anderer DS, nicht in diesem Vortrag behandelt)

● heartbeat: maximaler Abstand zweier Updates mit Messwerten in Sek. (= „PDP-timeout“, wird hinter t=now „hinterhergezogen“)

● min/max: Werte außerhalb dieser Extrema werden als UNKNOWNgespeichert (= „Sanity-Check“, um z.b. „800°C“ zu vermeiden)

DS:ds-name:DST:heartbeat:min:max

Schritt 1: Transformation / Datentypen




○/⬤: PNP: über Custom Templates pro Check justierbar (PNP 0.4 / 0.6)!

● DS (Datasources): Jede RRD besitzt ein oder mehrere DS; diese liefern die Datengrundlage für Primary Data Points (PDPs)

● ds-name: frei wählbarer Name der DS (1-19 Zeichen)● DST (DataSourceType):

● COUNTER● DERIVE ● ABSOLUTE● GAUGE● (COMPUTE: Verrechnung anderer DS, nicht in diesem Vortrag behandelt)

● heartbeat: maximaler Abstand zweier Updates mit Messwerten in Sek. (= „PDP-timeout“, wird hinter t=now „hinterhergezogen“)

● min/max: Werte außerhalb dieser Extrema werden als UNKNOWNgespeichert (= „Sanity-Check“, um z.b. „800°C“ zu vermeiden)

DS:ds-name:DST:heartbeat:min:max



Wert,timestamp

Transformation(DS)

Normalisierung(PDP)

Konsolidierung(CDP)

Data TypeCOUNTER

DERIVE

Data TypeABSOLUT

GAUGE

Data Type

RRA



COUNTER DERIVE ABSOLUTE GAUGE

Input

zunehmender Counter-Wert

wie COUNTER;zu-/abnehmend

wie COUNTER;zählt immer ab 0

Wert

gespeichert wird ∆ wert / ∆ t ∆ wert / ∆ t wert / ∆ t Wert wird

durchgereicht

Overflow-Check

BeispieleBytecounter, Wasseruhr, Kilometerzähler

Bidirektionale Pumpe

COUNTER mit vielen Overflows

Temperatur, Füllstand, Km/h, KWh

Stromdaten Bestandsdaten





Input




Wert


durchgereicht

Overflow-Check





Beispiel-Werte (bei check_interval=60s)

60 1 1 1 60120 1 1 2 120180 1 1 3 180300 2 2 5 30060 -- -4 1 60






Input




Wert


durchgereicht

Overflow-Check






60 1 1 1 60

120 1 1 2 120180 1 1 3 180300 2 2 5 30060 -- -4 1 60



wert(aktuell) !> wert(letzter)




Input




Wert


durchgereicht

Overflow-Check






60 1 1 1 60

120 1 1 2 120180 1 1 3 180300 2 2 5 30060 -- -4 1 60



∆wert = -240 !




Input




Wert


durchgereicht

Overflow-Check






60 1 1 1 60

120 1 1 2 120180 1 1 3 180300 2 2 5 30060 -- -4 1 60



wert = 300 !




Input




Wert


durchgereicht

Overflow-Check






60 1 1 1 60

120 1 1 2 120180 1 1 3 180300 2 2 5 30060 -- -4 1 60



wert = 60 !



Wert,timestamp

Transformation(DS)

Normalisierung(PDP)

Konsolidierung(CDP)

Data TypeCOUNTER

DERIVE

Data TypeABSOLUT

GAUGE

Data Type

RRA


1020

10

50

30

10


Schritt 2: Normalisierung

Normalisierung = Ergebnisse mit unterschiedlicher Grundlage (hier: t) vergleichbar machen

t



Schritt 2: Normalisierung zu PDPs = Primary Data Points

PDP1 =

PDP1

60s

10

20

10

30

40

50

10

20

10

30

40

t

t



PDP1 = 45s*10B/s

PDP1

60s

10

20

10

30

40

50

10

20

10

30

40


t

t



PDP1 = 45s*10B/s + 15s*20B/s

PDP1

60s

10

20

10

30

40

50

10

20

10

30

40


t

t



PDP1 = 45s*10B/s + 15s*20B/s 60s

PDP1

60s

10

20

10

30

40

50

10

20

10

30

40


t

t



PDP1

60s

10

20

10

30

40

50

10

20

10

30

40

PDP1 = 45s*10B/s + 15s*20B/s = 450B + 300B = 12,5 B/s 60s 60s


t

t



PDP1

60s

10

20

10

30

40

50

10

20

10

30

40

PDP2 = 30s*20B/s + 30s*10B/s = 600B + 300B = 15 B/s 60s 60s

PDP2

60s


t

t



PDP1

60s

10

20

10

30

40

50

10

20

10

30

40

PDP4 = 15s*50B/s + 45s*30B/s = 750B + 1350B = 35 B/s 60s 60s

PDP2

60s

PDP3

60s

PDP4

60s


t

t



10

20

10

30

40

50

10

20

10

30

40

PDP5 = 45s*10B/s + 15s*0B/s = 450B = 7,5 B/s 60s 60s

60s

PDP5

60s

PDP4


t

t



10

20

10

30

40

50

10

20

10

30

40

PDP 6 + 7= UNKNOWNPDP 8 = KNOWN, da mehr als die Hälfte des Intervalls bekannt sind

60s

PDP5

60s

PDP4 PDP6 PDP7 PDP8

Heartbeat = 120s


t

t



Wert,timestamp

Transformation(DS)

Normalisierung(PDP)

Konsolidierung(CDP)

Data TypeCOUNTER

DERIVE

Data TypeABSOLUT

GAUGE

Data Type

RRA



Schritt 3: Konsolidierung zu CDPs

● RRA: Round-Robin-Archive speichern die Werte in Consolidated Data Points (CDPs) ( + Timestamp)

● steps: Anzahl der zu konsolidierenden PDPs● CF: Konsolidierungsfunktionen bestimmen, wie PDPs in CDPs

verrechnet werden:● AVERAGE: Mittelwert● MIN: Kleinster Wert● MAX: Höchster Wert● LAST: Letzter Wert

● xff (XfilesFactor): maximaler Anteil PDPs, die in der Berechnungeines CDP unknown sein dürfen; andernfalls CDP=unknown (0..0.99999999)

● rows: Anzahl der CDPs, die das RRA speichern soll

RRA:CF:xff:steps:rows



10

20

10

30

40

PDP1

10

20

10

30

40

PDP2 PDP3PDP1 PDP2 PDP3

CDP1

RRA:AVERAGE:0:3:360


t

t

t



PDP1

10

20

10

30

40


RRA:AVERAGE:0:3:360

10

20

10

30

40

PDP1

10

20

10

30

40


CDP1

RRA:MAX:0:3:360

10

20

10

30

40

CDP1


t

t

t t

t

t



PDP1

10

20

10

30

40


RRA:AVERAGE:0:3:360

PDP1

10

20

10

30

40


RRA:MAX:0:3:360

10

20

10

30

40

PDP1

10

20

10

30

40


CDP1

RRA:LAST:0:3:360

10

20

10

30

40

CDP1

10

20

10

30

40

CDP1


tt

t

t t

t

tt

t

t




RRA:AVERAGE:0:1:400 # 6,6h (1 PDP á 60s * 400)








„now“

t


RRDTool lebt in der Vergangenheit!(nach http://www.vandenbogaerdt.nl/rrdtool/)

Aufgabe:Monitoring meiner

Geldbörse


RRDTool lebt in der Vergangenheit!RRDTool lebt in der Vergangenheit!


rrdtool create wallet.rrd start 1130799600 # 00:00 Uhr

Anlegen einer neuen RRD:

RRDTool lebt in der Vergangenheit!


rrdtool create wallet.rrd start 1130799600 # 00:00 Uhr step 3600 # stepsize = 1h




rrdtool create wallet.rrd start 1130799600 # 00:00 Uhr step 3600 # stepsize = 1h DS:content:GAUGE:86400:0:U # hb=1 Tag, min=0, max=U




rrdtool create wallet.rrd start 1130799600 # 00:00 Uhr step 3600 # stepsize = 1h DS:content:GAUGE:86400:0:U # hb=1 Tag, min=0, max=U RRA:AVERAGE:0:1:48 # xff=0, 1 step, 48 CDPs (48h)




rrdtool update wallet.rrd 1130828400:75.00 # 08:00rrdtool update wallet.rrd 1130832000:60.00 # 09:00rrdtool update wallet.rrd 1130835600:55.00 # 10:00rrdtool update wallet.rrd 1130842800:45.00 # 12:00rrdtool update wallet.rrd 1130864400:25.00 # 18:00rrdtool update wallet.rrd 1130868000:10.00 # 19:00rrdtool update wallet.rrd 1130886000:0.00 # 24:00

Befüllen der RRD:



Graph:



Unsere Liste beschreibt die Zukunft,= was wir haben...

Problem:



Unsere Liste beschreibt die Zukunft,= was wir haben...

RRDTool beschreibt die Vergangenheit,= was wir hatten!

Problem:



Lösung:

Update der Datenbank, bevorbevor sich derBetrag in der Geldbörse ändert!



Lösung:

rrdtool update wallet.rrd 1130828400:0.00 # 08:00 (75.00)rrdtool update wallet.rrd 1130832000:75.00 # 09:00 (60.00)rrdtool update wallet.rrd 1130835600:60.00 # 10:00 (55.00)rrdtool update wallet.rrd 1130842800:55.00 # 12:00 (45.00)rrdtool update wallet.rrd 1130864400:45.00 # 18:00 (25.00)rrdtool update wallet.rrd 1130868000:25.00 # 19:00 (10.00)rrdtool update wallet.rrd 1130886000:10.00 # 24:00 (00.00)




Lösung:




Q & A

RRDTool Basis- u. Hintergrundwissen (Simon Meggle, Nagios-Workshop 2010 Nürnberg)

Documents

Transcript of RRDTool Basis- u. Hintergrundwissen (Simon Meggle, Nagios-Workshop 2010 Nürnberg)