Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen...

24
Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten Kai Ramsch, Birgit Kraft WiN-Labor

Transcript of Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen...

Page 1: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

Regionales RechenZentrum Erlangen (RRZE)

Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten Kai Ramsch, Birgit Kraft WiN-Labor

Page 2: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

2

Hintergrund und Motivation Problemstellung und Lösung

Statistisch-algorithmische Methode

Ergebnisse

Ausblick

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Agenda

Page 3: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

3

WiN-Labor am RRZE: Quality of Service Tools zur Überwachung und Analyse von

Weitverkehrsnetzwerken X-WiN, GÉANT, LHCOPN, …

IETF-Standard: OWD, OWDV, Packet Loss

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Hintergrund

Page 4: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

4 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

HADES Messungen im X-WiN

Page 5: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

5 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Anomalieerkennung durch HADES-Messdaten

Page 6: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

Problemstellung und Lösung

Page 7: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

7

Manuelle Auswahl eines (Norm-)Zeitintervalls Statistisches Modell der OWD Daten

Statistischer Test als Indikator für Normalität

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Idee der Anomalieerkennung auf einer Leitung

Page 8: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

8

QoS im X-WiN Analyse der Ausfälle: Zuordnung Ereignis – Ursache Wenig netzbedingte Ausfälle

Kalibrierung anhand von Uhrenereignissen und Route Changes!

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Kalibrierung/Verifikation des Verfahrens

Page 9: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

9

HADES Messsystem: GPS-basierte Zeitsynchronisation über NTP kontinuierliches Anpassen der Systemuhr Entstehung von Uhrenereignissen: Wärme → Oszillatorfrequenz verändert → Zeitsignal verfälscht → langsame NTP Anpassung für Messinfrastrukturbetreiber interessant (Qualitätsindikator)

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Uhrenereignisse

Page 10: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

10 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Uhrensynchronisierungsfehler

Page 11: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

11 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Route Change

Page 12: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

Statistisch-algorithmische Methode

Page 13: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

13

Filtern von Zeitsynchronisationsfehlern Route Changes

Intrinsic Delay → Normalisierung auf Verteilung nahe 0

Gut durch Gammaverteilungen modellierbar!* * P. Holleczek et. al.: Statistical characteristics of active IP one way delay measurements. In Proc. Int. Conf. on Networking and Services, 2006, S. 1–1, 2006.

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Vorverarbeitung

Page 14: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

14

Gamma Mixture Model: Expectation Maximisation Algorithm: E-Step: Berechne die Wahrscheinlichkeiten 𝑧𝑖𝑖, dass die Daten 𝑖

durch die Modellkomponenten 𝑘 erzeugt wurden. M-Step: Setze alle Parameter auf das Maximum der Likelihood-

Funktion für den jeweiligen Parameter.

T. Holleczek: Statistical Analysis of IP Performance Metrics in International Research and Educational Networks. Diplomarbeit, Univ. Erlangen Nürnberg, 2008.

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Modellierung

𝒇 𝒙 = �𝝅𝒊 ⋅ 𝓖𝒊 𝒙𝑲

𝒊=𝟏

𝜋𝑖 ∈ 0,1 und

𝒢𝑖 𝑥 = βiαi

Γ αixαi−1e− βi𝑥 mit

𝛼𝑖 ,𝛽𝑖 ∈ (0,∞)

Page 15: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

15 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Verteilung der Rohdaten

Page 16: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

16 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Gamma Verteilungen

Page 17: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

17 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Gamma Mixture Model

Page 18: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

18

Partitionierung in Testintervalle (zu je 4h) Berechnung der Teststatistik: Klassifizierung in Wertebereiche (𝐵1,𝐵2, … ,𝐵𝑀) 𝜒2-Teststatistik:

𝜒2-Test: Konfidenzintervall mit 𝛼 = 0.05

Testintervall ist normal gdw. 𝝌𝟐 < 𝑸𝝌𝟐(𝟏 − 𝜶)

Indikatorfunktion zum Messen von Anomalien!

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Anomalieerkennung

𝝌𝟐 = �(𝑵𝒋

𝒐−𝑵𝒋𝒆)𝟐

𝑵𝒋𝒆

𝑴

𝒋=𝟏

𝑁𝑗0 = #OWDs in 𝐵𝑗 und

𝑁𝑗𝑒 = � 𝑓(𝑥)𝐵𝑗

𝑑𝑥

Page 19: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

Ergebnisse

Page 20: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

20 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Anomaliedetektion bei Route Change

Page 21: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

21 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Verbesserung der Methode: Skalierungsproblem

Page 22: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

22 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Verbesserung der Messdatenverarbeitung

Page 23: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

23

jetzt: Fehleranalyse HADES Infrastruktur: Leichte Schwingungen im OWD-„Signal“ sind „Messfehler“ durch NTP

später: Automatische Erstellung des Normintervalls: Modell über sehr große

Historie Simulation von Lastszenarien im Labor Klassifkation von Anomalien Erklärung von Ereignissen und Zuordnung zu Nutzergruppen …dereinst: Früherkennung

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Ausblick

Page 24: Anomalieerkennung basierend auf statistischer Modellierung ... · Regionales RechenZentrum Erlangen (RRZE) Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten

Regionales RechenZentrum Erlangen WiN-Labor Kai Ramsch Martensstr. 1 91058 Erlangen Telefon: 09131 / 85 - 28800 [email protected]

Vielen Dank für Ihre Aufmerksamkeit!