Regionales RechenZentrum Erlangen (RRZE)

Anomalieerkennung basierend auf statistischer Modellierung von HADES Messdaten Kai Ramsch, Birgit Kraft WiN-Labor

2

Hintergrund und Motivation Problemstellung und Lösung

Statistisch-algorithmische Methode

Ergebnisse

Ausblick

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Agenda

3

WiN-Labor am RRZE: Quality of Service Tools zur Überwachung und Analyse von

Weitverkehrsnetzwerken X-WiN, GÉANT, LHCOPN, …

IETF-Standard: OWD, OWDV, Packet Loss

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Hintergrund

4 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

HADES Messungen im X-WiN

5 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Anomalieerkennung durch HADES-Messdaten

Problemstellung und Lösung

7

Manuelle Auswahl eines (Norm-)Zeitintervalls Statistisches Modell der OWD Daten

Statistischer Test als Indikator für Normalität

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Idee der Anomalieerkennung auf einer Leitung

8

QoS im X-WiN Analyse der Ausfälle: Zuordnung Ereignis – Ursache Wenig netzbedingte Ausfälle

Kalibrierung anhand von Uhrenereignissen und Route Changes!

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Kalibrierung/Verifikation des Verfahrens

9

HADES Messsystem: GPS-basierte Zeitsynchronisation über NTP kontinuierliches Anpassen der Systemuhr Entstehung von Uhrenereignissen: Wärme → Oszillatorfrequenz verändert → Zeitsignal verfälscht → langsame NTP Anpassung für Messinfrastrukturbetreiber interessant (Qualitätsindikator)

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Uhrenereignisse

10 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Uhrensynchronisierungsfehler

11 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Route Change

Statistisch-algorithmische Methode

13

Filtern von Zeitsynchronisationsfehlern Route Changes

Intrinsic Delay → Normalisierung auf Verteilung nahe 0

Gut durch Gammaverteilungen modellierbar!* * P. Holleczek et. al.: Statistical characteristics of active IP one way delay measurements. In Proc. Int. Conf. on Networking and Services, 2006, S. 1–1, 2006.

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Vorverarbeitung

14

Gamma Mixture Model: Expectation Maximisation Algorithm: E-Step: Berechne die Wahrscheinlichkeiten 𝑧𝑖𝑖, dass die Daten 𝑖

durch die Modellkomponenten 𝑘 erzeugt wurden. M-Step: Setze alle Parameter auf das Maximum der Likelihood-

Funktion für den jeweiligen Parameter.

T. Holleczek: Statistical Analysis of IP Performance Metrics in International Research and Educational Networks. Diplomarbeit, Univ. Erlangen Nürnberg, 2008.

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Modellierung

𝒇 𝒙 = �𝝅𝒊 ⋅ 𝓖𝒊 𝒙𝑲

𝒊=𝟏

𝜋𝑖 ∈ 0,1 und

𝒢𝑖 𝑥 = βiαi

Γ αixαi−1e− βi𝑥 mit

𝛼𝑖 ,𝛽𝑖 ∈ (0,∞)

15 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Verteilung der Rohdaten

16 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Gamma Verteilungen

17 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Gamma Mixture Model

18

Partitionierung in Testintervalle (zu je 4h) Berechnung der Teststatistik: Klassifizierung in Wertebereiche (𝐵1,𝐵2, … ,𝐵𝑀) 𝜒2-Teststatistik:

𝜒2-Test: Konfidenzintervall mit 𝛼 = 0.05

Testintervall ist normal gdw. 𝝌𝟐 < 𝑸𝝌𝟐(𝟏 − 𝜶)

Indikatorfunktion zum Messen von Anomalien!

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Anomalieerkennung

𝝌𝟐 = �(𝑵𝒋

𝒐−𝑵𝒋𝒆)𝟐

𝑵𝒋𝒆

𝑴

𝒋=𝟏

𝑁𝑗0 = #OWDs in 𝐵𝑗 und

𝑁𝑗𝑒 = � 𝑓(𝑥)𝐵𝑗

𝑑𝑥

Ergebnisse

20 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Anomaliedetektion bei Route Change

21 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Verbesserung der Methode: Skalierungsproblem

22 04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Verbesserung der Messdatenverarbeitung

23

jetzt: Fehleranalyse HADES Infrastruktur: Leichte Schwingungen im OWD-„Signal“ sind „Messfehler“ durch NTP

später: Automatische Erstellung des Normintervalls: Modell über sehr große

Historie Simulation von Lastszenarien im Labor Klassifkation von Anomalien Erklärung von Ereignissen und Zuordnung zu Nutzergruppen …dereinst: Früherkennung

04.06.13 | Anomalieerkennung durch Modellierung von HADES-Messdaten | Kai Ramsch

Ausblick

Regionales RechenZentrum Erlangen WiN-Labor Kai Ramsch Martensstr. 1 91058 Erlangen Telefon: 09131 / 85 - 28800 win-labor@dfn.de

Vielen Dank für Ihre Aufmerksamkeit!