Splunk> Overview - magellan-net.de · Splunk 3.0 Announces first service provider: BT 350 customers...

Splunk> Overview Michele Besecke [email protected]

Copyright © 2011, Splunk Inc. Listen to your data.

Agenda

Wer ist Splunk?

Warum Splunk?

Was ist Splunk?

Architektur & Integration Universal Indexing erklärt

2

Wer ist Splunk?


Unternehmensdaten

4

Gründung 2004

Firmensitz San Francisco, CA

Mitarbeiter 430++ (Nov. ‘2011)

Niederlassungen Nordamerika, EMEA, APAC

Kunden 3.200++

Anwender 100.000 in 78 Ländern


Meilensteine

5

2005 2006 2007 2008 2009 2010 2011 2012 . . . .

Splunk 3.0

Announces first

service provider: BT

350 customers

150.000 downloads

Beta Release

20.000 downloads

Splunk 4.0

1.000+ customers

350.000+ downloads

Splunk 4.2 /4.3 Beta

Realtime Altering

3.000+ customers

800.000+ downloads

Splunk 1.0 / 2.0

First OEM: CISCO

150 customers

75.000 downloads

Splunk SDK / Apps

APAC/ EMEA

Expension

900 customers

300.000 downloads

Splunk 4.1

Realtime Monitoring

2.000 customers

600.000 downloads

Warum Splunk?


Splunk’s Mission

Sammeln, Indexieren und nutzen Ihre Maschinen

erzeugten IT-Daten,

zur Indentifizierung von Problemen, Risiken und

Chancen

um bessere Entscheidungen für IT und Business

zu treffen


einheitliche Anforderung – unterschiedliche Lösungen…

8

Applikations Databases Machines Network/Devices Client/Desktop Web

App Management DB Management Systems Management Network Management Analytics

Unterschiedlichste Monitoring- und Analysewerkzeuge


…eine Lösung die Ihre Daten korreliert…

9

Applikations Databases Machines Network/Devices Client/Desktop Web

App Management DB Management Systems Management Network Management Analytics


• Web logs • Log4J, JMS, JMX • .NET events • Code and scripts

• Configurations • syslog • SNMP • netflow

• Configurations • Audit/query logs • Tables • Schemas

• Hypervisor • Guest OS, Apps • Cloud

• Configurations • syslog • File system • ps, iostat, top

• Registry • Event logs • File system • sysinternals

Logfiles Configs Messages Traps Alerts

Metrics Scripts Tickets Changes

Linux/Unix Windows Networking Databases Applications Virtualization

& Cloud

• Click-stream data • Shopping cart data • Online transaction

data

Customer Facing Data

Outside the Datacenter

• Manufacturing, logistics…

• CDRs & IPDRs • Power consumption • RFID data • GPS data

Kein Schema keine Adapter keine Datenbank

Splunk: Engine for Machine Data


zentrale Sammlung aller relevanten Daten

11


Splunk: Operational Intelligence

12

Was ist Splunk?


Splunk Summary

14

Einzelsystem für Maschinendaten Analyse – Ein Security-Information-Management System, das:

Alle ASCII Daten sammelt

Skaliert bis zu Terabytes von Daten pro Tag

Alertings basierend auf Echtzeit- und historischen Daten

– Unterstützt Security-Event-Management mit Korrelation der Daten:

Korrelieren Informationen zwischen / über Datentypen hinweg (Splunk Common Information Model - CIM)


Splunk Summary (2)

15

Einzelsystem für Maschinendaten Analyse – Suchen können nach einem Zeitplan ausgeführt werden, präsentieren Sie

die Ergebnisse in Reports und/ oder Dashboards

– Unterstuetzt rollen-basierte Zugriffskontrolle (nach Daten, Suchen und Dashboard’s)

– On-demand content from Splunkbase.com


Unsere Kunden in D.A.CH - Auszug

16


Was ist Splunk nun genau?

“Google” für Ihre relevanten Daten

Splunk bietet Transparenz & Erkenntnisse über alle betrieblichen Prozessen (IT+Business) hinweg in Echtzeit

17

Software –Download und Installation in 5 Min.

Splunk liefert in Ihrer gesamten (IT-)Infrastruktur für vielfältige Zwecke einen signifikanten Mehrwert


Zentralisiert Daten aus allen Systemen

18

Indexing/Search Server

Splunk Forwarders

Universal Forwarder sendet Daten in Splunk

von entfernten Systemen

Verbraucht minimale Systemressourcen

(1%-2%)

Liefert sichere, verteilte, und universelle Daten

von tausenden Endpunkten


Skaliert auf TB’ pro Tag und tausende Anwender

19

Automatisiertes Load-Balancing skaliert Indexierung linear

Verteilte Suchen und MapReduce skalieren Suchen und Berichte linear


Early Binding vs. No Binding

20

RDBMS Pars

e

Tran

sfo

rm

SQL

Logformate ändern sich

Informationen können verloren gehen

Hoher Managementaufwand

Early Binding:

X


Early Binding vs. No Binding

21

Dateisystem Pars

e

Ind

ex

Logformate ändern sich

Informationen gehen nicht verloren

Geringer Managementaufwand

No Binding:


Splunk – bewehrter Ablauf

Jeder mit einem Zeitstempel versehen ASCII-Text

Mit Hilfe der ‘beyond Boolean’ Suchsprache

Verwenden Sie Meta-Daten, um organisatorische Daten für Event

Kontext hinzuzufügen

Kombinieren Sie Anwendungs-Performance-Daten und Security-

Daten zur Risikominderung

Individuelle Suchen und anpassbare Dashboards und

Metriken für die kontinuierliche Überwachung

Monitoring der Daten in Echtzeit / operative Suchen und Alerts


Integration von Anwendern und Rollen Integriert Authentifizierung mit LDAP und Active Directory.

23

Problem Investigation Problem Investigation Problem Investigation

Save Searches

Share Searches

LDAP, AD Anwender und Gruppen

Splunk Flexible Rollen

Manage Users

Manage Indexes

Fähigkeiten & Filter

NOT tag=PCI

App=ERP …

Teilen Sie LDAP & AD Gruppen flexiblen Splunk Rollen zu. Geben Sie Suchen als Filter an

Architektur und Integration


Eine Splunk Installation kann eine oder alle Funktionen abbilden…

Splunk – Vier primäre Funktionen

Indexing und Search Services (Indexer)

Lokales & verteiltes Management (Deployment Server)

Datensammlung und Weiterleitung (Forwarder)

Search und Reporting (Search Head)


Horizontale Skalierbarkeit Lastverteilte Suchen und Indexierung für gewaltige Skalierungen

27

Forwarder Auto Load Balancing

Verteilte Suchen


Datenredundanz Klonen der Daten in multiple Indexer um Single Point Fehler zu eliminieren.

28

Klonen der Daten

Weiterleitung an Data Repository

Aktiv Standby


High Availability

29

Kombiniert Lastverteilung und Klonen um HA in jeder Splunk Schicht sicher zu stellen.

Klonen der Daten & Lastverteilung

Verteilte Suchen Verteilte Suchen

Klon-Gruppe 2 : Kompletter Datensatz

Shared Storage

Klon-Gruppe 1 : Kompletter Datensatz

Universal Indexing Explained


Inside Universal Indexing

31

…ermöglicht akkurate Suchen und Trends über sämtliche Daten

Automatisierte Ereignisabgrenzung

Automatisierte Erkennung der Zeitstempel


Inside Universal Indexing

32

...ermöglicht Bollean Suchen auf jedem Ausdruck im Originalereignis

Segmentierung & und genaue Indexierung jedes Ausdrucks


Extraktion von Wissen zur Suchzeit

33

Anwenderdefinierte Felder

Autamtisiert erkannte Felder

…ermöglichen statistische und präzise Suchen innerhalb jeden Feldes

Live Demo

Splunk> Overview - magellan-net.de · Splunk 3.0 Announces first service provider: BT 350 customers...

Documents

Transcript of Splunk> Overview - magellan-net.de · Splunk 3.0 Announces first service provider: BT 350 customers...