Splunk Webinar: Maschinendaten anreichern mit Informationen

40
1 Copyright © 2014 Splun Inc. Maschinendaten anreichern mit Informationen Philipp Drieger Sales Engineer

Transcript of Splunk Webinar: Maschinendaten anreichern mit Informationen

Page 1: Splunk Webinar: Maschinendaten anreichern mit Informationen

1

Copyright © 2014 Splunk Inc.

Maschinendaten anreichern mit Informationen

Philipp DriegerSales Engineer

Page 2: Splunk Webinar: Maschinendaten anreichern mit Informationen

2

Splunk WebinarMaschinendaten anreichern mit Information

Ihr Ansprechpartner:Philipp DriegerSales Engineer

[email protected]

Page 3: Splunk Webinar: Maschinendaten anreichern mit Informationen

3

DisclaimerDuring the course of this presentation, we may make forward looking statements regarding future events

or the expected performance of the company. We caution you that such statements reflect our current expectations and estimates based on factors currently known to us and that actual events or results

could differ materially. For important factors that may cause actual results to differ from those contained in our forward-looking statements, please review our filings with the SEC. The forward-looking

statements made in the this presentation are being made as of the time and date of its live presentation. If reviewed after its live presentation, this presentation may not contain current or accurate information.

We do not assume any obligation to update any forward looking statements we may make.

In addition, any information about our roadmap outlines our general product direction and is subject to change at any time without notice. It is for informational purposes only and shall not, be incorporated

into any contract or other commitment. Splunk undertakes no obligation either to develop the features or functionality described or to include any such feature or functionality in a future release.

Page 4: Splunk Webinar: Maschinendaten anreichern mit Informationen

4

Agenda

Splunk für MaschinendatenMethoden zur Anreicherung

Live: CSV | KVStore | Script | DBX | ODBCQ&A

Page 5: Splunk Webinar: Maschinendaten anreichern mit Informationen

5

Make machine data accessible, usable and valuable to everyone.

Page 6: Splunk Webinar: Maschinendaten anreichern mit Informationen

6

Das beschleunigte Wachstum von DatenVolume | Velocity | Variety | Variability

GPS,RFID,

Hypervisor,Web Servers,

Email, Messaging,Clickstreams, Mobile,

Telephony, IVR, Databases,Sensors, Telematics, Storage,

Servers, Security Devices, Desktops

Machinendaten umfassen den am schellsten wachsenden, komplexesten und wertvollsten Bereich von Big Data

6

Page 7: Splunk Webinar: Maschinendaten anreichern mit Informationen

7

Machinendaten enthalten wertvolle InformationenOrder ID

Customer’s Tweet

Time Waiting On Hold

Product ID

Company’s Twitter ID

Order ID

Customer ID

Twitter ID

Customer ID

Customer ID

Sources

Order Processing

Twitter

Care IVR

Middleware Error

Page 8: Splunk Webinar: Maschinendaten anreichern mit Informationen

8

Industry Leading Platform For Machine Data

Machine Data: Any Location, Type, Volume

Online Services Web

Services

ServersSecurity GPS

Location

StorageDesktops

Networks

Packaged Applications

CustomApplicationsMessaging

TelecomsOnline

Shopping Cart

Web Clickstreams

Databases

Energy Meters

Call Detail Records

Smartphones and Devices

RFID

On-Premises

Private Cloud

Public Cloud

Platform Support (Apps / API / SDKs)

Enterprise Scalability

Universal Indexing

Answer Any Question

DeveloperPlatform

Report and

analyze

Custom dashboards

Monitor and alert

Ad hoc search

Universal Machine Data

Platform

Page 9: Splunk Webinar: Maschinendaten anreichern mit Informationen

9

Industry Leading Platform For Machine Data

Machine Data: Any Location, Type, Volume

Online Services Web

Services

ServersSecurity GPS

Location

StorageDesktops

Networks

Packaged Applications

CustomApplicationsMessaging

TelecomsOnline

Shopping Cart

Web Clickstreams

Databases

Energy Meters

Call Detail Records

Smartphones and Devices

RFID

On-Premises

Private Cloud

Public Cloud

Platform Support (Apps / API / SDKs)

Enterprise Scalability

Universal Indexing

Answer Any Question

DeveloperPlatform

Report and

analyze

Custom dashboards

Monitor and alert

Ad hoc search

Any amount, any location, any source

Schema-on-the-fly

Universal indexing

No back-end RDBMS

No need to filter

data

Schema on the Fly

Page 10: Splunk Webinar: Maschinendaten anreichern mit Informationen

10

Methoden zur Anreicherung

Page 11: Splunk Webinar: Maschinendaten anreichern mit Informationen

11

Anreicherung von Events in Splunk

Erweiterung der raw events um zusätzliche Felder, welche aus externen Datenquellen stammen.

LDAP, AD

WatchLists

CRM/ERP

CMDB

Externe Datenquellen

Insight OUT

Data IN

Page 12: Splunk Webinar: Maschinendaten anreichern mit Informationen

12

Anreicherung mit LookupsDurch Lookups können in Splunk Maschinendaten mit zusätzlichen Informationen angereichert werden.

Es wird dabei ein Mapping von Feldwerten in Events auf Feldwerte einer externen Datenquelle realisiert und neue Werte den Eventdaten zugefügt.

Beispiel: Lookup von HTTP Status Codes in einem CSV File mit der entsprechenden Beschreibung des Codes.

Page 13: Splunk Webinar: Maschinendaten anreichern mit Informationen

13

Mehrwerte durch LookupsDarstellung von Maschinendaten in der Sprache der FachabteilungenDifferenziertere Analysen und Aufteilungen von Auswertungen – z.B. Monitoring von Manager User Accounts, HR, Finance, ITVerlinkung von Maschinendaten zu geschäftsrelevanten Prozessen. Z.B. Anreicherung von Bestelldaten mit Artikellisten inklusive Beschreibung, Verfügbarkeit, Preis etc.

Integration von SAP BestandsdatenCRM DatenProduktinfosPreislistenWHOISGeolocationZip codes

Page 14: Splunk Webinar: Maschinendaten anreichern mit Informationen

14

Übersicht: Methoden für Lookups in Splunk

ODBC driver (MS Excel,

Tableau, …)

CSV FileLookup

Script(Python, Perl,

shell, …)

DB Connect(DB2, Oracle, MySQL, …)

KVStore(Key Value

Store)

Page 15: Splunk Webinar: Maschinendaten anreichern mit Informationen

15

Übersicht: Methoden für Lookups in Splunk

CSV File KVStore Script DB Connect ODBC

Indexer / Search Head Search Head ONLY Indexer / Search Head Indexer / Search Head Indexer / Search Head

Statisch Dynamisch Dynamisch Dynamisch Dynamisch

DEMO DEMO DEMO DEMO OVERVIEW

Page 16: Splunk Webinar: Maschinendaten anreichern mit Informationen

16

Demo #1CSV Lookup

Page 17: Splunk Webinar: Maschinendaten anreichern mit Informationen

17

CSV LookupSetup Lookup Table Files

Page 18: Splunk Webinar: Maschinendaten anreichern mit Informationen

18

CSV LookupSetup Lookup Definitions

Page 19: Splunk Webinar: Maschinendaten anreichern mit Informationen

19

CSV LookupAnd: Look IT up

Page 21: Splunk Webinar: Maschinendaten anreichern mit Informationen

21

Demo #2KV Store

Page 22: Splunk Webinar: Maschinendaten anreichern mit Informationen

22

KV Store Lookup Setup

/splunk/etc/apps/<appname>/local

Page 23: Splunk Webinar: Maschinendaten anreichern mit Informationen

23

KV Store LookupBring your data in:

Page 24: Splunk Webinar: Maschinendaten anreichern mit Informationen

24

KV Store LookupRessourcen

Dokumentation: http://docs.splunk.com/Documentation/Splunk/latest/Knowledge/ConfigureKVstorelookupsMigration von Lookups mit CSV Files zu KV Store: http://dev.splunk.com/view/webframework-features/SP-CAAAEZQBeispiele KV Store: http://dev.splunk.com/view/webframework-features/SP-CAAAEZHKonfiguration KV Store über REST API: http://dev.splunk.com/view/webframework-features/SP-CAAAEZG

Page 25: Splunk Webinar: Maschinendaten anreichern mit Informationen

25

Demo #3Script (Python)

Page 26: Splunk Webinar: Maschinendaten anreichern mit Informationen

26

Scripted LookupExample DNSLOOKUP (external_lookup.py)

Page 27: Splunk Webinar: Maschinendaten anreichern mit Informationen

27

Scripted LookupExample DNSLOOKUP (external_lookup.py)

Usage lookup hostname: … | lookup dnslookup clientip as ipUsage lookup ip: … | lookup dnslookup clienthost as domain

Page 28: Splunk Webinar: Maschinendaten anreichern mit Informationen

28

Demo #4DB Connect (MySQL)

Page 29: Splunk Webinar: Maschinendaten anreichern mit Informationen

29

Lookup mit DB Connect: MySQL

Page 30: Splunk Webinar: Maschinendaten anreichern mit Informationen

30

Lookup mit DB Connect: Identity

Page 31: Splunk Webinar: Maschinendaten anreichern mit Informationen

31

Lookup mit DB Connect: Connection

Page 32: Splunk Webinar: Maschinendaten anreichern mit Informationen

32

Lookup mit DB Connect: Test Query

Page 33: Splunk Webinar: Maschinendaten anreichern mit Informationen

33

Lookup mit DB ConnectRessourcen

Splunk App for DB Connect (V 2.0):https://splunkbase.splunk.com/app/2686Dokumentation DB Connect: http://docs.splunk.com/Documentation/DBX/latest/DeployDBX/AboutSplunkDBConnect

Page 34: Splunk Webinar: Maschinendaten anreichern mit Informationen

34

OverviewODBC

Page 35: Splunk Webinar: Maschinendaten anreichern mit Informationen

35

Übersicht Splunk ODBC (Windows)

Analyst

Splunk admin

Saved Searche

s

ODBC driver(SQL to SPL translation

layer)

STEP 1 Business user and Admin work together to define and build the saved search in Splunk.

1

STEP 1 Business user uses tool to access saved search and retrieve data from Splunk.

2

Page 36: Splunk Webinar: Maschinendaten anreichern mit Informationen

36

ODBC Treiber für Splunk Enterprise

Download Splunk App: https://splunkbase.splunk.com/app/1606

Documentation ODBC:http://docs.splunk.com/Documentation/ODBC

On Windows OS:Splunk ODBC Driver

+ Tool of choice

Splunk Enterprise auf jeder unterstützten Platform:

- Windows- Linux- OS X- Solaris

Page 37: Splunk Webinar: Maschinendaten anreichern mit Informationen

37

Zusammenfassung

Page 38: Splunk Webinar: Maschinendaten anreichern mit Informationen

38

ZusammenfassungMaschinendaten enthalten wertvolle InformationenDurch Anreicherung mit externen Datenquellen können diese explizit gemacht werdenSplunk bietet viele Methoden für Lookups:– CSV Files– KV Store– Script– DB Connect– ODBC

Machen Sie Ihre Maschinendaten durch Lookups verständlicher für Ihre Nutzer!

Page 39: Splunk Webinar: Maschinendaten anreichern mit Informationen

39

Vielen Dank!Q&A:Bitte den Chat benutzen

Philipp DriegerSales Engineer

Page 40: Splunk Webinar: Maschinendaten anreichern mit Informationen

40

Thank You