Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnen
Transcript of Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnen
-
Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnen! LSZ- Fachkonferenz Business Intelligence & Analytics
Novomatic Forum Wien, 05.10.2015
-
2
Themen
Business Intelligence: die alte Welt der Datenanalyse
Big Data Analytics: die neue Welt der Datenanalyse
Data Blending als Kombination der beiden Welten
Demo-Beispiel: Twitter und Aktienkurse
-
3
-
4
NoSQL
Hadoop Analytical
Transactional /DW
-
5
Dramatisches Wachstum an Daten
40000 30000 20000 10000
Exa
byte
s of
Dat
a
Standpunkt
77% der unternehmens-relevanten Daten sind unstrukturiert
Chart1
200
700
1300
2400
4500
7000
10000
13000
17000
23000
32000
40000
Region 1
Sheet1
200920102011201220132014201520162017201820192020
Region 12007001300240045007000100001300017000230003200040000
-
6
Einordnung von Big Data in bestehende Unternehmensdaten
EXABYTES
PETABYTES
TERABYTES
GIGABYTES
ansteigende Datenvielfalt und -komplexitt
BIG DATA
WEB
CRM
ERP
TRANSACTIONS INTERACTIONS
-
7
Erkenntnisse durch die Kombination von Daten
38% 38%
16%
4% 4%
Detaildaten ber Kunden,
Lieferanten, etc.
Social Media
Wirtschafts-daten/
-statistiken
ffentlich verfgbare
Daten
Dark Data: bestehende, ungenutzte
Daten
Getting Value from Big Data, Gartner Webinar, Mai 2012
+ ROI + + + =
Welche Datenquellen bieten die grte Mglichkeit zur Optimierung des Business?
Chart1
38
38
16
4
4
Region 1
Sheet1
Region 138381644
-
8
Better together
P D I
On-Demand Integration & Blending
Exist. ETL Tool oder PDI
EDW Data Marts
Analysen
Exist. Prozesse oder PDI
CRM
ERP
SCM Planung
Location
Web
Social Media
Network
Exist. Prozess
e oder PDI
Hadoop Cluster
NoSQL
P D I
Analytic DB
-
Demo-Beispiel Tesla Motors,Inc.
-
10
Tesla Motor, Inc. Betrachtung 1. Januar 2013 bis 20. Juni 2014
-
11
Tesla Motor, Inc. Betrachtung Juni 2014
Teslas Bekanntgabe alle seine Patente im Sinne der Open Source Bewegung zu teilen
12. Juni Open Source
Announcement
1. Erhhung der Anziehungskraft und Motivation fr die weltbesten Ingenieure 2. Zusammenarbeit mit weiteren Herstellern auf einer gemeinsamen, sich schnell
entwickelten Technologie-Plattform (Charging Station Network) 3. Beschleunigung der Verbreitung und des Fortschritts elektronischer Fahrzeuge
Source: http://www.teslamotors.com/blog/all-our-patent-are-belong-you
-
12
Tesla Motor, Inc. Gemischte Reaktionen auf die Ankndigung
June 12th -Open Source
Announcement
June 12, 2014 - Tesla Motors Inc. to Give Away Patents -- Good or Bad for Investors?
June 15, 2014 - Electric car groups eye collaboration over charging technology
-
13
Data Blending: Wertvolle Einblicke durch Kombination von Daten
Twitter Sentiment von diversen Kommentatoren, Wirtschaftsexperten, Marktbeobachtern, etc.
High-quality News von unterschied-lichen Organisationen und Bloggern aus der Autoindustrie
Intraday Daten ber Aktienkurse
-
14
Intraday Aktienkurse
Web Service API Call fr live Intraday Aktienkurse
Anreicherung der Daten und Laden in eine MongoDB
Relevante Felder: Date Time Bid Price Offer Price Bid Qty Offer Qty
-
15
Twitter Sentiment Daten
Live Twitter API-Suchabfrage fr Telsa Motor
Unstrukturierte Suchergebnisse werden in Struktur gebracht (Parsing)
Anreicherung der Daten mit einem Pentaho Predicitive Analytics Modell zur Ermittlung des Sentiment Score
Weitere Anreicherungen der Daten und Laden in die MongoDB
Relevante Felder:
User
Tweet text
Retweet count
Followers
Search term
Sentiment index
+1 (Positive)
0 (Neutral)
-1 (Negative)
Advanced Analytics
-
16
Market-Moving Insights
Intraday Aktiendaten, bereitgestellt durch Webservice
Realtime Twitter-Daten, bereitgestellt durch Twitter API
Pentaho Data Integration fr das Blending der Datenquellen
Pentaho Predictive Analytics zur Anreicherung der Twitter Daten um einen Sentiment Score
MongoDB als integrierter Datenhaushalt fr die Entscheidungsfindung
-
17
Einlesen der Aktiendaten
INPUT(S) PROCESS(ES) OUTPUT(S)
-
18
Einlesen der Daten ber die Twitter-API
INPUT(S) PROCESS(ES) OUTPUT(S)
-
19
Orchestrierung der Datenverarbeitung
START CHECK WATCH EXECUTE NOTIFY - FINISH
-
20
Demo
-
Better together Gute Lsungen durch die Integration von Technologien
1 Data Blending Wertvolle Erkenntnisse durch die Kombination von Daten
2 Future-ready Man kann den knftigen Anforderungen nicht mit alten Werkzeugen begegnen
3
-
it-novum GmbH Deutschland Hauptsitz Fulda: Edelzeller Strae 44 36043 Fulda Tel. +49 (0) 661 103 333 Niederlassung Berlin: Siemensdamm 50 13629 Berlin it-novum sterreich Office Park 1 / Top B02, 1300 Wien-Flughafen Tel. +43 (0) 1 227 87 139
Ihr Ansprechpartner Stefan Mller Director Business Intelligence & Big Data [email protected] +49 (0) 661 103-942
Co-Autor des in 2014 erschienenen Leitfadens
-
23
Open Source & Closed Source
Integration von Open Source mit Closed Source Langjhriger akkreditierter Partner zahlreicher Open Source-Produkte Zertifizierter SAP Business Partner Besttigte Qualittssicherung durch ISO Zertifizierung
Unternehmen
Kunden und Projekte Produkt-entwicklungen
Gegrndet in 2000 als eigenstndige Konzerntochter der brsennotierten KAP-AG IT-Beratungshaus mit technischer Spezialisierung im Business Open Source-Bereich 75 Mitarbeiter Hauptsitz in Fulda, Niederlassung in Berlin und Wien
Etablierte Produktentwicklungen Nagios-basiertes Monitoring System Software-Defined Storage System basierend auf Open Source
Kunden und Projekte 15 Jahre Business Open Source- Erfahrung ber 750 umgesetzte Projekte in groen mittelstndischen Unternehmen und Konzernen
-
24
Beratungs-Workshop &
Proof of Concept
Risikofreie Entscheidungshilfe vor Projektbeginn Beratungs-Workshop und Proof of Concept mit Praxissimulation und Prototypenerstellung:
Sicherheit und Planbarkeit Klare Projektmethodik Vernnftige Kalkulation
Business Open Source- Expertise
Wir grenzen uns von den Standardangeboten der groen Lsungsanbieter ab. Unsere Open Source Applications- und Infrastruktur-Lsungen sind nicht nur skalierbar und flexibel anpassbar. Sie fgen sich auch nahtlos in die bestehende IT-Infrastruktur ein.
Projektteams
Projektumsetzung
Fachbergreifende Projektteams Bestehend aus Entwicklern, Consultants und Wirtschafts-informatikern. So verbinden wir Business Know-how mit Technologie-exzellenz und schaffen nachhaltige Geschftsprozesse.
Nachhaltige Implementierung in Ihre Geschftsprozesse Mit unserem umfassenden Support-Angebot betreuen wir Sie auch nach Projektende weiter.
-
25
Umfassendes Open Source-Portfolio D
aten
inte
grat
ion
und
-tran
sfer
Frontend & Portale Office-Anwendungen, Browser, mobile Gerte
Infrastruktur Hadoop, NoSQL, Datenbanken, Betriebssystem, Virtualisierung, Storage,
CRM ECM ITSM Kunden spez.
Workflow & Prozessengine
Business & Big Data Analytics Dashboards, Kennzahlen, Reporting und Analyse
-
26
BI & Big Data Partnerschaften
Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnen!ThemenFoliennummer 3Foliennummer 4Dramatisches Wachstum an DatenEinordnung von Big Data in bestehende UnternehmensdatenErkenntnisse durch die Kombination von DatenFoliennummer 8Demo-BeispielTesla Motors,Inc.Tesla Motor, Inc.Betrachtung 1. Januar 2013 bis 20. Juni 2014Tesla Motor, Inc.Betrachtung Juni 2014Tesla Motor, Inc.Gemischte Reaktionen auf die AnkndigungData Blending:Wertvolle Einblicke durch Kombination von DatenIntraday AktienkurseTwitter Sentiment DatenMarket-Moving InsightsEinlesen der AktiendatenEinlesen der Daten ber die Twitter-APIOrchestrierung der DatenverarbeitungDemoFoliennummer 21Foliennummer 22Foliennummer 23Foliennummer 24Foliennummer 25Foliennummer 26