Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6...

25
FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert Extraktion und Visualisierung von multidimensionalen Textinformationen zur Integration von Big Data in unternehmensspezifischen Wissenslandkarten Prof. Dr. Alexander Holland FOM Hochschulzentrum Dortmund, Fachbereich Wirtschaftsinformatik Johannes Zenkert Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Data Science Forum FOM Hochschulzentrum 06.12.2016, Essen

Transcript of Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6...

Page 1: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

Extraktion und Visualisierung von multidimensionalen Textinformationen zur Integration von Big Data in

unternehmensspezifischen Wissenslandkarten

Prof. Dr. Alexander Holland

FOM Hochschulzentrum Dortmund, Fachbereich Wirtschaftsinformatik

Johannes Zenkert

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement

Data Science Forum

FOM Hochschulzentrum

06.12.2016, Essen

Page 2: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 2

1. Die Rolle von Big Data und unstrukturierten Daten für Unternehmen

2. Eine typische Big Data Architektur (am Beispiel von SoMaBiT)

3. Informationsextraktion aus unstrukturierten Dateninhalten

4. Die Wissenslandkarte als Visualisierungsinstrument

Inhalt

Page 3: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

Die Rolle von Big Data und unstrukturierten Daten für Unternehmen

06.12.2016 Data Science Forum - Essen 3

Big Data

Marktanalyse

Prozesse

Kunden

Research & Development

Sentiment Analysis

Qualitäts-management

Produkt-management

Einflüsse von Big Data auf verschiedene Unternehmensbereiche

unstrukturierte Daten in unterschiedlichsten Formaten: Texte, Dokumente, Notizen, Bilder, Videos, Audios DiSoLoMo-Trend

Page 4: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

Die Rolle von Big Data und unstrukturierten Daten für Unternehmen

06.12.2016 Data Science Forum - Essen 4

Einflüsse von Big Data auf verschiedene Unternehmensbereiche

Warum sollten Unternehmen unstrukturierte Daten nutzen und warum lohnt sich der Einsatz von Big Data Technologien? Cloud als agile Datenplattform Data-Driven Enterprise Sensorik, Machine-to-Machine Kommunikation, IoT Wachsende Anzahl von Diensten Visualisierung, Analytics und Künstliche Intelligenz (Lernen)

Page 5: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

Unstrukturierten Daten für Unternehmen aus der Produktion

06.12.2016 Data Science Forum - Essen 5

Wissensgenerierung aus unstrukturierten Produktnutzungsinformationen

Kontextbasierte Wissensgenerierung aus unstrukturierten Instandhaltungs-, Service- und Kundeninformationen

Page 6: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

Unstrukturierten Daten im Forschungsbereich Wissensbasierte Systeme

06.12.2016 Data Science Forum - Essen 6

Wissensgenerierung im Kontext durch Cluster

Kontextbasierte Wissensgenerierung aus unstrukturierten Instandhaltungs-, Service- und Kundeninformationen WBS Forschungsfragen: - Open Source AI Tools integrieren - Lernalgorithmen (Graphstrukturen)

5W1H Modell <Who, Where, When, What, How, Why> [S. Jang, E.-J. Koo, W. Woo: Unified User-Centric Context, 2005]

Page 7: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

Unstrukturierten Daten für Unternehmen (Task, Prozess, Projekt, …)

06.12.2016 Data Science Forum - Essen 7

Wissensgenerierung aus unterschiedlichen Formen der Wissensvisualisierung

Repräsentation durch Strukturierung: Hierarchien, Relationen, logische Zusammenhänge Semantic Web, Artificial Intelligence Mapping (AIM)

https://app.imindq.com/

Page 8: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 8

1. Die Rolle von Big Data und unstrukturierten Daten für Unternehmen

2. Eine typische Big Data Architektur (am Beispiel von SoMaBiT)

3. Informationsextraktion aus unstrukturierten Dateninhalten

4. Die Wissenslandkarte als Visualisierungsinstrument

Inhalt

Page 9: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 9

Eine typische Big Data Architektur (am Beispiel von SoMaBiT)

The functional architecture of the SoMABiT system

Architekturüberblick

M. Bohlouli, J. Dalter, M. Dornhöfer, J. Zenkert, M. Fathi. Knowledge discovery from social media using big data-provided sentiment analysis (SoMABiT), Journal of Information Science, 2015, Vol. 41(6) 779–798

Social Media Analysis using Big Data Technology

Page 10: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 10

Eine typische Big Data Architektur (am Beispiel von SoMaBiT)

The high-level overview of the SoMABiT

Architekturüberblick

M. Bohlouli, J. Dalter, M. Dornhöfer, J. Zenkert, M. Fathi. Knowledge discovery from social media using big data-provided sentiment analysis (SoMABiT), Journal of Information Science, 2015, Vol. 41(6) 779–798

Page 11: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 11

Eine typische Big Data Architektur (am Beispiel von SoMaBiT)

The technical configuration of the SoMABiT virtual infrastructure using Cloudera Enterprise

Infrastruktur

M. Bohlouli, J. Dalter, M. Dornhöfer, J. Zenkert, M. Fathi. Knowledge discovery from social media using big data-provided sentiment analysis (SoMABiT), Journal of Information Science, 2015, Vol. 41(6) 779–798

Page 12: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 12

Eine typische Big Data Architektur (am Beispiel von SoMaBiT)

Product information collection – Scheme of result interface

Interface

M. Bohlouli, J. Dalter, M. Dornhöfer, J. Zenkert, M. Fathi. Knowledge discovery from social media using big data-provided sentiment analysis (SoMABiT), Journal of Information Science, 2015, Vol. 41(6) 779–798

Page 13: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 13

1. Die Rolle von Big Data und unstrukturierten Daten für Unternehmen

2. Eine typische Big Data Architektur (am Beispiel von SoMaBiT)

3. Informationsextraktion aus unstrukturierten Dateninhalten

4. Die Wissenslandkarte als Visualisierungsinstrument

Inhalt

Page 14: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 14

Informationsextraktion aus unstrukturierten Dateninhalten

A 5 Step Process for text mining, © ontotext.com

Adaption von existierenden Text Mining Frameworks und Methoden

Page 15: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 15

Informationsextraktion aus unstrukturierten Dateninhalten

MongoDB - Beispieldokument

Aufbau eines Text-korpus aus verschiedenen Wissensquellen

Einsatz von R Skripten zum Aufbau eines Text-korpus Pakete: u.a. rvest, rmongodb

Page 16: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 16

Extraktionsprozess

J. Zenkert and M. Fathi. Multidimensional Knowledge Representation of Text Analytics Results in Knowledge Bases, 2016 IEEE International Conference on Electro/Information Technology (EIT), North Dakota, USA, 2016

Kombination verschiedener Text Mining Methoden zur dimensionalen Extraktion von relevantem Wissen

Page 17: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 17

Extraktionsprozess Ein Blick auf eingesetzte Verfahren

Akbik, Alan, and Jügen Broß. "Wanderlust: Extracting semantic relations from natural language text using dependency grammar patterns." WWW Workshop. 2009.

Extraktion von semantischen

Relationen

Part of Speech Resultate eines Beispielsatzes

Page 18: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 18

Extraktionsprozess Beispielsszenario

J. Zenkert and M. Fathi. Multidimensional Knowledge Representation of Text Analytics Results in Knowledge Bases, 2016 IEEE International Conference on Electro/Information Technology (EIT), North Dakota, USA, 2016

Page 19: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 19

Extraktionsprozess Aktualisierung der Wissensbasis

J. Zenkert and M. Fathi. Multidimensional Knowledge Representation of Text Analytics Results in Knowledge Bases, 2016 IEEE International Conference on Electro/Information Technology (EIT), North Dakota, USA, 2016

Page 20: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 20

1. Die Rolle von Big Data und unstrukturierten Daten für Unternehmen

2. Eine typische Big Data Architektur (am Beispiel von SoMaBiT)

3. Informationsextraktion aus unstrukturierten Dateninhalten

4. Die Wissenslandkarte als Visualisierungsinstrument

Inhalt

Page 21: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 21

Page 22: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 22

J. Zenkert, A. Holland and M. Fathi. Discovering Contextual Knowledge with Associated Information in Dimensional Structured Knowledge Bases, 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Budapest, 2016 (in press)

Conceptual overview of the dynamic knowledge map. Different entities (e.g. persons, places) are arranged by distances derived from CIMAWA word association strength.

Page 23: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 23

Page 24: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 24

Page 25: Extraktion und Visualisierung von multidimensionalen ... · 06.12.2016 Data Science Forum - Essen 6 Wissensgenerierung im Kontext durch Cluster Kontextbasierte Wissensgenerierung

FOM Hochschulstudienzentrum Dortmund, Wirtschaftsinformatik Prof. Dr. Alexander Holland

Universität Siegen, Institut für Wissensbasierte Systeme und Wissensmanagement Johannes Zenkert

06.12.2016 Data Science Forum - Essen 25

Vielen Dank für die Aufmerksamkeit

Johannes Zenkert

[email protected]

Universität Siegen

Institut für Wissensbasierte Systeme und Wissensmanagement

Prof. Dr. Alexander Holland

[email protected]

FOM Hochschulstudienzentrum Dortmund

Wirtschaftsinformatik