Post on 26-Sep-2020
31. August 2017
Joachim M. Buhmann
Institut für Maschinelles Lernen, ETH Zürich
Künstliche Intelligenz mit lernenden Maschinen:
Wo stehen wir mit Big Data und Digitalisierung?
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 2
Die Welt, in der wir leben!
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 3
Was ist künstliche Intelligenz?
„Intelligence is mind implemented
by any patternable kind of matter.“ Newell & Simon; Dartmouth Conference 1956
Automatisierung intelligenten
Verhaltens (Wikipedia)
Historie
Kybernetik (Wiener) 1945-1960
Künstliche Intelligenz, (McCarthy, et
al. 60s & 70s)
Neuronale Netze (1985)
Machinelles Lernen (Modern AI, 1990-
today)
Deep learning (2010-today)
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 4
Biologische Nervennetzwerke
sind adaptiv und lernfähig.
Künstliche neuronale Netze
bilden diese Lernfähigkeit nach.
Lernende Maschinen beherrschen
algorithmische Induktion
Nervenzell-Netze mit Hirnscans sichtbar gemacht. © VAN WEDEEN
DeepFace network by Facebook
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 5
The Algorithm: Idiom of
Modern Science (Bernard Chazelle)
Ein Algorithmus ist eine wohl-
definierte Rechenprozedur, die
Eingabewerte liest und
Ausgabewerte berechnet. (CLRS)
Analyse von Algorithmen
✔ Laufzeit, Speicherbedarf
✗ Robustheit, Generalisierung!
Lernende Algorithmen „erforschen“
die Komplexität der Wirklichkeit
Muḥammad ibn Mūsā al-Khwārizmī[
(c. 780 – c. 850)
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 6
Network Science & Big Data –
Herausforderung des 21. Jahrhunderts
Network Science & Big Data
NZZ am Sonntag – Wissen
(#22, 1. Juni 2014)
Autonome Systeme
Im Internet
Biologische Netzwerke
X-omics
Kommunikations-
netzwerke
Soziale Netze =>
Computational
Humanities
Finanznetzwerke
...
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 7
1. Data Science die Wissenschaft
des 21. Jahrhunderts
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 8
Big Data: Megatrend der IT
Datenvolumen und -verfügbarkeit sind rapide
angewachsen
Big Data für Big Business:
„New Economy“,
Transformation ganzer
Industriezweige
Big Data für „Big Brother“ ?
Abwägung zwischen Sicherheit und Privatsphäre
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 9
4 BIG V’s Big Data Charakteristiken
© wordpress.com
Volume – Quantitatives Mehr an
Daten
Velocity – Datengenerierung und
Nutzung in Echtzeit
Variety – Unstrukturierte Daten,
Beobachtungsdaten, Rohdaten
(aus unterschiedlichen Quellen)
Veracity – Unsicherheit in Daten
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 10
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 11
Nicht personenbezogene Daten:
CERN, Klimadaten, Prozess- und
Sensordaten, Netz-Optimierung
Hochsensitive Daten: medizinische
Daten, Genomdaten, Finanzdaten, …
“Aktivitätsdaten”: Web Aktivität,
Ortsdaten, Kauf- / Konsumverhalten,
soziale Interaktionen ...
Big Data und Privacy
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 12
Websuche: existierende Webinhalte
(das Web als Big Data Repository)
Intelligente Datenanalyse (z.B.
Ranking) bringt Nutzer und Inhalte
zusammen
Nutzungsdaten: Optimierung, z.B.
Plazierung von Werbung
Google Websuche: New Kid, Big Data
Veteran
Transformation der
Wissensgesellschaft
Nicht-mehr-weg-zu-
denken
Enabler von E-commerce
Sammlung & Verwendung
(persönlicher) Daten
Gerechte Verteilung des
Mehrwerts?
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 13
2. KI & MLretten uns vor der
Programmierkrise (!?)
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 14
Bilderkennung, Gesichtserkennung
Grosse Bilddatenmengen als
Trainingsdaten (2004: 1000 Bilder,
heute: 107 Bilder aus ImageNet)
Objektklassifikation mit einigen
10’000 visuellen Kategorien
Anwendungsszenarien:
Gesichtserkennung,
Überwachung, aber auch:
autonome Fahrzeuge
DeepMind: Solve Intelligence. Use
it to make the world a better place.
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 15
“Deep Network” Halluzinationen
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 16
Automatische Übersetzung
Statistical machine translation
mit Textbeispielen aus dem Internet,
z.B. EU/UN Dokumenten.
Daten getriebener Ansatz anstatt linguistische Analyse
mit Wörterbuch/Grammatik. “It has been said before!”
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 17
Jeopardy – IBM Watson’s
Claim to Fame:
IBM's Watson, der Computer
mit Sprachverständnis,
schlägt 2011 die besten
menschlichen Spieler in der
US TV show Jeopardy!
Watson's Erfolgsrate für Lungenkrebsdiagnose
übertrifft mit 90% deutlich die 50% Rate von Onkologen.
[Samuel Nessbaum, Wellpoint]
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 18
AlphaGo beats Lee Se-dol
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 19
Relevanz ist ein
Schlüsselproblem
Amazon: Welches Produkt ist
relevant für mich?
Facebook: Welches Posting ist
relevant für mich?
Web Marketing:
Welche Werbung könnte mich
interessieren?
Relevanzvorhersage
The stories that appear in your
News Feed are influenced by
your connections and activity on
Facebook.
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 20
Learning from large datasets of programs
(“Big Code”)
Statistical
Programming Tool
Programming
TaskSolution
probabilistic
model
~20 million repositories
Billions of lines of code
High quality, tested,
maintained programs
last 5 years
number of
repositories[Big Code]
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 21
function FZ(e, t) { var n =
[]; var r = e.length; var i =
0; for (; i < r; i += t) if (i
+ t < r)
n.push(e.substring(i, i + t));
else n.push(e.substring(i,
r)); return n;
}
function chunkData(str, step) {
var colNames = [];
var len = str.length;
var i = 0;
for (; i < len; i += step)
if (i + step < len)
colNames.push(str.substring(i, i +
step));
else
colNames.push(str.substring(i, len));
return colNames;
}
JSNice.org
Verschleiertes
ProgrammLesbares Programm
Computer lernen, Programme zu “entschleiern”
© Martin Vechev (ETH Zurich)
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 22
3. ML 4 Machine Learning
for the Life Sciences
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 23
Big Data in der Medizin
Worüber reden wir eigentlich?
Heterogene Datenquellen
Patientendatensamples
genesclasses
Diagnose-, Prognose- und Therapiedaten der Mediziner Quantified self
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 24
Big Data Management & Analyse
Datenmanagement
Speicherung, Informationssystem, Benutzerschnittstellen, cloud computing
Datenanalytik &
Maschinelles Lernen
Knowledge Discovery &
Data Mining
KH Brodersen, JMB, KE StephanT Fuchs, P Wild, H Moch, JMB
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 25
Informationstechnologie für
Personalisierte Medizin
meine Daten meine Information unser Wissen
Activation of the mTOR Signaling Pathway in Renal Clear
Cell Carcinoma. Robb et al., J Urology 177:346 (2007)
mein/unser Nutzen
Glücklicher (lebender) PatientMonate
Üb
erl
eb
en
sra
te[%
]
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 26
15
0 0
00
pixe
l
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 27
Überlebenswahrscheinlichkeit:
Wo ist die Information verborgen?
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 2828
Renal Cell Carcinoma
(Nierenkrebs)
Clear cell Renal Cell Carcinoma ist einer
der zehn häufigsten Krebsarten in
westlichen Gesellschaften.
Nierenkrebs Prognose ist schlecht.
Häufig leiden Patienten bereits an
Metastasen, wenn die erste Diagnose
erstellt wird.
Identifikation von Biomarkern für Prognose
(prognostic marker) oder Antwort auf
Therapie (predictive marker) ist von
höchster Bedeutung, um die Patienten-
prognose zu verbessern.
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 29
Gewebeproben (TMA)
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 30
Digitale Gewebeproben einer Kohorte
~700 TissueSamples
0.6 mm 0.2mm
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 31
Expertenwissen als Gold
Standard für Pathologie
TMA Estimator
Schätzung, wie stark
ein histologischer Schnitt
gefärbt ist (+- 2 Ränge).
TMA Annotator
Detektion von Zellkernen
im histologischen Schnitt
(20% Fehler).
TMA Classifier
Klassifikation einzelner
Zellkerne in bösartig, gutartig,
gefärbt und nicht gefärbt
(20% Fehler).
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 32
Lernende Algorithmen: Krebsdiagnose mit
Entscheidungsbäumen32
-
---
-
--
-
---
--
-
-
---
--
-
+
+
+
+
-
--
-
-
+
+
+
+
+
+
+
+ -
--
-
-
--
-
---
--
-
---
--
-
---
--
++
+
+
-
---
--
+
++
+
+
+
+
+
+
+
+
+--
---
-
+
+
+
+
+
+
+
+
-
--
-
--
+
+
+
+
- -
+ + + + +
- - -+
- Gutartige Stichproben
+ Bösartige Stichproben
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 33
Lernen eines Entscheidungsbaumes33
-
---
-
--
-
---
--
-
-
---
--
-
+
+
+
+
-
--
-
-
+
+
+
+
+
+
+
+ -
--
-
-
--
-
---
--
-
---
--
-
---
--
++
+
+
-
---
--
+
++
+
+
+
+
+
+
+
+
+--
---
-
+
+
+
+
+
+
+
+
-
--
-
--
+
+
+
+
1
1
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 34
Lernen eines Entscheidungsbaumes34
-
---
-
--
-
---
--
-
-
---
--
-
+
+
+
+
-
--
-
-
+
+
+
+
+
+
+
+ -
--
-
-
--
-
---
--
-
---
--
-
---
--
++
+
+
-
---
--
+
++
+
+
+
+
+
+
+
+
+--
---
-
+
+
+
+
+
+
+
+
-
--
-
--
+
+
+
+
2 3
1
3
1
2
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 35
Lernen eines Entscheidungsbaumes35
-
---
-
--
-
---
--
-
-
---
--
-
+
+
+
+
-
--
-
-
+
+
+
+
+
+
+
+ -
--
-
-
--
-
---
--
-
---
--
-
---
--
++
+
+
-
---
--
+
++
+
+
+
+
+
+
+
+
+--
---
-
+
+
+
+
+
+
+
+
-
--
-
--
+
+
+
+
A
A
3
1
2
2 3
1
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 36
Lernen eines Entscheidungsbaumes36
-
---
-
--
-
---
--
-
-
---
--
-
+
+
+
+
-
--
-
-
+
+
+
+
+
+
+
+ -
--
-
-
--
-
---
--
-
---
--
-
---
--
++
+
+
-
---
--
+
++
+
+
+
+
+
+
+
+
+--
---
-
+
+
+
+
+
+
+
+
-
--
-
--
+
+
+
+
A
B C
D E
54 6
B C D E
3
1
2
5
6
4
A
2 3
1
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 37
Lernen eines Entscheidungsbaumes37
-
---
-
--
-
---
--
-
-
---
--
-
+
+
+
+
-
--
-
-
+
+
+
+
+
+
+
+ -
--
-
-
--
-
---
--
-
---
--
-
---
--
++
+
+
-
---
--
+
++
+
+
+
+
+
+
+
+
+--
---
-
+
+
+
+
+
+
+
+
-
--
-
--
+
+
+
+
7 8
F
A
B C
D E5
4
3
1
2
54 6
B C D E
A
2 3
1
7
8
6
F
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 38
Lernen eines Entscheidungsbaumes
-
---
-
--
-
---
--
-
-
---
--
-
+
+
+
+
-
--
-
-
+
+
+
+
+
+
+
+ -
--
-
-
--
-
---
--
-
---
--
-
---
--
++
+
+
-
---
--
+
++
+
+
+
+
+
+
+
+
+--
---
-
+
+
+
+
+
+
+
+
-
--
-
--
+
+
+
+
F
A
B C
D E5
4
3
1
2
54 6
B C D E
A
2 3
1
8
6
F 7
9
7 8
HG
9
JI
10
LK
11G
H
I J
11
10
L
K
-
-
-
-
-
- -+++
++
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 39
Klassifikation mit Entscheidungsbäumen39
Neue Stichprobe =
= +
= -
Gesamt-
vorhersage:
Mehrheit über
alle Bäume
= -
Baum 2
= +
= +
= -
Baum T
= +
= -
= -
Baum 1
= +
= -
= +
Bäume
Konvergenz nach
100 Bäumen
Kla
ssifik
ationsfe
hle
r
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 40
Ho
lis
tis
ch
er
Blic
k a
uf
rech
nerg
es
tütz
te P
ath
olo
gie
Da
ten
erz
eu
gun
gB
ildanaly
se
Üb
erle
be
nssta
tistik
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 41
Neue bildgebende Verfahren
Digitalisierung von Bildarchiven
Hochdurchsatz Scanning Maschinelles Lernen
Big Data Science
Expert/Crowd Sourcing
Rechnergestützte
Pathologie
Medizinische Technologien
© Thomas Fuchs
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 42
Die wissenschaftliche Methode!
Schritt 5: Schlussfolgerung –
Theorie aufstellen
Schritt 4: Resulte analysieren
Schritt 3: Experiment
durchführen
Was fehlt noch?
Schritt 2: Hypothesen
vorschlagen
Schritt 1: Fragen stellen
Was fehlt noch?
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 43
Machine
Learning
Magic
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 44
Low-Energy Architecture Trends
Novel low-power architectures operate
near transistor threshold voltage (NTV)
e.g., Intel Claremont
1.5 mW @10 MHz (x86)
NTV promises 10x more
energy efficiency at 10x
more parallelism!
105 times more soft errors (bits flip stochastically)
Hard to correct in hardware expose to programmer?
source: Intel
@ Thorsten Höfler
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 45
Thesen mit Ausblick
1. “Big Data” in der Medizin ist heute Realität
Trotzdem: Hoher Bedarf an medizinisch annotierten Daten!
2. Herausforderungen für Informatik und Medizin
Knowledge Discovery: komplexe Regelmässigkeiten in
medizinischen Daten entdecken und nutzen
Modelle, Algorithmik und Software für Health Data Science
3. “Big Data” Technologien werden heute erfunden.
Ethik: Informative Selbstbestimmung mit gesellschaftlicher
Solidarität
Begeisterung fördert Kreativität!
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 46
Wie ändert KI unser Weltbild ?
Wir erleben durch KI gerade eine Zeitenwende wie z.B. die
Entdeckung des Feuers oder das „Sesshaft-Werden“.
Maschinen werden in 2-3 Generationen „klüger“ sein als wir!
Vertreten wir ein rein materialistisches Weltbild, werden wir
gegen die KI-Rechenmaschinen verlieren.
Theologisch Metaphysische Weltsicht
Der Mensch ist ein komplettes Wesen aus Geist und Fleisch,
Gefühlen, Bewusstsein, ... , d.h. mehr als eine Denkmaschine!
Gott schuf den Menschen ihm zum Bilde [1. Mose 1:27]
Ist der Mensch die unterlegene
Maschine ?
31. August 2017 Joachim M. Buhmann UNISYS After Work Event 2017, Bern 47
jbuhmann@inf.ethz.ch