1

„WAS IST KI, WAS KANN KI UND WIE WIRD KI IHR BUSINESS, UNSER LEBEN VERÄNDERN?“

Mittwoch, 12.06.2019 Bernhard Nessler/Institut für Maschine Learning/JKU14:00 – 15:00 Uhr Hans Baldinger – Innovationsservice/WKOÖ

WKO Webinarreihe: Künstliche IntelligenzDer Game Changer, der jedes Business verändert!

wko.at/ki

AUSBILDUNG JKU| Institut für Maschine Learning

Born 1972

Diplom-Ingenieur in Telematics (Graz University of Technology), Oct 2004

PhD in Telecommunication Engineering (Graz University of Technology), Feb 2014

BERUFLICHER WERDEGANG 2013-2015: Post-Doc in the lab of Prof. Jochen Triesch, FIAS, Frankfurt, Germany

2006-2012: Teaching and Research Associate, Graz University of Technology, Graz, Austria

2004-2006: Managing Partner, Nessler Medizintechnik GmbH, Innsbruck, Austria

1999-2000: Systems Architect, CNSystems Medizintechnik AG, Graz, Austria

1994-2004: IT-Administrator

wko.at/ki

BERNHARD NESSLER

2

wko.at/ki

FRAGEN?

Geben Sie Ihre Fragen im Fragen-Chat ein

1

2

WAS IST KI, WAS KANN KI UND WIE WIRD KI IHR BUSINESS, UNSER LEBEN VERÄNDERN?

WKO – Webinar Reihe Künstliche IntelligenzBernhard NesslerLinz, 2019-06-12

3

(ECHTE) KÜNSTLICHE INTELLIGENZ IST SCIENCE FICTION

WAS ISTKÜNSTLICHE INTELLIGENZ ? Die Fähigkeit einer Maschine intelligentes menschliches

Verhalten zu imitieren.

„Ich weiß es, wenn ich es sehe!“

Turing Test: 1 Mensch (C) bekommt 2 Gesprächspartner:

A ist eine Maschine und B ein Mensch. Wenn C Mensch und Maschine nicht mehrunterscheiden kann, dann ist A eine echte K.I.

1966: Eliza, Joseph Weizenbaum

2011: Cleverbot, Rollo Carpenter (unilateral Turing test) Cleverbot got 59,3%, humans achieved 63 %

nessler@bioinf.jku.at

4

WAS IST (K)I? Gewicht: 1400g

86 Milliarden Neuronen

19 Milliarden im Cortex

150 Billionen Synapsen

~12 Watt

~ 1 EXAFLOPS ( Mio Mio Mio)(lt. Henry Markram, HBP, ETH Zürich)

~ 38 PETAFLOPS ( 1000 Mio Mio)

(lt. Hermendra Modha, IBM, SyNAPSE)

FLOPS SUPERCOMPUTER (2016)Gehirnleistung

Intel CORE i9

5

Menschliche Intelligenz:Bauchgefühl vs. rationales Denken Unbewusste, intuitive (Entscheidungs-)Prozesse

Zumeist beschrieben als Bauchgefühl, Einbeziehung vieler (>10.000) konkreter unmittelbarer Eingaben

und Erinnerungen, Nur durch viel Erfahrung bzw. Übung erlernbar Sehr schnell

Rationale EntscheidungsprozesseBewusste Abwägung, begründbare Schlußfolgerungen

Einbeziehung weniger (<10) aber u.U. hoch abstrakter Fakten Regelbasiert, ev. sprachlich repräsentiert Langwierige Abwägung, langsam durch explizite Anweisung erlernbar

COLLABORATION PARTNERS

6

Bauchgefühl= Hochdimensionale Mustererkennung= Maschinelles Lernen

Formale ML Theorien seit ca. 1980

Vielzahl von komplexen Methoden: Deep learning hat sich in den letzten ca. 5 Jahren als universellste ML-Technik herausgestellt.

Ähnlich der Struktur des Gehirns: Sehr einfache

Grundelemente: Neuronen Sehr komplexe Funktion

aufgrund der tiefen Schichtstruktur

Relation AI / ML / DL

7

MASCHINELLES LERNEN IN MEDIZINISCHER ANWENDUNG

ML / DL FÜR SPRACHE: SCHRIFTERKENNUNG, ÜBERSETZUNG

• 1991: invented by Hochreiter

• 1997: major publication Hochreiter&Schmidhuber

• 2009: wins challenges French & Arabic handwriting

• 2011: wins offline Chinese handwriting competition

• 2012: in Google’s Android speech recognizer

• 2015: in Google’s Voice transcription

• 2016: in Apple’s iOS 10 Quicktype

• 2016: in Google’s Translate

8

DEEP LEARNING MEETSREINFORCMENT LEARNING

DQN (Nature, 2015) AlphaGo(2017)

AlphaZero (2018)

Alphastar (Jan 2019) - StarCraft II using LSTM

9

WHO KNOWS THESE CELEBRITIES?

WHAT ABOUT THOSE ONES?

10

AI IMPROVES ITSELF: GENERATIVE ADVERSERIAL NETWORKS (GAN)

nessler@bioinf.jku.at

11

CYCLE GAN

Jun-Yan Zhu*, Taesung Park*, Phillip Isola, and Alexei A. Efros. "Unpaired Image-to-ImageTranslation using Cycle-Consistent Adversarial Networks", in IEEE International Conference on Computer Vision (ICCV), 2017.

ADVERSERIAL TRAINING:NETWORKS LEARN AGAINST EACH OTHER

12

ALPHA GO ZERO

ALPHA GO ZERO

13

Machine Learning

Horse

Dog

Cat

33%

33%

33%

nessler@bioinf.jku.at

Machine Learning

Horse

Dog

Cat

33%

33%

33%

nessler@bioinf.jku.at

14

Machine Learning - Training

Horse

Dog

Cat

33%

33%

33%

nessler@bioinf.jku.at

100%

0%

0%

Targ

et v

alue

s

Error = 0.66+2*0.33 = 1,33

Machine Learning – Training Stepwith millions of images

Horse

Dog

Cat

33%

33%

33%

Teacher Feedback,Supervision

100%

0%

0%

Error = 2*0.6 = 1,3

Targ

et v

alue

s

Very small training step, iterated many times over many training images

15

Machine Learning – Training Error

Horse

Dog

Cat

90%

4%

6%

nessler@bioinf.jku.at

Error = 0.2

100%

0%

0%

Targ

et v

alue

s

Machine Learning – Testing Error Generalization

Horse

Dog

Cat

60%

27%

13%

nessler@bioinf.jku.at

Error = 0.8

16

Deep Neural Network

Horse

Dog

Cat

60%

20%

20%

x h1 h2 h3 h4 h5 y

nessler@bioinf.jku.at

DEEP NEURAL NETWORK

Horse

Dog

Cat

60%

20%

20%

x h1 h2 h3 h4 h5 y

nessler@bioinf.jku.at

17

ARTIFICIAL NEURON = BEWERTUNGSLISTE

Artificial Neural Networks – single neuron

Jedes Neuron macht eine Bewertungsliste.

Jedes Neuron hat seine eigene Idee der “Bewertungspreise” (Gewichte).

y j f (x;w) max( 0, x iw iji

)

y j xiwi oder 0

df

dwi

xi oder 0

df

dxi

wi oder 0

Lernen : w w dE

dw w

18

Deep Learning,Backpropagation

Horse

Dog

Cat

60%

20%

20%

y f h5 h4 h3 h2 h1 x;w1 ;w2 ;w3 ;w4

;w5

;w6

x h1 h2 h3 h4 h5 y

nessler@bioinf.jku.at

Deep Learning, Backpropagation

Horse

Dog

Cat

60%

20%

20%

y f h 5 h 4 h 3 h 2 h 1 x ; w 1 ; w 2 ; w 3 ; w 4

; w 5

; w 6

x h1 h2 h3 h4 h5 y

nessler@bioinf.jku.at

19

Deep Learning, vanishing gradient

Function f has a nested structure

Gradients multiply according to thechain-rule

Gradient signal gets lost in the noise-> Vanishing gradient

First identified 1991 byProf. Sepp Hochreiter, JKU Linz

y f h5 h4 h3 h2 h1 x;w1 ;w 2 ;w 3 ;w 4

;w 5

;w 6

w 6 w 6 dE

dw 6

w 5 w 5 dE

dh 5

dh 5

dw 5

w 4 w 4 dE

dh 5

dh 5

dh 4

dh 4

dw 4

w 3 w 3 dE

dh 5

dh 5

dh 4

dh 4

dh 3

dh 3

dw 3

w 2 w 2 dE

dh 5

dh 5

dh 4

dh 4

dh 3

dh 3

dh 2

dh 2

dw 2

w1 w1 dE

dh 5

dh 5

dh 4

dh 4

dh 3

dh 3

dh 2

dh 2

dh1

dh1

dw1nessler@bioinf.jku.at

A closer look

Horse

Dog

Cat

60%

20%

20%

x h1 h2 h3 h4 h5 y

nessler@bioinf.jku.at

20

Deep Neural Network

Horse

Dog

Cat

60%

20%

20%

x h1 h2 h3 h4 h5 y

nessler@bioinf.jku.at

Deep Neural Network

Horse

Dog

Cat

60%

20%

20%

x h1 h2 h3 h4 h5 y

nessler@bioinf.jku.at

21

Deep Learning, vanishing gradient

Currently applied methods Gating:

try to make most intermediate gradient values close to 0 or 1. Long Short Term Memory (LSTM), (Hochreiter, Schmidhuber, 1997) Residual networks

Normalization: distorts gradient, increases noise Clever initialization helps

New solution: Find clever functions and structures where the

problem solves itself by intrinsic regulation. Klambauer, Günter, et al. "Self-Normalizing Neural Networks."

arXiv preprint arXiv:1706.02515 (2017).

nessler@bioinf.jku.at

INTRIGUING PROPERTIES OF NEURAL NETWORKS

Netzwerk trainiert zur Kategorisierung von Bildern in ca. 1000 Kategorien (Schulbus, Pyramide, Tiger, Kirschen, Dalmatiener ...)

Ca. 1,2 Mio Bilder zum Training

Ca. 40.000 Dimensionen

Mehrere Millionen Gewichtswerte

Szegedy, Christian, et al. "Intriguing propertiesof neural networks.“ arXiv preprintarXiv:1312.6199 (2013).

22

INTRIGUING PROPERTIES OF NEURAL NETWORKS

Netzwerk lernt eine sehr gute Intuition

Keine Begründungen

Kann bewust getäuscht werden

DL Intuition ist sehr verschieden von menschlicher Intuition

Kein Weltverständnis, keine umfassende Verknüpfung von vielen Problemdomänen, kein funktionales, rationales Verständnis.

SUMMARY AI, DEEP LEARNING

Maschinelles Lernen ist der Motor der aktuellen Revolution in AI

Deep Learning ist die Technik Erfunden (LSTM) von Sepp Hochreiter, JKU Linz, 1991

Deep Learning (mit Gradientenabstieg) heißt anpassen der Millionen von Gewichtswerten in vielen, vielen kleinen Schritten

Möglichkeiten Funktionen zu lernen sind prinzipiell unbegrenzt

Ziele müssen anhand von Daten oder Modellen vorgegeben werden.

Funktionale Ziele sind möglich, Simulationsumgebung notwendig

Maschinelles Lernen ist kein künstliches Leben

Wo technische Probleme mit traditionaller Programmierung perfekt gelöst werden können, sind diese Lösungen vorzuziehen. Wo diese Ansätze versagen, ist DL die Lösung.

23

wko.at/ki

FRAGEN?

Geben Sie Ihre Fragen im Fragen-Chat ein

1

2

wko.at/ki

WIE GEHT ES WEITER

DIE NÄCHSTEN WEBINARTERMINE ZUR REIHE KÜNSTLICHE INTELLIGENZ:

Datum Titel Experten Uhrzeit

26.06.2019 Angewandte KI – Warum hat Europa, warum hat Österreich eine große Chance im Bereich KI?

Dietmar Millinger & Clemens Wasner, Gründer AI Austria

14:00 – 15:00 Uhr

10.07.2019 Automatisierter Kundenservice – wir spannen den Bogen zwischen Visionen und Realität

Dieter Perndl, ubitec & Gerhard Grabner, Bundesrechenzentrum

14:00 – 15:00 Uhr

21.08.2019 Angewandte KI - Firmenanwendung N.N. 14:00 – 15:00 Uhr

24

wko.at/ki

VERANSTALTUNGSTIPPS

WEITERE VERANSTALTUNGSTERMINE, DIE FÜR SIE INTERESSANT SEIN KÖNNTEN:

Datum Bundesland Titel Details Koop-Partner

13.06.2019 NÖ Denk Digital! KONGRESS. Fokus KI Infos und Anmeldung

13.06.2019 Salzburg MIT Workshop „Myths and Opportunitiesin AI“

Infos und Anmeldung

17.06.2019 Vorarlberg Exporttag-Workshop „Künstliche Intelligenz in Unternehmen: Hype oder echte Chance? Erfolgsbeispiele aus aller Welt“

Infos und Anmeldung

20.09.2019 Kärnten Trend – IT, IT-Kongress für UnternehmerInnen

Infos und Anmeldung

27./28.09.2019

OÖ JW Summit 2019: Trau di – Spür die Unternehmenslust!

Infos und Anmeldung

wko.at/ki

VERANSTALTUNGSTIPPS

WEITERE VERANSTALTUNGSTERMINE, DIE FÜR SIE INTERESSANT SEIN KÖNNTEN:

Datum Bundesland Titel Details Koop-Partner

10.10.2019 Salzburg 15. Brennpunkt eTourism: Die Zukunft der Digitalisierung im Tourismus

Infos und Tickets

30.10.2019 OÖ Innovations.DIALOG: KI - Der Game Changer, der jedes Business verändert! Mit KI-Guru Jürgen Schmidhuber und KI-Skeptikerin Sarah Spiekermann

Infos und Anmeldung

25

wko.at/ki

KONTAKT/INFO

Fragen? - Wir freuen uns über Ihre Kontaktaufnahme!

Hans BaldingerT 05-90909–3542E sc.innovation@wkooe.atW wko.at/ki

Danke, dass Sie dabei sind!