Natural Stupidity vs. Artificial Intelligence Wie KI und ... · We are on the edge of change...

Private and Confidential

Fritz-Ulli Pieper, LL.M.

Rechtsanwalt und Fachanwalt für Informationstechnologierecht

Taylor Wessing, Düsseldorf

Natural Stupidity vs. Artificial Intelligence

Wie KI und Datenschutzrecht zusammenspielen

BvD-Verbandstage, 6. Juni 2019, Berlin

English (United Kingdom)

2

www.xing.com/profile/Fritz_Pieper3

www.linkedin.com/in/fupieper

@fupieper

Social Media

Fritz-Ulli Pieper, LL.M. (Medienrecht und Medienwirtschaft

Rechtsanwalt, Fachanwalt für Informationstechnologierecht

http://www.xing.com/profile/Fritz_Pieper3

http://www.linkedin.com/in/fupieper


3

Inhalt

Rechtsanwalt Fritz-Ulli Pieper

1 Einleitung 4

2 Grundlegendes zu KI 8

3 KI und Datenschutzrecht 12

4 Zusammenfassung 22

1 Einleitung


5

„Das Entstehen einer technischen Superintelligenz ist vermutlich die wichtigste und

zugleich einschüchterndste Herausforderung, der sich die Menschheit jemals stellen

musste.“ — Nick Bostrom, Philosoph, Oxford University

We are on the edge of change comparable to the rise of human life on Earth. — Vernor Vinge,

amerikanischer Mathematiker, Informatiker und Science-Fiction-Autor

Einleitung



6

Grundannahmen

Geräte (inter)agieren zunehmend „autonom“, Geräte werden zunehmend

„intelligent“

Steuerungssoftware ist auf immer weniger Benutzereingriffe angewiesen

und komplexe(re) Abläufe werden „selbst“ gesteuert

„Eigene“ Entscheidungen & „eigene“ rechtserhebliche Handlungen

1996: Kasparow verliert gegen „Deep Blue“

2011: „Watson“ gewinnt in „Jeopardy!“

März 2016: „AlphaGo“ besiegt Lee Sedol

März 2016: Google-Auto rammt Bus („Softwarefehler“)

September 2016: Nvidia Selfdriving Car mit autark selbstlernendem Algorithmus

Juli 2017: Künstliche Intelligenz entwickelt Geheimsprache – Facebook zieht den

Stecker

Verfügbarkeit fortschrittlicher Computer und schneller und großer

Massenspeicher + Big Data

Einleitung



7

Herausforderungen für das Recht

Technik entwickelt sich rasant fort

Akzeptanzprobleme, technische Komplexität, rechtliche

Unsicherheit

Recht muss faktenbasiert arbeiten

Recht muss also Algorithmen und Künstliche Intelligenz

„verstehen“, um schlüssige und nachvollziehbare Wertungen

ableiten zu können

Zusammenspiel von Technik und Rechtsanwendung

Problem: Was ist überhaupt „Künstliche Intelligenz“

Wie funktionieren Algorithmen?

Was ist mit selbstlernenden algorithmen, „starker KI“?

Einleitung


2 Grundlegendes zu KI


9

Zeitlicher Abriss

1970er-Jahre: Mikrochiptechnologie, „Computerisierung“

2007: 94 % der weltweiten technologischen Informationskapazität

digital (1986: 0,8 %)

2008: 76 % der Haushalte und 84 % der Unternehmen nutzen

Computertechnik

2013: 100 % der der 14- bis 19-jährigen Deutschen nutzen das

Internet (97,5 % der 20- bis 29-jährigen)

2014: Internetnutzung Europa: 73,5 %, Nordamerika: 87,9 %

2014: Industrie 4.0

201X: Autonome Systeme → Künstliche Intelligenz

2 Einleitung – Digitalisierung



10


Was ist überhaupt KI - Technischer Hintergrund

KI ist ein Teilgebiet der Informatik – keine einheitliche Definition des

Terminus „Künstlicher Intelligenz“

Autos (gr.) = „selbst“, nomos (gr.) = „Regel“ oder „Gesetz“

10 Autonomiegrade

reine menschliche Autonomie, keine Unterstützung durch Rechner

verschiedene Entscheidungsvarianten allein aus der Computersphäre,

mit Benachrichtigungs-, Zustimmungs- und Vetorechten des Menschen

vollständig autonome, ohne jede Beteiligung des Menschen

durchgeführte Entscheidungsfindung und Ausführung einer Aktion

Intelligenz: reaktiv, proaktiv, interaktionsfähig, lernfähig

Autonomie = Grad der Eigenständigkeit einer Entscheidung, Intelligenz =

Qualität der möglichen Lösungsalternativen


11


Was ist überhaupt KI - Technischer Hintergrund

Unterscheidung zwischen „schwacher KI“ und „starker KI“

• Die Behauptung, dass Maschinen agieren könnten, als ob sie intelligent

wären, nennt man die schwache KI-Hypothese (auch „Artificial Narrow

Intelligence“ (ANI) genannt), und die Behauptung, dass Maschinen, die das

tun, wirklich denken (und nicht einfach Denken simulieren) die starke KI-

Hypothese (auch „Artificial General Intelligence“ (AGI) genannt).

Eine (starke) KI kann gegebenenfalls ihr Verhalten verändern,

möglicherweise auch über die ursprünglich von Auftraggebern,

Entwicklern und Nutzern intendierte Funktionalität hinaus.

• Maschinelles Lernen

• Artificial Neural Networks (ANN)

• Deep Learning („Black Box“-Argument“)

3 KI und Datenschutzrecht


13

3.1 KI und Datenschutzrecht – Allgemeines


Regulatorischer Rahmen bei KI?

Rasante Entwicklungen im Bereich der KI hat auch die

Auseinandersetzung mit den dazugehörigen rechtlichen Fragestellungen

befördert

Nutzung von KI-Systemen beinhaltet häufig Verarbeitung von

personenbezogenen Daten

Chatbots im Kunden-Support

Einstellungsentscheidung im Bewerbungsprozess

Robo Advisor (Bankkunde und Investitionsentscheidung)

Zusammenspiel von Big Data und KI


14

3.1 KI und Datenschutzrecht – Allgemeines


Regulatorischer Rahmen bei KI?

Weder in der deutschen noch der europäischen Datenschutzgesetzgebung finden

sich Vorschriften, die direkt auf KI Bezug nehmen oder spezifisch KI-

Anwendungsfälle regeln

Erwägungsgrund 15 DSGVO: Grundsatz der Technologieneutralität

„Um ein ernsthaftes Risiko einer Umgehung der Vorschriften zu vermeiden, sollte

der Schutz natürlicher Personen technologieneutral sein und nicht von den

verwendeten Techniken abhängen.“

Derzeit: politische Positionspapiere und Expertenkommissionen

Europäisches Parlament hat bereits 2015 einen „Bericht mit Empfehlungen an

die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik“ vorgelegt

High Level Expert Group der EU Kommission

Bundesregierung hat eine Strategie Künstliche Intelligenz“ verabschiedet

„Datenethikkommission“

Bundestag: Enquete-Kommission „Künstliche Intelligenz“


15

3.2 KI und Datenschutzrecht – DSGVO und KI


Allgemeines

DSGVO beinhaltet schon jetzt eine Vielzahl an Vorschriften, die beim Einsatz von

KI unter Verwendung von personenbezogenen Daten unter Berücksichtigung der

technischen Besonderheiten einschlägig sein können

Technikneutralität!

Erlaubnistatbestände

Verarbeitungsgrundsätze

Betroffenenrechte

Automatisierte Einzelentscheidung im Einzelfall einschließlich Profiling, Scoring

Datenschutzfolgeabschätzung

Bestellung eines Datenschutzbeauftragten

Privacy by design, insbesondere bei KI-Softwareentwicklung

Privilegien für die Forschung


16



Erlaubnistatbestände

Einwilligung

„bestimmt und informiert“

Betroffener muss sich ein Bild von den für ihn bestehenden Chancen und

Risiken machen können

Betroffener muss sich ein zutreffendes Bild der beabsichtigten

Datenverarbeitung machen können, wobei es auf das Verständnis des

Adressatenkreises des Einwilligungsersuchens ankommt

Kunden, Verbrauchern oder Arbeitnehmern

Interessenabwägung (Güterabwägung)

Eingriffsintensität; Art und Weise, in der Informationen verarbeitet werden;

Schweregrad potentieller Gefahrenquellen für den Betroffenen

Machine Learning = potentiell undurchsichtige Mechanismen im Einsatz, ggf.

unvorhergesehene Ergebnisse („Black Box“)

(Zweckfremde Weiterverarbeitung, Vereinbarkeitsprüfung)


17



Betroffenenrechte

Informationen

Verantwortliche muss einem Betroffenen Informationen in „präziser,

transparenter, verständlicher und leicht zugänglicher Form in einer

klaren und einfachen Sprache“ zur Verfügung stellen

KI-Systeme haben per se eine gewisse Komplexität inne

Wie konkret muss die Information sein? Wie ausführlich muss sie sein, damit

ein Laie sie versteht? Welches Vorwissen darf erwartet werden? Wie wirkt

sich all dies auf den Einsatz von KI-Systemen aus, die generell erhöhte

Anforderungen an den Grad der Detailliertheit und Verständlichkeit stellt?

„zum Zeitpunkt der Erhebung“?

wenn bestimmte Verarbeitungsvorgänge aufgrund des Einsatzes

autonomer und selbstlernender Systeme bei der Information noch gar

nicht absehbar oder konkret zu beschreiben sind


18




Automatisierte Einzelentscheidungen

Erwägungsgrund 71 nennt beispielhaft die Ablehnung eines „Online-Kreditantrags oder

Online-Einstellungsverfahren ohne jegliches menschliche Eingreifen“

In der Tat dürfte KI insbesondere geeignet sein, auf Basis flexibler Datenbestände und

eigener Deep Learning-Erfahrungen, bestimmte Entscheidungen autark herbeizuführen

Verantwortlicher muss „angemessene Maßnahmen“ zum Betroffenenschutz ergreifen.

Insbesondere muss der Betroffene „spezifisch unterrichtet“ werden und eine

Entscheidung „erläutert“ werden können.

In Bezug auf etwaiges Profiling muss der Verantwortliche „geeignete mathematische

oder statistische Verfahren“ verwenden und Maßnahmen einsetzen, die

Korrekturmaßnahmen und Fehlerminimierung vorsehen

KI-Entscheidungen sind aber im Regelfall wenig bis gar nicht nachvollziehbar.

Ende 2018 kam beispielsweise heraus, dass eine KI-basierte Bewerbungssoftware von

Amazon systematisch Frauen diskriminierte.


19




Automatisierte Einzelentscheidungen & Betroffenenrechte

Verantwortlichen treffen Informationspflichten und der Betroffene hat Auskunftsrechte

über „aussagekräftige Informationen über die involvierte Logik sowie die Tragweite

und die angestrebten Auswirkungen einer derartigen Verarbeitung“

Unterschiedliche Ansichten, wie weit dies zu verstehen ist

von der Mitteilung des „Prinzips hinter der Entscheidung“ bis hin zur

„Offenlegung des Algorithmus“.

Diese Problematik verstärkt sich beim Einsatz von KI

Häufig wird argumentiert, KI-Systeme können auf der Basis maschinellen Lernens

ihr Verhalten verändern, möglicherweise auch über die ursprünglich von

Auftraggebern, Entwicklern und Nutzern intendierte Funktionalität hinaus.

Eher „starre“ Formulierungen in diesem Bereich „KI-spezifisch“ auszulegen?

Entscheidung des BGH zur Auskunft über die SCHUFA-Scoreformel?


20



Datenschutzfolgeabschätzung

Immer bei der Verarbeitung personenbezogener Daten unter Einsatz von KI-

Systemen?

„Insbesondere bei Verwendung neuer Technologien“ (da hierbei regelmäßig

ein hohes Risiko für die Betroffenen vorliegt)

Einschränkung möglich(?): Wann ist Verarbeitung mit KI-System besonders

risikobehaftet?

Deep Learning-Ansätze

„neuer als KI geht nicht“

Katalog mit Tätigkeiten gemäß Art. 35 Abs. 4 DS-GVO der

Datenschutzkonferenz nennt beispielsweise den „Einsatz von

künstlicher Intelligenz zur Verarbeitung personenbezogener Daten

zur Steuerung der Interaktion mit den Betroffenen oder zur

Bewertung persönlicher Aspekte der betroffenen Person“.


21



Bestellung eines Datenschutzbeauftragten

DSB, wenn Verarbeitung aufgrund ihrer Art, ihres Umfangs oder ihrer Zwecke

eine umfangreiche regelmäßige und systematische Überwachung von betroffenen

Personen erforderlich macht

Erwägungsgrund 89: insbesondere solche Verarbeitungsvorgänge, bei denen

neue Technologien eingesetzt werden oder die neuartig sind und bei denen

der Verantwortliche noch keine Datenschutz-Folgenabschätzung durchgeführt

hat

ARTIKEL-29-DATENSCHUTZGRUPPE, Leitlinien in Bezug auf

Datenschutzbeauftragte: Hierunter fällt beispielhaft auch die Typisierung und

Scoring (mittels KI) zu Zwecken der Risikobewertung, Formen der

Verfolgung und Profilerstellung im Internet (auf Basis von KI) oder der

Einsatz vernetzter KI-Geräte wie intelligente Stromzähler oder intelligente

Autos

4 Zusammenfassung


23

Es wird intelligente, autonome Systeme geben, die mit „Starker KI“

ausgestattet sind

Treffen eigenverantwortliche Entscheidungen, die „außerhalb“ der

eigenen Programmierung stattfinden

Verständnis der Funktionalität der Technik von ausschlaggebender

Bedeutung für rechtliche Bewertung

DSGVO beinhaltet schon jetzt eine Vielzahl an Vorschriften, die

beim Einsatz von KI unter Verwendung von personenbezogenen

Daten unter Berücksichtigung der technischen Besonderheiten

einschlägig sein können

Zusammenfassung



24

Sind Fragen offen? Was ist Ihre Meinung?



25

Fritz-Ulli Pieper ist Rechtsanwalt und Mitglied der Practice Area Technologie, Medien und Telekommunikation

bei Taylor Wessing in Düsseldorf. Er berät nationale und internationale Mandanten in allen operativen

Belangen zum IT-, Telekommunikations- und Datenschutzrecht. Seine Beratungsschwerpunkte umfassen vor

allem die Gestaltung von IT-Verträgen, Datenschutz, E-Commerce und die IT-rechtliche Begleitung von M&A-

Transaktionen. Ein weiterer Schwerpunkt liegt auf der IT-rechtlichen Beratung von internationalen Rollout-

Projekten. Sein besonderes Interesse gilt zukunftsträchtigen Fragen des IT- und Internetrechts, insbesondere

dem Internet of Things, Industrie 4.0 sowie Künstlicher Intelligenz.

Er studierte Rechtswissenschaften an der Georg-August-Universität Göttingen mit Schwerpunkt im privaten

und öffentlichen Medienrecht. Sein Referendariat absolvierte er beim Oberlandesgericht Celle mit Stationen

u.a. bei der Niedersächsischen Landesmedienanstalt in Hannover sowie dem Bundesministerium für

Wirtschaft und Technologie in Berlin (Grundsatzreferat Informationsgesellschaft, IT-Wirtschaft) und er war

wissenschaftlicher Mitarbeiter am Institut für Rechtsinformatik (IRI) der Leibniz Universität Hannover.

Fritz-Ulli Pieper hat den Masterstudiengang "Medienrecht und Medienwirtschaft" der TH Köln 2016 als

Jahrgangsbester abgeschlossen. Er ist leitender Redakteur des Juraportals „Telemedicus – Recht der

Informationsgesellschaft“ und Gründer des „Startup Grind Köln“. Seit 2018 ist er zudem Fachanwalt für

Informationstechnologierecht.

Sprachen

Deutsch, Englisch

Ihr Ansprechpartner

Fritz-Ulli Pieper, LL.M

+49 211 8387-189

[email protected]

Beratungsschwerpunkte

Informationstechnologie/

Telekommunikation

Datenschutz & Datensicherheit

Litigation & Dispute Resolution

Senior Associate

Düsseldorf


26

© Taylor Wessing 2018

This publication is intended for general guidance and to highlight issues. It is not intended to apply to specific circumstances or to constitute legal advice. Taylor Wessing’s International offices operate as one firm but are established as distinct legal entities. For further

information about our offices and the regulatory regimes that apply to them, please refer to www.taylorwessing.com/regulatory.html

taylorwessing.comEurope > Middle East > Asia

Natural Stupidity vs. Artificial Intelligence Wie KI und ... · We are on the edge of change...

Documents

Transcript of Natural Stupidity vs. Artificial Intelligence Wie KI und ... · We are on the edge of change...