Wenn Algorithmen entscheiden…

Hannover, 23.3.2018

CC BY-SA 3.0 DE

Prof. Dr. Mario Martini FÖV/Uni Speyer

29.03.2018 2

https://fsmedia.imgix.net/0c/d1/87/b2/7e6e/4d8a/998a/e99bf8144ba7/using-crispr-to-create-designer-babies-is-even-

more-controversial-now-that-genome-editing-in-human-e.jpeg https://c

dn.h

ob

byco

nsola

s.c

om

/sites/n

avi.a

xels

prin

ger.

es/p

ublic

/media

/im

ag

e/2

01

4/0

5/3

20

85

2-c

ine

-

cie

ncia

-fic

cio

n-c

ritica

-gattaca.jpg

A. Algorithmen

als DNA

3 CC BY-SA 3.0 DE 29.03.2018

https://static.interestingengineering.com/images/upl

oads/sizes/AI-diagnosis-1_resize_xs.jpg https://media.licdn.com/mpr/mpr/AAEAAQAAAAAAAAmWAAAAJGVlNmM1MmYyLTY4MmUtNDU1Yi04MWRhLWE0YmU5YTljZDBlZg.png

A. Algorithmen

als DNA

4 CC BY-SA 3.0 DE 29.03.2018

A. Algorithmen

als DNA

Privater Einsatz

Staatlicher Einsatz

© jinga80/thinkstock www.scinexx.de/wissen-aktuell-bild-22312-2018-01-18-35384.htmll

5 CC BY-SA 3.0 DE 29.03.2018

www.wiwo.de/finanzen/steuern-recht/steuererklaerung-so-vermeiden-sie-laestige-nachfragen/13442222.html

§ 155 IV 1 AO Die Finanzbehörden können Steuerfestsetzungen (…) ausschließlich automationsgestützt vornehmen (…).

A. Algorithmen

als DNA

Private Nutzung

Staatlicher Einsatz

6 CC BY-SA 3.0 DE 29.03.2018

B. Risiken

Intransparenz

A. Algorithmen

als DNA

www.wiwo.de/finanzen/steuern-recht/steuererklaerung-so-vermeiden-sie-laestige-nachfragen/13442222.html

7 CC BY-SA 3.0 DE 29.03.2018

https://www.datenschutz-praxis.de/fachartikel/datenschutz-maschinelles-lernen/

B. Risiken

Intransparenz

A. Algorithmen

als DNA

8 CC BY-SA 3.0 DE 29.03.2018

Diskrimi-nierung

Intransparenz

B. Risiken

A. Algorithmen

als DNA

www.netzwerk-gegen-diskriminierung-hessen.de

9 CC BY-SA 3.0 DE 29.03.2018

Diskrimi-nierung

Intransparenz

B. Risiken

Foto: DPA

A. Algorithmen

als DNA

https://www.runwaylive.com

10 CC BY-SA 3.0 DE 29.03.2018

Diskrimi-nierung

Intransparenz

B. Risiken

A. Algorithmen

als DNA

https://www.runwaylive.com

© The Ligthtwriter/Getty images/Istock

11 CC BY-SA 3.0 DE 29.03.2018

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

I. Präventiv

II. Begleitend

III. Nachträglich

https://www.shutterstock.com/de/image-photo/find-way-43806565?src=ide

12 CC BY-SA 3.0 DE 29.03.2018

Art. 22 I DSGVO Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung [...] beruhenden Entscheidung unterworfen zu werden […].

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

I. Präventiv

http://footage.framepool.com/shotimg/604281218-datenstrom-netzwerk-hightech-computer.jpg

Automatisierte Entscheidungen

13 CC BY-SA 3.0 DE 29.03.2018

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

I. Präventiv

Automatisierte Entscheidungen

https://blog.hubspot.com/marketing/lead-scoring-instructions

14 CC BY-SA 3.0 DE 29.03.2018

https://https://www.jugendhilfeportal.de/fileadmin/_processed_/csm_Infopoint_f_arthurdent_6e983abf62.jpg

I. Präventiv

Art. 13 Abs. 1 DSGVO [...], so teilt der Verantwortliche der betroffenen Person [...] Folgendes mit:

f) [….] das Bestehen einer automatisierten Entscheidungsfindung [...] und [...] aussagekräftige Informationen über die involvierte Logik sowie die Tragweite […] einer derartigen Verarbeitung für die betroffene Person.

Informations-pflichten

Allg. Begründungspflicht für persönlichkeitssensitive Entscheidungen (Vergleichsgruppe + Größenangaben)

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

De lege lata De lege ferenda

Automatisierte Entscheidungen

15 CC BY-SA 3.0 DE 29.03.2018

https://t3.ftcdn.net/jpg/01/03/13/82/240_F_103138273_voatiwVGPXh2Hmr2gLivrNWz7VAX7mXs.jpg

Allgemeines Gleichbehandlungs

gesetz (AGG)

I. Präventiv

Automatisierte Entscheidungen

§ 2 Nr. 9 AGG (de lege ferenda) (1) Benachteiligungen aus einem in § 1 genannten Grund sind nach Maßgabe dieses Gesetzes unzulässig in Bezug auf: 9. Ungleichbehandlungen, die auf einer softwarebasierten Datenauswertung oder einem automatisierten Entscheidungsverfahren beruhen

Informations-pflichten

Trans-parenz Transparenz

Diskriminie-rung

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

16 CC BY-SA 3.0 DE 29.03.2018

http://www.autofahrerseite.eu/images/Redaktion/Tipps_Trends/wie-lese-ich-die-tuev-plakette-richtig/TUEV-Rheinland_HU-Plaketten_2014_-_2018.jpg

Ex-ante-Kontrolle

Allgemeines Gleichbehandlungs

gesetz (AGG)

I. Präventiv

Automatisierte Entscheidungen

Transparenz

Transparenz

Diskriminie-rung

Insbes. Standardisierung von Trainingsprozessen bei maschinellen Lernverfahren

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

17 CC BY-SA 3.0 DE 29.03.2018

http://www.mz-web.de/image/24685230/2x1/940/470/38edde63b6c793298a556fcf842d2911/rW/b-l-190-strasse-020916.jpg

I. Präventiv

II. Begleitend

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

https://www.rubikon.news/artikel/kunstliche-intelligenz-als-gefahr/

18 CC BY-SA 3.0 DE 29.03.2018

http://www.digitalistbesser.org/wp-content/uploads/2013/01/20130121-the-great-crowdsourcing-tt-2011.jpg

I. Präventiv

II. Begleitend

• Kontroll-algorithmen

• Behördliche Auskunfts- u. Kontrollrechte

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

Routinevalidierung

19 CC BY-SA 3.0 DE 29.03.2018

https://cdn.netzpolitik.org/wp-upload/2017/01/daten-programmieren-bildschirm.jpg

I. Präventiv

II. Begleitend

Routinevalidierung

Beweissicherung

Art. 30 DSGVO ergänzen

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

Programmabläufe und Entscheidungsparameter

20 CC BY-SA 3.0 DE 29.03.2018

https://cdnde1.img.sputniknews.com/images/30375/34/303753484.jpg

I. Präventiv

II. Begleitend

III. Nachträglich

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

21 CC BY-SA 3.0 DE 29.03.2018

https://www.dreikon.de/site/assets/files/1837/kontaktformular-datenschutz-abmahnung.jpg

I. Präventiv

II. Begleitend

III. Nachträglich

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

Beweis-erleichterung

22 CC BY-SA 3.0 DE 29.03.2018

I. Präventiv

II. Begleitend

III. Nachträglich

Ergänzung des UWG

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

Bidlquelle: Bildquelle: ChesiireCat/iStock

Abmahnung

Beweis-erleichterung

23 CC BY-SA 3.0 DE 29.03.2018

https://heise.cloudimg.io/width/332/tjpeg.q100.webp-lossy-100.foil1/_www-heise-de_/imgs/18/2/2/3/3/0/9/9/Menschenmenge8-3da873529f7dd5ae.jpeg

I. Präventiv

II. Begleitend

III. Nachträglich

Abmahnung

Beweis-erleichterung

Verbandsklage

Änderung des § 2 I 2 UKlaG

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

https://pxhere.com/en/photo/913176

24 CC BY-SA 3.0 DE 29.03.2018

http://www.blockchaintechnologies.com/img/blockchain-consensus.jpg

Schlichtungsstelle

I. Präventiv

II. Begleitend

III. Nachträglich

Abmahnung

Beweis-erleichterung

Verbandsklage

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

25 CC BY-SA 3.0 DE 29.03.2018

https://www.testbirds.de/fileadmin/_processed_/csm_code-of-conduct-illustration2_0108f3b061.jpg

Regulierte Selbstregulierung

I. Präventiv

II. Begleitend

III. Nachträglich

§ 161 I 1 Aktiengesetz Vorstand und Aufsichtsrat der börsennotierten Gesellschaft erklären jährlich, dass den […] Empfehlungen der „Regierungskommission Deutscher Corporate Governance Kodex” entsprochen wurde und wird oder welche Empfehlungen nicht angewendet wurden oder werden und warum nicht.

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

26 CC BY-SA 3.0 DE 29.03.2018

https://algorithmenethik.de/2017/11/23/algorithmische-systeme-was-zu-tun-ist-um-teilhabe-zu-staerken/

Regulierte Selbstregulierung

I. Präventiv

II. Begleitend

III. Nachträglich

Anbieter algorithmenbasierter, persönlichkeitsensibler Telemedien erklären jährlich, dass sie den […] Empfehlungen der „Regierungskommission Algorithmic Responsibility Codex“ entsprechen oder welche Empfehlungen sie nicht anwenden und warum nicht.

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

www.lto.de/recht/hintergruende/h/bverfg-richter-andreas-paulus-datenschutz-privatspaehre-nsa-snowden

27 CC BY-SA 3.0 DE 29.03.2018

D. Fazit

• Allg. Kennzeichnungs- und Begründungspflicht

• Anwendungserweiterung des AGG

• Verbandsklage- und Abmahnrechte

• Algorithmic Responsibility Codex nach dem Vorbild des § 161 Aktiengesetz

• Algorithmen-Prüfverfahren, insbes. - behördliche Auskunfts- und Kontrollrechte, - Protokollierung der Programmabläufe

B. Risiken

A. Algorithmen als Schlüssel

C.

Bausteine einer Regulierung

Nationale Kompetenz

Unionale Kompetenz

29.03.2018 28

Kontakt:

Prof. Dr. Mario Martini Freiherr-vom-Stein-Str. 2, 67346 Speyer 06232/645-403; martini@foev-speyer.de

Jüngere Veröffentlichungen zum Themenfeld: • Wenn Maschinen entscheiden... - vollautomatisierte Verwaltungsverfahren und der Persönlichkeitsschutz

(mit David Nink), NVwZ 2017, S. 681 f. • Die Blockchain-Technologie und das Recht auf Vergessenwerden, NVwZ 2017, S. 1251-1259 • Die Datenschutz-Grundverordnung: Revolution oder Evolution im europäischen und deutschen

Datenschutzrecht?, EuZW 2016, 448-454 (mit Jürgen Kühling). • Wie neugierig darf der Staat im Cyberspace sein? Social Media Monitoring öffentlicher Stellen – Chancen

und Grenzen, VerwArch. 3/2016, S. 307-358. • Do it yourself im Datenschutzrecht, NVwZ 2016, 353 f. (Kurzfassung); NVwZ-Extra 6/2016, 1-13

(Langfassung). • Wie werden und wollen wir morgen leben? - Ein Blick in die Glaskugel der digitalen Zukunft, in:

Hill/Martini/Wagner (Hrsg.), Die digitale Lebenswelt gestalten, Baden-Baden 2015, S. 9-56. • Kompendium Online-Bürgerbeteiligung - Rechtliche Rahmenbedingungen kommunaler

Beteiligungsangebote im Internet, München, 2015, 104 Seiten (mit Saskia Fritzsche). • Mitverantwortung in sozialen Netzwerken – Facebook-Fanpage-Betreiber in der datenschutzrechtlichen

Grauzone (mit Saskia Fritzsche), NVwZ-Extra 2015/23, S. 1-16. • Big Data als Herausforderung für den Persönlichkeitsschutz und das Datenschutzrecht, DVBl. 2014, 1481 ff.