Kann Technologie unfair sein?Digitale Anwendungen als Herausforderung

für die Gleichstellungsarbeit

Nele Heise, M.A.bukof-Jahrestagung „Digitalisierung*verändern“

27. September 2019 | Universität Hamburg

Ablauf

Auftakt Grundlegendes & Beispiele

Werkstatt Status Quo & Perspektive[n]

Finale Eure Forderungen & Wünsche

Stationen: Hans-Bredow-Institut, Uni Hamburg, iRights e.V., Otherwise Network

Forschungsthemen: Ethik und digitale Räume (Algorithmen, Social Media, …),

Podcasting im D/A/CH-Raum, Audionutzung im digitalen Zeitalter, mediale

Teilhabe, Forschungsethik im Netz

Details zu meiner Arbeit: https://neleheise.de

Infrastruktur SoftwareHardware

Digitale Technologie[n]

Digitale Alltagsanwendungen

NICO HERZOG [CC BY NC 3.0]

Aspekte digitaler Anwendungen [Software]

Bausteine

Algorithmen

Daten

Modelle

Protokolle

Interfaces

DatenanalyseBeschreibend [deskriptiv]

z. B. Zusammenhänge

Vorhersagend [prädiktiv]

z. B. Trends, Wahrscheinlichk.

Vorschlagend [präskriptiv]

z. B. Handlungsoptionen

Software dient u. a. zur Datenverarbeitung, Analyse, Bearbeitung und Darstellung digitaler Informationen.

Datenanalysen werden vermehrt zur Automatisierung bzw. Unterstützung von Entscheidungen genutzt.

Prozesse

Entwicklung

Implementierung

Anwendung

Evaluation

Anpassung

Digitale Systeme können verzerrt sein, also sog. Biases

aufweisen, die z. B. auf technische, gesellschaftliche oder

historische Ursachen zurückzuführen sind.

Systemische Verzerrungen entstehen u. a. aufgrund von

▪ Praktiken, Vorannahmen/Stereotype auf Seiten der

Entwickler*innen bzw. Anbieter*innen

▪ technischen Kriterien und Grenzen

▪ oder auch erst im Anwendungskontext

Aspekte wie unvollständige, veraltete bzw. falsche

[Trainings-]Daten, Systemversagen oder fehlerhafte

Analysemodelle können zu verzerrten Ergebnissen

und Empfehlungen führen – bis hin zur unfairen

Diskriminierung von Individuen und/oder Gruppen

(z. B. soziale oder ökonomische Benachteiligung).

Für Anwender:innen und Betroffene sind die

komplexen Abläufe und damit verbundene Schieflagen

in der Regel kaum nachvollziehbar.

GARBAGE IN GARBAGE OUT

Exemplarisch

Einsatzfelder und Herausforderungen

[im Hochschulkontext]

ADM-Systeme: Automatisierung von Entscheidungen

BURKE ET AL. / NASPA [2017: 18]

Studium: Monitoring und [prädikative] Datenanalyse

Daten zur Bewertung/Vorhersage des Erfolgs Studierender [„Student Success Data“]

BURKE ET AL. / NASPA [2017: 18]

Tools für Rekrutierung und Personalmanagement

HTTP://WWW.DATENLOTSEN.COM/PRODUKTE/CAMPUSNET-NT/FUNKTIONEN

Daten sprechen nicht für sich selbst. Daher muss

es Aufgabe von Menschen bleiben, die

Ergebnisse von Analysen zu verstehen, zu

kontextualisieren und zu interpretieren – und

die Folgen algorithmischer Entscheidungen

über den engen Rahmen der spezifischen Zwecke,

für die eine Maschine entwickelt und trainiert

wurde, hinaus zu betrachten.

LEICHT-DEOBALD ET AL. [2019: 8; ÜBERS. NH]

Ambivalenzen digitaler Anwendungen

Effizienz und Entlastung

durch Automatisierung

Neutralität, Rationalität,

Zuverlässigkeit

Transparenz von Entscheidungen

Auswertung komplexer

Informationen, Wissenszuwachs

und Faktenbasis

Zugang und Teilhabe

Skalierung von Fehlern und

diskriminierenden Mustern

Datenschutz/-qualität

eingeschränkte Souveränität,

Autonomie, Mitgestaltung

Monitoring als soziale Kontrolle

Lücken: Nachvollziehbarkeit und

Verantwortungszuweisung

Fehlende Akzeptanz und Wissen

KONTAKT Nathalie.Schlenzka@ads.bund.de AINOWINSTITUTE.ORGATLAS.ALGORITHMWATCH.ORG

STATUS QUO & PERSPEKTIVENDigitale Anwendungen und Gleichstellungsarbeit

Personalmanagement

Lehre & Forschung

Studierende

Karriere & Weiterbildung

Schritt 1 Gruppe bilden (max. 10 Personen)

Schritt 2 Diskutiert und sammelt Positionen (15 Min.)

Facts Welche Daten & Tools werden genutzt / eingeführt?

Chancen Wo seht Ihr positive Aspekte für Gleichstellung?

Risiken Welche Probleme (können) entstehen? Warum?

Rote Linien Welche Grenzen sollten gesetzt werden?

Schritt 3 Tauscht Euch mit der anderen Gruppe aus (10 Min.)

Schritt 4 Eine konkrete Forderung / Wunsch [Claim] Eurer Gruppen

Schritt 5 Claim vorstellen (3 Min.) + Kurz-Feedback (2 Min.)

Wie seid Ihr drauf gekommen? Wie lässt sich das erreichen?

EURE CLAIMSForderungen und

Wünsche mit Blick auf

Gleichstellungsarbeit und

digitale Tools / Software

ALGORULES.ORG

1. Kompetenz

aufbauen

2. Verantwortung

definieren

3. Ziele und erwartete

Wirkung dokumentieren

4. Sicherheit

gewährleisten

5. Kennzeichnung

durchführen

9. Beschwerden

ermöglichen

8. Wirkung

überprüfen

7. Beherrschbarkeit

absichern6. Nachvollziehbarkeit

sicherstellen

ALGORULES.ORG

1. Kompetenz

aufbauen

2. Verantwortung

definieren

3. Ziele und erwartete

Wirkung dokumentieren

4. Sicherheit

gewährleisten

5. Kennzeichnung

durchführen

9. Beschwerden

ermöglichen

8. Wirkung

überprüfen

7. Beherrschbarkeit

absichern6. Nachvollziehbarkeit

sicherstellen

IRIGHTS-LAB.DE/DATENQUALITAET

Wohlergehen

Data Agency

Effizienz

Transparenz

Verantwortung &

Rechenschaftspflichten

Kompetenz[en]

Menschenrechte

Bewusstsein für

Missbrauch[srisiken]

https://www.mentimeter.com/s/b6a66a06fe7a9a598463a6881804a1c0/0445a7f83546

Nicht zuletzt:

Digitalisierung bietet Chancen zur

Neubewertung ‚alter‘ Strukturen

„Algorithmisierung“ [die Übertragung von (teil)analogen

Prozessen in maschinenlesbare Form] zwingt zur Klärung

von impliziten Annahmen oder unklaren Konzepten […]; sie

kann […] verdeckte Formen von Diskriminierung ans Licht

bringen; sie zwingt Beteiligte zur Beschäftigung damit, wie in

der betreffenden Organisation Daten erhoben, verarbeitet

und genutzt werden; sie stellt den Sinn von zum Teil lange

gebräuchlichen Verhaltensmustern, Zuständigkeiten und

informellen Ablaufen zur Debatte; sie hinterfragt

unternehmenskulturelle Werte […].

STIFTUNG NEUE VERANTWORTUNG / BERTELSMANNSTIFTUNG [2018]

Prozesse und

Verantwortlichkeiten

Standards, Kontrolle

und Evaluation

Wissen, Austausch

und Best Practice

Datenverarbeitung

und -qualität

Sensibilisierung und

Mitentscheidung

Nele Heise, M.A.

Referentin und wissenschaftliche Beraterin für

digitale Medien & Kommunikation // Hamburg

@neleheise nele.heise@mailbox.org

https://neleheise.de

https://ownw.de/nele-heise/

Vielen Dank und gutes Gelingen!

QUELLEN & LESENSWERTESALGORITHMWATCH (2019): Atlas der Automatisierung. Automatisierte Entscheidungen und Teilhabe in Deutschland. Report (April 2019) und fortlaufendes Projekt. https://atlas.algorithmwatch.org/.

ABIDA – ASSESSING BIG DATA (2018): Diskriminierung durch Algorithmen und KI im eRecruiting. Fokusgruppenbericht (Juli 2018).

http://www.abida.de/sites/default/files/Bericht_Fokusgruppe_Diskriminierung_final.pdf.

BERTELSMANN STIFTUNG (HRSG.) (2018): Was Deutschland über Algorithmen weiß und denkt. Ergebnisse einer repräsentativen Bevölkerungsumfrage. https://www.bertelsmann-

stiftung.de/fileadmin/files/BSt/Publikationen/GrauePublikationen/Was_die_Deutschen_ueber_Algorithmen_denken.pdf.

BURKE, M., PARNELL, A., WESAW, A., & K. KRUGER (2017): Predictive Analysis of Student Data. A Focus on Engagement and Behaviour. Forschungsbericht (hrsg. von NASPA – National Association Of Student

Personnel Administrators, April 2017). https://www.naspa.org/images/uploads/main/PREDICTIVE_FULL_4-7-17_DOWNLOAD.pdf.

CAPURRO, R. (2017): Digitalisierung als ethische Herausforderung. Online unter: http://www.capurro.de/businessimpact.html.

GERSHGORN, D. (2018): „Companies are on the hook if their hiring algorithms are biased“; qz.com, 22. Oktober 2018. https://qz.com/1427621/companies-are-on-the-hook-if-their-hiring-algorithms-are-biased/.

GEUTER, J. (2018): „Nein, Ethik kann man nicht programmieren“; ZEIT Online am 27. November 2018. https://www.zeit.de/digital/internet/2018-11/digitalisierung-mythen-kuenstliche-intelligenz-ethik-juergen-

geuter.

HAO, K. (2019): „This is how AI bias really happens – and why it‘s so hard to fix“; MIT Technology Review am 4. Februar 2019. https://www.technologyreview.com/s/612876/this-is-how-ai-bias-really-happensand-

why-its-so-hard-to-fix/.

HARTZIV.ORG (2019): „Software bestimmt Schicksal von Hartz IV Empfängern“; hartziv.org am 5. April 2019. https://www.hartziv.org/news/20190405-software-bestimmt-schicksal-von-hartz-iv-empfaengern.html.

HAUFE (2019): „Robot Recruiting: Möglichkeiten und Grenzen“; haufe.de am 24. Juni 2019. https://www.haufe.de/personal/hr-management/robot-recruiting_80_484436.html.

HEISE, N. (2016): Algorithmen. In: Handbuch Medien- und Informationsethik (hrsg. Jessica Heesen). Stuttgart/Weimar: Metzler, 202-209.

HUSTEDT, C. (2019): „Robo Recruiting – Dank Algorithmen bessere Mitarbeiter:innen finden?“; algorithmenethik.de am 24. Juni 2019. https://algorithmenethik.de/2019/06/24/robo-recruiting-dank-algorithmen-

bessere-mitarbeiterinnen-finden/.

INITIATIVE D21 (HRSG.): Denkimpulse zur Digitalen Ethik. Fortlaufende Publikationsreihe der Arbeitsgruppe „Ethik“. https://initiatived21.de/publikationen/denkimpulse-zur-digitalen-ethik/.

IRIGHTS.LAB (2019): Checkliste für Datenqualität. Begleitpublikation der BMVI-Förderinitiative mFUND. https://www.bmvi.de/SharedDocs/DE/Anlage/DG/mFUND/mfund-irightslab-checkliste.html (CC-BY-ND 4.0).

JOERES, A. (2018): „Parcoursup – das außerirdische Universitätsauswahlsystem der französischen Regierung“; algorithmenethik.de am 30. Mai 2018. https://algorithmenethik.de/2018/05/30/parcoursup-das-

ausserirdische-universitaetsauswahlsystem-der-franzoesischen-regierung/.

LEICHT-DEOBALD, U., BUSCH, T., SCHANK, C. WEIBEL, A., SCHAFHEITLE, S., WILDHABER, I., KASPER, G. (2019): The Challenges of Algorithm-Based HR Decision-Making for Personal Integrity. Journal of Business

Ethics (online first, 7. Juni 2019). https://doi.org/10.1007/s10551-019-04204-w.

MOTZ, B. (2019): „Principles for the responsible design of automated student support“; EDUCAUSE am 23. August 2019. https://er.educause.edu/blogs/2019/8/principles-for-the-responsible-design-of-

automated-student-support.

ORWAT, C. (2019): Diskriminierungsrisiken durch Verwendung von Algorithmen. Studienbericht, hrsg. von der Antidiskriminierungsstelle des Bundes. Nomos: Baden-Baden.

https://www.antidiskriminierungsstelle.de/SharedDocs/Downloads/DE/publikationen/Expertisen/Studie_Diskriminierungsrisiken_durch_Verwendung_von_Algorithmen.html.

OTTO, P., & E. GRÄF (HRSG.) (2018): 3TH1CS – Die Ethik der digitalen Zeit. Bonn: Bundeszentrale für politische Bildung.

REUTERS (2018): “Amazon ditched AI recruiting tool that favored men for technical jobs”; Meldung vom 11. Oktober 2018, veröffentlicht bei The Guardian.

https://www.theguardian.com/technology/2018/oct/10/amazon-hiring-ai-gender-bias-recruiting-engine.

RUETHER, A. (2019): „Machine Learning, Higher Education, and Bias“; Swarthmore College ITS Blog am 18. Juli 2019. https://blogs.swarthmore.edu/its/2019/07/18/machine-learning-higher-education-and-bias/.

SELBST, A. D., BOYD, D., FRIEDLER, S., VENKATASUBRAMANIAN, S., & J. VERTESI (2018): Fairness and Abstraction in Sociotechnical Systems. ACM Conference on Fairness, Accountability, and Transparency ,

1(1). https://ssrn.com/abstract=3265913.

BILD-QUELLEN [Abruf: 25. September 2019]

FOLIE 3 Logo ARD/ZDF Medienakademie: https://de.wikipedia.org/wiki/Datei:ARD.ZDF-medienakademie-Logo.svg; Logo Grimme-Institut:

http://www.ard.de/image/4224342/16x9/4788971154477969778/512; Logo BR: https://upload.wikimedia.org/wikipedia/de/2/2f/BR-Logo.svg; Abbildung Podcasterinnen:

https://twitter.com/blauschrift/status/595686148158152705; Logo BredowCast (https://podcast.hans-bredow-institut.de/wp-content/uploads/cmyk-entsprechung.jpg); Buchcover „Handbuch Medien- und

Infomationsethik“ (https://media.springernature.com/w306/springer-static/cover-hires/book/978-3-476-05394-7); Logo ANNA – Das vernetzte Leben (https://109cujw.podcaster.de/ANNA-Das-vernetzte-

Leben/logos/ANNA_Podcastlogo_neu_1400px.jpg); Illustration „Anna mit Duschhaube“ (Illustration: Óscar Valero & Fritz Gnad für annasleben.de // CC BY 3.0)

FOLIE 4 links: Abbildung Glasfaserkabel (https://media0.faz.net/ppmedia/aktuell/politik/2413977540/1.3221002/format_top1_breit/noch-keine.jpg); Mitte: Grafik Networking Devices

(https://hitinfrastructure.com/images/site/article_categories/Networking.jpg); rechts: Grafik Free Software (http://www.cogniview.com/blog/wp-content/uploads/2013/03/BestFreeSoftware2012.jpg)

FOLIE 5 Foto von Nico Herzog (2013 // CC BY-NC 3.0)

FOLIE 9 Abbildung Garbage In, Garbage Out (https://www.backbonemedia.com/wp-content/uploads/2014/06/garbage-in-garbage-out.jpg)

FOLIE 12 links: Tweet von Frank Herrmann, 13. Oktober 2018: https://twitter.com/herrfrankmann/status/1051035016627712000), rechts unten: Screenshot des Artikels „Volksanwaltschaft prüft AMS-

Algorithmus“ (derStandard.at am 2. November 2018: https://www.derstandard.at/story/2000090540950/volksanwaltschaft-prueft-ams-algorithmus)

FOLIE 17 links: Screenshot des Artikels „Amazon verwirft sexistisches KI-Tool für Bewerber“, Golem.de am 11. Oktober 2018 (https://www.golem.de/news/machine-learning-amazon-verwirft-sexistisches-ki-

tool-fuer-bewerber-1810-137060.html); rechts: Screenshot des Artikels „UK businesses using artificial intelligence to monitor staff activity“, The Guardian am 7. April 2019 bei

(https://www.theguardian.com/technology/2019/apr/07/uk-businesses-using-artifical-intelligence-to-monitor-staff-activity); Hintergrundbild: https://lab.getapp.com/wp-content/uploads/2017/02/hiring-bias-

how-algorithms-can-help.png (auch FOLIE 16)

FOLIE 21 links: Publikation „Diskriminierungsrisiken durch Verwendung von Algorithmen“ (C. Orwat/hrsg. ADS, 2019;

https://www.antidiskriminierungsstelle.de/SharedDocs/Downloads/DE/publikationen/Expertisen/Studie_Diskriminierungsrisiken_durch_Verwendung_von_Algorithmen.html); Mitte: Titel „Atlas der

Automatisierung“ (AlgorithmWatch, 2019; atlas.algorithmwatch.org); rechts: Screenshots AINowInstitute.org / AI Now Report 2018 (Whitaker et al. 2018; https://ainowinstitute.org/AI_Now_2018_Report.pdf)

FOLIE 22 Foto von congerdesign / Pixabay (https://pixabay.com/de/photos/bleistift-notizen-zerkaut-1891732/)

FOLIE 24 Foto von AbsolutVision / Pixabay (https://pixabay.com/de/photos/gl%C3%BChbirne-konzept-kork-bulletin-2692247/).

FOLIE 31 Screenshot der Website „Algorules“ (iRights Lab/Bertelsmann Stiftung 2019: https://algorules.org/startseite/; auch FOLIE 30), rechts: Screenshot Checkliste für Datenqualität (iRights.Lab / BMVI 2019:

https://irights-lab.de/datenqualitaet/)

FOLIE 32 Screenshots aus der Publikation „Ethically Aligned Design“ (IEEE 2019: https://algorithmwatch.org/wp-content/uploads/2019/03/IEEE-EAD1e.pdf)

FOLIE 38 Abbildung „Women in Technology“ (https://cdn.techjuice.pk/wp-content/uploads/2016/01/Women-in-Technology-Pakistan.jpg)

STIFTUNG NEUE VERANTWORTUNG / BERTELSMANN STIFTUNG (2018): Ergebnisse des intersektoralen Expertenworkshops „Algorithmische Analyse- und Entscheidungssysteme in der Personalgewinnung

(‚Robo Recruiting‘)“ am 5. Juli 2018. https://www.stiftung-nv.de/sites/default/files/ws_zu_hr_tech_-_dokumentation_0.pdf.

STUIBER, P. (2018): „Volksanwaltschaft prüft AMS-Algorithmus“; derStandard.at am 2. November 2018. https://www.derstandard.at/story/2000090540950/volksanwaltschaft-prueft-ams-algorithmus.

THE IEEE GLOBAL INITIATIVE ON ETHICS OF AUTONOMOUS AND INTELLIGENT SYSTEMS (2019): Ethically Aligned Design: A Vision for Prioritizing Human Well-being with Autonomous and Intelligent

Systems, First Edition; hrsg. IEEE. https://algorithmwatch.org/wp-content/uploads/2019/03/IEEE-EAD1e.pdf (CC-BY-NC-SA 4.0).

WHITTAKER, M. ET AL. (2018): AI Now Report 2018 (hrsg. AI Now Institute, Dezember 2018). https://ainowinstitute.org/AI_Now_2018_Report.pdf (CC-BY-ND 4.0).

YOUNG, J. R. (2018): „When a Nudge Feels Like A Shove“; EdSurge.com am 8. März 2018. https://www.edsurge.com/news/2018-03-08-when-student-success-efforts-backfire.