Jenseits des Quellcodes - iRights.Lab · Mark Zuckerberg: Over time, I think the strategy would be...

NEUN BIS ELF Das White Paper des iRights.Lab #1 Juni 2018 1

Jenseits des QuellcodesMachine Behavior Studies als neuer Ansatz zur Betrachtung künstlicher Intelligenzen

Executive Summary — Der Debatte um Algorithmen fehlt es bislang an Tiefgang. Oft werden

diese aus einer rein technischen Perspektive betrachtet und auf das Funktionieren ihres Quellcodes reduziert.

— Dabei ist die Liste mit bedenklichen Vorkommnissen, für die algorith-mische Prozesse verantwortlich sind, schon jetzt lang. Diese Ereig-nisse werden bisher aber nur anekdotisch betrachtet und kaum sys-tematisch untersucht.

— Was es braucht ist eine neue akademische Disziplin: Machine Beha-vior Studies. Es ist Aufgabe dieser neuen Disziplin, das Verhalten von „intelligenten“ Maschinen durch Beobachtung und Experimente wissenschaftlich zu untersuchen. Sie geht über die Untersuchung des Quellcodes hinaus und macht sozialwissenschaftliche Methoden fruchtbar.

— Eine konkrete Anwendung ist die Analyse von durch Algorithmen geschaffenen oder verstärkten Strukturen der Ungleichheit. Der jüngst vorgeschlagene Begriff der „algorithmic violence“ stellt ein beispielhaftes Konzept dar, um solche strukturellen, problemati-schen Diskriminierungen zu erkennen.

von Michael Puntschuh

NEUN BIS ELF

Das White Paper des iRights.Lab Juni /2018#1


Algorithmen und Künstliche Intelligenzen in der Öffentlichkeit

Mark Zuckerberg: Over time, I think the strategy would be to develop more A.I. tools that can more proactively identify [harmful] types of content and do that filtering up front.

Senator Hirono: So it‘s a work in progress.

Mark Zuckerberg: Yes.1

Die Zuckerberg-Anhörungen im US Senat und EU Parlament stehen exemplarisch für die Art und Weise, wie über Algorithmen und Künstliche Intelligenzen2 in der Öffentlichkeit diskutiert wird: „Dafür haben wir einen Algorithmus“ setzt einer Debatte oft den Schlusspunkt, als wären damit alle Fragen schon beantwortet. Dabei ist es natürlich korrekt, dass wir alle bereits jetzt in unserem Alltag von Algorithmen und KI profitieren. Sei es bei der Websuche, bei der Nutzung von Heimassistenzen oder den Vorschlägen für unsere Spotify-Playlist – Algorithmen nehmen uns Arbeit und Entscheidungen ab, für die Menschen alleine zu lange brauchen würden, die zu komplex oder gar unmöglich zu bewältigen wären. Hier sollen – so zumindest der Anspruch – Algorithmen schnell zuverlässige, wirksame und korrekte Lösungen anbieten.

Die Vorteile des Einsatzes von Algorithmen aufzuzählen, kann aber gerade nicht das Ende der Diskussion sein. Vielmehr fängt damit die Debatte erst an, gerade auch die möglicherweise nicht wünschenswerten Folgen sind in den Blick zu nehmen. Denn: Die Liste mit bedenklichen Vorkommnissen, für die algorithmische Prozesse verantwortlich sind, ist schon jetzt lang. Genannt seien nur drei Beispiele: So kann auch ein selbstfahrendes Uber-Auto schonmal eine rote Ampel an einem Zebrastreifen überfahren und dadurch Menschenleben in Gefahr bringen3. Eine künstliche Intelligenz zur Gesichtserkennung hatte kürzlich Probleme darin, Gesichter von Frauen oder Menschen mit dunkleren Hautfarben zu identifizieren4. Und Facebooks Algorithmus löschte Accounts, weil er die Namen von Nutzer*innen fälschlicherweise für nicht echt hielt. Der Grund, zugleich banal und verstörend: Er war schlicht nicht in der Lage, die Namen von Native Americans zu erkennen5.

Wir müssen anfangen, anders über Algorithmen zu sprechen. Bislang wird, wenn es denn überhaupt dazu kommt, die Debatte um Algorithmen und ihre Auswirkungen in erster Linie aus einer rein technischen Perspektive geführt. Mögliche problematische Entscheidungen von Algorithmen, wie die Beispiele zeigen, werden oft nur anekdotisch aufgeführt, ihre tieferen Effekte auf die Gesellschaft hingegen kaum systematisch untersucht. Bei der Suche nach Lösungen für die auftretenden Herausforderungen verlassen sich Informatiker*innen oft zu sehr auf ihre eigenen fachlichen Kompetenzen. Dabei gehen sie von der grundlegenden Prämisse aus, dass die Algorithmen selbst prinzipiell neutral seien. Auftretende Fehler seien deshalb stets auf das Fehlverhalten von Personen zurückzuführen, der Algorithmus hingegen sei notwendig „unschuldig“. Der Source Code des Programms kann und wird deshalb laufend verbessert werden, bis er irgendwann perfekt ist. Genau diese eingeschränkte Sichtweise ist jedoch nur wenig zielführend: Der Algorithmus wird von jeglicher Schuld freigesprochen, was eine Debatte über eben diesen Algorithmus und mögliche damit verbundene Probleme erstickt. Die Programmierer*innen als Urheber*innen von Fehlern zu nennen, lenkt den Blick von den Algorithmen selbst ab: nicht nur ihre Funktionsweise ist relevant, sondern eben auch ihre Einbettung in einen gesellschaftlichen Kontext und damit zusammenhängend die Qualität der eingespeisten Daten, die als Grundlage der algorithmischen Rechenoperationen dienen. Gerade hier können entscheidende Fehlerquellen liegen – wie beispielsweise sogenannte


Biased Data, also unausgewogene oder verzerrende Informationen. Mark Zuckerberg hingegen, stellvertretend für die Zunft der Programmiere*innen, ist der Ansicht, hier gebe es nichts zu diskutieren, schon gar nicht mit Vertreter*innen anderer Fachrichtungen. Hier reiche ein flapsiges „Wir arbeiten dran“ oder „Das ist work in progress“.

Gerade deshalb brauchen wir eine stärkere Betonung einer kritischen sozial-ethischen Perspektive, wenn es um den Umgang mit Algorithmen geht. Diese steckt jedoch noch in den Kinderschuhen, denn auch sie geht in der Beweisführung bisher eher anekdotisch vor. Lediglich beispielhaft führen Kritiker*innen auf, wo eine Anwendung, die sich künstlicher Intelligenz bedient, bestehende diskriminierende gesellschaftliche Muster widerspiegelt. Auch dies zeigte sich bei den Zuckerberg-Anhörungen darin, dass zahlreiche Politiker*innen einzelne Probleme zwar aufzeigten, ohne jedoch systematisch über diese zu sprechen:

Senator Nelson: [...] I‘m communicating with my friends on Facebook and indicate that I love a certain kind of chocolate. And all of a sudden I start receiving advertisements for chocolate. What if I don’t want to receive those commercial advertisements?

Senator Nelson spricht bei dieser Frage an Mark Zuckerberg zwar ein Beispiel an (unerwünschte Schokoladenwerbung), geht aber auf den größeren Kontext (Wie sieht die Struktur des Werbe-Algorithmus aus? Welche Auswirkungen hat dieser auf die Nutzer und die Gesellschaft?) auch im weiteren Verlauf des Gesprächs nicht näher ein.

Die bisherige wissenschaftliche Debatte ist unzureichend

Beide Perspektiven für sich allein reichen nicht aus. Sie sind zu reduziert, teilweise naiv und damit schließlich sogar gefährlich. Die Probleme sollen im Folgenden kurz aufgezeigt werden:

Vor allem die bisherige sozio-ethische Perspektive ist nicht komplex genug: Während sie bedenkliche Folgen von Algorithmen zwar identifiziert, fehlt allzu oft eine (theoretische) Einordnung der Problematik in einen größeren Kontext. Konkret bedeutet das: Wenn ein Gesichtserkennungsalgorithmus Frauen deutlich schlechter zuordnet als Männer, dann muss eben auch analysiert werden, in welche gesamtgesellschaftlichen Diskriminierungsprozesse dieser „technische Fehler“ eingebettet ist. Abgesehen davon, den konkreten Algorithmus und seine vermeintliche Fehlerhaftigkeit zu identifizieren, mangelt es hier an einer technischen Betrachtung der genauen Schadenswirkung des Algorithmus und einer Untersuchung seines Source Code. Die künstliche Intelligenz wird als „black box“ gesehen und deshalb nicht näher untersucht – vielleicht auch aufgrund fehlender technischer Kompetenzen. Beispielhaft hierfür steht dieser Austausch in den Anhörungen:

Mark Zuckerberg: [...] Right now, a lot of our A.I. systems make decisions in ways that people don’t really understand.

Senator Peters: Right.


Hier wäre mehr technisches Verständnis also nicht nur hilfreich, sondern ist geradezu notwendig. Auf der anderen Seite erscheint aber auch die rein technische Perspektive naiv. Denn: „We cannot study machines by simply looking at their source code“6.

Dafür gibt es in erster Linie drei Gründe:

— Opacity caused by complexity: Die Codes von Anwendungen mit künstlicher Intelligenz wer-den zunehmend komplex. Die Tausenden oder Millionen Linien an Code sind kaum inter-pretierbar hinsichtlich ihrer sozialen und ethischen Auswirkungen auf die Gesellschaft. Nur den Code selbst zu betrachten reicht einfach nicht aus, um festzustellen, ob sich ein Algo-rithmus „korrekt“ verhalten wird – ebensowenig wie uns ein Scan der DNA oder des Gehirns sagen kann, ob ein Mensch sich werteorientiert verhält.

— Opacity caused by intellectual property protection: Code ist zudem oft geheim. Unterneh-mensgeheimnisse schützen beispielsweise den Google-Algorithmus vor einer technischen Analyse.

— Opacity caused by inherent unpredictability: Wie sich künstliche Intelligenzen verhalten, zeigt sich erst im konkreten Zusammenspiel mit der Umgebung. Niemand hat vorher postuliert, dass das Uber-Auto über eine rote Ampel fahren wird. Verhalten manifestiert sich prinzipiell erst in der Interaktion und ist damit durch eine Analyse des Codes nicht vorhersehbar.

Eine Untersuchung des Codes reicht also für sich genommen nicht aus oder ist in vielen Fällen sogar schlicht unmöglich: „Damit [...] Algorithmen und ihr Dateninput verbessert werden können, müssen die Anwendungen erst einmal scheitern, und dieses Scheitern muss festgestellt werden.“7 Dies können weder die technische noch die sozio-ethische Perspektive alleine leisten. Aus diesem Grund ist es notwendig, für das Studium künstlicher Intelligenzen eine neue wissenschaftliche Perspektive zu eröffnen. Nur so kann es uns langfristig gelingen, die positiven Auswirkungen dieser „neuen“ Technologien wirklich zu nutzen und gleichzeitig mögliche Gefahren frühzeitig zu erkennen und abzuwenden.

Eine neue wissenschaftliche Disziplin: Machine Behavior Studies

Diese neue Perspektive ist zwischen Computerwissenschaften und Informatik auf der einen und den Sozialwissenschaften wie Soziologie, Philosophie, Rechtswissenschaft, Verhaltenswissenschaften und Wissenschaftsforschung auf der anderen Seite angesiedelt. Die beiden Wissenschaftler Iyad Rahwan und Manuel Cebrian, die am Bostoner MIT Media Lab zu Algorithmen forschen, haben sie deshalb in einem kürzlich erschienenen Beitrag „Machine Behavior Studies“ getauft. Die Aufgabe dieser neuen Disziplin soll es sein, das Verhalten von intelligenten Maschinen wissenschaftlich zu untersuchen – und zwar in einer Weise, die beide der beschriebenen, bislang vorherrschenden Herangehensweisen in den Blick nimmt. Da es im Kern um die Beobachtung, Einordnung und Bewertung von Verhalten geht, sind die grundlegenden Analyseinstrumente, Theorien und Methoden dabei vor allem aus den Sozialwissenschaften entlehnt: Beobachtung und Experiment. Darüber hinaus sollen Maschinen, die Algorithmen ausführen, als eine neue Klasse von Akteur*innen erfasst werden, deren Verhalten und Umwelt neu und einzigartig sind, und die daher nicht mit menschlichen Akteuren gleichgesetzt werden können.


Machine Behavior Studies sind weder Informatik noch Sozialwissenschaft – sondern eine Kombination beider Disziplinen

Für den Erfolg dieser wissenschaftlichen Disziplin ist es wichtig, sich aktiv von der Informatik abzugrenzen. Dafür ist es erforderlich, die in den Computerwissenschaften bestehenden Annahmen in Frage zu stellen, um ein eigenes theoretisches Gerüst aufzubauen:

— „Algorithmen sind neutral.“ Weil menschliches Verhalten nie absolut neutral ist, können es auch Algorithmen nicht sein. Dabei können sowohl der Algorithmus selbst als auch die diesem zur Entscheidungsfindung zugrunde liegenden Daten nicht neutral sein und sich ständig wandeln8. Für die Betrach-tung ihrer Auswirkungen bedarf es einer eigenen Disziplin.

— „Algorithmen können perfekt werden, wenn sie es noch nicht sind.“ Selbst wenn man dieser Annahme zustimmen würde, so würde sie für eine neue sozialwis-senschaftlich basierte Disziplin sprechen: Denn um Algorithmen als (noch) nicht perfekt zu identifizieren, benötigt es diese neue wissenschaftliche Perspektive. Erst wenn das Scheitern der algorithmischen Lösung in der Praxis festgestellt wird, kann diese verbessert werden.

— „Nur wir Informatiker*innen verstehen den Code.“Es lässt sich kaum bezweifeln, dass die entsprechenden Expert*innen einen geschul-ten Blick auf die (technische) Funktionsweise von Algorithmen haben. Jedoch will Machine Behavior Studies eben nicht auf den Code blicken, sondern dessen Auswir-kungen auf die Gesellschaft betrachten. Dafür wiederum verfügen sie über unzurei-chende Kompetenzen. Informatiker*innen besitzen kein formales Training zum Studium von Phänomenen wie Diskriminierung, ethische Dilemmata oder Wirtschaftszyklen. Außerdem entzieht diese Annahme jeder anderen Disziplin die Erlaubnis zur Analyse von Algorithmen. Das ist gefährlich, weil selbstverständlich auch die Informatik nicht perfekt ist. Ihr Bewertungsmaßstab ist ein völlig anderer als der der Sozialwissenschaften: Der Algorithmus soll ein bestehendes Problem möglichst effektiv lösen, eine bestehende Frage möglichst präzise beantworten. Unerwünschte Nebenwirkungen sind gar nicht Teil dieser Bewertung. Die technischen und die sozialen Perspektiven haben damit unterschiedliche Zielvorstellungen. Bei einer rein technischen Betrachtungsweise könnte es also zu Interes-senkonflikten kommen.

Die vorgestellten Annahmen zeigen beispielhaft, warum es eine neue, von der Informatik und den Computerwissenschaften getrennte wissenschaftliche Disziplin braucht. „Ethische Coder“ werden allein nicht ausreichen.

Genauso falsch wäre es aber, so etwas wie eine „Soziologie der Maschinen“ zu gründen – auch in diese Richtung müssen sich die Machine Behavior Studies abgrenzen. Denn die neue Disziplin liefe sonst Gefahr, künstliche Intelligenzen zu anthropomorphisieren9 und ihnen auf diese Weise blind Akteur*innenqualität zuzuordnen. Im Gegensatz zum Menschen treffen Maschinen eben keine eigenverantwortlichen Entscheidungen. Deshalb können sie für ihr Verhalten auch nicht zur Rechenschaft gezogen werden. Eine „Gleichstellung“ der Akteursqualität von Maschinen und Menschen würde riskieren, die Verantwortung derjenigen Personen, die den Algorithmus geschrieben haben oder diesen verwalten, zu verschleiern oder zu verwässern.

Stattdessen sollten sich die Machine Behavior Studies an den sozialwissenschaftlichen Methoden bedienen, sich dabei aber stets bewusst machen, dass sie diese auf ein völlig neuartiges Untersuchungsobjekt anwenden: Algorithmen und ihre Auswirkungen auf die


Gesellschaft haben eine andere Qualität als Interaktionen zwischen Menschen. Die oben beschriebenen Beispiele zeigen dies sehr anschaulich: So wirken die meisten Algorithmen viel ortsunabhängiger und grenzüberschreitender als Menschen; sie können in kürzester Zeit eine Vielzahl an Entscheidungen fällen; und sie ermöglichen die Analyse sehr viel größerer Datensätze. So etwas wie eine auf den jeweiligen Nutzer bzw. die Nutzerin zugeschnittene Websuche könnte ein einzelner Mensch niemals leisten. Schon deshalb sind auch die Auswirkungen von Fehlern in dieser Suche neu- und andersartig.

Diese neue akademische Disziplin, die sich von anderen Forschungsfeldern klar abgrenzen lässt, erscheint also sinnvoll und notwendig. Bliebe die Frage, wie sie dann konkret auszugestalten wäre. Einige mögliche Grundzüge sollen anhand dreier Beispiele im Folgenden kurz aufgezeigt werden.

Ein Untersuchungsgegenstand der Machine Behavior Studies: Strukturelle Ungleichheit durch Algorithmen

Unsere zu Beginn genannten Anwendungen deuten auf das erste und wohl aktuell auch wichtigste zu untersuchende Phänomen hin: durch Daten geschaffene oder verstärkte Strukturen von Ungleichheit. Wissenschaftler*innen haben bereits verschiedene Konzepte vorgeschlagen, die sich auf unterschiedliche Aspekte dieser Ungleichheit fokussieren10: So wird unter dem Stichwort „algorithmic bias“11 etwa die vorurteilsbehaftete Auswahl an Daten für die Schulung künstlicher Intelligenzen problematisiert. Der Begriff „algorithmic inequity“12 wiederum weist auf soziale und wirtschaftliche Effekte wie systematische Diskriminierung hin, wohingegen „algorithmic oppression“13 die politisch-soziale Ebene hervorhebt. „Algorithmic privilege“14 schließlich wendet den Blick weg von Diskriminierung hin zu Bevorzugung, um so gesellschaftliche Differentiale aus einer anderen Perspektive betrachten zu können.

Die genannten Begrifflichkeiten geben einen Einblick in das denkbare theoretische Rüstzeug, mit dem sich Algorithmen aus einer eigenständigen, an die klassischen Sozialwissenschaften angelehnten Perspektive untersuchen lassen. Zugleich aber weisen sie noch eine Reihe von Unzulänglichkeiten auf. Während „algorithmic bias“ ein sehr passiver, unzureichend ausdifferenzierter und somit fast verharmlosender Begriff für Formen der Diskriminierung ist, zeigen die anderen drei Konzepte nur die Symptome auf und lassen dabei den zugrundeliegenden Prozess außer acht.

Die Künstlerin und Wissenschaftlerin Mimi Onuoha, die zurzeit am New Yorker Data & Society Research Institute forscht, hat deshalb kürzlich das Konzept der „algorithmic violence“ ins Spiel gebracht, um einen direkten, aktiven, fast physischen Begriff für digitale Ungleichheit zu finden. Sie gründet es auf der in der Soziologie etablierten Theorie der „strukturellen Gewalt“, welche systemische, unsichtbare und intersektionale soziale Strukturen und Institutionen beschreibt, die Menschen daran hindern, ihre Grundbedürfnisse zu stillen. „Algorithmic violence“ ist entsprechend „violence that an algorithm or automated decision-making system inflicts by preventing people from meeting their basic needs. It results from and is amplified by exploitative social, political, and economic systems, but can also be intimately connected to spatially and physically borne effects.“15


Algorithmic violence entsteht laut Onuoha, weil immer mehr Algorithmen in die bestehende hierarchische und ungleiche Gesellschaft integriert werden. Die auf (scheinbarer) Rationalität, Daten und Fakten basierenden Algorithmen definieren, verwalten und implementieren dabei Kategorien der Ungleichheit und sollen ihnen Legitimation verleihen. Stattdessen aber kommt es zum genauen Gegenteil, nämlich zur Verwässerung von Fakten und Wahrheit, Neutralität und Rationalität. Diese werden so hinter dem technischen Schleier des Algorithmus versteckt. Der Prozess der Tarnung ist ebenso allgegenwärtig wie Algorithmen selbst und daher so problematisch. Die New Yorker Urbanistin Rachel Gichinga, die sich in einem Beitrag auf Medium mit Onuohas Vorschlag auseinandersetzt, zeigt an dem konkreten Beispiel einer Google-Suche nach „angemessener Arbeitsfrisur“ auf, wie unterschiedlich die Ergebnisse je nach Hautfarbe sind: Sucht man nach angemessenen Frisuren, so zeigt die Bildersuche von Google auf der ersten Seite fast ausschließlich Fotos von Personen mit heller Hautfarbe. Sucht man hingegen nach Frisuren, die für den Arbeitsplatz nicht angemessen sind, so sind mit ähnlicher Überproportionalität Fotos von dunkelhäutigen Personen zu sehen. Dabei fällt bei näherer Betrachtung auf, dass in beiden Suchergebnissen sogar genau identische Haarschnitte vorkommen. Sie postuliert infolgedessen, dass solche algorithmischen Prozesse auf diese Weise die Diskriminierung bestimmter, ohnehin marginalisierter Bevölkerungsgruppen fördern. Eben das sei strukturelle Gewalt – ermöglicht oder erleichtert durch künstliche Intelligenz.16

Typologisierung von Algorithmen und ihren Auswirkungen

Ein weiteres Beispiel einer möglichen Anwendung von Machine Behavior Studies ist die genauere Untersuchung jener Prozesse, durch welche Algorithmen Formen der Ungleichheit schaffen oder verstärken. Ein Blick auf die Auswirkungen und Interaktionen von Algorithmen mit Menschen ermöglicht es, diese beispielsweise in folgende Kategorien einzuteilen:

— Algorithmen versuchen, das Verhalten von Menschen durch Prozesse wie „nudging“ oder „agenda setting“ zu beeinflussen. Ein Beispiel dafür wäre die Beeinflussung des Konsum-verhaltens von Personen durch personalisierte Werbung.

— Algorithmen setzen eigenständig Prozesse der Exklusion/Inklusion um, indem sie den Zugang zu einem Raum oder einer Gruppe verwehren oder erlauben. Es geht hier nicht darum, Verhalten zu beeinflussen, sondern Zugang zu regulieren und den betroffenen Per-sonen Bedingungen für eine soziale Interaktion zu setzen. Ein Beispiel wäre die von Face-book durchgeführte Klarnamen-Analyse, bei welcher ein Algorithmus entschied, welche Namen von Facebook-User*innen „echt“ oder „glaubwürdig“ genug waren. Aussortierte Personen wurden von der Nutzung dieses sozialen Mediums ausgeschlossen.

— Algorithmen spiegeln (bestehende) Diskriminierung und andere Ausprägungen von struk-tureller Gewalt wider und stärken dadurch deren Existenz im Alltag. Hierfür wäre die oben beschriebene Google-Suche zu „angemessener Arbeitskleidung“ ein Beispiel.

Diese Kategorien sind nur ein erster Vorschlag und überschneiden sich teilweise. Jedoch kann eine solche Kategorisierung dabei helfen, die Auswirkungen von Algorithmen und durch sie verstärkte Strukturen der Ungleichheit genauer zu analysieren und die dahinter liegenden Prozesse zu verstehen. Erst dadurch wird es möglich, sinnvolle Gegenmaßnahmen zu identifizieren.


Ein drittes Beispiel wären die in den Sozialwissenschaften bereits bestehenden Konzepte: So erweiterte der Soziologe Bruno Latour die Netzwerktheorie um „Aktanten“ – das sind unlebendige Dinge, die mit menschlichen Akteuren in netzwerkartigen Handlungszusammenhängen interagieren – ohne ihnen vollen Akteursstatus zu gewähren.17 Eine weitere Disziplin mit vielversprechenden Ansätzen sind die „Surveillance Studies“ bzw. „Border Studies“, die algorithmische Entscheidungsprozesse in ihre Konzepte integriert haben und ihre Auswirkungen untersuchen.18 Diese bestehende Ansätze stehen allerdings oft noch für sich allein. Unter dem Schirm der Machine Behavior Studies können wir diese verknüpfen, um ein einheitliches, kohärentes theoretisches Gerüst zu schaffen, um algorithmische Entscheidungsprozesse in Zukunft zu untersuchen.

Eine neue Disziplin ist nicht ohne Risiko – birgt aber enormes Potenzial

Künstliche Intelligenzen brechen bestehende Paradigmen unserer neuzeitlichen Gesellschaft auf19 – entsprechend benötigen wir eine neue wissenschaftliche Disziplin, um sie beobachten, einordnen und bewerten zu können. Ebensowenig wie wir unsere Steuerpolitik nur von Wirtschaftswissenschaftler*innen bestimmen oder menschliches Verhalten von Biolog*innen untersuchen lassen, sollten wir unsere Analyse von Algorithmen und ihren Auswirkungen allein den Informatiker*innen überlassen. Deshalb ist es so wichtig, einen neuen Pfad zu eröffnen, der sich sowohl von den Sozialwissenschaften als auch von Informatik und Computerwissenschaften unterscheidet – gleichzeitig aber nicht von ihnen isoliert ist.

Denn es besteht die Gefahr, dass sich Machine Behavior Studies zu stark insbesondere von den technischen Wissenschaften abgrenzen. Dies könnte mittelfristig dazu führen, dass die vorgeschlagene neue Disziplin keine Akzeptanz findet. Das gilt es zu verhindern. Wir brauchen sozialwissenschaftliche Methoden und Expertise bei der Beobachtung und Analyse von Algorithmen ebenso, wie wir den Dialog mit und die technische Expertise von der Tech-Community brauchen. Machine Behavior Studies sollen den Dialog nicht beschränken und niemanden ausschließen, sondern ihm einen Rahmen geben und ihn ausweiten, indem bestehende Annahmen in Frage gestellt und neue Konzepte aufgebaut werden.

Sicherlich gibt es auch inhaltliche Lücken, die diese neue Disziplin noch straucheln lassen – wie die wohl nie ganz zu beantwortende Frage nach der Akteursqualität von Algorithmen bei gleichzeitiger Verantwortlichkeit der Urheber*innen. Aber eben genau hier ist neues Denken notwendig. Der Einsatz von Algorithmen darf nicht den Schlusspunkt der Debatte darstellen, sondern muss vielmehr der Beginn eines Gesprächs sein über Algorithmen, ihren Einsatz und ihre Auswirkungen auf unsere Gesellschaft. Es ist höchste Zeit für diese Debatte.20 Und genau dafür braucht es eine akademische Disziplin wie die Machine Behavior Studies.


Anmerkungen1 Washington Post (2018): Transcript of Mark Zuckerberg’s Senate hearing, https://www.washingtonpost.com/news/the-switch/wp/2018/04/10/transcript-of-

mark-zuckerbergs-senate-hearing/?noredirect=on&utm_term=.82c16a432b9b.

2 Als Algorithmen bezeichnen wir im allgemeinen Sprachgebrauch eindeutige Handlungsvorschriften zum Lösen eines vorab definierten Problems. Der Begriff „Prozesse algorithmischer Entscheidungsfindung“. Beschreibt die Gesamtheit aus algorithmischem System und seiner gesellschaftlichen Einbettung. Algorithmische Systeme, die mit einer größeren Automatisierung Modelle zur Problemlösung erstellen, bezeichnen wir als KI. In diesem Paper werden die Begriffe jedoch austauschbar verwendet, da es um die selbe Problematik geht. Siehe näher zur Definition Krüger, Julia & Lischka, Konrad (2018): Damit Maschinen den Menschen dienen - Lösungsansätze, um algorithmische Prozesse in den Dienst der Gesellschaft zu stellen, https://algorithmenethik.de/wp-content/uploads/sites/10/2018/05/Algorithmenethik_L%C3%B6sungspanorama_final_online.pdf.

3 Rotter, Charles (2016): Self-Driving Uber running red light, https://www.youtube.com/watch?v=_CdJ4oae8f4.

4 Lohr, Steve (2018): Facial Recognition Is Accurate, if You’re a White Guy, https://www.nytimes.com/2018/02/09/technology/facial-recognition-race-artificial-intelligence.html.

5 Dent, Steve (2015): Native Americans still battling Facebook over ‚real name‘ policy, https://www.engadget.com/2015/02/17/facebook-native-american-real-names/.

6 Rahwan, Iyad & Cebrian, Manuel (2018): Machine Behavior Needs to Be an Academic Discipline, http://nautil.us/issue/58/self/machine-behavior-needs-to-be-an-academic-discipline.

7 Jobin, Anna (2018): Was bei Algorithmen hinten herauskommt, weiss niemand so genau – und warum, noch viel weniger, https://www.nzz.ch/feuilleton/in-der-algorithmenkueche-ld.1365123.

8 Jobin (2018).

9 Rahwan & Cebrian (2018).

10 Ridley, Mike (2018): Naming Algorithmic Concerns, http://michaelridley.ca/2018/02/naming-algorithmic-concerns/.

11 Siehe hierzu z.B. Friedman, Batya & Nissenbaum, Helen (1996): Bias in Computer Systems, http://www.nyu.edu/projects/nissenbaum/papers/biasincomputers.pdf.

12 Siehe hierzu Wachter-Boettcher, Sara (2017): Technically Wrong und Eubanks, Virginia (2018): Automating Inequality.

13 Noble, Safiya Umoja (2018): Algorithms of Oppression - How Search Engines Reinforce Racism.

14 Angwin, Julia (2018): Quantifying Forgiveness - MLTalks, https://www.media.mit.edu/events/mltalks-julia-angwin/.

15 Onuoha, Mimi (2018): Notes on Algorithmic Violence, https://github.com/MimiOnuoha/On-Algorithmic-Violence.

16 Gichinga, Rachel (2018): Unpacking ‘Algorithmic Violence’, https://medium.com/intelligent-cities/unpacking-algorithmic-violence-88aa75bcea56.

17 Eine gute Zusammenfassung findet sich bei Best, Jacqueline and William Walters (eds.) (2013): IPS Forum: ‘Actor-Network Theory’ and International Relationality: Lost (and Found) in Translation, International Political Sociology 7(3): 332-349.

18 Z.B. Bei Pötzsch, Holger (20015): The Emergence of iBorder: Bordering Bodies, Networks, and Machines, in: Environment and Planning D 33: 101-118.

19 Rafael Capurro (2018): Digitalisierung als ethische Herausforderung, in: Philipp Otto und Eike Gräf (eds.): 3TH1CS - Die Ethik der digitalen Zeit, S. 15.

20 Bertelsmann Stiftung (2018): Deutschland noch nicht in der algorithmischen Welt angekommen, https://www.bertelsmann-stiftung.de/de/themen/aktuelle-meldungen/2018/mai/deutschland-noch-nicht-in-der-algorithmischen-welt-angekommen/.


Impressum

Herausgeber: Wiebke Glässer, Philipp Otto, Henning Lahmann

Das iRights.Lab ist ein unabhängiger Think Tank zur Entwicklung von Strategien und prakti-schen Lösungen, um die Veränderungen in der digitalen Welt vorteilhaft zu gestalten.Wir interessieren uns besonders für Fragen, die noch niemand oder nur wenige gestellt haben und entwickeln Lösungen gemeinsam mit unseren Partner*innen, die für alle Beteiligten im Sinne einer digitalen Gesellschaft geeignet sind. „NEUN BIS ELF“ ist eine White-Paper-Serie des iRights.Lab. Sie kommt aus unserem Hause, konkret aus der Almstadtstraße 9-11 in Berlin, wo wir unsere Büros haben. Wir möchten damit Hintergründe erklären und Denkimpulse geben, denn viele Gedanken wer-den erst richtig spannend, wenn sie hinaus gehen in die Welt und aufgegriffen und weiterent-wickelt werden. Die Paper erscheinen in unregelmäßigen Abständen und widmen sich immer einem bestimm-ten Thema, das wir für besonders relevant erachten. So interessant, dass wir sie über unsere Türschwelle in den öffentlichen Diskurs heben möchten.

Redaktion: Henning Lahmann Autor: Michael Puntschuh Gestaltung: beworx.de Titelfoto: Konrad Zuse Z1, Foto: Ricardo Rice, CC-BY-SA-2.0 (https://creativecommons.org/licenses/by-sa/2.0/)

iRights.Lab GmbHAlmstadtstraße 9/11D-10119 BerlinTelefon: +49 (0)30 89 37 01 03Fax: +49 (0)30 91 68 18 49E-Mail: [email protected] www.irights-lab.de

facebook: facebook.com/irights.labtwitter: @irightslabinstagram: @irights.lab

Direktor: Philipp Otto

Registergericht: Amtsgericht Berlin-CharlottenburgRegisternummer: HRB 185640Finanzamt Friedrichshain/Prenzlauer Berg | Steuer-Nr. 30/359/50503 | USt-IdNr.: DE311181302Inhaltlich Verantwortlicher i.S.d. § 55 Abs. 2 RStV: Philipp Otto (Anschrift siehe oben)

Die Texte sind freigegeben unter CC BY-NC-ND (https://creativecommons.org/licenses/by-nc-nd/2.0/de/).

mailto:[email protected]

Jenseits des Quellcodes - iRights.Lab · Mark Zuckerberg: Over time, I think the strategy would be...

Documents

Transcript of Jenseits des Quellcodes - iRights.Lab · Mark Zuckerberg: Over time, I think the strategy would be...