Kann man Fairness mathematisch quantifizieren? Diese Frage lässt sich dank eines algorithmischen Spiels der MIT Technology Review nun interaktiv beantworten – beziehungsweise kann jede:r selbst am Computer den Versuch wagen! Außerdem: Welchen Nutzen können künstliche intelligente Systeme in deutschen Krankenhäusern stiften? Wie hängen KI und Klimawandel miteinander zusammen? Und: Warum entscheidet eine australische Software über die Bezüge von Sozialleistungen und lässt dabei Betroffene oft rat- und hilflos zurück?

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns stets sehr über Vorschläge für Erlesenes von unseren Leser:innen. Wer einen spannenden Text gefunden hat, kann uns diesen gerne per E-Mail an lajla.fetic@bertelsmann-stiftung.de zukommen lassen.

🔖Kann ein Algorithmus fairer sein als Richter:innen? Ein interaktives Spiel.

(Can you make AI fairer than a judge? Play our courtroom algorithm game), 17. Oktober, MIT Technology Review

Lässt sich Fairness mathematisch quantifizieren? Seit Langem beschäftigt diese Frage die KI-Forschung (siehe auch Erlesenes #86). Karen Hao, Reporterin bei MIT Technology Review und der KI-Wissenschaftler Jonathan Stray verdeutlichen nun sehr anschaulich, warum die Antwort kompliziert ist. Am Beispiel des COMPAS-Algorithmus, der in den USA zur Einschätzung des Risikos künftiger Straftaten von Angeklagten verwendet wird, lässt das Duo Leser:innen mittels interaktiver, manipulierbarer Grafiken erleben, wo die große Herausforderung liegt: Fairness ist ein philosophisches Konzept, für das es unterschiedliche Definitionen gibt, die nicht miteinander vereinbar sind. Hao und Stray betonen, dass es diesen Zielkonflikt im Justizwesen (und darüber hinaus) schon immer gegeben habe und die Abwägung für und wider bestimmte Definitionen auch bei menschlichen Entscheidungen vorgenommen werde. Doch algorithmische Entscheidungen ließen sich oft schwerer hinterfragen als von Menschen getroffene Beschlüsse, zudem gingen bei Versuchen, philosophische Konzepte in mathematische Ausdrücke umzuwandeln, viele Nuancen und Flexibilität verloren.

🔖Warum quantitative Metriken ein großes Problem für KI sein können

(The problem with metrics is a big problem for AI), 24. September 2019, fast.ai

Einige der gravierendsten Fälle von unerwünschten Folgen des Einsatzes von Algorithmen seien auf die übertriebene Fokussierung ihrer Macher:innen auf einzelne quantitative Metriken zurückzuführen, schreibt die KI-Ethikerin und Unternehmerin Rachel Thomas im Blog ihres Startups fast.ai. Sie erläutert anhand von fünf Prinzipien, wieso bei Algorithmen das sture Festhalten an Kriterien wie Klicks bei Artikeln, Sehdauer bei YouTube-Videos oder dem Auftreten von anspruchsvollen Wörtern in standardisierten Sprachtests negative Auswirkungen hat. Ihr gehe es nicht um die grundsätzliche Verteufelung von quantitativen Kriterien zur Erfolgsmessung. Sie wolle aber die Macher:innen von KI dafür sensibilisieren, welche Risiken sich aus der Überbetonung derartiger Metriken ergeben können. Abschließend liefert sie einige Vorschläge, wie sich durch Metriken fehlgeleitete algorithmische Entscheidungen verhindern lassen.

🔖Künstlich intelligente Diagnose als zweite Meinung

18. Oktober 2019, c’t

Krankenhäuser in Deutschland bereiten sich auf den zeitnahen praktischen Einsatz von auf Künstlicher Intelligenz (KI) basierenden Systemen vor, wie Arne Grävemeyer, Redakteur beim c’t Magazin, in diesem Lagebericht schildert. Die Nutzung entsprechender Software biete sich unter anderem in der Radiologie (insbesondere in der Krebserkennung), in der Pathologie sowie in der Psychiatrie an. Grävemeyer zeichnet ein insgesamt optimistisches Bild und geht in seinem Artikel auch auf einige Maßnahmen ein, mit denen Forscher:innen und Ärzt:innen den mit KI-Lösungen verbundenen Herausforderungen begegnen können. So könnten etwa Mechanismen zur „Plausibilitätskontrolle“ den Fachleuten nachvollziehbare Einblicke darüber geben, wieso ein Algorithmus zu einer bestimmten Diagnose kommt. Die KI würde beispielsweise diejenigen Teile einer Röntgenaufnahme graphisch markieren, die besonders relevant für die getroffene Einschätzung gewesen sind. Problematisch sei grundsätzlich allerdings das dynamische Tempo der KI-Medizinforschung, in der der wissenschaftliche Diskurs über neue Verfahren häufig zu kurz komme.

🔖Sieben Empfehlungen, um die Rolle von KI als CO2-Sünder zu verringern

(AI and Climate Change: How they’re connected, and what we can do about it), 17. Oktober 2019, AI Now Institute

Der Technologiesektor stößt ähnlich viel Kohlendioxid in die Atmosphäre wie die Luftfahrt. Das regelrechte Wettrüsten bei Künstlicher Intelligenz (KI) trägt einen entscheidenden Teil hierzu bei (siehe auch Erlesenes #85). Die Forscher:innen Roel Dobbe und Meredith Whittaker vom AI Now Institute der New York University stellen in diesem Beitrag sieben Empfehlungen für klimapolitische Maßnahmen zur Debatte, mit denen die wachsende Rolle von KI als CO2-Sünder formell anerkannt sowie einer Umkehrung dieser Entwicklung der Weg geebnet werden könnte. Zu den Vorschlägen gehört ein Zwang zur transparenten Kenntlichmachung von Emissionen durch Tech-Konzerne, eine Verknüpfung von Klimapolitik mit der Regulierung der Technologiebranche sowie eine Verhinderung des Einsatzes von KI bei der Erschließung neuer Vorkommen fossiler Brennstoffe.

🔖Australiens aggressiver Sozialhilfe-Algorithmus lässt Betroffene verzweifeln

(The automated system leaving welfare recipients cut off with nowhere to turn), 17. Oktober 2019, The Guardian

In Australien entscheidet ein automatisiertes System über eingestellte Zahlungen an Empfänger:innen von Sozialleistungen und versendet jede Woche rund 50.000 entsprechende Benachrichtigungen. Luke Henriques-Gomes, Australien-Korrespondent bei The Guardian, berichtet über die teils prekären Situationen, in denen die Betroffenen dadurch landen würden. Häufig genügten geringste Versäumnisse, etwa die Nichtteilnahme an einem von der Arbeitsagentur kurzfristig festgelegten Termin, für einen Zahlungsstopp. Problematisch seien laut Henriques-Gomes nicht nur das aggressive Regelwerk des Systems und die Tatsache, dass menschliches Personal bei den Behörden immer weniger Einfluss auf Entscheidungen habe, sondern auch, dass den Betroffenen Ansprechpartner:innen fehlten – gerade dann, wenn eine algorithmische Entscheidung sich als falsch herausstellt (Fehlentscheidungen der Software sorgten sorgten schon vor zwei Jahren für Aufsehen, wie wir auf unserem Blog berichteten). Gemäß der Recherche des Guardian seien zwei Gruppen in besonderem Maße negativ von dem System betroffen: Obdachlose und Alleinerziehende. Der Text ist Teil einer Artikelserie mit dem kontroversen Titel “Automating poverty” (Automatisierung der Armut).

Das war‘s für diese Woche. Sollten Sie Feedback, Themenhinweise oder Verbesserungsvorschläge haben, mailen Sie uns gerne: lajla.fetic@bertelsmann-stiftung.de 

Sie können die Algorithmenethik Lektüreempfehlungen „Erlesenes“ hier abonnieren.