Am Montag, 06.05.2019 habe ich in der Enquete-Kommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale“ einen Vortrag zum Thema „KI-Transparenz“ gehalten. Bedeutet KI-Transparenz die Offenlegung des Quellcodes? Der Daten? Oder ist damit etwa ein Vermummungsverbot für maschinelle Entscheidungen gemeint? In diesem Beitrag nehme ich das Buzzword “KI-Transparenz” auseinander und stelle die 3 Thesen vor, die ich in der Kommissionssitzung erläutert habe. 

Der Wunsch, die algorithmische Black-Box zu öffnen scheint allgegenwärtig. Keine Diskussion über die gesellschaftlichen Auswirkungen von Algorithmen und KI vergeht, ohne das an irgendeiner Stelle der Begriff der Transparenz fällt.

„There is transparency regulation that I would love to see. If you look at how much regulation there is around advertising on TV and print it’s just not clear why there should be less on the internet. You should have the same level of transparency required.“

Das Zitat stammt nicht etwa vom französischen Präsidenten Emmanuel Macron oder von der deutschen Verbraucherschutzministerin Katahrina Barley, für die die politische Forderung der Algorithmen-Transparenz zu eine Art Mantra geworden ist, sondern von Facebook CEO Marc Zuckerberg.

Doch die allgemeine Einigkeit über die Bedeutung der Algorithmen-Transparenz stinkt gewaltig nach Begriffsunschärfe. Da selten deutlich wird, was mit Transparenz genau gemeint ist, können alle der Forderung zustimmen, ohne Gefahr zu laufen, später darauf festgenagelt werden. Was muss eigentlich transparent gemacht werden, für wen und mit welchem Ziel? Solange diese Fragen nicht geklärt sind, droht der berechtigte Ruf nach mehr Transparenz wirkungslos zu verhallen. Die Vieldeutigkeit des Transparenz-Begriffs ist ein großes Hindernis auf dem Weg zu konkreten Maßnahmen. Die folgenden Thesen sollen dabei helfen, die Debatte über Transparenz von algorithmischen Systemen zu schärfen und so deren verantwortungsvollen Einsatz zu ermöglichen.

These 1: Transparenz ist kein Selbstzweck, sondern ein wirkungsvoller Hebel zum Erreichen verschiedener Ziele.

Um sinnvolle Maßnahmen treffen zu können, müssen wir Transparenz vom Ende her denken, indem wir uns ihrer verschiedenen Wirkungsweisen und -ziele bewusst werden.

  • Transparenz versetzt Betroffene in die Lage, ihr Verhalten anzupassen, um Entscheidungen zu beeinflussen.
  • Transparenz ist für Betroffene und ihre Vertreter:innen eine unverzichtbare Grundlage, um Rechtsverletzungen zu identifizieren und ihre Rechte durchzusetzen.
  • Transparenz ermöglicht Nutzer:innen und professionellen Anwender:innen, informiert zwischen unterschiedlichen KI-Systemen zu wählen.
  • Transparenz ist Grundlage für gesellschaftliche Debatten über Werte und Normen, die algorithmischen Entscheidungsprozesse abbilden müssen.
  • Transparenz schafft individuelles Vertrauen und gesellschaftliche Akzeptanz für algorithmische Entscheidungsprozesse.

Transparenz zum Erreichen dieser Ziele einzufordern, ist unser gutes Recht. So stellt die Pflicht zur Rechenschaftslegung und Transparenz eines der Grundprinzipen zur Verwirklichung der Menschenrechte dar. In Deutschland gilt das „Grundrecht auf informationelle Selbstbestimmung“ und die damit einhergehenden Informationsrechte über die Speicherung und Verarbeitung von persönlichen Daten seit 1983 als Ausfluss der in Artikel 2 des Grundgesetztes festgeschriebenen allgemeinen Handlungsfreiheit.

These 2: Transparenz braucht Teilhabe-Fokus: Nicht jedes algorithmische System ist eine Black Box. Nicht jede Blackbox muss geöffnet werden.

Einer der Gründe, warum Transparenz in der Debatte über algorithmische Systeme eine so große Rolle spielt – bei menschlichen Entscheidungen wird diese viel zu selten gefordert – ist der vermeintliche Black-Box Charakter der Systeme. Tatsächlich haben leistungsfähigere Rechner, schnellere und dichtere Kommunikationsnetze sowie immer größere Datenmengen dazu geführt, dass heute verstärkt komplexe lernende Systeme zum Einsatz kommen, bei denen der Zusammenhang zwischen Dateneingabe, Programmiercode und Ergebnis auch für ihre Entwickler:innen nicht immer leicht verständlich ist. Es lässt sich nicht bestreiten, dass dies eine Herausforderung für die Überprüfbarkeit und Nachvollziehbarkeit der Systeme darstellt.  

Derzeit wird die Mehrheit der algorithmischen Black-Box Systeme jedoch in Bereichen eingesetzt, die einen sehr begrenzten Einfluss auf das Leben von Menschen haben. Die ethische Debatte über den Einsatz der Systeme bezieht sich in der Regel auf einen sehr kleinen Teilbereich an Einsatzfeldern, ohne dass dies immer explizit deutlich gemacht wird. Das Bilderkennungssystem, das zur Qualitätssicherung bei Schrauben genutzt wird, sollte nicht der gleichen Aufsicht unterliegen wie eine Software, die Entscheidungen über die Einstellung von Mitarbeiter:innen oder die Länge der Haftstrafen von Menschen beeinflusst. Genau wie nicht jedes Gefährt, dass am Verkehr teilnimmt, den gleichen Sicherheitsstandards entsprechen muss – ein Fahrrad muss beispielsweise nicht zum TÜV- muss auch nicht jede algorithmische Black Box auf Teufel komm raus geöffnet werden.

Auch gibt es diverse algorithmische Systeme, die technisch einfach sind und dennoch einen großen Einfluss auf das Leben von Menschen haben. So nutzt das französische Bildungsministerium seit 2009 Software, um Studienplatzbewerber:innen auf Universitäten zuzuteilen. 2016 kam heraus, dass die Nähe des Wohnorts zur Universität den entscheidenden Faktor für die Zuteilung ausmachte. Studierende, die sich leisten können, im Zentrum von Paris zu wohnen, hatten eine bessere Chance, für einen Studienplatz angenommen zu werden. Soziale Ungleichheit wurde so über Jahre hinweg verstärkt. Der Algorithmus hinter der Software ist technisch denkbar einfach. Es handelt sich um einen sogenannten Matching-Algorithmus, der versucht, sowohl für Universitäten, als auch für Studierende, die bestmögliche Zuteilung zu errechnen – eine Aufgabe, die auch als „Stable Marriage Problem“ bekannt ist (hier in einem sehr anschaulichen Video erklärt). Obwohl keine technischen Hürden für Transparenz bestanden, blieb die Problematik der sozialen Benachteiligung ganze 7 Jahre verborgen.

Wir müssen uns hüten, dem Black-Box Narrativ nicht zu sehr zu verfallen, da dies dazu führen kann, dass wir die eigentlichen Hürden für Transparenz – bewusste Geheimhaltung, rechtliche und kommunikative Hindernisse – übersehen. Durch Personen, die algorithmische Systeme einsetzen, kann die Geschichte vom unverständlichen Computersystem sehr leicht als Ausrede umfunktioniert werden, um menschliche Verantwortung zu verschleiern.

Nicht die technische Komplexität, sondern die Teilhaberelevanz eines Systems sollte darüber entscheiden, welche Transparenz-Ansprüche wir erheben!

Es gibt bereits verschiedene Ansätze, um die „Teilhaberelevanz“, also die Auswirkungen des Systems auf die Teilhabe von Menschen an gesellschaftliche relevanten Gütern, und das „Risikopotential“ algorithmischer Systeme zu bestimmen: Die Wissenschaftler Kilian Vieth und Ben Wagner haben im Auftrag der Bertelsmann Stiftung einen Algorithmus für Algorithmen entwickelt, mit dem die gesamtgesellschaftliche Relevanz der Systeme ermittelt werden kann. Zuerst müssen Fragen wie „Werden Menschen durch das algorithmische System bewertet? Wie abhängig sind die Bewerteten vom Ergebnis? Wie viel politische und ökonomische Macht hat der Betreiber? Wie groß ist die Reichweite des Systems?“ beantwortet werden. Die Antworten werden zunächst Punktwerten zugeordnet und diese miteinander verrechnet. Je höher das Gesamtergebnis, desto teilhaberelevanter ein System. Katharina Zweig, Professorin für Informatik und Leiterin des Algorithm Accountability Labs an der TU Kaiserslautern, hat wiederum eine Risikomatrix entwickelt, auf der algorithmische Systeme abhängig vom zu erwartenden Gesamtschaden bei Fehlurteilen und der Anzahl alternativer Anbieter in 5 Risikoklassen eingeteilt werden. Desto höher die Risikoklasse, desto strenger müssen die Anforderungen an Transparenz sein.

These 3: Wir brauchen unterschiedliche Arten von Transparenz: Kennzeichnung, Nachvollziehbarkeit, Überprüfbarkeit.

Je nachdem, mit welchem Ziel und für wen Transparenz geschaffen werden soll, müssen wir unterschiedliche Anforderungen an die Entwicklung und den Einsatz algorithmischer Systeme stellen.

In unseren Algo.Rules, Regeln für die Gestaltung algorithmischer Systeme, haben wir uns daher dafür entschieden, den Begriff der Transparenz zu vermeiden und stattdessen die Forderungen nach Kennzeichnung, Nachvollziehbarkeit und Überprüfbarkeit konkret benannt, um die Umsetzung der Algo.Rules überprüfbar zu machen.

Zum einen müssen algorithmische Systeme als solche gekennzeichnet werden. Für Betroffene muss erkennbar sein, wenn eine Maschine über sie entscheidet. Das „Vermummungsverbot für algorithmische Systeme“ befähigt jedoch erst zur Verhaltensänderung, wenn darüber hinaus der Prozess der Entscheidungsfindung nachvollziehbar gemacht wird. Um fehlerhafte Entscheidungen und diskriminierende Verfahren zu identifizieren, müssen zudem angemessene Beschwerdemechanismen eingerichtet werden. Verantwortlichkeiten müssen klar festgelegt und offen kommuniziert werden. Auch gegenüber der breiten Öffentlichkeit müssen die Ziele, Werteentscheidungen, Funktionsweise, erwartete Wirkung und Qualität der Systeme kommuniziert werden. Nur so ist eine breite gesellschaftliche Debatte darüber, wo und wie algorithmische Systeme eingesetzt werden sollen, möglich. Dieses Öffentlichkeitsprinzip ist insbesondere für staatliche Akteure zwingend. Für die genannten Maßnahmen ist die bloße Offenlegung des Programmiercodes weder nötig noch sinnvoll.

Gut gemeint ist nicht immer gut gemacht. Die Wirkung algorithmischer Systeme muss daher vor, während und nach ihrem Einsatz überprüft werden. Auch dies ist zu einem gewissen Grad ohne Zugriff auf den Quellcode möglich, da hierfür vor allem der Anteil und die Art der Fehlurteile eines Systems relevant sind. Ein ganzheitliches Verständnis für seine Wirkungsweise ist jedoch nur möglich, wenn das Gesamtsystem – inklusive (Trainings-)Daten, Programmiercode, soziale Einbettung, usw. –  betrachtet wird. Externe Prüfstellen und Gerichte sollten daher unter Beachtung legitimer Geheimhaltungsbedürfnisse in die Lage versetzt werden, (teilhaberelevante) algorithmische Systeme umfassend und unabhängig prüfen zu können.

Wenn wir verhindern wollen, dass Transparenz zu einem PR-Begriff der Tech-Industrie verkommt, müssen wir uns um mehr Genauigkeit in der Debatte bemühen, hinterfragen, was mit „Transparenz“ eigentlich gemeint ist und die hier aufgeworfenen Fragen in den Fokus stellen.

 

 

Dieser Artikel ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.