Bis zu 70 Prozent der Stellenbewerber in Großbritannien und den Vereinigten Staaten werden zuerst von automatisierten algorithmischen Verfahren bewertet, bevor ein Mensch ihre Unterlagen sieht. Gerichte in neun US-Bundesstaaten nutzen in Strafverfahren Software, die Risikoprognosen für die Angeklagten berechnet. Automatisierte Prognosen zur Kreditwürdigkeit werden in den Vereinigten Staaten auch genutzt, um die Höhe von Versicherungspolicen zu bestimmen. Das FBI gleicht Bildmaterial von Straftätern automatisiert mit 411 Millionen Bildern aus Führerschein-, Pass- und Visadaten ab, um mögliche Verdächtige zu identifizieren.

Diese vier Beispiele zeigen: Menschen werden heute in vielen Lebensbereichen von Prozessen algorithmischer Entscheidungsfindung bewertet, sogenanntem „algorithmic decision making“ (ADM). Solche ADM-Prozesse sind seit Jahren im Einsatz und kategorisieren Menschen ohne große Debatte über Fairness, Erklärbarkeit, Überprüfbarkeit oder Korrigierbarkeit der Verfahren. Neun solcher Beispiele habe ich mit Anita Klingel in dem Arbeitspapier “Wenn Maschinen Menschen bewerten” (kostenloser Download, veröffentlicht unter CC BY-SA 3.0 DE) analysiert.

Hier als kleiner, gekürzter Überblick aus dem Fazit Chancen und Risiken von ADM-Prozessen in neun Wirkungsdimensionen:

1. Normative Setzungen

Chance: Bei der Gestaltung eines ADM-Prozesses müssen normative Entscheidungen (z. B. über Fairness-Kriterien) vor dem Einsatz fallen. Das bietet die Möglichkeit, früh und grundlegend ethische Fragen öffentlich zu diskutieren und Entscheidungen zu dokumentieren.

Risiko: ADM-Prozesse können normative Entscheidungen im Design verstecken. Wenn erst nach Abschluss der Gestaltung Raum für Diskurs ist, werden Setzungen leichter als gegeben akzeptiert.

2. Datenbasis

Chance: Software kann eine deutlich größere Datenbasis analysieren als Menschen und so Muster erkennen, die einige Fragen schneller, präziser oder günstiger lösen können.

Risiko: Die Datenbasis eines ADM-Prozessen kann Verzerrungen enthalten, die durch das Verfahren scheinbar objektiviert werden. Wenn die Kausalitäten hinter Korrelationen nicht überprüft werden, ist die Gefahr nicht beabsichtigter, aber billigend in Kauf genommener systematischer Diskriminierung groß.

3. Konsistenz der Anwendung

Chance: Algorithmenbasierte Prognosen arbeiten zuverlässig die vorgegebene Entscheidungslogik in jedem Einzelfall ab. Im Gegensatz zu menschlichen Entscheidern ist Software nicht tagesformabhängig und wendet nicht willkürlich in Einzelfällen neue, unter Umständen ungeeignete Kriterien an.

Risiko: Bei ungewöhnlichen Fällen fehlt oft die Flexibilität, relevantes Unerwartetes auszuwerten und entsprechend zu reagieren. Auch Fehler in den Trainingsdaten oder der Entscheidungslogik wendet ein ADM-System auf jedem Einzelfall zuverlässig an.

4. Skalierbarkeit

Chance: Der Anwendungsbereich eingesetzter Software ist potenziell um ein Vielfaches größer als der Einflussbereich eines menschlichen Entscheiders, weil die Entscheidungslogik eines Systems sehr günstig auf nahezu unbegrenzt viele Fälle anwendbar ist.

Risiko: Die leichte Skalierbarkeit von ADM-Prozessen kann dazu führen, dass die Vielfalt der eingesetzten und einsetzbaren ADM-Prozesse sinkt und dass viel häufiger und bei weit mehr Anlässen maschinell bewertet wird, als dies möglicherweise gesellschaftlich gewünscht ist.

5. Überprüfbarkeit

Chance: Datenbasierte und digitale Systeme können so gestaltet werden, dass Erklärbarkeit, Nachvollziehbarkeit, unabhängige Überprüfbarkeit und die Möglichkeiten zur forensischen Datenanalyse gegeben sind.

Risiko: Die Begründung von Entscheidungen sowie eine unabhängige Evaluation sind in vielen Fällen qua Design und Betreibermodellen nur eingeschränkt institutionalisiert, möglich oder verständlich.

6. Anpassungsfähigkeit

Chance: ADM-Prozesse können neuen Umständen angepasst werden — entweder durch neue Trainingsdaten oder durch selbstlernend angelegte Systeme.

Risiko: Die Symmetrie der Anpassungsfähigkeit in alle Richtungen ist abhängig von der Gestaltung des Prozesses. Auch einseitige Anpassung ist möglich.

7. Effizienz

Chance: Die maschinelle Auswertung großer Datenmengen ist in der Regel günstiger als die Auswertung vergleichbarer Datenmengen durch menschliche Analysten.

Risiko: Effizienzgewinne durch ADM-Prozesse können verdecken, dass die absolut zur Verfügung stehenden Mittel insgesamt zu gering oder inadäquat sind.

8. Personalisierung

Chance: ADM-Prozesse können den Zugang zu personalisierten Angeboten und Dienstleistungen demokratisieren, die aufgrund der Kosten bislang wenigen vorbehalten waren. Zum Beispiel: Für die Recherchebreite und -tiefe einer Suchmaschinenanfrage waren vor dem Web mehrere wissenschaftliche Assistenten und Bibliothekare nötig.

Risiko: Wo ADM-Prozesse das Massengeschäft dominieren, kommen nur wenige Privilegierte in den Genuss, von Menschen bewertet zu werden — was zum Beispiel bei der Bewerbervorauswahl oder Kreditvergabe in ungewöhnlichen Konstellationen Vorteile haben kann.

9. Menschliche Wahrnehmung maschineller Entscheidungen

Chance: ADM-Prozesse können konsistent zu statistischen Vorhersagen kommen. In bestimmten Fällen sind diese zuverlässiger als menschliche Experten — hier kann Software als Ergänzung mehr Zeit fürs Wesentliche schaffen.

Risiko: Menschen können softwarebasierte Prognosen als verlässlicher, objektiver und aussagekräftiger als andere Informationen empfinden. Das kann dazu führen, dass Menschen die Empfehlungen und Prognosen der Software im Einzelfall nicht hinterfragen oder davon nur weiter in die vorgeschlagene Richtung abweichen.

Veröffentlicht unter CC BY-SA 3.0 DE (Namensnennung — Weitergabe unter gleichen Bedingungen). Gekürzter Auszug aus: “Wenn Maschinen Menschen bewerten” 1. Auflage 2017 , 50 Seiten (PDF), DOI 10.11586/2017025