Wenn Personen im Netz diskriminiert werden, fällt das nicht immer gleich auf. Doch hinter einer scheinbar zufälligen Handlung oder Aussortierung stecken oftmals sogenannte automatisierte Entscheidungssysteme. Das sind Systeme, die ihre Entscheidungsmodelle oder -wege mithilfe von Algorithmen ausführen. So können diese Systeme Entscheidungen unterstützen oder vorbereiten, indem sie Empfehlungen aussprechen oder Daten aufbereiten. Zum Beispiel könnte mit einem automatisierten Entscheidungssystem aus einer großen Anzahl Bewerber:innen für eine Wohnung eine Liste mit Kandidat:innen, die bestimmten Kriterien entsprechen, erstellt werden. Doch genau hierbei besteht die Gefahr zur Diskriminierung.
Die vorliegende Broschüre von AlgorithmWatch richtet sich in erster Linie an Mitarbeitende von Antidiskriminierungsstellen in Deutschland. Sie soll durch die Vermittlung entsprechender Kompetenzen helfen, Risiken besser zu erkennen und Betroffene besser zu unterstützen. Dabei ist die Publikation im Rahmen des Projektes „AutoCheck – Handlungsanleitung für den Umgang mit automatisierten Entscheidungssystemen für Antidiskriminierungsstellen“ entstanden und vermittelt einen ersten grundlegenden Einstieg in die Thematik. So finden sich zuerst wichtige Definitionen und Erklärungen von Begriffen und Vorgehensweisen, bevor es dann um die konkrete Nennung von Beispielen geht. Denn wie genau sieht eine Diskriminierung durch ein automatisiertes Entscheidungssystem eigentlich aus?
Diskriminierung: unterschiedlich und vielfältig
Hier zeigt die Handreichung, wie unterschiedlich und vielfältig Diskriminierung vonstattengehen kann. So wurde beispielsweise einer 40-jährigen Frau der Kauf auf Rechnung verwehrt, weil ein automatisiertes System ausgewertet hatte, dass Frauen um die 40 nicht kreditwürdig genug sind. Anders verhält es sich im Fall von Audrey im Jahr 2020. Hier erkannte eine Gesichtserkennungssoftware das Gesicht der Frau nicht als Motiv an, weil sie schwarz ist.
Fazit
Die Broschüre zeigt eindrucksvoll, dass Diskriminierung nicht nur auf zwischenmenschlicher Basis präsent ist und weist damit auf eine wichtige Thematik hin. Oftmals sind sich Betroffene nicht bewusst, was weshalb passiert oder wissen nicht, wie sie damit umgehen können. Hierzu bietet die Broschüre entsprechende Unterstützung und gibt hilfreiche Tipps und Ratschläge. Fakt ist, dass Diskriminierung auch im Netz keinen Platz hat, weder von Menschen noch Maschinen.
Titel:
Automatisierte Entscheidungssysteme und Diskriminierung. Ursachen verstehen, Fälle erkennen, Betroffene unterstützen. Ein Ratgeber für Antidiskriminierungsstellen.
Quelle (Erscheinungsjahr):
AlgorithmWatch (2022)
Download als PDF über die Webseite des Herausgebers:
algorithmwatch.org