Dass wir durch Unternehmen mittels Algorithmen überwacht werden, bemerken wir erst, wenn es zu spät ist:
Wir häufen jeden Tag durch unsere Aktivitäten im Internet eine Menge an Daten an. Zum Beispiel, wenn wir Apps und soziale Medien kostenfrei nutzen, geben wir freiwillig unsere privaten Daten preis. Diese können von Dritten für Korrelationen oder Beziehungen von Sachverhalten herangezogen werden.
Daten von uns werden gesammelt, gespeichert und verarbeitet, um maßgeschneiderte Werbung anzubieten. Die gesammelten Daten werden durch automatisierte Prozesse auch in neue Zusammenhänge gebracht. Viele sind sich nicht bewusst, dass wenn sie z.B. Angaben zu ihrer sportlichen Leistung oder Schlafqualität angeben, diese für andere Zwecke genutzt werden können. Zum Beispiel könnten Krankenkassen diese Daten nutzen, um die Krankenkassenbeiträge je nach gesundheitlichem Status anzupassen. Diskriminiert werden würden, diejenigen, die keinen gesunden Lebensstil pflegen und weniger sportlich aktiv sind. Für sie würde sich der Beitrag massiv erhöhen.

Predictive Policing

Algorithmen können aufgrund einer Analyse von Falldaten Wahrscheinlichkeiten berechnen und voraussagen, wer wann und wo ein mögliches Verbrechen begehen könnte.

Heutzutage ist das Predictive Policing bereits Realität geworden: Der Einsatz von Polizeikräften wird hiermit in den USA gesteuert. Es bekommen potentielle Täterinnen Besuch von der Polizei mit dem Hinweis auf Korrelationen aufgrund ihrer vergangenen Straftaten. Die vergangenen Täterinnen werden aufgrund ihrer Gewohnheiten in ein Risikocluster zugeordnet aus dem sie schwer herauskommen. Einmal eine Straftat begangen entwickelt der Algorithmus eine Datenkorrelation. Da Technik und Systeme oft als objektiv und neutral wahrgenommen werden, ist es schwierig nachzuweisen, dass diese Korrelation falsch ist. Die Opfer müssen beweisen, dass diese Korrelation falsch ist.

Social Sorting

Nicht nur im Bereich der Kriminalitätsprävention sondern auch im sozialen Leben erleben wir, dass Daten herangezogen werden, um z.B. die Kreditwürdigkeit einer Person automatisch zur ermitteln. Das wird als „Social Sorting“ bezeichnet und sortiert die Menschen anhand von Algorithmen in bestimmte soziale Klassen ein.Algorithmen entscheiden zum Beispiel in Österreich, ob eine Person zu einem Vorstellungsgespräch eingeladen wird. Bewerbungssysteme werden anhand von vergangenen Daten gefüttert, so dass Algorithmen analysieren, wer in der Vergangenheit zu einem Vorstellungsgespräch eingeladen wurde. Wenn zum Beispiel schwarze Bewerber:innen in der Vergangenheit bei gleicher Qualifikation nicht eingestellt wurden, wird der Algorithmus daraus schließen, dass man diese gar nicht erst zum Vorstellungsgespräch einladen braucht. In den wenigsten Fällen haben Personaler:innen eine Idee, weshalb die Algorithmen zu dieser Entscheidung kommen. Wer die Entscheidungen hinterfragt wird häufig nicht ernst genommen, da man Computern mehr vertraut als dem menschlichem Verstand.

Was können wir tun, um der Diskriminierung von Algorithmen entgegen zu kommen?: Es gilt erstens, tradierte gesellschaftliche Muster aufzudecken und auch aufzubrechen. Zweitens müssen wir einen transparenten Zugang auf die Entwicklung algorithmischer Systeme einfordern.
Der Einsatz von Algorithmen in den Systemen muss als solches gekennzeichnet werden. Sie müssen auch so nachvollziehbar und überprüfbar wie möglich entwickelt und ausgestaltet werden. Falschentscheidungen müssen aufgedeckt werden können. Und das bedeutet, dass es eine Dokumentierungs- und Protokollierungspflicht für Algorithmen geben muss. Die Personen müssen auch Auskunft darüber erhalten, weshalb und anhand welcher Faktoren es zu einer negativen Entscheidung geführt hat.

Drittens müssen die komplexen Diskrimierungsphänomene verstärkt in den Fokus gerückt werden.
Wenn wir über Diskrimierungen sprechen, dann müssen wir auch heutzutage öfters auch die intersektionale Perspektiven, d.h. auf vielschichtige und oft wechselseitig verstärkende Diskriminierunsgkategorien wie Gender, sexuelle Identität, Hautfarbe, Herkunft, Religion oder Behinderung eingehen.