Künstliche Intelligenz, so die Meinung vieler Techno-Utopisten, kann eine gerechtere Welt schaffen, weil ihre Entscheidungsprozesse frei von Emotionen und damit auch von Vorurteilen sind. Das klingt zwar gut, sieht in der Praxis allerdings häufig anders aus. Ein gutes Beispiel dafür, dass Vorurteile und Stereotype von Menschen reproduziert werden ist die Personalrekrutierung von Amazon unter Einsatz einer KI-Software. Nach einem Reuters-Bericht (https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G) versucht das Unternehmen schon seit 2014, eine KI zu entwickeln, die den Einstellungsprozess optimieren sollte. Sie wollten eine Maschine, der man 100 Bewerbungen gibt und die dann die besten fünf Kandidaten ausspuckt. Ein Jahr später haben die Verantwortlichen dann aber einen folgenschweren Fehler bemerkt: Die KI benachteiligte Frauen. Das Problem lag hier wie so häufig bei den Trainingsdaten, anhand derer die KI lernen sollte, welche Bewerber Amazon gerne einstellen würde. Die KI-Modelle wurden anhand von Bewerbungen trainiert, die innerhalb der letzten zehn Jahre bei Amazon eingegangen waren. Die meisten davon kamen allerdings von Männern. Ein offensichtliches Muster, aus dem das System folgerte, dass Männer die bevorzugten Kandidaten waren. Laut Reuters-Bericht bewertete das Amazon-System Bewerbungen daher schlechter, in denen Begriffe wie „Frauen-Schachclub“ vorkamen. Außerdem sollen auch Frauen schlechtere Bewertungen erhalten haben, die Frauenhochschulen besucht hatten. Dieses Praxisbeispiel aus dem Personalbereich zeigt, dass Künstliche Intelligenz Algorithmen genauso diskriminierend sein können wie die Menschen, die sie programmieren. Künstliche Intelligenz Software bergen das Potenzial, in der Gesellschaft bereits vorhandene Diskriminierungen nicht nur zu übernehmen, sondern möglicherweise sogar zu verschärfen. Manche Diskriminierungen entstehen bereits bei der Konzeption eines Künstliche Intelligenz Systems: Die Art und Weise, wie eine Künstliche Intelligenz Software eine Entscheidung trifft, hängt von dem Datensatz ab, der ihm zugrunde gelegt wird. Meistens werden als Datensätze Erfahrungswerte aus der Vergangenheit herangezogen. Unbewusst werden dadurch in der Gesellschaft etablierte Vorurteile in die Künstliche Intelligenz Software übertragen, indem problematische Trainingsdaten ausgewählt werden. Sind diese überwiegend männlich, lernt der Algorithmus, Bewerbungen von Männern besser zu bewerten als diejenigen von Frauen. Auf technischem Wege setzt das KI-System bestehende Diskriminierungen somit effektiv durch.
KI Systeme bergen somit das Potential, bereits vorhandene Diskriminierungen nicht nur zu übernehmen, sondern sogar zu verschärfen. Ein weiteres Beispiel ist die vom österreichischen Arbeitsmarktservice eingesetzte Software die Chancen von Frauen auf dem Arbeitsmarkt grundsätzlich negativ einstufte. Die KI lernte anhand von vergangenen Arbeitsmarktsituationen, dass es Frauen auf dem Arbeitsmarkt schwerer haben, und projizierte dies auf die Zukunft. In der Folge erhielten Frauen weniger Förderungen.
Das Allgemeine Gleichbehandlungsgesetz (AGG) ist die wichtigste Rechtsgrundlage gegen Diskriminierungen.  Für Diskriminierungen enthält das Allgemeine Gleichbehandlungsgesetz (AGG) konkrete Benachteiligungsverbote (§ 19 AGG). Die bestehenden Diskriminierungsverbote (GG, AGG) der analogen Welt müssen auch für die digitale Welt gelten. Es gibt eine Diskussion, ob das AGG an die neuen technischen Möglichkeiten angepasst werden muss oder ob es in der jetzigen Form ausreicht. Wenn ein Bewerber oder eine Bewerberin bei einem Bewerbungsverfahren unter Einsatz eines KI-Systems abgelehnt wird, sind Schadensersatzklagen auf Grundlage des Allgemeinen Gleichbehandlungsgesetzes (AGG) vorprogrammiert. Die Rechtsdurchsetzung mit dem AGG bei algorithmischen Entscheidungsprozessen ist kaum möglich: Betroffene müssen selbst Indizien vortragen, aus denen auf eine unzulässige digitale Benachteiligung geschlossen werden kann. Die Entscheidungsstruktur des Algorithmus und deren Wirkweise vollzieht sich jedoch „im Hintergrund“, so dass für Betroffene nicht erkennbar ist, welche Kriterien hier eine Rolle spielen. Wenn diese Entscheidungsprozesse außerdem nicht hinreichend nachvollziehbar und transparent sind, lassen sich solche Diskriminierungen nur schwer erkennen. Bei einer automatisierten Personalauswahl mithilfe sogenannter „Künstlicher Intelligenz“-Systeme muss etwa geklärt werden, nach welchen Kriterien der Algorithmus die geeigneten Bewerberinnen und Bewerber auswählt. Grundlage hierfür ist das Mitbestimmungs- und Kontrollrecht des Betriebsrats auf die Gestaltung der Auswahlrichtlinien. Dafür benötigen die Betriebsräte mehr Transparenz – von Anfang an. Klar ist auch, dass bestimmte Auswahlkriterien von vornherein aus ethischen Gründen ausgeschlossen sein müssen, wie zum Beispiel das automatische Herausfiltern vermeintlicher „Low Performer“. Außerdem muss in Unternehmen mit Betriebsräten berücksichtigt werden, dass diese bei der Installation eines KI-Recruiting Systems mit Sicherheit mitbestimmen wollen. So haben Betriebsräte nach §87 Abs. 1 Nr.6 BetrVG ein Mitbestimmungsrecht bei der Einführung und Anwendungen von technischen Einrichtungen. Im Rahmen von§ 95 BetrVG besteht auch ein Mitbestimmungsrecht des Betriebsrates, wenn der Arbeitgeber generelle Auswahlrichtlinien entwickelt.  die als Grundlage für die Entscheidung der KI dienen sollen.