Die meisten Diskussionen über KI-Bias konzentrieren sich auf dieselbe Sorge: Modelle absorbieren die bereits in ihren Trainingsdaten vorhandenen Vorurteile und spiegeln die in der menschlichen Geschichte verankerten Ungleichheiten wider. Diese Sorge ist berechtigt. Doch neue Forschungsergebnisse weisen auf ein anderes, weniger diskutiertes Problem hin. KI-Systeme erben Bias nicht nur. Unter den richtigen Bedingungen erzeugen sie ihn von Grund auf neu.
Wie ein simuliertes Einstellungsspiel ein tiefer liegendes Problem aufdeckte
Forschende der Princeton University und der University of Chicago entwarfen ein Experiment, um zu testen, ob große Sprachmodelle durch Erfahrung Stereotype entwickeln können, so wie es Menschen manchmal tun. Sie ließen mehrere Modelle, darunter ChatGPT, Claude und Gemini, ein simuliertes Einstellungsszenario durchlaufen, das auf einer bestehenden psychologischen Studie zur menschlichen Stereotypenbildung basierte.
Jedem Modell wurde mitgeteilt, dass es vom Bürgermeister einer fiktiven Stadt als Berater eingestellt worden sei. Seine Aufgabe war es, 20 verschiedene Stellen zu besetzen, die von Ärzten und Anwälten bis hin zu Kinderbetreuern und Reinigungskräften reichten. Die Kandidaten stammten aus vier fiktiven ethnischen Gruppen mit erfundenen Namen, sodass keine Assoziationen aus der realen Welt das Ergebnis beeinflussen konnten. Alle Kandidaten hatten die gleiche Wahrscheinlichkeit, in jedem beliebigen Job erfolgreich zu sein. Die Modelle wussten dies nicht.
Nach jeder Einstellungsentscheidung erfuhr das Modell, ob der Kandidat erfolgreich gewesen war, und ging dann zur nächsten Runde über. Das Ziel war es, über 40 Runden hinweg so viele erfolgreiche Einstellungen wie möglich vorzunehmen.
Was als Nächstes geschah, ist die entscheidende Erkenntnis. Die Modelle begannen, Kandidaten aus verschiedenen Gruppen basierend auf frühen, begrenzten Beobachtungen in unterschiedliche Jobs einzuteilen. Wenn ein Modell sah, dass ein Kandidat aus einer Gruppe in einer Rolle mit hohem Status versagt hatte, begann es, alle Mitglieder dieser Gruppe von ähnlichen Rollen fernzuhalten und sie in Richtung von Rollen mit niedrigerem Status zu lenken. Ein einzelner Datenpunkt wurde zu einer Regel. Eine Regel wurde zu einem Muster. Das Muster wurde zur Segregation.
Die Zahlen und was sie darüber verraten, wie LLMs denken
Die Studie maß die Segregation auf einer Skala, bei der ein Wert von 2 die vollständige Beschränkung jeder Gruppe auf ihre eigene berufliche Nische darstellt. Menschliche Teilnehmer in der ursprünglichen psychologischen Studie erreichten auf dieser Skala einen Wert von 0,84. Die KI-Modelle schnitten um etwa 65 % höher ab. Das Reasoning-Modell o3 von OpenAI erreichte 1,83, was nahe am maximal möglichen Wert liegt.
Dies ist kein marginaler Unterschied. Es deutet darauf hin, dass die Modelle deutlich aggressiver als Menschen vorgegangen sind, wenn es darum ging, Gruppen basierend auf begrenzten Beweisen in festen Rollen festzuschreiben.
Der Grund dafür ist laut Ryan Liu, einem Doktoranden an der Princeton University und Co-Autor der Studie, struktureller Natur. LLMs werden für Aufgaben wie Mathematik, Codierung und wissenschaftliche Probleme trainiert, bei denen die Fähigkeit, schnell aus wenigen Beispielen zu verallgemeinern, belohnt wird. Derselbe Instinkt führt, angewandt auf soziale Entscheidungen, zu Stereotypisierung. Die Modelle sind, in Lius Formulierung, „bestrebt, Verallgemeinerungen aus begrenzten Daten zu erstellen“. Dieses Bestreben ist kein Bug, der von einem unachtsamen Ingenieur eingeführt wurde. Es ist ein Feature der Art und Weise, wie diese Systeme optimiert sind.
Die Studie, die im Juli auf der ICML in Seoul veröffentlicht wurde, stellte außerdem fest, dass neuere Modelle mit stärkeren Reasoning-Fähigkeiten, darunter o3 von OpenAI und R1 von DeepSeek, noch ausgeprägtere Biases zeigten. Leistungsfähigeres Reasoning bedeutete in diesem Kontext eine schnellere und selbstbewusstere Verallgemeinerung, was sich in einer ausgeprägteren Stereotypisierung niederschlug.
Zwei Interventionen reduzierten den Bias. Den Modellen einen Bonus für eine diverse Einstellungspraxis zu versprechen, machte sie wesentlich weniger voreingenommen. Auch die Bereitstellung relevanter persönlicher Informationen über einzelne Kandidaten, wie Alter und Ausbildung, half. Wenn die Modelle spezifische, relevante Details über eine Person hatten, verließen sie sich weniger auf die Gruppenzugehörigkeit. Wenn die persönlichen Informationen irrelevant waren, wie etwa Haarfarbe oder die Form von Tätowierungen, fielen die Modelle in das Sortieren nach Gruppen zurück. Den Modellen einfach zu sagen, sie sollten fair sein, ohne ihre Ziele oder die ihnen zur Verfügung stehenden Informationen zu ändern, hatte kaum Auswirkungen.
Warum dies über das Labor hinaus von Bedeutung ist
Das Experiment ist bewusst künstlich gestaltet. Reale Einstellungssysteme erhalten kein sofortiges Feedback darüber, ob ein Kandidat erfolgreich war. Die Feedbackschleife, die in der Studie den Bias verstärkte, lässt sich nicht direkt darauf übertragen, wie KI-Lebenslauf-Screenings derzeit funktionieren.
Aber die zugrunde liegende Dynamik wird immer relevanter, nicht weniger. KI-Unternehmen entwickeln aktiv Modelle mit verbesserten Gedächtnis- und Personalisierungsfunktionen. Wie Angelina Wang, eine Informatikerin an der Cornell University, anmerkt, kann ein Chatbot, der auf seinen bisherigen Gesprächsverlauf zurückgreift, Muster, denen er zuvor begegnet ist, überbewerten. Gedächtnis ist in diesem Kontext nicht neutral. Es ist ein Mechanismen, durch den Erfahrung zukünftige Entscheidungen prägt und durch den sich neuartige Biases ansammeln können.
Das ist es, was die meiste Berichterstattung über KI-Bias übersieht. Die Sorge gilt nicht nur dem, was Menschen diesen Systemen beigebracht haben. Es geht darum, was diese Systeme sich selbst beibringen – durch die Entscheidungen, die sie treffen, und das Feedback, das sie erhalten. Wenn LLMs in Kontexten mit realen Konsequenzen eingesetzt werden, einschließlich Einstellungen, Kreditvergaben und Bewährungsentscheidungen, haben die entstehenden Biases möglicherweise keinen klaren menschlichen Ursprung und keinen offensichtlichen Ansatzpunkt für Interventionen.
Der Rahmen der Studie ist in diesem Punkt präzise. Dies sind keine geerbten Biases. Es sind neuartige, generiert von Systemen, die auf Leistung in Umgebungen optimiert sind, in denen soziale Fairness nie Teil der Zielsetzung war.
Kurz gesagt
KI-Systeme können durch Erfahrung eigene Stereotype entwickeln, unabhängig davon, worauf sie trainiert wurden. Untersuchungen der Princeton University und der University of Chicago ergaben, dass Modelle wie ChatGPT, Claude und Gemini fiktive Jobkandidaten weitaus aggressiver nach Gruppen aufteilten als menschliche Teilnehmer in einem vergleichbaren Test. Die Ursache ist strukturell: LLMs sind darauf ausgelegt, schnell zu verallgemeinern, und diese Tendenz führt, angewandt auf soziale Entscheidungen, zu Bias. Da diese Systeme an Gedächtnis gewinnen und in Bereichen mit hoher Tragweite eingesetzt werden, sind die Biases, über die man sich Sorgen machen sollte, nicht nur diejenigen, die von Menschen einprogrammiert wurden.
Basierend auf Berichten von MIT Technology Review.