La plupart des conversations sur les biais de l’IA se concentrent sur la même préoccupation : les modèles absorbent les préjugés déjà présents dans leurs données d’entraînement, reflétant les inégalités ancrées dans l’histoire humaine. Cette préoccupation est légitime. Mais de nouvelles recherches pointent vers un problème différent et moins débattu. Les systèmes d’IA ne font pas qu’hériter des biais. Dans certaines conditions, ils les génèrent de toutes pièces.
Comment un jeu de recrutement simulé a révélé un problème plus profond
Des chercheurs de Princeton University et de l’University of Chicago ont conçu une expérience pour tester si les grands modèles de langage pouvaient développer des stéréotypes par l’expérience, de la même manière que les humains le font parfois. Ils ont soumis plusieurs modèles, dont ChatGPT, Claude et Gemini, à un scénario de recrutement simulé adapté d’une étude de psychologie existante sur la formation des stéréotypes chez l’humain.
Chaque modèle s’est vu dire qu’il avait été embauché comme consultant par le maire d’une ville fictive. Sa tâche consistait à pourvoir 20 postes différents, allant de médecins et d’avocats à des auxiliaires de puériculture et des agents d’entretien. Les candidats provenaient de quatre groupes ethniques fictifs aux noms inventés, afin qu’aucune association avec le monde réel ne puisse influencer le résultat. Tous les candidats avaient la même probabilité de réussir dans n’importe quel emploi. Les modèles l’ignoraient.
Après chaque décision de recrutement, le modèle apprenait si le candidat avait réussi, puis passait au tour suivant. L’objectif était de réaliser autant de recrutements réussis que possible sur 40 tours.
Ce qui s’est passé ensuite constitue la découverte clé. Les modèles ont commencé à classer les candidats de différents groupes dans différents emplois sur la base d’observations initiales et limitées. Lorsqu’un modèle constatait qu’un candidat d’un groupe avait échoué dans un rôle à statut élevé, il commençait à écarter tous les membres de ce groupe des rôles similaires pour les orienter vers des rôles à statut inférieur. Une seule donnée est devenue une règle. Une règle est devenue un schéma. Le schéma est devenu de la ségrégation.
Les chiffres, et ce qu’ils révèlent sur la façon dont pensent les LLM
L’étude a mesuré la ségrégation sur une échelle où un score de 2 représente le confinement complet de chaque groupe dans sa propre niche professionnelle. Les participants humains de l’étude de psychologie originale ont obtenu un score de 0,84 sur cette échelle. Les modèles d’IA ont obtenu un score environ 65 % plus élevé. Le modèle de raisonnement o3 d’OpenAI a atteint 1,83, soit un score proche du maximum possible.
Il ne s’agit pas d’une différence marginale. Cela suggère que les modèles se sont montrés nettement plus agressifs que les humains pour enfermer des groupes dans des rôles fixes sur la base de preuves limitées.
La raison, selon Ryan Liu, doctorant à Princeton University et coauteur de l’étude, est structurelle. Les grands modèles de langage sont entraînés sur des tâches telles que les mathématiques, le code et les problèmes scientifiques, où la capacité à généraliser rapidement à partir de quelques exemples est valorisée. Ce même instinct, appliqué à des décisions sociales, produit des stéréotypes. Les modèles sont, selon la formule de Liu, « impatients de créer des généralisations à partir de données limitées ». Cette impatience n’est pas un bug introduit par un ingénieur négligent. C’est une caractéristique de la manière dont ces systèmes sont optimisés.
L’étude, publiée à l’ICML à Séoul en juillet, a également révélé que les modèles plus récents dotés de capacités de raisonnement plus fortes, notamment o3 d’OpenAI et R1 de DeepSeek, présentaient des biais encore plus marqués. Dans ce contexte, un raisonnement plus performant signifiait une généralisation plus rapide et plus confiante, ce qui s’est traduit par des stéréotypes plus prononcés.
Deux interventions ont permis de réduire le biais. Promettre aux modèles un bonus pour un recrutement diversifié les a rendus nettement moins biaisés. Fournir des informations personnelles pertinentes sur les candidats individuels, telles que l’âge et le niveau d’études, a également aidé. Lorsque les modèles disposaient de détails spécifiques et pertinents sur une personne, ils s’appuyaient moins sur l’appartenance à un groupe. Lorsque les informations personnelles n’étaient pas pertinentes, comme la couleur des cheveux ou la forme d’un tatouage, les modèles recommençaient à classer par groupe. Dire simplement aux modèles d’être équitables, sans modifier leurs objectifs ni les informations dont ils disposaient, n’a eu que peu d’effet.
Pourquoi cela importe au-delà du laboratoire
L’expérience est artificielle par conception. Les systèmes de recrutement réels ne reçoivent pas de retour instantané sur la réussite d’un candidat. La boucle de rétroaction qui a alimenté le biais dans l’étude ne correspond pas directement au fonctionnement actuel du tri de CV par l’IA.
Mais la dynamique sous-jacente devient de plus en plus pertinente, et non l’inverse. Les entreprises d’IA développent activement des modèles dotés de capacités de mémoire et de personnalisation améliorées. Comme le note Angelina Wang, informaticienne à Cornell University, un chatbot qui s’appuie sur l’historique de ses conversations précédentes peut sur-pondérer des schémas qu’il a déjà rencontrés. La mémoire, dans ce contexte, n’est pas neutre. C’est un mécanisme par lequel l’expérience façonne les décisions futures, et par lequel de nouveaux biais peuvent s’accumuler.
C’est ce que la plupart des analyses sur le biais de l’IA omettent. La préoccupation ne concerne pas seulement ce que les humains ont enseigné à ces systèmes. Elle concerne ce que ces systèmes s’enseignent à eux-mêmes, à travers les décisions qu’ils prennent et les retours qu’ils reçoivent. À mesure que les LLM sont déployés dans des contextes ayant des conséquences réelles, notamment le recrutement, l’octroi de prêts et les décisions de libération conditionnelle, les biais qui émergent peuvent n’avoir aucune origine humaine claire ni aucun point d’intervention évident.
Le cadre de l’étude est précis sur ce point. Il ne s’agit pas de biais hérités. Ce sont des biais inédits, générés par des systèmes qui optimisent leurs performances dans des environnements où l’équité sociale n’a jamais fait partie de l’objectif.
En bref
Les systèmes d’IA peuvent développer leurs propres stéréotypes par l’expérience, indépendamment de ce sur quoi ils ont été entraînés. Des recherches de Princeton University et de l’University of Chicago ont révélé que des modèles tels que ChatGPT, Claude et Gemini ségréguaient les candidats fictifs à un emploi par groupe de manière beaucoup plus agressive que les participants humains dans un test équivalent. La cause est structurelle : les LLM sont conçus pour généraliser rapidement, et cette tendance, appliquée à des décisions sociales, produit des biais. À mesure que ces systèmes acquièrent de la mémoire et sont déployés dans des situations à enjeux élevés, les biais dont il faut se soucier ne sont pas seulement ceux que les humains y ont programmés.
D’après un reportage de MIT Technology Review.