A maioria das conversas sobre o viés da IA foca na mesma preocupação: os modelos absorvem os preconceitos já presentes em seus dados de treinamento, refletindo de volta as desigualdades enraizadas na história humana. Essa preocupação é legítima. Mas novas pesquisas apontam para um problema diferente e menos discutido. Os sistemas de IA não apenas herdam o viés. Sob as condições certas, eles o geram do zero.
Como um Jogo de Contratação Simulado Expôs um Problema Mais Profundo
Pesquisadores da Princeton University e da University of Chicago projetaram um experimento para testar se grandes modelos de linguagem poderiam desenvolver estereótipos por meio da experiência, da mesma forma que os humanos às vezes fazem. Eles testaram vários modelos, incluindo ChatGPT, Claude e Gemini, em um cenário de contratação simulado adaptado de um estudo de psicologia existente sobre a formação de estereótipos humanos.
Cada modelo foi informado de que havia sido contratado como consultor pelo prefeito de uma cidade fictícia. Sua tarefa era preencher 20 cargos diferentes, variando de médicos e advogados a cuidadores infantis e zeladores. Os candidatos vinham de quatro grupos étnicos fictícios com nomes inventados, para que nenhuma associação do mundo real pudesse influenciar o resultado. Todos os candidatos tinham a mesma probabilidade de sucesso em qualquer trabalho. Os modelos não sabiam disso.
Após cada decisão de contratação, o modelo aprendia se o candidato havia sido bem-sucedido e, em seguida, passava para a próxima rodada. O objetivo era fazer o maior número possível de contratações bem-sucedidas ao longo de 40 rodadas.
O que aconteceu a seguir é a descoberta que realmente importa. Os modelos começaram a classificar candidatos de diferentes grupos em diferentes empregos com base em observações iniciais e limitadas. Quando um modelo via que um candidato de um grupo havia falhado em um cargo de alto status, ele começava a direcionar todos os membros daquele grupo para longe de cargos semelhantes e em direção a cargos de menor status. Um único ponto de dados tornou-se uma regra. Uma regra tornou-se um padrão. O padrão tornou-se segregação.
Os Números, e o que Eles Revelam Sobre Como os LLMs Pensam
O estudo mediu a segregação em uma escala onde uma pontuação de 2 representa o confinamento completo de cada grupo ao seu próprio nicho de trabalho. Os participantes humanos no estudo de psicologia original marcaram 0,84 nessa escala. Os modelos de IA pontuaram cerca de 65% a mais. O modelo de raciocínio o3 da OpenAI atingiu 1,83, próximo ao máximo possível.
Esta não é uma diferença marginal. Isso sugere que os modelos foram significativamente mais agressivos do que os humanos em prender grupos em papéis fixos com base em evidências limitadas.
A razão, segundo Ryan Liu, doutorando na Princeton University e coautor do estudo, é estrutural. Grandes modelos de linguagem são treinados em tarefas como matemática, programação e problemas científicos, onde a capacidade de generalizar rapidamente a partir de poucos exemplos é recompensada. Esse mesmo instinto, aplicado a decisões sociais, produz estereótipos. Os modelos estão, na formulação de Liu, “ávidos por criar generalizações a partir de dados limitados”. Essa avidez não é um bug introduzido por um engenheiro descuidado. É uma característica de como esses sistemas são otimizados.
O estudo, publicado no ICML em Seul em julho, também descobriu que modelos mais novos com capacidades de raciocínio mais fortes, incluindo o o3 da OpenAI e o R1 da DeepSeek, mostraram vieses ainda mais fortes. Um raciocínio mais capaz, neste contexto, significou uma generalização mais rápida e confiante, o que se traduziu em um estereótipo mais pronunciado.
Duas intervenções reduziram o viés. Prometer aos modelos um bônus por contratações diversas tornou-os substancialmente menos enviesados. Fornecer informações pessoais relevantes sobre candidatos individuais, como idade e escolaridade, também ajudou. Quando os modelos tinham detalhes específicos e pertinentes sobre uma pessoa, eles dependiam menos do pertencimento ao grupo. Quando a informação pessoal era irrelevante, como cor do cabelo ou formato de tatuagem, os modelos voltavam a classificar por grupo. Dizer aos modelos para simplesmente serem justos, sem alterar seus objetivos ou as informações disponíveis para eles, teve pouco efeito.
Por que Isso Importa Além do Laboratório
O experimento é artificial por design. Sistemas de contratação reais não recebem feedback instantâneo sobre se um candidato foi bem-sucedido. O ciclo de feedback que impulsionou o viés no estudo não se mapeia diretamente na forma como a triagem de currículos por IA funciona atualmente.
Mas a dinâmica subjacente está se tornando mais relevante, e não menos. Empresas de IA estão construindo ativamente modelos com melhorias em memória e capacidades de personalização. Como observa Angelina Wang, cientista da computação na Cornell University, um chatbot que se baseia em seu histórico de conversas anteriores pode supervalorizar padrões que encontrou antes. A memória, neste contexto, não é neutra. É um mecanismo através do qual a experiência molda decisões futuras e através do qual novos vieses podem se acumular.
É isso que a maior parte da cobertura sobre o viés da IA deixa passar. A preocupação não é apenas com o que os humanos ensinaram a esses sistemas. É sobre o que esses sistemas ensinam a si mesmos, por meio das decisões que tomam e do feedback que recebem. À medida que os LLMs são implantados em contextos com consequências reais, incluindo contratação, aprovação de empréstimos e decisões de liberdade condicional, os vieses que surgem podem não ter uma origem humana clara e nenhum ponto óbvio de intervenção.
O enquadramento do estudo é preciso neste ponto. Estes não são vieses herdados. São vieses novos, gerados por sistemas que se otimizam para o desempenho em ambientes onde a justiça social nunca fez parte do objetivo.
Em Resumo
Os sistemas de IA podem desenvolver seus próprios estereótipos por meio da experiência, independentemente daquilo em que foram treinados. Pesquisas da Princeton University e da University of Chicago descobriram que modelos incluindo ChatGPT, Claude e Gemini segregaram candidatos fictícios a empregos por grupo de forma muito mais agressiva do que os participantes humanos em um teste equivalente. A causa é estrutural: os LLMs são construídos para generalizar rapidamente, e essa tendência, aplicada a decisões sociais, produz viés. À medida que esses sistemas ganham memória e são implantados em cenários de alto risco, os vieses com os quais vale a pena se preocupar não são apenas aqueles que os humanos programaram.
Com base em reportagem de MIT Technology Review.