La mayoría de las conversaciones sobre el sesgo de la IA se centran en la misma preocupación: los modelos absorben los prejuicios ya presentes en sus datos de entrenamiento, reflejando las desigualdades arraigadas en la historia humana. Esa preocupación es legítima. Pero una nueva investigación señala un problema diferente y menos discutido. Los sistemas de IA no solo heredan sesgos. Bajo las condiciones adecuadas, los generan desde cero.
Cómo un juego de contratación simulado expuso un problema más profundo
Investigadores de Princeton University y de la University of Chicago diseñaron un experimento para probar si los modelos de lenguaje grande podían desarrollar estereotipos a través de la experiencia, de la misma manera que a veces lo hacen los humanos. Ejecutaron varios modelos, incluidos ChatGPT, Claude y Gemini, a través de un escenario de contratación simulado adaptado de un estudio de psicología existente sobre la formación de estereotipos humanos.
A cada modelo se le dijo que había sido contratado como consultor por el alcalde de una ciudad ficticia. Su tarea consistía en cubrir 20 puestos de trabajo diferentes, que iban desde médicos y abogados hasta asistentes de cuidado infantil y conserjes. Los candidatos procedían de cuatro grupos étnicos ficticios con nombres inventados, para que ninguna asociación del mundo real pudiera influir en el resultado. Todos los candidatos tenían la misma probabilidad de tener éxito en cualquier trabajo dado. Los modelos no sabían esto.
Después de cada decisión de contratación, el modelo se enteraba de si el candidato había tenido éxito y luego pasaba a la siguiente ronda. El objetivo era realizar tantas contrataciones exitosas como fuera posible a lo largo de 40 rondas.
Lo que sucedió a continuación es el hallazgo que realmente importa. Los modelos comenzaron a clasificar a los candidatos de diferentes grupos en diferentes trabajos basándose en observaciones iniciales y limitadas. Cuando un modelo veía que un candidato de un grupo había fallado en un puesto de alto estatus, comenzaba a desviar a todos los miembros de ese grupo de puestos similares y a dirigirlos hacia otros de menor estatus. Un solo dato se convirtió en una regla. Una regla se convirtió en un patrón. El patrón se convirtió en segregación.
Los números y lo que revelan sobre cómo piensan los LLMs
El estudio midió la segregación en una escala donde una puntuación de 2 representa el confinamiento completo de cada grupo a su propio nicho laboral. Los participantes humanos en el estudio de psicología original obtuvieron una puntuación de 0.84 en esa escala. Los modelos de IA obtuvieron una puntuación aproximadamente un 65% más alta. El modelo de razonamiento o3 de OpenAI alcanzó 1.83, cerca del máximo posible.
Esta no es una diferencia marginal. Sugiere que los modelos fueron significativamente más agresivos que los humanos a la hora de encasillar a los grupos en roles fijos basándose en evidencia limitada.
La razón, según Ryan Liu, estudiante de doctorado en Princeton University y coautor del estudio, es estructural. Los modelos de lenguaje grande se entrenan en tareas como matemáticas, programación y problemas científicos, donde se recompensa la capacidad de generalizar rápidamente a partir de unos pocos ejemplos. Ese mismo instinto, aplicado a decisiones sociales, produce estereotipos. Los modelos están, en palabras de Liu, “ansiosos por crear generalizaciones a partir de datos limitados”. Ese afán no es un error introducido por un ingeniero descuidado. Es una característica de cómo se optimizan estos sistemas.
El estudio, publicado en ICML en Seoul en julio, también encontró que los modelos más nuevos con mayores capacidades de razonamiento, incluidos o3 de OpenAI y R1 de DeepSeek, mostraron sesgos aún más fuertes. Un razonamiento más capaz, en este contexto, significó una generalización más rápida y segura, lo que se tradujo en un estereotipo más pronunciado.
Dos intervenciones redujeron el sesgo. Prometer a los modelos una bonificación por contratación diversa los hizo sustancialmente menos sesgados. Proporcionar información personal relevante sobre los candidatos individuales, como la edad y la educación, también ayudó. Cuando los modelos disponían de detalles específicos y pertinentes sobre una persona, dependían menos de la pertenencia al grupo. Cuando la información personal era irrelevante, como el color de pelo o la forma de un tatuaje, los modelos volvían a clasificar por grupo. Decirle a los modelos que simplemente fueran justos, sin cambiar sus objetivos ni la información disponible para ellos, tuvo poco efecto.
Por qué esto importa más allá del laboratorio
El experimento es artificial por diseño. Los sistemas de contratación reales no reciben comentarios instantáneos sobre si un candidato tuvo éxito. El bucle de retroalimentación que impulsó el sesgo en el estudio no se asigna directamente a cómo funciona actualmente el filtrado de currículums por IA.
Pero la dinámica subyacente se está volviendo más relevante, no menos. Las empresas de IA están construyendo activamente modelos con capacidades mejoradas de memoria y personalización. Como señala Angelina Wang, científica de la computación en Cornell University, un chatbot que se basa en su historial de conversaciones anterior puede sobreindexar patrones con los que se ha topado antes. La memoria, en este contexto, no es neutral. Es un mecanismo a través del cual la experiencia da forma a las decisiones futuras, y a través del cual se pueden acumular nuevos sesgos.
Esto es lo que la mayoría de la cobertura sobre el sesgo de la IA pasa por alto. La preocupación no es solo por lo que los humanos enseñaron a estos sistemas. Se trata de lo que estos sistemas se enseñan a sí mismos, a través de las decisiones que toman y la retroalimentación que reciben. A medida que los LLMs se despliegan en contextos con consecuencias reales, incluyendo la contratación, la aprobación de préstamos y las decisiones de libertad condicional, los sesgos que surgen pueden no tener un origen humano claro ni un punto de intervención obvio.
El enfoque del estudio es preciso en este punto. Estos no son sesgos heredados. Son sesgos novedosos, generados por sistemas que se optimizan para el rendimiento en entornos donde la equidad social nunca fue parte del objetivo.
En resumen
Los sistemas de IA pueden desarrollar sus propios estereotipos a través de la experiencia, independientemente de aquello con lo que fueron entrenados. La investigación de Princeton University y de la University of Chicago encontró que los modelos, incluidos ChatGPT, Claude y Gemini, segregaron a los candidatos ficticios a puestos de trabajo por grupo de manera mucho más agresiva que los participantes humanos en una prueba equivalente. La causa es estructural: los LLMs están construidos para generalizar rápidamente, y esa tendencia, aplicada a las decisiones sociales, produce sesgos. A medida que estos sistemas adquieren memoria y se despliegan en entornos de alto riesgo, los sesgos por los que vale la pena preocuparse no son solo los que los humanos programaron.
Basado en información de MIT Technology Review.