La maggior parte delle conversazioni sui bias dell’IA si concentra sulla stessa preoccupazione: i modelli assorbono i pregiudizi già presenti nei loro dati di addestramento, riflettendo le disuguaglianze radicate nella storia umana. Questa preoccupazione è legittima. Ma una nuova ricerca indica un problema diverso e meno discusso. I sistemi di IA non si limitano a ereditare i bias. Nelle giuste condizioni, li generano da zero.
Come una simulazione di assunzione ha svelato un problema più profondo
I ricercatori della Princeton University e della University of Chicago hanno progettato un esperimento per verificare se i modelli linguistici di grandi dimensioni potessero sviluppare stereotipi attraverso l’esperienza, proprio come a volte fanno gli esseri umani. Hanno testato diversi modelli, tra cui ChatGPT, Claude e Gemini, in uno scenario di assunzione simulato, adattato da uno studio psicologico esistente sulla formazione degli stereotipi umani.
A ogni modello è stato detto di essere stato assunto come consulente dal sindaco di una città immaginaria. Il suo compito era quello di coprire 20 diversi ruoli lavorativi, che spaziavano da medici e avvocati a assistenti all’infanzia e addetti alle pulizie. I candidati appartenevano a quattro gruppi etnici fittizi con nomi inventati, in modo che nessuna associazione con il mondo reale potesse influenzare il risultato. Tutti i candidati avevano la stessa probabilità di successo in qualsiasi lavoro. I modelli non lo sapevano.
Dopo ogni decisione di assunzione, il modello apprendeva se il candidato aveva avuto successo, per poi passare al turno successivo. L’obiettivo era effettuare il maggior numero possibile di assunzioni di successo nell’arco di 40 turni.
Ciò che è accaduto in seguito è la scoperta più rilevante. I modelli hanno iniziato a smistare i candidati di diversi gruppi in lavori differenti sulla base di prime, limitate osservazioni. Quando un modello vedeva che un candidato di un determinato gruppo aveva fallito in un ruolo di alto livello, iniziava ad allontanare tutti i membri di quel gruppo da ruoli simili, indirizzandoli verso mansioni di livello inferiore. Un singolo dato è diventato una regola. Una regola è diventata un pattern. Il pattern è diventato segregazione.
I numeri e ciò che rivelano su come pensano gli LLM
Lo studio ha misurato la segregazione su una scala in cui un punteggio pari a 2 rappresenta il totale confinamento di ciascun gruppo nella propria nicchia lavorativa. I partecipanti umani nello studio psicologico originale avevano ottenuto un punteggio di 0,84 su quella scala. I modelli di IA hanno ottenuto un punteggio superiore di circa il 65%. Il modello di ragionamento o3 di OpenAI ha raggiunto 1,83, un valore vicino al massimo possibile.
Non si tratta di una differenza marginale. Ciò suggerisce che i modelli sono stati significativamente più aggressivi degli umani nel relegare i gruppi in ruoli fissi sulla base di prove limitate.
La ragione, secondo Ryan Liu, dottorando presso la Princeton University e coautore dello studio, è strutturale. I modelli linguistici di grandi dimensioni vengono addestrati su compiti come la matematica, il coding e problemi scientifici, dove la capacità di generalizzare rapidamente a partire da pochi esempi viene premiata. Quello stesso istinto, applicato alle decisioni sociali, produce stereotipi. I modelli sono, per usare le parole di Liu, “impazienti di creare generalizzazioni a partire da dati limitati”. Questa impazienza non è un bug introdotto da un ingegnere distratto. È una caratteristica intrinseca del modo in cui questi sistemi vengono ottimizzati.
Lo studio, pubblicato all’ICML di Seoul a luglio, ha inoltre rilevato che i modelli più recenti con maggiori capacità di ragionamento, tra cui o3 di OpenAI e R1 di DeepSeek, mostravano bias ancora più marcati. In questo contesto, una maggiore capacità di ragionamento si è tradotta in una generalizzazione più rapida e sicura, che a sua volta ha portato a uno stereotipo più pronunciato.
Due interventi hanno ridotto i bias. Promettere ai modelli un bonus per assunzioni all’insegna della diversità li ha resi sostanzialmente meno prevenuti. Anche fornire informazioni personali rilevanti sui singoli candidati, come l’età e l’istruzione, ha aiutato. Quando i modelli disponevano di dettagli specifici e pertinenti su una persona, si affidavano meno all’appartenenza di gruppo. Quando le informazioni personali erano irrilevanti, come il colore dei capelli o la forma di un tatuaggio, i modelli tornavano a smistare per gruppo. Dire ai modelli di essere semplicemente equi, senza modificare i loro obiettivi o le informazioni a loro disposizione, ha avuto scarso effetto.
Perché questo è importante al di fuori del laboratorio
L’esperimento è artificiale per progettazione. I sistemi di assunzione reali non ricevono un feedback istantaneo sul successo di un candidato. Il ciclo di feedback che ha alimentato i bias nello studio non corrisponde direttamente a come funziona attualmente lo screening dei CV tramite IA.
Ma la dinamica di fondo sta diventando sempre più rilevante, non meno. Le aziende di IA stanno attivamente sviluppando modelli con migliori capacità di memoria e personalizzazione. Come osserva Angelina Wang, informatica presso la Cornell University, un chatbot che attinge alla cronologia delle conversazioni precedenti può dare un peso eccessivo a pattern riscontrati in precedenza. La memoria, in questo contesto, non è neutrale. È un meccanismo attraverso il quale l’esperienza modella le decisioni future e attraverso il quale possono accumularsi nuovi bias.
Questo è ciò che sfugge alla maggior parte delle analisi sui bias dell’IA. La preoccupazione non riguarda solo ciò che gli esseri umani hanno insegnato a questi sistemi. Riguarda ciò che questi sistemi insegnano a se stessi, attraverso le decisioni che prendono e i feedback che ricevono. Man mano che gli LLM vengono impiegati in contesti con conseguenze reali, tra cui assunzioni, approvazioni di prestiti e decisioni sulla libertà vigilata, i bias che emergono potrebbero non avere una chiara origine umana né un punto di intervento evidente.
L’impostazione dello studio è precisa su questo punto. Non si tratta di bias ereditati. Sono bias del tutto nuovi, generati da sistemi che ottimizzano le prestazioni in ambienti in cui l’equità sociale non è mai stata parte dell’obiettivo.
In sintesi
I sistemi di IA possono sviluppare i propri stereotipi attraverso l’esperienza, indipendentemente dai dati su cui sono stati addestrati. Una ricerca della Princeton University e della University of Chicago ha rilevato che modelli tra cui ChatGPT, Claude e Gemini hanno segregato i candidati fittizi per gruppo in modo molto più aggressivo rispetto ai partecipanti umani in un test equivalente. La causa è strutturale: gli LLM sono progettati per generalizzare rapidamente e questa tendenza, applicata alle decisioni sociali, produce bias. Man mano che questi sistemi acquisiscono memoria e vengono impiegati in contesti ad alto rischio, i bias di cui preoccuparsi non sono solo quelli programmati dagli esseri umani.
Basato su un articolo di MIT Technology Review.