Le aziende di IA pubblicano rapporti dettagliati su come le persone usano i loro prodotti. Quei rapporti sono costruiti con cura, metodologicamente coerenti e, secondo ricercatori indipendenti, sistematicamente incompleti. Una nuova iniziativa di ricerca chiamata AI Observatory sta cercando di colmare questa lacuna, e ciò che ha scoperto mette in discussione alcune delle ipotesi più ripetute su come l’IA generativa venga effettivamente utilizzata.
I dati che vengono esclusi
L’Anthropic Economic Index è una delle fonti di informazioni più citate sui modelli di utilizzo dell’IA. Come suggerisce il nome, si concentra sul lavoro e sulla produttività. Le conversazioni non correlate a queste categorie vengono filtrate prima che inizi l’analisi.
Quando i ricercatori dell’AI Observatory hanno applicato la metodologia di filtraggio di Anthropic al loro set di dati indipendente, quasi la metà di tutte le conversazioni, nello specifico il 48%, sarebbe stata esclusa dall’analisi. Quelle conversazioni escluse non erano neutre. Erano significativamente più inclini a riguardare temi di salute e relazioni, contenuti per adulti o illeciti, molestie e discorsi d’odio, e contenuti sessuali. Il divario tra ciò che appare nei rapporti filtrati di Anthropic e ciò che mostrano i dati non filtrati non è marginale. È strutturale.
Questo non riguarda solo Anthropic. Il rapporto del 2025 di OpenAI sull’utilizzo di ChatGPT ha rilevato che solo il 30% delle interazioni dei consumatori era legato al lavoro. La maggior parte del modo in cui le persone usano effettivamente questi strumenti sfugge alla cornice che i rapporti aziendali tendono a costruire.
Anka Reuel, dottoranda in informatica presso il Trustworthy AI Research Lab di Stanford e co-responsabile dell’AI Observatory, spiega chiaramente il problema: non esiste una fonte indipendente per corroborare ciò che le aziende di IA riportano. L’AI Observatory è stato creato per essere quella fonte.
Un quadro diverso tra i modelli e nel corso del tempo
L’AI Observatory ha aggregato 24.521 conversazioni in 85.633 turni di conversazione, tratti da sette set di dati del mondo reale raccolti con il consenso degli utenti. Quelle conversazioni hanno coinvolto 5.000 utenti che interagivano con 52 modelli diversi, tra cui ChatGPT, Gemini, Claude e Grok, tra il 2023 e il 2025.
Ciò che i dati rivelano è che l’uso dell’IA non è né uniforme né statico. Piattaforme diverse attirano comportamenti diversi. Gli utenti si sono rivolti a Grok e Gemini più frequentemente per il recupero di informazioni. Grok, in particolare, è stato utilizzato pesantemente per notizie e politica, ed è anche il luogo in cui la disinformazione tendeva a concentrarsi. Claude di Anthropic è stato utilizzato più comunemente per la programmazione. Gemini ha attirato più interazioni sociali e di roleplay. ChatGPT è stato utilizzato di frequente per l’assistenza con i compiti.
Le differenze sono emerse anche all’interno dello stesso modello tra diverse versioni. Le conversazioni con ChatGPT basato su GPT-3.5 tendevano a essere più brevi. Quelle con GPT-4o erano più lunghe e iterative, un modello coerente con l’associazione di quella versione a un coinvolgimento più profondo dell’utente.
Nel corso del tempo, le conversazioni all’interno di uno dei più grandi set di dati inclusi nello studio sono cresciute, diventando più lunghe ed elaborate. Le chiacchierate casuali sono aumentate. La tendenza degli assistenti IA a identificarsi come chatbot è diminuita. I casi d’uso sensibili, definiti come scambi che coinvolgono contenuti potenzialmente dannosi o limitati, sono diminuiti, il che potrebbe riflettere protezioni della piattaforma più efficaci implementate nel tempo.
Nessuna di queste dinamiche appare nei rapporti aziendali con alcuna coerenza. Come nota Shayne Longpre, neodottore di ricerca del MIT Media Lab e co-responsabile della ricerca, nessun singolo rapporto aziendale racconta l’intera storia.
Perché il punto cieco è importante oltre la ricerca
Questo è ciò che la maggior parte della copertura sui dati di utilizzo dell’IA tralascia: la questione non è solo accademica. I responsabili politici, le autorità di regolamentazione e le istituzioni stanno prendendo decisioni importanti sui rischi e sui benefici dell’IA basandosi in gran parte sui dati che le aziende scelgono di rilasciare, inquadrati attorno alle domande che le aziende scelgono di porre.
David Widder, professore assistente presso la School of Information dell’UT-Austin che ricerca l’interazione uomo-IA, inquadra il problema direttamente. Nel tentativo di valutare se un sistema di IA per usi generali sia utilizzato principalmente per scopi benefici o dannosi, al momento non esiste un modo indipendente per rispondere a questa domanda. Le informazioni pertinenti sono proprietarie.
Il set di dati dell’AI Observatory è piccolo rispetto a ciò che possiedono i principali laboratori. L’Anthropic Economic Index ha attinto da 1 milione di conversazioni di Claude. Il rapporto sull’utilizzo di OpenAI ha analizzato 1,5 milioni di conversazioni di ChatGPT. Le 24.521 conversazioni dell’Osservatorio sono una frazione di queste. I ricercatori riconoscono anche che i loro dati forniti volontariamente sottorappresentano probabilmente l’uso sensibile, poiché gli utenti potrebbero essere meno inclini a condividere quelle interazioni.
Ma la scala non è l’unico problema. Il problema più profondo è che quando gli unici dati disponibili provengono da parti che hanno un interesse diretto in come quei dati riflettono su di essi, il quadro che emerge è inevitabilmente parziale. Le aziende di IA, come notano ricercatori indipendenti, tendono a pubblicare risultati che presentano le loro piattaforme in modo favorevole. Questa non è una cospirazione. È una struttura di incentivi.
I dati dell’AI Observatory saranno resi disponibili alla più ampia comunità di ricerca, e il team intende espandere i propri set di dati nel tempo. Reuel ha dichiarato che idealmente le aziende di IA dovrebbero condividere i loro dati con ricercatori indipendenti in modi che preservano la privacy. Fino a quando ciò non accadrà, chiunque si affidi esclusivamente ai rapporti aziendali per capire come viene utilizzata l’IA generativa sta operando, come dice Reuel, allo sbaraglio e prendendo decisioni importanti senza sapere cosa stia realmente accadendo oltre quelle narrazioni aziendali.
In breve
I rapporti sull’utilizzo dell’IA delle principali aziende sono reali, ma selettivi. Tendono a enfatizzare il lavoro e la produttività filtrando gran parte del comportamento effettivo dell’utente, incluse le interazioni sensibili, personali e potenzialmente dannose. La ricerca indipendente come l’AI Observatory sta iniziando a far emergere un quadro più completo, che mostra differenze significative tra i modelli, nel tempo e nell’intera gamma del comportamento umano. Comprendere il ruolo effettivo dell’IA nella società richiede dati che nessuna singola azienda ha l’incentivo di divulgare pienamente.
Basato su un articolo di MIT Technology Review.