La conoscenza scientifica si fonda su un semplice presupposto: che ci si possa fidare dei dati pubblicati. La peer review esiste per proteggere questo presupposto. Ma un corpo di ricerche sempre più vasto suggerisce che il sistema perda colpi da molto tempo, e gli strumenti di IA stanno ora rendendo visibili queste falle in modi che i revisori umani non avrebbero mai potuto immaginare.
Un database di 75 anni fa e il modello che ha scoperto i suoi errori
La storia inizia con un chimico, non con un informatico. Sebastian Pios, un chimico teorico dello Zhejiang Lab di Hangzhou, in Cina, stava usando un sistema di IA per prevedere i punti di ebollizione molecolare – un compito di routine in chimica – quando il modello ha iniziato a produrre valori in contraddizione con le voci di un database di riferimento utilizzato da 75 anni. Il suo primo istinto è stato quello di diffidare del modello. Quell’istinto si è rivelato sbagliato.
Quando Pios è tornato alla letteratura originale, ha scoperto che il database era la fonte dell’errore, non l’IA. Il modello aveva di fatto scoperto un errore rimasto nascosto in un riferimento affidabile per decenni. Nella stessa indagine ha trovato altri due casi: uno era un refuso in un articolo meno recente, un altro era un valore errato proveniente da misurazioni dei punti di ebollizione risalenti a un secolo fa. Entrambi gli errori si erano silenziosamente insinuati nel corpus scientifico, dove avrebbero probabilmente causato, secondo la valutazione dello stesso Pios, non pochi problemi ai ricercatori che facevano affidamento su quei dati.
Questo è ciò che la maggior parte dei reportage sull’IA nella scienza tralascia. La conversazione tende a concentrarsi sull’IA che genera nuova conoscenza, progetta proteine, prevede strutture, accelera la scoperta di farmaci. Il ruolo, meno affascinante ma altrettanto importante, consiste nel revisionare la conoscenza che già esiste.
La scala è il vero vantaggio
Il lavoro di Pios illustra il valore qualitativo del fact-checking basato sull’IA. Uno studio separato ne dimostra la portata quantitativa. Alcuni ricercatori, tra cui James Zou, informatico alla Stanford University, e Federico Bianchi, scienziato del machine learning presso Together AI a San Francisco, hanno utilizzato un verificatore basato sull’IA per analizzare gli articoli pubblicati a NeurIPS, una delle conferenze di ricerca sull’IA annuali più prestigiose. Lo strumento si è concentrato sugli errori oggettivi: sbagli in formule, calcoli e grafici. Le questioni soggettive relative all’interpretazione o alla novità sono state deliberatamente escluse.
I risultati sono stati sorprendenti. Gli errori per articolo sono passati da 3,8 nel 2021 a 5,9 nel 2025, con un incremento del 55%. Non si tratta di una deviazione marginale. È un trend misurabile nella direzione sbagliata, visibile solo perché uno strumento automatizzato ha potuto esaminare la letteratura a una scala che nessun team umano potrebbe eguagliare.
La riflessione di Zou sul perché questo sia importante è precisa: si tratta di articoli che costituiscono la conoscenza fondamentale per la prossima generazione di ricerca. Gli errori nelle fondamenta non restano confinati. Si propagano. Gli studi successivi costruiti su premesse difettose ereditano quei difetti, e il problema si aggrava silenziosamente nel tempo.
Un’analisi separata, condotta dai ricercatori di SAI Labs e pubblicata online a luglio, ha applicato agenti di IA a 168 articoli selezionati per la presentazione orale alla conferenza internazionale di machine learning del 2026 (International Conference on Machine Learning). Gli agenti hanno estratto le affermazioni centrali, scaricato le risorse di supporto, rieseguito gli esperimenti dove possibile e confrontato i risultati con quanto riportato dagli autori. Dei 92 articoli con almeno cinque affermazioni disponibili per la valutazione, gli agenti sono riusciti a riprodurre più di due di quelle cinque affermazioni in soli 34 articoli. Solo otto articoli hanno visto riprodurre con successo oltre l’80% delle proprie affermazioni.
Si tratta di un dato che fa riflettere, sebbene sia accompagnato da un’importante avvertenza: gli agenti di IA stessi non sono infallibili. Odd Erik Gundersen, informatico presso l’Università norvegese di scienza e tecnologia a Trondheim, osserva che questi strumenti commettono errori in modi riconoscibilmente umani. L’implicazione non è che i fact-checker di IA debbano sostituire la supervisione umana. È che hanno bisogno della supervisione umana per essere davvero utili.
Cosa significa questo per il funzionamento della scienza
Il problema di fondo qui è strutturale. La peer review è stata progettata per un mondo in cui il volume della ricerca pubblicata era gestibile da lettori umani. Quel mondo non esiste più. Il numero di articoli pubblicati ogni anno è cresciuto al punto che nessuna comunità di revisori riesce a tenere il passo, e gli errori che un tempo sarebbero stati intercettati ora sfuggono su larga scala.
Gli strumenti di IA non risolvono questo problema essendo più intelligenti dei revisori umani. Lo risolvono essendo più veloci e infaticabili. Possono esaminare database e letteratura a velocità tali da rendere per la prima volta fattibile una revisione sistematica. Il giudizio umano su ciò che conta, su cosa sia innovativo, su cosa significhi realmente un errore per un settore, rimane insostituibile. La scelta progettuale di Bianchi di escludere le valutazioni soggettive dallo studio di NeurIPS riflette esattamente questa logica: l’IA gestisce il volume, gli esseri umani gestiscono il significato.
Questo rappresenta un cambiamento significativo nel modo in cui la conoscenza scientifica viene validata. Non una sostituzione della peer review, ma un potenziamento di essa, che opera a una scala che il sistema esistente non è mai stato costruito per gestire.
In breve
Gli strumenti di IA stanno individuando nei database scientifici e negli articoli pubblicati errori che sono passati inosservati per decenni, in alcuni casi per un intero secolo. Uno studio sugli articoli di NeurIPS ha rilevato un aumento del 55% degli errori oggettivi tra il 2021 e il 2025. Il vantaggio non risiede solo nella precisione: è la scala. Questi strumenti possono revisionare il corpus scientifico a velocità che nessun team umano può eguagliare. Non sono abbastanza affidabili per operare senza supervisione umana, ma se abbinati ad essa, rappresentano un nuovo livello di controllo della qualità che la comunità di ricerca sta appena iniziando a sfruttare seriamente.
Basato su un articolo di Nature: Machine Learning.