O conhecimento científico é construído sobre uma premissa simples: que os dados publicados são confiáveis. A revisão por pares existe para proteger essa premissa. Mas um corpo crescente de trabalhos sugere que o sistema vem apresentando falhas há muito tempo, e as ferramentas de IA agora estão tornando essas falhas visíveis de maneiras que os revisores humanos jamais conseguiriam.
Um banco de dados de 75 anos e o modelo que flagrou seus erros
A história começa com um químico, não com um cientista da computação. Sebastian Pios, um químico teórico no Zhejiang Lab em Hangzhou, China, estava usando um sistema de IA para prever pontos de ebulição moleculares — uma tarefa rotineira na química —, quando o modelo começou a produzir valores que contradiziam entradas em um banco de dados de referência que é utilizado há 75 anos. Seu primeiro instinto foi desconfiar do modelo. Esse instinto acabou estando errado.
Quando Pios voltou à literatura original, descobriu que o banco de dados era a fonte do erro, e não a IA. O modelo havia efetivamente flagrado um erro que estava presente em uma referência confiável havia décadas. Ele encontrou dois casos adicionais na mesma investigação: um era um erro de digitação em um artigo mais antigo, e o outro era um valor incorreto de medições de ponto de ebulição com um século de idade. Ambos os erros haviam se incorporado silenciosamente ao registro científico, onde provavelmente causariam, na própria avaliação de Pios, problemas significativos para pesquisadores que dependessem desses dados.
É isso que a maior parte da cobertura sobre IA na ciência deixa passar. A conversa tende a focar na IA gerando novos conhecimento, projetando proteínas, prevendo estruturas, acelerando a descoberta de medicamentos. O papel menos glamouroso, mas igualmente importante, é auditar o conhecimento que já existe.
A escala é a verdadeira vantagem
O trabalho de Pios ilustra o valor qualitativo da verificação de fatos por IA. Um estudo separado traz o caso quantitativo. Pesquisadores incluindo James Zou, um cientista da computação na Universidade Stanford, e Federico Bianchi, um cientista de aprendizado de máquina na Together AI em São Francisco, usaram um verificador de IA para escanear artigos publicados no NeurIPS, uma das conferências anuais de pesquisa em IA mais prestigiadas. A ferramenta focou em erros objetivos: falhas em fórmulas, cálculos e figuras. Questões subjetivas sobre interpretação ou novidade foram deliberadamente deixadas de fora.
Os resultados foram marcantes. Os erros por artigo subiram de 3,8 em 2021 para 5,9 em 2025, um aumento de 55%. Isso não é um desvio marginal. É uma tendência mensurável na direção errada, visível apenas porque uma ferramenta automatizada conseguiu escanear a literatura em uma escala que nenhuma equipe humana conseguiria igualar.
A formulação de Zou sobre o porquê de isso importar é precisa: estes são artigos que formam o conhecimento fundamental para a próxima geração de pesquisa. Erros nas bases não ficam contidos. Eles se propagam. Estudos subsequentes construídos sobre premissas defeituosas herdam essas falhas, e o problema se agrava silenciosamente com o tempo.
Uma análise separada, conduzida por pesquisadores da SAI Labs e publicada online em julho, aplicou agentes de IA a 168 artigos selecionados para apresentação oral na Conferência Internacional de Aprendizado de Máquina de 2026. Os agentes extraíram afirmações centrais, baixaram recursos acompanhantes, reexecutaram experimentos sempre que possível e compararam os resultados com o que os autores relataram. Dos 92 artigos com pelo menos cinco afirmações disponíveis para avaliação, os agentes conseguiram reproduzir mais de duas dessas cinco afirmações em apenas 34 artigos. Apenas oito artigos tiveram mais de 80% de suas afirmações reproduzidas com sucesso.
Esse é um número preocupante, embora venha com uma ressalva importante: os próprios agentes de IA não são infalíveis. Odd Erik Gundersen, um cientista da computação na Universidade Norueguesa de Ciência e Tecnologia em Trondheim, observa que essas ferramentas cometem erros de maneiras que são reconhecivelmente humanas. A implicação não é que os verificadores de fatos por IA devam substituir a supervisão humana. É que eles precisam de supervisão humana para serem úteis de fato.
O que isso significa para a forma como a ciência funciona
A questão mais profunda aqui é estrutural. A revisão por pares foi projetada para um mundo onde o volume de pesquisa publicada era gerenciável por leitores humanos. Esse mundo não existe mais. O número de artigos publicados anualmente cresceu a ponto de nenhuma comunidade de revisores conseguir acompanhar o ritmo, e erros que antes teriam sido flagrados agora estão passando em escala.
As ferramentas de IA não resolvem esse problema sendo mais inteligentes do que os revisores humanos. Elas o resolvem sendo mais rápidas e incansáveis. Elas podem escanear bancos de dados e literatura a velocidades que tornam a auditoria sistemática viável pela primeira vez. O julgamento humano sobre o que importa, o que é novo, o que um erro realmente significa para um campo, continua insubstituível. A escolha de design de Bianchi de excluir avaliações subjetivas do estudo do NeurIPS reflete exatamente essa lógica: a IA lida com o volume, os humanos lidam com o significado.
Esta é uma mudança significativa na forma como o conhecimento científico é validado. Não é uma substituição da revisão por pares, mas uma ampliação dela, que opera em uma escala para a qual o sistema existente nunca foi construído para lidar.
Resumindo
As ferramentas de IA estão flagrando erros em bancos de dados científicos e artigos publicados que passaram despercebidos por décadas, em alguns casos por um século. Um estudo de artigos do NeurIPS encontrou um aumento de 55% em erros objetivos entre 2021 e 2025. A vantagem não é apenas a precisão: é a escala. Essas ferramentas podem auditar o registro científico a velocidades que nenhuma equipe humana consegue igualar. Elas não são confiáveis o suficiente para operar sem supervisão humana, mas, combinadas com ela, representam uma nova camada de controle de qualidade que a comunidade de pesquisa está apenas começando a usar seriamente.
Com base em reportagem de Nature: Machine Learning.