The Brief
Como funciona a IA 5 min de leitura

Citações Falsas, Consequências Reais: A Decisão do arXiv

NAVION

Partilhar

Um servidor de pré-publicações que acolhe milhões de artigos científicos traçou uma linha clara. O arXiv está agora a proibir subvenções que contenham referências alucinadas por ferramentas de IA. A política tem como alvo um problema específico e em crescimento, sistemas de IA que geram citações competentes, mas falsas, para fontes que não existem. A decisão, noticiada pela Nature, chega num momento em que a comunidade científica ainda não concordou sobre se tais citações constituem má conduta de investigação.

Esse debate por resolver é precisamente o que torna isto digno de um exame atento.

O Que É Na Verdade Uma Citação Alucinada

Para compreender porque é que isto importa, ajuda ser preciso sobre o aspeto que uma alucinação de IA assume num contexto de investigação. Os grandes modelos de linguagem geram texto prevendo o que vem a seguir com base em padrões nos dados de treino. Quando solicitados a produzir uma bibliografia, não recuperam fontes reais de uma base de dados. Geram texto que se parece com uma citação, nomes de autores, títulos de revistas, números de volume, intervalos de páginas, anos de publicação. O resultado pode ser inteiramente convincente e inteiramente fictício.

Isto não é um erro informático no sentido tradicional. É uma característica estrutural da forma como estes sistemas funcionam. Estão otimizados para produzir um resultado fluído e coerente, e não para verificar se as fontes que nomeiam existem de facto. Um investigador que cola texto gerado por IA num manuscrito sem verificar cada referência pode submeter um artigo que contém citações de revistas que nunca publicaram esses artigos, ou de artigos que nunca foram escritos.

A resposta do arXiv consiste em tratar isto como motivo de rejeição. A política não exige prova de intenção. Uma referência alucinada é uma referência alucinada, independentemente de o autor saber ou não que foi fabricada.

A Questão da Má Conduta Que a Ciência Não Resolveu

Eis o que a maioria das notícias sobre esta história perde, a proibição do arXiv é uma resposta institucional a uma questão que a comunidade científica em geral não respondeu. A Nature noticiou que os investigadores continuam a debater se as citações alucinadas por IA constituem má conduta de investigação.

Esse debate não é trivial. A má conduta de investigação é uma designação grave com consequências profissionais. Tipicamente abrange a fabricação, a falsificação e o plágio. Uma citação alucinada é, num certo sentido, uma fonte fabricada. Mas a pessoa que a incluiu pode tê-lo feito sem se aperceber de que era falsa, confiando numa ferramenta de IA em que confiava para ajudar numa tarefa rotineira.

A distinção entre negligência e fabricação importa enormemente na cultura académica. A negligência é uma falha de processo. A fabricação é uma violação ética. Ambas carregam um peso diferente na revisão institucional, nas consequências de carreira e na forma como a comunidade compreende o que correu mal.

A política do arXiv contorna esta distinção ao focar-se no resultado em vez da intenção. Um artigo com referências alucinadas não pertence ao servidor, ponto final. Se o autor agiu de boa fé é uma questão separada, uma questão em que o arXiv não está posicionado para julgar. O que o servidor pode controlar é o que acolhe.

Porque É Que Isto Se Estende Muito Além de um Servidor de Pré-Publicações

A decisão do arXiv e o debate da Nature em torno dela apontam para algo maior do que uma atualização de política. Sinalizam que a integração de ferramentas de IA em fluxos de trabalho científicos ultrapassou as normas desenhadas para reger esses fluxos de trabalho.

A revisão por pares, os padrões de citação e os quadros de integridade da investigação foram construídos em redor de autores humanos que, em princípio, tinham lido as fontes que citavam. O pressuposto era que uma referência numa bibliografia representava uma afirmação, esta fonte existe, diz o que eu dou a entender que diz, e apoia o ponto que estou a fazer. As ferramentas de IA quebram esse pressuposto ao nível da mecânica básica.

Isto cria um encargo de verificação que anteriormente não existia à escala. Editores, revisores e leitores enfrentam agora a possibilidade de qualquer citação num dado artigo poder ser uma ficção plausível. Verificar cada referência em cada subvenção não é uma expectativa realista para revisores por pares voluntários. No entanto, a integridade do registo científico depende de as citações serem reais.

A implicação mais ampla é que as instituições de investigação, as revistas e os servidores de pré-publicações precisarão de desenvolver novas infraestruturas, sejam ferramentas técnicas para verificação de citações ou requisitos de subvenção atualizados, para lidar com um problema que não existia antes de a assistência de escrita por IA se tornar generalizada. A proibição do arXiv é uma resposta precoce. Não será a última.

O que este momento revela é que as ferramentas de IA, quando usadas sem verificação adequada, não se limitam a ajudar a investigação. Podem corromper silenciosamente o tecido conjuntivo da ciência, as referências que ligam uma descoberta a outra, que permitem aos leitores rastrear afirmações até à evidência e que dão à literatura científica a sua estrutura cumulativa.

Em Resumo

O arXiv está a proibir artigos com citações alucinadas por IA, o que significa referências a fontes que não existem, geradas por ferramentas de IA. A comunidade científica ainda não concordou sobre se isto constitui má conduta de investigação. O debate importa porque se situa na interseção da forma como as ferramentas de IA funcionam, de como a integridade da investigação é definida e de quem assume a responsabilidade quando uma máquina produz uma falsidade convincente. A questão mais profunda é que as normas de citação construídas para autores humanos não estão equipadas para um mundo onde a IA pode gerar bibliografias que parecem reais mas não são.

Com base em reportagem de Nature.

Escrito por

NAVION