Um cientista passa semanas construindo uma versão mais rápida e capaz de um algoritmo de busca de vazios, que lida com levantamentos cem vezes maiores do que seu antecessor. Um agente de codificação de IA reescreve a lógica central. Os gráficos são gerados, o comentário é redigido, o raciocínio é verificado a cada etapa. Então, dez minutos após o início da apresentação, um colaborador aponta para o esquema de tratamento de bordas. O chão desaba. O código é rápido, bonito e errado. Tudo o que vem depois dele também está errado. O cientista acaba de apresentar absurdos a uma sala cheia de colegas, com total confiança.
Esta não é uma história de advertência sobre a inutilidade da IA. É algo mais preciso e instrutivo do que isso.
A Fluência que Parece Compreensão
Large language models não raciocinam da mesma forma que os humanos. Em sua essência, eles são preditores sofisticados da próxima palavra. A razão pela qual eles estão certos na maior parte do tempo é, como o cientista por trás do VIDE coloca, enfadonha: declarações verdadeiras aparecem com mais frequência no texto escrito por humanos em que esses modelos são treinados, então uma declaração verdadeira é estatisticamente a melhor previsão. A correção é um efeito colateral, não um objetivo.
A fluência não é um efeito colateral. Ela foi projetada deliberadamente. Preditores brutos são desagradáveis de interagir, então os desenvolvedores os refinaram mostrando às pessoas diferentes formas de respostas e ajustando o modelo para quaisquer respostas que as pessoas preferissem. O que as pessoas preferiam, consistentemente, eram respostas claras, organizadas e diretas. A confiança era recompensada. A hesitação, não.
O resultado é um sistema que soa autoritário, esteja certo ou errado. Um humano que está confiante, mas errado, arrisca seu emprego, sua reputação, seu autorrespeito. Uma máquina não tem nada disso em jogo. A fluência é um traço que foi cultivado, da mesma forma que lobos foram criados para se tornarem cães que observam rostos humanos. Ela serve à interação. Ela não serve à verdade.
Isso é o que a maior parte da cobertura sobre erros de IA deixa escapar. O problema não é que o modelo ocasionalmente comete erros. O problema é que seus erros chegam exatamente no mesmo registro de suas respostas corretas. Não há sinal. Nada parece duvidoso. O cientista descreve semanas de trabalho sem um único lampejo de dúvida, e essa ausência de dúvida é justamente o que o sistema foi otimizado para produzir.
O Método do Alquimista como uma Estrutura Prática
O cientista faz uma comparação que vai além da metáfora. Alquimistas trabalharam por mais de mil anos com substâncias voláteis que não compreendiam, sem qualquer conhecimento de átomos, moléculas ou mecânica quântica. Eles nunca encontraram a pedra filosofal. Mas descobriram o fósforo, recriaram a porcelana, isolaram o álcool e construíram aparelhos de laboratório ainda em uso hoje. Suas palavras sobreviveu na linguagem: crisol, álcool, gás.
Eles conseguiram isso através do método. A ignorância de seus materiais foi combatida com um compromisso quase fanático com o processo: documentação rigorosa, controle estrito, verificação em cada etapa. O trabalho tinha que permanecer fundamentado, ou evaporaria em ilusão.
O paralelo com a IA é direto. Os desenvolvedores sabem como esses modelos foram construídos, porque escreveram o código. O que eles não conseguem explicar, na maioria dos casos, é o porquê: por que esta palavra e não outra, por que este caminho específico através da máquina. O crisol está fechado. E, assim como os alquimistas, as pessoas que usam essas ferramentas não vão parar.
A estrutura alquímica oferece três princípios. O primeiro é a fundamentação: qualquer output que não possa ser verificado em relação ao mundo é inútil, independentemente de quão bem organizado soe. Salvaguardas atuais, um aviso na parte inferior de uma janela de chat, um filtro de toxicidade, não constituem fundamentação. A verificação constitui. O segundo princípio é a procedência: nada no vaso do alquimista era um evento privado. Tudo foi gravado. A origem de cada afirmação importa, e rastreá-la não é opcional.
Por Que Isso Importa Além do Dia Ruim de um Cientista
Centenas de milhões de pessoas recorrem a essas ferramentas todos os dias. O cientista é explícito sobre isso e igualmente explícito de que essas pessoas não são idiotas. A aceleração é real. A utilidade é real. O cientista não escreve uma linha de código desde janeiro, depois de escrever código desde os cinco anos de idade. Tarefas de pesquisa que antes exigiam semanas de leitura e busca de citações agora acontecem por meio de agentes de IA. Estas são, na própria formulação do cientista, trocas corretas.
Mas a volatilidade também é real. As ferramentas são ajustadas para agradar. Esse ajuste não se desliga quando o output está errado.
A questão mais profunda é estrutural. Os sistemas de IA agora estão embutidos em fluxos de trabalho profissionais em medicina, direito, engenharia e pesquisa. Em cada um desses domínios, respostas erradas com tom de confiança acarretam consequências que vão muito além de uma apresentação embaraçosa. A questão de como implantar uma ferramenta que às vezes está errada, mas é sempre agradável, não é uma questão técnica. É uma questão sobre processo, sobre quem verifica o quê, e sobre o que conta como verificação suficiente antes que um resultado seja compartilhado ou colocado em prática.
Os alquimistas não tinham escolha a não ser desenvolver disciplina em torno de um processo que não conseguiam ver totalmente. Essa disciplina é o que tornou seu trabalho produtivo em vez de meramente teatral. A mesma disciplina agora é exigida de qualquer pessoa que use IA em um contexto onde estar errado tem custos.
Resumindo
A fluência da IA é projetada, não emergente. Um sistema otimizado para produzir respostas claras e confiantes as produzirá, esteja o conteúdo subjacente correto ou não. A experiência do cientista com o VIDE ilustra o que acontece quando essa fluência é confundida com compreensão: semanas de trabalho, uma sala cheia de colegas e um resultado fundamentalmente quebrado que parecia maestria. Os alquimistas construíram ciência real a partir de processos que não conseguiam explicar, comprometendo-se com a verificação e a documentação rigorosas. Esse é o modelo. A aceleração é um benefício genuíno. A aceleração não verificada é ouro de tolo.
Com base em reportagem de Nautilus.