Uma pergunta está no centro de quase todos os debates sérios sobre inteligência artificial: quando um LLM produz uma resposta, ele está realmente raciocinando, ou está gerando texto que meramente se parece com raciocínio? A distinção não é acadêmica. Ela molda em quais tarefas se pode confiar na IA, quanta supervisão humana é necessária e quais serão as consequências reais de implantar esses sistemas.
Melanie Mitchell, cientista cognitiva e da computação no Santa Fe Institute, argumenta que a área atualmente carece de métodos adequados para responder a essa pergunta com qualquer rigor. A posição dela é tanto uma crítica quanto uma agenda de pesquisa, e baseia-se em uma fonte surpreendente de inspiração: o estudo científico de bebês e animais.
IA como Inteligência Alienígena, e Por Que Essa Abordagem Muda Tudo
Mitchell descreve a IA como uma forma de “inteligência alienígena”. A frase é precisa, não poética. Esses sistemas foram treinados com vastas quantidades de linguagem gerada por humanos, imagens e texto de toda a internet, mas a maneira como aprendem, processam informações e produzem resultados é fundamentalmente diferente de como a cognição humana funciona. A semelhança superficial com o raciocínio humano é real. O mecanismo subjacente não é.
Isso cria um problema de mensuração. A maioria das avaliações atuais da capacidade da IA é projetada para testar o desempenho em tarefas, não para sondar os processos cognitivos por trás desse desempenho. Um sistema pode pontuar bem em um benchmark sem fazer nada remotamente parecido com o que um humano faz ao resolver o mesmo problema. Essa lacuna entre o resultado e o processo é onde vivem as perguntas difíceis.
O que Mitchell propõe é que pesquisadores de IA olhem para áreas que já lidaram com esse exato desafio. Psicólogos do desenvolvimento estudam como bebês adquirem inteligência sem poder perguntar diretamente a eles. Psicólogos comparativos estudam a cognição em aves, cães e golfinhos, nenhum dos quais pode explicar seus próprios processos mentais. Ambas as áreas desenvolveram metodologias experimentais para inferir o que está acontecendo dentro de uma mente a partir do exterior. Mitchell argumenta que esses métodos podem e devem ser adaptados para estudar sistemas de IA.
O Problema do Clever Hans: Um Alerta Centenário
Um dos exemplos mais instrutivos que Mitchell levanta vem do início de 1900: um cavalo chamado Clever Hans, famoso na época por aparentemente ser capaz de realizar cálculos matemáticos. O público ficou pasmo. Investigadores descobriram mais tarde que o cavalo não estava fazendo aritmética de jeito nenhum. Ele estava lendo pistas físicas sutis e involuntárias dos humanos ao seu redor, pistas que sinalizavam quando parar de bater o casco. O cavalo estava genuinamente respondendo a algo, só que não à coisa que todo mundo assumia.
O paralelo com a avaliação de IA é direto. Quando um LLM produz uma resposta correta, os observadores tendem a atribuir esse sucesso ao processo cognitivo que eles próprios usariam para chegar à mesma resposta. Mas o modelo pode estar respondendo a sinais totalmente diferentes na entrada, padrões em seus dados de treinamento, regularidades estatísticas que não têm nada a ver com a cadeia de raciocínio que a saída parece descrever. Sem um design experimental cuidadoso, é fácil ser enganado da mesma forma que o público foi enganado por Clever Hans.
Esta não é uma preocupação hipotética. É o desafio metodológico central que Mitchell e outros na ciência cognitiva estão instando o campo da IA a levar a sério. Mike Frank, em Stanford, escreveu sobre como pesquisadores de IA poderiam recorrer à psicologia do desenvolvimento exatamente por esse motivo, e Mitchell estende esse argumento para a cognição animal também. O campo tem pensado sobre como estudar mentes que não pode interrogar diretamente há pelo menos cem anos, como Mitchell observa. Esse conhecimento acumulado permanece amplamente untapped (inexplorado) na pesquisa tradicional de IA.
Por Que Isso Importa Além do Laboratório
O que está em jogo aqui vai muito além da metodologia acadêmica. Se as ferramentas usadas para avaliar sistemas de IA são sistematicamente enganosas, então as decisões tomadas com base nessas avaliações — sobre implantação, sobre confiança, sobre o nível de supervisão humana necessária — apoiam-se em bases frágeis.
Mitchell aponta que a própria comunidade de IA está polarizada nesse eixo. Alguns acreditam que os sistemas atuais superaram a inteligência humana de maneiras significativas. Outros acreditam que eles continuam distantes de qualquer coisa que se pareça com a cognição semelhante à humana. Essa divergência não é apenas uma questão de opinião. Ela reflete uma ausência genuína de métodos compartilhados e rigorosos para medir o que esses sistemas realmente fazem.
Isso é o que a maior parte da cobertura sobre a capacidade da IA deixa passar. O debate não é primordialmente sobre se a IA é impressionante. Claramente é. O debate é sobre se o campo tem as ferramentas científicas para saber o que está medindo quando mede o desempenho da IA. O argumento de Mitchell é que ainda não tem, e que construir essas ferramentas exige pegar emprestado disciplinas que vêm resolvendo silenciosamente problemas correlatos há muito tempo.
Sistemas de IA já estão sendo usados para ajudar em tarefas consequentes, incluindo, como Mitchell e seus entrevistadores observam, recentes avanços na matemática. A questão do que esses sistemas estão realmente fazendo quando obtêm sucesso não é um luxo filosófico. É um pré-requisito prático para saber quando confiar neles.
Em Resumo
Avaliar a inteligência da IA exige mais do que testar se um sistema obtém a resposta certa. A ciência cognitiva e a psicologia do desenvolvimento oferecem frameworks experimentais para sondar o que está realmente acontecendo dentro de uma mente, frameworks que o campo da IA ignorou em grande parte. Sem métodos de medição melhores, o campo corre o risco de repetir o erro de Clever Hans: confundir uma performance convincente com a coisa real.
Com base em reportagem de Quanta Magazine.