Una pregunta se encuentra en el centro de casi todos los debates serios sobre la inteligencia artificial: cuando un LLM produce una respuesta, ¿está realmente razonando, o está generando texto que simplemente se asemeja al razonamiento? La distinción no es académica. Define en qué tareas se puede confiar que la IA actúe, cuánta supervisión humana se requiere y cuáles serán las consecuencias reales de implementar estos sistemas.
Melanie Mitchell, científica cognitiva e informáticas en el Santa Fe Institute, argumenta que el campo actualmente carece de métodos adecuados para responder a esa pregunta con cierto rigor. Su postura es tanto una crítica como una agenda de investigación, y se basa en una fuente de inspiración sorprendente: el estudio científico de los bebés y los animales.
La IA como inteligencia alienígena, y por qué ese enfoque lo cambia todo
Mitchell describe la IA como una forma de “inteligencia alienígena”. La frase es precisa, no poética. Estos sistemas han sido entrenados con grandes cantidades de lenguaje generado por humanos, imágenes y texto de todo internet; sin embargo, la forma en que aprenden, procesan información y producen resultados es fundamentalmente diferente a cómo funciona la cognición humana. El parecido superficial con el razonamiento humano es real. El mecanismo subyacente no lo es.
Esto crea un problema de medición. La mayoría de las evaluaciones actuales de la capacidad de la IA están diseñadas para probar el rendimiento en tareas, no para sondear los procesos cognitivos detrás de ese rendimiento. Un sistema puede obtener una buena puntuación en un benchmark sin hacer nada remotamente parecido a lo que hace un humano cuando resuelve el mismo problema. Esa brecha entre el resultado y el proceso es donde habitan las preguntas difíciles.
Lo que Mitchell propone es que los investigadores de IA miren hacia campos que ya han lidiado con este desafío exacto. Los psicólogos del desarrollo estudian cómo los infantes adquieren inteligencia sin poder preguntarles directamente. Los psicólogos comparativos estudian la cognición en aves, perros y delfines, ninguno de los cuales puede explicar sus propios procesos mentales. Ambos campos han desarrollado metodologías experimentales para inferir qué está sucediendo dentro de una mente desde el exterior. Mitchell argumenta que esos métodos pueden y deben adaptarse para estudiar los sistemas de IA.
El problema de Clever Hans: Una advertencia de hace un siglo
Uno de los ejemplos más instructivos que plantea Mitchell proviene de principios de 1900: un caballo llamado Clever Hans, famoso en su época por aparentemente ser capaz de realizar cálculos matemáticos. El público estaba asombrado. Los investigadores descubrieron finalmente que el caballo no estaba haciendo aritmética en absoluto. Estaba leyendo señales físicas sutiles e involuntarias de los humanos a su alrededor, señales que indicaban cuándo dejar de golpear el suelo con su pezuña. El caballo estaba respondiendo genuinamente a algo, simplemente no a la cosa que todos asumían.
El paralelo con la evaluación de la IA es directo. Cuando un modelo de lenguaje produce una respuesta correcta, los observadores tienden a atribuir ese éxito al proceso cognitivo que ellos mismos usarían para llegar a la misma respuesta. Pero el modelo puede estar respondiendo a señales completamente diferentes en la entrada, a patrones en sus datos de entrenamiento, a regularidades estadísticas que no tienen nada que ver con la cadena de razonamiento que el resultado parece describir. Sin un diseño experimental cuidadoso, es fácil dejarse engañar de la misma manera que el público fue engañado por Clever Hans.
Esto no es una preocupación hipotética. Es el desafío metodológico central que Mitchell y otros en la ciencia cognitiva están instando a que el campo de la IA tome en serio. Mike Frank, de Stanford, ha escrito sobre cómo los investigadores de IA podrían aprovechar la psicología del desarrollo exactamente por esta razón, y Mitchell extiende ese argumento a la cognición animal también. El campo ha estado pensando en cómo estudiar mentes que no puede interrogar directamente durante al menos cien años, como señala Mitchell. Ese conocimiento acumulado está en gran parte desaprovechado en la investigación principal de IA.
Por qué esto importa más allá del laboratorio
Lo que está en juego aquí va mucho más allá de la metodología académica. Si las herramientas utilizadas para evaluar los sistemas de IA son sistemáticamente engañosas, entonces las decisiones tomadas sobre la base de esas evaluaciones —sobre la implementación, sobre la confianza, sobre el nivel de supervisión humana requerido— descansan sobre bases inestables.
Mitchell señala que la comunidad de IA misma está polarizada a lo largo de este eje. Algunos creen que los sistemas actuales han superado la inteligencia humana de maneras significativas. Otros creen que siguen estando lejos de cualquier cosa que se parezca a la cognición de tipo humano. Ese desacuerdo no es solo una cuestión de opinión. Refleja una ausencia genuina de métodos compartidos y rigurosos para medir lo que estos sistemas realmente hacen.
Esto es lo que la mayor parte de la cobertura sobre la capacidad de la IA pasa por alto. El debate no es principalmente sobre si la IA es impresionante. Claramente lo es. El debate es sobre si el campo tiene las herramientas científicas para saber qué está midiendo cuando mide el rendimiento de la IA. El argumento de Mitchell es que no las tiene, al menos todavía, y que construir esas herramientas requiere tomar prestado de disciplinas que han estado resolviendo silenciosamente problemas adyacentes durante mucho tiempo.
Los sistemas de IA ya se están utilizando para ayudar en tareas trascendentales, incluidos, como señalan Mitchell y sus entrevistadores, los recientes avances en matemáticas. La cuestión de qué están haciendo realmente estos sistemas cuando tienen éxito no es un lujo filosófico. Es un requisito previo práctico para saber cuándo confiar en ellos.
En resumen
Evaluar la inteligencia de la IA requiere algo más que probar si un sistema obtiene la respuesta correcta. La ciencia cognitiva y la psicología del desarrollo ofrecen marcos experimentales para sondear lo que realmente está sucediendo dentro de una mente, marcos que el campo de la IA ha ignorado en gran medida. Sin mejores métodos de medición, el campo corre el riesgo de repetir el error de Clever Hans: confundir una actuación convincente con la realidad.
Basado en información de Quanta Magazine.