El gráfico más compartido sobre la IA mide algo limitado y fácil de malinterpretar: cuánto tiempo, cronometrado por humanos, puede completar con éxito un modelo una tarea. La organización sin fines de lucro de evaluación METR ha actualizado ahora ese gráfico, y la revisión importa menos por la línea de tendencia que amplía que por las debilidades que finalmente expone. Los modelos siguen mejorando a un ritmo rápido. En las tareas que requieren juicio, no están manteniendo el ritmo.
Qué medía realmente el gráfico original
El método de METR era sencillo en concepto y fácil de entender mal al repetirlo. Los modelos intentaban resolver un gran conjunto de tareas, cada una de las cuales también había sido completada por humanos. Cada tarea se puntuaba según el tiempo que los evaluadores humanos habían necesitado para terminarla. A continuación, los modelos se clasificaban según la duración de las tareas que podían completar.
El hallazgo principal era llamativo: cada cuatro meses, la duración de las tareas que los modelos de frontera podían completar con éxito se duplicaba. Pero la medida era sutil, y el gráfico se malinterpretó ampliamente. Una línea en un gráfico sobre la “duración de las tareas” no es una línea sobre la inteligencia general, y muchas personas la leyeron como tal.
También había una limitación más silenciosa. El conjunto original se apoyaba en tareas verificables, aquellas en las que el software puede comprobar automáticamente si la IA tuvo éxito o fracasó. Eso no es un accidente. Es el tipo de tarea para el que sabemos cómo entrenar.
Por qué las tareas verificables son la parte fácil
La receta de entrenamiento se entiende bien. Los investigadores hacen que un sistema intente una tarea muchas veces, fortalecen las conexiones neuronales que contribuyen al éxito y debilitan las que contribuyen al fracaso. Esto es aprendizaje por refuerzo, y funciona mejor cuando una máquina puede comprobar el “éxito”. Por eso la programación y las matemáticas se han convertido en puntos fuertes para la IA: un programa se ejecuta o no se ejecuta, una demostración se sostiene o no se sostiene.
Ahora considera elegir una nueva dirección de investigación. El éxito es difuso, y puede llevar mucho tiempo descubrir si la elección fue buena. La misma propiedad que hace que estas tareas sean difíciles de entrenar también las hace difíciles de evaluar, por lo que el primer gráfico de METR las dejó fuera por completo.
Sin embargo, esta es exactamente la categoría que importa si los sistemas de IA van a automatizar alguna vez la investigación y el desarrollo. El gráfico actualizado añade tareas que se calcula que llevan mucho más tiempo a los humanos, además de otras más abiertas.
Dónde se quedan cortos los modelos
En una nueva tarea, se pidió a los modelos que diseñaran nuevas evaluaciones de la IA que METR pudiera utilizar en su propia investigación, con empleados humanos de METR puntuando los resultados. Los modelos más avanzados son ahora mejores que casi cualquier humano en la ingeniería de software, pero aquí el resultado fue claro: ni una sola evaluación diseñada por la IA fue lo suficientemente buena como para que el personal de METR la considerara útil.
En otra tarea, los modelos puntuaron argumentos filosóficos, un sustituto del ejercicio de un buen juicio. Los modelos volvieron a quedarse por debajo del rendimiento humano. La propia METR señala que sus empleados no se ponen de acuerdo sobre la relevancia de esta tarea para automatizar la I+D de la IA, lo cual es un recordatorio útil de lo inestable que sigue siendo la cuestión de la medición.
Sin embargo, hay un detalle esperanzador. Algunos de los modelos más nuevos, como Opus 5.5, tienden a alcanzar lo que METR llama “al borde de superar el listón” en las tareas de diseño de evaluaciones. Eso aún no es utilizable para la investigación de METR, pero hace un año todos los modelos puntuaban “claramente por debajo del listón”.
Las advertencias son sustanciales. Los tiempos de finalización en el nuevo informe son en su mayoría estimaciones, ya que pagar a personas por tareas que podrían llevar cientos de horas, o que solo unos pocos expertos pueden hacer, es prohibitivamente caro. En la tarea filosófica, una sola persona evaluó la mayoría de los argumentos, por lo que los modelos fueron juzgados según su grado de coincidencia con ese individuo. Y METR incluye pocas de estas tareas en general, porque son muy difíciles de diseñar, puntuar y cronometrar.
Por qué el debate no está zanjado
Esta es la parte que la mayor parte de la cobertura pasa por alto: el informe no resuelve la gran pregunta, y los expertos citados en él lo afirman. Sayash Kapoor, informático y profesor entrante en UC Berkeley, celebra el impulso hacia evaluaciones más creativas. No le sorprendió el déficit en el trabajo abierto, y señaló una preimpresión de agosto en la que él y sus colaboradores descubrieron que los modelos de IA aún no pueden reproducir por sí solos la investigación informática humana. Sospecha que el gusto por la investigación, la capacidad de elegir preguntas, hipótesis y experimentos prometedores, demostrará ser un obstáculo importante.
Otros argumentan lo contrario: que los modelos entrenados en tareas fáciles de verificar terminarán manejando también las abiertas. El progreso en las tareas verificables no parece estar ralentizándose, lo que mantiene viva esa posibilidad. Najoung Kim, de la Universidad de Boston, dice que la mejora observada nos dice algo sobre el momento actual, pero no está segura de cómo extrapolarla. Matt Putz, de METR, añade que es poco probable que las tendencias para las tareas cargadas de juicio sean tan limpias y sólidas como las de las tareas fáciles de especificar.
Lo que está en juego explica la atención. Otro informe de METR, fuertemente censurado a principios de este mes, afirmaba que la IA podría estar acelerando el progreso de la IA en Anthropic por un factor de dos, lo que alimentó los temores sobre la autorregeneración recursiva, donde los sistemas de IA diseñan sus propios sucesores sin intervención humana. Los nuevos hallazgos chocan incómodamente con ese miedo: las mismas habilidades que harían posible un bucle de este tipo, el gusto y el juicio, son aquellas en las que los modelos siguen rezagados.
Qué significa esto más allá del gráfico
Una sola línea de tendencia no puede describir una tecnología con fortalezas desiguales. La lección práctica es preguntar sobre qué tipo de tarea trata una afirmación. Allá donde el éxito se puede comprobar automáticamente, la capacidad de la IA avanza rápidamente. Allá donde el éxito depende del juicio, el contexto y los largos bucles de retroalimentación, el panorama es más turbio y las herramientas de medición son inmaduras en sí mismas.
Eso también replantea el papel humano. Las tareas en las que los modelos todavía luchan, elegir qué vale la pena investigar y decidir qué cuenta como bueno, son aquellas en las que el juicio humano está más visiblemente presente en el proceso. Las herramientas que manejan bien el volumen y el trabajo verificable pueden liberar a las personas para que dediquen más tiempo exactamente a eso.
En resumen
El gráfico actualizado del horizonte temporal de METR confirma que la IA sigue mejorando rápidamente en las tareas verificables, al tiempo que demuestra que los modelos siguen quedándose cortos en el trabajo que requiere mucho juicio, como diseñar evaluaciones útiles o puntuar argumentos filosóficos. Los modelos más nuevos se están acercando, pero la evidencia es escasa porque esas tareas son difíciles de diseñar, puntuar y cronometrar. Los expertos no se ponen de acuerdo sobre si la habilidad de las tareas fáciles de comprobar se transferirá eventualmente, por lo que la lectura honesta es que la pregunta está abierta, no respondida. Trata cualquier gráfico individual sobre el progreso de la IA como la medición de una sola cosa limitada, y pregúntate qué es lo que deja fuera.
Basado en información de MIT Technology Review.
Lee el estudio original.