Le graphique le plus partagé sur l’IA mesure quelque chose de restreint et facile à mal interpréter, à savoir la durée d’une tâche, chronométrée par des humains, qu’un modèle peut réussir à accomplir. L’organisation à but non lucratif METR vient de mettre à jour ce graphique, et cette révision importe moins pour la tendance qu’elle prolonge que pour les faiblesses qu’elle finit par exposer. Les modèles continuent de s’améliorer à un rythme rapide. Sur les tâches qui demandent du jugement, ils ne suivent pas la cadence.
Ce que le graphique d’origine mesurait réellement
La méthode de METR était simple dans son concept et facile à déformer lorsqu’on la racontait. Des modèles ont tenté de résoudre une vaste série de tâches, que des humains avaient également accomplies. Chaque tâche a été notée en fonction du temps dont les testeurs humains avaient besoin pour la terminer. Les modèles ont ensuite été évalués selon la longueur des tâches qu’ils pouvaient achever.
La principale conclusion était frappante, puisque tous les quatre mois, la durée des tâches que les modèles de pointe pouvaient réussir à accomplir doublait. Mais la mesure était subtile, et le graphique a été largement mal interprété. Une ligne sur un graphique concernant la “durée des tâches” n’est pas une ligne concernant l’intelligence générale, et beaucoup de gens l’ont lu comme telle.
Il y avait aussi une limite plus discrète. La série initiale reposait sur des tâches vérifiables, c’est-à-dire celles où le logiciel peut vérifier automatiquement si l’IA a réussi ou échoué. Ce n’est pas un hasard. C’est le genre de tâche pour lequel nous savons comment entraîner les systèmes.
Pourquoi les tâches vérifiables sont la partie la plus facile
La recette de l’entraînement est bien comprise. Des chercheurs font tenter une tâche à un système à de nombreuses reprises, renforcent les voies neurales qui contribuent au succès et affaiblissent celles qui conduisent à l’échec. Il s’agit de l’apprentissage par renforcement, et cela fonctionne au mieux lorsque le “succès” peut être vérifié par une machine. C’est pourquoi la programmation et les mathématiques sont devenues des points forts pour l’IA, car un programme s’exécute ou ne s’exécute pas, et une démonstration se tient ou ne se tient pas.
Considérez maintenant le choix d’une nouvelle orientation de recherche. Le succès est flou, et il peut falloir beaucoup de temps pour savoir si le choix était bon. La propriété même qui rend ces tâches difficiles à entraîner les rend difficiles à évaluer, ce qui explique pourquoi le premier graphique de METR les a totalement exclues.
Pourtant, c’est exactement la catégorie qui compte si les systèmes d’IA doivent un jour automatiser la recherche et le développement. Le graphique mis à jour ajoute des tâches dont on estime qu’elles prennent beaucoup plus de temps aux humains, ainsi que des tâches plus ouvertes.
Là où les modèles pèchent
Dans une nouvelle tâche, il a été demandé aux modèles de concevoir de nouvelles évaluations de l’IA que METR pourrait utiliser dans sa propre recherche, avec des employés humains de METR pour noter les résultats. Les modèles les plus avancés sont désormais meilleurs que presque tous les humains en génie logiciel, mais ici le résultat était clair, puisque pas une seule évaluation conçue par l’IA n’a été jugée assez bonne par le personnel de METR pour être considérée comme utile.
Dans une autre tâche, des modèles ont noté des arguments philosophiques, ce qui sert de substitut à l’exercice d’un bon jugement. Les modèles ont à nouveau été en deçà de la performance humaine. METR note lui-même que ses employés ne sont pas d’accord sur la pertinence de cette tâche pour l’automatisation de la R&D en IA, ce qui rappelle utilement à quel point la question de la mesure reste incertaine.
Il y a cependant un détail porteur d’espoir. Certains des modèles les plus récents, comme Opus 5.5, ont tendance à atteindre ce que METR appelle un niveau “limite au-dessus du seuil” sur les tâches de conception d’évaluations. Ce n’est pas encore utilisable pour la recherche de METR, mais il y a un an, chaque modèle obtenait un score “clairement en dessous du seuil”.
Les réserves sont importantes. Les temps de réalisation dans le nouveau rapport sont principalement des estimations, car payer des personnes pour des tâches qui peuvent prendre des centaines d’heures, ou que seuls quelques experts peuvent faire, est d’un coût prohibitif. Sur la tâche philosophique, une seule personne a évalué la plupart des arguments, de sorte que les modèles ont été jugés sur leur capacité à être en accord avec cet individu. De plus, METR n’inclut que peu de ces tâches dans l’ensemble, car elles sont si difficiles à concevoir, à noter et à chronométrer.
Pourquoi le débat n’est pas tranché
C’est ce que la plupart des articles oublient, à savoir que le rapport ne résout pas la grande question, et les experts cités le disent. Sayash Kapoor, informaticien et futur professeur à UC Berkeley, salue la volonté d’aller vers des évaluations plus créatives. Il n’a pas été surpris par les lacunes sur le travail ouvert, soulignant une prépublication d’août dans laquelle lui et ses collaborateurs ont constaté que les modèles d’IA ne peuvent pas encore reproduire seuls la recherche humaine en informatique. Il soupçonne que le goût pour la recherche, c’est-à-dire la capacité à choisir des questions prometteuses, des hypothèses et des expériences, constituera un goulet d’étranglement majeur.
D’autres soutiennent le contraire, affirmant que les modèles entraînés sur des tâches faciles à vérifier finiront par gérer aussi les tâches ouvertes. Les progrès sur les tâches vérifiables ne semblent pas ralentir, ce qui maintient cette possibilité en vie. Najoung Kim, de l’Université de Boston, affirme que l’amélioration observée nous apprend quelque chose sur le moment présent, mais elle ne sait pas comment l’extrapoler. Matt Putz, de METR, ajoute que les tendances pour les tâches exigeant du jugement ne seront probablement jamais aussi nettes et robustes que celles pour les tâches faciles à spécifier.
Les enjeux expliquent l’attention portée au sujet. Un autre rapport de METR, fortement censuré et publié au début du mois, affirmait que l’IA pourrait accélérer les progrès de l’IA chez Anthropic d’un facteur deux, ce qui a alimenté les craintes d’une auto-amélioration récursive, où les systèmes d’IA conçoivent leurs propres successeurs sans aucune intervention humaine. Les nouvelles conclusions s’accordent mal avec cette peur, car les compétences mêmes qui rendraient une telle boucle possible, à savoir le goût et le jugement, sont précisément celles où les modèles sont encore à la traîne.
Ce que cela implique au-delà du graphique
Une seule ligne de tendance ne peut pas décrire une technologie aux forces inégales. La leçon pratique est de se demander à quel type de tâche une affirmation fait référence. Là où le succès peut être vérifié automatiquement, la capacité de l’IA progresse rapidement. Là où le succès dépend du jugement, du contexte et de longues boucles de rétroaction, le tableau est plus trouble et les outils de mesure sont eux-mêmes immatures.
Cela redéfinit également le rôle humain. Les tâches avec lesquelles les modèles ont encore du mal, comme choisir ce qui vaut la peine d’être étudié et décider de ce qui compte comme étant de bonne qualité, sont celles où le jugement humain est le plus visiblement dans la boucle. Les outils qui gèrent bien le volume et le travail vérifiable peuvent libérer les gens pour qu’ils consacrent plus de temps précisément à cela.
En bref
Le graphique actualisé de l’horizon temporel de METR confirme que l’IA continue de progresser rapidement sur les tâches vérifiables, tout en montrant que les modèles sont encore en deçà sur le travail demandant beaucoup de jugement, comme la conception d’évaluations utiles ou la notation d’arguments philosophiques. Les modèles plus récents s’en rapprochent, mais les preuves sont minces parce que ces tâches sont difficiles à concevoir, à noter et à chronométrer. Les experts ne s’accordent pas sur le fait de savoir si les compétences acquises sur des tâches faciles à vérifier finiront par être transférées, de sorte que la lecture honnête est que la question reste ouverte et sans réponse. Traitez tout graphique isolé sur les progrès de l’IA comme la mesure d’une seule chose étroite, et demandez-vous ce qu’il laisse de côté.
D’après un reportage de MIT Technology Review.
Lire l’étude originale.