Ces dernières années, la compréhension de l’intelligence artificielle par le grand public a été presque entièrement façonnée par les grands modèles de langage. Chatbots, générateurs de texte, assistants de code : ce sont les visages de l’IA auxquels la plupart des gens ont été confrontés. Une catégorie différente suscite désormais une attention soutenue, des financements massifs et un effort de recherche considérable. Elle porte le nom de « world models », et comprendre ce que ce terme signifie réellement — et ce qu’il ne signifie pas — est bien plus utile que de simplement suivre les annonces.
Un terme qui signifie plusieurs choses à la fois
La première chose à comprendre concernant les world models est que cette appellation est contestée. Comme l’a clairement exprimé Ben Mildenhall, cofondateur de World Labs et cocréateur de la technique des neural radiance fields (NeRF) : demandez à différentes entreprises ce qu’est un world model, et chacune vous donnera une réponse légèrement différente.
Dans son sens le plus général, un world model est tout système qui prend une interaction en entrée et simule ce qui se passerait ensuite dans un environnement donné. Runway, l’entreprise d’IA vidéo, le définit comme un système qui construit une représentation interne d’un environnement et utilise cette représentation pour simuler des événements futurs. Fei-Fei Li, la pionnière de la vision par ordinateur et cofondatrice de World Labs, a proposé trois critères : le système génère des sorties présentant une cohérence perceptuelle, géométrique et physique ; il est multimodal par conception ; et il produit des états futurs en fonction des actions fournies en entrée.
Vincent Sitzmann, professeur assistant au MIT et responsable du Scene Representation Group au sein du CSAIL, offre une observation plus ancrée dans la réalité sur l’état actuel du domaine. La plupart des personnes qui utilisent le terme « world model », note-t-il, parlent en réalité de génération de pixels : produire des vidéos réalistes qui réagissent à des actions. C’est une capacité importante, mais ce n’est pas la même chose que simuler la physique ou raisonner sur l’espace au sens profond. L’écart entre le discours marketing et la réalité technique mérite d’être gardé à l’esprit.
En quoi les world models diffèrent des LLM, et pourquoi c’est important
La distinction entre les world models et les grands modèles de langage n’est pas seulement technique. Elle reflète une théorie différente de ce que requiert l’intelligence.
Les LLM fonctionnent sur le langage. Ils sont, comme l’a écrit Fei-Fei Li, des « orfèvres du mot dans le noir » : capables de produire un texte éloquent et érudit, mais sans ancrage dans le monde physique. Yann LeCun, ancien scientifique en chef pour l’IA chez Meta, a soutenu que chercher à étendre les LLM vers une intelligence de niveau humain est, selon ses termes, une « absurdité totale ». Clem Delangue, CEO de Hugging Face, une plateforme majeure d’hébergement de modèles de langage, a suggéré que la bulle des LLM touche peut-être à ses limites, tout en notant que l’IA appliquée à la biologie, à la chimie, à l’image, à l’audio et à la vidéo n’en est qu’à ses débuts.
Les world models sont conçus pour combler cette lacune. Là où l’interaction avec un LLM se fait tour par tour — un prompt textuel suivi d’une réponse textuelle —, Mildenhall décrit un world model comme étant synchrone et en temps réel. L’utilisateur ou l’agent ne progresse pas à travers une séquence linéaire d’échanges. Au lieu de cela, il interagit avec quelque chose qui se comporte comme un environnement, où plusieurs événements se produisent en parallèle et où des actions continues sont possibles. Il s’agit d’un mode d’engagement fondamentalement différent, plus proche de la navigation dans un espace que du déroulement d’une conversation.
Les objectifs pratiques des world models reflètent cette différence. Les chercheurs et les entreprises de ce secteur se concentrent sur l’entraînement et le test de robots, la génération d’éléments en trois dimensions pour les jeux et la production cinématographique, ainsi que sur l’exécution de simulations scientifiques. Ce sont des domaines où le langage seul est insuffisant et où la capacité à modéliser les relations spatiales et la dynamique physique est essentielle.
Pourquoi l’afflux de financements signale un changement structurel
La dynamique commerciale derrière les world models est bien réelle. World Labs et AMI auraient chacune levé environ 1 milliard de dollars en février et mars respectivement. Runway a levé 315 millions de dollars en février. Il ne s’agit pas de paris spéculatifs sur un avenir lointain : ces investissements reflètent la conviction que des applications concrètes et à court terme sont à portée de main.
C’est ce qui échappe à la plupart des articles consacrés aux world models. Contrairement aux grands modèles de langage, qui ont débuté avec une interface polyvalente (le chatbot) avant de chercher des cas d’usage, les travaux les plus avancés sur les world models procèdent dans la direction opposée. Ils partent de problèmes concrets : l’entraînement des robots, la génération d’actifs 3D, la modélisation scientifique. Les interfaces et les outils qui mettront à terme ces capacités à la disposition des utilisateurs sont encore en cours de développement.
Le terme « world model » lui-même a une histoire plus ancienne que ne le laisse penser la vague d’annonces actuelle. Il apparaît depuis des années dans la recherche en apprentissage par renforcement et en robotique, utilisé pour décrire des modèles qui prédisent l’évolution des environnements. Ce qui est nouveau, c’est l’ambition de porter cette idée à l’échelle de systèmes génératifs généralistes entraînés sur de grands volumes de données visuelles et multimodales.
En résumé
Les world models ne remplacent pas les grands modèles de langage. Ils constituent une approche différente pour un problème différent : comment construire des systèmes d’IA capables de raisonner sur l’espace, de simuler la dynamique physique et d’interagir avec des environnements en temps réel plutôt qu’à travers des échanges textuels. Le terme est véritablement surchargé, utilisé pour décrire aussi bien la génération de vidéos que l’évaluation des politiques de robotique ou la création d’éléments 3D. La conviction sous-jacente, partagée par les chercheurs du MIT, de World Labs et de Runway, est qu’une seule architecture de modèle fondationnel devrait à terme pouvoir traiter nombre de ces problèmes. Que cette conviction se révèle exacte reste une question ouverte. Ce qui est déjà clair, c’est que le domaine est passé du statut de sujet de recherche à celui de priorité commerciale, et que les applications en cours de développement reposent sur des besoins pratiques, non sur des spéculations abstraites.
D’après un reportage de Ars Technica.