The Brief
Comment fonctionne l'IA 5 min de lecture

World Models : La couche d'IA en construction sous tout le reste

NAVION

Partager

La plupart des couvertures médiatiques concernant l’intelligence artificielle se concentrent sur les chatbots et les générateurs de texte. Les world models sont fondamentalement différents, et ils deviennent discrètement la couche d’infrastructure qui alimentera la robotique, les véhicules autonomes, et probablement bien plus encore. Comprendre ce qu’ils sont, et comment ils sont déjà construits, importe pour quiconque essaie de comprendre où l’IA se dirige réellement.

De la prédiction de mots à la prédiction de la réalité

Pour comprendre les world models, il est utile de commencer par ce que la plupart des gens connaissent déjà : les LLM. Un modèle de langage prend une phrase et prédit le mot suivant. La logique est séquentielle, textuelle, et entraînée sur des productions textuelles humaines.

Les world models fonctionnent sur un axe entièrement différent. Comme l’explique Oliver Cameron, PDG du labo d’IA Odyssey, vous donnez au système un état visuel du monde, une image, et il prédit le prochain état visuel du monde. Le sortie n’est pas du texte. C’est un environnement simulé, qui doit tenir compte de la physique, de la cause à effet, et de la façon dont les objets et les personnes réagissent aux actions qui y sont menées.

C’est un problème plus difficile que la prédiction de langage. Un mot suit des règles grammaticales et sémantiques qui sont, au moins partiellement, cohérentes. Le monde physique est plus désordonné. Les objets tombent, les surfaces ont de la friction, les gens réagissent de manière imprévisible. Un world model qui ne peut pas gérer ces dynamiques n’est pas utile pour entraîner quoi que ce soit qui doit opérer dans la réalité.

Le terrain d’entraînement qui n’existe pas encore

Voici ce qui rend les world models pratiquement significatifs : ils permettent aux machines de s’entraîner dans des environnements qui n’ont pas encore été construits, et de répéter des scénarios qui seraient dangereux ou peu pratiques à mettre en scène dans le monde réel.

Brian McClendon, directeur technique de Niantic Spatial, décrit un flux de travail où quelqu’un photographie l’espace où un robot est censé opérer, génère un modèle 3D à partir de ces images, puis exécute des millions de simulations pour entraîner le robot sur les paramètres spécifiques de cet environnement. Le robot apprend sans bouger physiquement. Il échoue, s’adapte et s’améliore dans une réplique numérique avant de toucher ne serait-ce qu’une vraie surface.

Wayve, une startup qui construit des world models conçus pour les véhicules autonomes, utilise une logique similaire. Son modèle génératif est alimenté en partie par des images de caméra embarquée, qu’il utilise pour recréer des routes dangereuses et des conditions peu sûres qu’il ne serait pas pratique de tester dans la vraie vie. Jamie Shotton, scientifique en chef de Wayve, formule clairement l’exigence fondamentale : un world model doit être capable de réagir aux actions qui y sont menées, ce qui signifie qu’il doit comprendre la physique, la cause et l’effet, et la façon dont les autres agents modifient leur comportement en réponse.

Niantic elle-même est un cas révélateur. L’entreprise a créé Pokémon Go, un jeu qui a vu des centaines de millions de joueurs scanner leurs environnements physiques via leurs smartphones. Ces scans environnementaux, collectés au fil d’années de jeu, représentent un stock substantiel de données spatiales du monde réel. Niantic a depuis vendu le jeu et s’est réorientée vers les world models, McClendon déclarant directement que l’objectif de l’entreprise est de reconstruire le monde réel. Les données collectées par le biais d’un jeu grand public sont maintenant réutilisées comme matériel d’entraînement pour des systèmes d’IA conçus pour naviguer dans l’espace physique.

Le marché du travail dont personne ne parle

Le volet investissement des world models est déjà considérable. Yann LeCun, ancien responsable de la recherche en IA chez Meta, a levé plus d’un milliard de dollars pour financer sa startup Advanced Machines Intelligence. Fei-Fei Li, informaticienne à Stanford, a lancé en 2024 une startup appelée World Labs, qu’AMD a acquise pour plus de 8 milliards de dollars. Des entreprises comme Google et Tencent développent leurs propres capacités de world models. Le capital affluant dans ce domaine indique que les acteurs majeurs considèrent les world models non pas comme un domaine de recherche de niche, mais comme une technologie fondamentale.

Ce qui reçoit moins d’attention, c’est la structure de travail mise en place pour nourrir ces systèmes. Les world models ont besoin de données sur le monde physique, et ces données ne se génèrent pas toutes seules. Elles nécessitent des personnes pour enregistrer des environnements ordinaires : cuisines, salons, mains effectuant des tâches de routine. Cela produit déjà une nouvelle catégorie de petits boulots, où des individus enregistrent des heures de vidéo dans leur propre maison et vendent ces séquences via des applications, souvent pour une compensation modeste. Alors que de plus en plus d’entreprises se disputent la construction de meilleurs world models, la demande pour ce type de collecte de données va probablement croître.

Il est bon de s’y attarder. Les personnes qui font ce travail ne sont pas des chercheurs ou des ingénieurs en IA. Elles fournissent la matière première qui rend les systèmes d’IA physique possibles, souvent sans comprendre clairement comment ce matériel sera utilisé ou ce qu’il finira par entraîner.

En bref

Les world models sont des systèmes d’IA qui simulent la réalité physique plutôt de générer du texte. Ils permettent aux robots et aux véhicules autonomes de s’entraîner dans des environnements numériques avant d’opérer dans de vrais environnements. La technologie attire des investissements importants, avec des acquisitions majeures et des tours de financement déjà actés. En coulisses, elle crée également de nouvelles formes de travail sur les données, où des gens ordinaires enregistrent leurs environnements physiques pour nourrir des systèmes avec lesquels ils n’interagiront probablement jamais directement. Le fossé entre ceux qui construisent ces systèmes et ceux qui les alimentent est l’une des tensions déterminantes du développement précoce de cette technologie.

D’après un reportage de Wired.

Rédigé par

NAVION