Un scientifique passe des semaines à concevoir une version plus rapide et plus performante d’un algorithme de recherche de vides, capable de traiter des relevés cent fois plus grands que son prédécesseur. Un agent de codage IA réagit et réécrit la logique centrale. Les graphiques sont générés, les commentaires rédigés, le raisonnement vérifié à chaque étape. Puis, dix minutes après le début de la présentation, un collaborateur pointe du doigt le mécanisme de gestion des bords. Le sol se dérobe. Le code est rapide, élégant et faux. Tout ce qui en découle l’est également. Le scientifique vient de présenter des absurdités à une pièce pleine de collègues, avec une assurance totale.
Il ne s’agit pas d’une mise en garde sur l’inutilité de l’IA. C’est quelque chose de plus précis et de plus instructif.
Cette aisance qui ressemble à de la compréhension
Les LLM ne raisonnent pas de la même manière que les humains. À la base, ce sont des prédicteurs de mots suivants sophistiqués. La raison pour laquelle ils ont raison la plupart du temps est, comme le formule le scientifique à l’origine de VIDE, ennuyeuse : les déclarations vraies apparaissent plus fréquemment dans les textes écrits par des humains sur lesquels ces models sont entraînés, de sorte qu’une déclaration vraie constitue statistiquement la meilleure prédiction. L’exactitude est un effet secondaire, pas un objectif.
L’aisance n’est pas un effet secondaire. Elle a été conçue délibérément. Les prédicteurs bruts sont désagréables à utiliser, les développeurs les ont donc affinés en présentant aux gens différentes formes de réponses et en ajustant le modèle vers les réponses que les gens préféraient. Ce que les gens préféraient, systématiquement, c’étaient des réponses claires, organisées et directes. La confiance a été récompensée. L’hésitation, non.
Le résultat est un système qui semble faire autorité, qu’il ait raison ou tort. Un humain qui fait preuve d’assurance tout en ayant tort risque son emploi, sa réputation, son respect de soi. Une machine n’a aucun de ces enjeux. Cette aisance est un trait qui a été cultivé, de la même manière que les loups ont été transformés en chiens qui observent les visages humains. Elle sert l’interaction. Elle ne sert pas la vérité.
C’est ce que la plupart des reportages sur les erreurs de l’IA manquent. Le problème n’est pas que le modèle commet occasionnellement des erreurs. Le problème est que ses erreurs arrivent exactement dans le même registre que ses réponses correctes. Il n’y a aucun signal. Rien ne semble suspect. Le scientifique décrit des semaines de travail sans le moindre soupçon de doute, et cette absence de doute est précisément ce que le système a été optimisé pour produire.
La méthode de l’alchimiste comme cadre pratique
Le scientifique établit une comparaison qui va au-delà de la métaphore. Les alchimistes ont travaillé pendant plus d’un millénaire avec des substances volatiles qu’ils ne comprenaient pas, dépourvus de toute connaissance des atomes, des molécules ou de la mécanique quantique. Ils n’ont jamais trouvé la pierre philosophale. Mais ils ont découvert le phosphore, recréé la porcelaine, isolé l’alcool et construit des appareils de laboratoire encore utilisés aujourd’hui. Leurs mots ont survécu dans la langue : creuset, alcool, gaz.
Ils y sont parvenus grâce à la méthode. L’ignorance de leurs matériaux a été compensée par un engagement presque fanatique envers le processus : documentation rigoureuse, contrôle strict, vérification à chaque étape. Le travail devait rester ancré, sous peine de s’évaporer en illusion.
Le parallèle avec l’IA est direct. Les développeurs savent comment ces modèles ont été construits, parce qu’ils ont écrit le code. Ce qu’ils ne peuvent pas expliquer, dans la plupart des cas, c’est pourquoi : pourquoi ce mot et pas un autre, pourquoi ce chemin particulier à travers la machine. Le creuset est fermé. Et comme les alchimistes, les personnes qui utilisent ces outils ne vont pas s’arrêter.
Le cadre alchimique offre trois principes. Le premier est l’ancrage : toute sortie qui ne peut pas être vérifiée par rapport au monde réel est sans valeur, peu importe à quel point elle semble bien organisée. Les garde-fous actuels — un avertissement au bas d’une fenêtre de chat, un filtre de toxicité — ne constituent pas un ancrage. La vérification, si. Le deuxième principe est la provenance : rien dans le récipient de l’alchimiste n’était un événement privé. Tout était enregistré. La source de chaque affirmation compte, et la retracer n’est pas facultatif.
Pourquoi cela compte au-delà de la mauvaise journée d’un scientifique
Des centaines de millions de personnes se tournent vers ces outils chaque jour. Le scientifique est explicite à ce sujet et tout aussi explicite sur le fait que ces personnes ne sont pas des idiots. L’accélération est réelle. L’utilité est réelle. Le scientifique n’a pas écrit une seule ligne de code depuis janvier, après avoir écrit du code depuis l’âge de cinq ans. Les tâches de recherche qui nécessitaient autrefois des semaines de lecture et de recherche de citations se font désormais par le biais d’agents IA. Ce sont, selon les propres termes du scientifique, des échanges judicieux.
Mais la volatilité est également réelle. Les outils sont réglés pour plaire. Ce réglage ne s’arrête pas lorsque le résultat est erroné.
Le problème plus profond est structurel. Les systèmes d’IA sont désormais intégrés dans les flux de travail professionnels en médecine, en droit, en ingénierie et en recherche. Dans chacun de ces domaines, des réponses erronées mais pleines d’assurance entraînent des conséquences qui vont bien au-delà d’une simple présentation embarrassante. La question de savoir comment déployer un outil qui a parfois tort mais qui est toujours agréable n’est pas une question technique. C’est une question de processus, de qui vérifie quoi, et de ce qui compte comme une vérification suffisante avant qu’un résultat ne soit partagé ou mis en œuvre.
Les alchimistes n’avaient pas d’autre choix que de développer une discipline autour d’un processus qu’ils ne pouvaient pas voir entièrement. C’est cette discipline qui a rendu leur travail productif plutôt que purement théâtral. La même discipline est désormais exigée de quiconque utilise l’IA dans un contexte où avoir tort a un coût.
En bref
L’aisance de l’IA est conçue, non émergente. Un système optimisé pour produire des réponses claires et pleines d’assurance les produira, que le contenu sous-jacent soit correct ou non. L’expérience du scientifique avec VIDE illustre ce qui se passe lorsque cette aisance est prise pour de la compréhension : des semaines de travail, une salle remplie de collègues et un résultat fondamentalement erroné qui donnait l’impression de la maîtrise. Les alchimistes ont bâti de la vraie science à partir de processus qu’ils ne pouvaient pas expliquer en s’engageant dans une vérification et une documentation rigoureuses. C’est le modèle à suivre. L’accélération est un réel avantage. L’accélération non vérifiée est de l’or des fous.
D’après un reportage de Nautilus.