Depuis 75 ans, la recherche en intelligence artificielle repose sur deux idées introduites par Alan Turing en 1950. Un éminent informaticien soutient aujourd’hui que ces idées étaient fausses, et que les conséquences de les avoir suivies ont façonné le développement de l’IA d’une manière potentiellement fondamentalement limitante. Il ne s’agit pas d’une critique technique mineure. C’est une remise en question des fondements conceptuels de tout le domaine.
Peter J. Denning, l’informaticien à l’origine de cet argument, expose sa thèse dans un livre intitulé Turing’s Mistake: Escaping the Yoke of Unintelligent Machines. Son argument central est que deux hypothèses formulées par Turing n’ont jamais été sérieusement remises en question, et que toutes deux sont erronées.
La première hypothèse : l’intelligence peut exister indépendamment d’un corps physique, et peut donc être recréée sous forme de logiciel. La seconde : une machine peut démontrer son intelligence en imitant de manière convaincante un être humain dans une conversation, ce qui est devenu le fondement du célèbre test de Turing. La position de Denning est directe. Accepter ces affirmations sans esprit critique, écrit-il, a conduit à ce qu’il appelle « le chaos de l’IA dans lequel nous nous trouvons aujourd’hui ».
Le savoir qui ne peut pas être saisi dans un ordinateur
Le cœur de l’argumentation de Denning porte sur le savoir tacite. Il s’agit de cette vaste catégorie de la compréhension humaine qui résiste à toute mise en mots ou encodage sous forme de données. Ce n’est pas de l’ignorance. C’est tout le contraire : la compétence profonde et incarnée qui permet à une personne de naviguer dans le monde sans pouvoir expliquer pleinement comment elle y parvient.
Denning identifie cinq grandes catégories de savoir tacite que le machine learning ne peut pas capturer : le sens commun, les interactions quotidiennes avec les personnes et l’environnement physique, les émotions et la perception, les compétences pratiques de performance, et le savoir social et historique ancré dans la culture.
Le défi que représente l’encodage du sens commun n’est pas nouveau. L’une des tentatives les plus soutenues fut le projet Cyc, lancé par Douglas Lenat dans les années 1980. Son objectif était de constituer une base de données exhaustive de faits relevant du sens commun. Après quatre décennies de travail, le projet contenait environ 25 millions d’entrées. C’est une entreprise colossale, quelle que soit la mesure utilisée. Pourtant, le jugement de Denning est sans appel : même un effort d’une telle ampleur n’a pas permis de produire un système doté d’une véritable compréhension experte. Le projet, selon lui, a en réalité validé le problème plutôt que de le résoudre. Une grande partie de ce qui rend les experts humains capables ne peut tout simplement pas être articulée sous forme de propositions.
Les compétences pratiques illustrent ce problème de manière encore plus frappante. Denning établit une distinction entre le « savoir quoi » et le « savoir comment ». Les descriptions de résultats habiles peuvent être stockées sous forme de données. Le savoir incarné nécessaire pour réellement exécuter une compétence, lui, ne le peut pas. Un violoniste virtuose peut produire une musique extraordinaire, mais il ne peut pas expliquer pleinement à un élève comment la reproduire. Même si un robot pouvait observer et imiter un musicien talentueux, il n’aurait aucun accès à ce que ressent le musicien en jouant, ni à ce que ressent le public en écoutant. La performance et l’expérience de la performance sont indissociables du fait d’avoir un corps biologique.
Pourquoi augmenter l’échelle ne résout pas le problème
C’est là que l’argumentation de Denning devient la plus directement pertinente pour le moment actuel du développement de l’IA. Les grands modèles de langage tels que ChatGPT, Claude et Gemini sont capables de produire des textes fluides et contextuellement appropriés. Ils font aussi, selon Denning, quelque chose de fondamentalement différent de la compréhension.
Sa formulation est précise : les mots sont des représentations symboliques de significations, et non les significations elles-mêmes. Les LLM manipulent des mots. Ils ne savent pas ce que les mots signifient. Derrière chaque mot, soutient Denning, se trouve un puits profond de savoir tacite qui lui confère son sens, et ce puits est inaccessible à tout système fonctionnant uniquement sur des symboles encodés.
Le contexte aggrave le problème. L’intelligence humaine repose sur un réseau infini et fractal de conversations antérieures, de présupposés culturels et d’histoire sociale. Reconnaître le sarcasme, savoir quand faire preuve de diplomatie, interpréter une demande ambiguë : tout cela exige un accès à des couches de contexte qui ne sont jamais pleinement explicites. La culture, dans le cadre conceptuel de Denning, englobe les valeurs, les normes, les jugements, l’histoire, les communautés, les états d’esprit et les relations impliquant pouvoir et sollicitude. Augmenter l’échelle des réseaux de neurones avec davantage de données et davantage de paramètres ne donne à un système accès à rien de tout cela. Cela lui fournit simplement plus de motifs sur le même type de symboles encodés.
Ce que cela signifie au-delà du débat technique
Voici ce que la plupart des articles sur les débats autour des capacités de l’IA passent sous silence : les enjeux ne portent pas principalement sur la question de savoir si l’IA réussira le test de Turing. Ils concernent la sécurité et l’alignement dans un monde où des systèmes d’IA opèrent déjà de manière autonome à grande échelle.
La préoccupation de Denning n’est pas le scénario de science-fiction de machines superintelligentes prenant le contrôle. Sa préoccupation est plus ancrée dans le réel et, sans doute, plus urgente. Des réseaux agentiques de machines sont susceptibles de développer leurs propres formes d’intelligence machine qui, sans atteindre l’intelligence générale humaine, sont néanmoins capables de créer de sérieux problèmes. Si les machines ne peuvent pas interpréter le contexte non exprimé derrière les intentions humaines, aligner de manière fiable des systèmes d’IA avancés sur les objectifs humains pourrait s’avérer impossible. Les humains ne peuvent pas lire le savoir tacite des machines. Les machines ne peuvent pas lire le savoir tacite des humains. Denning décrit cela comme « des étrangers séparés par un gouffre infranchissable ».
L’implication pratique est significative. Les systèmes d’IA peuvent être puissants, utiles et véritablement précieux sans être intelligents à la manière des humains. Les traiter comme s’ils l’étaient, ou chercher à construire une version d’eux qui le soit, est peut-être une direction entièrement erronée.
En bref
Les deux hypothèses fondatrices de Turing — que l’intelligence est indépendante du substrat et que l’imitation équivaut à l’intelligence — ont guidé la recherche en IA pendant 75 ans. Denning soutient que toutes deux sont fausses. L’obstacle central est le savoir tacite : la compréhension incarnée, contextuelle et culturelle que les humains portent en eux sans pouvoir la formuler pleinement, et qu’aucune quantité de données ni aucune puissance de calcul ne peut encoder. Cela ne signifie pas que l’IA est inutile. Cela signifie que le domaine s’est peut-être fixé le mauvais objectif, et que les risques de persister dans cette voie sont plus pratiques que théoriques.
D’après un article de ScienceDaily AI.