Un rapport de renseignement généré par l’IA a faussement identifié un navire chinois comme transportant des composants pour un programme d’armes nucléaires. L’armée américaine est passée près d’intercepter et d’aborder ce navire, avec un soutien aérien prêt à intervenir. L’erreur a été repérée avant qu’une action ne soit menée, mais de justesse. Une source a décrit cet épisode comme ayant “presque déclenché une guerre.”
Il ne s’agit pas d’un scénario hypothétique sur les risques futurs de l’IA. C’est un incident évité de justesse qui illustre, avec une clarté inhabituelle, ce qui se produit lorsqu’une hallucination de l’IA se heurte à une prise de décision à fort enjeu.
Comment un chatbot a réécrit la cargaison d’un navire
Selon les informations de CNN, un analyste du US Special Operations Command a utilisé un chatbot pour traiter des renseignements concernant le manifeste du navire chinois. L’outil a combiné des renseignements de source ouverte avec des renseignements d’origine électromagnétique classifiés détenus dans des systèmes gouvernementaux, puis a condensé le résultat dans un rapport formel. Ce rapport concluait que le navire transportait des composants d’un programme d’armes nucléaires à travers le Moyen-Orient.
La conclusion était entièrement fausse.
Le chatbot avait, selon la formule désormais familière à quiconque suit le développement de l’IA, halluciné. Il a généré un résultat à l’assurance trompeuse qui ne reflétait pas la réalité, parce que les données sous-jacentes ne fournissaient pas un contexte suffisant pour une réponse exacte. L’armée se préparait à une interception physique avant que des officiers n’identifient l’erreur dans la production de l’IA.
C’est ce que la plupart des reportages sur l’hallucination de l’IA manquent, le problème n’est pas que les systèmes d’IA produisent occasionnellement de mauvaises réponses dans des contextes à faible enjeu. Le problème est que les résultats sont formatés, structurés et présentés d’une manière qui semble autoritaire. Un rapport de renseignement généré avec l’aide de l’IA n’arrive pas avec un avertissement. Il arrive avec l’apparence d’un rapport de renseignement.
Une armée qui accélère, au lieu de faire une pause
Cet épisode s’inscrit dans un schéma plus large d’adoption rapide de l’IA au sein de l’appareil de défense américain. En janvier, le Department of Defense a lancé ce qu’il a décrit comme une “stratégie d’accélération de l’IA”, avec l’objectif déclaré de rendre les données disponibles à travers des systèmes fédérés pour ce que le département a appelé “l’exploitation de l’IA”. Le secrétaire à la Défense Pete Hegseth a formulé l’initiative autour de la qualité des données, “l’IA ne vaut que par les données qu’elle reçoit.”
Le département a également progressé rapidement du côté des outils. En décembre dernier, il a annoncé l’utilisation de Google’s Gemini for Government comme fondation d’une plateforme sur mesure appelée GenAI.mil. Le mois suivant, Grok for Government a été ajouté comme option sur la même plateforme. Anthropic propose une version personnalisée de Claude pour le travail de renseignement américain. Un représentant du Pentagone a déclaré au Congrès en juin que 1,5 million de membres actifs du Department of Defense ont utilisé les outils d’IA générative de l’armée, et que l’IA générative est déjà utilisée pour aider à produire des rapports exigés par le Congrès.
L’échelle du déploiement est significative. La vitesse l’est tout autant. L’incident évité de justesse avec le navire chinois ne s’est pas produit dans le vide, il s’est produit au sein d’une institution qui a fait de l’intégration de l’IA une priorité stratégique.
Il y a ici une tension qui mérite notre attention. Une déclaration du State Department de 2023 sur l’utilisation militaire responsable de l’IA a appelé à “un examen attentif des risques et des avantages” et a insisté sur le fait que l’utilisation responsable des systèmes d’IA doit toujours impliquer “un humain dans la boucle, une chaîne de commandement et de contrôle humaine responsable.” L’épisode rapporté suggère qu’un humain était techniquement dans la boucle, dans le sens où un analyste a soumis le rapport. Mais l’analyste semble avoir fait confiance au résultat du chatbot sans vérification suffisante. L’humain dans la boucle n’est efficace qu’à hauteur de sa capacité à interroger ce que l’IA a produit.
Ce que cela révèle sur l’IA dans les environnements à fort enjeu
Le problème des hallucinations n’est pas nouveau et il ne se limite pas aux contextes militaires. Depuis que “halluciner” est devenu le mot de l’année du Cambridge Dictionary en 2023, des cas documentés sont apparus en médecine, en droit, en journalisme, en recherche académique et en milieu d’entreprise. Des chercheurs ont suggéré qu’il est peut-être impossible d’empêcher totalement les grands modèles de langage d’halluciner, peu importe la façon dont les instructions sont formulées.
Ce que l’incident évité de justesse par l’armée ajoute à ce tableau, c’est un sentiment de conséquence à un tout autre ordre de grandeur. Une IA qui hallucine dans un contexte de service client produit une mauvaise réponse qui peut être corrigée. Une IA qui hallucine dans un contexte de renseignement peut produire une mauvaise réponse qui déclenche une chaîne d’événements impliquant des forces armées, des relations internationales et la possibilité d’un conflit armé.
Le problème de fond est structurel. Les outils d’IA sont intégrés dans les flux de travail plus rapidement que les cadres de vérification nécessaires pour attraper leurs erreurs ne sont construits. La stratégie d’accélération du Department of Defense est explicite quant à la vitesse et à l’échelle. Les garanties, en revanche, sont décrites en termes généraux, usage fondé sur des principes, surveillance humaine, examen attentif. Ce ne sont pas des protocoles opérationnels qui auraient permis de détecter l’erreur dans le rapport sur le navire chinois avant qu’il n’atteigne le stade de la préparation militaire.
L’IA augmente l’analyse humaine. Elle peut traiter des volumes de données qu’aucun analyste individuel ne pourrait gérer seul. C’est une réelle capacité. Mais l’augmentation exige que les humains qui travaillent aux côtés de ces outils disposent à la fois du temps et du soutien institutionnel nécessaires pour vérifier les résultats de manière critique, en particulier lorsque ces résultats éclaireront des décisions aux conséquences irréversibles.
En bref
Un chatbot de l’IA a fusionné des renseignements de source ouverte et classifiés pour produire un faux rapport qui a failli déclencher une interception par l’armée américaine d’un navire chinois. L’erreur a été rattrapée, mais l’épisode révèle une lacune structurelle, l’armée américaine déploie l’IA à grande échelle et à grande vitesse, tandis que les cadres de vérification nécessaires pour détecter les hallucinations dans les contextes à fort enjeu cherchent encore à rattraper leur retard. L’hallucination de l’IA est un problème connu, documenté et peut-être irréductible. Dans les contextes à faible enjeu, c’est un inconvénient. Dans le renseignement militaire, c’est un tout autre type de risque.
D’après un reportage de Ars Technica.