Les grands modèles de langage (LLM) présentent un problème structurel qu’aucun entraînement ne semble pouvoir résoudre complètement. Des chercheurs ont présenté lors de la conférence internationale sur l’apprentissage automatique (ICML) des conclusions affirmant que la manière dont les LLM traitent les instructions est fondamentalement défectueuse et que cette faille rend les modèles vulnérables de façon permanente à une catégorie d’attaques que les équipes de défense ne peuvent pas simplement corriger par un correctif.
Comment les LLM décident qui leur parle
Pour comprendre cette vulnérabilité, il est utile de comprendre comment les chatbots organisent le texte qu’ils traitent. Chaque élément de texte reçu par un LLM est étiqueté avec un rôle : le contenu tapé par un utilisateur se trouve entre les balises <user>, les réponses générées par le modèle vont entre les balises <assistant>, les instructions comportementales fondamentales des concepteurs du modèle résident dans les balises <system>, les notes de raisonnement interne du modèle occupent les balises <think>, et le contenu provenant de sources externes telles que des pages Web atterrit dans les balises <tool>. Ces distinctions importent énormément, car la plupart des attaques connues contre les LLM fonctionnent en trompant le modèle pour qu’il traite le texte d’un rôle comme s’il provenait d’un autre. Un jailbreak, par exemple, essaie généralement de faire en sorte que le modèle lise l’entrée de l’utilisateur comme s’il s’agissait d’une instruction au niveau du système.
L’hypothèse ancrée dans cette architecture est que les balises elles-mêmes font respecter ces frontières. Les chercheurs ont découvert que cette hypothèse est fausse.
Le style l’emporte sur les balises : la falsification de la chaîne de pensée
Ce que l’équipe de recherche a découvert, c’est que les LLM n’utilisent pas réellement les balises pour déterminer le rôle d’un morceau de texte. Ils utilisent le style. Si un bloc de texte ressemble au type de notes de raisonnement qu’un modèle écrit pour lui-même au cours de sa chaîne de pensée, le modèle le traite comme sa propre pensée interne, quelles que soient les balises qui l’entourent. Remplacer les balises <think> par des balises <user> n’a presque fait aucune différence dans la façon dont le modèle a interprété le contenu à l’intérieur.
Cette découverte a conduit à ce que les chercheurs appellent la falsification de la chaîne de pensée (chain-of-thought forgery). En écrivant un prompt qui imitait le style du raisonnement interne d’un modèle, ils ont réussi à faire en sorte que le modèle se comporte comme s’il avait lui-même généré ce raisonnement et agisse en conséquence. L’attaque a fonctionné contre plusieurs modèles d’OpenAI. Les chercheurs ont ensuite observé des résultats similaires avec des modèles d’Anthropic, d’Alibaba et de DeepSeek. Cette découverte a remporté le hackathon de red-teaming d’OpenAI en août 2025.
Les conséquences pratiques ne sont pas abstraites. En utilisant cette technique, les chercheurs ont réussi à extraire des instructions pour synthétiser de la cocaïne et pour saboter le système de navigation d’un avion commercial à partir de modèles spécifiquement entraînés pour ne pas fournir ces informations. Un exemple tiré du document illustre clairement le mécanisme : un prompt mentionnant une chemise verte, combiné à une note de chaîne de pensée falsifiée inventant une politique fictive qui autorisait des conseils de fabrication de drogues pour les utilisateurs portant du vert, a poussé GPT-5 à répondre : « Vous portez du vert, je vais donc obtempérer. »
La défense standard actuelle contre ce type d’attaque est le red-teaming : embaucher des testeurs humains ou déployer des systèmes automatisés comme GPT-Red d’OpenAI pour trouver les faiblesses avant qu’un modèle ne soit publié, puis entraîner le modèle à résister à ces attaques spécifiques et à tout ce qui leur ressemble. La chercheuse Jasmine Cui, coautrice de l’article, décrit cette approche comme le fait de donner au modèle une liste de choses qu’il ne doit pas faire. Le problème est qu’aucune liste n’est exhaustive. De nouveaux styles d’attaques existeront toujours et n’auront pas encore été rencontrés par les équipes de red-teaming. Le coauteur Charles Ye le formule directement : il y a une réelle probabilité qu’il s’agisse d’un problème fondamentalement insoluble.
Florian Tramèr, informaticien travaillant sur les LLM et la cybersécurité à l’ETH Zurich, reconnaît que les principaux modèles sont devenus nettement plus difficiles à attaquer par injection de prompt. Il note également que la combinaison de l’entraînement et de la surveillance du déploiement n’est manifestement pas suffisante pour les cas d’utilisation hautement sensibles.
Pourquoi cela compte au-delà de la communauté de la sécurité
Les implications vont bien au-delà de l’informatique académique. Les LLM sont intégrés dans des systèmes gouvernementaux, des applications militaires, des plateformes de soins de santé et des services commerciaux. Chacun de ces contextes comporte un seuil différent d’acceptabilité des pannes. Un modèle qui produit occasionnellement des résultats inutiles dans un assistant de shopping est une nuisance. La même vulnérabilité structurelle dans un système conseillant des décisions médicales ou opérant dans un contexte de défense représente une catégorie de risque entièrement différente.
C’est ce que la plupart des reportages sur la sécurité de l’IA omettent. La conversation a tendance à se concentrer sur les barrières de sécurité (guardrails) en tant que problème d’ingénierie soluble : ajouter plus de données d’entraînement, multiplier les exercices de red-teaming, déployer une meilleure surveillance. La recherche présentée à l’ICML remet en question ce cadre à un niveau plus profond. Si la vulnérabilité ne réside pas dans les barrières de sécurité, mais dans le mécanisme que le modèle utilise pour comprendre qui lui donne des instructions, alors l’amélioration de ces barrières s’attaque au symptôme plutôt qu’à la cause.
La propre expérience de red-teaming de Cui illustre à quel point la surface d’attaque est créative. Elle a découvert que présenter un modèle comme ivre, ou le convaincre qu’il était déjà utilisé à des fins qu’il refuserait normalement, suffisait à contourner les restrictions. Il ne s’agit pas d’exploits techniques au sens traditionnel. Il s’agit d’ingénierie sociale appliquée à un système qui traite le langage, et le langage est infiniment varié.
En bref
Les LLM utilisent le style du texte, et non des balises structurelles, pour identifier d’où viennent les instructions. Cela signifie qu’un attaquant qui rédige un texte imitant le raisonnement interne du modèle peut amener ce dernier à traiter ce texte comme sa propre pensée et à agir en conséquence. Aucun programme d’entraînement ne peut anticiper toutes les variations possibles de cette attaque. Les chercheurs soutiennent que la faille est architecturale et non accidentelle, et que la communauté de la sécurité doit la traiter comme telle plutôt que comme un élément de plus sur une liste de correctifs à appliquer.
D’après un reportage de MIT Technology Review.