Les modèles de frontier AI gardent leur raisonnement secret. Du moins, c’est ce que croyaient les entreprises qui les développent. Une équipe d’informaticiens vient de démontrer que ce secret est plus fragile qu’on ne le pensait, avec des implications qui vont de la sécurité des données personnelles à la géopolitique du développement de l’IA.
La vulnérabilité cachée en plain jour
Lorsque des modèles d’IA avancés s’attaquent à des problèmes complexes, ils ne se contentent pas de produire une réponse. Ils suivent une chaîne de pensée, décomposant le problème en étapes et analysant chacune d’elles séquentiellement. Les entreprises traitent ces traces de raisonnement comme des informations propriétaires. Les révéler permettrait à des concurrents de les utiliser pour entraîner de nouveaux modèles, un processus connu sous le nom de distillation. Pour éviter cela, les entreprises chiffrent le raisonnement et l’envoyent sur la machine de l’utilisateur sous une forme censée être illisible.
Le mot clé est « censé ». Des chercheurs de l’Université de Tübingen, du Max Planck Institute, de l’institut de sécurité de l’IA MATS Research et de l’entreprise de sécurité Snyk ont identifié une faiblesse structurelle dans la manière dont ce chiffrement fonctionne en pratique. La plupart des grands fournisseurs d’IA proposent leurs modèles en plusieurs tailles. Les plus grands modèles sont plus performants et plus coûteux à faire tourner ; des versions plus petites existent pour les utilisateurs qui recherchent des coûts réduits. Fait crucial, ces petits modèles partagent la même infrastructure de déchiffrement que leurs équivalents plus grands, mais ils ont bénéficié de moins d’entraînement à l’alignement. Cela signifie qu’ils sont moins enclins à refuser de révéler ce qu’ils sont en train de traiter.
En fournissant des traces de raisonnement chiffrées à une version plus petite de la même famille de modèles, les chercheurs ont découvert qu’ils pouvaient récupérer le raisonnement caché produit par le grand modèle. L’attaque ne nécessite de casser aucune clé de chiffrement. Elle exploite une faille dans la constance de l’application de l’alignement au sein d’une famille de modèles. Comme l’a résumé Alexander Panfilov, informaticien à l’Université de Tübingen ayant participé à ces travaux : « Tous les principaux fournisseurs de frontier models que nous avons testés partagent cette vulnérabilité. »
La même méthode a également mis en lumière un élément plus immédiatement alarmant : des informations personnelles, notamment des mots de passe et des clés API, intégrées dans les traces de raisonnement capturées depuis la machine d’un utilisateur. OpenAI, Anthropic et Google ont été alertés de cette vulnérabilité et ont depuis ajusté leur API pour empêcher l’extraction d’informations privées de cette manière. Le risque de distillation, en revanche, n’a pas été entièrement résolu. Panfilov note qu’un correctif complet nécessiterait une refonte fondamentale de la structure des API de ces entreprises.
La question de la distillation et ce que montrent réellement les preuves
Cette recherche ouvre un second front, plus contesté : la question de savoir si certains modèles d’IA ont déjà été construits en distillant le raisonnement issu des systèmes fermés de concurrents.
Pour enquêter sur ce point, les chercheurs ont soumis 90 questions à un ensemble de modèles, puis ont fourni à certains modèles à poids ouverts les premiers mots de traces de raisonnement capturées sur des systèmes propriétaires. Dans plusieurs cas, les modèles ouverts ont généré des sorties qui correspondaient étroitement au raisonnement caché des modèles fermés. Ce phénomène était particulièrement prononcé avec Kimi K3, un modèle à poids ouverts de l’entreprise chinoise Moonshot AI, qui a produit des résultats frappants de similarité avec les traces de raisonnement cachées de Claude Opus 4.8 et GPT 5.6 Sol pour certaines requêtes. Deux autres modèles à poids ouverts, DeepSeek (Chine) et Inkling (entreprise américaine Thinking Machines), n’ont pas affiché le même profil.
Les chercheurs restent prudents quant à la portée de ces résultats. Leur article stipule explicitement que les conclusions « ne peuvent pas établir un lien de causalité avec la distillation ». La similarité des schémas de raisonnement est suggestive, mais pas définitive. Moonshot AI n’a pas répondu aux demandes de commentaires avant la publication.
Cette question est cruciale car la distillation est devenue un sujet politiquement sensible. OpenAI a indiqué aux parlementaires américains que DeepSeek semblait avoir copié l’un de ses modèles pour concevoir son modèle de raisonnement R1. Anthropic a affirmé de son côté qu’Alibaba avait systématiquement distillé ses modèles pour créer Qwen. Ce sont des accusations graves, et cette nouvelle recherche apporte une dimension technique au débat sans pour autant trancher. Kyle Miller, chercheur au Center for Security and Emerging Technology (un groupe de réflexion sur les politiques technologiques), a souligné qu’il reste difficile de mesurer l’impact réel de la distillation sur le développement de l’IA en Chine, et que la suppression de cette capacité ne bouleverserait pas radicalement le paysage concurrentiel, selon lui.
Pourquoi cela va au-delà d’un simple correctif de sécurité
Voici ce que la plupart des articles consacrés à cette histoire oublient. La vulnérabilité en elle-même a été partiellement corrigée. Le problème de fond est structurel et met en lumière une tension qu’une mise à jour d’API ne résoudra pas.
Les entreprises d’IA ont bâti leurs modèles économiques sur la confidentialité de leur raisonnement. Ce secret constitue à la fois un avantage concurrentiel et, selon elles, une mesure de sécurité. Mais l’architecture requise pour déployer des capacités d’IA à grande échelle, avec des modèles de tailles différentes partageant la même infrastructure, crée des failles. Ces failles peuvent être trouvées et exploitées. Les chercheurs l’ont démontré grâce à une méthode que Florian Tramer, informaticien à l’ETH Zürich spécialisé dans la sécurité informatique, a qualifié de « très élégante » : échanger les messages avec une variante de modèle plus faible qui partage la clé de déchiffrement, mais dispose d’un alignement moindre.
L’implication plus large est que les systèmes d’IA révèlent leur fonctionnement interne d’une manière que leurs concepteurs ne prévoient pas totalement. La distillation est déjà largement utilisée dans toute l’industrie. Mark Zuckerberg, PDG de Meta, l’a décrite dans un article de blog comme « un principe fondamental du fonctionnement de l’écosystème open source ». Yarin Gal, informaticien à l’Université d’Oxford, a fait remarquer que la distillation a contribué à accélérer les progrès de l’IA et que des restrictions universelles sur cette pratique ralentiraient le rythme de l’innovation pour tout le monde.
La question n’est pas de savoir si la distillation a lieu. Elle se produit, ouvertement et légitimement, dans tout le secteur. La question est de savoir si les barrières que les entreprises dressent autour de leur raisonnement propriétaire sont aussi solides qu’elles le pensent. Cette recherche suggère que ce n’est pas le cas.
En bref
Une équipe de chercheurs a démontré que le raisonnement caché des principaux modèles d’IA peut être extrait en exploitant l’écart entre les versions plus grandes et plus petites d’une même famille de modèles. La méthode a également mis en évidence des données personnelles intégrées dans les traces de raisonnement, une vulnérabilité qui a depuis été corrigée. Cette même technique soulève des questions quant à la création potentielle de certains modèles à poids ouverts à partir du raisonnement distillé de concurrents fermés, bien que les preuves soient plus suggestives que concluantes. La leçon principale est que l’architecture du déploiement de l’IA engendre des vulnérabilités structurelles qu’un simple correctif ne suffit pas toujours à résoudre.
D’après un reportage de Wired.