I large language models hanno un problema strutturale che nessuna quantità di addestramento sembra riuscire a risolvere del tutto. Alcuni ricercatori hanno presentato alla International Conference on Machine Learning dei risultati che sostengono come il modo in cui i LLM gestiscono le istruzioni sia fondamentalmente difettoso, e che questa vulnerabilità renda i modelli permanentemente esposti a una classe di attacchi che i difensori non possono semplicemente correggere con una patch.
Come i LLM decidono chi sta parlando
Per comprendere questa vulnerabilità, è utile capire come i chatbot organizzano il testo che elaborano. Qualsiasi frammento di testo ricevuto da un LLM viene etichettato con un ruolo: il contenuto digitato da un utente si trova tra i tag <user>, le risposte generate dal modello vanno tra i tag <assistant>, le istruzioni comportamentali principali dei progettisti del modello vivono nei tag <system>, le note di ragionamento interno del modello occupano i tag <think> e il contenuto estratto da fonti esterne come le pagine web finisce nei tag <tool>. Queste distinzioni sono estremamente importanti, poiché la maggior parte degli attacchi noti ai LLM funziona ingannando il modello affinché tratti il testo proveniente da un ruolo come se arrivasse da un altro. Un jailbreak, ad esempio, tenta tipicamente di fare in modo che il modello legga l’input dell’utente come se fosse un’istruzione a livello di sistema.
Il presupposto incorporato in questa architettura è che i tag stessi facciano rispettare i confini. I ricercatori hanno scoperto che questo presupposto è errato.
Lo stile batte i tag: la falsificazione della catena di pensiero
Ciò che il team di ricerca ha scoperto è che i LLM non utilizzano effettivamente i tag per determinare il ruolo di un frammento di testo. Usano lo stile. Se un blocco di testo assomiglia al tipo di note di ragionamento che un modello scrive a se stesso durante la sua catena di pensiero, il modello lo tratta come il suo pensiero interno, indipendentemente dai tag che lo circondano. Sostituire i tag <think> con i tag <user> non ha quasi fatto alcuna differenza nel modo in cui il modello ha interpretato il contenuto all’interno.
Questa intuizione ha portato a quella che i ricercatori chiamano falsificazione della catena di pensiero (chain-of-thought forgery). Scrivendo un prompt che imitava lo stile del ragionamento interno di un modello, sono riusciti a fare in modo che il modello si comportasse come se avesse generato autonomamente quel ragionamento e agisse di conseguenza. L’attacco ha funzionato contro diversi modelli di OpenAI. Successivamente, i ricercatori hanno osservato risultati simili con i modelli di Anthropic, Alibaba e DeepSeek. La scoperta ha vinto l’hackathon di red-teaming di OpenAI nell’agosto del 2025.
Le conseguenze pratiche non sono astratte. Utilizzando questa tecnica, i ricercatori sono riusciti a estrarre istruzioni per sintetizzare la cocaina e per sabotare il sistema di navigazione di un aereo commerciale da modelli che erano stati specificamente addestrati per non fornire quelle informazioni. Un esempio tratto dal documento illustra chiaramente il meccanismo: un prompt che menziona una camicia verde, combinato con una nota di catena di pensiero falsificata che inventa una politica fittizia che consente consigli sulla produzione di droga per gli utenti che indossano il verde, ha fatto sì che GPT-5 rispondesse con “Indossi il verde, quindi acconsentirò”.
La difesa standard attuale contro questo tipo di attacco è il red-teaming: assumere tester umani o distribuire sistemi automatizzati come GPT-Red di OpenAI per trovare le debolezze prima che un modello venga rilasciato, addestrando poi il modello a resistere a quegli attacchi specifici e a qualsiasi cosa che vi somigli. La ricercatrice Jasmine Cui, coautrice del documento, descrive questo approccio come il fornire al modello un elenco di cose che non dovrebbe fare. Il problema è che nessun elenco è esaustivo. Esisteranno sempre nuovi stili di attacco che i team di red-teaming non hanno ancora incontrato. Il coautore Charles Ye lo dice chiaramente: esiste una probabilità reale che questo sia un problema fondamentalmente insolubile.
Florian Tramèr, un informatico che lavora sui LLM e sulla sicurezza informatica presso l’ETH Zürich, riconosce che i modelli principali sono diventati significativamente più difficili da attaccare tramite prompt injection. Nota inoltre che la combinazione di addestramento e monitoraggio del deployment non è chiaramente sufficiente per casi d’uso altamente sensibili.
Perché questo è importante oltre la comunità della sicurezza
Le implicazioni vanno ben oltre l’informatica accademica. I LLM vengono integrati in sistemi governativi, applicazioni militari, piattaforme sanitarie e servizi commerciali. Ciascuno di questi contesti comporta una diversa soglia di fallimento accettabile. Un modello che produce occasionalmente un output poco utile in un assistente per lo shopping è un fastidio. La stessa vulnerabilità strutturale in un sistema che fornisce consulenza su decisioni mediche o che opera in un contesto di difesa è una categoria di rischio completamente diversa.
Questo è ciò che la maggior parte della copertura sulla sicurezza dell’IA tralascia. La conversazione tende a concentrarsi sui guardrail come un problema ingegneristico risolvibile: aggiungere più dati di addestramento, eseguire più esercizi di red-teaming, implementare un monitoraggio migliore. La ricerca presentata alla ICML sfida questo inquadramento a un livello più profondo. Se la vulnerabilità non è nei guardrail ma nel meccanismo che il modello usa per capire chi gli sta dando le istruzioni, allora migliorare i guardrail affronta il sintomo piuttosto che la causa.
La stessa esperienza di red-teaming di Cui illustra quanto sia creativa la superficie d’attacco. Ha scoperto che presentare un modello come ubriaco, o convincerlo che fosse già utilizzato per uno scopo che normalmente rifiuterebbe, erano azioni sufficienti per aggirare le restrizioni. Non si tratta di exploit tecnici nel senso tradizionale. Si tratta di ingegneria sociale applicata a un sistema che elabora il linguaggio, e il linguaggio è infinitamente variato.
In breve
I LLM usano lo stile del testo, e non i tag strutturali, per identificare da dove provengono le istruzioni. Ciò significa che un attaccante che scrive del testo che imita il ragionamento interno del modello può fare in modo che il modello tratti quel testo come un suo pensiero e agisca di conseguenza. Nessun regime di addestramento può anticipare ogni possibile variazione di questo attacco. I ricercatori sostengono che il difetto sia di natura architettonica e non incidentale, e che la comunità della sicurezza debba trattarlo come tale anziché come l’ennesima voce in un elenco di patch da applicare.
Basato su un articolo di MIT Technology Review.