I modelli di IA di frontiera mantengono segreto il loro ragionamento. O almeno così credevano le aziende che li sviluppano. Un team di informatici ha ora dimostrato che questa segretezza è più fragile del previsto, con implicazioni che vanno dalla sicurezza dei dati personali alla geopolitica dello sviluppo dell’IA.
La vulnerabilità nascosta in piena vista
Quando i modelli di IA avanzati affrontano problemi complessi, non si limitano a produrre una risposta. Lavorano attraverso una catena di pensiero, suddividendo il problema in passaggi e analizzando ciascuno in sequenza. Le aziende trattano queste tracce di ragionamento come proprietarie. Rivelarle permetterebbe ai concorrenti di usarle per addestrare nuovi modelli, un processo noto come distillazione. Per evitare ciò, le aziende cifrano il ragionamento e lo inviano alla macchina dell’utente in una forma che non dovrebbe essere leggibile.
La parola chiave è “dovrebbe”. I ricercatori dell’Università di Tubinga, del Max Planck Institute, dell’istituto per la sicurezza dell’IA MATS Research e dell’azienda di sicurezza Snyk hanno identificato una debolezza strutturale nel modo in cui questa cifratura funziona nella pratica. La maggior parte dei principali fornitori di IA offre i propri modelli in più formati. I modelli più grandi sono più capaci e più costosi da eseguire; le versioni più piccole esistono per gli utenti che desiderano costi inferiori. Fondamentalmente, i modelli più piccoli condividono la stessa infrastruttura di decifratura delle loro controparti più grandi, ma hanno ricevuto un addestramento di allineamento inferiore. Ciò significa che hanno meno probabilità di rifiutarsi di rivelare ciò che stanno elaborando.
Alimentando una versione più piccola della stessa famiglia di modelli con le tracce di ragionamento cifrate, i ricercatori hanno scoperto di poter recuperare il ragionamento nascosto che il modello più grande aveva prodotto. L’attacco non richiede di violare alcuna chiave di cifratura. Sfrutta una lacuna nel modo in cui l’allineamento viene applicato in modo coerente all’interno di una famiglia di modelli. Come ha dichiarato Alexander Panfilov, un informatico dell’Università di Tubinga che ha partecipato al lavoro: “Tutti i principali fornitori di modelli di frontiera che abbiamo testato condividono questa vulnerabilità”.
Lo stesso metodo ha anche fatto emergere qualcosa di più immediatamente allarmante: informazioni personali, tra cui password e API keys, incorporate nelle tracce di ragionamento catturate dalla macchina di un utente. OpenAI, Anthropic e Google sono state avvisate della vulnerabilità e da allora hanno modificato le loro API per impedire che le informazioni private vengano estratte in questo modo. Il rischio di distillazione, tuttavia, non è stato completamente risolto. Panfilov osserva che risolverlo interamente richiederebbe una revisione fondamentale di come sono strutturate le API di queste aziende.
La questione della distillazione e cosa mostrano realmente le prove
La ricerca apre un secondo fronte, più controverso: la questione se alcuni modelli di IA siano già stati costruiti distillando il ragionamento dai sistemi chiusi dei concorrenti.
Per indagare su questo, i ricercatori hanno sottoposto 90 domande a una serie di modelli, fornendo poi ad alcuni modelli open-weight le prime parole di tracce di ragionamento catturate da sistemi proprietari. In diversi casi, i modelli aperti hanno generato output che corrispondevano strettamente al ragionamento nascosto di quelli chiusi. La cosa è stata particolarmente evidente con Kimi K3, un modello open-weight dell’azienda cinese Moonshot AI, che ha prodotto output straordinariamente simili alle tracce di ragionamento nascoste di Claude Opus 4.8 e GPT 5.6 Sol per determinati prompt. Altri due modelli open-weight, DeepSeek dalla Cina e Inkling dall’azienda statunitense Thinking Machines, non hanno mostrato lo stesso schema.
I ricercatori sono prudenti riguardo a ciò che questo significa. Il loro paper afferma esplicitamente che i risultati “non possono stabilire causalmente la distillazione”. La somiglianza nei pattern di ragionamento è suggestiva, non conclusiva. Moonshot AI non ha risposto alle richieste di commento prima della pubblicazione.
La questione è importante perché la distillazione è diventata un argomento politicamente caldo. OpenAI ha dichiarato ai legislatori statunitensi che DeepSeek sembrava aver copiato uno dei suoi modelli per costruire il suo modello di ragionamento R1. Anthropic ha riferito ai legislatori che Alibaba aveva sistematicamente distillato i suoi modelli per costruire Qwen. Si tratta di accuse gravi e la nuova ricerca aggiunge una dimensione tecnica al dibattito senza risolverlo. Kyle Miller, ricercatore del Center for Security and Emerging Technology, un think tank di politica tecnologica, ha fatto notare che non è ancora chiaro quanto la distillazione benefici effettivamente lo sviluppo dell’IA cinese e che la rimozione della capacità di distillare non cambierebbe, a suo avviso, drasticamente il panorama competitivo.
Perché questo va oltre una patch di sicurezza
Ecco cosa sfugge alla maggior parte della copertura mediatica di questa storia. La vulnerabilità in sé è stata parzialmente risolta. Il problema più profondo è strutturale e indica una tensione che non verrà risolta con un aggiornamento delle API.
Le aziende di IA hanno costruito modelli di business basati sul mantenere il ragionamento proprietario. Tale segretezza è sia un fossato competitivo sia, sostengono, una misura di sicurezza. Ma l’architettura necessaria per fornire capacità di IA su scala, con modelli di dimensioni diverse che condividono l’infrastruttura, crea delle giunture. Tali giunture possono essere individuate e sfruttate. I ricercatori lo hanno dimostrato con un metodo che Florian Tramer, informatico dell’ETH di Zurigo specializzato in sicurezza informatica, ha definito “molto figo” nella sua eleganza: scambiare i messaggi indirizzandoli verso una variante di modello più debole che condivide la chiave di decifratura ma ha un allineamento più debole.
L’implicazione più ampia è che i sistemi di IA rivelano il loro funzionamento interno in modi che i loro progettisti non prevedono pienamente. La distillazione è già ampiamente utilizzata in tutto il settore. Mark Zuckerberg, CEO di Meta, l’ha descritta in un post sul blog come “un principio importante di come funziona l’ecosistema open source”. Yarin Gal, informatico dell’Università di Oxford, ha notato che la distillazione ha aiutato l’IA ad avanzare più rapidamente e che restrizioni universali sulla pratica rallenterebbero il ritmo dei progressi per tutti.
La questione non è se la distillazione avvenga. Avviene, apertamente e legittimamente, in tutto il settore. La questione è se i confini che le aziende tracciano attorno al loro ragionamento proprietario siano solidi quanto credono. Questa ricerca suggerisce che non lo sono.
In breve
Un team di ricercatori ha dimostrato che il ragionamento nascosto dei principali modelli di IA può essere estratto sfruttando una lacuna tra le versioni più grandi e più piccole della stessa famiglia di modelli. Il metodo ha anche esposto dati personali incorporati nelle tracce di ragionamento, una vulnerabilità che da allora è stata risolta con una patch. La stessa tecnica solleva interrogativi sul fatto che alcuni modelli open-weight siano stati costruiti utilizzando il ragionamento distillato di concorrenti chiusi, sebbene le prove siano più suggestive che conclusive. La lezione più profonda è che l’architettura di erogazione dell’IA crea vulnerabilità strutturali che non possono sempre essere risolte con un semplice aggiornamento.
Basato su un articolo di Wired.