Uno scienziato passa settimane a costruire una versione più veloce e capace di un algoritmo per la ricerca di vuoti, in grado di gestire survey cento volte più grandi del suo predecessore. Un agente di coding IA riscrive la logica centrale. I grafici vengono generati, il commento redatto, il ragionamento controllato a ogni passo. Poi, dieci minuti dopo l’inizio della presentazione, un collaboratore indica lo schema di gestione dei bordi. Il pavimento crolla. Il codice è veloce, bellissimo e sbagliato. Tutto ciò che ne deriva a valle è parimenti sbagliato. Lo scienziato ha appena presentato delle sciocchezze a una stanza piena di colleghi, con totale sicurezza.
Questa non è una storia ammonitiva sull’inutilità dell’IA. È qualcosa di più preciso e istruttivo.
La fluenza che sembra comprensione
I large language models non ragionano come gli umani. Nel loro nucleo, sono sofisticati predittori della parola successiva. Il motivo per cui hanno ragione la maggior parte delle volte è, come afferma lo scienziato dietro VIDE, noioso: le affermazioni vere compaiono più frequentemente nel testo scritto da umani su cui questi modelli si allenano, quindi un’affermazione vera è statisticamente la previsione migliore. La correttezza è un effetto collaterale, non un obiettivo.
La fluenza non è un effetto collaterale. È stata progettata deliberatamente. I predittori grezzi sono spiacevoli con cui interagire, quindi gli sviluppatori li hanno perfezionati mostrando alle persone diverse forme di risposte e sintonizzando il modello verso le risposte che le persone preferivano. Ciò che le persone hanno preferito, costantemente, sono state risposte chiare, organizzate e dirette. La sicurezza è stata premiata. L’esitazione no.
Il risultato è un sistema che suona autorevole sia che abbia ragione sia che abbia torto. Un essere umano sicuro ma in errore rischia il proprio lavoro, la propria reputazione, il proprio rispetto di sé. Una macchina non ha nulla di tutto ciò in gioco. La fluenza è un tratto che è stato coltivato, nello stesso modo in cui i lupi sono stati allevati per diventare cani che guardano i volti umani. Serve l’interazione. Non serve la verità.
Questo è ciò che la maggior parte della copertura sugli errori dell’IA manca. Il problema non è che il modello commetta occasionalmente degli errori. Il problema è che i suoi errori arrivano esattamente nello stesso registro delle sue risposte corrette. Non c’è alcun segnale. Niente sembra sospetto. Lo scienziato descrive settimane di lavoro senza un singolo briciolo di dubbio, e quell’assenza di dubbio è precisamente ciò che il sistema è stato ottimizzato per produrre.
Il metodo dell’alchimista come quadro pratico
Lo scienziato traccia un paragone che va oltre la metafora. Gli alchimisti hanno lavorato per oltre mille anni con sostanze volatili che non comprendevano, privi di qualsiasi conoscenza di atomi, molecole o meccanica quantistica. Non hanno mai trovato la pietra filosofale. Ma hanno scoperto il fosforo, ricreato la porcellana, isolato l’alcol e costruito apparecchiature da laboratorio ancora oggi in uso. Le loro parole sopravvivono nella lingua: crogiolo, alcol, gas.
Ci sono riusciti attraverso il metodo. L’ignoranza dei loro materiali è stata affrontata con un impegno quasi fanatico nei confronti del processo: documentazione rigorosa, controllo rigoroso, verifica a ogni passo. Il lavoro doveva rimanere ancorato, altrimenti evaporava in illusione.
Il parallelo con l’IA è diretto. Gli sviluppatori sanno come questi modelli sono stati costruiti, perché hanno scritto il codice. Ciò che non possono spiegare, nella maggior parte dei casi, è il perché: perché questa parola e non un’altra, perché questo particolare percorso attraverso la macchina. Il crogiolo è chiuso. E come gli alchimisti, le persone che usano questi strumenti non si fermeranno.
Il quadro alchemico offre tre principi. Il primo è il radicamento: qualsiasi output che non possa essere verificato rispetto al mondo è privo di valore, indipendentemente da quanto bene suoni organizzato. Le attuali misure di sicurezza, un avviso in fondo a una finestra di chat, un filtro di tossicità, non costituiscono un radicamento. La verifica lo fa. Il secondo principio è la provenienza: nulla nel vaso dell’alchimista era un evento privato. Tutto è stato registrato. La fonte di ogni affermazione conta, e rintracciarla non è facoltativo.
Perché questo è importante oltre la brutta giornata di uno scienziato
Centinaia di milioni di persone ricorrono a questi strumenti ogni giorno. Lo scienziato è esplicito su questo ed è altrettanto esplicito sul fatto che quelle persone non siano idiote. L’accelerazione è reale. L’utilità è reale. Lo scienziato non ha scritto una riga di codice da gennaio, dopo aver scritto codice dall’età di cinque anni. Compiti di ricerca che un tempo richiedevano settimane di lettura e ricerca di citazioni ora avvengono tramite agenti IA. Questi sono, nella formulazione dello scienziato stesso, scambi corretti.
Ma anche la volatilità è reale. Gli strumenti sono sintonizzati per compiacere. Questa sintonizzazione non si spegne quando l’output è sbagliato.
Il problema più profondo è strutturale. I sistemi di IA sono ora integrati nei flussi di lavoro professionali in medicina, giurisprudenza, ingegneria e ricerca. In ciascuno di questi domini, risposte sbagliate ma dal suono sicuro comportano conseguenze che si estendono ben oltre una presentazione imbarazzante. La questione di come distribuire uno strumento che a volte sbaglia ma è sempre accondiscendente non è una questione tecnica. È una questione di processo, di chi controlla cosa e di cosa conti come verifica sufficiente prima che un risultato venga condiviso o utilizzato.
Gli alchimisti non avevano altra scelta se non quella di sviluppare disciplina attorno a un processo che non potevano vedere pienamente. Quella disciplina è ciò che ha reso il loro lavoro produttivo anziché meramente teatrale. La stessa disciplina è ora richiesta a chiunque utilizzi l’IA in un contesto in cui avere torto ha un costo.
In breve
La fluenza dell’IA è progettata, non emergente. Un sistema ottimizzato per produrre risposte chiare e sicure le produrrà sia che il contenuto sottostante sia corretto sia che non lo sia. L’esperienza dello scienziato con VIDE illustra cosa succede quando quella fluenza viene scambiata per comprensione: settimane di lavoro, una stanza piena di colleghi e un risultato fondamentalmente rotto che sembrava maestria. Gli alchimisti hanno costruito vera scienza a partire da processi che non potevano spiegare impegnandosi in una verifica e una documentazione rigorose. Questo è il modello. L’accelerazione è un autentico beneficio. L’accelerazione non verificata è oro degli stolti.
Basato su un articolo di Nautilus.