The Brief
Come funziona l'IA 5 min di lettura

"Attention Is All You Need": L'idea dietro la moderna IA

NAVION

Condividi

Ogni chatbot, ogni traduttore IA, ogni modello linguistico di grandi dimensioni capace di sostenere una conversazione o risolvere un problema matematico affonda le sue radici in una singola intuizione matematica sviluppata nel 2014 da uno studente bielorusso di 23 anni in tirocinio presso il laboratorio dell’Università di Montreal. Si chiamava Dzmitry Bahdanau. Non era ancora un ricercatore accademico. Scriveva codice a livello competitivo fin da bambino. E il meccanismo che ha contribuito a ideare, che lui e i suoi collaboratori hanno chiamato “attention”, è diventato la base concettuale dell’intera era della moderna IA.

Comprendere cosa faccia realmente l’attention, e perché sia importante, non è un lusso tecnico. È la chiave per capire perché i sistemi di IA possono fare quello che fanno, e da dove derivano genuinamente le loro capacità.

Il problema che l’attention ha risolto

Prima dell’attention, le reti neurali che tentavano la traduzione affrontavano un vincolo strutturale. Ogni frase, indipendentemente dalla lunghezza o dalla complessità, doveva essere compressa in una quantità fissa di memoria prima che la rete potesse iniziare a produrre un output nella lingua di arrivo. Più lunga era la frase, più informazioni andavano perse in quella compressione. Le prestazioni si degradavano in modo prevedibile man mano che le frasi si allungavano.

L’intuizione di Bahdanau è stata quella di dare alla rete un tipo diverso di accesso al testo di origine. Invece di costringere tutte le informazioni attraverso un unico collo di bottiglia, la rete poteva, a ogni passo della generazione di una parola tradotta, guardare indietro all’intera frase di origine e identificare quali parole fossero più rilevanti per la parola che stava producendo in quel momento. Ha descritto il processo come analogo a come lui stesso aveva imparato a tradurre a scuola: guardando a sinistra e a destra tra il testo di origine e quello di arrivo, facendo costantemente riferimento al contesto. Ha espresso quel processo fisico e cognitivo come un’operazione matematica.

Il risultato ha funzionato immediatamente. Fin dal primo tentativo, come ricordava Bahdanau, l’approccio ha permesso alle reti neurali di gestire frasi lunghe con la stessa efficacia di quelle brevi. Quella scalabilità è stata la svolta.

Da Attention ai transformer: Il salto del 2017

Altri ricercatori hanno rapidamente incorporato l’attention nei loro progetti di reti neurali. Poi, nel 2017, un team di Google ha spinto il meccanismo oltre. Hanno costruito una nuova architettura chiamata transformer, che ha potenziato l’attention e rimosso gli altri componenti su cui i modelli precedenti facevano affidamento. Il loro articolo, intitolato “Attention Is All You Need”, ha dimostrato che i transformer ottenevano risultati di traduzione all’avanguardia richiedendo una quantità di calcolo sostanzialmente inferiore rispetto agli approcci precedenti. Da allora, l’articolo è stato citato più di 250.000 volte. Modelli linguistici di grandi dimensioni tra cui ChatGPT e Claude sono discendenti diretti di quell’architettura.

Per capire cosa faccia effettivamente un transformer: quando una frase entra nella rete, ogni parola viene convertita in una rappresentazione numerica chiamata vettore. Questi vettori passano attraverso più strati della rete. In ogni strato, un’operazione matematica chiamata attention head confronta il vettore di ciascuna parola con i vettori di ogni altra parola nella frase, calcolando quanto fortemente ogni parola debba influenzare la rappresentazione di tutte le altre. Il risultato è che il contesto viene codificato direttamente nella rappresentazione numerica di ogni parola. La parola “esso” in una frase non porta con sé un significato fisso, la sua rappresentazione cambia a seconda di ciò che la circonda.

Considera la frase “L’animale non ha attraversato la strada perché era troppo stanco”. Per tradurla correttamente in inglese, un modello deve determinare che “it” si riferisca all’animale, non alla strada, perché le due parole richiedono pronomi diversi in inglese. Il meccanismo di attention permette alla rete di navigare nell’intera frase, identificare che “animal” è il referente più plausibile per “it” in questo contesto e incorporare quell’informazione nella traduzione. Una seconda frase, “L’animale non ha attraversato la strada perché era troppo larga”, richiede la conclusione opposta. Lo stesso meccanismo, applicato a un contesto diverso, produce un risultato diverso.

Più attention heads funzionano in parallelo, ciascuna potenzialmente catturando diversi tipi di relazioni tra le parole. Strati successivi costruiscono rappresentazioni sempre più ricche e sensibili al contesto. La rete non sta cercando regole. Sta convertendo le relazioni in matematica.

Perché questo è importante oltre la traduzione

Ecco cosa la maggior parte della copertura sull’IA tende a tralasciare: il motivo per cui l’attention è diventata la base dell’IA per usi generali non è che fosse stata progettata per essere multiuso. Era stata progettata per risolvere un problema specifico e ben definito, ovvero la traduzione automatica. Il fatto che lo stesso meccanismo si sia rivelato alla base di sistemi capaci di diagnosticare malattie, generare video, risolvere problemi matematici e sostenere conversazioni prolungate solleva una domanda genuinamente importante: l’attention sta catturando qualcosa di fondamentale su come l’intelligenza, artificiale o meno, elabora il significato?

La risposta onesta è che i ricercatori non hanno ancora un resoconto completo. Ciò che è chiaro è che la capacità di ponderare dinamicamente il contesto, di trattare il significato di qualsiasi elemento come una funzione della sua relazione con tutto ciò che lo circonda, è straordinariamente potente. Il linguaggio funziona in quel modo. Lo stesso vale per gran parte del ragionamento umano.

Per chiunque stia cercando di comprendere i sistemi di IA, sia come professionista che ci lavora a fianco sia come cittadino che naviga in un mondo sempre più plasmato da essi, questo è il meccanismo che vale la pena comprendere. Non i nomi dei prodotti. Non i punteggi dei benchmark. L’operazione di attention è il luogo in cui risiede realmente la capacità.

In breve

L’attention è un metodo matematico che permette a una rete neurale di determinare, a ogni passo della produzione di un output, quali parti del suo input sono più rilevanti. Sviluppato nel 2014 da Dzmitry Bahdanau, Yoshua Bengio e Kyunghyun Cho per migliorare la traduzione automatica, è diventato il nucleo dell’architettura transformer dopo che un articolo di Google del 2017 ne ha dimostrato la maggiore potenza. Ogni principale modello linguistico di grandi dimensioni in uso oggi è costruito su questa base. Comprendere l’attention non è un dettaglio tecnico: è la chiave concettuale per capire cosa stanno effettivamente facendo i moderni sistemi di IA.

Basato su un articolo di Quanta Magazine.

Leggi lo studio originale.

Scritto da

NAVION