Non tutti gli utenti di IA pagano lo stesso prezzo per la stessa attività. La differenza non ha nulla a che fare con i livelli di abbonamento o le politiche di prezzo geografiche. Deriva da qualcosa di molto più fondamentale: la lingua in cui una persona scrive.
Uno studio pubblicato dalla Coalition for Language Equity in AI Research ha scoperto che i modelli di IA richiedono un numero significativamente maggiore di token per elaborare determinate lingue rispetto ad altre. I token sono le unità fondamentali di testo che un modello legge e genera. Più token significa costi più elevati, risposte più lente e meno spazio nella memoria del modello per il contesto. I ricercatori hanno definito questo fenomeno “tassa del tokenizer”, e le sue implicazioni vanno ben oltre la fatturazione.
Perché la stessa frase costa di più in alcune lingue
Un tokenizer è il componente che scompone il testo grezzo nei pezzi che un modello può elaborare. Il problema è che la maggior parte dei tokenizer è stata creata con una forte tendenza verso l’inglese e una manciata di altre lingue ad alte risorse. Le lingue con minore presenza digitale, o scritte in alfabeti che il tokenizer ha incontrato raramente durante l’addestramento, vengono frammentate in molti più pezzi per rappresentare lo stesso significato.
Lo studio ha scoperto che, persino tra le 20 lingue più utilizzate su internet, la più costosa richiedeva tra 1,5 e 5 volte più token rispetto alla più economica. Quando l’analisi è stata estesa a 200 lingue, questo divario è cresciuto fino a 17 volte in un modello di IA. Questa non è un’inefficienza marginale. È una disparità strutturale radicata nell’architettura di strumenti che vengono sempre più presentati come universali.
L’alfabeto conta tanto quanto il numero di parlanti. L’asturiano, una lingua con un numero relativamente basso di parlanti, trae vantaggio dall’essere scritto nell’alfabeto latino e dalla sua vicinanza ad altre lingue romanze come l’italiano. Le lingue scritte in alfabeti che i tokenizer hanno incontrato raramente durante l’addestramento, tra cui birmano, tibetano, tifinagh, khmer, lao e ol chiki, si sono costantemente classificate tra le più svantaggiate in quasi tutti i modelli dell’analisi. Una lingua può avere milioni di parlanti e affrontare comunque una severa penalizzazione del tokenizer se il suo sistema di scrittura è sottorappresentato nei dati di addestramento.
Il costo non è solo finanziario
La tassa del tokenizer si aggrava in modi che vanno oltre una bolletta API più alta. Conteggi di token più elevati producono una latenza maggiore: le risposte impiegano più tempo a essere generate. Riducono anche quella che i ricercatori chiamano capacità di contesto effettiva, ovvero la quantità di informazioni che un modello può trattenere nella sua memoria di lavoro durante una conversazione.
Questo ha conseguenze pratiche. Pratyush Choudhury, co-fondatore di Activate AI, ha descritto il problema attraverso l’esempio di un’applicazione di tutoring. Un buon tutor ricorda i precedenti errori e le spiegazioni di uno studente nel corso di una sessione. Se la cronologia della conversazione consuma la finestra di contesto molto più rapidamente in una lingua rispetto a un’altra, la qualità del servizio si degrada, non perché il modello sia meno capace in linea di principio, ma perché il tokenizer lascia meno spazio con cui lavorare.
Lo studio ha reso esplicita la posta in gioco strutturale: una startup che opera a Bengaluru può pagare un sovrapprezzo su ogni prompt e completamento che il suo concorrente ad Austin non paga. La tassa del tokenizer, come l’hanno definita i ricercatori, è un vincolo su chi può partecipare all’economia dell’IA.
Raoul Nanavati, co-fondatore e CEO della startup di infrastrutture vocali per IA Navana.ai con sede a Mumbai, ha indicato le iniziative di dati aperti come una via da seguire. Ha citato RESPIN, un progetto collaborativo con l’Indian Institute of Science finanziato dalla Gates Foundation, che ha raccolto testi di madrelingua di 38 dialetti insieme a discorsi registrati. Dati di base migliori sono una condizione necessaria per migliorare il modo in cui i modelli gestiscono le lingue sottorappresentate.
Cosa richiede realmente la risoluzione di questo problema
Dati di addestramento migliori aiutano, ma non risolvono da soli il divario di tokenizzazione. Dheemanth Reddy, CEO di Maya Research, un’azienda che sviluppa modelli di IA conversazionale per i prossimi cinque miliardi di utenti di internet, ha tracciato una linea netta tra i due problemi. Migliorare i dati multilingue e sintetici può aumentare la qualità del modello. Colmare realmente il divario di tokenizzazione richiede che i laboratori di IA progettino deliberatamente i futuri tokenizer per gestire meglio queste lingue e questi alfabeti. Una cosa non consegue automaticamente dall’altra.
Reddy ha notato che i prezzi dei token stanno diminuendo, il che dovrebbe ridurre l’impatto dei costi diretti nel tempo. Questo è un sollievo parziale, non una soluzione. Le penalizzazioni di latenza e le limitazioni di contesto persistono indipendentemente dal prezzo per token.
Choudhury ha sostenuto che l’efficienza linguistica dovrebbe essere trattata come un requisito fondamentale del prodotto, insieme ad accuratezza, velocità e affidabilità. Ha invitato i principali laboratori di IA a pubblicare scorecard lingua per lingua che mostrino quanto costa completare attività comparabili tra le varie lingue, e a impegnarsi in miglioramenti misurabili per le lingue che servono peggio. L’impostazione è importante: questa non è una richiesta di beneficenza verso le lingue minoritarie. È una richiesta di trasparenza su un’ineguaglianza strutturale che attualmente determina chi trae beneficio dall’IA e chi la sovvenziona.
In breve
I modelli di IA elaborano il testo in token, e alcune lingue richiedono molti più token di altre per esprimere lo stesso contenuto. Questo crea un costo nascosto per gli utenti di lingue sottorappresentate: prezzi più alti, risposte più lente e qualità del contesto ridotta. Il divario arriva fino a 17 volte tra le lingue più e meno efficienti in alcuni modelli, ed è guidato tanto dall’alfabeto quanto dal numero di parlanti. Risolverlo richiede una riprogettazione deliberata dei tokenizer, non solo dati migliori. Finché ciò non accadrà, l’architettura dell’IA porterà con sé un vantaggio incorporato per i madrelingua inglesi che la maggior parte degli utenti non vede mai.
Basato su un articolo di Rest of World.