Tous les utilisateurs d’IA ne paient pas le même prix pour la même tâche. La différence n’a rien à voir avec les niveaux d’abonnement ou les politiques tarifaires géographiques. Elle provient de quelque chose de bien plus fondamental : la langue dans laquelle une personne tape son texte.
Une étude publiée par la Coalition for Language Equity in AI Research a révélé que les modèles d’IA nécessitent nettement plus de tokens pour traiter certaines langues que d’autres. Les tokens sont les unités de texte de base qu’un modèle lit et génère. Davantage de tokens signifie des coûts plus élevés, des réponses plus lentes et moins d’espace dans la mémoire du modèle pour le contexte. Les chercheurs ont baptisé ce phénomène la “taxe du tokenizer”, et ses implications vont bien au-delà de la facturation.
Pourquoi la même sentence coûte plus cher dans certaines langues
Un tokenizer est le composant qui fragmente le texte brut en morceaux que le modèle peut traiter. Le problème est que la plupart des tokenizers ont été conçus avec un fort biais en faveur de l’anglais et d’une poignée d’autres langues à forte ressource numérique. Les langues ayant une présence numérique moindre, ou écrites dans des alphabets que le tokenizer a rarement rencontrés lors de son entraînement, sont découpées en un nombre bien plus élevé de morceaux pour représenter la même signification.
L’étude a révélé que, même parmi les 20 langues les plus utilisées sur Internet, la plus coûteuse nécessitait entre 1,5 et 5 fois plus de tokens que la moins coûteuse. Lorsque l’analyse a été élargie à 200 langues, cet écart est monté jusqu’à 17 fois dans un modèle d’IA. Il ne s’agit pas d’une inefficacité marginale. C’est une disparité structurelle ancrée dans l’architecture d’outils qui sont de plus en plus présentés comme universels.
Le système d’écriture compte autant que le nombre de locuteurs. L’asturien, une langue avec relativement peu de locuteurs, bénéficie du fait d’être écrit en alphabet latin et de sa proximité avec d’autres langues romanes comme l’italien. Les langues écrites dans des alphabets que les tokenizers ont rarement rencontrés lors de l’entraînement, notamment le birman, le tibétain, le tifinagh, le khmer, le lao et l’ol chiki, se classent systématiquement parmi les plus défavorisées dans la quasi-totalité des modèles de l’analyse. Une langue peut compter des millions de locuteurs et subir tout de même une lourde pénalité de tokenisation si son système d’écriture est sous-représenté dans les données d’entraînement.
Le coût n’est pas seulement financier
La taxe du tokenizer se cumule de manières qui dépassent une simple facture d’API plus élevée. Un nombre élevé de tokens génère une latence plus importante : les réponses prennent plus de temps à être générées. Cela réduit également ce que les chercheurs appellent la capacité de contexte effective, c’est-à-dire la quantité d’informations qu’un modèle peut retenir dans sa mémoire vive au cours d’une conversation.
Cela a des conséquences pratiques. Pratyush Choudhury, cofondateur d’Activate AI, a décrit le problème à travers l’exemple d’une application de tutorat. Un bon tuteur retient les erreurs et les explications précédentes d’un élève tout au long d’une session. Si l’historique de la conversation consomme la fenêtre de contexte beaucoup plus rapidement dans une langue que dans une autre, la qualité du service se dégrade, non pas parce que le modèle est moins performant en principe, mais parce que le tokenizer laisse moins d’espace pour travailler.
L’étude a rendu les enjeux structurels explicites : une startup opérant à Bengaluru peut payer un supplément sur chaque prompt et chaque complétion que son concurrent à Austin ne paie pas. La taxe du tokenizer, telle que l’ont formulée les chercheurs, est une contrainte sur qui peut participer à l’économie de l’IA.
Raoul Nanavati, cofondateur et PDG de Navana.ai, une startup d’infrastructure vocale basée à Mumbai, a souligné que les initiatives de données ouvertes constituent une voie à suivre. Il a cité RESPIN, un projet collaboratif mené avec l’Indian Institute of Science et financé par la Fondation Gates, qui a collecté des textes provenant de locuteurs natifs de 38 dialectes aux côtés de discours enregistrés. De meilleures données sous-jacentes sont une condition nécessaire pour améliorer la manière dont les modèles gèrent les langues sous-représentées.
Ce que résoudre ce problème exige réellement
De meilleures données d’entraînement aident, mais ne résolvent pas à elles seules l’écart de tokenisation. Dheemanth Reddy, PDG de Maya Research, une entreprise développant des modèles d’IA conversationnelle pour les cinq prochains milliards d’utilisateurs d’Internet, a établi une distinction claire entre les deux problèmes. L’amélioration des données multilingues et synthétiques peut accroître la qualité des modèles. Combler réellement l’écart de tokenisation exige que les laboratoires d’IA conçoivent délibérément de futurs tokenizers pour gérer ces langues et ces systèmes d’écriture de manière plus efficace. L’un ne découle pas automatiquement de l’autre.
Reddy a noté que les prix des tokens sont en baisse, ce qui devrait réduire l’impact direct sur les coûts au fil du temps. C’est un soulagement partiel, pas une solution. Les pénalités de latence et les limitations de contexte persistent quel que soit le prix par token.
Choudhury a soutenu que l’efficacité linguistique devrait être traitée comme une exigence produit fondamentale, au même titre que la précision, la vitesse et la fiabilité. Il a appelé les principaux laboratoires d’IA à publier des tableaux de bord comparatifs par langue montrant ce qu’il en coûte pour accomplir des tâches comparables d’une langue à l’autre, et à s’engager sur des améliorations mesurables pour les langues qu’ils desservent le moins bien. Le cadrage a son importance : il ne s’agit pas d’une demande de charité envers les langues minoritaires. C’est une exigence de transparence concernant une inégalité structurelle qui détermine actuellement qui bénéficie de l’IA et qui la subit.
En bref
Les modèles d’IA traitent le texte sous forme de tokens, et certaines langues nécessitent beaucoup plus de tokens que d’autres pour exprimer le même contenu. Cela crée un coût caché pour les utilisateurs de langues sous-représentées : des prix plus élevés, des réponses plus lentes et une qualité de contexte réduite. L’écart atteint jusqu’à 17 fois entre les langues les plus efficaces et les moins efficaces dans certains modèles, et il est dicté autant par le système d’écriture que par le nombre de locuteurs. Y remédier nécessite une reconception délibérée des tokenizers, et pas seulement de meilleures données. En attendant, l’architecture de l’IA confère un avantage inné aux anglophones que la plupart des utilisateurs ne remarquent jamais.
D’après un reportage de Rest of World.