Nem todos os utilizadores de IA pagam o mesmo preço pela mesma tarefa. A diferença não tem nada a ver com escalões de subscrição ou políticas de preços geográficas. Vem de algo muito mais fundamental: a língua em que uma pessoa escreve.
Um estudo publicado pela Coalition for Language Equity in AI Research concluiu que os modelos de IA exigem significativamente mais tokens para processar certas línguas do que outras. Os tokens são as unidades básicas de texto que um modelo lê e gera. Mais tokens significam custos mais elevados, respostas mais lentas e menos espaço na memória do modelo para contexto. Os investigadores batizaram este fenómeno de “imposto do tokenizador” e as suas implicações vão muito além da faturação.
Porque é que a Mesma Frase Custa Mais em Algumas Línguas
Um tokenizador é o componente que divide o texto bruto nos pedaços que um modelo consegue processar. O problema é que a maioria dos tokenizadores foi construída com um forte desvio em direção ao inglês e a um punhado de outras línguas com muitos recursos. As línguas com menor presença digital, ou escritas em grafias que o tokenizador raramente encontrou durante o treino, são fragmentadas em muito mais pedaços para representar o mesmo significado.
O estudo concluiu que, mesmo entre as 20 línguas mais utilizadas na internet, a mais cara exigia entre 1,5 e 5 vezes mais tokens do que a mais barata. Quando a análise se expandiu para 200 línguas, essa diferença cresceu para 17 vezes num modelo de IA. Isto não é uma ineficiência marginal. É uma disparidade estrutural integrada na arquitetura de ferramentas que são cada vez mais apresentadas como universais.
A grafia importa tanto quanto o número de falantes. O asturiano, uma língua com relativamente poucos falantes, beneficia de ser escrito no alfabeto latino e da sua proximidade a outras línguas românicas como o italiano. As línguas escritas em grafias que os tokenizadores raramente encontraram durante o treino, incluindo o birmanês, o tibetano, o tifinague, o khmer, o lao e o ol chiki, ficaram consistentemente entre as mais desfavorecidas em quase todos os modelos da análise. Uma língua pode ter milhões de falantes e continuar a enfrentar uma penalização severa do tokenizador se o seu sistema de escrita estiver subrepresentado nos dados de treino.
O Custo Não É Apenas Financeiro
O imposto do tokenizador acumula-se de formas que vão além de uma fatura de API mais alta. Contagens de tokens mais elevadas produzem maior latência: as respostas demoram mais tempo a ser geradas. Também reduzem aquilo a que os investigadores chamam a capacidade de contexto efetiva, a quantidade de informação que um modelo consegue reter na sua memória de trabalho durante uma conversa.
Isto tem consequências práticas. Pratyush Choudhury, cofundador da Activate AI, descreveu o problema através do exemplo de uma aplicação de tutoria. Um bom tutor retém os erros e explicações anteriores de um aluno ao longo de uma sessão. Se o histórico de conversas consumir a janela de contexto muito mais depressa numa língua do que noutra, a qualidade do serviço degrada-se, não porque o modelo seja menos capaz em princípio, mas porque o tokenizador deixa menos espaço para trabalhar.
O estudo tornou explícitos os riscos estruturais: uma startup a operar em Bengaluru pode pagar um sobrecusto em cada prompt e conclusão que o seu concorrente em Austin não paga. O imposto do tokenizador, tal como os investigadores o formularam, é uma restrição sobre quem pode participar na economia da IA.
Raoul Nanavati, cofundador e CEO da Navana.ai, uma startup indiana de infraestrutura de voz baseada em IA sediada em Bombaim, apontou para as iniciativas de dados abertos como um caminho a seguir. Citou o RESPIN, um projeto colaborativo com o Indian Institute of Science financiado pela Fundação Gates, que recolheu texto de falantes nativos de 38 dialectos a par de discurso gravado. Melhores dados subjacentes são uma condição necessária para melhorar a forma como os modelos lidam com línguas subrepresentadas.
O Que a Resolução Disso Exige Realmente
Melhores dados de treino ajudam, mas não resolvem o fosso de tokenização por si só. Dheemanth Reddy, CEO da Maya Research, uma empresa que desenvolve modelos de IA conversacional para os próximos cinco mil milhões de utilizadores da internet, traçou uma linha clara entre os dois problemas. Melhorar os dados multilingues e sintéticos pode aumentar a qualidade do modelo. Fechar realmente o fosso de tokenização exige que os laboratórios de IA desenhem deliberadamente futuros tokenizadores para lidar melhor com estas línguas e grafias. Uma coisa não decorre automaticamente da outra.
Reddy observou que os preços dos tokens estão a descer, o que deverá reduzir o impacto direto nos custos ao longo do tempo. Isso é um alívio parcial, não uma solução. As penalizações de latência e as limitações de contexto persistem independentemente do preço por token.
Choudhury defendeu que a eficiência linguística deve ser tratada como um requisito central do produto, a par da precisão, velocidade e fiabilidade. Apelou aos principais laboratórios de IA para publicarem boletins de classificação língua a língua que mostrem quanto custa concluir tarefas comparáveis em diferentes línguas, e para se comprometerem com melhorias mensuráveis para as línguas a que servem pior. O enquadramento importa: isto não é um pedido de caridade para com as línguas minoritárias. É uma exigência de transparência sobre uma desigualdade estrutural que atualmente molda quem beneficia da IA e quem a subsidia.
Em Resumo
Os modelos de IA processam texto em tokens, e algumas línguas exigem muito mais tokens do que outras para expressar o mesmo conteúdo. Isto cria um custo oculto para os utilizadores de línguas subrepresentadas: preços mais altos, respostas mais lentas e qualidade de contexto reduzida. O fosso chega até 17 vezes entre as línguas mais eficientes e menos eficientes em alguns modelos, e é impulsionado tanto pela grafia como pelo número de falantes. Corrigi-lo exige a reformulação deliberada dos tokenizadores, e não apenas melhores dados. Até que isso aconteça, a arquitetura da IA traz uma vantagem incorporada para os falantes de inglês que a maioria dos utilizadores nunca vê.
Com base em reportagem de Rest of World.