No todos los usuarios de IA pagan el mismo precio por la misma tarea. La diferencia no tiene nada que relación con los niveles de suscripción ni con las políticas de precios geográficos. Proviene de algo mucho más fundamental: el idioma en el que escribe una persona.
Un estudio publicado por la Coalition for Language Equity in AI Research descubrió que los modelos de IA requieren significativamente más tokens para procesar ciertos idiomas que otros. Los tokens son las unidades básicas de texto que un modelo lee y genera. Más tokens significan costos más altos, respuestas más lentas y menos espacio en la memoria del modelo para el contexto. Los investigadores bautizaron este fenómeno como el “impuesto del tokenizador”, y sus implicaciones van mucho más allá de la facturación.
Por qué la misma frase cuesta más en algunos idiomas
Un tokenizador es el componente que divide el texto sin procesar en los fragmentos que un modelo puede procesar. El problema es que la mayoría de los tokenizadores se construyeron con un fuerte sesgo hacia el inglés y un puñado de otros idiomas de altos recursos. Los idiomas con menor presencia digital, o escritos en alfabetos que el tokenizador rara vez encontró durante el entrenamiento, se fragmentan en muchos más pedazos para representar el mismo significado.
El estudio descubrió que, incluso entre los 20 idiomas más utilizados en internet, el más caro requirió entre 1,5 y 5 veces más tokens que el más barato. Cuando el análisis se amplió a 200 idiomas, esa brecha creció hasta 17 veces en un modelo de IA. Esto no es una ineficiencia marginal. Es una disparidad estructural integrada en la arquitectura de herramientas que cada vez se presentan más como universales.
El alfabeto importa tanto como el recuento de hablantes. El asturiano, un idioma con relativamente pocos hablantes, se beneficia de estar escrito en el alfabeto latino y de su proximidad a otras lenguas romances como el italiano. Los idiomas escritos en alfabetos que los tokenizadores rara vez encontraron durante el entrenamiento, incluidos el birmano, el tibetano, el tifinagh, el jemer, el lao y el ol chiki, se situaron sistemáticamente entre los más desfavorecidos en casi todos los modelos del análisis. Un idioma puede tener millones de hablantes y aun así enfrentarse a una grave penalización del tokenizador si su sistema de escritura está subrepresentado en los datos de entrenamiento.
El costo no es solo financiero
El impuesto del tokenizador se compounding de formas que van más allá de una factura de API más alta. Los recuentos de tokens más altos producen mayor latencia: las respuestas tardan más en generarse. También reducen lo que los investigadores llaman capacidad de contexto efectiva, la cantidad de información que un modelo puede retener en su memoria de trabajo durante una conversación.
Esto tiene consecuencias prácticas. Pratyush Choudhury, cofundador de Activate AI, describió el problema a través del ejemplo de una aplicación de tutoría. Un buen tutor retiene los errores y explicaciones anteriores de un estudiante a lo largo de una sesión. Si el historial de la conversación consume la ventana de contexto mucho más rápido en un idioma que en otro, la calidad del servicio se degrada, no porque el modelo sea menos capaz en principio, sino porque el tokenizador deja menos espacio con el que trabajar.
El estudio dejó explícitas las apuestas estructurales: una startup que opera en Bengaluru puede pagar un recargo en cada instrucción (prompt) y finalización que su competidor en Austin no paga. El impuesto del tokenizador, tal como lo enmarcaron los investigadores, es una restricción sobre quién puede participar en la economía de la IA.
Raoul Nanavati, cofundador y director ejecutivo de la startup de infraestructura de voz de IA con sede en Mumbai Navana.ai, señaló a las iniciativas de datos abiertos como un camino a seguir. Citó a RESPIN, un proyecto colaborativo con el Instituto Indio de Ciencia financiado por la Fundación Gates, que recopiló texto de hablantes nativos de 38 dialectos junto con voz grabada. Unos mejores datos subyacentes son una condición necesaria para mejorar la forma en que los modelos manejan los idiomas subrepresentados.
Qué requiere realmente solucionar esto
Unos mejores datos de entrenamiento ayudan, pero no resuelven por sí solos la brecha de tokenización. Dheemanth Reddy, director ejecutivo de Maya Research, una empresa que desarrolla modelos de IA conversacional para los próximos cinco mil millones de usuarios de internet, trazó una línea clara entre los dos problemas. Mejorar los datos multilingües y sintéticos puede elevar la calidad del modelo. Cerrar realmente la brecha de tokenización requiere que los laboratorios de IA diseñen deliberadamente futuros tokenizadores para manejar mejor estos idiomas y alfabetos. Lo uno no se sigue automáticamente de lo otro.
Reddy señaló que los precios de los tokens están bajando, lo que debería reducir el impacto del costo directo con el tiempo. Eso es un alivio parcial, no una solución. Las penalizaciones por latencia y las limitaciones de contexto persisten independientemente del precio por token.
Choudhury argumentó que la eficiencia lingüística debe tratarse como un requisito fundamental del producto, junto con la precisión, la velocidad y la fiabilidad. Hizo un llamado a los principales laboratorios de IA para que publiquen cuadros de mando idioma por idioma que muestren lo que cuesta completar tareas comparables en diferentes idiomas, y para que se comprometan a lograr mejoras medibles para los idiomas a los que sirven peor. El enfoque importa: esto no es una petición de caridad hacia las lenguas minoritarias. Es una demanda de transparencia sobre una desigualdad estructural que actualmente determina quién se beneficia de la IA y quién la subsidia.
En resumen
Los modelos de IA procesan texto en tokens, y algunos idiomas requieren muchos más tokens que otros para expresar el mismo contenido. Esto crea un costo oculto para los usuarios de idiomas subrepresentados: precios más altos, respuestas más lentas y menor calidad de contexto. La brecha alcanza hasta 17 veces entre los idiomas más y menos eficientes en algunos modelos, y está impulsada tanto por el alfabeto como por el recuento de hablantes. Solucionarlo requiere un rediseño deliberado de los tokenizadores, no solo mejores datos. Hasta que eso ocurra, la arquitectura de la IA conlleva una ventaja integrada para los angloparlantes que la mayoría de los usuarios nunca ve.
Basado en información de Rest of World.