Por Canuto  

Un estudio sobre tokenizadores advierte que el idioma y su sistema de escritura pueden multiplicar el consumo de tokens de una IA, elevar costos y reducir el espacio disponible para el historial de conversación. La brecha, sostienen investigadores y especialistas, también puede traducirse en diferencias de velocidad y calidad.

***

  • El estudio detectó que, entre 20 idiomas populares en internet, el más costoso consumía entre 1,5 y 5 veces más tokens que el más eficiente.
  • Al ampliar el análisis a 200 idiomas, la brecha de costo de tokens en un modelo llegó a crecer 17 veces.
  • Los especialistas piden mejores datos multilingües y tokenizadores diseñados para representar con mayor eficiencia idiomas y escrituras menos atendidos.

 

 

El idioma que una persona usa para interactuar con una inteligencia artificial puede influir en cuántos tokens consume, cuánto tarda la respuesta y qué espacio queda para conservar el contexto.

Una brecha que también afecta el costo

Un análisis de la Coalition for Language Equity in AI Research advierte que los modelos de inteligencia artificial no procesan todos los idiomas con la misma eficiencia. La investigación se publicó en septiembre de 2026, el mes anterior a la nota del 26 de octubre de Rest of World sobre el costo de los tokenizadores. El análisis encontró que algunas lenguas requieren más tokens que otras para expresar contenido comparable, una diferencia que puede encarecer el uso de servicios cuyo precio depende del consumo de tokens.

Los tokens son las unidades en que un modelo procesa texto, audio, imágenes u otros datos, y un tokenizador es el sistema que divide esos elementos en fragmentos manejables. En el ejemplo citado por la investigación, una frase en inglés se separa en unidades reconocibles, mientras que su equivalente en malayalam queda dividido en más piezas por palabra, una fragmentación que puede no respetar de manera natural los caracteres de esa escritura.

La diferencia aparece incluso al comparar los 20 idiomas más populares de internet incluidos en el análisis: el idioma con mayor consumo utilizaba entre 1,5 y 5 veces más tokens que el de menor consumo. Cuando los investigadores ampliaron el conjunto a 200 idiomas, la brecha de costo de tokens en un modelo llegó a 17 veces, lo que apunta a una disparidad que no se limita a las lenguas con mayor presencia digital.

El estudio plantea que una startup de Bengaluru podría pagar un recargo por cada instrucción y respuesta frente a una competidora de Austin, si ambas realizan tareas comparables con servicios cobrados por token. No se trata de una tarifa universal ni de un precio fijo atribuido a cada idioma, sino de un consumo adicional que puede elevar el gasto bajo esquemas de cobro vinculados al volumen procesado.

El efecto llega al contexto y a la calidad

El mayor consumo no afecta únicamente la factura: también puede aumentar la latencia y reducir la capacidad efectiva de contexto, es decir, la cantidad de información que el modelo puede tener en cuenta durante una interacción. El informe sostiene que estas penalizaciones resultan más severas en lugares donde la conectividad y los recursos de cómputo ya son limitados, y advierte que la inequidad puede restringir quién participa en la economía de la IA.

Pratyush Choudhury, cofundador de Activate AI, explicó que una conversación más costosa en tokens deja menos espacio para documentos o para el historial previo. En aplicaciones que deben conservar datos de intercambios anteriores, esa limitación puede obligar a recortar información útil antes de que el usuario haya agotado el contexto disponible en otro idioma.

Choudhury ilustró el problema con un tutor de idiomas: para enseñar bien, el sistema necesita recordar los errores anteriores del estudiante y las explicaciones que ya ofreció. Si ese historial ocupa la ventana de contexto con mayor rapidez en una lengua determinada, la desventaja puede trasladarse a la calidad del servicio, aunque la herramienta mantenga las mismas funciones en teoría.

La frecuencia con que aparece un idioma en internet tampoco explica por sí sola el resultado, según la investigación. El sistema de escritura tiene un peso importante: el asturiano, pese a tener relativamente pocos hablantes y no contar con datos en Common Crawl, puede beneficiarse del alfabeto latino y de la representación de lenguas romances relacionadas, como el italiano.

Datos, diseño y medidas para reducir la desigualdad

En cambio, idiomas escritos con sistemas de escritura que los tokenizadores encuentran con menos frecuencia estuvieron entre los más perjudicados en casi todos los modelos examinados. El análisis identificó de manera consistente al birmano, el tibetano, el tifinagh, el jemer, el lao y el ol chiki entre los casos con mayor desventaja, lo que muestra que la representación técnica de una lengua puede importar tanto como su presencia en línea.

Dheemanth Reddy, CEO de Maya Research, atribuyó parte del problema a la falta de datos digitales de alta calidad y señaló que muchos tokenizadores siguen optimizados de forma desproporcionada para el inglés y otros idiomas con abundantes recursos. Su empresa desarrolla modelos conversacionales pensados para hablar y responder como hablantes nativos, con el objetivo de atender a los próximos 5.000 millones de usuarios de internet.

Sin embargo, Reddy advirtió que ampliar los datos de entrenamiento no corrige por sí solo las limitaciones del tokenizador. A su juicio, la caída rápida de los precios por token podría reducir con el tiempo el impacto directo en el gasto, y mejores datos multilingües y sintéticos ayudarían a mejorar los modelos, pero cerrar la brecha de representación exige que los laboratorios diseñen deliberadamente tokenizadores más eficaces para distintos idiomas y sistemas de escritura.

También hay iniciativas para construir mejores conjuntos de datos desde las comunidades lingüísticas. Raoul Nanavati, cofundador y CEO de Navana.ai, una startup de infraestructura de voz con sede en Bombay, mencionó RESPIN, una iniciativa colaborativa con el Instituto Indio de Ciencias y financiada por la Fundación Gates que recopila textos de hablantes nativos de 38 dialectos, además de habla leída.

Choudhury sostiene que la eficiencia lingüística debería evaluarse junto con la precisión, la velocidad y la fiabilidad de los productos de IA. Aunque considera poco realista exigir igualdad perfecta, pide que las disparidades grandes y persistentes tengan una explicación y un plan de mejora, y propone que los grandes laboratorios publiquen tablas por idioma sobre el costo de completar con éxito tareas comparables y se comprometan con avances medibles en las lenguas peor atendidas.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

 


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados