BroadRouter

Tokens por palabra en árabe vs inglés: por qué el árabe cuesta más

Por el equipo de BroadNet Inference · 6 min de lectura · Publicado · Actualizado

No hay una cifra única: depende del tokenizador de cada modelo. En el conjunto de datos medido de BroadRouter, el mismo texto en árabe estándar moderno necesita de 1.31× (Qwen3.8 27B) a 1.77× (GLM 5.3) los tokens de su traducción al inglés, y 1,000 palabras de prosa en inglés suman unos 1,290 tokens de media. Mida su propia proporción con usage.prompt_tokens.

Si construye un producto en árabe sobre una API de LLM, su factura se cuenta en tokens, no en palabras. Y el mismo mensaje, escrito en árabe, a menudo se convierte en más tokens que su traducción al inglés. Eso afecta al costo, a los límites de contexto y a la latencia. Este artículo explica por qué ocurre, por qué «tokens por palabra» es una cifra engañosa y cómo medir la proporción real de su propio contenido en el modelo que usa.

¿Cuántos tokens más necesita el árabe? Cifras medidas

Lo medimos con el tokenizador real de cada modelo sobre textos paralelos (el mismo significado en inglés y en árabe). La tabla completa, los intervalos del 95 % y el método están en el conjunto de datos de eficiencia de tokenizadores, gratuito (CSV y JSON, CC BY 4.0, versión 4, medido el 2026-11-15):

Tokenizador Árabe ÷ inglés, estándar moderno (2,009 frases de FLORES-200) Árabe ÷ inglés, dialecto del Golfo (49 frases de Tatoeba)
Qwen3.8 27B 1.31× 1.21×
GPT (o200k) 1.38× 1.32×
Gemma 4 VL 26B 1.47× 1.22×
DeepSeek V4.1 Flash 1.62× 1.44×
GLM 5.3 1.77× 1.57×

La prosa en inglés (Wikipedia y Project Gutenberg) dio entre 127 y 132 tokens por cada 100 palabras en los cinco. Las proporciones del árabe estándar moderno provienen de las mismas 2,009 frases de FLORES-200 en ambos idiomas (texto formal de noticias, viajes y enciclopedia de artículos de Wikimedia en inglés, traducido profesionalmente). FLORES-200 no incluye árabe del Golfo, así que la columna del Golfo usa 49 pares de frases cortas de Tatoeba y es mucho menos precisa; la página del conjunto de datos da un intervalo para cada cifra. Nada de esto es su tráfico, así que use las proporciones para planificar y mida su propio contenido antes de presupuestar. El contador de tokens en árabe cuenta un texto pegado en cada tokenizador, y tokens a palabras convierte en ambos sentidos.

Para convertir estas proporciones en dinero, nuestro conjunto de datos de costo real por idioma calcula el precio de 1M de caracteres de cada idioma en cada modelo que pudimos asociar a un tokenizador medido, entre proveedores. Un precio por token más barato no siempre significa una factura en árabe más barata.

¿Qué hace un tokenizador?

Antes de que un modelo vea el texto, un tokenizador lo divide en tokens tomados de un vocabulario fijo. La mayoría de los tokenizadores modernos usan métodos de subpalabras como byte-pair encoding (BPE), WordPiece o SentencePiece, descritos en el resumen de los tokenizadores de Hugging Face. Las cadenas frecuentes en los datos de entrenamiento se convierten en un solo token; las raras se parten en piezas más pequeñas, hasta bytes sueltos si hace falta.

El vocabulario se aprende de un corpus de entrenamiento. Los idiomas que dominan ese corpus obtienen la codificación más eficiente. Cada familia de modelos tiene su propio tokenizador, así que los modelos DeepSeek, Qwen, GLM y Gemma pueden dividir la misma frase árabe en números de tokens bastante distintos.

¿Por qué el árabe suele usar más tokens?

1. Desequilibrio en los datos de entrenamiento

Muchos tokenizadores se entrenaron con textos en los que el inglés está muy sobrerrepresentado. Las palabras inglesas comunes se convierten en un token cada una; muchas palabras árabes comunes se dividen en varias piezas. Petrov et al. (2023) lo midieron en muchos tokenizadores e idiomas y hallaron grandes diferencias en cuántos tokens necesita el mismo contenido, con el inglés normalmente entre los más baratos. Ahia et al. (2023) llegaron a una conclusión similar para las API comerciales y señalaron el efecto directo en lo que pagan los hablantes de distintos idiomas.

2. Morfología árabe

El árabe une conjunciones, preposiciones, el artículo y pronombres directamente a las palabras. Una sola palabra escrita puede contener lo que el inglés reparte en varias:

Árabe Inglés aproximado
وسيكتبونها and they will write it (y ellos lo escribirán)
بالمدرسة in the school (en la escuela)
فقلنا so we said (así que dijimos)

Un tokenizador que no ha visto una combinación concreta con suficiente frecuencia suele partirla en piezas. Eso eleva los tokens por palabra, aunque los tokens por significado sean razonables.

3. Detalles del alfabeto

Los diacríticos (tashkeel), el tatweel (el carácter de alargamiento), las distintas formas de alef y hamza, y las cifras arábigo-índicas son caracteres o variantes adicionales que el tokenizador debe codificar. El texto que mezcla árabe y latino, y el arabizi (árabe escrito con letras latinas y cifras), también pueden dividirse de formas inesperadas. Consulte cómo manejan los LLM el arabizi.

¿Por qué los tokens por palabra son la métrica equivocada?

Porque una palabra árabe a menudo equivale a varias palabras inglesas, así que «el árabe usa N tokens por palabra» y «el inglés usa M tokens por palabra» no son comparables. Una pregunta más justa es: ¿cuántos tokens necesita el mismo contenido en cada idioma? Use texto paralelo, el mismo mensaje escrito en ambos idiomas, y compare el total de tokens. Esa proporción es la que cambia su factura.

La regla aproximada de OpenAI que tanto se cita, unos cuatro caracteres o tres cuartos de palabra por token, se da para el inglés con los tokenizadores de la propia OpenAI. No se traslada al árabe ni a otras familias de modelos, así que no la use para presupuestos en árabe.

¿Cómo mide su propia proporción?

El campo usage es la referencia: es sobre lo que le facturan. Este script envía textos paralelos a un modelo y lee usage.prompt_tokens. Resta una línea base para que la sobrecarga fija de la plantilla de chat no distorsione los textos cortos. Usa Gemma 4 VL 26B, que funciona con el crédito inicial gratuito y no razona; cámbielo por el modelo que vaya a usar realmente.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")

Para obtener una cifra fiable:

  1. Use de 50 a 200 pares reales de su propio dominio: mensajes de soporte, descripciones de productos, facturas. Las frases cortas de demostración dan resultados ruidosos.
  2. Use el dialecto que escriben sus usuarios. El texto del Golfo, egipcio y levantino puede tokenizarse de forma distinta al árabe estándar moderno.
  3. Ejecútelo por modelo. Una proporción medida en un modelo dice poco sobre otro. Si está eligiendo entre modelos, ejecute los mismos pares en cada uno; cómo elegir un LLM para árabe trata la calidad, que importa tanto como el conteo de tokens.
  4. Mida también la salida. Pida a cada modelo que responda en árabe y en inglés y compare completion_tokens. La salida cuesta más por token que la entrada en todos los modelos, así que la proporción de salida puede pesar más.

Si el tokenizador del modelo está publicado (por ejemplo en Hugging Face), también puede contar tokens sin conexión con ese tokenizador. Aun así, el campo usage de la API tiene la última palabra, porque incluye la plantilla de chat que aplica el servidor.

Cómo leer los resultados

Cuando tenga una proporción para cada modelo, hay tres patrones habituales:

  • Cerca de 1. El tokenizador maneja bien su árabe. El tráfico en árabe y en inglés cuesta más o menos lo mismo para el mismo contenido.
  • Claramente por encima de 1. El árabe cuesta más por mensaje. Inclúyalo en sus previsiones y en los límites de contexto, y considere si otro modelo maneja su árabe con más eficiencia y una calidad similar.
  • Muy distinta entre sus muestras. Suele indicar contenido mezclado: texto con diacríticos, arabizi, números, URL o código dentro de los mensajes en árabe. Separe sus muestras por tipo y mida cada una por separado.

Conserve el script y vuelva a ejecutarlo cuando cambie de modelo o cuando un proveedor actualice la versión de un modelo, porque un tokenizador nuevo cambia todos los conteos.

¿Qué significa para el costo y el contexto?

El costo crece con los tokens, así que una proporción mayor en árabe aumenta la factura en el mismo factor para la parte árabe de su tráfico. Con los precios de BroadNet, la entrada en árabe en Qwen3.8 27B cuesta $0.175 por 1M de tokens y la salida $2.17; en Gemma 4 VL 26B, $0.10 y $0.22. El precio por token es el mismo en cualquier idioma; solo cambia el número de tokens. Introduzca su proporción medida en el método de costo mensual.

Los límites de contexto se reducen de la misma forma. Gemma 4 VL 26B acepta 32,768 tokens por solicitud; un documento largo en árabe lo llena antes que su traducción al inglés. DeepSeek V4.1 Flash y GLM 5.3 aceptan 1,048,576.

¿Cómo reducir el número de tokens en árabe?

  • Normalice de forma consistente. Quite el tatweel y elimine los diacríticos si su tarea no los necesita. Aplique la misma normalización a todas las solicitudes para que la caché siga funcionando.
  • Mantenga las instrucciones breves. Un prompt de sistema largo se reenvía en cada turno; una redacción concisa ahorra tokens en ambos idiomas.
  • Ponga en caché el prefijo estable. En los modelos con tarifa de caché, los prompts de sistema y documentos repetidos cuestan mucho menos. Cómo funciona la caché.
  • Pida respuestas concisas. «Responda en dos frases» ahorra más que cualquier truco de tokenizador.

Para voz en árabe en lugar de texto, la transcripción se cobra por minuto de audio, no por token, así que la tokenización no afecta a esa parte de la factura; consulte la página de voz a texto en árabe.

Preguntas frecuentes

¿Cuántos tokens tiene una palabra en árabe?

Depende del modelo. En el conjunto de datos de tokenizadores de BroadRouter, el árabe estándar moderno ocupó de 183.0 (Qwen3.8 27B) a 243.9 (GLM 5.3) tokens por cada 100 palabras en cinco tokenizadores. Compare textos paralelos en lugar de palabras sueltas, y mida en el modelo que usa.

¿Cuántos tokens son 1,000 palabras en inglés?

Unos 1,269 a 1,320 tokens de prosa inglesa sencilla en los cinco tokenizadores del conjunto de datos medido de BroadRouter (1,290 de media). El texto técnico, el código y otros idiomas necesitan más, así que cuente su propio texto.

¿Quitar los diacríticos reduce los tokens?

Normalmente sí, porque los diacríticos son caracteres adicionales que el tokenizador debe codificar. Quítelos solo si su tarea no los necesita; en el Corán, la poesía o la pronunciación aportan significado.

¿Sirve para el árabe la regla de 4 caracteres por token?

No. OpenAI da esa regla aproximada para texto en inglés con sus propios tokenizadores. No se traslada al árabe ni a los tokenizadores de otros modelos.

¿Los tokens en árabe cuestan más por token?

No. Un token cuesta lo mismo sea cual sea el idioma que codifica. El árabe cuesta más solo cuando el mismo contenido se divide en más tokens.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity