---
title: "Tokens por palabra: árabe vs inglés y cómo medirlo | BroadRouter"
description: "Por qué el árabe suele usar más tokens de LLM que el inglés para el mismo contenido, por qué los tokens por palabra engañan y un script para medir su proporción."
url: https://broadrouter.com/es/blog/tokens-per-word-arabic-english/
lang: es
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (actualizado el 2026-11-16).

# Tokens por palabra en árabe vs inglés: por qué el árabe cuesta más

Por el equipo de BroadNet Inference · 6 min de lectura · Publicado 2026-11-14 · Actualizado 2026-11-16

No hay una cifra única: depende del tokenizador de cada modelo. En el conjunto de datos medido de BroadRouter, el mismo texto en árabe estándar moderno necesita de 1.31× (Qwen3.8 27B) a 1.77× (GLM 5.3) los tokens de su traducción al inglés, y 1,000 palabras de prosa en inglés suman unos 1,290 tokens de media. Mida su propia proporción con usage.prompt\_tokens.

## Puntos clave

-   Los tokens por palabra son una propiedad del tokenizador de cada modelo, no solo del idioma.
-   La investigación sobre muchos tokenizadores encuentra que el mismo contenido suele costar más tokens en árabe que en inglés.
-   Compare textos paralelos (el mismo significado en ambos idiomas), no tokens por palabra: una palabra árabe puede equivaler a varias palabras inglesas.
-   Mida con usage.prompt\_tokens en el modelo exacto que usará, restando una línea base por la sobrecarga del mensaje.
-   Los diacríticos, el tatweel y la mezcla de alfabetos cambian los conteos; normalice la entrada de forma consistente.

**En esta página**

1.  ¿Cuántos tokens más necesita el árabe? Cifras medidas
2.  ¿Qué hace un tokenizador?
3.  ¿Por qué el árabe suele usar más tokens?
4.  ¿Por qué los tokens por palabra son la métrica equivocada?
5.  ¿Cómo mide su propia proporción?
6.  ¿Qué significa para el costo y el contexto?
7.  ¿Cómo reducir el número de tokens en árabe?

Si construye un producto en árabe sobre una API de LLM, su factura se cuenta en tokens, no en palabras. Y el mismo mensaje, escrito en árabe, a menudo se convierte en más tokens que su traducción al inglés. Eso afecta al costo, a los límites de contexto y a la latencia. Este artículo explica por qué ocurre, por qué «tokens por palabra» es una cifra engañosa y cómo medir la proporción real de su propio contenido en el modelo que usa.

## ¿Cuántos tokens más necesita el árabe? Cifras medidas

Lo medimos con el tokenizador real de cada modelo sobre textos paralelos (el mismo significado en inglés y en árabe). La tabla completa, los intervalos del 95 % y el método están en el [conjunto de datos de eficiencia de tokenizadores](https://broadrouter.com/data/tokenizer-efficiency/), gratuito (CSV y JSON, CC BY 4.0, versión 4, medido el 2026-11-15):

| Tokenizador | Árabe ÷ inglés, estándar moderno (2,009 frases de FLORES-200) | Árabe ÷ inglés, dialecto del Golfo (49 frases de Tatoeba) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

La prosa en inglés (Wikipedia y Project Gutenberg) dio entre 127 y 132 tokens por cada 100 palabras en los cinco. Las proporciones del árabe estándar moderno provienen de las mismas 2,009 frases de FLORES-200 en ambos idiomas (texto formal de noticias, viajes y enciclopedia de artículos de Wikimedia en inglés, traducido profesionalmente). FLORES-200 no incluye árabe del Golfo, así que la columna del Golfo usa 49 pares de frases cortas de Tatoeba y es mucho menos precisa; la página del conjunto de datos da un intervalo para cada cifra. Nada de esto es su tráfico, así que use las proporciones para planificar y mida su propio contenido antes de presupuestar. El [contador de tokens en árabe](https://broadrouter.com/tools/arabic-token-counter/) cuenta un texto pegado en cada tokenizador, y [tokens a palabras](https://broadrouter.com/tools/tokens-to-words/) convierte en ambos sentidos.

Para convertir estas proporciones en dinero, nuestro [conjunto de datos de costo real por idioma](https://broadrouter.com/data/real-cost-by-language/) calcula el precio de 1M de caracteres de cada idioma en cada modelo que pudimos asociar a un tokenizador medido, entre proveedores. Un precio por token más barato no siempre significa una factura en árabe más barata.

## ¿Qué hace un tokenizador?

Antes de que un modelo vea el texto, un tokenizador lo divide en tokens tomados de un vocabulario fijo. La mayoría de los tokenizadores modernos usan métodos de subpalabras como byte-pair encoding (BPE), WordPiece o SentencePiece, descritos en el [resumen de los tokenizadores](https://huggingface.co/docs/transformers/tokenizer_summary) de Hugging Face. Las cadenas frecuentes en los datos de entrenamiento se convierten en un solo token; las raras se parten en piezas más pequeñas, hasta bytes sueltos si hace falta.

El vocabulario se aprende de un corpus de entrenamiento. Los idiomas que dominan ese corpus obtienen la codificación más eficiente. Cada familia de modelos tiene su propio tokenizador, así que los modelos DeepSeek, Qwen, GLM y Gemma pueden dividir la misma frase árabe en números de tokens bastante distintos.

## ¿Por qué el árabe suele usar más tokens?

### 1\. Desequilibrio en los datos de entrenamiento

Muchos tokenizadores se entrenaron con textos en los que el inglés está muy sobrerrepresentado. Las palabras inglesas comunes se convierten en un token cada una; muchas palabras árabes comunes se dividen en varias piezas. Petrov et al. (2023) lo midieron en muchos tokenizadores e idiomas y hallaron grandes diferencias en cuántos tokens necesita el mismo contenido, con el inglés normalmente entre los más baratos. Ahia et al. (2023) llegaron a una conclusión similar para las API comerciales y señalaron el efecto directo en lo que pagan los hablantes de distintos idiomas.

### 2\. Morfología árabe

El árabe une conjunciones, preposiciones, el artículo y pronombres directamente a las palabras. Una sola palabra escrita puede contener lo que el inglés reparte en varias:

| Árabe | Inglés aproximado |
| --- | --- |
| وسيكتبونها | and they will write it (y ellos lo escribirán) |
| بالمدرسة | in the school (en la escuela) |
| فقلنا | so we said (así que dijimos) |

Un tokenizador que no ha visto una combinación concreta con suficiente frecuencia suele partirla en piezas. Eso eleva los tokens por **palabra**, aunque los tokens por **significado** sean razonables.

### 3\. Detalles del alfabeto

Los diacríticos (tashkeel), el tatweel (el carácter de alargamiento), las distintas formas de alef y hamza, y las cifras arábigo-índicas son caracteres o variantes adicionales que el tokenizador debe codificar. El texto que mezcla árabe y latino, y el arabizi (árabe escrito con letras latinas y cifras), también pueden dividirse de formas inesperadas. Consulte [cómo manejan los LLM el arabizi](https://broadrouter.com/es/blog/arabizi-llm-handling/).

## ¿Por qué los tokens por palabra son la métrica equivocada?

Porque una palabra árabe a menudo equivale a varias palabras inglesas, así que «el árabe usa N tokens por palabra» y «el inglés usa M tokens por palabra» no son comparables. Una pregunta más justa es: **¿cuántos tokens necesita el mismo contenido en cada idioma?** Use texto paralelo, el mismo mensaje escrito en ambos idiomas, y compare el total de tokens. Esa proporción es la que cambia su factura.

La regla aproximada de OpenAI que tanto se cita, unos cuatro caracteres o tres cuartos de palabra por token, se da para el inglés con los tokenizadores de la propia OpenAI. No se traslada al árabe ni a otras familias de modelos, así que no la use para presupuestos en árabe.

## ¿Cómo mide su propia proporción?

El campo usage es la referencia: es sobre lo que le facturan. Este script envía textos paralelos a un modelo y lee `usage.prompt_tokens`. Resta una línea base para que la sobrecarga fija de la plantilla de chat no distorsione los textos cortos. Usa [Gemma 4 VL 26B](https://broadrouter.com/es/models/gemma-4-vl-26b/), que funciona con el crédito inicial gratuito y no razona; cámbielo por el modelo que vaya a usar realmente.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

Para obtener una cifra fiable:

1.  **Use de 50 a 200 pares reales** de su propio dominio: mensajes de soporte, descripciones de productos, facturas. Las frases cortas de demostración dan resultados ruidosos.
2.  **Use el dialecto que escriben sus usuarios.** El texto del Golfo, egipcio y levantino puede tokenizarse de forma distinta al árabe estándar moderno.
3.  **Ejecútelo por modelo.** Una proporción medida en un modelo dice poco sobre otro. Si está eligiendo entre modelos, ejecute los mismos pares en cada uno; [cómo elegir un LLM para árabe](https://broadrouter.com/es/blog/choosing-an-llm-for-arabic/) trata la calidad, que importa tanto como el conteo de tokens.
4.  **Mida también la salida.** Pida a cada modelo que responda en árabe y en inglés y compare `completion_tokens`. La salida cuesta más por token que la entrada en todos los modelos, así que la proporción de salida puede pesar más.

Si el tokenizador del modelo está publicado (por ejemplo en Hugging Face), también puede contar tokens sin conexión con ese tokenizador. Aun así, el campo usage de la API tiene la última palabra, porque incluye la plantilla de chat que aplica el servidor.

### Cómo leer los resultados

Cuando tenga una proporción para cada modelo, hay tres patrones habituales:

-   **Cerca de 1.** El tokenizador maneja bien su árabe. El tráfico en árabe y en inglés cuesta más o menos lo mismo para el mismo contenido.
-   **Claramente por encima de 1.** El árabe cuesta más por mensaje. Inclúyalo en sus previsiones y en los límites de contexto, y considere si otro modelo maneja su árabe con más eficiencia y una calidad similar.
-   **Muy distinta entre sus muestras.** Suele indicar contenido mezclado: texto con diacríticos, arabizi, números, URL o código dentro de los mensajes en árabe. Separe sus muestras por tipo y mida cada una por separado.

Conserve el script y vuelva a ejecutarlo cuando cambie de modelo o cuando un proveedor actualice la versión de un modelo, porque un tokenizador nuevo cambia todos los conteos.

## ¿Qué significa para el costo y el contexto?

El costo crece con los tokens, así que una proporción mayor en árabe aumenta la factura en el mismo factor para la parte árabe de su tráfico. Con los precios de BroadNet, la entrada en árabe en [Qwen3.8 27B](https://broadrouter.com/es/models/qwen3.8-27b/) cuesta $0.175 por 1M de tokens y la salida $2.17; en Gemma 4 VL 26B, $0.10 y $0.22. El precio por token es el mismo en cualquier idioma; solo cambia el número de tokens. Introduzca su proporción medida en el [método de costo mensual](https://broadrouter.com/es/blog/estimate-llm-api-cost-before-launch/).

Los límites de contexto se reducen de la misma forma. Gemma 4 VL 26B acepta 32,768 tokens por solicitud; un documento largo en árabe lo llena antes que su traducción al inglés. DeepSeek V4.1 Flash y GLM 5.3 aceptan 1,048,576.

## ¿Cómo reducir el número de tokens en árabe?

-   **Normalice de forma consistente.** Quite el tatweel y elimine los diacríticos si su tarea no los necesita. Aplique la misma normalización a todas las solicitudes para que la caché siga funcionando.
-   **Mantenga las instrucciones breves.** Un prompt de sistema largo se reenvía en cada turno; una redacción concisa ahorra tokens en ambos idiomas.
-   **Ponga en caché el prefijo estable.** En los modelos con tarifa de caché, los prompts de sistema y documentos repetidos cuestan mucho menos. [Cómo funciona la caché](https://broadrouter.com/es/blog/cached-input-tokens-explained/).
-   **Pida respuestas concisas.** «Responda en dos frases» ahorra más que cualquier truco de tokenizador.

Para voz en árabe en lugar de texto, la transcripción se cobra por minuto de audio, no por token, así que la tokenización no afecta a esa parte de la factura; consulte la [página de voz a texto en árabe](https://broadrouter.com/es/blog/arabic-speech-to-text-api-buyers-guide/).

Herramientas gratuitas sobre este tema (en inglés)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[Herramientas gratuitas (en inglés)](https://broadrouter.com/tools/)

## Términos de este artículo

[Token](https://broadrouter.com/es/glossary/token/)

Un token es la unidad de texto que un modelo de lenguaje lee y escribe: una palabra, parte de una palabra, un signo de puntuación o una secuencia de bytes producida por el tokenizador del modelo. Las APIs de LLM cuentan, limitan y normalmente facturan el uso en tokens.

[Tokenizador (tokenizer)](https://broadrouter.com/es/glossary/tokenizer/)

Un tokenizador es el componente que convierte texto en la secuencia de IDs de token enteros que lee un modelo de lenguaje, y que vuelve a convertir en texto los IDs generados. Cada modelo trae su propio tokenizador, así que el mismo texto puede producir un número distinto de tokens en modelos distintos.

[Árabe estándar moderno (MSA, fusha)](https://broadrouter.com/es/glossary/msa/)

El árabe estándar moderno (MSA) es la forma estandarizada del árabe que se usa en la escritura, las noticias, la educación y el habla formal en todo el mundo árabe. No es la lengua materna cotidiana de nadie: la gente habla dialectos regionales, como el egipcio o el del Golfo, y cambia al MSA en contextos formales.

[Arabizi (franco-árabe)](https://broadrouter.com/es/glossary/arabizi/)

El arabizi es árabe escrito de manera informal con letras latinas, usando dígitos para los sonidos árabes sin equivalente latino, como 3 para ع. Es habitual en chats y redes sociales, es sobre todo dialectal, no tiene ortografía estándar y a menudo se mezcla con inglés o francés.

[Byte pair encoding (BPE)](https://broadrouter.com/es/glossary/bpe/)

Byte pair encoding (BPE) es un algoritmo de tokenización en subpalabras que parte de caracteres o bytes individuales y fusiona repetidamente el par adyacente más frecuente en una nueva entrada del vocabulario, hasta alcanzar un tamaño de vocabulario objetivo. La mayoría de los tokenizadores de LLM actuales usan BPE o una variante a nivel de byte.

[Hamza](https://broadrouter.com/es/glossary/hamza/)

La hamza (ء) es la letra árabe que representa la oclusiva glotal. Se escribe sola o sobre un soporte: alef (أ إ), waw (ؤ) o yeh (ئ), y آ combina alef con madda. Como el texto escrito es irregular al respecto, los buscadores y la evaluación de voz suelen plegar las formas de alef en ا.

[Llamadas a herramientas (tool calling)](https://broadrouter.com/es/glossary/tool-calling/)

Las llamadas a herramientas (tool calling), también llamadas function calling, son una función de las APIs de LLM en la que el modelo devuelve una solicitud estructurada para ejecutar una función definida por el desarrollador, con argumentos JSON. La aplicación ejecuta la función y devuelve el resultado; el modelo nunca ejecuta código.

[Normalización de texto árabe](https://broadrouter.com/es/glossary/arabic-text-normalization/)

La normalización de texto árabe es el paso que lleva las variantes ortográficas de una misma palabra a una sola forma antes de compararlas: quitar diacríticos y tatweel, unificar las formas de alef y, a menudo, convertir ى en ي y ة en ه. Se aplica a claves de búsqueda y evaluación, no al texto que se muestra.

## Preguntas frecuentes

### ¿Cuántos tokens tiene una palabra en árabe?

Depende del modelo. En el conjunto de datos de tokenizadores de BroadRouter, el árabe estándar moderno ocupó de 183.0 (Qwen3.8 27B) a 243.9 (GLM 5.3) tokens por cada 100 palabras en cinco tokenizadores. Compare textos paralelos en lugar de palabras sueltas, y mida en el modelo que usa.

### ¿Cuántos tokens son 1,000 palabras en inglés?

Unos 1,269 a 1,320 tokens de prosa inglesa sencilla en los cinco tokenizadores del conjunto de datos medido de BroadRouter (1,290 de media). El texto técnico, el código y otros idiomas necesitan más, así que cuente su propio texto.

### ¿Quitar los diacríticos reduce los tokens?

Normalmente sí, porque los diacríticos son caracteres adicionales que el tokenizador debe codificar. Quítelos solo si su tarea no los necesita; en el Corán, la poesía o la pronunciación aportan significado.

### ¿Sirve para el árabe la regla de 4 caracteres por token?

No. OpenAI da esa regla aproximada para texto en inglés con sus propios tokenizadores. No se traslada al árabe ni a los tokenizadores de otros modelos.

### ¿Los tokens en árabe cuestan más por token?

No. Un token cuesta lo mismo sea cual sea el idioma que codifica. El árabe cuesta más solo cuando el mismo contenido se divide en más tokens.

## Siga leyendo

-   [Cómo elegir una API de LLM para árabe: qué probar](https://broadrouter.com/es/blog/choosing-an-llm-for-arabic/)
-   [Precios de la API de LLM: entrada, caché, salida y razonamiento](https://broadrouter.com/es/blog/llm-api-pricing-explained/)
-   [Ingeniería de prompts en árabe: registro, RTL, cifras y texto mixto](https://broadrouter.com/es/blog/arabic-prompt-engineering/)
-   [Arabizi y LLM: cómo manejar el franco-árabe con números como 3 y 7](https://broadrouter.com/es/blog/arabizi-llm-handling/)
-   [Añadir diacríticos al texto árabe con un LLM: prompt, controles y DER](https://broadrouter.com/es/blog/arabic-diacritization-llm/)
-   [Precios de API de LLM en octubre de 2026: 3 subidas, ninguna rebaja](https://broadrouter.com/es/blog/llm-api-price-changes-october-2026/)
-   [¿Cada cuánto cambian los precios de las API de LLM? 3 años de archivo](https://broadrouter.com/es/blog/how-often-llm-api-prices-change/)
-   [Guía: Usar el SDK de OpenAI para Python con BroadNet Inference](https://broadrouter.com/es/guides/openai-python-sdk/)

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**Fuentes**

-   [Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, consultado el 2026-11-16)](https://arxiv.org/abs/2305.15425)
-   [Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707, consultado el 2026-11-16)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers, algoritmos de tokenización (consultado el 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Centro de ayuda de OpenAI, qué son los tokens y cómo contarlos](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [Conjunto de datos de eficiencia de tokenizadores de BroadRouter, versión 4 (medido el 2026-11-15)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [Benchmark de evaluación FLORES-200 (Meta, CC BY-SA 4.0), las frases paralelas detrás de las proporciones de MSA (commit fijado, consultado el 2026-11-16)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [Referencia de la API de BroadNet Inference, campos de usage (consultada el 2026-11-16) (en inglés)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-blog-tokens-per-word-arabic-english&utm_content=sources)
