---
title: "Tokens por palavra: árabe vs inglês, e como medir | BroadRouter"
description: "Por que o árabe costuma usar mais tokens de LLM que o inglês para o mesmo sentido, por que tokens por palavra enganam, e um script para medir a sua proporção real."
url: https://broadrouter.com/pt/blog/tokens-per-word-arabic-english/
lang: pt-BR
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (atualizado em 2026-11-16).

# Tokens por palavra em árabe vs inglês: por que o árabe custa mais

Pela equipe da BroadNet Inference · 6 min de leitura · Publicado em 2026-11-14 · Atualizado em 2026-11-16

Não existe um número único: depende do tokenizer de cada modelo. No dataset medido pelo BroadRouter, o mesmo texto em árabe padrão moderno precisa de 1.31× (Qwen3.8 27B) a 1.77× (GLM 5.3) os tokens da sua tradução em inglês, e 1.000 palavras de prosa em inglês dão em média cerca de 1,290 tokens. Meça a sua própria proporção com usage.prompt\_tokens.

## Pontos principais

-   Tokens por palavra são uma propriedade do tokenizer de cada modelo, não só do idioma.
-   Pesquisas com muitos tokenizers mostram que o mesmo conteúdo costuma custar mais tokens em árabe do que em inglês.
-   Compare textos paralelos (o mesmo sentido nos dois idiomas), não tokens por palavra: uma palavra árabe pode carregar várias palavras inglesas.
-   Meça com usage.prompt\_tokens no modelo exato que você vai usar, subtraindo uma linha de base para o overhead da mensagem.
-   Diacríticos, tatweel e escritas misturadas mudam as contagens; normalize a entrada de forma consistente.

**Nesta página**

1.  Quantos tokens a mais o árabe precisa? Números medidos
2.  O que um tokenizer faz?
3.  Por que o árabe costuma usar mais tokens?
4.  Por que tokens por palavra é a métrica errada?
5.  Como medir a sua própria proporção?
6.  O que isso significa para custo e contexto?
7.  Como reduzir a contagem de tokens em árabe?

Se você constrói um produto em árabe sobre uma API de LLM, sua conta é contada em tokens, não em palavras. E a mesma mensagem, escrita em árabe, muitas vezes vira mais tokens do que a tradução em inglês. Isso afeta custo, limites de contexto e latência. Este post explica por que isso acontece, por que “tokens por palavra” é um número enganoso e como medir a proporção real do seu conteúdo no modelo que você usa.

## Quantos tokens a mais o árabe precisa? Números medidos

Medimos isso com o tokenizer real de cada modelo em textos paralelos (o mesmo sentido em inglês e em árabe). A tabela completa, os intervalos de 95% e o método estão no [dataset gratuito de eficiência de tokenizers](https://broadrouter.com/data/tokenizer-efficiency/) (CSV e JSON, CC BY 4.0, versão 4, medido em 2026-11-15):

| Tokenizer | Árabe ÷ inglês, padrão moderno (2,009 frases do FLORES-200) | Árabe ÷ inglês, dialeto do Golfo (49 frases do Tatoeba) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

A prosa em inglês (Wikipedia e Project Gutenberg) ficou entre cerca de 127 e 132 tokens por 100 palavras nos cinco. As proporções do árabe padrão moderno vêm das mesmas 2,009 frases do FLORES-200 nos dois idiomas (texto formal de notícias, viagens e enciclopédia de artigos da Wikimedia em inglês, traduzidos por profissionais). O FLORES-200 não tem árabe do Golfo, então a coluna do Golfo usa 49 pares curtos de frases do Tatoeba e é bem menos precisa; a página do dataset dá um intervalo para cada valor. Nada disso é o seu tráfego, então use as proporções para planejar e meça o seu conteúdo antes de fazer o orçamento. O [contador de tokens para árabe](https://broadrouter.com/tools/arabic-token-counter/) conta um texto colado em cada tokenizer, e [tokens para palavras](https://broadrouter.com/tools/tokens-to-words/) converte nos dois sentidos.

Para transformar essas proporções em dinheiro, nosso [dataset de custo real por idioma](https://broadrouter.com/data/real-cost-by-language/) precifica 1M de caracteres de cada idioma em todos os modelos que conseguimos associar a um tokenizer medido, entre provedores. Um preço por token menor nem sempre significa uma conta menor em árabe.

## O que um tokenizer faz?

Antes de o modelo ver o texto, um tokenizer o divide em tokens tirados de um vocabulário fixo. A maioria dos tokenizers modernos usa métodos de subpalavras como byte-pair encoding (BPE), WordPiece ou SentencePiece, descritos no [resumo dos tokenizers](https://huggingface.co/docs/transformers/tokenizer_summary) do Hugging Face. Strings frequentes nos dados de treino viram tokens únicos; strings raras são quebradas em pedaços menores, até bytes individuais se necessário.

O vocabulário é aprendido a partir de um corpus de treino. Os idiomas que dominam esse corpus ganham a codificação mais eficiente. Cada família de modelos tem o próprio tokenizer, então os modelos DeepSeek, Qwen, GLM e Gemma podem dividir a mesma frase em árabe em números de tokens bem diferentes.

## Por que o árabe costuma usar mais tokens?

### 1\. Desequilíbrio nos dados de treino

Muitos tokenizers foram treinados com texto em que o inglês está muito sobrerrepresentado. Palavras comuns em inglês viram um token cada; muitas palavras comuns em árabe são quebradas em vários pedaços. Petrov et al. (2023) mediram isso em muitos tokenizers e idiomas e encontraram grandes diferenças no número de tokens de que o mesmo conteúdo precisa, com o inglês normalmente entre os mais baratos. Ahia et al. (2023) chegaram a uma conclusão parecida para APIs comerciais e apontaram o efeito direto sobre quanto pagam falantes de idiomas diferentes.

### 2\. Morfologia do árabe

O árabe junta conjunções, preposições, o artigo e pronomes diretamente às palavras. Uma palavra escrita pode carregar o que o inglês espalha por várias:

| Árabe | Inglês aproximado |
| --- | --- |
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |

Um tokenizer que não viu uma combinação específica vezes suficientes a quebra em pedaços. Isso aumenta os tokens por **palavra**, mesmo quando os tokens por **sentido** são razoáveis.

### 3\. Detalhes da escrita

Diacríticos (tashkeel), tatweel (o caractere de alongamento), as diferentes formas de alef e hamza e os dígitos arábico-índicos são caracteres ou variantes extras que o tokenizer precisa codificar. Texto misturando árabe e latim, e o arabizi (árabe escrito em letras latinas com números), também podem se dividir de formas inesperadas. Veja [como os LLMs lidam com arabizi](https://broadrouter.com/pt/blog/arabizi-llm-handling/).

## Por que tokens por palavra é a métrica errada?

Como uma palavra em árabe muitas vezes equivale a várias palavras em inglês, “o árabe usa N tokens por palavra” e “o inglês usa M tokens por palavra” não são comparáveis. Uma pergunta mais justa é: **quantos tokens o mesmo conteúdo precisa em cada idioma?** Use texto paralelo, a mesma mensagem escrita nos dois idiomas, e compare o total de tokens. É essa proporção que muda a sua conta.

A regra prática da OpenAI, muito citada, de cerca de quatro caracteres ou três quartos de palavra por token, vale para inglês nos tokenizers da própria OpenAI. Ela não se transfere para o árabe nem para outras famílias de modelos, então não a use em orçamentos para árabe.

## Como medir a sua própria proporção?

O campo usage é a referência: é sobre ele que você é cobrado. Este script envia textos paralelos a um modelo e lê `usage.prompt_tokens`. Ele subtrai uma linha de base para que o overhead fixo do template de chat não distorça textos curtos. Usa o [Gemma 4 VL 26B](https://broadrouter.com/pt/models/gemma-4-vl-26b/), que funciona com o crédito inicial gratuito e não raciocina; troque pelo modelo que você vai usar de fato.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

Para chegar a um número confiável:

1.  **Use de 50 a 200 pares reais** do seu domínio: mensagens de suporte, descrições de produtos, notas fiscais. Frases curtas de demonstração são ruidosas.
2.  **Use o dialeto em que seus usuários escrevem.** Texto do Golfo, egípcio e levantino pode ser tokenizado de forma diferente do árabe padrão moderno.
3.  **Rode para cada modelo.** Uma proporção medida em um modelo diz pouco sobre outro. Se você está escolhendo entre modelos, rode os mesmos pares em cada um; [como escolher um LLM para árabe](https://broadrouter.com/pt/blog/choosing-an-llm-for-arabic/) trata da qualidade, que importa tanto quanto a contagem de tokens.
4.  **Meça o output também.** Peça a cada modelo para responder em árabe e em inglês e compare `completion_tokens`. Em todo modelo o output custa mais por token que o input, então a proporção do output pode importar mais.

Se o tokenizer do modelo é publicado (por exemplo no Hugging Face), você também pode contar tokens offline com ele. O campo usage da API ainda é a palavra final, porque inclui o template de chat que o servidor aplica.

### Lendo os resultados

Quando você tiver uma proporção para cada modelo, três padrões são comuns:

-   **Perto de 1.** O tokenizer lida bem com o seu árabe. Tráfego em árabe e em inglês custa mais ou menos o mesmo para o mesmo conteúdo.
-   **Claramente acima de 1.** O árabe custa mais por mensagem. Considere isso nas previsões e nos limites de contexto, e avalie se outro modelo lida com o seu árabe de forma mais eficiente com qualidade parecida.
-   **Muito diferente entre as amostras.** Geralmente é sinal de conteúdo misto: texto com diacríticos, arabizi, números, URLs ou código dentro das mensagens em árabe. Separe as amostras por tipo e meça cada uma separadamente.

Guarde o script e rode de novo quando trocar de modelo ou quando um provedor atualizar a versão de um modelo, porque um tokenizer novo muda todas as contagens.

## O que isso significa para custo e contexto?

O custo acompanha os tokens, então uma proporção maior para o árabe aumenta a conta pelo mesmo fator na parte em árabe do seu tráfego. Com os preços da BroadNet, input em árabe no [Qwen3.8 27B](https://broadrouter.com/pt/models/qwen3.8-27b/) custa $0.175 por 1M de tokens e output $2.17; no Gemma 4 VL 26B, $0.10 e $0.22. O preço por token é o mesmo em qualquer idioma; só a contagem de tokens muda. Use a proporção medida no [método para estimar o custo mensal](https://broadrouter.com/pt/blog/estimate-llm-api-cost-before-launch/).

Os limites de contexto encolhem do mesmo jeito. O Gemma 4 VL 26B aceita 32.768 tokens por requisição; um documento longo em árabe enche isso antes da sua tradução em inglês. DeepSeek V4.1 Flash e GLM 5.3 aceitam 1.048.576.

## Como reduzir a contagem de tokens em árabe?

-   **Normalize de forma consistente.** Remova o tatweel, e os diacríticos se a sua tarefa não precisar deles. Aplique a mesma normalização em toda requisição para que o cache continue funcionando.
-   **Mantenha as instruções curtas.** Um system prompt longo é reenviado a cada turno; uma redação enxuta economiza tokens nos dois idiomas.
-   **Coloque o prefixo estável em cache.** Nos modelos com tarifa de cache, system prompts e documentos repetidos custam bem menos. [Como o cache funciona](https://broadrouter.com/pt/blog/cached-input-tokens-explained/).
-   **Peça respostas concisas.** “Responda em duas frases” economiza mais do que qualquer truque de tokenizer.

Para fala em árabe em vez de texto, a transcrição é cobrada por minuto de áudio, não por token, então a tokenização não afeta essa parte da conta; veja a [página de speech-to-text para árabe](https://broadrouter.com/pt/blog/arabic-speech-to-text-api-buyers-guide/).

Ferramentas gratuitas sobre o tema (em inglês)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[Ferramentas gratuitas (em inglês)](https://broadrouter.com/tools/)

## Termos neste artigo

[Token](https://broadrouter.com/pt/glossary/token/)

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

[Tokenizer (tokenizador)](https://broadrouter.com/pt/glossary/tokenizer/)

Tokenizer (tokenizador) é o componente que converte texto na sequência de IDs inteiros de tokens que um modelo de linguagem lê, e converte os IDs gerados de volta em texto. Cada modelo vem com o próprio tokenizer, então o mesmo texto pode gerar um número diferente de tokens em modelos diferentes.

[Árabe padrão moderno (MSA)](https://broadrouter.com/pt/glossary/msa/)

O árabe padrão moderno (MSA) é a forma padronizada do árabe usada na escrita, no noticiário, na educação e na fala formal em todo o mundo árabe. Ele não é a língua materna do dia a dia de ninguém: as pessoas falam dialetos regionais, como o egípcio ou o árabe do Golfo, e passam para o MSA em contextos formais.

[Arabizi](https://broadrouter.com/pt/glossary/arabizi/)

Arabizi é árabe escrito de modo informal com letras latinas, usando dígitos para sons árabes sem equivalente latino, como 3 para ع. É comum em chats e redes sociais, é quase sempre dialetal, não tem grafia padrão e muitas vezes vem misturado com inglês ou francês.

[Chat template (template de chat)](https://broadrouter.com/pt/glossary/chat-template/)

Chat template é a regra de formatação, geralmente escrita em Jinja e distribuída com o tokenizer do modelo, que converte uma lista de mensagens de chat com papéis na sequência única de tokens que o modelo espera, incluindo os tokens especiais de controle. Usar o template errado pode piorar muito as respostas do modelo.

[Fala para texto (speech-to-text)](https://broadrouter.com/pt/glossary/speech-to-text/)

Fala para texto, ou reconhecimento automático de fala (ASR), é a tecnologia que converte áudio falado em texto. Uma API de fala para texto recebe um arquivo ou stream de áudio e retorna uma transcrição, normalmente cobrada por minuto de áudio. A precisão é medida pela taxa de erro de palavras e varia com sotaque, dialeto e qualidade da gravação.

[Hamza (letra árabe)](https://broadrouter.com/pt/glossary/hamza/)

Hamza (ء) é a letra árabe que representa a oclusiva glotal. Ela é escrita sozinha ou sobre um suporte: alef (أ إ), waw (ؤ) ou yeh (ئ), e آ junta alef e madda. Como o texto digitado é inconsistente com ela, buscadores e a avaliação de fala costumam reduzir as formas com alef a ا.

[Normalização de texto árabe (Arabic text normalization)](https://broadrouter.com/pt/glossary/arabic-text-normalization/)

Normalização de texto árabe é a etapa que converte as variantes de grafia de uma mesma palavra em uma única forma antes da comparação: remove diacríticos e tatweel, unifica as formas de alef e muitas vezes troca ى por ي e ة por ه. Ela se aplica a chaves de busca e à avaliação, não ao texto exibido.

## Perguntas frequentes

### Quantos tokens tem uma palavra em árabe?

Depende do modelo. No dataset de tokenizers do BroadRouter, o árabe padrão moderno levou de 183.0 (Qwen3.8 27B) a 243.9 (GLM 5.3) tokens por 100 palavras nos cinco tokenizers. Compare textos paralelos em vez de palavras soltas, e meça no modelo que você usa.

### Quantos tokens são 1.000 palavras em inglês?

Cerca de 1,269 a 1,320 tokens de prosa simples em inglês nos cinco tokenizers do dataset medido pelo BroadRouter (1,290 em média). Texto técnico, código e outros idiomas precisam de mais, então conte o seu próprio texto.

### Remover diacríticos reduz tokens?

Geralmente sim, porque diacríticos são caracteres extras que o tokenizer precisa codificar. Só remova se a sua tarefa não precisar deles; no Alcorão, em poesia ou para pronúncia eles carregam sentido.

### A regra de 4 caracteres por token vale para árabe?

Não. A OpenAI dá essa regra prática para texto em inglês nos tokenizers dela. Ela não se aplica ao árabe nem aos tokenizers de outros modelos.

### Tokens em árabe custam mais por token?

Não. Um token custa o mesmo em qualquer idioma que ele codifique. O árabe só custa mais quando o mesmo conteúdo se divide em mais tokens.

## Continue lendo

-   [Como escolher uma API de LLM para árabe: o que testar](https://broadrouter.com/pt/blog/choosing-an-llm-for-arabic/)
-   [Preço de API de LLM explicado: entrada, cache, saída e raciocínio](https://broadrouter.com/pt/blog/llm-api-pricing-explained/)
-   [Engenharia de prompt em árabe: registro, RTL, números e texto misto](https://broadrouter.com/pt/blog/arabic-prompt-engineering/)
-   [Arabizi e LLMs: como lidar com o franco-árabe e números como 3 e 7](https://broadrouter.com/pt/blog/arabizi-llm-handling/)
-   [Diacríticos no árabe com um LLM: prompt, checagens e DER](https://broadrouter.com/pt/blog/arabic-diacritization-llm/)
-   [Preços de API de LLM em outubro de 2026: 3 aumentos, nenhum corte](https://broadrouter.com/pt/blog/llm-api-price-changes-october-2026/)
-   [Com que frequência o preço de API de LLM muda? 3 anos de arquivo](https://broadrouter.com/pt/blog/how-often-llm-api-prices-change/)
-   [Guia: Como usar o SDK Python da OpenAI com a BroadNet Inference](https://broadrouter.com/pt/guides/openai-python-sdk/)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**Fontes**

-   [Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, conferido em 2026-11-16)](https://arxiv.org/abs/2305.15425)
-   [Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707, conferido em 2026-11-16)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers, algoritmos de tokenização (conferido em 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Central de Ajuda da OpenAI, o que são tokens e como contá-los](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [Dataset de eficiência de tokenizers do BroadRouter, versão 4 (medido em 2026-11-15)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [Benchmark de avaliação FLORES-200 (Meta, CC BY-SA 4.0), as frases paralelas por trás das proporções de MSA (commit fixado, conferido em 2026-11-16)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [Referência da API da BroadNet Inference, campos de usage (conferido em 2026-11-16) (em inglês)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-blog-tokens-per-word-arabic-english&utm_content=sources)
