---
title: "Token kada salita: Arabic vs English, at paano sukatin"
description: "Bakit madalas mas maraming LLM token ang Arabic kaysa English sa parehong kahulugan, bakit nakakalito ang token kada salita, at script para sukatin ang ratio mo."
url: https://broadrouter.com/fil/blog/tokens-per-word-arabic-english/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (na-update noong 2026-11-16).

# Token kada salita sa Arabic vs English: bakit mas mahal ang Arabic

Ng BroadNet Inference team · 6 minutong basa · Nailathala 2026-11-14 · Na-update 2026-11-16

Walang iisang numero: nakadepende ito sa tokenizer ng bawat model. Sa sinukat na dataset ng BroadRouter, kailangan ng parehong Modern Standard Arabic text ang 1.31× (Qwen3.8 27B) hanggang 1.77× (GLM 5.3) ng mga token ng English na salin nito, at mga 1,290 token sa average ang 1,000 salita ng English na prosa. Sukatin ang sarili mong ratio mula sa usage.prompt\_tokens.

## Mga pangunahing punto

-   Katangian ng tokenizer ng bawat model ang token kada salita, hindi lang ng wika.
-   Natuklasan ng research sa maraming tokenizer na madalas mas maraming token ang parehong content sa Arabic kaysa sa English.
-   Ikumpara ang parallel na text (parehong kahulugan sa dalawang wika), hindi ang token kada salita: puwedeng magdala ang isang Arabic na salita ng ilang English na salita.
-   Sukatin gamit ang usage.prompt\_tokens sa mismong model na gagamitin mo, at ibawas ang baseline para sa overhead ng mensahe.
-   Binabago ng diacritics, tatweel at halo-halong script ang bilang; i-normalise nang consistent ang input.

**Sa page na ito**

1.  Ilang token pa ang kailangan ng Arabic? Mga sinukat na numero
2.  Ano ang ginagawa ng tokenizer?
3.  Bakit madalas mas maraming token ang Arabic?
4.  Bakit maling sukatan ang token kada salita?
5.  Paano sukatin ang sarili mong ratio?
6.  Ano ang ibig sabihin nito para sa gastos at context?
7.  Paano mababawasan ang bilang ng Arabic na token?

Kung bumubuo ka ng Arabic na produkto sa isang LLM API, sa token binibilang ang bill mo, hindi sa salita. At ang parehong mensahe, kapag isinulat sa Arabic, ay madalas nagiging mas maraming token kaysa sa English na salin nito. Naaapektuhan nito ang gastos, ang context limit at ang latency. Ipinapaliwanag ng post na ito kung bakit ito nangyayari, kung bakit nakakalitong numero ang “token kada salita”, at kung paano sukatin ang totoong ratio para sa sarili mong content sa model na ginagamit mo.

## Ilang token pa ang kailangan ng Arabic? Mga sinukat na numero

Sinukat namin ito gamit ang totoong tokenizer ng bawat model sa mga parallel na text (parehong kahulugan sa English at Arabic). Nasa libreng [tokenizer efficiency dataset](https://broadrouter.com/data/tokenizer-efficiency/) (CSV at JSON, CC BY 4.0, bersyon 4, sinukat noong 2026-11-15) ang buong table, ang 95% interval at ang pamamaraan:

| Tokenizer | Arabic ÷ English, Modern Standard (2,009 na FLORES-200 na pangungusap) | Arabic ÷ English, Gulf dialect (49 na Tatoeba na pangungusap) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

Mga 127 hanggang 132 token kada 100 salita ang English na prosa (Wikipedia at Project Gutenberg) sa lima. Galing ang mga Modern Standard Arabic na ratio sa parehong 2,009 na FLORES-200 na pangungusap sa dalawang wika (pormal na balita, travel at encyclopedia na text mula sa English na Wikimedia na artikulo, propesyonal na isinalin). Walang Gulf Arabic ang FLORES-200, kaya 49 maiikling pares ng pangungusap mula sa Tatoeba ang gamit ng Gulf na column at mas hindi ito tumpak; nagbibigay ang dataset page ng interval para sa bawat figure. Wala rito ang traffic mo, kaya gamitin ang mga ratio para sa pagpaplano at sukatin ang sarili mong content bago mag-budget. Binibilang ng [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) ang na-paste na text sa bawat tokenizer, at nagko-convert sa dalawang direksyon ang [tokens to words](https://broadrouter.com/tools/tokens-to-words/).

Para gawing pera ang mga ratio na ito, nagpe-presyo ang aming [real cost by language dataset](https://broadrouter.com/data/real-cost-by-language/) ng 1M character ng bawat wika sa bawat model na naitugma namin sa sinukat na tokenizer, sa iba’t ibang provider. Hindi laging mas murang Arabic na bill ang mas murang presyo kada token.

## Ano ang ginagawa ng tokenizer?

Bago makita ng model ang text, hinahati ito ng tokenizer sa mga token mula sa fixed na bokabularyo. Gumagamit ang karamihan ng modernong tokenizer ng mga subword na paraan gaya ng byte-pair encoding (BPE), WordPiece o SentencePiece, na inilalarawan sa [buod ng mga tokenizer](https://huggingface.co/docs/transformers/tokenizer_summary) ng Hugging Face. Nagiging iisang token ang mga madalas na string sa training data; hinahati sa mas maliliit na piraso ang mga bihirang string, hanggang sa iisang byte kung kailangan.

Natututunan ang bokabularyo mula sa isang training corpus. Ang mga wikang nangingibabaw sa corpus na iyon ang nakakakuha ng pinakamahusay na encoding. May sariling tokenizer ang bawat pamilya ng model, kaya puwedeng hatiin ng mga model ng DeepSeek, Qwen, GLM at Gemma ang parehong Arabic na pangungusap sa magkakaibang bilang ng token.

## Bakit madalas mas maraming token ang Arabic?

### 1\. Hindi pantay na training data

Sinanay ang maraming tokenizer sa text kung saan sobra-sobra ang English. Nagiging tig-isang token ang mga karaniwang English na salita; nahahati sa ilang piraso ang maraming karaniwang Arabic na salita. Sinukat ito ni Petrov et al. (2023) sa maraming tokenizer at wika at nakakita ng malalaking pagkakaiba sa bilang ng token na kailangan ng parehong content, at kadalasang kabilang ang English sa pinakamura. Ganoon din ang konklusyon ni Ahia et al. (2023) para sa mga commercial na API, at binanggit nila ang direktang epekto sa binabayaran ng mga nagsasalita ng iba’t ibang wika.

### 2\. Arabic morphology

Direktang ikinakabit ng Arabic sa mga salita ang mga conjunction, preposition, article at pronoun. Puwedeng dalhin ng isang nakasulat na salita ang ikinakalat ng English sa ilang salita:

| Arabic | Halos katumbas sa English |
| --- | --- |
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |

Kadalasang hinahati sa mga piraso ng tokenizer ang isang kombinasyong hindi pa nito nakikita nang madalas. Itinataas niyan ang token kada **salita**, kahit makatwiran ang token kada **kahulugan**.

### 3\. Mga detalye ng script

Ang diacritics (tashkeel), tatweel (ang character na pampahaba), ang iba’t ibang anyo ng alef at hamza, at ang mga Arabic-Indic na digit ay pawang dagdag na character o variant na kailangang i-encode ng tokenizer. Puwede ring mahati sa hindi inaasahang paraan ang halo-halong Arabic at Latin na text, at ang Arabizi (Arabic na isinulat sa Latin na letra na may mga digit). Tingnan ang [paano hinahawakan ng mga LLM ang Arabizi](https://broadrouter.com/fil/blog/arabizi-llm-handling/).

## Bakit maling sukatan ang token kada salita?

Dahil madalas katumbas ng ilang English na salita ang isang Arabic na salita, hindi maikukumpara ang “N token kada salita ang Arabic” at “M token kada salita ang English”. Mas patas na tanong: **ilang token ang kailangan ng parehong content sa bawat wika?** Gumamit ng parallel na text, ang parehong mensahe na isinulat sa dalawang wika, at ikumpara ang kabuuang token. Ang ratio na iyon ang nagbabago sa bill mo.

Ang madalas banggiting tantiya ng OpenAI, mga apat na character o tatlong-kapat ng salita kada token, ay para sa English sa sariling mga tokenizer ng OpenAI. Hindi ito nalalapat sa Arabic o sa ibang pamilya ng model, kaya huwag itong gamitin sa mga Arabic na budget.

## Paano sukatin ang sarili mong ratio?

Ang usage field ang ground truth: iyan ang batayan ng singil sa iyo. Nagpapadala ang script na ito ng mga parallel na text sa isang model at binabasa ang `usage.prompt_tokens`. Nagbabawas ito ng baseline para hindi mabaluktot ng fixed na overhead ng chat template ang maiikling text. Gumagamit ito ng [Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/), na gumagana sa libreng panimulang credit at hindi nagre-reason; palitan ito ng model na talagang gagamitin mo.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

Para makakuha ng numerong mapagkakatiwalaan:

1.  **Gumamit ng 50–200 totoong pares** mula sa sarili mong domain: support message, paglalarawan ng produkto, invoice. Maingay ang maiikling demo na pangungusap.
2.  **Gamitin ang dialect na isinusulat ng mga user mo.** Puwedeng iba ang tokenization ng Gulf, Egyptian at Levantine na text kaysa sa Modern Standard Arabic.
3.  **Patakbuhin ito kada model.** Kaunti lang ang sinasabi ng ratio na sinukat sa isang model tungkol sa iba. Kung pumipili ka sa pagitan ng mga model, patakbuhin ang parehong mga pares sa bawat isa; tinatalakay ng [pagpili ng LLM para sa Arabic](https://broadrouter.com/fil/blog/choosing-an-llm-for-arabic/) ang kalidad, na kasinghalaga ng bilang ng token.
4.  **Sukatin din ang output.** Pasagutin ang bawat model sa Arabic at sa English at ikumpara ang `completion_tokens`. Mas mahal kada token ang output kaysa sa input sa bawat model, kaya puwedeng mas mahalaga ang output ratio.

Kung nailathala ang tokenizer ng model (halimbawa sa Hugging Face), puwede ka ring magbilang ng token offline gamit ang tokenizer na iyon. Ang usage field ng API pa rin ang huling salita, dahil kasama rito ang chat template na inilalapat ng server.

### Pagbasa ng resulta

Kapag may ratio ka na para sa bawat model, tatlong pattern ang karaniwan:

-   **Malapit sa 1.** Mahusay hawakan ng tokenizer ang Arabic mo. Halos pareho ang gastos ng Arabic at English na traffic para sa parehong content.
-   **Malinaw na higit sa 1.** Mas mahal ang Arabic kada mensahe. Isama ito sa forecast at sa context limit, at pag-isipan kung may ibang model na mas mahusay humawak ng Arabic mo sa katulad na kalidad.
-   **Napakalaki ng pagkakaiba sa mga sample mo.** Kadalasang senyales ito ng halo-halong content: text na may diacritics, Arabizi, numero, URL o code sa loob ng mga Arabic na mensahe. Hatiin ang mga sample ayon sa uri at sukatin nang hiwalay ang bawat isa.

Itago ang script at patakbuhin ulit kapag nagpalit ka ng model o kapag nag-update ang provider ng bersyon ng model, dahil binabago ng bagong tokenizer ang bawat bilang.

## Ano ang ibig sabihin nito para sa gastos at context?

Sumusunod sa token ang gastos, kaya itinataas ng mas mataas na Arabic ratio ang bill sa parehong factor para sa Arabic na bahagi ng traffic mo. Sa presyo ng BroadNet, $0.175 kada 1M token ang Arabic na input sa [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/) at $2.17 ang output; sa Gemma 4 VL 26B, $0.10 at $0.22. Pareho ang presyo kada token sa kahit anong wika; ang bilang lang ng token ang nagbabago. Ipasok ang sinukat mong ratio sa [paraan ng pagtantiya ng buwanang gastos](https://broadrouter.com/fil/blog/estimate-llm-api-cost-before-launch/).

Lumiliit din ang context limit sa parehong paraan. Tumatanggap ang Gemma 4 VL 26B ng 32,768 token kada request; mas maagang napupuno iyan ng mahabang Arabic na dokumento kaysa sa English na salin nito. Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng 1,048,576.

## Paano mababawasan ang bilang ng Arabic na token?

-   **Mag-normalise nang consistent.** Tanggalin ang tatweel, at alisin ang diacritics kung hindi kailangan ng task mo. Ilapat ang parehong normalisation sa bawat request para gumana pa rin ang caching.
-   **Panatilihing maikli ang mga instruction.** Ipinapadala ulit ang mahabang system prompt sa bawat turn; nakakatipid ng token ang masinsing pananalita sa dalawang wika.
-   **I-cache ang stable na prefix.** Sa mga model na may cached rate, mas mura nang malaki ang paulit-ulit na system prompt at dokumento. [Paano gumagana ang caching](https://broadrouter.com/fil/blog/cached-input-tokens-explained/).
-   **Humingi ng maiikling sagot.** Mas nakakatipid ang “Sumagot sa dalawang pangungusap” kaysa sa kahit anong tokenizer trick.

Para sa Arabic na pananalita sa halip na text, kada minuto ng audio ang presyo ng transcription, hindi kada token, kaya hindi naaapektuhan ng tokenization ang bahaging iyon ng bill; tingnan ang [Arabic speech-to-text page](https://broadrouter.com/fil/blog/arabic-speech-to-text-api-buyers-guide/).

Mga libreng tool para rito (Ingles)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Tokenizer](https://broadrouter.com/fil/glossary/tokenizer/)

Ang tokenizer ay ang bahaging ginagawang sunod ng integer token ID na binabasa ng language model ang text, at ibinabalik sa text ang mga nabuong ID. May sariling tokenizer ang bawat model, kaya puwedeng magkaiba ang bilang ng token ng iisang text sa magkakaibang model.

[Modern Standard Arabic (MSA)](https://broadrouter.com/fil/glossary/msa/)

Ang Modern Standard Arabic (MSA) ay ang standardized na anyo ng Arabic na ginagamit sa pagsulat, balita, edukasyon at pormal na pananalita sa buong mundong Arabo. Hindi ito katutubong pang-araw-araw na wika ninuman: mga rehiyonal na dialect gaya ng Egyptian o Gulf Arabic ang sinasalita, at lumilipat sa MSA sa pormal na sitwasyon.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Arabic diacritics (tashkeel)](https://broadrouter.com/fil/glossary/arabic-diacritics/)

Ang Arabic diacritics, o tashkeel, ay maliliit na markang isinusulat sa itaas o ibaba ng mga titik para ipakita ang maiikling patinig, dobleng katinig at kawalan ng patinig. Opsyonal ang mga ito: wala ang mga ito sa karamihan ng Arabic text, pati sa balita, kaya hinuhulaan ng mambabasa at ng software ang patinig mula sa context.

[Arabizi](https://broadrouter.com/fil/glossary/arabizi/)

Ang Arabizi ay Arabic na impormal na isinusulat sa Latin na titik, gamit ang mga numero para sa mga tunog ng Arabic na walang katumbas sa Latin, gaya ng 3 para sa ع. Karaniwan ito sa chat at social media, kadalasang dialect, walang standard na spelling, at madalas na hinahaluan ng English o French.

[Arabic text normalization](https://broadrouter.com/fil/glossary/arabic-text-normalization/)

Ang Arabic text normalization ay ang hakbang na nagmamapa sa iisang anyo ng mga variant ng spelling ng parehong salita bago ang matching: pagtatanggal ng diacritics at tatweel, pag-iisa ng mga anyo ng alef, at kadalasang pagmapa ng ى sa ي at ة sa ه. Ginagamit ito sa search key at evaluation, hindi sa text na ipinapakita mo.

[Chat template](https://broadrouter.com/fil/glossary/chat-template/)

Ang chat template ay ang formatting rule, kadalasang nakasulat sa Jinja at kasama ng tokenizer ng model, na nagko-convert ng listahan ng chat messages na may role tungo sa iisang token sequence na inaasahan ng model, kasama ang mga special control token nito. Puwedeng lubhang sumama ang sagot ng model kapag mali ang template.

## Mga tanong

### Ilang token ang isang Arabic na salita?

Nakadepende sa model. Sa tokenizer dataset ng BroadRouter, 183.0 (Qwen3.8 27B) hanggang 243.9 (GLM 5.3) token kada 100 salita ang Modern Standard Arabic sa limang tokenizer. Ikumpara ang mga parallel na text sa halip na iisang salita, at sukatin sa model na ginagamit mo.

### Ilang token ang 1,000 English na salita?

Mga 1,269 hanggang 1,320 token ng simpleng English na prosa sa limang tokenizer sa sinukat na dataset ng BroadRouter (1,290 sa average). Mas marami ang kailangan ng teknikal na text, code at ibang wika, kaya bilangin ang sarili mong text.

### Nababawasan ba ang token kapag tinanggal ang diacritics?

Kadalasan, dahil dagdag na character ang diacritics na kailangang i-encode ng tokenizer. Tanggalin lang ang mga ito kung hindi kailangan ng task mo; sa Quran, tula o pagbigkas, may dala silang kahulugan.

### Tama ba ang patakarang 4 na character kada token para sa Arabic?

Hindi. Ibinibigay ng OpenAI ang tantiyang iyon para sa English na text sa sarili nitong mga tokenizer. Hindi ito nalalapat sa Arabic o sa tokenizer ng ibang model.

### Mas mahal ba kada token ang mga Arabic na token?

Hindi. Pareho ang presyo ng isang token anuman ang wikang ine-encode nito. Mas mahal lang ang Arabic kapag nahahati sa mas maraming token ang parehong content.

## Magbasa pa

-   [Pagpili ng LLM API para sa Arabic: ano ang dapat i-test](https://broadrouter.com/fil/blog/choosing-an-llm-for-arabic/)
-   [Presyo ng LLM API, ipinaliwanag: input, cached, output at reasoning](https://broadrouter.com/fil/blog/llm-api-pricing-explained/)
-   [Arabic prompt engineering: register, RTL, numeral at halo-halong text](https://broadrouter.com/fil/blog/arabic-prompt-engineering/)
-   [Arabizi at LLM: paghawak ng Franco-Arabic na may numerong 3 at 7](https://broadrouter.com/fil/blog/arabizi-llm-handling/)
-   [Diacritics sa Arabic text gamit ang LLM: prompt, check at DER](https://broadrouter.com/fil/blog/arabic-diacritization-llm/)
-   [Pagbabago sa presyo ng LLM API, Oktubre 2026: 3 pagtaas, walang bawas](https://broadrouter.com/fil/blog/llm-api-price-changes-october-2026/)
-   [Gaano kadalas nagbabago ang presyo ng LLM API? 3 taon ng archive](https://broadrouter.com/fil/blog/how-often-llm-api-prices-change/)
-   [Gabay: Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**Mga source**

-   [Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, sinuri noong 2026-11-16)](https://arxiv.org/abs/2305.15425)
-   [Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707, sinuri noong 2026-11-16)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers, mga tokenization algorithm (sinuri noong 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI Help Center, ano ang mga token at paano bilangin ang mga ito](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [Tokenizer efficiency dataset ng BroadRouter, bersyon 4 (sinukat noong 2026-11-15)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [FLORES-200 evaluation benchmark (Meta, CC BY-SA 4.0), ang mga parallel na pangungusap sa likod ng mga MSA ratio (naka-pin na commit, sinuri noong 2026-11-16)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [API reference ng BroadNet Inference, mga usage field (sinuri noong 2026-11-16) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-tokens-per-word-arabic-english&utm_content=sources)
