---
title: "Token per kata: bahasa Arab vs Inggris, dan cara mengukurnya"
description: "Mengapa bahasa Arab kerap memakai lebih banyak token LLM daripada bahasa Inggris untuk makna yang sama, mengapa token per kata menyesatkan, dan skrip pengukurnya."
url: https://broadrouter.com/id/blog/tokens-per-word-arabic-english/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (diperbarui 2026-11-16).

# Token per kata bahasa Arab vs Inggris: mengapa bahasa Arab lebih mahal

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan 2026-11-14 · Diperbarui 2026-11-16

Tidak ada satu angka: semuanya bergantung pada tokenizer setiap model. Dalam dataset terukur BroadRouter, teks bahasa Arab Standar Modern yang sama membutuhkan 1.31× (Qwen3.8 27B) sampai 1.77× (GLM 5.3) jumlah token terjemahan bahasa Inggrisnya, dan 1.000 kata prosa bahasa Inggris rata-rata sekitar 1,290 token. Ukur rasio Anda sendiri dari usage.prompt\_tokens.

## Poin penting

-   Token per kata adalah sifat tokenizer setiap model, bukan semata-mata sifat bahasanya.
-   Riset atas banyak tokenizer menemukan bahwa konten yang sama sering memakan lebih banyak token dalam bahasa Arab daripada bahasa Inggris.
-   Bandingkan teks paralel (makna yang sama dalam kedua bahasa), bukan token per kata: satu kata Arab bisa membawa beberapa kata Inggris.
-   Ukur dengan usage.prompt\_tokens pada model persis yang akan Anda pakai, dikurangi baseline untuk overhead pesan.
-   Harakat, tatwil, dan aksara campuran mengubah jumlah token; normalisasi input secara konsisten.

**Di halaman ini**

1.  Berapa banyak token tambahan yang dibutuhkan bahasa Arab? Angka terukur
2.  Apa yang dilakukan tokenizer?
3.  Mengapa bahasa Arab sering memakai lebih banyak token?
4.  Mengapa token per kata adalah metrik yang keliru?
5.  Bagaimana mengukur rasio Anda sendiri?
6.  Apa artinya untuk biaya dan konteks?
7.  Bagaimana mengurangi jumlah token bahasa Arab?

Jika Anda membangun produk berbahasa Arab di atas API LLM, tagihan Anda dihitung dalam token, bukan kata. Dan pesan yang sama, jika ditulis dalam bahasa Arab, sering menjadi lebih banyak token daripada terjemahan bahasa Inggrisnya. Ini memengaruhi biaya, batas konteks, dan latensi. Artikel ini menjelaskan mengapa itu terjadi, mengapa “token per kata” adalah angka yang menyesatkan, dan cara mengukur rasio sebenarnya untuk konten Anda sendiri pada model yang Anda pakai.

## Berapa banyak token tambahan yang dibutuhkan bahasa Arab? Angka terukur

Kami mengukurnya dengan tokenizer asli setiap model pada teks paralel (makna yang sama dalam bahasa Inggris dan Arab). Tabel lengkap, interval 95%, dan metodenya ada di [dataset efisiensi tokenizer](https://broadrouter.com/data/tokenizer-efficiency/) yang gratis (CSV dan JSON, CC BY 4.0, versi 4, diukur 2026-11-15):

| Tokenizer | Arab ÷ Inggris, Standar Modern (2,009 kalimat FLORES-200) | Arab ÷ Inggris, dialek Teluk (49 kalimat Tatoeba) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

Prosa bahasa Inggris (Wikipedia dan Project Gutenberg) sekitar 127 sampai 132 token per 100 kata di kelima tokenizer. Rasio bahasa Arab Standar Modern berasal dari 2,009 kalimat FLORES-200 yang sama dalam kedua bahasa (teks berita, perjalanan, dan ensiklopedia formal dari artikel Wikimedia berbahasa Inggris, diterjemahkan secara profesional). FLORES-200 tidak punya bahasa Arab Teluk, jadi kolom Teluk memakai 49 pasangan kalimat pendek Tatoeba dan jauh kurang presisi; halaman dataset memberikan interval untuk setiap angka. Tidak satu pun dari ini adalah trafik Anda, jadi pakai rasionya untuk perencanaan dan ukur konten Anda sendiri sebelum menyusun anggaran. [Penghitung token bahasa Arab](https://broadrouter.com/tools/arabic-token-counter/) menghitung teks yang ditempel di setiap tokenizer, dan [konversi token ke kata](https://broadrouter.com/tools/tokens-to-words/) mengonversi ke dua arah.

Untuk mengubah rasio ini menjadi uang, [dataset biaya nyata per bahasa](https://broadrouter.com/data/real-cost-by-language/) kami menghitung harga 1 juta karakter setiap bahasa di setiap model yang bisa kami cocokkan dengan tokenizer terukur, di berbagai penyedia. Harga per token yang lebih murah tidak selalu berarti tagihan bahasa Arab yang lebih murah.

## Apa yang dilakukan tokenizer?

Sebelum model melihat teks, tokenizer memecahnya menjadi token dari kosakata tetap. Sebagian besar tokenizer modern memakai metode subword seperti byte-pair encoding (BPE), WordPiece, atau SentencePiece, yang dijelaskan dalam [ringkasan tokenizer](https://huggingface.co/docs/transformers/tokenizer_summary) Hugging Face. String yang sering muncul di data latih menjadi satu token; string yang jarang dipecah menjadi potongan yang lebih kecil, bahkan sampai byte tunggal jika perlu.

Kosakata itu dipelajari dari korpus latih. Bahasa apa pun yang mendominasi korpus itu mendapat encoding paling efisien. Setiap keluarga model punya tokenizer sendiri, jadi model DeepSeek, Qwen, GLM, dan Gemma bisa memecah kalimat Arab yang sama menjadi jumlah token yang cukup berbeda.

## Mengapa bahasa Arab sering memakai lebih banyak token?

### 1\. Ketimpangan data latih

Banyak tokenizer dilatih dengan teks yang porsi bahasa Inggrisnya sangat berlebih. Kata bahasa Inggris yang umum masing-masing menjadi satu token; banyak kata bahasa Arab yang umum dipecah menjadi beberapa potongan. Petrov dkk. (2023) mengukur hal ini di banyak tokenizer dan bahasa dan menemukan perbedaan besar dalam jumlah token yang dibutuhkan konten yang sama, dengan bahasa Inggris biasanya termasuk yang paling murah. Ahia dkk. (2023) sampai pada kesimpulan serupa untuk API komersial dan mencatat dampak langsungnya pada biaya yang dibayar penutur bahasa yang berbeda.

### 2\. Morfologi bahasa Arab

Bahasa Arab melekatkan konjungsi, preposisi, kata sandang, dan kata ganti langsung pada kata. Satu kata tertulis bisa membawa apa yang dalam bahasa Inggris tersebar di beberapa kata:

| Bahasa Arab | Kira-kira dalam bahasa Inggris |
| --- | --- |
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |

Tokenizer yang belum cukup sering melihat kombinasi tertentu akan memecahnya. Itu menaikkan token per **kata**, bahkan ketika token per **makna** masih wajar.

### 3\. Detail aksara

Harakat (tasykil), tatwil (karakter pemanjang), berbagai bentuk alif dan hamzah, serta angka Arab-Indik semuanya karakter atau varian tambahan yang harus di-encode tokenizer. Teks campuran Arab dan Latin, serta Arabizi (bahasa Arab yang ditulis dengan huruf Latin dan angka), juga bisa terpecah dengan cara tak terduga. Lihat [cara LLM menangani Arabizi](https://broadrouter.com/id/blog/arabizi-llm-handling/).

## Mengapa token per kata adalah metrik yang keliru?

Karena satu kata Arab sering setara dengan beberapa kata Inggris, “bahasa Arab memakai N token per kata” dan “bahasa Inggris memakai M token per kata” tidak bisa dibandingkan. Pertanyaan yang lebih adil adalah: **berapa token yang dibutuhkan konten yang sama dalam setiap bahasa?** Pakai teks paralel, yaitu pesan yang sama yang ditulis dalam kedua bahasa, lalu bandingkan total tokennya. Rasio itulah yang mengubah tagihan Anda.

Patokan kasar OpenAI yang sering dikutip, sekitar empat karakter atau tiga perempat kata per token, diberikan untuk bahasa Inggris pada tokenizer milik OpenAI sendiri. Patokan itu tidak berlaku untuk bahasa Arab atau keluarga model lain, jadi jangan dipakai untuk anggaran bahasa Arab.

## Bagaimana mengukur rasio Anda sendiri?

Field usage adalah sumber kebenarannya: itulah dasar penagihan Anda. Skrip ini mengirim teks paralel ke model dan membaca `usage.prompt_tokens`. Skrip ini mengurangi baseline agar overhead template chat yang tetap tidak mendistorsi teks pendek. Skrip memakai [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/), yang bisa dipakai dengan kredit awal gratis dan tidak melakukan penalaran; ganti dengan model yang benar-benar akan Anda pakai.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

Agar mendapat angka yang bisa dipercaya:

1.  **Pakai 50–200 pasangan nyata** dari domain Anda sendiri: pesan support, deskripsi produk, faktur. Kalimat demo yang pendek hasilnya bising.
2.  **Pakai dialek yang ditulis pengguna Anda.** Teks Teluk, Mesir, dan Levant bisa ter-tokenisasi berbeda dari bahasa Arab Standar Modern.
3.  **Jalankan per model.** Rasio yang diukur di satu model hanya sedikit memberi tahu tentang model lain. Jika Anda sedang memilih di antara beberapa model, jalankan pasangan yang sama di setiap model; [memilih LLM untuk bahasa Arab](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/) membahas kualitas, yang sama pentingnya dengan jumlah token.
4.  **Ukur output juga.** Minta setiap model menjawab dalam bahasa Arab dan bahasa Inggris, lalu bandingkan `completion_tokens`. Di setiap model, output lebih mahal per token daripada input, jadi rasio output bisa lebih penting.

Jika tokenizer model dipublikasikan (misalnya di Hugging Face), Anda juga bisa menghitung token secara offline dengan tokenizer itu. Field usage API tetap menjadi penentu akhir, karena mencakup template chat yang diterapkan server.

### Membaca hasilnya

Setelah Anda punya rasio untuk setiap model, ada tiga pola yang umum:

-   **Mendekati 1.** Tokenizer menangani bahasa Arab Anda dengan baik. Trafik bahasa Arab dan Inggris berbiaya kurang lebih sama untuk konten yang sama.
-   **Jelas di atas 1.** Bahasa Arab lebih mahal per pesan. Perhitungkan ini dalam proyeksi dan batas konteks, dan pertimbangkan apakah model lain menangani bahasa Arab Anda lebih efisien dengan kualitas yang mirip.
-   **Sangat berbeda antarsampel.** Biasanya tanda konten campuran: teks berharakat, Arabizi, angka, URL, atau kode di dalam pesan berbahasa Arab. Pisahkan sampel Anda per jenis dan ukur masing-masing secara terpisah.

Simpan skripnya dan jalankan ulang saat Anda berganti model atau saat penyedia memperbarui versi model, karena tokenizer baru mengubah setiap hitungan.

## Apa artinya untuk biaya dan konteks?

Biaya naik sebanding dengan token, jadi rasio bahasa Arab yang lebih tinggi menaikkan tagihan dengan faktor yang sama untuk bagian bahasa Arab dari trafik Anda. Dengan harga BroadNet, input bahasa Arab di [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) berharga $0.175 per 1 juta token dan output $2.17; di Gemma 4 VL 26B, $0.10 dan $0.22. Harga per token sama dalam bahasa apa pun; hanya jumlah tokennya yang berubah. Masukkan rasio terukur Anda ke [metode biaya bulanan](https://broadrouter.com/id/blog/estimate-llm-api-cost-before-launch/).

Batas konteks menyempit dengan cara yang sama. Gemma 4 VL 26B menerima 32.768 token per permintaan; dokumen bahasa Arab yang panjang akan mengisinya lebih cepat daripada terjemahan bahasa Inggrisnya. DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576.

## Bagaimana mengurangi jumlah token bahasa Arab?

-   **Normalisasi secara konsisten.** Hapus tatwil, dan hapus harakat jika tugas Anda tidak membutuhkannya. Terapkan normalisasi yang sama pada setiap permintaan agar caching tetap berfungsi.
-   **Jaga instruksi tetap singkat.** System prompt yang panjang dikirim ulang di setiap giliran; kalimat yang ringkas menghemat token dalam kedua bahasa.
-   **Cache prefiks yang stabil.** Di model dengan tarif cache, system prompt dan dokumen yang berulang jauh lebih murah. [Cara kerja caching](https://broadrouter.com/id/blog/cached-input-tokens-explained/).
-   **Minta jawaban yang ringkas.** “Jawab dalam dua kalimat” menghemat lebih banyak daripada trik tokenizer apa pun.

Untuk ucapan bahasa Arab, bukan teks, transkripsi dihargai per menit audio, bukan per token, jadi tokenisasi tidak memengaruhi bagian tagihan itu; lihat [halaman speech-to-text bahasa Arab](https://broadrouter.com/id/blog/arabic-speech-to-text-api-buyers-guide/).

Alat gratis untuk topik ini (bahasa Inggris)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Tokenizer](https://broadrouter.com/id/glossary/tokenizer/)

Tokenizer adalah komponen yang mengubah teks menjadi urutan ID token berupa bilangan bulat yang dibaca model bahasa, dan mengubah ID yang dihasilkan kembali menjadi teks. Setiap model punya tokenizer sendiri, jadi teks yang sama bisa menghasilkan jumlah token berbeda di model yang berbeda.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/)

System prompt adalah teks instruksi yang dikirim aplikasi ke model bahasa sebelum percakapan, biasanya sebagai pesan dengan peran system atau developer. System prompt menetapkan peran, aturan, gaya bahasa, dan format output model, dan model dirancang untuk mengikutinya di atas pesan pengguna yang bertentangan.

[Arabizi (Franco-Arabic)](https://broadrouter.com/id/glossary/arabizi/)

Arabizi adalah bahasa Arab yang ditulis secara informal dengan huruf Latin, memakai angka untuk bunyi Arab yang tidak punya padanan Latin, misalnya 3 untuk ع. Arabizi umum di chat dan media sosial, kebanyakan berupa dialek, tidak punya ejaan baku, dan sering dicampur dengan bahasa Inggris atau Prancis.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[Bahasa Arab Standar Modern (MSA, Fusha)](https://broadrouter.com/id/glossary/msa/)

Bahasa Arab Standar Modern (MSA) adalah bentuk baku bahasa Arab yang dipakai dalam tulisan, berita, pendidikan, dan pidato formal di seluruh dunia Arab. MSA bukan bahasa ibu sehari-hari siapa pun: orang berbicara dalam dialek daerah seperti Arab Mesir atau Teluk dan beralih ke MSA dalam situasi formal.

[Byte pair encoding (BPE)](https://broadrouter.com/id/glossary/bpe/)

Byte pair encoding (BPE) adalah algoritma tokenisasi subkata yang dimulai dari karakter atau byte tunggal lalu berulang kali menggabungkan pasangan bersebelahan yang paling sering muncul menjadi entri kosakata baru, hingga mencapai ukuran kosakata target. Sebagian besar tokenizer LLM saat ini memakai BPE atau varian byte-level-nya.

[Chat template](https://broadrouter.com/id/glossary/chat-template/)

Chat template adalah aturan format, biasanya ditulis dengan Jinja dan disertakan bersama tokenizer model, yang mengubah daftar pesan chat beserta perannya menjadi satu urutan token yang diharapkan model, termasuk token kontrol khususnya. Memakai template yang salah bisa sangat menurunkan kualitas jawaban model.

## Pertanyaan umum

### Satu kata bahasa Arab berapa token?

Tergantung modelnya. Dalam dataset tokenizer BroadRouter, bahasa Arab Standar Modern memakan 183.0 (Qwen3.8 27B) sampai 243.9 (GLM 5.3) token per 100 kata di lima tokenizer. Bandingkan teks paralel, bukan kata tunggal, dan ukur pada model yang Anda pakai.

### 1.000 kata bahasa Inggris berapa token?

Sekitar 1,269 sampai 1,320 token untuk prosa bahasa Inggris biasa di lima tokenizer dalam dataset terukur BroadRouter (rata-rata 1,290). Teks teknis, kode, dan bahasa lain membutuhkan lebih banyak, jadi hitung teks Anda sendiri.

### Apakah menghapus harakat mengurangi token?

Biasanya ya, karena harakat adalah karakter tambahan yang harus di-encode tokenizer. Hapus hanya jika tugas Anda tidak membutuhkannya; untuk Al-Qur'an, puisi, atau pelafalan, harakat membawa makna.

### Apakah aturan 4 karakter per token berlaku untuk bahasa Arab?

Tidak. OpenAI memberikan patokan kasar itu untuk teks bahasa Inggris pada tokenizer miliknya sendiri. Aturan itu tidak berlaku untuk bahasa Arab atau untuk tokenizer model lain.

### Apakah token bahasa Arab lebih mahal per token?

Tidak. Satu token berharga sama apa pun bahasa yang di-encode-nya. Bahasa Arab lebih mahal hanya ketika konten yang sama terpecah menjadi lebih banyak token.

## Baca juga

-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/)
-   [Harga API LLM: input, input cache, output, dan token penalaran](https://broadrouter.com/id/blog/llm-api-pricing-explained/)
-   [Prompt engineering bahasa Arab: register, RTL, angka, teks campuran](https://broadrouter.com/id/blog/arabic-prompt-engineering/)
-   [Arabizi dan LLM: menangani Franco-Arab dengan angka seperti 3 dan 7](https://broadrouter.com/id/blog/arabizi-llm-handling/)
-   [Menambahkan harakat ke teks Arab dengan LLM: prompt, cek, DER](https://broadrouter.com/id/blog/arabic-diacritization-llm/)
-   [Perubahan harga API LLM Oktober 2026: 3 kenaikan, tanpa penurunan](https://broadrouter.com/id/blog/llm-api-price-changes-october-2026/)
-   [Seberapa sering harga API LLM berubah? Arsip halaman harga 3 tahun](https://broadrouter.com/id/blog/how-often-llm-api-prices-change/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**Sumber**

-   [Petrov dkk., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, dicek 2026-11-16)](https://arxiv.org/abs/2305.15425)
-   [Ahia dkk., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707, dicek 2026-11-16)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers, algoritma tokenisasi (dicek 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI Help Center, apa itu token dan cara menghitungnya](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [Dataset efisiensi tokenizer BroadRouter, versi 4 (diukur 2026-11-15)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [Benchmark evaluasi FLORES-200 (Meta, CC BY-SA 4.0), kalimat paralel di balik rasio MSA (commit yang dipatok, dicek 2026-11-16)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [Referensi API BroadNet Inference, field usage (dicek 2026-11-16) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-tokens-per-word-arabic-english&utm_content=sources)
