BroadRouter

Token per kata bahasa Arab vs Inggris: mengapa bahasa Arab lebih mahal

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan · Diperbarui

Tidak ada satu angka: semuanya bergantung pada tokenizer setiap model. Dalam dataset terukur BroadRouter, teks bahasa Arab Standar Modern yang sama membutuhkan 1.31× (Qwen3.8 27B) sampai 1.77× (GLM 5.3) jumlah token terjemahan bahasa Inggrisnya, dan 1.000 kata prosa bahasa Inggris rata-rata sekitar 1,290 token. Ukur rasio Anda sendiri dari usage.prompt_tokens.

Jika Anda membangun produk berbahasa Arab di atas API LLM, tagihan Anda dihitung dalam token, bukan kata. Dan pesan yang sama, jika ditulis dalam bahasa Arab, sering menjadi lebih banyak token daripada terjemahan bahasa Inggrisnya. Ini memengaruhi biaya, batas konteks, dan latensi. Artikel ini menjelaskan mengapa itu terjadi, mengapa “token per kata” adalah angka yang menyesatkan, dan cara mengukur rasio sebenarnya untuk konten Anda sendiri pada model yang Anda pakai.

Berapa banyak token tambahan yang dibutuhkan bahasa Arab? Angka terukur

Kami mengukurnya dengan tokenizer asli setiap model pada teks paralel (makna yang sama dalam bahasa Inggris dan Arab). Tabel lengkap, interval 95%, dan metodenya ada di dataset efisiensi tokenizer yang gratis (CSV dan JSON, CC BY 4.0, versi 4, diukur 2026-11-15):

Tokenizer Arab ÷ Inggris, Standar Modern (2,009 kalimat FLORES-200) Arab ÷ Inggris, dialek Teluk (49 kalimat Tatoeba)
Qwen3.8 27B 1.31× 1.21×
GPT (o200k) 1.38× 1.32×
Gemma 4 VL 26B 1.47× 1.22×
DeepSeek V4.1 Flash 1.62× 1.44×
GLM 5.3 1.77× 1.57×

Prosa bahasa Inggris (Wikipedia dan Project Gutenberg) sekitar 127 sampai 132 token per 100 kata di kelima tokenizer. Rasio bahasa Arab Standar Modern berasal dari 2,009 kalimat FLORES-200 yang sama dalam kedua bahasa (teks berita, perjalanan, dan ensiklopedia formal dari artikel Wikimedia berbahasa Inggris, diterjemahkan secara profesional). FLORES-200 tidak punya bahasa Arab Teluk, jadi kolom Teluk memakai 49 pasangan kalimat pendek Tatoeba dan jauh kurang presisi; halaman dataset memberikan interval untuk setiap angka. Tidak satu pun dari ini adalah trafik Anda, jadi pakai rasionya untuk perencanaan dan ukur konten Anda sendiri sebelum menyusun anggaran. Penghitung token bahasa Arab menghitung teks yang ditempel di setiap tokenizer, dan konversi token ke kata mengonversi ke dua arah.

Untuk mengubah rasio ini menjadi uang, dataset biaya nyata per bahasa kami menghitung harga 1 juta karakter setiap bahasa di setiap model yang bisa kami cocokkan dengan tokenizer terukur, di berbagai penyedia. Harga per token yang lebih murah tidak selalu berarti tagihan bahasa Arab yang lebih murah.

Apa yang dilakukan tokenizer?

Sebelum model melihat teks, tokenizer memecahnya menjadi token dari kosakata tetap. Sebagian besar tokenizer modern memakai metode subword seperti byte-pair encoding (BPE), WordPiece, atau SentencePiece, yang dijelaskan dalam ringkasan tokenizer Hugging Face. String yang sering muncul di data latih menjadi satu token; string yang jarang dipecah menjadi potongan yang lebih kecil, bahkan sampai byte tunggal jika perlu.

Kosakata itu dipelajari dari korpus latih. Bahasa apa pun yang mendominasi korpus itu mendapat encoding paling efisien. Setiap keluarga model punya tokenizer sendiri, jadi model DeepSeek, Qwen, GLM, dan Gemma bisa memecah kalimat Arab yang sama menjadi jumlah token yang cukup berbeda.

Mengapa bahasa Arab sering memakai lebih banyak token?

1. Ketimpangan data latih

Banyak tokenizer dilatih dengan teks yang porsi bahasa Inggrisnya sangat berlebih. Kata bahasa Inggris yang umum masing-masing menjadi satu token; banyak kata bahasa Arab yang umum dipecah menjadi beberapa potongan. Petrov dkk. (2023) mengukur hal ini di banyak tokenizer dan bahasa dan menemukan perbedaan besar dalam jumlah token yang dibutuhkan konten yang sama, dengan bahasa Inggris biasanya termasuk yang paling murah. Ahia dkk. (2023) sampai pada kesimpulan serupa untuk API komersial dan mencatat dampak langsungnya pada biaya yang dibayar penutur bahasa yang berbeda.

2. Morfologi bahasa Arab

Bahasa Arab melekatkan konjungsi, preposisi, kata sandang, dan kata ganti langsung pada kata. Satu kata tertulis bisa membawa apa yang dalam bahasa Inggris tersebar di beberapa kata:

Bahasa Arab Kira-kira dalam bahasa Inggris
وسيكتبونها and they will write it
بالمدرسة in the school
فقلنا so we said

Tokenizer yang belum cukup sering melihat kombinasi tertentu akan memecahnya. Itu menaikkan token per kata, bahkan ketika token per makna masih wajar.

3. Detail aksara

Harakat (tasykil), tatwil (karakter pemanjang), berbagai bentuk alif dan hamzah, serta angka Arab-Indik semuanya karakter atau varian tambahan yang harus di-encode tokenizer. Teks campuran Arab dan Latin, serta Arabizi (bahasa Arab yang ditulis dengan huruf Latin dan angka), juga bisa terpecah dengan cara tak terduga. Lihat cara LLM menangani Arabizi.

Mengapa token per kata adalah metrik yang keliru?

Karena satu kata Arab sering setara dengan beberapa kata Inggris, “bahasa Arab memakai N token per kata” dan “bahasa Inggris memakai M token per kata” tidak bisa dibandingkan. Pertanyaan yang lebih adil adalah: berapa token yang dibutuhkan konten yang sama dalam setiap bahasa? Pakai teks paralel, yaitu pesan yang sama yang ditulis dalam kedua bahasa, lalu bandingkan total tokennya. Rasio itulah yang mengubah tagihan Anda.

Patokan kasar OpenAI yang sering dikutip, sekitar empat karakter atau tiga perempat kata per token, diberikan untuk bahasa Inggris pada tokenizer milik OpenAI sendiri. Patokan itu tidak berlaku untuk bahasa Arab atau keluarga model lain, jadi jangan dipakai untuk anggaran bahasa Arab.

Bagaimana mengukur rasio Anda sendiri?

Field usage adalah sumber kebenarannya: itulah dasar penagihan Anda. Skrip ini mengirim teks paralel ke model dan membaca usage.prompt_tokens. Skrip ini mengurangi baseline agar overhead template chat yang tetap tidak mendistorsi teks pendek. Skrip memakai Gemma 4 VL 26B, yang bisa dipakai dengan kredit awal gratis dan tidak melakukan penalaran; ganti dengan model yang benar-benar akan Anda pakai.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")

Agar mendapat angka yang bisa dipercaya:

  1. Pakai 50–200 pasangan nyata dari domain Anda sendiri: pesan support, deskripsi produk, faktur. Kalimat demo yang pendek hasilnya bising.
  2. Pakai dialek yang ditulis pengguna Anda. Teks Teluk, Mesir, dan Levant bisa ter-tokenisasi berbeda dari bahasa Arab Standar Modern.
  3. Jalankan per model. Rasio yang diukur di satu model hanya sedikit memberi tahu tentang model lain. Jika Anda sedang memilih di antara beberapa model, jalankan pasangan yang sama di setiap model; memilih LLM untuk bahasa Arab membahas kualitas, yang sama pentingnya dengan jumlah token.
  4. Ukur output juga. Minta setiap model menjawab dalam bahasa Arab dan bahasa Inggris, lalu bandingkan completion_tokens. Di setiap model, output lebih mahal per token daripada input, jadi rasio output bisa lebih penting.

Jika tokenizer model dipublikasikan (misalnya di Hugging Face), Anda juga bisa menghitung token secara offline dengan tokenizer itu. Field usage API tetap menjadi penentu akhir, karena mencakup template chat yang diterapkan server.

Membaca hasilnya

Setelah Anda punya rasio untuk setiap model, ada tiga pola yang umum:

  • Mendekati 1. Tokenizer menangani bahasa Arab Anda dengan baik. Trafik bahasa Arab dan Inggris berbiaya kurang lebih sama untuk konten yang sama.
  • Jelas di atas 1. Bahasa Arab lebih mahal per pesan. Perhitungkan ini dalam proyeksi dan batas konteks, dan pertimbangkan apakah model lain menangani bahasa Arab Anda lebih efisien dengan kualitas yang mirip.
  • Sangat berbeda antarsampel. Biasanya tanda konten campuran: teks berharakat, Arabizi, angka, URL, atau kode di dalam pesan berbahasa Arab. Pisahkan sampel Anda per jenis dan ukur masing-masing secara terpisah.

Simpan skripnya dan jalankan ulang saat Anda berganti model atau saat penyedia memperbarui versi model, karena tokenizer baru mengubah setiap hitungan.

Apa artinya untuk biaya dan konteks?

Biaya naik sebanding dengan token, jadi rasio bahasa Arab yang lebih tinggi menaikkan tagihan dengan faktor yang sama untuk bagian bahasa Arab dari trafik Anda. Dengan harga BroadNet, input bahasa Arab di Qwen3.8 27B berharga $0.175 per 1 juta token dan output $2.17; di Gemma 4 VL 26B, $0.10 dan $0.22. Harga per token sama dalam bahasa apa pun; hanya jumlah tokennya yang berubah. Masukkan rasio terukur Anda ke metode biaya bulanan.

Batas konteks menyempit dengan cara yang sama. Gemma 4 VL 26B menerima 32.768 token per permintaan; dokumen bahasa Arab yang panjang akan mengisinya lebih cepat daripada terjemahan bahasa Inggrisnya. DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576.

Bagaimana mengurangi jumlah token bahasa Arab?

  • Normalisasi secara konsisten. Hapus tatwil, dan hapus harakat jika tugas Anda tidak membutuhkannya. Terapkan normalisasi yang sama pada setiap permintaan agar caching tetap berfungsi.
  • Jaga instruksi tetap singkat. System prompt yang panjang dikirim ulang di setiap giliran; kalimat yang ringkas menghemat token dalam kedua bahasa.
  • Cache prefiks yang stabil. Di model dengan tarif cache, system prompt dan dokumen yang berulang jauh lebih murah. Cara kerja caching.
  • Minta jawaban yang ringkas. “Jawab dalam dua kalimat” menghemat lebih banyak daripada trik tokenizer apa pun.

Untuk ucapan bahasa Arab, bukan teks, transkripsi dihargai per menit audio, bukan per token, jadi tokenisasi tidak memengaruhi bagian tagihan itu; lihat halaman speech-to-text bahasa Arab.

Pertanyaan umum

Satu kata bahasa Arab berapa token?

Tergantung modelnya. Dalam dataset tokenizer BroadRouter, bahasa Arab Standar Modern memakan 183.0 (Qwen3.8 27B) sampai 243.9 (GLM 5.3) token per 100 kata di lima tokenizer. Bandingkan teks paralel, bukan kata tunggal, dan ukur pada model yang Anda pakai.

1.000 kata bahasa Inggris berapa token?

Sekitar 1,269 sampai 1,320 token untuk prosa bahasa Inggris biasa di lima tokenizer dalam dataset terukur BroadRouter (rata-rata 1,290). Teks teknis, kode, dan bahasa lain membutuhkan lebih banyak, jadi hitung teks Anda sendiri.

Apakah menghapus harakat mengurangi token?

Biasanya ya, karena harakat adalah karakter tambahan yang harus di-encode tokenizer. Hapus hanya jika tugas Anda tidak membutuhkannya; untuk Al-Qur'an, puisi, atau pelafalan, harakat membawa makna.

Apakah aturan 4 karakter per token berlaku untuk bahasa Arab?

Tidak. OpenAI memberikan patokan kasar itu untuk teks bahasa Inggris pada tokenizer miliknya sendiri. Aturan itu tidak berlaku untuk bahasa Arab atau untuk tokenizer model lain.

Apakah token bahasa Arab lebih mahal per token?

Tidak. Satu token berharga sama apa pun bahasa yang di-encode-nya. Bahasa Arab lebih mahal hanya ketika konten yang sama terpecah menjadi lebih banyak token.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity