BroadRouter

Số token mỗi từ: tiếng Ả Rập và tiếng Anh, vì sao tiếng Ả Rập đắt hơn

Đội ngũ BroadNet Inference · 6 phút đọc · Đăng ngày · Cập nhật

Không có một con số chung: nó tùy tokenizer của từng model. Trong bộ dữ liệu đo của BroadRouter, cùng một văn bản tiếng Ả Rập chuẩn hiện đại cần từ 1.31× (Qwen3.8 27B) đến 1.77× (GLM 5.3) số token của bản dịch tiếng Anh, và 1.000 từ văn xuôi tiếng Anh trung bình khoảng 1,290 token. Hãy đo tỷ lệ của bạn từ usage.prompt_tokens.

Nếu bạn xây sản phẩm tiếng Ả Rập trên API LLM, hóa đơn được tính bằng token, không phải từ. Và cùng một tin nhắn, viết bằng tiếng Ả Rập, thường thành nhiều token hơn bản dịch tiếng Anh. Điều đó ảnh hưởng tới chi phí, giới hạn context và độ trễ. Bài này giải thích vì sao, vì sao “số token mỗi từ” là con số gây hiểu lầm, và cách đo tỷ lệ thật cho nội dung của bạn trên model bạn dùng.

Tiếng Ả Rập cần nhiều hơn bao nhiêu token? Số liệu đo được

Chúng tôi đã đo bằng tokenizer thật của từng model trên văn bản song song (cùng nghĩa bằng tiếng Anh và tiếng Ả Rập). Bảng đầy đủ, khoảng tin cậy 95% và phương pháp có trong bộ dữ liệu hiệu suất tokenizer miễn phí (CSV và JSON, CC BY 4.0, phiên bản 4, đo ngày 2026-11-15):

Tokenizer Ả Rập ÷ Anh, chuẩn hiện đại (2,009 câu FLORES-200) Ả Rập ÷ Anh, phương ngữ vùng Vịnh (49 câu Tatoeba)
Qwen3.8 27B 1.31× 1.21×
GPT (o200k) 1.38× 1.32×
Gemma 4 VL 26B 1.47× 1.22×
DeepSeek V4.1 Flash 1.62× 1.44×
GLM 5.3 1.77× 1.57×

Văn xuôi tiếng Anh (Wikipedia và Project Gutenberg) khoảng 127 đến 132 token mỗi 100 từ trên năm tokenizer. Tỷ lệ tiếng Ả Rập chuẩn hiện đại lấy từ cùng 2,009 câu FLORES-200 ở cả hai ngôn ngữ (văn bản tin tức, du lịch và bách khoa trang trọng từ các bài Wikimedia tiếng Anh, được dịch chuyên nghiệp). FLORES-200 không có tiếng Ả Rập vùng Vịnh, nên cột vùng Vịnh dùng 49 cặp câu Tatoeba ngắn và kém chính xác hơn nhiều; trang bộ dữ liệu ghi khoảng tin cậy cho mọi con số. Không con số nào là lưu lượng của bạn, nên hãy dùng các tỷ lệ này để lập kế hoạch và đo nội dung của chính bạn trước khi lập ngân sách. Công cụ đếm token tiếng Ả Rập đếm văn bản bạn dán vào trên từng tokenizer, và công cụ đổi token sang từ quy đổi theo cả hai chiều.

Để đổi các tỷ lệ này thành tiền, bộ dữ liệu chi phí thực theo ngôn ngữ của chúng tôi tính giá 1 triệu ký tự của từng ngôn ngữ trên mọi model mà chúng tôi khớp được với một tokenizer đã đo, qua nhiều nhà cung cấp. Giá mỗi token rẻ hơn không phải lúc nào cũng có nghĩa hóa đơn tiếng Ả Rập rẻ hơn.

Tokenizer làm gì?

Trước khi model nhìn thấy văn bản, tokenizer tách nó thành các token lấy từ một bộ từ vựng cố định. Hầu hết tokenizer hiện đại dùng phương pháp subword như byte-pair encoding (BPE), WordPiece hoặc SentencePiece, được mô tả trong tổng quan về các tokenizer của Hugging Face. Chuỗi xuất hiện thường xuyên trong dữ liệu huấn luyện trở thành một token; chuỗi hiếm bị tách thành các mảnh nhỏ hơn, đến tận từng byte nếu cần.

Bộ từ vựng được học từ một kho dữ liệu huấn luyện. Ngôn ngữ nào chiếm ưu thế trong kho đó được mã hóa hiệu quả nhất. Mỗi dòng model có tokenizer riêng, nên các model DeepSeek, Qwen, GLM và Gemma có thể tách cùng một câu tiếng Ả Rập thành số token khá khác nhau.

Vì sao tiếng Ả Rập thường dùng nhiều token hơn?

1. Dữ liệu huấn luyện mất cân bằng

Nhiều tokenizer được huấn luyện trên văn bản mà tiếng Anh chiếm tỷ trọng rất lớn. Từ tiếng Anh phổ biến thành một token mỗi từ; nhiều từ tiếng Ả Rập phổ biến bị tách thành vài mảnh. Petrov và cộng sự (2023) đã đo điều này trên nhiều tokenizer và ngôn ngữ, và thấy khác biệt lớn về số token cần cho cùng một nội dung, với tiếng Anh thường thuộc nhóm rẻ nhất. Ahia và cộng sự (2023) đi đến kết luận tương tự với các API thương mại và lưu ý tác động trực tiếp tới số tiền người nói các ngôn ngữ khác nhau phải trả.

2. Hình thái học tiếng Ả Rập

Tiếng Ả Rập gắn liên từ, giới từ, mạo từ và đại từ trực tiếp vào từ. Một từ viết ra có thể mang nội dung mà tiếng Anh trải trên vài từ:

Tiếng Ả Rập Tiếng Anh tương đương
وسيكتبونها and they will write it
بالمدرسة in the school
فقلنا so we said

Tokenizer chưa thấy một tổ hợp cụ thể đủ nhiều thường tách nó thành các mảnh. Điều đó làm tăng số token mỗi từ, ngay cả khi số token mỗi ý nghĩa vẫn hợp lý.

3. Chi tiết chữ viết

Dấu phụ (tashkeel), tatweel (ký tự kéo dài), các dạng alef và hamza khác nhau, và chữ số Ả Rập-Ấn đều là ký tự thêm hoặc biến thể mà tokenizer phải mã hóa. Văn bản trộn tiếng Ả Rập và chữ Latin, và Arabizi (tiếng Ả Rập viết bằng chữ Latin kèm chữ số), cũng có thể bị tách theo cách khó lường. Xem LLM xử lý Arabizi ra sao.

Vì sao số token mỗi từ là thước đo sai?

Vì một từ tiếng Ả Rập thường bằng vài từ tiếng Anh, nên “tiếng Ả Rập dùng N token mỗi từ” và “tiếng Anh dùng M token mỗi từ” không so sánh được. Câu hỏi công bằng hơn là: cùng một nội dung cần bao nhiêu token ở mỗi ngôn ngữ? Hãy dùng văn bản song song, cùng một tin nhắn viết ở cả hai ngôn ngữ, và so tổng số token. Tỷ lệ đó mới là thứ làm thay đổi hóa đơn của bạn.

Quy tắc ước lượng hay được trích dẫn của OpenAI, khoảng bốn ký tự hoặc ba phần tư từ mỗi token, được đưa ra cho tiếng Anh trên tokenizer của chính OpenAI. Nó không áp dụng cho tiếng Ả Rập hay các dòng model khác, nên đừng dùng nó cho ngân sách tiếng Ả Rập.

Đo tỷ lệ của chính bạn như thế nào?

Trường usage là thước đo chuẩn: đó là con số bạn bị tính tiền. Script này gửi văn bản song song tới một model và đọc usage.prompt_tokens. Nó trừ đi một mức nền để phần overhead cố định của chat template không làm sai lệch văn bản ngắn. Script dùng Gemma 4 VL 26B, model chạy được bằng tín dụng ban đầu miễn phí và không suy luận; hãy thay bằng model bạn thực sự dùng.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")

Để có con số đáng tin:

  1. Dùng 50–200 cặp thật từ lĩnh vực của bạn: tin nhắn hỗ trợ, mô tả sản phẩm, hóa đơn. Câu demo ngắn cho kết quả nhiễu.
  2. Dùng phương ngữ người dùng của bạn viết. Văn bản vùng Vịnh, Ai Cập và Levant có thể được token hóa khác với tiếng Ả Rập chuẩn hiện đại.
  3. Chạy cho từng model. Tỷ lệ đo trên một model nói rất ít về model khác. Nếu bạn đang chọn giữa các model, hãy chạy cùng các cặp trên từng model; chọn LLM cho tiếng Ả Rập nói về chất lượng, điều quan trọng không kém số token.
  4. Đo cả output. Yêu cầu mỗi model trả lời bằng tiếng Ả Rập và tiếng Anh rồi so completion_tokens. Trên mọi model, output đắt hơn input tính theo token, nên tỷ lệ output có thể quan trọng hơn.

Nếu tokenizer của model được công bố (ví dụ trên Hugging Face), bạn cũng có thể đếm token offline bằng tokenizer đó. Trường usage của API vẫn là lời cuối cùng, vì nó bao gồm cả chat template mà server áp dụng.

Đọc kết quả

Khi đã có tỷ lệ cho từng model, thường gặp ba kiểu:

  • Gần 1. Tokenizer xử lý tốt tiếng Ả Rập của bạn. Với cùng nội dung, lưu lượng tiếng Ả Rập và tiếng Anh tốn gần như nhau.
  • Rõ ràng lớn hơn 1. Tiếng Ả Rập tốn hơn trên mỗi tin nhắn. Hãy tính vào dự báo và giới hạn context, và cân nhắc liệu có model khác xử lý tiếng Ả Rập của bạn hiệu quả hơn với chất lượng tương đương.
  • Rất khác nhau giữa các mẫu. Thường là dấu hiệu nội dung lẫn lộn: văn bản có dấu phụ, Arabizi, số, URL hay code trong tin nhắn tiếng Ả Rập. Hãy tách mẫu theo loại và đo riêng từng loại.

Giữ lại script và chạy lại khi bạn đổi model hoặc khi nhà cung cấp cập nhật phiên bản model, vì tokenizer mới làm thay đổi mọi con số.

Điều này có ý nghĩa gì với chi phí và context?

Chi phí tỷ lệ với token, nên tỷ lệ tiếng Ả Rập cao hơn làm hóa đơn phần lưu lượng tiếng Ả Rập tăng theo cùng hệ số. Theo giá của BroadNet, input tiếng Ả Rập trên Qwen3.8 27B có giá $0.175 mỗi 1 triệu token và output $2.17; trên Gemma 4 VL 26B là $0.10 và $0.22. Giá mỗi token như nhau ở mọi ngôn ngữ; chỉ số token thay đổi. Hãy đưa tỷ lệ bạn đo được vào phương pháp ước tính chi phí hằng tháng.

Giới hạn context cũng co lại theo cách đó. Gemma 4 VL 26B nhận 32.768 token mỗi request; một tài liệu tiếng Ả Rập dài sẽ lấp đầy giới hạn đó sớm hơn bản dịch tiếng Anh. DeepSeek V4.1 Flash và GLM 5.3 nhận 1.048.576.

Giảm số token tiếng Ả Rập như thế nào?

  • Chuẩn hóa nhất quán. Bỏ tatweel, và bỏ dấu phụ nếu tác vụ không cần. Áp dụng cùng cách chuẩn hóa cho mọi request để cache vẫn hoạt động.
  • Giữ chỉ dẫn ngắn gọn. System prompt dài bị gửi lại ở mỗi lượt; cách diễn đạt gọn tiết kiệm token ở cả hai ngôn ngữ.
  • Cache phần đầu ổn định. Trên các model có giá cache, system prompt và tài liệu lặp lại rẻ hơn nhiều. Cache hoạt động thế nào.
  • Yêu cầu câu trả lời ngắn gọn. “Trả lời trong hai câu” tiết kiệm hơn mọi mẹo tokenizer.

Với giọng nói tiếng Ả Rập thay vì văn bản, việc chép lời được tính giá theo phút âm thanh, không theo token, nên tokenization không ảnh hưởng tới phần đó của hóa đơn; xem trang chuyển giọng nói tiếng Ả Rập thành văn bản.

Câu hỏi thường gặp

Một từ tiếng Ả Rập là bao nhiêu token?

Tùy model. Trong bộ dữ liệu tokenizer của BroadRouter, tiếng Ả Rập chuẩn hiện đại tốn từ 183.0 (Qwen3.8 27B) đến 243.9 (GLM 5.3) token mỗi 100 từ trên năm tokenizer. Hãy so văn bản song song thay vì từng từ, và đo trên model bạn dùng.

1.000 từ tiếng Anh là bao nhiêu token?

Khoảng 1,269 đến 1,320 token văn xuôi tiếng Anh thông thường trên năm tokenizer trong bộ dữ liệu đo của BroadRouter (trung bình 1,290). Văn bản kỹ thuật, code và ngôn ngữ khác cần nhiều hơn, nên hãy đếm văn bản của chính bạn.

Bỏ dấu phụ có giảm token không?

Thường là có, vì dấu phụ là ký tự thêm mà tokenizer phải mã hóa. Chỉ bỏ khi tác vụ của bạn không cần chúng; với kinh Quran, thơ hay phát âm, chúng mang nghĩa.

Quy tắc 4 ký tự mỗi token có đúng với tiếng Ả Rập không?

Không. OpenAI đưa ra quy tắc ước lượng đó cho văn bản tiếng Anh trên tokenizer của họ. Nó không áp dụng cho tiếng Ả Rập hay tokenizer của model khác.

Token tiếng Ả Rập có đắt hơn trên mỗi token không?

Không. Một token có giá như nhau dù mã hóa ngôn ngữ nào. Tiếng Ả Rập chỉ đắt hơn khi cùng nội dung bị tách thành nhiều token hơn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity