BroadRouter

阿拉伯语与英语每词 token 数:为什么阿拉伯语更贵

BroadNet Inference 团队 · 阅读约 6 分钟 · 发布于 · 更新于

没有统一的数字:这取决于每个模型的分词器。在 BroadRouter 的实测数据集中,同一段现代标准阿拉伯语文本所需的 token 数是其英文译文的 1.31×(Qwen3.8 27B)到 1.77×(GLM 5.3),而 1,000 个英语单词的普通文章平均约为 1,290 token。请用 usage.prompt_tokens 测量你自己的比例。

如果你在大模型 API 上构建阿拉伯语产品,账单是按 token 计算的,而不是按词。同一条消息用阿拉伯语写,往往会比它的英文译文产生更多 token。这会影响成本、上下文限制和延迟。本文解释这种现象的原因,为什么“每词 token 数”是一个有误导性的数字,以及如何在你使用的模型上为自己的内容测出真实比例。

阿拉伯语要多用多少 token?实测数据

我们用每个模型的真实分词器,在平行文本(英语和阿拉伯语表达同一个意思)上做了测量。完整表格、95% 区间和方法见免费的分词器效率数据集(CSV 和 JSON,CC BY 4.0,第 4 版,2026-11-15 测量):

分词器 阿拉伯语 ÷ 英语,现代标准阿拉伯语(2,009 个 FLORES-200 句子) 阿拉伯语 ÷ 英语,海湾方言(49 个 Tatoeba 句子)
Qwen3.8 27B 1.31× 1.21×
GPT (o200k) 1.38× 1.32×
Gemma 4 VL 26B 1.47× 1.22×
DeepSeek V4.1 Flash 1.62× 1.44×
GLM 5.3 1.77× 1.57×

在这五种分词器下,英语文章(Wikipedia 和古腾堡计划)每 100 个词约为 127 到 132 token。现代标准阿拉伯语的比例来自两种语言中相同的 2,009 个 FLORES-200 句子(取自英文 Wikimedia 文章的正式新闻、旅游和百科文本,经专业翻译)。FLORES-200 没有海湾阿拉伯语,所以海湾方言一栏用的是 49 对简短的 Tatoeba 句子,精确度低得多;数据集页面为每个数字都给出了区间。这些都不是你的流量,所以请把这些比例用于规划,在做预算之前先测量你自己的内容。阿拉伯语 token 计数器可以在每种分词器上统计粘贴的文本,token 与词数换算可以双向换算。

要把这些比例换算成钱,我们的各语言真实成本数据集为每种语言的 100 万字符计算价格,覆盖我们能对应到实测分词器的每个模型和各家服务商。每 token 价格更低,并不总是意味着阿拉伯语账单更低。

分词器做什么?

在模型看到文本之前,分词器会把文本切成来自固定词表的 token。大多数现代分词器使用子词方法,例如字节对编码(BPE)、WordPiece 或 SentencePiece,Hugging Face 的分词器概述对此有介绍。训练数据中常见的字符串会成为单个 token;罕见的字符串会被拆成更小的片段,必要时一直拆到单个字节。

词表是从训练语料中学来的。哪种语言在语料中占主导,哪种语言就得到最高效的编码。每个模型系列都有自己的分词器,所以 DeepSeek、Qwen、GLM 和 Gemma 模型可能把同一个阿拉伯语句子切成数量相差很大的 token。

为什么阿拉伯语往往用更多 token?

1. 训练数据不均衡

许多分词器的训练文本中英语占比严重偏高。常见的英语单词各自成为一个 token;许多常见的阿拉伯语单词却被拆成好几块。Petrov 等(2023)在多种分词器和语言上做了测量,发现同样的内容所需的 token 数差异很大,英语通常是最便宜的语言之一。Ahia 等(2023)对商业 API 得出了类似结论,并指出这直接影响到不同语言的使用者要付多少钱。

2. 阿拉伯语的形态

阿拉伯语把连词、介词、冠词和代词直接附着在词上。一个书面单词可以承载英语要用好几个词表达的内容:

阿拉伯语 大致的英语
وسيكتبونها and they will write it(他们将会写它)
بالمدرسة in the school(在学校里)
فقلنا so we said(于是我们说)

如果分词器没有足够频繁地见过某种组合,往往会把它拆成多块。这会提高每词的 token 数,即使每个意思所需的 token 数是合理的。

3. 文字细节

变音符号(tashkeel)、tatweel(拉长字符)、alef 和 hamza 的不同写法,以及阿拉伯-印度数字,都是分词器必须编码的额外字符或变体。阿拉伯字母和拉丁字母混排的文本,以及 Arabizi(用拉丁字母加数字书写的阿拉伯语),也可能被切分得出人意料。参见大模型如何处理 Arabizi。

为什么每词 token 数是错误的指标?

因为一个阿拉伯语单词往往相当于好几个英语单词,“阿拉伯语每词 N 个 token”和“英语每词 M 个 token”没有可比性。更公平的问题是:**同样的内容在每种语言中需要多少 token?**使用平行文本,即用两种语言写的同一条消息,比较总 token 数。改变你账单的,正是这个比例。

OpenAI 那条常被引用的经验法则,即每个 token 约 4 个字符或四分之三个单词,针对的是 OpenAI 自家分词器上的英语。它不能套用到阿拉伯语或其他模型系列上,所以不要用它来做阿拉伯语预算。

如何测量你自己的比例?

usage 字段才是真实依据:你就是按它计费的。下面的脚本把平行文本发送给模型,读取 usage.prompt_tokens。它会减去一个基线,避免固定的对话模板开销扭曲短文本的结果。脚本使用 Gemma 4 VL 26B,它可以用免费的初始额度调用,而且不做思考;请换成你实际要用的模型。

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")

要得到可信的数字:

  1. **使用 50–200 对真实的平行文本,**来自你自己的领域:客服消息、产品描述、发票。简短的演示句子噪声很大。
  2. **使用用户实际书写的方言。**海湾、埃及和黎凡特方言文本的分词结果可能与现代标准阿拉伯语不同。
  3. **按模型分别运行。**在一个模型上测出的比例,对另一个模型参考价值不大。如果你在几个模型之间挑选,就在每个模型上跑同样的文本对;如何选择阿拉伯语大模型讨论了质量,而质量和 token 数同样重要。
  4. **也要测量输出。**让每个模型分别用阿拉伯语和英语作答,比较 completion_tokens。在每个模型上,输出 token 都比输入贵,所以输出的比例可能更重要。

如果模型的分词器是公开的(例如在 Hugging Face 上),你也可以用该分词器离线统计 token。不过最终仍以 API 的 usage 字段为准,因为它包含了服务器套用的对话模板。

解读结果

拿到每个模型的比例后,常见的情况有三种:

  • **接近 1。**分词器对你的阿拉伯语处理得很好。同样的内容,阿拉伯语和英语流量的成本差不多。
  • **明显大于 1。**每条阿拉伯语消息更贵。在预测和上下文限制中为此留出余量,并考虑是否有另一个模型在质量相近的情况下更高效地处理你的阿拉伯语。
  • **不同样本之间差异很大。**这通常说明内容混杂:阿拉伯语消息中夹带了带变音符号的文本、Arabizi、数字、URL 或代码。按类型拆分样本,分别测量。

保留这个脚本,在更换模型或服务商更新模型版本时重新运行,因为新的分词器会改变所有计数。

这对成本和上下文意味着什么?

成本随 token 数增长,所以阿拉伯语比例越高,你流量中阿拉伯语部分的账单就按同样的倍数上涨。按 BroadNet 的价格,Qwen3.8 27B 的阿拉伯语输入为每百万 token $0.175,输出为 $2.17;Gemma 4 VL 26B 分别为 $0.10 和 $0.22。每 token 价格在任何语言中都一样;变化的只是 token 数。把你测出的比例代入月度费用估算方法。

上下文限制也会以同样的方式缩小。Gemma 4 VL 26B 每个请求接受 32,768 token;一份长的阿拉伯语文档会比它的英文译文更早填满上下文。DeepSeek V4.1 Flash 和 GLM 5.3 接受 1,048,576 token。

如何减少阿拉伯语的 token 数?

  • **一致地规范化。**去掉 tatweel;如果任务不需要变音符号,也把它们去掉。对每个请求套用同样的规范化,缓存才能继续生效。
  • **指令要简短。**长系统提示词每一轮都会重新发送;措辞紧凑在两种语言中都能节省 token。
  • **缓存稳定的前缀。**在有缓存价的模型上,重复的系统提示词和文档费用要低得多。缓存的工作原理。
  • 要求简洁的回答。“用两句话回答”比任何分词技巧都省。

如果是阿拉伯语语音而不是文本,转写按音频分钟计价,而不是按 token,所以分词不会影响这部分账单;请看阿拉伯语语音转文字页面。

常见问题

一个阿拉伯语单词是多少 token?

取决于模型。在 BroadRouter 的分词器数据集中,五种分词器下现代标准阿拉伯语每 100 个词需要 183.0(Qwen3.8 27B)到 243.9(GLM 5.3)个 token。比较平行文本而不是单个词,并在你使用的模型上测量。

1,000 个英语单词是多少 token?

在 BroadRouter 实测数据集的五种分词器中,普通英语文章约为 1,269 到 1,320 token(平均 1,290)。技术文本、代码和其他语言需要更多,所以请统计你自己的文本。

去掉变音符号能减少 token 吗?

通常能,因为变音符号是分词器必须编码的额外字符。只有在任务不需要时才去掉;对于《古兰经》、诗歌或发音,它们承载着含义。

“每 token 约 4 个字符”的经验法则适用于阿拉伯语吗?

不适用。OpenAI 给出的这条经验法则针对的是其自家分词器上的英语文本,不能套用到阿拉伯语或其他模型的分词器上。

阿拉伯语的每个 token 更贵吗?

不。无论编码的是哪种语言,每个 token 的价格都一样。只有当同样的内容被切成更多 token 时,阿拉伯语才会更贵。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity