---
title: "阿拉伯语与英语每词 token 数对比，以及测量方法 | BroadRouter"
description: "为什么同样的意思，阿拉伯语往往比英语消耗更多大模型 token；为什么“每词 token 数”有误导性；以及一个从 usage 字段测量你自己比例的脚本。"
url: https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/tokens-per-word-arabic-english/)（2026-11-16 更新）。

# 阿拉伯语与英语每词 token 数：为什么阿拉伯语更贵

BroadNet Inference 团队 · 阅读约 6 分钟 · 发布于 2026-11-14 · 更新于 2026-11-16

没有统一的数字：这取决于每个模型的分词器。在 BroadRouter 的实测数据集中，同一段现代标准阿拉伯语文本所需的 token 数是其英文译文的 1.31×（Qwen3.8 27B）到 1.77×（GLM 5.3），而 1,000 个英语单词的普通文章平均约为 1,290 token。请用 usage.prompt\_tokens 测量你自己的比例。

## 要点

-   每词 token 数是每个模型分词器的属性，而不只是语言本身的属性。
-   针对多种分词器的研究发现，同样的内容，阿拉伯语往往比英语消耗更多 token。
-   比较平行文本（两种语言表达同一个意思），而不是每词 token 数：一个阿拉伯语单词可能承载好几个英语单词的意思。
-   在你实际要用的模型上用 usage.prompt\_tokens 测量，并减去消息开销的基线。
-   变音符号、tatweel 和混合文字都会改变 token 数；要一致地规范化输入。

**本页内容**

1.  阿拉伯语要多用多少 token？实测数据
2.  分词器做什么？
3.  为什么阿拉伯语往往用更多 token？
4.  为什么每词 token 数是错误的指标？
5.  如何测量你自己的比例？
6.  这对成本和上下文意味着什么？
7.  如何减少阿拉伯语的 token 数？

如果你在大模型 API 上构建阿拉伯语产品，账单是按 token 计算的，而不是按词。同一条消息用阿拉伯语写，往往会比它的英文译文产生更多 token。这会影响成本、上下文限制和延迟。本文解释这种现象的原因，为什么“每词 token 数”是一个有误导性的数字，以及如何在你使用的模型上为自己的内容测出真实比例。

## 阿拉伯语要多用多少 token？实测数据

我们用每个模型的真实分词器，在平行文本（英语和阿拉伯语表达同一个意思）上做了测量。完整表格、95% 区间和方法见免费的[分词器效率数据集](https://broadrouter.com/data/tokenizer-efficiency/)（CSV 和 JSON，CC BY 4.0，第 4 版，2026-11-15 测量）：

| 分词器 | 阿拉伯语 ÷ 英语，现代标准阿拉伯语（2,009 个 FLORES-200 句子） | 阿拉伯语 ÷ 英语，海湾方言（49 个 Tatoeba 句子） |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

在这五种分词器下，英语文章（Wikipedia 和古腾堡计划）每 100 个词约为 127 到 132 token。现代标准阿拉伯语的比例来自两种语言中相同的 2,009 个 FLORES-200 句子（取自英文 Wikimedia 文章的正式新闻、旅游和百科文本，经专业翻译）。FLORES-200 没有海湾阿拉伯语，所以海湾方言一栏用的是 49 对简短的 Tatoeba 句子，精确度低得多；数据集页面为每个数字都给出了区间。这些都不是你的流量，所以请把这些比例用于规划，在做预算之前先测量你自己的内容。[阿拉伯语 token 计数器](https://broadrouter.com/tools/arabic-token-counter/)可以在每种分词器上统计粘贴的文本，[token 与词数换算](https://broadrouter.com/tools/tokens-to-words/)可以双向换算。

要把这些比例换算成钱，我们的[各语言真实成本数据集](https://broadrouter.com/data/real-cost-by-language/)为每种语言的 100 万字符计算价格，覆盖我们能对应到实测分词器的每个模型和各家服务商。每 token 价格更低，并不总是意味着阿拉伯语账单更低。

## 分词器做什么？

在模型看到文本之前，分词器会把文本切成来自固定词表的 token。大多数现代分词器使用子词方法，例如字节对编码（BPE）、WordPiece 或 SentencePiece，Hugging Face 的[分词器概述](https://huggingface.co/docs/transformers/tokenizer_summary)对此有介绍。训练数据中常见的字符串会成为单个 token；罕见的字符串会被拆成更小的片段，必要时一直拆到单个字节。

词表是从训练语料中学来的。哪种语言在语料中占主导，哪种语言就得到最高效的编码。每个模型系列都有自己的分词器，所以 DeepSeek、Qwen、GLM 和 Gemma 模型可能把同一个阿拉伯语句子切成数量相差很大的 token。

## 为什么阿拉伯语往往用更多 token？

### 1\. 训练数据不均衡

许多分词器的训练文本中英语占比严重偏高。常见的英语单词各自成为一个 token；许多常见的阿拉伯语单词却被拆成好几块。Petrov 等（2023）在多种分词器和语言上做了测量，发现同样的内容所需的 token 数差异很大，英语通常是最便宜的语言之一。Ahia 等（2023）对商业 API 得出了类似结论，并指出这直接影响到不同语言的使用者要付多少钱。

### 2\. 阿拉伯语的形态

阿拉伯语把连词、介词、冠词和代词直接附着在词上。一个书面单词可以承载英语要用好几个词表达的内容：

| 阿拉伯语 | 大致的英语 |
| --- | --- |
| وسيكتبونها | and they will write it（他们将会写它） |
| بالمدرسة | in the school（在学校里） |
| فقلنا | so we said（于是我们说） |

如果分词器没有足够频繁地见过某种组合，往往会把它拆成多块。这会提高**每词**的 token 数，即使**每个意思**所需的 token 数是合理的。

### 3\. 文字细节

变音符号（tashkeel）、tatweel（拉长字符）、alef 和 hamza 的不同写法，以及阿拉伯-印度数字，都是分词器必须编码的额外字符或变体。阿拉伯字母和拉丁字母混排的文本，以及 Arabizi（用拉丁字母加数字书写的阿拉伯语），也可能被切分得出人意料。参见[大模型如何处理 Arabizi](https://broadrouter.com/zh/blog/arabizi-llm-handling/)。

## 为什么每词 token 数是错误的指标？

因为一个阿拉伯语单词往往相当于好几个英语单词，“阿拉伯语每词 N 个 token”和“英语每词 M 个 token”没有可比性。更公平的问题是：\*\*同样的内容在每种语言中需要多少 token？\*\*使用平行文本，即用两种语言写的同一条消息，比较总 token 数。改变你账单的，正是这个比例。

OpenAI 那条常被引用的经验法则，即每个 token 约 4 个字符或四分之三个单词，针对的是 OpenAI 自家分词器上的英语。它不能套用到阿拉伯语或其他模型系列上，所以不要用它来做阿拉伯语预算。

## 如何测量你自己的比例？

usage 字段才是真实依据：你就是按它计费的。下面的脚本把平行文本发送给模型，读取 `usage.prompt_tokens`。它会减去一个基线，避免固定的对话模板开销扭曲短文本的结果。脚本使用 [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/)，它可以用免费的初始额度调用，而且不做思考；请换成你实际要用的模型。

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

要得到可信的数字：

1.  \*\*使用 50–200 对真实的平行文本，\*\*来自你自己的领域：客服消息、产品描述、发票。简短的演示句子噪声很大。
2.  \*\*使用用户实际书写的方言。\*\*海湾、埃及和黎凡特方言文本的分词结果可能与现代标准阿拉伯语不同。
3.  \*\*按模型分别运行。\*\*在一个模型上测出的比例，对另一个模型参考价值不大。如果你在几个模型之间挑选，就在每个模型上跑同样的文本对；[如何选择阿拉伯语大模型](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)讨论了质量，而质量和 token 数同样重要。
4.  \*\*也要测量输出。\*\*让每个模型分别用阿拉伯语和英语作答，比较 `completion_tokens`。在每个模型上，输出 token 都比输入贵，所以输出的比例可能更重要。

如果模型的分词器是公开的（例如在 Hugging Face 上），你也可以用该分词器离线统计 token。不过最终仍以 API 的 usage 字段为准，因为它包含了服务器套用的对话模板。

### 解读结果

拿到每个模型的比例后，常见的情况有三种：

-   \*\*接近 1。\*\*分词器对你的阿拉伯语处理得很好。同样的内容，阿拉伯语和英语流量的成本差不多。
-   \*\*明显大于 1。\*\*每条阿拉伯语消息更贵。在预测和上下文限制中为此留出余量，并考虑是否有另一个模型在质量相近的情况下更高效地处理你的阿拉伯语。
-   \*\*不同样本之间差异很大。\*\*这通常说明内容混杂：阿拉伯语消息中夹带了带变音符号的文本、Arabizi、数字、URL 或代码。按类型拆分样本，分别测量。

保留这个脚本，在更换模型或服务商更新模型版本时重新运行，因为新的分词器会改变所有计数。

## 这对成本和上下文意味着什么？

成本随 token 数增长，所以阿拉伯语比例越高，你流量中阿拉伯语部分的账单就按同样的倍数上涨。按 BroadNet 的价格，[Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) 的阿拉伯语输入为每百万 token $0.175，输出为 $2.17；Gemma 4 VL 26B 分别为 $0.10 和 $0.22。每 token 价格在任何语言中都一样；变化的只是 token 数。把你测出的比例代入[月度费用估算方法](https://broadrouter.com/zh/blog/estimate-llm-api-cost-before-launch/)。

上下文限制也会以同样的方式缩小。Gemma 4 VL 26B 每个请求接受 32,768 token；一份长的阿拉伯语文档会比它的英文译文更早填满上下文。DeepSeek V4.1 Flash 和 GLM 5.3 接受 1,048,576 token。

## 如何减少阿拉伯语的 token 数？

-   \*\*一致地规范化。\*\*去掉 tatweel；如果任务不需要变音符号，也把它们去掉。对每个请求套用同样的规范化，缓存才能继续生效。
-   \*\*指令要简短。\*\*长系统提示词每一轮都会重新发送；措辞紧凑在两种语言中都能节省 token。
-   \*\*缓存稳定的前缀。\*\*在有缓存价的模型上，重复的系统提示词和文档费用要低得多。[缓存的工作原理](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)。
-   **要求简洁的回答。**“用两句话回答”比任何分词技巧都省。

如果是阿拉伯语语音而不是文本，转写按音频分钟计价，而不是按 token，所以分词不会影响这部分账单；请看[阿拉伯语语音转文字页面](https://broadrouter.com/zh/blog/arabic-speech-to-text-api-buyers-guide/)。

相关免费工具（英文）

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[现代标准阿拉伯语（MSA）](https://broadrouter.com/zh/glossary/msa/)

现代标准阿拉伯语（MSA）是阿拉伯世界在书面、新闻、教育和正式讲话中使用的标准化阿拉伯语。它不是任何人日常使用的母语：人们平时说埃及阿拉伯语、海湾阿拉伯语等地区方言，在正式场合才切换到 MSA。

[阿拉伯语变音符号（tashkeel）](https://broadrouter.com/zh/glossary/arabic-diacritics/)

阿拉伯语变音符号（tashkeel）是写在字母上方或下方的小符号，用来标示短元音、辅音重叠和无元音。它们是可选的：包括新闻在内，大多数阿拉伯语文本都省略它们，读者和软件需要根据上下文推断元音。

[上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/)

上下文窗口是语言模型在单次请求中能处理的最大 token 数。它涵盖提示词、对话历史、工具定义、图片以及生成的输出（包括思考 token）。放不下的内容必须删减、摘要，或拆分到多个请求中。

[Arabizi（拉丁字母阿拉伯语）](https://broadrouter.com/zh/glossary/arabizi/)

Arabizi 是用拉丁字母非正式书写的阿拉伯语，没有拉丁对应的阿拉伯语音用数字表示，例如用 3 代表 ع。它在聊天和社交媒体中很常见，以方言为主，没有标准拼写，还经常夹杂英语或法语。

[阿拉伯语文本规范化（Arabic text normalization）](https://broadrouter.com/zh/glossary/arabic-text-normalization/)

阿拉伯语文本规范化是在匹配之前把同一个词的不同拼写统一成一种形式的步骤：去掉变音符号和 tatweel，统一 alef 的各种写法，通常还把 ى 映射为 ي、把 ة 映射为 ه。它用于搜索键和评测，不用于展示的文本。

[对话模板（chat template）](https://broadrouter.com/zh/glossary/chat-template/)

对话模板是一套格式规则，通常用 Jinja 编写并随模型的分词器一起发布，它把带角色的对话消息列表转换成模型期望的单一 token 序列，包括模型专用的控制 token。用错模板会让模型的回答质量大幅下降。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

## 常见问题

### 一个阿拉伯语单词是多少 token？

取决于模型。在 BroadRouter 的分词器数据集中，五种分词器下现代标准阿拉伯语每 100 个词需要 183.0（Qwen3.8 27B）到 243.9（GLM 5.3）个 token。比较平行文本而不是单个词，并在你使用的模型上测量。

### 1,000 个英语单词是多少 token？

在 BroadRouter 实测数据集的五种分词器中，普通英语文章约为 1,269 到 1,320 token（平均 1,290）。技术文本、代码和其他语言需要更多，所以请统计你自己的文本。

### 去掉变音符号能减少 token 吗？

通常能，因为变音符号是分词器必须编码的额外字符。只有在任务不需要时才去掉；对于《古兰经》、诗歌或发音，它们承载着含义。

### “每 token 约 4 个字符”的经验法则适用于阿拉伯语吗？

不适用。OpenAI 给出的这条经验法则针对的是其自家分词器上的英语文本，不能套用到阿拉伯语或其他模型的分词器上。

### 阿拉伯语的每个 token 更贵吗？

不。无论编码的是哪种语言，每个 token 的价格都一样。只有当同样的内容被切成更多 token 时，阿拉伯语才会更贵。

## 继续阅读

-   [如何选择阿拉伯语大模型 API：该测试什么](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)
-   [大模型 API 怎么计费：输入、缓存、输出与思考 token 详解](https://broadrouter.com/zh/blog/llm-api-pricing-explained/)
-   [阿拉伯语提示词工程：语体、RTL、数字与中英混排](https://broadrouter.com/zh/blog/arabic-prompt-engineering/)
-   [Arabizi 与大模型：处理用 3、7 等数字书写的拉丁化阿拉伯语](https://broadrouter.com/zh/blog/arabizi-llm-handling/)
-   [用大模型给阿拉伯语加注音符号：提示词、校验与 DER](https://broadrouter.com/zh/blog/arabic-diacritization-llm/)
-   [2026 年 10 月大模型 API 价格变动：3 次涨价，没有降价](https://broadrouter.com/zh/blog/llm-api-price-changes-october-2026/)
-   [大模型 API 价格多久变一次？三年存档价格页数据](https://broadrouter.com/zh/blog/how-often-llm-api-prices-change/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**来源**

-   [Petrov 等，Language Model Tokenizers Introduce Unfairness Between Languages（arXiv 2305.15425，2026-11-16 查阅）](https://arxiv.org/abs/2305.15425)
-   [Ahia 等，Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models（arXiv 2305.13707，2026-11-16 查阅）](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers，分词算法（2026-11-16 查阅）](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI 帮助中心，什么是 token 以及如何计数](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [BroadRouter 分词器效率数据集，第 4 版（2026-11-15 测量）](https://broadrouter.com/data/tokenizer-efficiency/)
-   [FLORES-200 评测基准（Meta，CC BY-SA 4.0），MSA 比例所用的平行句子（固定提交版本，2026-11-16 查阅）](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [BroadNet Inference API 参考，usage 字段（2026-11-16 查阅）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-tokens-per-word-arabic-english&utm_content=sources)
