分词器决定你的文本会变成多少个 token,也就决定了它占用多少上下文窗口、花掉多少钱。
工作原理
分词器由两部分组成:一个把文本片段映射到整数 ID 的固定词表,以及把文本切成这些片段的规则。Hugging Face 的文档把常见算法归为子词方法:高频词保持完整,罕见词拆成更小的已知片段,所以 “annoyingly” 可能变成 “annoying” + “ly”。目前大多数大模型使用字节对编码(BPE)或其变体。
编码分三步:
- 预分词。 按空格、标点和数字切分。
- 把片段映射为 ID。 应用学到的合并规则,并在词表中查找每个片段。
- 加入特殊 token。 对话模板会用角色标记包裹消息,这些标记也计入 token。
解码是第 2 步的逆过程。对开放权重模型来说,这一切都在模型仓库里的 tokenizer.json 文件中。
为什么重要
不同的分词器对同一段文本给出的数量不同。我们用每个模型固定版本的分词器,对数据集中的文本进行了编码(英文:维基百科和古腾堡计划的散文;阿拉伯语:2,009 个 FLORES-200 句子加三段维基百科导语;2026-11-15 测量;每 100 词 token 数 = token 数 / 词数 × 100):
| 文本 | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| 英文散文,1,183 词 | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| 现代标准阿拉伯语,39,037 词 | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
英文在各模型上都很接近,阿拉伯语则不然:同样的文本,GLM 5.3 需要的 token 是 Qwen3.8 27B 的 95,230 / 71,424 = 1.33 倍。在按 token 计价时,这个差距就是成本差距,也会改变上下文窗口能装下多少阿拉伯语。Gemma 一列使用的是 Google 的 Gemma 4 基础分词器;BroadNet 的构建基于该模型,我们假定它沿用了这个分词器。完整的各模型数据以及 CSV 和 JSON 下载,见分词器效率数据集。
在 BroadNet Inference 上
BroadNet 的按量付费聊天按输入 token 与输出 token 计费,并在每个响应的 usage 对象中报告数量,所以 API 返回的数字才是权威数字。发送前想要估算,可以把文本粘贴到 token 计数器或阿拉伯语 token 计数器,它们加载的是同样固定版本的分词器文件。完整的测量见阿拉伯语与英语的每词 token 数。
常见错误
- 用一个模型的分词器计数,却按另一个模型计费。请使用你实际调用的模型的分词器。
- 忘了对话模板。角色标记和系统提示词会增加 token,纯文本计数会漏掉它们。