BroadRouter
开始使用

分词器(tokenizer)

更新于

分词器是把文本转换成语言模型读取的整数 token ID 序列、并把生成的 ID 还原成文本的组件。每个模型都自带分词器,所以同一段文本在不同模型上可能产生不同数量的 token。

又称: Tokenizer、大模型分词器、子词分词器、词元化器、分词、tokenizer.json、LLM tokenizer、subword tokenizer、text tokenizer

分词器决定你的文本会变成多少个 token,也就决定了它占用多少上下文窗口、花掉多少钱。

工作原理

分词器由两部分组成:一个把文本片段映射到整数 ID 的固定词表,以及把文本切成这些片段的规则。Hugging Face 的文档把常见算法归为子词方法:高频词保持完整,罕见词拆成更小的已知片段,所以 “annoyingly” 可能变成 “annoying” + “ly”。目前大多数大模型使用字节对编码(BPE)或其变体。

编码分三步:

  1. 预分词。 按空格、标点和数字切分。
  2. 把片段映射为 ID。 应用学到的合并规则,并在词表中查找每个片段。
  3. 加入特殊 token。 对话模板会用角色标记包裹消息,这些标记也计入 token。

解码是第 2 步的逆过程。对开放权重模型来说,这一切都在模型仓库里的 tokenizer.json 文件中。

为什么重要

不同的分词器对同一段文本给出的数量不同。我们用每个模型固定版本的分词器,对数据集中的文本进行了编码(英文:维基百科和古腾堡计划的散文;阿拉伯语:2,009 个 FLORES-200 句子加三段维基百科导语;2026-11-15 测量;每 100 词 token 数 = token 数 / 词数 × 100):

文本 DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
英文散文,1,183 词 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
现代标准阿拉伯语,39,037 词 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

英文在各模型上都很接近,阿拉伯语则不然:同样的文本,GLM 5.3 需要的 token 是 Qwen3.8 27B 的 95,230 / 71,424 = 1.33 倍。在按 token 计价时,这个差距就是成本差距,也会改变上下文窗口能装下多少阿拉伯语。Gemma 一列使用的是 Google 的 Gemma 4 基础分词器;BroadNet 的构建基于该模型,我们假定它沿用了这个分词器。完整的各模型数据以及 CSV 和 JSON 下载,见分词器效率数据集。

在 BroadNet Inference 上

BroadNet 的按量付费聊天按输入 token 与输出 token 计费,并在每个响应的 usage 对象中报告数量,所以 API 返回的数字才是权威数字。发送前想要估算,可以把文本粘贴到 token 计数器或阿拉伯语 token 计数器,它们加载的是同样固定版本的分词器文件。完整的测量见阿拉伯语与英语的每词 token 数。

常见错误

  • 用一个模型的分词器计数,却按另一个模型计费。请使用你实际调用的模型的分词器。
  • 忘了对话模板。角色标记和系统提示词会增加 token,纯文本计数会漏掉它们。

常见问题

所有大模型都用同一个分词器吗?

不是。每个模型系列都训练自己的分词器,词表也各不相同。在我们的分词器数据集中,同样 39,037 个词的阿拉伯语,在 Qwen3.8 27B 上是 71,424 个 token,在 GLM 5.3 上是 95,230 个。

在哪里找到模型的分词器?

开放权重模型的分词器,就是其 Hugging Face 仓库里的 tokenizer.json 文件。用 Hugging Face 的 tokenizers 库加载它,就能精确计算 token 数。

分词器和分词是一回事吗?

分词(tokenization)是把文本切成 token 的过程。分词器(tokenizer)则是为某个特定模型执行这一过程的文件和代码。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity