---
title: "什么是分词器（Tokenizer）？大模型如何把文本切成 token | BroadRouter"
description: "分词器把文本转成大模型读取的 token ID。本文讲它的工作原理，以及为什么同一段文本在不同模型上的 token 数不同，并附阿拉伯语实测数据。"
url: https://broadrouter.com/zh/glossary/tokenizer/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/tokenizer/) (2026-11-16 更新).

# 分词器（tokenizer）

更新于 2026-11-16

分词器是把文本转换成语言模型读取的整数 token ID 序列、并把生成的 ID 还原成文本的组件。每个模型都自带分词器，所以同一段文本在不同模型上可能产生不同数量的 token。

又称： Tokenizer、大模型分词器、子词分词器、词元化器、分词、tokenizer.json、LLM tokenizer、subword tokenizer、text tokenizer

分词器决定你的文本会变成多少个 [token](https://broadrouter.com/zh/glossary/token/)，也就决定了它占用多少上下文窗口、花掉多少钱。

## 工作原理

分词器由两部分组成：一个把文本片段映射到整数 ID 的固定词表，以及把文本切成这些片段的规则。Hugging Face 的文档把常见算法归为子词方法：高频词保持完整，罕见词拆成更小的已知片段，所以 “annoyingly” 可能变成 “annoying” + “ly”。目前大多数大模型使用[字节对编码（BPE）](https://broadrouter.com/zh/glossary/bpe/)或其变体。

编码分三步：

1.  **预分词。** 按空格、标点和数字切分。
2.  **把片段映射为 ID。** 应用学到的合并规则，并在词表中查找每个片段。
3.  **加入特殊 token。** 对话模板会用角色标记包裹消息，这些标记也计入 token。

解码是第 2 步的逆过程。对开放权重模型来说，这一切都在模型仓库里的 `tokenizer.json` 文件中。

## 为什么重要

不同的分词器对同一段文本给出的数量不同。我们用每个模型固定版本的分词器，对数据集中的文本进行了编码（英文：维基百科和古腾堡计划的散文；阿拉伯语：2,009 个 FLORES-200 句子加三段维基百科导语；2026-11-15 测量；每 100 词 token 数 = token 数 / 词数 × 100）：

| 文本 | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| 英文散文，1,183 词 | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| 现代标准阿拉伯语，39,037 词 | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

英文在各模型上都很接近，阿拉伯语则不然：同样的文本，GLM 5.3 需要的 token 是 Qwen3.8 27B 的 95,230 / 71,424 = 1.33 倍。在按 token 计价时，这个差距就是成本差距，也会改变[上下文窗口](https://broadrouter.com/zh/glossary/context-window/)能装下多少阿拉伯语。Gemma 一列使用的是 Google 的 Gemma 4 基础分词器；BroadNet 的构建基于该模型，我们假定它沿用了这个分词器。完整的各模型数据以及 CSV 和 JSON 下载，见[分词器效率数据集](https://broadrouter.com/data/tokenizer-efficiency/)。

## 在 BroadNet Inference 上

BroadNet 的按量付费聊天按[输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/) 计费，并在每个响应的 `usage` 对象中报告数量，所以 API 返回的数字才是权威数字。发送前想要估算，可以把文本粘贴到 [token 计数器](https://broadrouter.com/tools/token-counter/)或[阿拉伯语 token 计数器](https://broadrouter.com/tools/arabic-token-counter/)，它们加载的是同样固定版本的分词器文件。完整的测量见[阿拉伯语与英语的每词 token 数](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/)。

## 常见错误

-   用一个模型的分词器计数，却按另一个模型计费。请使用你实际调用的模型的分词器。
-   忘了对话模板。角色标记和系统提示词会增加 token，纯文本计数会漏掉它们。

## 常见问题

### 所有大模型都用同一个分词器吗？

不是。每个模型系列都训练自己的分词器，词表也各不相同。在我们的分词器数据集中，同样 39,037 个词的阿拉伯语，在 Qwen3.8 27B 上是 71,424 个 token，在 GLM 5.3 上是 95,230 个。

### 在哪里找到模型的分词器？

开放权重模型的分词器，就是其 Hugging Face 仓库里的 tokenizer.json 文件。用 Hugging Face 的 tokenizers 库加载它，就能精确计算 token 数。

### 分词器和分词是一回事吗？

分词（tokenization）是把文本切成 token 的过程。分词器（tokenizer）则是为某个特定模型执行这一过程的文件和代码。

## 另请参阅

-   [Token（词元）](https://broadrouter.com/zh/glossary/token/) (术语)
-   [字节对编码（BPE，byte pair encoding）](https://broadrouter.com/zh/glossary/bpe/) (术语)
-   [词表大小（vocabulary size）](https://broadrouter.com/zh/glossary/vocabulary-size/) (术语)
-   [输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/) (术语)
-   [上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/) (术语)
-   [对话模板（chat template）](https://broadrouter.com/zh/glossary/chat-template/) (术语)
-   [Unicode 规范化（Unicode normalization）](https://broadrouter.com/zh/glossary/unicode-normalization/) (术语)
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/) (指南)
-   [阿拉伯语与英语每词 token 数：为什么阿拉伯语更贵](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/) (文章)
-   [发送大模型请求前，怎么计算 token 数？](https://broadrouter.com/zh/blog/count-tokens-before-sending/) (文章)
-   [阿拉伯语提示词工程：语体、RTL、数字与中英混排](https://broadrouter.com/zh/blog/arabic-prompt-engineering/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-tokenizer&utm_content=page-cta) ·

**来源**

-   [Hugging Face Transformers，分词算法（2026-11-16 查阅）](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face 模型仓库，Qwen/Qwen3.8-27B（2026-11-16 查阅）](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face 模型仓库，deepseek-ai/DeepSeek-V4.1-Flash（2026-11-16 查阅）](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Hugging Face 模型仓库，google/gemma-4-26B-A4B-it（2026-11-16 查阅）](https://huggingface.co/google/gemma-4-26B-A4B-it)
