---
title: "什么是字节对编码（BPE）？大模型分词器原理 | BroadRouter"
description: "字节对编码通过反复合并最常见的符号对来构建分词器词表。BPE 和字节级 BPE 的工作原理，以及阿拉伯语为什么会被切成更多 token。"
url: https://broadrouter.com/zh/glossary/bpe/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/bpe/)（2026-11-16 更新）。

# 字节对编码（BPE，byte pair encoding）

更新于 2026-11-16

字节对编码（BPE）是一种子词分词算法：从单个字符或字节出发，反复把出现频率最高的相邻符号对合并成新的词表条目，直到达到目标词表大小。当前大多数大模型分词器使用 BPE 或它的字节级变体。

又称： 字节对编码、BPE 分词、BPE 算法、字节级 BPE、子词分词、byte pair encoding、byte-pair encoding、byte-level BPE、BPE tokenization

字节对编码是大多数大模型[分词器](https://broadrouter.com/zh/glossary/tokenizer/)背后的方法：找出经常一起出现的文本片段，给每个高频片段分配一个自己的 token。

## 工作原理

Sennrich、Haddow 和 Birch（2015）把原本是压缩方法的 BPE 用到了翻译上。他们的观点是，人名、复合词和罕见词都可以由更小的单元拼成，所以模型不需要为每个词都准备一个词典条目。

训练 BPE 词表是一个简单的循环，Hugging Face 的文档逐步演示了这个过程：

1.  统计训练语料中的词频，例如 `hug` 10、`pug` 5、`pun` 12、`bun` 4、`hugs` 5。
2.  从单个字符开始：`b g h n p s u`。
3.  找出出现最多的相邻符号对。`u` + `g` 出现 20 次，于是加入 `ug`。
4.  重复。`u` + `n`（16 次）合并为 `un`。
5.  达到目标[词表大小](https://broadrouter.com/zh/glossary/vocabulary-size/)时停止，词表大小等于基础符号数加上合并次数。

编码新文本时，分词器按同样的顺序应用学到的合并规则。编码是确定性的：同样的文本总是得到同样的 token。

**字节级 BPE** 从 256 个字节值而不是字符开始，这样任何字符串都能编码。GPT-2 的词表是 256 个字节 + 50,000 次合并 + 1 个文本结束 token = 50,257。

## 为什么重要

BPE 解释了你在 API 账单上看到的几个现象：

-   **常见英语单词只占一个 token**，因为它们的字符对很早就被合并了。
-   **罕见词、拼写错误和非拉丁文字会切成更多 token。** 在 UTF-8 中，一个阿拉伯字母占 2 个字节，所以一个很少学到阿拉伯语合并规则的字节级分词器，每个词要花更多 token。
-   **不同模型的计数不同。** 每个模型都从自己的数据里学到自己的合并规则。

我们在 2026-11-14 的测量显示了这种影响。同一段 117 个词的海湾方言对话，在 GLM 5.3 上是 276 个 token，在 Qwen3.8 27B 上是 229 个。也就是每 100 个词 276 / 117 x 100 = 235.9 个 token，对比 229 / 117 x 100 = 195.7 个。这段对话的英语译文分别是 202 和 208 个 token，几乎一样。

## 在 BroadNet Inference 上

在 BroadNet 上你不能选择分词器，每个模型使用自己的分词器。为阿拉伯语流量选模型之前，请在[阿拉伯语 token 计数器](https://broadrouter.com/tools/arabic-token-counter/)里比较你真实文本的计数，完整数据表见[阿拉伯语和英语每个词的 token 数](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/)。记住，决定价格的是 [token](https://broadrouter.com/zh/glossary/token/) 数，而不是词数。

## 常见问题

### 是谁把 BPE 用到语言模型上的？

BPE 最初是一种数据压缩算法。2015 年，Sennrich、Haddow 和 Birch 把它改造成把罕见词切分为子词单元的方法，用于神经机器翻译，大模型的分词器就是从这项工作发展而来的。

### 什么是字节级 BPE？

一种基础词表是 256 个可能字节值而不是字符的 BPE 分词器，所以任何文字、任何文本都能编码，不会出现未知 token。GPT-2 用的就是它，共 50,257 个条目。

### 为什么 BPE 切分阿拉伯语比英语产生更多 token？

合并规则是从训练数据里学来的。如果分词器见过的阿拉伯语较少，合并的阿拉伯语字符对就少，阿拉伯语单词就会被切成更多片段。

## 另请参阅

-   [分词器（tokenizer）](https://broadrouter.com/zh/glossary/tokenizer/)（术语）
-   [词表大小（vocabulary size）](https://broadrouter.com/zh/glossary/vocabulary-size/)（术语）
-   [Token（词元）](https://broadrouter.com/zh/glossary/token/)（术语）
-   [上下文窗口（context window）](https://broadrouter.com/zh/glossary/context-window/)（术语）
-   [阿拉伯语与英语每词 token 数：为什么阿拉伯语更贵](https://broadrouter.com/zh/blog/tokens-per-word-arabic-english/)（文章）
-   [发送大模型请求前，怎么计算 token 数？](https://broadrouter.com/zh/blog/count-tokens-before-sending/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-bpe&utm_content=page-cta) ·

**来源**

-   [Sennrich、Haddow 和 Birch，Neural Machine Translation of Rare Words with Subword Units（arXiv 1508.07909）（2026-11-16 查阅）](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers：分词算法（BPE 与字节级 BPE）（2026-11-16 查阅）](https://huggingface.co/docs/transformers/tokenizer_summary)
