BroadRouter
开始使用

Token(词元)

更新于

token(词元)是大语言模型读写文本的基本单位:由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制,通常也按 token 计费。

又称: 词元、令牌、标记、分词、tokenization、token 数、LLM token、tokens、Token

模型看到的不是字母或单词,而是一串整数,每个整数代表固定词表中的一段文本。这些文本片段就是 token。

工作原理

在模型读取文本之前,分词器会先把文本切开。大多数现代模型使用子词切分方法,例如字节对编码(BPE)。常见词保持完整,罕见词被拆成几部分。Hugging Face 举的例子是:annoyingly 可能被切成 annoying 和 ly。

字节级 BPE 从 256 个字节值起步,因此任何输入都能被编码,包括表情符号和各种文字。

对于英文,OpenAI 的经验法则是每个 token 约 4 个字符或 0.75 个单词,所以 100 个 token 大约是 75 个单词。我们在五个当前分词器上实测英文散文,结果约为每 100 个单词 129 个 token,即每 1,000 个单词 1,290 个 token,与经验法则接近。但无论哪个比例都只是估算:

  • 其他语言(包括阿拉伯语)在主要用英文训练的分词器上,每个词往往会被切成更多 token;
  • 代码、数字和空白字符的切分方式与散文不同;
  • 每个模型系列都有自己的词表。

想在发送前估算,可以把文本粘贴到 token 计数器里。API 会在每个响应的 usage 块中返回真实数量:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

为什么重要

大模型 API 上几乎每个数字背后的单位都是 token:

  • 价格。 按 token 计费的 API 按每百万输入和输出 token 收费,两者单价往往不同。
  • 限制。 上下文窗口和 max_tokens 都以 token 计量,许多速率限制也按每分钟 token 数计算。
  • 速度。 生成速度以每秒 token 数表示。

同一段文本在不同模型上的 token 数可能不同,阿拉伯语尤其明显。分词效率数据集测量了每个模型在英文、阿拉伯语和代码上每 100 个单词的 token 数。

在 BroadNet Inference 上

对话模型按每百万 token 计价。以 DeepSeek V4.1 Flash 为例,新输入 $0.175,缓存输入 $0.0055,输出 $0.52。BroadNet Gemma 4 VL 26B 输入 $0.10,输出 $0.22。所有模型的单价都在价格页面上。

在固定价格套餐上,token 完全不计量:DeepSeek V4.1 Flash 的会话没有 token 计量表,实际的限制是速度,即 约每秒 100 个 token。语音转文字模型按音频分钟计费,而不是按 token。

常见错误

  • 用单词数估算非英文文本的费用。请在真实样本上用 usage 实测。
  • 忘了思考(reasoning)模型也会把输出 token 花在思考上。参见思考 token。

常见问题

1,000 个 token 大约是多少个英文单词?

对于英文散文,按 BroadRouter 在五个分词器上的实测,大约是 775 个单词(1,000 个英文单词约为 1,290 个 token)。按 OpenAI 的经验法则,一个 token 约等于四分之三个单词,即 750 个单词。其他语言、代码以及其他模型的分词器比例都不同,所以在需要精确时,请用该模型自己的分词器来计数。

图片和音频也算 token 吗?

发给视觉模型的图片会被转换成输入 token,图片越大通常用得越多。语音转文字 API 则常常按音频分钟计价,而不是按 token。

为什么同一段文字在两个模型上的 token 数不一样?

每个模型系列都有自己的分词器和词表,所以同一句话可能被切成数量不同的片段。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity