模型看到的不是字母或单词,而是一串整数,每个整数代表固定词表中的一段文本。这些文本片段就是 token。
工作原理
在模型读取文本之前,分词器会先把文本切开。大多数现代模型使用子词切分方法,例如字节对编码(BPE)。常见词保持完整,罕见词被拆成几部分。Hugging Face 举的例子是:annoyingly 可能被切成 annoying 和 ly。
字节级 BPE 从 256 个字节值起步,因此任何输入都能被编码,包括表情符号和各种文字。
对于英文,OpenAI 的经验法则是每个 token 约 4 个字符或 0.75 个单词,所以 100 个 token 大约是 75 个单词。我们在五个当前分词器上实测英文散文,结果约为每 100 个单词 129 个 token,即每 1,000 个单词 1,290 个 token,与经验法则接近。但无论哪个比例都只是估算:
- 其他语言(包括阿拉伯语)在主要用英文训练的分词器上,每个词往往会被切成更多 token;
- 代码、数字和空白字符的切分方式与散文不同;
- 每个模型系列都有自己的词表。
想在发送前估算,可以把文本粘贴到 token 计数器里。API 会在每个响应的 usage 块中返回真实数量:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
为什么重要
大模型 API 上几乎每个数字背后的单位都是 token:
- 价格。 按 token 计费的 API 按每百万输入和输出 token 收费,两者单价往往不同。
- 限制。 上下文窗口和
max_tokens都以 token 计量,许多速率限制也按每分钟 token 数计算。 - 速度。 生成速度以每秒 token 数表示。
同一段文本在不同模型上的 token 数可能不同,阿拉伯语尤其明显。分词效率数据集测量了每个模型在英文、阿拉伯语和代码上每 100 个单词的 token 数。
在 BroadNet Inference 上
对话模型按每百万 token 计价。以 DeepSeek V4.1 Flash 为例,新输入 $0.175,缓存输入 $0.0055,输出 $0.52。BroadNet Gemma 4 VL 26B 输入 $0.10,输出 $0.22。所有模型的单价都在价格页面上。
在固定价格套餐上,token 完全不计量:DeepSeek V4.1 Flash 的会话没有 token 计量表,实际的限制是速度,即 约每秒 100 个 token。语音转文字模型按音频分钟计费,而不是按 token。
常见错误
- 用单词数估算非英文文本的费用。请在真实样本上用
usage实测。 - 忘了思考(reasoning)模型也会把输出 token 花在思考上。参见思考 token。