在模型挑出下一个 token 之前,top-p 先决定哪些 token 有资格参与抽取。
工作原理
Holtzman 等人在 2019 年提出了核采样。他们把 top-p 词表定义为累计概率至少为 p 的最小 token 集合。集合之外的 token 概率一律置为零,集合内的概率重新归一化使总和为 1,再从中采样下一个 token。论文的主要结果使用 p = 0.95。
这个集合的大小在每一步都会变化:
| 下一个 token 的概率分布 | p = 0.9 时保留的 token 数 |
|---|---|
| 一个 token 占 0.95 | 1 |
| 四个 token,分别为 0.3、0.3、0.2、0.15 | 4 |
| 很长、很平的分布 | 很多 |
这正是这种方法的意义所在。论文认为,分布中 “less reliable tail”(译文:不太可靠的长尾)会导致文本退化,把它砍掉就能在不损失连贯性的前提下得到多样的输出。固定的 top-k 做不到这种自适应:无论模型有把握还是没把握,它保留的数量都一样。
在 OpenAI 的 API 里,top_p 默认值为 1,即不做截断。参考文档举的例子是 “0.1 means only the tokens comprising the top 10% probability mass are considered.”(译文:0.1 表示只考虑构成前 10% 概率质量的 token。)Hugging Face Transformers 的默认值也是 1.0,除非模型的 generation_config.json 设置了别的值。
为什么重要
- 更少的奇怪 token。 砍掉长尾能去掉那些让文本跑偏的冷门选择,这对长回答和幻觉风险都很关键。
- 与温度的相互作用。 温度作用在分数上,top-p 再对结果做裁剪。两者同时调,行为就很难预测,所以 OpenAI 建议只改其中一个。
- 调试。 如果 logprobs 显示模型选了一个低概率的 token,更低的 top-p 本可以把它挡掉。
top-p 不影响价格。每个生成的 token 计费都一样。
在 BroadNet Inference 上
BroadNet 的 API 参考文档没有说明 top_p、top_k 或它们的默认值,请求示例里两者都没有设置。OpenAI SDK 会把 top_p 透传过去,但文档没有说明某个模型是否会应用它,所以在依赖它之前,请先用你自己的提示词测试。参见 Python SDK 指南,以及切换模型前如何评估一文,其中解释了为什么对比时必须固定采样设置。
常见错误
- 同时调
top_p和温度,结果不知道是哪一个改变了输出。 - 把一个模型的采样设置照搬到另一个模型上。不同模型的推荐值并不相同。