模型写出的每个 token 都是从一个概率分布里挑出来的。logprobs 把这个分布逐个 token 地展示出来。
工作原理
每一步,模型都会给词表中的每个 token 打分,再把分数转换成概率。API 可以报告所选 token 概率的自然对数。之所以用对数,是因为原始数值会变得非常小;对数相加就等于概率相乘。
在 OpenAI 的 Chat Completions API 中,用两个请求字段来获取它们:
logprobs: true为每个输出 token 返回一个对数概率。top_logprobs是 “an integer between 0 and 20”(译文:0 到 20 之间的整数),表示每个位置要列出多少个可能的候选。它需要logprobs: true。
choices[0].logprobs.content 中的每个条目包含 token、它的 logprob、它的 UTF-8 bytes,以及一个 top_logprobs 列表。用 exp(logprob) 换算:
| logprob | 概率 |
|---|---|
| 0 | 1.00 |
| -0.105 | 约 0.90 |
| -0.693 | 约 0.50 |
| -2.303 | 约 0.10 |
为什么重要
OpenAI 的 cookbook 列出了几种实际用法:
- 分类置信度。 让模型输出一个单词标签,读取这个 token 的 logprob。把低置信度的条目交给人工处理。
- 检索检查。 询问提供的上下文能否回答问题,把 “yes” 的概率当作分数。cookbook 把这与减少幻觉联系起来。
- 自动补全。 只在模型有把握时才推荐下一个词。
- 困惑度(perplexity)。 对整段回答的 logprobs 取平均,取负,再求 e 的该次方。困惑度越低,说明模型认为这段文本越可预测。
logprobs 还能让采样过程变得可见。调高温度或 top-p 会放进概率更低的 token,logprobs 会把这一点显示出来。它们随回答一起返回,不需要额外请求,是 LLM-as-judge(大模型评审)步骤的低成本补充。
在 BroadNet Inference 上
BroadNet 的 API 参考文档没有为任何模型说明 logprobs 或 top_logprobs。不要假定 OpenAI 兼容的端点一定会返回它们。发一个带 logprobs: true 的请求,检查 choices[0].logprobs 是否有内容;如果没有,就准备一个后备方案,比如评审提示词。测试所需的客户端配置见 Python SDK 指南。
常见错误
- 把高 logprob 当作事实正确的证据。它只说明模型预料到了这个 token。
- 在不同模型之间比较 logprobs。分词器和校准方式不同,数值不在同一个尺度上。