BroadRouter
开始使用

Logprobs(对数概率)

更新于

Logprobs 是语言模型为其生成的各个 token 给出的对数概率。返回 logprobs 的 API 会显示每个输出 token 被模型判断的可能性有多大,还可以选择列出该位置上最可能的候选 token。

又称: 对数概率、token 对数概率、token 概率、输出概率、log probabilities、token log probabilities、top_logprobs、token probabilities

模型写出的每个 token 都是从一个概率分布里挑出来的。logprobs 把这个分布逐个 token 地展示出来。

工作原理

每一步,模型都会给词表中的每个 token 打分,再把分数转换成概率。API 可以报告所选 token 概率的自然对数。之所以用对数,是因为原始数值会变得非常小;对数相加就等于概率相乘。

在 OpenAI 的 Chat Completions API 中,用两个请求字段来获取它们:

  • logprobs: true 为每个输出 token 返回一个对数概率。
  • top_logprobs 是 “an integer between 0 and 20”(译文:0 到 20 之间的整数),表示每个位置要列出多少个可能的候选。它需要 logprobs: true。

choices[0].logprobs.content 中的每个条目包含 token、它的 logprob、它的 UTF-8 bytes,以及一个 top_logprobs 列表。用 exp(logprob) 换算:

logprob 概率
0 1.00
-0.105 约 0.90
-0.693 约 0.50
-2.303 约 0.10

为什么重要

OpenAI 的 cookbook 列出了几种实际用法:

  • 分类置信度。 让模型输出一个单词标签,读取这个 token 的 logprob。把低置信度的条目交给人工处理。
  • 检索检查。 询问提供的上下文能否回答问题,把 “yes” 的概率当作分数。cookbook 把这与减少幻觉联系起来。
  • 自动补全。 只在模型有把握时才推荐下一个词。
  • 困惑度(perplexity)。 对整段回答的 logprobs 取平均,取负,再求 e 的该次方。困惑度越低,说明模型认为这段文本越可预测。

logprobs 还能让采样过程变得可见。调高温度或 top-p 会放进概率更低的 token,logprobs 会把这一点显示出来。它们随回答一起返回,不需要额外请求,是 LLM-as-judge(大模型评审)步骤的低成本补充。

在 BroadNet Inference 上

BroadNet 的 API 参考文档没有为任何模型说明 logprobs 或 top_logprobs。不要假定 OpenAI 兼容的端点一定会返回它们。发一个带 logprobs: true 的请求,检查 choices[0].logprobs 是否有内容;如果没有,就准备一个后备方案,比如评审提示词。测试所需的客户端配置见 Python SDK 指南。

常见错误

  • 把高 logprob 当作事实正确的证据。它只说明模型预料到了这个 token。
  • 在不同模型之间比较 logprobs。分词器和校准方式不同,数值不在同一个尺度上。

常见问题

怎么把 logprob 换算成百分比?

取 e 的 logprob 次方。logprob 为 -0.105 时约等于 0.90,即 90%。logprob 为 0 表示模型给这个 token 的概率是 1。

logprobs 能衡量答案是否正确吗?

不能。它衡量的是模型对自己措辞有多大把握,而不是事实是否正确。模型完全可能信心满满地答错。

BroadNet Inference 会返回 logprobs 吗?

BroadNet 的 API 参考没有说明 logprobs。在以此为基础开发之前,请发一个把 logprobs 设为 true 的测试请求,检查响应内容。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity