BroadRouter
开始使用

温度(temperature)

更新于

温度(temperature)是控制语言模型输出随机程度的采样参数。模型先把每个 token 的分数除以温度,再转换成概率:温度低时,最可能的 token 占据主导;温度高时,分布变得平坦,可能性较低的 token 被选中的次数更多。

又称: 温度参数、采样温度、大模型温度、temperature 参数、temperature、sampling temperature、LLM temperature、temperature parameter

温度是在”每次都给同样的答案”和”每次都给不同的答案”之间调节的旋钮。

工作原理

模型会为下一个可能写出的每个 token 打一个分数(logit)。softmax 把这些分数转换成概率,而温度会先把每个分数除一下。Hinton 等人用这个 T 来写 softmax,并指出 “using a higher value for T produces a softer probability distribution over classes.”(译文:T 取值越高,得到的类别概率分布越平缓。)

  • T 小于 1 会让分布更陡峭,概率最高的 token 更常胜出。
  • T = 1 保持模型训练出来的原始概率。
  • T 大于 1 会让分布更平坦,罕见的 token 被选中得更多。
  • T 接近 0 时接近贪心解码:总是选择最可能的 token。

OpenAI 的 API 接受 “between 0 and 2”(译文:0 到 2 之间)的值,默认值为 1。它的参考文档说,0.8 会让输出 “more random”(译文:更随机),0.2 则 “more focused and deterministic”(译文:更集中、更确定)。它还建议 “altering this or top_p but not both”(译文:调整这个参数或 top_p,但不要同时调整),因为 top-p 是降低随机性的另一种方式。

开源模型往往自带默认值。Hugging Face Transformers 会从模型的 generation_config.json 读取温度,缺失时回退到 1.0。推理服务栈可能使用其中任意一个值。

为什么重要

  • 可重复性。 信息抽取、路由和结构化输出需要稳定的答案。降低温度能减少多次运行之间的差异。
  • 质量。 温度太高,模型会用词怪异或编造细节,加剧幻觉。温度太低,长文本可能陷入循环:Hugging Face 指出,在较长的序列上,贪心解码会 “begins to repeat itself”(译文:开始自我重复)。
  • 评估。 对比模型时要固定温度,否则你测到的只是采样噪声。观察 logprobs 可以看出模型有多大的选择余地。

温度不影响价格和速度。无论怎么设置,每个 token 的价格都一样。

在 BroadNet Inference 上

BroadNet 的 API 参考文档没有为任何模型说明 temperature、它的取值范围或默认值,请求示例里也没有设置它。由于 API 与 OpenAI 兼容,SDK 会发送这个字段,但文档没有说明每个模型是否遵循它。请显式设置,并把同一个提示词运行几次,看看输出的差异有多大。客户端的配置方法见 OpenAI Python SDK 指南。

常见错误

  • 用温度 0 并以为输出会永远相同。需要复现的回答请保存下来。
  • 通过提高温度来修正错误答案。提升准确性要靠更好的提示词或更多上下文;温度只改变多样性。

常见问题

温度应该设成多少?

信息抽取、分类和写代码这类希望每次答案一致的任务,用 0 到 0.3 这样的低值。头脑风暴和需要多样措辞的任务,用 0.7 到 1 这样的较高值。两种都在你自己的提示词上测一测。

温度设为 0,输出就是确定的吗?

不能保证。它会让模型每次都倾向于选概率最高的 token,但服务商通常不承诺多次运行的输出完全相同。需要复现的回答请保存下来。

BroadNet 的默认温度是多少?

BroadNet 的文档没有说明任何模型的默认温度。如果你的输出依赖它,请在每个请求里显式设置。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity