陷入循环的模型会一遍遍重复同一句话,直到 token 用完。惩罚参数是在采样阶段施加的一种粗放修正。
工作原理
在抽取每个下一个 token 之前,服务器会调整已生成 token 的分数。
| 设置 | vLLM 文档所说的惩罚对象 | 范围与默认值 |
|---|---|---|
presence_penalty |
按 token “based on whether they appear in the generated text so far”(译文:是否已在已生成文本中出现)施加惩罚 | OpenAI:-2.0 到 2.0,默认 0 |
frequency_penalty |
按 token “based on their frequency in the generated text so far”(译文:在已生成文本中的出现频率)施加惩罚 | OpenAI:-2.0 到 2.0,默认 0 |
repetition_penalty |
按 token “based on whether they appear in the prompt and the generated text so far”(译文:是否已在提示词和已生成文本中出现)施加惩罚 | vLLM 和 Hugging Face:1.0 表示不惩罚 |
正值会让模型避开用过的 token;负值则让重复更可能出现。OpenAI 说,正的频率惩罚会降低 “the model’s likelihood to repeat the same line verbatim”(译文:模型逐字重复同一行的可能性),正的存在惩罚会提高 “the model’s likelihood to talk about new topics”(译文:模型谈论新话题的可能性)。对于 repetition_penalty,vLLM 说大于 1 的值倾向于新 token,小于 1 的值倾向于重复。Hugging Face 的文档在介绍这一惩罚时引用了 CTRL 论文。
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
为什么重要
- 长输出中的循环。 智能体和长摘要可能陷入重复文本。小幅惩罚能打破循环,而硬性的 max_tokens 上限能控制损失。
- 副作用。 惩罚作用于 token,而不是想法。惩罚太强可能让模型无法复用它必须用到的词,比如代码里的变量名、JSON 的键,或者一段阿拉伯语文本中按设计就要重复出现的名字。从 0 开始,小步调整。
- 与采样设置重叠。 温度和 top-p 也会改变多样性。测试时一次只改一个设置。
在 BroadNet Inference 上
BroadNet 的 API 参考文档没有说明 frequency_penalty、presence_penalty 或 repetition_penalty。依赖它们之前请先测试:用一个容易重复的提示词,分别带上和不带这个字段发送,比较结果。如果长时间运行中出现重复,可以试试更清晰的提示词、更低的输出上限,或者停止运行并从检查点恢复;通宵运行智能体一文介绍了这种做法。
常见错误
- 用很高的惩罚值来解决提示词本身的问题。重复往往意味着模型没有明确的结束点。
- 在结构化输出上使用惩罚,而那里的键本来就必须重复出现。