有时你很清楚回答应该在哪里结束。停止序列让服务器在那里切断生成,而不是为你反正要扔掉的 token 付费。
工作原理
你传入一个或多个字符串。每生成一个新的 token,服务器都会检查输出里是否已经包含其中之一。一旦包含,生成就结束。
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
各服务商的细节(来自参考来源):
| 服务商 | 字段 | 说明 |
|---|---|---|
| OpenAI Chat Completions | stop |
“Up to 4 sequences”(译文:最多 4 个序列);参考文档仍写着 “Not supported with latest reasoning models o3 and o4-mini”(译文:最新的推理模型 o3 和 o4-mini 不支持)(2026-11-16 时的措辞) |
| Anthropic Messages | stop_sequences |
响应中带有 stop_reason: "stop_sequence",并在 stop_sequence 中给出匹配到的序列 |
| vLLM(开源模型服务器) | stop |
“String(s) that stop the generation when they are generated”(译文:一旦生成就会停止生成的字符串);输出中不包含它们 |
在 OpenAI 格式中,匹配到停止序列时 finish_reason 报告为 stop,和自然结束是同一个值。Anthropic 则把两者区分开。
为什么重要
- 成本与延迟。 输出 token 要计费,生成起来也慢。在已知标记处停止,两样都能省。
- 格式控制。 few-shot 提示词常在示例之间用
###这样的分隔符。把这个分隔符设为停止序列,可以防止模型自己接着写下一个示例。 - 局限。 停止序列管不了截断点之前的内容。要得到机器可读的输出,结构化输出是更可靠的工具。max_tokens 仍应作为硬性上限保留。
在 BroadNet Inference 上
BroadNet 的 API 参考文档没有说明 stop。依赖它之前请先测试:发一个应当触发你的标记的提示词,看回复是否在那里结束。作为后备,可以在客户端遇到第一个标记时截断文本;在流式输出中,也可以在标记出现后直接关闭读取。BroadNet 上的推理模型(DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B)会先思考再作答,所以还要测试停止字符串是否会在思考内容里被匹配到。迁移代码详解列出了其他需要检查的 OpenAI 字段。
常见错误
- 选了一个在正常输出里也会出现的停止字符串,比如换行符或常用词。
- 以为停止字符串会出现在回复里,并据此做解析。