答えをどこで終わらせるべきか、正確にわかっていることがあります。停止シーケンスを使えば、どうせ捨てるトークンに料金を払う代わりに、サーバーにそこで生成を打ち切らせることができます。
しくみ
1 つ以上の文字列を渡します。新しいトークンが生成されるたびに、サーバーは出力にそのいずれかが含まれたかを確認し、含まれていれば生成を終えます。
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
出典に基づくプロバイダーごとの詳細は次のとおりです。
| プロバイダー | フィールド | 備考 |
|---|---|---|
| OpenAI Chat Completions | stop |
「Up to 4 sequences」(訳:最大 4 シーケンス)。リファレンスには今も「Not supported with latest reasoning models o3 and o4-mini」(訳:最新の推論モデル o3 と o4-mini では非対応)とある(2026-11-16 時点の文言) |
| Anthropic Messages | stop_sequences |
応答に stop_reason: "stop_sequence" が入り、一致したシーケンスを stop_sequence で示す |
| vLLM(オープンモデル用サーバー) | stop |
「String(s) that stop the generation when they are generated」(訳:生成された時点で生成を止める文字列)。出力には含まれない |
OpenAI 形式では、停止シーケンスに一致すると finish_reason は stop になり、自然に終わった場合と同じ値です。Anthropic は両者を区別します。
なぜ重要か
- コストとレイテンシ。 出力トークンは課金され、生成にも時間がかかります。既知のマーカーで止めれば、どちらも節約できます。
- 形式の制御。 few-shot プロンプトでは、例と例のあいだに
###のような区切りをよく使います。その区切りで止めれば、モデルが次の例を自分で書き始めるのを防げます。 - 限界。 停止シーケンスは、切れる手前の内容までは制御できません。機械可読な出力がほしいなら構造化出力のほうが確実です。max_tokens は絶対的な上限として残しておいてください。
BroadNet Inference の場合
BroadNet の API リファレンスには stop の記載がありません。頼る前に試してください。マーカーに到達するはずのプロンプトを送り、応答がそこで終わるかを確認します。代替策として、クライアント側で最初のマーカーの位置でテキストを切り取ります。ストリーミングなら、マーカーが現れた時点で読み取りを閉じることもできます。BroadNet の推論モデル(DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B)は回答の前に思考するので、停止文字列が推論(reasoning)の中で一致してしまわないかも確かめてください。移行コードのウォークスルーに、確認すべきほかの OpenAI フィールドがまとめてあります。
よくある間違い
- 改行やよく使う単語など、通常の出力にも現れうる停止文字列を選ぶこと。
- 停止文字列が応答に含まれて返ってくると思い込み、それを手がかりにパースすること。