max_tokens は 1 回の応答の出力予算です。暴走する回答を防ぎますが、低すぎると回答が途中で切れたり、何も返らなかったりします。
しくみ
モデルはトークンを 1 つずつ生成します。数が max_tokens に達すると、文の途中でも生成が止まります。応答には、終わった理由が示されます。
finish_reason |
意味 |
|---|---|
stop |
モデルが自分で書き終えた |
length |
max_tokens の上限に達した |
tool_calls |
モデルがツールの呼び出しを求めている |
このパラメーターにはいくつかの名前があります。OpenAI の Chat Completions API は現在 max_tokens を非推奨とし、表示される出力と推論トークンの両方を含む上限である max_completion_tokens に置き換えています。OpenAI の Responses API は max_output_tokens を使います。Anthropic の Messages API は max_tokens を使います。多くの OpenAI 互換プロバイダーは max_tokens を受け付けます。
プロンプトと出力は 1 つのコンテキストウィンドウを共有します。ウィンドウが 32,768 トークンでプロンプトが 30,000 なら、max_tokens がいくつでも、返ってくるのは最大 2,768 トークンです。
なぜ重要か
- コスト管理。 トークン課金のキーでは、
max_tokensが 1 回の応答の出力コストの上限になります。 - 空の回答。 推論モデルでは、推論も同じ予算から引かれます。上限が 100 だと、すべてが推論トークンに使われて、表示される回答が空になり、
finish_reasonがlengthになることがあります。 - 壊れた JSON。 途中で切れた応答では、構造化出力が不完全になり、パースできません。パースする前に
finish_reasonを確認してください。
BroadNet Inference の場合
DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、BroadNet のドキュメントによると推論は max_tokens に含まれます。1,000 トークン以上を確保するか、設定しないでおくか、reasoning_effort を下げてください。
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
コンテキストのサイズはモデルによって異なります。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークン、Qwen3.8 27B は 262,144、BroadNet Gemma 4 VL 26B は 32,768 です。モデルページと推論モデルが空の回答を返す理由を参照してください。
よくある間違い
- 移行の際に、推論しないモデルで使っていた小さな上限をそのまま流用すること。移行チェックリストを参照してください。
lengthを成功として扱うこと。ログに残し、余裕を増やしてリトライしてください。