BroadRouter

max_tokens(最大出力トークン数)

更新日

max_tokens とは、モデルが 1 回の応答で生成できるトークン数の上限を決める LLM API のパラメーターです。生成が上限に達すると止まり、応答は途中で打ち切られたものとして、たとえば finish_reason が "length" になります。

別名: 最大トークン数、最大出力トークン、出力トークン上限、出力の上限、max_completion_tokens、max_output_tokens、output token limit、maximum output length

max_tokens は 1 回の応答の出力予算です。暴走する回答を防ぎますが、低すぎると回答が途中で切れたり、何も返らなかったりします。

しくみ

モデルはトークンを 1 つずつ生成します。数が max_tokens に達すると、文の途中でも生成が止まります。応答には、終わった理由が示されます。

finish_reason 意味
stop モデルが自分で書き終えた
length max_tokens の上限に達した
tool_calls モデルがツールの呼び出しを求めている

このパラメーターにはいくつかの名前があります。OpenAI の Chat Completions API は現在 max_tokens を非推奨とし、表示される出力と推論トークンの両方を含む上限である max_completion_tokens に置き換えています。OpenAI の Responses API は max_output_tokens を使います。Anthropic の Messages API は max_tokens を使います。多くの OpenAI 互換プロバイダーは max_tokens を受け付けます。

プロンプトと出力は 1 つのコンテキストウィンドウを共有します。ウィンドウが 32,768 トークンでプロンプトが 30,000 なら、max_tokens がいくつでも、返ってくるのは最大 2,768 トークンです。

なぜ重要か

  • コスト管理。 トークン課金のキーでは、max_tokens が 1 回の応答の出力コストの上限になります。
  • 空の回答。 推論モデルでは、推論も同じ予算から引かれます。上限が 100 だと、すべてが推論トークンに使われて、表示される回答が空になり、finish_reason が length になることがあります。
  • 壊れた JSON。 途中で切れた応答では、構造化出力が不完全になり、パースできません。パースする前に finish_reason を確認してください。

BroadNet Inference の場合

DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、BroadNet のドキュメントによると推論は max_tokens に含まれます。1,000 トークン以上を確保するか、設定しないでおくか、reasoning_effort を下げてください。

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

コンテキストのサイズはモデルによって異なります。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークン、Qwen3.8 27B は 262,144、BroadNet Gemma 4 VL 26B は 32,768 です。モデルページと推論モデルが空の回答を返す理由を参照してください。

よくある間違い

  • 移行の際に、推論しないモデルで使っていた小さな上限をそのまま流用すること。移行チェックリストを参照してください。
  • length を成功として扱うこと。ログに残し、余裕を増やしてリトライしてください。

よくある質問

max_tokens はコンテキストウィンドウと同じですか?

いいえ。コンテキストウィンドウはモデルが扱える合計量で、プロンプトと出力の合計です。max_tokens が制限するのは出力だけで、プロンプトと max_tokens の合計はウィンドウに収まる必要があります。

max_tokens は常に設定すべきですか?

コストや長さに厳密な上限が必要なときに設定してください。推論モデルでは余裕を十分に残すか、プロバイダーのデフォルトが十分大きければ設定しないでおきます。

max_tokens と max_completion_tokens の違いは何ですか?

OpenAI は Chat Completions で max_tokens を非推奨とし、推論トークンを明示的に含む max_completion_tokens に置き換えました。多くの OpenAI 互換プロバイダーは今も max_tokens を受け付けます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く