BroadRouter

推論モデルが空の回答を返す理由

更新日

見える回答を書き始める前に、モデルが max_tokens の枠をすべて推論に使い切ったためです。BroadNet Inference の DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は先に推論し、推論は max_tokens に含まれます。1,000 トークン以上を確保するか、reasoning_effort を low にしてください。

短いプロンプトを max_tokens: 100 で送ると、リクエストは成功したのに choices[0].message.content が空になっている。何も壊れてはいません。回答がまだ始まっていなかったのです。

何が起きているのか

推論モデルは、見える回答の前に隠れた思考の連鎖(chain of thought)を書きます。この 2 つは 1 つの max_tokens の枠を共有しています。上限が小さいと推論がそれを使い切り、標準の chat completions の形式では finish_reason が length になります。

3 つの対処法

1. 余裕を持たせる。 BroadNet のドキュメントの推奨どおり、max_tokens を 1,000 以上に設定します。推論モデル向け max_tokens 計算ツールを使うと、必要な回答の長さに合わせて上限を決め、コストも確認できます。

2. 推論を減らす。 単純なタスクでは reasoning_effort を low にします。

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. usage を確認する。 モデルが報告する場合、usage.completion_tokens_details.reasoning_tokens で推論に使われた量がわかります。

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

ストリームでは stream_options={"include_usage": True} を追加すると、同じ usage が最後のチャンクで届きます。chat completions のストリーミングを参照してください。

推論するモデル

モデル 先に推論する
DeepSeek V4.1 Flash(broadnet/deepseek-v4.1-flash) はい
GLM 5.3(broadnet/glm-5.3) はい
Qwen3.8 27B(broadnet/qwen3.8-27b) はい
BroadNet Gemma 4 VL 26B(broadnet/gemma-4-26b-a4b) 記載なし

トラブルシューティング

  • content が空で、finish_reason が length。 max_tokens を上げるか、reasoning_effort を low にしてください。
  • content が空で、finish_reason が stop。 上限は原因ではありません。プロンプトを確認し、レスポンス全体を出力して何が返ってきたかを見てください。
  • completion_tokens_details で AttributeError が出る。 そのリクエストではモデルが内訳を報告していません。上の例のように None を確認してください。
  • ストリームで最初のトークンが遅い。 モデルが回答を書く前に推論しています。reasoning_effort を下げると待ち時間が短くなることがあります。

一日中エージェントを動かす場合、従量課金では推論トークンがかさみます。BroadNet の料金計算ツールで、定額の無制限プランのほうが安くなるタイミングを確認できます。

よくある質問

推論にも料金はかかりますか?

従量課金では、推論は completion トークンの内訳として報告され、出力の料金で課金されます。DeepSeek V4.1 Flash の無制限プランにはトークンのメーターがないため、追加の費用はかかりません。

BroadNet Gemma 4 VL 26B は推論しますか?

BroadNet のドキュメントで推論が記載されているのは DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B で、Gemma 4 VL 26B には記載がありません。

finish_reason が length のとき、message の content が空なのはなぜですか?

見える回答が始まる前にトークンの枠が尽きたためです。推論モデルは先に推論を書き、そのトークンは max_tokens に含まれます。max_tokens を 1,000 以上に上げるか、reasoning_effort を下げてください。

reasoning_effort を low にすると何が変わりますか?

回答する前の推論を少なくするようモデルに指示します。上限が小さくて回答が空になる場合、BroadNet のドキュメントは max_tokens を増やす代わりの方法としてこれを挙げています。分類や抽出のような単純なタスクに使ってください。

推論に何トークン使われたかはどう確認できますか?

モデルが報告する場合は、レスポンスの usage.completion_tokens_details.reasoning_tokens を読みます。ストリームでは stream_options で include_usage を true にして送り、最後のチャンクから読み取ります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く