BroadRouter

推論トークン:見えている以上の出力に課金される理由

BroadNet Inference チーム · 約 4 分で読めます · 公開日 · 更新日

推論モデルは回答の前に隠れた思考を書き、その推論トークンは出力の単価で課金されます。200 トークンの返信の裏に、1,000 トークン以上の思考があることもあります。BroadNet Inference では DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B が推論します。reasoning_effort を low にし、max_tokens を適切に設定し、単純なステップは非推論モデルに回せばコストを下げられます。

短い質問を送り、2 行の回答が返ってきたのに、請求には出力 1,400 トークンと表示されている。これは不具合ではありません。モデルは回答の前に考え、その思考が課金されたのです。この記事では、推論トークンの数え方、モデルごとのコスト、そしてそれを制御する 4 つの設定を説明します。

推論トークンとは何ですか?

推論モデルは、内部の思考の連鎖を書いてから、目に見える回答を書きます。どちらも同じ 1 回の生成から出てきます。思考の部分は推論トークンでできています。標準的な chat completions のレスポンスでは、回答は message.content に入り、思考は数えられるだけで表示されません。

OpenAI の推論ガイドは、このルールをはっきりと書いています。推論トークンは “still occupy space in the model’s context window and are billed as” output tokens(訳:引き続きモデルのコンテキストウィンドウの領域を占め、出力トークンとして課金される)。他のプロバイダーも同じルールに従っています。

推論トークンはどのように課金されますか?

推論トークンは completion_tokens の一部なので、出力の単価で課金されます。そして出力は高いほうのメーターです。

モデル 先に推論するか 出力 100 万あたり 入力 100 万あたり
DeepSeek V4.1 Flash はい $0.52 $0.175
GLM 5.3 はい $3.46 $0.78
Qwen3.8 27B はい $2.17 $0.175
Gemma 4 VL 26B 掲載なし $0.22 $0.10

料金は BroadNet Inference のもので、2026-11-14 に同期しています。同じモデルに他社がいくら付けているかは LLM API 料金表にあります。たとえば GLM 5.3 のプロバイダー別料金です。

推論で請求額はどれくらい増えますか?

1 語のラベルを返す分類器を例にとります。目に見えるトークンは約 10 個です。モデルが先に 1,000 トークン考えると、出力の請求額の 99% は思考です。

規模を大きくすると、推論トークン 1,000 個ずつの返信が 1,000 件あれば、出力が 100 万トークン増えます。 その費用は、目に見える回答とは別に、DeepSeek V4.1 Flash で $0.52、Qwen3.8 27B で $2.17、GLM 5.3 で $3.46 です。

量はタスクによって変わります。難しい数学や複数ファイルにまたがるコードの推論では数千トークンに達することもあり、あいさつならほとんど不要です。だからこそ計測が必要です。

推論トークンはどう計測しますか?

モデルが数を提供している場合、usage ブロックに報告されます。

r = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=[{"role": "user", "content": "Is 'refund my order' a billing or shipping intent?"}],
    max_tokens=1000,
)
u = r.usage
reasoning = (u.completion_tokens_details.reasoning_tokens or 0) if u.completion_tokens_details else 0
print("output:", u.completion_tokens, "reasoning:", reasoning,
      "share:", round(reasoning / max(u.completion_tokens, 1), 2))

これをタスクの種類ごとに 1 週間記録してください。たいていは、少数のタスクが思考の大半を占めていることが分かります。ストリーミングでは stream_options: {"include_usage": true} を加えてください。数は最後のチャンクで届きます(ストリーミングのガイド)。

推論コストを抑える 4 つの方法

1. 単純なタスクでは reasoning_effort を下げる

reasoning_effort は、モデルに考える量を減らすよう求めます。BroadNet のガイドでは、分類、抽出、整形に low を使っています。

client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", reasoning_effort="low",
                               max_tokens=1000, messages=msgs)

OpenAI は自社モデルについて、none と minimal から、low、medium、high、さらに xhigh と max まで、より広い範囲の値を記載しており、“some models support only a subset”(訳:一部の値にしか対応していないモデルもある)としています。使うモデルがどの値を受け付けるかを確認し、同じサンプルで変更前後の出力トークン数を比べてください。

2. max_tokens は締め付けではなく上限として設定する

max_tokens は推論と回答をまとめて制限します。暴走した返信を止められますが、低く設定しすぎると、モデルが予算をすべて思考に使い、finish_reason: "length" で空の回答を返すことがあります。その思考の分は支払ったうえで、リトライも必要になります。BroadNet は推論モデルには 1,000 トークン以上を推奨しています。推論モデルが空の回答を返す理由をご覧ください。

3. 簡単なステップは推論しないモデルにルーティングする

すべてのステップに思考が必要なわけではありません。JSON の整形、フィールド名の変更、FAQ の検索への回答は、BroadNet が推論機能を掲載していない Gemma 4 VL 26B(出力 100 万あたり $0.22)に任せられます。推論モデルは、計画、デバッグ、複数ステップの回答のために取っておきましょう。ルーティングする前に、自社のサンプルで品質をテストしてください。

4. プロンプトから「ステップごとに考えて」を削除する

推論モデルはもともと考えます。そのうえで目に見えるステップごとの推論を求めると、隠れた思考と回答内の説明とで 2 回書くことになります。必要な形式で最終的な答えだけを求めてください。

どのタスクにどの設定を使えばよいですか?

タスク 推論の強度 max_tokens モデルの候補
分類、ルーティング low 1,000 Gemma 4 VL 26B または DeepSeek V4.1 Flash
JSON への抽出 low 1,000〜2,000 DeepSeek V4.1 Flash、構造化出力なら GLM 5.3
顧客への返信の下書き low またはデフォルト 2,000 DeepSeek V4.1 Flash
デバッグ、計画、コードレビュー デフォルト以上 8,000 または未設定 DeepSeek V4.1 Flash または GLM 5.3

これらは出発点です。自社のデータで出力トークン数と品質を計測し、調整してください。

推論に追加のコストがかからなくなるのはどんなときですか?

定額プランのときです。BroadNet の Full Moon プランは、セッションごとに月 $60 で DeepSeek V4.1 Flash を無制限に使え、トークン計量がないので、推論トークンにトークン単位のコストはかかりません。ただし時間はかかります。標準的な速度 毎秒約 100 トークン でも、推論トークンはすべて回答が始まる前に生成されるため、長く考えるほど回答が遅れます。定額がトークン課金より得になるときと、コーディングエージェントの請求額を下げるさらに 10 の方法もご覧ください。

BroadNet Inference が向いている用途

BroadNet は、https://inference.broadnet.ai/v1 の 1 つの OpenAI 互換キーで、3 つの推論モデルと、推論機能を掲載していない 1 つのモデルを提供しており、各レスポンスで利用量を報告します。そのため、タスクごとにルーティングして差を計測するのが簡単です。目に見える推論の要約が付いたクローズドモデルが必要なら、そのベンダーの API を使ってください。BroadNet のチャットカタログにクローズドモデルはありません。プランを見る。

よくある質問

推論トークンは入力と出力のどちらとして課金されますか?

出力です。モデルが生成するもので、completion_tokens に含めて報告され、100 万トークンあたりの出力単価で課金されます。

推論を完全にオフにできますか?

モデルによります。OpenAI のドキュメントには、一部のモデルで none や minimal を含む effort の値が記載されています。BroadNet では reasoning_effort を low にするか、BroadNet が推論機能を掲載していない Gemma 4 VL 26B を使ってください。

推論モデルで max_tokens を低くすると節約になりますか?

一部だけです。請求額に上限はかかりますが、推論が予算を使い切ると、思考の分を支払ったうえで空の回答が返ってきます。代わりに推論の強度を下げ、max_tokens は 1,000 以上に保ってください。

推論の内容は見られますか?

通常、content フィールドには含まれません。モデルが報告する場合は、usage ブロックの completion_tokens_details.reasoning_tokens に推論トークンの数が示されます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く