BroadRouter
始める

コンテキストウィンドウ(context window)

更新日

コンテキストウィンドウとは、言語モデルが 1 回のリクエストで扱えるトークン数の上限です。プロンプト、会話履歴、ツール定義、画像、推論トークンを含む出力がすべて入ります。収まらない部分は削るか要約するか、複数のリクエストに分けます。

別名: コンテキスト長、コンテキストサイズ、トークン上限、コンテキスト上限、最大コンテキスト、context window、context length、context size、token limit、context limit

コンテキストウィンドウは、1 回のリクエストにおけるモデルの作業用メモリです。モデルが見る必要のあるものも、モデルが書き返すものも、すべてこの中に収まらなければなりません。

しくみ

ウィンドウはトークンで測られます。Anthropic のドキュメントでは「all the text a language model can reference when generating a response, including the response itself.」(訳:言語モデルが応答を生成する際に参照できるすべてのテキストで、応答そのものを含む)と説明されています。具体的には次のものが含まれます。

  • システムプロンプトと、以前のターンを含むすべてのメッセージ
  • ツール定義とツールの結果
  • ドキュメントと画像
  • 出力。表に出ない推論トークンも含みます。

つまり、予算は共有です。1,048,576 トークンのウィンドウで 1,040,000 トークンのプロンプトを送ると、推論と回答に残るのは約 8,000 トークンです。これを踏まえて max_tokens を設定してください。

モデルは以前のリクエストを覚えていません。チャットが続いているように感じられるのは、クライアントが毎ターン履歴を送り直しているからです。そのため、長い会話では少しずつウィンドウが埋まっていきます。

なぜ重要か

  • できること。 大きなウィンドウなら、コードベース全体、一連の契約書、何時間分もの文字起こしを 1 回のリクエストに入れられ、モデルがそれらの間の事実を結び付けられます。
  • コスト。 トークン課金のキーでは、ウィンドウ内のすべてのトークンが入力として課金されます。キャッシュを使うと繰り返し送るプレフィックスの単価は下がりますが、キャッシュされたトークンもウィンドウを占有します。
  • 品質。 多ければ良いとは限りません。Anthropic は、非常に長いプロンプトで精度が落ちることを「context rot」(コンテキストの劣化)と呼んでいます。送る内容を選んでください。
  • レイテンシ。 プロンプトが長いほど、最初のトークンが出るまでに時間がかかります。

BroadNet Inference の場合

モデル コンテキストウィンドウ
DeepSeek V4.1 Flash 1,048,576 トークン
GLM 5.3 1,048,576 トークン
Qwen3.8 27B 262,144 トークン
BroadNet Gemma 4 VL 26B 32,768 トークン

ウィンドウはプロンプトと回答の合計で、BroadNet はコンテキストを削りません。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論するため、余裕を残してください。ウィンドウがいっぱいで出力の予算が小さいと、空の回答が返ります。推論モデルが空の回答を返す理由を参照してください。

無制限プランでは、DeepSeek V4.1 Flash の 100 万トークンのウィンドウをすべて使えます。それだけのコンテキストが検索(retrieval)より有利になる場面については、100 万トークンのコンテキストウィンドウのガイドをお読みください。

よくある間違い

  • ウィンドウを出力の長さと考えること。出力の上限は max_tokens で別に設定します。
  • 履歴全体をいつまでも送り直すこと。ウィンドウが埋まる前に、古いターンを要約するか削除してください。

よくある質問

プロンプトがコンテキストウィンドウより長いとどうなりますか?

API はリクエストを拒否します。通常は 400 エラーです。たとえば Anthropic は「prompt is too long」(訳:プロンプトが長すぎます)を返します。古いメッセージを自動で削ってくれるチャットアプリもありますが、ほとんどの API は削りません。

コンテキストウィンドウは大きいほど良いのですか?

いいえ。長いプロンプトは料金も処理時間も増えます。また Anthropic は、トークン数が増えると精度や想起が低下しうると指摘しています。タスクに必要なものだけを送ってください。

BroadNet はコンテキストを削りますか?

いいえ。BroadNet Inference はコンテキストを削りません。リクエストが収まらない場合は、ご自身で短くしてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く