コンテキストウィンドウは、1 回のリクエストにおけるモデルの作業用メモリです。モデルが見る必要のあるものも、モデルが書き返すものも、すべてこの中に収まらなければなりません。
しくみ
ウィンドウはトークンで測られます。Anthropic のドキュメントでは「all the text a language model can reference when generating a response, including the response itself.」(訳:言語モデルが応答を生成する際に参照できるすべてのテキストで、応答そのものを含む)と説明されています。具体的には次のものが含まれます。
- システムプロンプトと、以前のターンを含むすべてのメッセージ
- ツール定義とツールの結果
- ドキュメントと画像
- 出力。表に出ない推論トークンも含みます。
つまり、予算は共有です。1,048,576 トークンのウィンドウで 1,040,000 トークンのプロンプトを送ると、推論と回答に残るのは約 8,000 トークンです。これを踏まえて max_tokens を設定してください。
モデルは以前のリクエストを覚えていません。チャットが続いているように感じられるのは、クライアントが毎ターン履歴を送り直しているからです。そのため、長い会話では少しずつウィンドウが埋まっていきます。
なぜ重要か
- できること。 大きなウィンドウなら、コードベース全体、一連の契約書、何時間分もの文字起こしを 1 回のリクエストに入れられ、モデルがそれらの間の事実を結び付けられます。
- コスト。 トークン課金のキーでは、ウィンドウ内のすべてのトークンが入力として課金されます。キャッシュを使うと繰り返し送るプレフィックスの単価は下がりますが、キャッシュされたトークンもウィンドウを占有します。
- 品質。 多ければ良いとは限りません。Anthropic は、非常に長いプロンプトで精度が落ちることを「context rot」(コンテキストの劣化)と呼んでいます。送る内容を選んでください。
- レイテンシ。 プロンプトが長いほど、最初のトークンが出るまでに時間がかかります。
BroadNet Inference の場合
| モデル | コンテキストウィンドウ |
|---|---|
| DeepSeek V4.1 Flash | 1,048,576 トークン |
| GLM 5.3 | 1,048,576 トークン |
| Qwen3.8 27B | 262,144 トークン |
| BroadNet Gemma 4 VL 26B | 32,768 トークン |
ウィンドウはプロンプトと回答の合計で、BroadNet はコンテキストを削りません。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論するため、余裕を残してください。ウィンドウがいっぱいで出力の予算が小さいと、空の回答が返ります。推論モデルが空の回答を返す理由を参照してください。
無制限プランでは、DeepSeek V4.1 Flash の 100 万トークンのウィンドウをすべて使えます。それだけのコンテキストが検索(retrieval)より有利になる場面については、100 万トークンのコンテキストウィンドウのガイドをお読みください。
よくある間違い
- ウィンドウを出力の長さと考えること。出力の上限は
max_tokensで別に設定します。 - 履歴全体をいつまでも送り直すこと。ウィンドウが埋まる前に、古いターンを要約するか削除してください。