100 万トークンを受け付けるモデルでも、100 万番目のトークンを最初の 1,000 トークンと同じようには扱えません。この差がコンテキストの劣化です。
仕組み
Chroma のレポート(Hong、Troynikov、Huber、2025 年 7 月)は、GPT-4.1、Claude 4、Gemini 2.5、Qwen3 を含む 18 モデルを、難易度を変えずに入力だけを長くしたタスクで検証しました。主な結論は “model performance consistently degrades with increasing input length.”(訳:入力が長くなるにつれて、モデルの性能は一貫して低下する。)です。
特に目立ったのは次の 3 つの効果です。
- 一致の弱い問いほど影響が大きい。 質問と関連する段落に共通する語が少ないと、長さが増えたときの精度の落ち方が速くなりました。
- 紛らわしい文章が害になる。 “Even a single distractor reduces performance relative to the baseline”(訳:紛らわしい文章が 1 つあるだけで、ベースラインより性能が下がる)。4 つになるとさらに悪化しました。ここでいう紛らわしい文章(distractor)とは、同じ話題を扱っていても質問の答えにはならない段落のことです。
- 構造の影響は意外な形で出る。 筋の通った埋め草テキストのほうが、同じ文をシャッフルしたものより悪影響が大きくなりました。著者らは “structural coherence consistently hurts model performance.”(訳:構造的な一貫性は、一貫してモデルの性能を損なう。)と述べています。
これは、位置による影響を示した lost in the middle などの先行研究を踏まえたものです。コンテキストの劣化はその論点を広げ、位置だけでなく長さそのものが精度を下げることを示しています。
なぜ重要か
- エージェント。 コーディングや調査のエージェントには、読み込んだファイル、ログ、古いツール結果がたまっていきます。そのどれもが紛らわしい文章になり得ます。コンテキストウィンドウが埋まるずっと前から、精度が下がり始めることがあります。
- コストとレイテンシ。 プロンプトが長いほど入力トークンの料金がかさみ、処理にも時間がかかります。削れば 3 つの面で同時に得をします。
- 長いコンテキストか、検索か。 コーパス全体を送るのは簡単ですが、関連するチャンクだけを送る RAG なら紛らわしい文章を入れずに済みます。
BroadNet Inference では
BroadNet の DeepSeek V4.1 Flash と GLM 5.3 は最大 1,048,576 トークン、Qwen3.8 27B は最大 262,144 トークンを受け付けます。BroadNet はコンテキストを切り詰めないので、送ったものがそのままモデルに読まれます。上限は目標ではなく天井として扱ってください。100 万トークンのコンテキストウィンドウ ガイドではウィンドウを使い切る価値がある場面を、長時間動くエージェントのコンテキスト管理では要約と刈り込みのパターンを解説しています。送信前にプロンプトの大きさを見積もるには、コンテキストウィンドウ計算ツールが便利です。
よくある間違い
- 「念のため」にすべてのファイルを貼り付ける。関連はあっても役に立たない文章こそ、Chroma の distractor テストで使われたものです。
- 質問と一字一句一致する「針」でテストする。実際の質問がそうなることはまずありません。