BroadRouter
始める

コンテキストの劣化(context rot)

更新日

コンテキストの劣化(context rot)とは、入力が長くなるにつれて言語モデルの精度と信頼性が徐々に下がる現象です。タスクが同じで、入力がコンテキストウィンドウに十分収まっていても起こります。18 モデルを検証した Chroma の 2025 年の技術レポートで広まった用語です。

別名: コンテキストロット、コンテキスト劣化、長文コンテキストの性能低下、ロングコンテキストの劣化、context rot、context degradation、long-context degradation、context decay、context window degradation

100 万トークンを受け付けるモデルでも、100 万番目のトークンを最初の 1,000 トークンと同じようには扱えません。この差がコンテキストの劣化です。

仕組み

Chroma のレポート(Hong、Troynikov、Huber、2025 年 7 月)は、GPT-4.1、Claude 4、Gemini 2.5、Qwen3 を含む 18 モデルを、難易度を変えずに入力だけを長くしたタスクで検証しました。主な結論は “model performance consistently degrades with increasing input length.”(訳:入力が長くなるにつれて、モデルの性能は一貫して低下する。)です。

特に目立ったのは次の 3 つの効果です。

  • 一致の弱い問いほど影響が大きい。 質問と関連する段落に共通する語が少ないと、長さが増えたときの精度の落ち方が速くなりました。
  • 紛らわしい文章が害になる。 “Even a single distractor reduces performance relative to the baseline”(訳:紛らわしい文章が 1 つあるだけで、ベースラインより性能が下がる)。4 つになるとさらに悪化しました。ここでいう紛らわしい文章(distractor)とは、同じ話題を扱っていても質問の答えにはならない段落のことです。
  • 構造の影響は意外な形で出る。 筋の通った埋め草テキストのほうが、同じ文をシャッフルしたものより悪影響が大きくなりました。著者らは “structural coherence consistently hurts model performance.”(訳:構造的な一貫性は、一貫してモデルの性能を損なう。)と述べています。

これは、位置による影響を示した lost in the middle などの先行研究を踏まえたものです。コンテキストの劣化はその論点を広げ、位置だけでなく長さそのものが精度を下げることを示しています。

なぜ重要か

  • エージェント。 コーディングや調査のエージェントには、読み込んだファイル、ログ、古いツール結果がたまっていきます。そのどれもが紛らわしい文章になり得ます。コンテキストウィンドウが埋まるずっと前から、精度が下がり始めることがあります。
  • コストとレイテンシ。 プロンプトが長いほど入力トークンの料金がかさみ、処理にも時間がかかります。削れば 3 つの面で同時に得をします。
  • 長いコンテキストか、検索か。 コーパス全体を送るのは簡単ですが、関連するチャンクだけを送る RAG なら紛らわしい文章を入れずに済みます。

BroadNet Inference では

BroadNet の DeepSeek V4.1 Flash と GLM 5.3 は最大 1,048,576 トークン、Qwen3.8 27B は最大 262,144 トークンを受け付けます。BroadNet はコンテキストを切り詰めないので、送ったものがそのままモデルに読まれます。上限は目標ではなく天井として扱ってください。100 万トークンのコンテキストウィンドウ ガイドではウィンドウを使い切る価値がある場面を、長時間動くエージェントのコンテキスト管理では要約と刈り込みのパターンを解説しています。送信前にプロンプトの大きさを見積もるには、コンテキストウィンドウ計算ツールが便利です。

よくある間違い

  • 「念のため」にすべてのファイルを貼り付ける。関連はあっても役に立たない文章こそ、Chroma の distractor テストで使われたものです。
  • 質問と一字一句一致する「針」でテストする。実際の質問がそうなることはまずありません。

よくある質問

コンテキストの劣化と lost in the middle は同じですか?

関連はしています。lost in the middle は、重要な事実がプロンプトのどこにあるかという位置の問題です。コンテキストの劣化は、入力全体の長さ、紛らわしい文章、文章の構造が全体の精度をどう下げるかという問題です。

コンテキストウィンドウを大きくすれば解決しますか?

いいえ。ウィンドウが大きければより多く送れますが、Chroma は検証したすべてのモデルで、入力が長くなるほど性能が下がることを確認しました。入るものをすべて送るのではなく、タスクに必要なものだけを送ってください。

エージェントでコンテキストの劣化を防ぐには?

作業中のコンテキストを短く保つことです。古いターンを要約し、使わなくなったツール出力を捨て、ファイルは一度に全部ではなく必要なときに読み込みます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く