BroadRouter
Начать

Деградация контекста (context rot)

Обновлено

Деградация контекста (context rot) — это постепенная потеря точности и надёжности языковых моделей по мере удлинения входа, даже если задача не меняется, а вход далеко не заполняет контекстное окно. Термин закрепился после технического отчёта Chroma 2025 года, в котором проверили 18 моделей.

Также называют: деградация контекста, гниение контекста, деградация длинного контекста, деградация на длинном контексте, context rot, context degradation, long-context degradation, context decay, context window degradation

Модель, которая принимает миллион токенов, использует миллионный токен хуже, чем первую тысячу. Этот разрыв и есть деградация контекста.

Как это работает

Отчёт Chroma (Hong, Troynikov и Huber, июль 2025 года) проверил 18 моделей, включая GPT-4.1, Claude 4, Gemini 2.5 и Qwen3, на задачах, сложность которых не менялась, а вход рос. Главный вывод: “model performance consistently degrades with increasing input length.” (перевод: «качество модели стабильно падает с ростом длины входа».)

Выделились три эффекта:

  • Сильнее всего страдают слабые совпадения. Когда у вопроса и нужного фрагмента мало общих слов, точность с ростом длины падала быстрее.
  • Отвлекающие фрагменты вредят. “Even a single distractor reduces performance relative to the baseline” (перевод: «даже один отвлекающий фрагмент снижает качество относительно базового уровня»), а четыре ухудшали результат ещё сильнее. Отвлекающий фрагмент — это отрывок на ту же тему, который не отвечает на вопрос.
  • Структура важна, причём неожиданным образом. Связный текст-наполнитель вредил сильнее, чем те же предложения в перемешанном виде. Авторы обнаружили, что “structural coherence consistently hurts model performance.” (перевод: «структурная связность стабильно ухудшает качество модели».)

Это продолжает более ранние работы, например lost in the middle, где были показаны эффекты позиции. Деградация контекста расширяет вывод: точность снижает сама длина, а не только позиция.

Почему это важно

  • Агенты. Агент для программирования или исследований накапливает прочитанные файлы, логи и старые результаты инструментов. Каждый из них — потенциальный отвлекающий фрагмент. Точность может поползти вниз задолго до заполнения контекстного окна.
  • Стоимость и задержка. Длинные промпты к тому же требуют больше входных токенов и дольше обрабатываются, так что сокращение помогает сразу в трёх отношениях.
  • Длинный контекст против поиска. Отправить весь корпус просто, но RAG, который отправляет только релевантные чанки, не пускает в контекст отвлекающие фрагменты.

В BroadNet Inference

DeepSeek V4.1 Flash и GLM 5.3 в BroadNet принимают до 1 048 576 токенов, а Qwen3.8 27B — до 262 144. BroadNet не обрезает ваш контекст: модель читает ровно то, что вы отправили. Считайте лимит потолком, а не целью. Руководство по контекстному окну в 1 млн токенов объясняет, когда полное окно оправдано, а статья об управлении контекстом для долго работающих агентов показывает приёмы суммаризации и обрезки. Калькулятор контекстного окна помогает оценить размер промпта до отправки.

Частые ошибки

  • Вставлять все файлы «на всякий случай». Связанный, но нерелевантный текст — именно то, что Chroma использовала в тестах с отвлекающими фрагментами.
  • Тестировать на «иголке», которая дословно совпадает с вопросом. Реальные вопросы так совпадают редко.

Вопросы и ответы

Context rot — это то же самое, что lost in the middle?

Это родственные явления. Lost in the middle — о том, где в промпте находится ключевой факт. Деградация контекста — о том, как общая длина входа, отвлекающие фрагменты и структура снижают точность в целом.

Решает ли проблему большее контекстное окно?

Нет. Большое окно позволяет отправить больше, но Chroma обнаружила, что с ростом входа качество падает у каждой проверенной модели. Отправляйте то, что нужно задаче, а не всё, что помещается.

Как агентам избежать деградации контекста?

Держать рабочий контекст коротким: суммаризировать старые шаги, выбрасывать устаревший вывод инструментов и загружать файлы по мере необходимости, а не все сразу.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity