BroadRouter
开始使用

上下文腐化(context rot)

更新于

上下文腐化是指语言模型的输入变长时,准确性和可靠性逐渐下降的现象,即使任务不变、输入远未超出上下文窗口也会发生。这个术语因 Chroma 2025 年一份测试了 18 个模型的技术报告而流行。

又称: 上下文腐烂、上下文退化、长上下文性能下降、长文本衰减、context rot、context degradation、long-context degradation、context decay、context window degradation

一个能接收一百万 token 的模型,对第一百万个 token 的利用并不如对前一千个 token。这个差距就是上下文腐化。

工作原理

Chroma 的报告(Hong、Troynikov 和 Huber,2025 年 7 月)测试了 18 个模型,包括 GPT-4.1、Claude 4、Gemini 2.5 和 Qwen3,任务难度保持不变,只让输入变长。核心结论是:“model performance consistently degrades with increasing input length.”(译文:随着输入长度增加,模型表现持续下降。)

有三个效应尤其明显:

  • 弱匹配受影响最大。 当问题和相关段落共享的词很少时,长度增加后准确率下降得更快。
  • 干扰内容有害。 “Even a single distractor reduces performance relative to the baseline”(译文:即使只有一个干扰项,表现也会低于基线),四个干扰项则更糟。干扰项是指主题相同但并不能回答问题的段落。
  • 结构的影响有点反直觉。 连贯的填充文本比把同样句子打乱后的文本危害更大。作者发现 “structural coherence consistently hurts model performance.”(译文:结构上的连贯性持续损害模型表现。)

这建立在中间迷失等早期研究的基础上,那些研究揭示了位置效应。上下文腐化把结论推得更远:不只是位置,长度本身就会损失准确率。

为什么重要

  • 智能体。 编程或调研智能体会不断累积读取的文件、日志和旧的工具结果,每一项都可能成为干扰项。准确率可能在上下文窗口填满之前很久就开始下滑。
  • 费用和延迟。 更长的提示词也意味着更多输入 token 和更长的处理时间,所以精简上下文能同时在三方面受益。
  • 长上下文与检索。 直接发送整个语料库很简单,但只发送相关分块的 RAG 能把干扰项挡在外面。

在 BroadNet Inference 上

BroadNet 的 DeepSeek V4.1 Flash 和 GLM 5.3 最多支持 1,048,576 token,Qwen3.8 27B 最多支持 262,144。BroadNet 不会裁剪你的上下文,你发送什么,模型就读什么。把上限当作天花板,而不是目标。1M token 上下文窗口指南讲解了什么时候用满窗口才划算,长时间运行智能体的上下文管理展示了摘要和裁剪的做法。发送之前,可以用上下文窗口计算器估算提示词的大小。

常见错误

  • “以防万一”把所有文件都贴进去。相关但无用的文本,正是 Chroma 干扰项测试所用的内容。
  • 用与问题逐字匹配的“针”来测试。真实的问题很少会这样。

常见问题

上下文腐化和“中间迷失”是一回事吗?

两者相关。中间迷失讲的是关键事实在提示词中的位置。上下文腐化讲的是输入总长度、干扰内容和文本结构如何整体降低准确率。

上下文窗口更大能解决上下文腐化吗?

不能。更大的窗口让你能发送更多内容,但 Chroma 发现,在它测试的每个模型上,输入越长表现越差。只发送任务需要的内容,而不是能塞下的所有内容。

智能体如何避免上下文腐化?

让工作上下文保持精简:摘要旧的轮次,丢掉过时的工具输出,按需加载文件而不是一次性全部加载。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity