一个能接收一百万 token 的模型,对第一百万个 token 的利用并不如对前一千个 token。这个差距就是上下文腐化。
工作原理
Chroma 的报告(Hong、Troynikov 和 Huber,2025 年 7 月)测试了 18 个模型,包括 GPT-4.1、Claude 4、Gemini 2.5 和 Qwen3,任务难度保持不变,只让输入变长。核心结论是:“model performance consistently degrades with increasing input length.”(译文:随着输入长度增加,模型表现持续下降。)
有三个效应尤其明显:
- 弱匹配受影响最大。 当问题和相关段落共享的词很少时,长度增加后准确率下降得更快。
- 干扰内容有害。 “Even a single distractor reduces performance relative to the baseline”(译文:即使只有一个干扰项,表现也会低于基线),四个干扰项则更糟。干扰项是指主题相同但并不能回答问题的段落。
- 结构的影响有点反直觉。 连贯的填充文本比把同样句子打乱后的文本危害更大。作者发现 “structural coherence consistently hurts model performance.”(译文:结构上的连贯性持续损害模型表现。)
这建立在中间迷失等早期研究的基础上,那些研究揭示了位置效应。上下文腐化把结论推得更远:不只是位置,长度本身就会损失准确率。
为什么重要
- 智能体。 编程或调研智能体会不断累积读取的文件、日志和旧的工具结果,每一项都可能成为干扰项。准确率可能在上下文窗口填满之前很久就开始下滑。
- 费用和延迟。 更长的提示词也意味着更多输入 token 和更长的处理时间,所以精简上下文能同时在三方面受益。
- 长上下文与检索。 直接发送整个语料库很简单,但只发送相关分块的 RAG 能把干扰项挡在外面。
在 BroadNet Inference 上
BroadNet 的 DeepSeek V4.1 Flash 和 GLM 5.3 最多支持 1,048,576 token,Qwen3.8 27B 最多支持 262,144。BroadNet 不会裁剪你的上下文,你发送什么,模型就读什么。把上限当作天花板,而不是目标。1M token 上下文窗口指南讲解了什么时候用满窗口才划算,长时间运行智能体的上下文管理展示了摘要和裁剪的做法。发送之前,可以用上下文窗口计算器估算提示词的大小。
常见错误
- “以防万一”把所有文件都贴进去。相关但无用的文本,正是 Chroma 干扰项测试所用的内容。
- 用与问题逐字匹配的“针”来测试。真实的问题很少会这样。