长时间运行的智能体会话会超出上下文窗口。压缩把完整历史换成一份摘要,然后接着干活。
工作原理
Anthropic 关于上下文工程的文章把压缩定义为 “the practice of taking a conversation nearing the context window limit, summarizing its contents,“(译文:把接近上下文窗口上限的对话拿出来,对其内容做摘要),然后用这份摘要开启一个新的上下文窗口。文章说,在 Claude Code 中,模型会 “preserves architectural decisions, unresolved bugs, and implementation details,“(译文:保留架构决策、未解决的 bug 和实现细节),丢掉冗余的工具输出,并带着摘要和 “the five most recently accessed files.”(译文:最近访问的五个文件)继续工作。
最轻量的形式是清除工具结果。同一篇文章称它为 “one of the safest lightest touch forms of compaction”(译文:最安全、最轻量的压缩形式之一):删掉历史深处旧的原始工具输出,其他内容都保留。
不同工具以不同方式提供压缩:
| 工具 | 压缩如何运行 |
|---|---|
| Claude Code | 接近上限时自动压缩会对历史做摘要;/compact Focus on ... 可以手动运行,并附上要保留哪些内容的说明 |
| OpenAI Responses API | 设置带 compact_threshold 的 context_management,token 数超过阈值时在服务端压缩;也可以调用独立的 compact 端点 |
| 你自己的智能体 | 让模型对历史做摘要,然后用系统提示词、摘要和最近几轮开启一个新的消息列表 |
算一笔账:一个历史已达 180,000 token 的智能体,压缩成 6,000 token 的摘要加上 20,000 token 的最近文件。之后每一轮发送的历史约为 26,000 token,而不是 180,000 且仍在增长。
为什么重要
- 长度。 不做压缩,长任务会在上下文窗口填满时停下。
- 质量。 远在达到上限之前,准确率就可能下降,这个问题叫上下文腐烂。更短、更干净的上下文会有帮助。
- 成本。 按 token 计费时,每一轮都要重新发送历史。压缩会缩短历史,不过压缩请求本身要把完整历史读一遍,而且改写后的前缀必须重新缓存(缓存输入 token)。
- 风险。 摘要可能丢掉以后会用到的细节。请写好自定义说明,指明要保留什么,并把关键事实放在笔记文件里。
在 BroadNet Inference 上
BroadNet 的 API 是无状态的 Chat Completions:每次都要发送完整的消息列表,BroadNet 的文档也没有描述服务端压缩功能。压缩发生在你的智能体或工具里,由它们发送缩短后的历史。
DeepSeek V4.1 Flash 和 GLM 5.3 支持 1,048,576 个 token 的上下文,所以需要压缩的次数更少,但在按量付费下,上面说的成本和质量问题依然存在。在包月套餐上没有 token 计量,所以压缩关系到的是质量和速度,而不是账单。长时间运行智能体的上下文管理介绍了什么时候压缩、先丢掉什么。