BroadRouter
开始使用

上下文压缩(context compaction)

更新于

上下文压缩是指在对话接近上下文窗口上限时对其进行摘要,并从这份摘要继续会话的做法,这样智能体能保留关键决策和状态,同时丢掉旧的工具输出等原始历史。

又称: 上下文压缩、对话压缩、自动压缩、上下文摘要、历史压缩、compaction、auto-compact、conversation compaction、context summarization、context compaction

长时间运行的智能体会话会超出上下文窗口。压缩把完整历史换成一份摘要,然后接着干活。

工作原理

Anthropic 关于上下文工程的文章把压缩定义为 “the practice of taking a conversation nearing the context window limit, summarizing its contents,“(译文:把接近上下文窗口上限的对话拿出来,对其内容做摘要),然后用这份摘要开启一个新的上下文窗口。文章说,在 Claude Code 中,模型会 “preserves architectural decisions, unresolved bugs, and implementation details,“(译文:保留架构决策、未解决的 bug 和实现细节),丢掉冗余的工具输出,并带着摘要和 “the five most recently accessed files.”(译文:最近访问的五个文件)继续工作。

最轻量的形式是清除工具结果。同一篇文章称它为 “one of the safest lightest touch forms of compaction”(译文:最安全、最轻量的压缩形式之一):删掉历史深处旧的原始工具输出,其他内容都保留。

不同工具以不同方式提供压缩:

工具 压缩如何运行
Claude Code 接近上限时自动压缩会对历史做摘要;/compact Focus on ... 可以手动运行,并附上要保留哪些内容的说明
OpenAI Responses API 设置带 compact_threshold 的 context_management,token 数超过阈值时在服务端压缩;也可以调用独立的 compact 端点
你自己的智能体 让模型对历史做摘要,然后用系统提示词、摘要和最近几轮开启一个新的消息列表

算一笔账:一个历史已达 180,000 token 的智能体,压缩成 6,000 token 的摘要加上 20,000 token 的最近文件。之后每一轮发送的历史约为 26,000 token,而不是 180,000 且仍在增长。

为什么重要

  • 长度。 不做压缩,长任务会在上下文窗口填满时停下。
  • 质量。 远在达到上限之前,准确率就可能下降,这个问题叫上下文腐烂。更短、更干净的上下文会有帮助。
  • 成本。 按 token 计费时,每一轮都要重新发送历史。压缩会缩短历史,不过压缩请求本身要把完整历史读一遍,而且改写后的前缀必须重新缓存(缓存输入 token)。
  • 风险。 摘要可能丢掉以后会用到的细节。请写好自定义说明,指明要保留什么,并把关键事实放在笔记文件里。

在 BroadNet Inference 上

BroadNet 的 API 是无状态的 Chat Completions:每次都要发送完整的消息列表,BroadNet 的文档也没有描述服务端压缩功能。压缩发生在你的智能体或工具里,由它们发送缩短后的历史。

DeepSeek V4.1 Flash 和 GLM 5.3 支持 1,048,576 个 token 的上下文,所以需要压缩的次数更少,但在按量付费下,上面说的成本和质量问题依然存在。在包月套餐上没有 token 计量,所以压缩关系到的是质量和速度,而不是账单。长时间运行智能体的上下文管理介绍了什么时候压缩、先丢掉什么。

常见问题

压缩会丢失信息吗?

会,这是设计使然。摘要只保留摘要者认为重要的内容,其余的都丢掉。需求、未解决的 bug 这类不能丢的事实,请写进一个智能体可以重新读取的笔记文件。

压缩是免费的吗?

不是。Claude Code 的文档指出,压缩时要读取它所摘要的整段对话,所以压缩一个很大的上下文本身就是一个很大的请求。用 /clear 从头开始不花钱,但不保留任何连续性。

压缩会让提示词缓存失效吗?

它改写了历史,所以下一个请求中被改写的部分无法命中缓存。Claude Code 把这算作预期内的缓存重建。之后,缩短的历史会照常被缓存。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity