BroadRouter

长时间运行的智能体如何管理上下文:用好 1M 窗口

BroadNet Inference 团队 · 阅读约 6 分钟 · 发布于 · 更新于

把上下文当作只追加的日志:固定的系统提示词和工具列表放在最前,后面是只增不改的历史,这样每一轮都能复用已缓存的前缀。在 DeepSeek V4.1 Flash 这样 1,048,576 token 的窗口上,压缩要少做、一次压够;先删减庞大的工具输出,并把需要长期保留的事实放进一个智能体会反复读取的简短笔记文件。

一个干了一下午活的编程智能体会积累大量历史:读过的文件、运行过的命令、测试输出、计划、更正。每一轮都要把这些全部发回给模型。你如何管理这份不断增长的上下文,同时决定了三件事:每一轮的成本、响应速度,以及智能体是否还记得自己在做什么。

1M token 的窗口改变了这些取舍,但并没有让它们消失。

1M token 窗口能给长时间运行的智能体带来什么?

在 BroadNet Inference 上,DeepSeek V4.1 Flash 和 GLM 5.3 每个请求最多接受 1,048,576 个 token,提示词和回答合计。Qwen3.8 27B 接受 262,144 个。窗口较小时,智能体工作一两个小时后就得做摘要。有了一百万 token,它通常能保留整个会话的原始历史,只在非常长的运行接近尾声时才压缩。

这是实实在在的优势:摘要会丢信息,每做一次摘要,都可能忘掉那个恰好关键的细节。但有三种成本仍会随提示词增长:

  • 金钱:用按 token 计费的密钥时,每一轮都要重新发送整个提示词。
  • 延迟:服务器必须处理完所有输入 token,才能输出第一个 token。
  • 注意力。 输入变长时质量可能下降,这种现象叫上下文腐化(context rot)。论文 “Lost in the Middle” 发现,模型对长输入开头和结尾的信息,往往比对中间的信息利用得更可靠。较新的模型表现更好,但把重要事实放在靠近两端的位置,这个习惯仍然值得保留。

规则 1:为什么历史应该只追加?

提示词缓存从提示词的开头开始匹配。如果这一轮的前 300,000 个 token 与上一轮完全相同,它们就可以从缓存中读取;第一个发生变化的 token 会终止匹配。只要模型会报告,BroadNet 的 API 就会在 usage.prompt_tokens_details.cached_tokens 中给出这个数,并按更低的单价对缓存输入计费:DeepSeek V4.1 Flash 上每 1M token $0.0055,而新输入是 $0.175。

所以每个请求都按相同的顺序组织,并且永远只往末尾添加:

[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]

常见的前缀破坏者有:系统提示词里的时间戳、顺序不固定的工具定义,以及重新渲染旧的工具结果。对智能体来说还要再加一个:每次都丢掉最旧一轮的“滑动窗口”式裁剪,它会让后面的所有内容整体移位。以上每一种都会把已缓存的提示词变成一个全新的提示词;面向缓存的提示词结构列出了其余情况,并附有一个验证前缀确实被缓存的测试。在长会话中差别很大:提示词的大部分都可以是缓存输入,而不是新输入。参见缓存输入如何计费。

规则 2:如何测量缓存命中率?

每个请求都记录下来。用 OpenAI SDK,在调用之后加三行即可:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")

一个健康的只追加型智能体,从第二轮起每一轮的缓存占比都很高。如果突然降到接近零,说明提示词靠前的某处发生了变化。找到它,把它固定下来。提示词缓存计算器可以把缓存命中率换算成每个会话的花费。

规则 3:上下文变大时,应该先删减什么?

当上下文确实需要缩小时,删什么很重要。在大多数智能体的对话记录里,大头是工具输出:一份 4,000 行的测试日志、为了找一个函数而读入的整份文件、一份目录列表。真正有价值的部分很小:计划、决策及其理由、已经修复的错误。

删减顺序,从先到后:

  1. 过时的工具输出。 把旧工具结果的正文替换成一行占位说明:“运行 pytest:test_api.py 有 3 个失败(已在第 14 轮修复)”。
  2. 已被取代的文件内容。 如果智能体读了 api.py,修改了它,然后又读了一遍,第一次读取的内容就是累赘。
  3. 没有结果的探索。 没有带来任何修改的搜索和读取。
  4. 思考过程和计划。 这些保留得最久。它们解释了代码为什么是现在这个样子。

在工具输出产生的那一刻就截断,效果更好。给每个工具结果设上限(例如日志的最后 200 行加上总行数),需要更多时让智能体自己去要。这样历史既保持只追加,又保持精简。

规则 4:智能体什么时候应该压缩历史?

压缩(把较早的历史总结成更短的一段)是重型工具。它会改写前缀,所以压缩之后的那一轮,系统提示词之后的所有内容都要按全价输入付费。每隔几轮就压缩一点,意味着一次又一次地付这笔钱。

更好的做法:

  • 选一个较高的阈值。 有了 1M 窗口,比如在用到 60–70% 时再压缩,就能给摘要那一轮和之后大量的新工作留出空间。
  • 原样保留最近的部分。 只总结旧的部分,最后一段对话保持原样。opencode 的压缩文档就是这么描述的:它会总结对话,并保留最近的一部分,默认约 15,000 个 token。
  • 用完整提示词来做摘要。 把整个对话发给摘要请求,它就能复用上一轮的缓存。
  • 压缩一次,然后继续追加。 压缩后新的前缀是稳定的,缓存会从那里重新生效。

规则 5:笔记文件里应该放什么?

有些事实必须在任意多次压缩后都保留下来:目标、约束、已做的决策、构建和测试项目的命令。把它们放进一个简短的笔记文件(NOTES.md 或任务文件),让智能体往里追加并反复读取。它位于提示词靠前的位置,很少变化,而且一旦运行重启,它是新会话首先读取的内容。

这也是最便宜的一种记忆:几千个 token,就能让智能体不必在每次摘要后重新发现同样的事实。

思考 token 如何影响预算?

DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 都会先思考再回答,而思考内容计入 max_tokens。长会话不会改变这一点,但提示词很大时,人们容易想调低 max_tokens 来“省出空间”。不要这样做。过紧的输出预算会产生空回答,智能体随后又会重试。参见为什么回答会是空的。

还要记住,窗口是把提示词和回答一起计算的。提示词接近 1,048,576 个 token 时,就没有空间回答了。在那之前就要压缩;上下文窗口计算器会显示一个给定的提示词还剩多少空间。

用固定价格套餐时,这些还重要吗?

在 BroadNet 的套餐会话中,DeepSeek V4.1 Flash 不计 token:无论提示词多长,一个 Full Moon 会话都是每月 $60。缓存在省钱上的理由消失了,另外两个理由却还在。在许多推理服务系统中,已缓存的前缀通常处理得更快;管理得当的上下文也会带来更好的回答。习惯不变,只是理由变了。参见套餐会话如何运作。

上下文管理清单

  • 系统提示词和工具列表在整个会话中保持固定。
  • 历史只追加;旧的轮次从不重新格式化。
  • 每个请求都记录缓存命中率。
  • 工具输出在产生时就设上限;过时的输出之后换成占位说明。
  • 在较高的阈值才压缩,并原样保留最近的部分。
  • 一个记录目标、约束和决策的笔记文件。
  • 输出预算足够容纳思考过程。

想进一步了解什么时候值得用满一百万 token 的窗口,请看 1M 上下文窗口指南。想阻止那些越跑越长却没有进展的会话,请看智能体循环成本控制。

常见问题

模型都有 1M 上下文窗口了,为什么还要管理上下文?

因为成本、延迟和准确度都会随提示词变长而变化。长提示词处理更慢,用按 token 计费的密钥时每一轮都更贵;研究还表明,模型对长输入中间部分的信息利用得不那么可靠。

怎么知道我的智能体有没有命中缓存?

只要模型会报告,usage 块里就会有 prompt_tokens_details.cached_tokens。每个请求都用它除以 prompt_tokens,并把这个比例记录下来。

用固定价格套餐时,还需要压缩上下文吗?

对账单来说不需要,因为套餐会话不计 token。但在非常长的会话里,它对速度和回答质量仍然有影响。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity