---
title: "大模型智能体上下文管理：1M 上下文窗口实践 | BroadRouter"
description: "用 1M token 窗口让长时间运行的智能体既准确又省钱：只追加的历史、对缓存友好的提示词、何时压缩上下文，以及优先删减哪些内容。"
url: https://broadrouter.com/zh/blog/long-running-agent-context-management/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/long-running-agent-context-management/)（2026-11-16 更新）。

# 长时间运行的智能体如何管理上下文：用好 1M 窗口

BroadNet Inference 团队 · 阅读约 6 分钟 · 发布于 2026-11-14 · 更新于 2026-11-16

把上下文当作只追加的日志：固定的系统提示词和工具列表放在最前，后面是只增不改的历史，这样每一轮都能复用已缓存的前缀。在 DeepSeek V4.1 Flash 这样 1,048,576 token 的窗口上，压缩要少做、一次压够；先删减庞大的工具输出，并把需要长期保留的事实放进一个智能体会反复读取的简短笔记文件。

## 要点

-   大窗口只是推迟了上下文问题，并没有消除它。要提前规划接近上限时怎么办。
-   只追加的历史能保持提示词前缀稳定，缓存输入就一直便宜。
-   每改写一次早先的历史，缓存就会从改写处开始失效。
-   先删减庞大的工具输出（日志、整份文件内容），再考虑删减思考过程和决策。
-   压缩要少做、一次压够，并用一个简短的笔记文件保存需要长期保留的事实。

**本页内容**

1.  1M token 窗口能给长时间运行的智能体带来什么？
2.  规则 1：为什么历史应该只追加？
3.  规则 2：如何测量缓存命中率？
4.  规则 3：上下文变大时，应该先删减什么？
5.  规则 4：智能体什么时候应该压缩历史？
6.  规则 5：笔记文件里应该放什么？
7.  思考 token 如何影响预算？
8.  用固定价格套餐时，这些还重要吗？
9.  上下文管理清单

一个干了一下午活的编程智能体会积累大量历史：读过的文件、运行过的命令、测试输出、计划、更正。每一轮都要把这些全部发回给模型。你如何管理这份不断增长的上下文，同时决定了三件事：每一轮的成本、响应速度，以及智能体是否还记得自己在做什么。

1M token 的窗口改变了这些取舍，但并没有让它们消失。

## 1M token 窗口能给长时间运行的智能体带来什么？

在 BroadNet Inference 上，[DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 和 [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) 每个请求最多接受 1,048,576 个 token，提示词和回答合计。[Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) 接受 262,144 个。窗口较小时，智能体工作一两个小时后就得做摘要。有了一百万 token，它通常能保留整个会话的原始历史，只在非常长的运行接近尾声时才压缩。

这是实实在在的优势：摘要会丢信息，每做一次摘要，都可能忘掉那个恰好关键的细节。但有三种成本仍会随提示词增长：

-   **金钱**：用按 token 计费的密钥时，每一轮都要重新发送整个提示词。
-   **延迟**：服务器必须处理完所有输入 token，才能输出第一个 token。
-   **注意力。** 输入变长时质量可能下降，这种现象叫[上下文腐化（context rot）](https://broadrouter.com/zh/glossary/context-rot/)。论文 [“Lost in the Middle”](https://arxiv.org/abs/2307.03172) 发现，模型对长输入开头和结尾的信息，往往比对中间的信息利用得更可靠。较新的模型表现更好，但把重要事实放在靠近两端的位置，这个习惯仍然值得保留。

## 规则 1：为什么历史应该只追加？

提示词缓存从提示词的开头开始匹配。如果这一轮的前 300,000 个 token 与上一轮完全相同，它们就可以从缓存中读取；第一个发生变化的 token 会终止匹配。只要模型会报告，BroadNet 的 API 就会在 `usage.prompt_tokens_details.cached_tokens` 中给出这个数，并按更低的单价对缓存输入计费：DeepSeek V4.1 Flash 上每 1M token $0.0055，而新输入是 $0.175。

所以每个请求都按相同的顺序组织，并且永远只往末尾添加：

```text
[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]
```

常见的前缀破坏者有：系统提示词里的时间戳、顺序不固定的工具定义，以及重新渲染旧的工具结果。对智能体来说还要再加一个：每次都丢掉最旧一轮的“滑动窗口”式裁剪，它会让后面的所有内容整体移位。以上每一种都会把已缓存的提示词变成一个全新的提示词；[面向缓存的提示词结构](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)列出了其余情况，并附有一个验证前缀确实被缓存的测试。在长会话中差别很大：提示词的大部分都可以是缓存输入，而不是新输入。参见[缓存输入如何计费](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)。

## 规则 2：如何测量缓存命中率？

每个请求都记录下来。用 OpenAI SDK，在调用之后加三行即可：

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
```

一个健康的只追加型智能体，从第二轮起每一轮的缓存占比都很高。如果突然降到接近零，说明提示词靠前的某处发生了变化。找到它，把它固定下来。[提示词缓存计算器](https://broadrouter.com/tools/prompt-caching-calculator/)可以把缓存命中率换算成每个会话的花费。

## 规则 3：上下文变大时，应该先删减什么？

当上下文确实需要缩小时，删什么很重要。在大多数智能体的对话记录里，大头是工具输出：一份 4,000 行的测试日志、为了找一个函数而读入的整份文件、一份目录列表。真正有价值的部分很小：计划、决策及其理由、已经修复的错误。

删减顺序，从先到后：

1.  **过时的工具输出。** 把旧工具结果的正文替换成一行占位说明：“运行 pytest：test\_api.py 有 3 个失败（已在第 14 轮修复）”。
2.  **已被取代的文件内容。** 如果智能体读了 `api.py`，修改了它，然后又读了一遍，第一次读取的内容就是累赘。
3.  **没有结果的探索。** 没有带来任何修改的搜索和读取。
4.  **思考过程和计划。** 这些保留得最久。它们解释了代码为什么是现在这个样子。

在工具输出产生的那一刻就截断，效果更好。给每个工具结果设上限（例如日志的最后 200 行加上总行数），需要更多时让智能体自己去要。这样历史既保持只追加，又保持精简。

## 规则 4：智能体什么时候应该压缩历史？

压缩（把较早的历史总结成更短的一段）是重型工具。它会改写前缀，所以压缩之后的那一轮，系统提示词之后的所有内容都要按全价输入付费。每隔几轮就压缩一点，意味着一次又一次地付这笔钱。

更好的做法：

-   **选一个较高的阈值。** 有了 1M 窗口，比如在用到 60–70% 时再压缩，就能给摘要那一轮和之后大量的新工作留出空间。
-   **原样保留最近的部分。** 只总结旧的部分，最后一段对话保持原样。opencode 的[压缩文档](https://opencode.ai/docs/compaction/)就是这么描述的：它会总结对话，并保留最近的一部分，默认约 15,000 个 token。
-   **用完整提示词来做摘要。** 把整个对话发给摘要请求，它就能复用上一轮的缓存。
-   **压缩一次，然后继续追加。** 压缩后新的前缀是稳定的，缓存会从那里重新生效。

## 规则 5：笔记文件里应该放什么？

有些事实必须在任意多次压缩后都保留下来：目标、约束、已做的决策、构建和测试项目的命令。把它们放进一个简短的笔记文件（`NOTES.md` 或任务文件），让智能体往里追加并反复读取。它位于提示词靠前的位置，很少变化，而且一旦运行重启，它是新会话首先读取的内容。

这也是最便宜的一种记忆：几千个 token，就能让智能体不必在每次摘要后重新发现同样的事实。

## 思考 token 如何影响预算？

DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 都会先思考再回答，而思考内容计入 `max_tokens`。长会话不会改变这一点，但提示词很大时，人们容易想调低 `max_tokens` 来“省出空间”。不要这样做。过紧的输出预算会产生空回答，智能体随后又会重试。参见[为什么回答会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。

还要记住，窗口是把提示词和回答一起计算的。提示词接近 1,048,576 个 token 时，就没有空间回答了。在那之前就要压缩；[上下文窗口计算器](https://broadrouter.com/tools/context-window-calculator/)会显示一个给定的提示词还剩多少空间。

## 用固定价格套餐时，这些还重要吗？

在 BroadNet 的套餐会话中，DeepSeek V4.1 Flash 不计 token：无论提示词多长，一个 Full Moon 会话都是每月 $60。缓存在省钱上的理由消失了，另外两个理由却还在。在许多推理服务系统中，已缓存的前缀通常处理得更快；管理得当的上下文也会带来更好的回答。习惯不变，只是理由变了。参见[套餐会话如何运作](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)。

## 上下文管理清单

-   系统提示词和工具列表在整个会话中保持固定。
-   历史只追加；旧的轮次从不重新格式化。
-   每个请求都记录缓存命中率。
-   工具输出在产生时就设上限；过时的输出之后换成占位说明。
-   在较高的阈值才压缩，并原样保留最近的部分。
-   一个记录目标、约束和决策的笔记文件。
-   输出预算足够容纳思考过程。

想进一步了解什么时候值得用满一百万 token 的窗口，请看 [1M 上下文窗口指南](https://broadrouter.com/zh/blog/million-token-context-window-guide/)。想阻止那些越跑越长却没有进展的会话，请看[智能体循环成本控制](https://broadrouter.com/zh/blog/cut-coding-agent-llm-costs/)。

相关免费工具（英文）

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[缓存输入 token（cached input tokens）](https://broadrouter.com/zh/glossary/cached-input-tokens/)

缓存输入 token 是大模型服务商近期已处理过、可以直接从缓存中复用而无需重新计算的提示词 token，通常是重复的前缀，例如系统提示词或文档。服务商对它们按低于新输入 token 的单价计费。

[上下文腐化（context rot）](https://broadrouter.com/zh/glossary/context-rot/)

上下文腐化是指语言模型的输入变长时，准确性和可靠性逐渐下降的现象，即使任务不变、输入远未超出上下文窗口也会发生。这个术语因 Chroma 2025 年一份测试了 18 个模型的技术报告而流行。

[系统提示词（system prompt）](https://broadrouter.com/zh/glossary/system-prompt/)

系统提示词是应用在对话开始前发给语言模型的指令文本，通常是一条 system 或 developer 角色的消息。它设定模型的角色、规则、语气和输出格式，当用户消息与它冲突时，模型应当优先遵循它。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[中间迷失（lost in the middle）](https://broadrouter.com/zh/glossary/lost-in-the-middle/)

中间迷失是指语言模型的一种已观察到的倾向：相关信息出现在长输入的开头或结尾时，模型利用得最好；出现在中间时，利用得最差。这一名称来自 Liu 等人 2023 年的研究。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

## 常见问题

### 模型都有 1M 上下文窗口了，为什么还要管理上下文？

因为成本、延迟和准确度都会随提示词变长而变化。长提示词处理更慢，用按 token 计费的密钥时每一轮都更贵；研究还表明，模型对长输入中间部分的信息利用得不那么可靠。

### 怎么知道我的智能体有没有命中缓存？

只要模型会报告，usage 块里就会有 prompt\_tokens\_details.cached\_tokens。每个请求都用它除以 prompt\_tokens，并把这个比例记录下来。

### 用固定价格套餐时，还需要压缩上下文吗？

对账单来说不需要，因为套餐会话不计 token。但在非常长的会话里，它对速度和回答质量仍然有影响。

## 继续阅读

-   [百万 token 上下文窗口什么时候值得用（什么时候不值得）](https://broadrouter.com/zh/blog/million-token-context-window-guide/)
-   [缓存输入 token 详解：如何降低大模型 API 账单](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)
-   [降低编程智能体大模型成本的 10 个方法（附节省估算）](https://broadrouter.com/zh/blog/cut-coding-agent-llm-costs/)
-   [如何安全地让编程智能体通宵无人值守运行](https://broadrouter.com/zh/blog/overnight-coding-agent-runs/)
-   [AI 编程智能体跑一次要花多少钱：步数、上下文增长与缓存](https://broadrouter.com/zh/blog/ai-coding-agent-run-cost/)
-   [Claude Code 接入开源模型：代理、原生端点与限制](https://broadrouter.com/zh/blog/claude-code-with-openai-compatible-models/)
-   [指南：对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)
-   [指南：推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [指南：面向智能体的不限量 LLM API 套餐如何运作](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-long-running-agent-context-management&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference API 参考：思考 token 与缓存 token（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-long-running-agent-context-management&utm_content=sources)
-   [Liu 等，Lost in the Middle: How Language Models Use Long Contexts（arXiv）](https://arxiv.org/abs/2307.03172)
-   [opencode 文档：上下文压缩（compaction）](https://opencode.ai/docs/compaction/)
