提示词是你写一次的东西。上下文是模型每一轮看到的全部内容,在智能体里,它每一轮都在变化。
工作原理
Anthropic 的工程博客把上下文工程描述为 “the set of strategies for curating and maintaining the optimal set of tokens”(译文:在推理过程中筛选并维护最优 token 集合的一系列策略),其中包括提示词之外的信息。它把目标定为找到能让预期结果最可能出现的 “smallest possible set of high-signal tokens”(译文:尽可能小的高信号 token 集合)。
原因在于注意力有限。文章说模型有 “attention budget”(译文:注意力预算),上下文越长,召回越差,它称之为上下文腐化。位置也有影响:长提示词中间的事实更容易被忽略(中间迷失)。
文章为长时间运行的智能体列出了几种技巧:
| 技巧 | 作用 |
|---|---|
| 压缩 | 接近上限时摘要历史,从摘要继续 |
| 清理工具结果 | 从历史中删除旧的原始工具输出 |
| 结构化笔记 | 智能体把笔记写入上下文之外的文件,之后再读回 |
| 子智能体 | 在干净的上下文中完成专门工作,返回简短摘要 |
| 即时检索 | 只保留引用(文件路径、查询),需要时再加载数据 |
下面是编程智能体单轮预算的一个实际例子:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
为什么重要
- 质量。 上下文中的噪声越少,回答通常越好,漏掉的指令也越少。
- 费用。 按 token 计费时,上下文中的每个 token 每一轮都要计费。把稳定内容放在最前面,可以按更便宜的缓存输入计费;参见为缓存设计提示词结构。
- 运行时长。 良好的上下文管理能让智能体连续工作数小时,而不会撞上上下文窗口的上限。
在 BroadNet Inference 上
上下文工程在你的代码里完成:BroadNet 的 Chat Completions API 接收你发送的任何消息列表。DeepSeek V4.1 Flash 和 GLM 5.3 支持 1,048,576 token,Qwen3.8 27B 支持 262,144,Gemma 4 VL 26B 支持 32K,所以在 Gemma 上精简上下文最为重要。
当模型返回该字段时,usage.prompt_tokens_details.cached_tokens 会显示从缓存读取的 token 数,这部分在按量付费下按缓存输入价格计费。长时间运行智能体的上下文管理给出了五条实用规则,智能体 token 预算一文则展示了智能体的 token 都花在了哪里。