BroadRouter
开始使用

上下文工程(context engineering)

更新于

上下文工程是选择并维护模型每次请求所见 token 集合的工作,包括系统提示词、工具定义、历史记录、检索文档和笔记,让模型以最少的高信号信息把任务做好。

又称: 上下文管理、智能体上下文工程、上下文优化、context engineering、context management、agent context engineering

提示词是你写一次的东西。上下文是模型每一轮看到的全部内容,在智能体里,它每一轮都在变化。

工作原理

Anthropic 的工程博客把上下文工程描述为 “the set of strategies for curating and maintaining the optimal set of tokens”(译文:在推理过程中筛选并维护最优 token 集合的一系列策略),其中包括提示词之外的信息。它把目标定为找到能让预期结果最可能出现的 “smallest possible set of high-signal tokens”(译文:尽可能小的高信号 token 集合)。

原因在于注意力有限。文章说模型有 “attention budget”(译文:注意力预算),上下文越长,召回越差,它称之为上下文腐化。位置也有影响:长提示词中间的事实更容易被忽略(中间迷失)。

文章为长时间运行的智能体列出了几种技巧:

技巧 作用
压缩 接近上限时摘要历史,从摘要继续
清理工具结果 从历史中删除旧的原始工具输出
结构化笔记 智能体把笔记写入上下文之外的文件,之后再读回
子智能体 在干净的上下文中完成专门工作,返回简短摘要
即时检索 只保留引用(文件路径、查询),需要时再加载数据

下面是编程智能体单轮预算的一个实际例子:

System prompt + rules          4,000 tokens
Tool definitions               6,000 tokens
Notes file                     1,500 tokens
History (compacted)           20,000 tokens
Latest tool output             8,000 tokens   <- largest single item

为什么重要

  • 质量。 上下文中的噪声越少,回答通常越好,漏掉的指令也越少。
  • 费用。 按 token 计费时,上下文中的每个 token 每一轮都要计费。把稳定内容放在最前面,可以按更便宜的缓存输入计费;参见为缓存设计提示词结构。
  • 运行时长。 良好的上下文管理能让智能体连续工作数小时,而不会撞上上下文窗口的上限。

在 BroadNet Inference 上

上下文工程在你的代码里完成:BroadNet 的 Chat Completions API 接收你发送的任何消息列表。DeepSeek V4.1 Flash 和 GLM 5.3 支持 1,048,576 token,Qwen3.8 27B 支持 262,144,Gemma 4 VL 26B 支持 32K,所以在 Gemma 上精简上下文最为重要。

当模型返回该字段时,usage.prompt_tokens_details.cached_tokens 会显示从缓存读取的 token 数,这部分在按量付费下按缓存输入价格计费。长时间运行智能体的上下文管理给出了五条实用规则,智能体 token 预算一文则展示了智能体的 token 都花在了哪里。

常见问题

上下文工程和提示词工程有什么区别?

提示词工程关注的是写好指令。上下文工程涵盖模型在一轮中看到的全部内容,包括工具定义、历史记录和检索数据,以及这些内容在长会话中如何变化。

为什么不直接用更大的上下文窗口?

更大的窗口只是推迟问题,并不能消除问题。Anthropic 指出,上下文越长,信息召回越差;而在按 token 计费时,每多一个 token 每一轮都要重新付费。

上下文工程第一步该做什么?

先测量是什么占满了你的上下文。工具输出和旧历史通常是最大的部分,裁剪或摘要它们的尝试成本很低。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity