上下文窗口是模型在一次请求中的工作记忆。模型需要看到的一切,以及它写回的一切,都必须装进这个窗口。
工作原理
窗口以 token 计量。Anthropic 的文档把它描述为 “all the text a language model can reference when generating a response, including the response itself.”(译文:语言模型在生成回答时可以参考的全部文本,包括回答本身。)其中包括:
- 系统提示词和每一条消息,包括之前的轮次;
- 工具定义和工具结果;
- 文档和图片;
- 输出,包括隐藏的思考 token。
所以这是一份共享的预算。在 1,048,576 token 的窗口里,一个 1,040,000 token 的提示词只给思考和回答留下约 8,000 个 token。设置 max_tokens 时要把这一点考虑进去。
模型不会记住之前的请求。聊天之所以感觉是连续的,只是因为客户端每一轮都会重新发送历史记录,所以长对话会一步步把窗口填满。
为什么重要
- 能力。 大窗口让一次请求就能装下整个代码库、一整套合同或数小时的转写文本,模型可以把其中的事实串联起来。
- 费用。 在按 token 计费的密钥上,窗口里的每个 token 都按输入计费。缓存能降低重复前缀的价格,但缓存的 token 仍然占用窗口。
- 质量。 内容越多不一定越好。Anthropic 把超长提示词中准确率下降的现象称为 “context rot”(上下文腐化)。请精选发送的内容。
- 延迟。 提示词越长,第一个 token 出现前的等待时间越长。
在 BroadNet Inference 上
| 模型 | 上下文窗口 |
|---|---|
| DeepSeek V4.1 Flash | 1,048,576 token |
| GLM 5.3 | 1,048,576 token |
| Qwen3.8 27B | 262,144 token |
| BroadNet Gemma 4 VL 26B | 32,768 token |
窗口同时涵盖提示词和回答,BroadNet 不会裁剪你的上下文。DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,所以要留出空间:窗口塞满、输出预算又很小时,会返回空回复。参见为什么思考模型会返回空回答。
不限量套餐在 DeepSeek V4.1 Flash 上提供完整的 1M token 窗口。什么时候这么大的上下文比检索更合适,请阅读 1M token 上下文窗口指南。
常见错误
- 把窗口当成输出长度。输出上限要单独用
max_tokens设置。 - 永远重发完整历史。在窗口填满之前,先摘要或丢弃旧的轮次。