BroadRouter
开始使用

上下文窗口(context window)

更新于

上下文窗口是语言模型在单次请求中能处理的最大 token 数。它涵盖提示词、对话历史、工具定义、图片以及生成的输出(包括思考 token)。放不下的内容必须删减、摘要,或拆分到多个请求中。

又称: 上下文长度、上下文窗口大小、上下文限制、token 上限、最大上下文、context window、context length、context size、token limit、context limit

上下文窗口是模型在一次请求中的工作记忆。模型需要看到的一切,以及它写回的一切,都必须装进这个窗口。

工作原理

窗口以 token 计量。Anthropic 的文档把它描述为 “all the text a language model can reference when generating a response, including the response itself.”(译文:语言模型在生成回答时可以参考的全部文本,包括回答本身。)其中包括:

  • 系统提示词和每一条消息,包括之前的轮次;
  • 工具定义和工具结果;
  • 文档和图片;
  • 输出,包括隐藏的思考 token。

所以这是一份共享的预算。在 1,048,576 token 的窗口里,一个 1,040,000 token 的提示词只给思考和回答留下约 8,000 个 token。设置 max_tokens 时要把这一点考虑进去。

模型不会记住之前的请求。聊天之所以感觉是连续的,只是因为客户端每一轮都会重新发送历史记录,所以长对话会一步步把窗口填满。

为什么重要

  • 能力。 大窗口让一次请求就能装下整个代码库、一整套合同或数小时的转写文本,模型可以把其中的事实串联起来。
  • 费用。 在按 token 计费的密钥上,窗口里的每个 token 都按输入计费。缓存能降低重复前缀的价格,但缓存的 token 仍然占用窗口。
  • 质量。 内容越多不一定越好。Anthropic 把超长提示词中准确率下降的现象称为 “context rot”(上下文腐化)。请精选发送的内容。
  • 延迟。 提示词越长,第一个 token 出现前的等待时间越长。

在 BroadNet Inference 上

模型 上下文窗口
DeepSeek V4.1 Flash 1,048,576 token
GLM 5.3 1,048,576 token
Qwen3.8 27B 262,144 token
BroadNet Gemma 4 VL 26B 32,768 token

窗口同时涵盖提示词和回答,BroadNet 不会裁剪你的上下文。DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,所以要留出空间:窗口塞满、输出预算又很小时,会返回空回复。参见为什么思考模型会返回空回答。

不限量套餐在 DeepSeek V4.1 Flash 上提供完整的 1M token 窗口。什么时候这么大的上下文比检索更合适,请阅读 1M token 上下文窗口指南。

常见错误

  • 把窗口当成输出长度。输出上限要单独用 max_tokens 设置。
  • 永远重发完整历史。在窗口填满之前,先摘要或丢弃旧的轮次。

常见问题

提示词超过上下文窗口会怎样?

API 会拒绝该请求,通常返回 400 错误。例如 Anthropic 会返回 "prompt is too long"(译文:提示词过长)。有些聊天应用会自动帮你裁掉旧消息,但大多数 API 不会。

上下文窗口越大越好吗?

不一定。长提示词费用更高、处理更慢,而且 Anthropic 指出,随着 token 数增加,准确率和信息召回可能下降。只发送任务真正需要的内容。

BroadNet 会裁剪我的上下文吗?

不会。BroadNet Inference 不会裁剪你的上下文。如果请求放不下,需要你自己缩短。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity