上下文窗口已经从几千个 token 增长到超过一百万。BroadNet Inference 上的 DeepSeek V4.1 Flash 和 GLM 5.3 每次请求接受 1,048,576 个 token,提示词和回答合计。这改变了你的构建方式,但并不会让每个提示词都变得更好。
一百万 token 能放下什么?
粗略参考:在我们的分词器效率数据集中,1,000 个英文单词在五种分词器上平均约为 1,290 个 token,所以一百万 token 大约相当于 810,000 个普通英文单词:
| 内容 | 大致情况 |
|---|---|
| 一个中等规模的代码库(数万行) | 放得下,还有富余 |
| 几份附带附表的长合同 | 放得下 |
| 一整天的会议转写稿 | 放得下 |
| 一个包含依赖的大型 monorepo | 往往放不下;要挑选目录 |
token 数取决于语言和内容。代码和阿拉伯语文本每个字符消耗的 token 往往比英文文本多。请用真实请求返回的 usage 来测量,而不是估算,或者在上下文窗口计算器里检查一个样本。
BroadNet 的哪些模型有百万 token 上下文窗口?
| 模型 | 上下文窗口 | 输入 | 输出 | 图像 |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | $0.175 | $0.52 | 是 |
| GLM 5.3 | 1,048,576 | $0.78 | $3.46 | 否 |
| Qwen3.8 27B | 262,144 | $0.175 | $2.17 | 是 |
| BroadNet Gemma 4 VL 26B | 32,768 | $0.10 | $0.22 | 是 |
价格按每百万 token 计。GLM 5.3 在同样的百万窗口上还支持工具调用和结构化输出。
百万 token 窗口什么时候值得用?
- 跨文件推理。“这个测试为什么失败?”往往取决于五个谁也想不到要一起检索的文件。
- **整份文档审阅。**要找出第 4 条与附表 B 之间的冲突,两者都得在视野之内。
- **一次性分析。**对于只问一次的问题,搭建检索索引花的力气比省下的还多。
- **智能体。**能读完整个模块的子智能体,瞎猜的次数更少。见并行运行智能体。
什么时候检索仍是更好的选择?
在远比任何窗口都大的资料库中做许多小查询、内容每分钟都在变化、以及需要快速交互式回答(先读一个超大提示词会增加延迟)时,检索更胜一筹。很多生产系统两者兼用:先检索出最相关的 200,000 个 token,再让长上下文模型基于全部内容推理。包含单次查询成本、延迟和召回率并排对比的完整决策,见长上下文还是 RAG。
模型真的会用到整个窗口吗?
用得并不均匀。研究在这一点上结论一致:
- Lost in the Middle 论文(Liu 等)发现,表现 “is often highest when relevant information occurs at the beginning or end of the input context”(译文:往往在相关信息位于输入上下文的开头或结尾时最好)。
- Chroma 的 Context Rot 报告测试了 18 个模型,发现即使是简单任务,“performance grows increasingly unreliable as input length grows”(译文:随着输入变长,表现变得越来越不可靠)。
这些研究并没有测试 BroadNet 上的模型,所以请把它们当作警示,而不是测量结果。实用的原则是:一个能接受一百万 token 的窗口,并不意味着每个 token 都会得到同等的关注。把最重要的内容放在开头或结尾附近,并用你自己的文档测试召回效果。
一个百万 token 的提示词要花多少钱?
在按量付费密钥上,DeepSeek V4.1 Flash 每百万输入 token 收费 $0.175,每百万缓存输入 token 收费 $0.0055。一个满一百万 token 的提示词,第一次约花 $0.175;前缀被缓存后,重复调用会便宜得多。参见如何提高缓存命中率。
提示词缓存计算器可以按你自己的提示词大小,显示一次缓存命中能省多少钱。举个例子:针对同一套 800,000 token 的合同提出十个问题。不用缓存,就是 800 万 token,按每百万 $0.175 计费。如果文档放在最前面并保持不变,第一次调用读取 800,000 个新 token,之后九次调用大部分都能以每百万 $0.0055 的价格从缓存读取。变化的只有问题和回答。
在不限量套餐上,提示词的大小不会改变账单:Full Moon 每个会话每月 $60,不计 token。这也是长上下文智能体常常成为选择固定价格套餐而非按 token 计费的原因。
应该给回答留多少空间?
窗口同时包含提示词和输出,而思考模型的输出还包括思考过程。如果你发送 1,040,000 token 的提示词,留给思考和回答的就只剩大约 8,000 个。要留出余量,显式设置 max_tokens,并阅读思考模型为什么会返回空回答。
如何为百万 token 提示词准备代码库
- **排除模型不需要的内容。**锁文件、构建产物、vendored 依赖、图片和生成的代码既占 token 又增加噪音。
- **发送前先计数。**发送一个小样本,从 usage 中读取
prompt_tokens,再按比例放大。 - **按稳定性排序。**很少改动的文件放前面,正在修改的文件放后面,问题放在最后。这样前缀可以被缓存。
- **给每个文件加标签。**用
=== path/to/file.py ===这样清晰的标记包住文件,方便模型引用。 - 要求引用。“引用你所依据的那一行”能减少在超大输入上自信地犯错。
- **测量。**每个请求都记录提示词 token、缓存 token 和首 token 时间。流式输出能让第一个 token 一到就显示出来。
BroadNet Inference 适合什么场景
它有两个对话模型每次请求可接受 1,048,576 个 token,而且 BroadNet 不会裁剪你的上下文。在按 token 计费的密钥上,缓存让重复的长提示词保持在可承受的成本内;在套餐会话中,提示词大小不影响账单。如果你的语料远超一百万 token,或者每分钟都在变化,你仍然需要检索,再大的窗口也改变不了这一点。

