百万 token 上下文窗口指南介绍了一百万 token 能放下什么、一次请求要花多少钱。本文回答一个更具体的问题,它在每次架构评审中都会被提出来:**我们能不能删掉向量数据库以及围绕它搭建的 RAG 流水线?**有时候可以。下面从四个维度说明如何判断:成本、延迟、召回率和维护成本。
什么时候长上下文能取代 RAG?
以下四个条件都应该成立:
- **语料放得下。**提示词加回答加思考,留出余量后仍在上下文窗口之内。DeepSeek V4.1 Flash 和 GLM 5.3 的窗口都是 1,048,576 个 token(两者对比)。上下文窗口计算器可以检查你的文档是否放得下。
- **很少变动。**每月更新一次的手册没问题。每分钟都在更新的工单队列就不行。
- **所有人都可以看全部内容。**一个共享语料,不需要按用户过滤权限。
- 问题横跨整个语料。“哪些合同与新政策冲突?”需要看到所有内容;“退款期限是多久?”则不需要。
只要有一条不成立,就保留检索,或者采用混合方案。
单次查询成本怎么比?
假设有一个 400,000 token 的文档集,问题的回答为 500 个 token。RAG 检索到的分块比如说有 8,000 个 token。在按量付费密钥上使用 DeepSeek V4.1 Flash:
| 方式 | 每次查询的输入 | 每次查询的输入成本 |
|---|---|---|
| 长上下文,首次查询 | 400,000 个新 token | 0.4 × $0.175 |
| 长上下文,重复查询,前缀已缓存 | 约 400,000 个缓存 token | 约 0.4 × $0.0055 |
| RAG | 8,000 个新 token | 0.008 × $0.175 |
三种情况下输出都一样:500 个 token × 每百万 $0.52。(每个乘数都是“百万 token 数 × 每百万 token 价格”。)
由此可以得出三点。不用缓存时,长上下文每次查询的输入成本是 RAG 的 50 倍,因为它发送的 token 是 RAG 的 50 倍。语料被缓存后,差距会大幅缩小,因为这个模型的缓存输入价格只有新输入的百分之几。但缓存只在前缀逐字节完全相同时才有效,所以语料必须放在最前面并保持稳定,见面向缓存的提示词结构。RAG 也有这张表没列出的成本:语料的向量化、向量库的运行,以及调优分块的工程时间。Embedding 成本计算器可以估算向量化部分的费用。RAG 分块计算器则估算查询侧:分块、每次查询的 token 数,以及每月的大模型账单。
想知道你自己的缓存命中率值多少钱,可以试试提示词缓存计算器。在固定价格套餐上,输入这一列就不存在了:Full Moon 每个会话每月 $60,不计 token,所以 400,000 token 的提示词和短提示词花费相同。
延迟怎么比?
模型要先读完整个提示词,才会写出第一个 token。首 token 时间随提示词长度增长,几十万 token 的提示词开始输出所需的时间,明显长于 8,000 token 的提示词。在很多推理服务系统中,缓存前缀会有所帮助。向量搜索本身通常增加不了多少延迟;与生成相比,检索调用的开销很小。
所以,对于必须在一两秒内回复的交互式助手,RAG 是更稳妥的默认选择。对于提出一个深入问题、愿意等待答案的分析师,长上下文完全可以。请按你计划发送的规模,用自己的提示词测量 TTFT。
哪个召回率更好?
两者都不完美,而且失败的方式不同。
长上下文可能丢失中间部分的信息(lost in the middle)。Lost in the Middle 研究发现,信息位于输入的开头或结尾时,模型利用得最好,位于中间时则较差。RULER 基准测试发现,在简单的“大海捞针”测试中接近满分的模型,在更难的任务上随着输入变长而表现下降;在宣称支持 32K 及以上 token 的模型中,“only half of them”(译文:只有一半)在 32K 时保持了令人满意的表现。较新的模型表现更好,但宣传的窗口大小并不等于质量能保持住的窗口大小。
RAG 在模型开始工作之前就可能失败:如果检索器漏掉了相关段落,模型根本看不到它。需要许多段落的问题,或者措辞与原文不同的问题,是典型的漏检情况。
| 失败模式 | 长上下文 | RAG |
|---|---|---|
| 事实埋在提示词中间 | 风险随长度增加 | 低,提示词很短 |
| 答案需要 20 个分散的段落 | 强 | 弱,除非 top-k 很大 |
| 查询措辞与原文不同 | 强 | 取决于向量模型和重排序 |
| 语料比窗口大 | 做不到 | 强 |
长上下文有两个缓解办法:把问题放在最后、文档之后;并要求模型引用它所依据的原文。
维护成本呢?
RAG 是一个系统:分块、向量化、索引、内容变化时重建索引、权限过滤、检索质量评估。长上下文只是一个提示词:把文件加上清晰的标签拼接起来发送即可。对于语料放得下的小团队,删掉流水线能省下实实在在的工作量。对于庞大、不断变化、需要权限控制的语料,流水线做的是长上下文做不到的事。
大多数团队最终采用的混合方案
- 检索时放宽范围,不是取五个分块,而是取整篇文档,最多几十万个 token。
- 以稳定的顺序排列(按文档 ID,而不是按得分),这样相关问题之间的前缀可以命中缓存。
- 把问题放在最后,发送给长上下文模型。
- 要求模型引用文档标签,并抽查这些引用。
这样既保留了 RAG 覆盖超大语料的能力,又保留了长上下文跨多个来源推理的能力。它对检索器的要求也更宽松,因为差一点没排进前几名的文档仍然在提示词里。
BroadNet Inference 适合什么场景
BroadNet Inference 提供两个百万 token 模型:DeepSeek V4.1 Flash 和 GLM 5.3,而且不会裁剪你的上下文,所以超大的请求会直接失败,而不是悄悄丢掉文档。在按 token 计费的密钥上,缓存输入按较低的缓存价格计费;不限量套餐则对 DeepSeek V4.1 Flash 完全取消了 token 计量。它的 API 参考列出了 chat completions 和语音转写,没有 embeddings 端点或向量库,所以 RAG 那一半需要你自己准备。要在窗口里为思考 token 留出空间,原因见思考指南。价格见价格页面。
