---
title: "长上下文 vs RAG：成本、延迟与召回率对比 | BroadRouter"
description: "百万 token 上下文窗口什么时候能取代向量数据库，什么时候 RAG 依然更好？从单次查询成本、延迟、召回率和维护成本四个方面对比。"
url: https://broadrouter.com/zh/blog/long-context-vs-rag/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/long-context-vs-rag/)（2026-11-16 更新）。

# 长上下文还是 RAG：百万 token 什么时候能取代向量数据库

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 2026-11-14 · 更新于 2026-11-16

当语料放得进上下文窗口、很少变动、且问题需要同时用到其中多个部分时，长上下文可以取代 RAG；缓存能让重复查询保持低成本。当语料超出窗口、频繁更新、需要按用户控制权限，或者必须在一两秒内作答时，RAG 依然更胜一筹。很多系统用 RAG 检索，再用长上下文推理。

## 要点

-   语料规模是第一道筛选：如果语料放不进窗口、还要给回答留出空间，你就需要某种形式的检索。
-   每次查询时，长上下文要发送整个语料，RAG 只发送几千个 token。只有语料稳定时，前缀缓存才能缩小两者的成本差距。
-   提示词越长，首 token 时间越长。RAG 让提示词保持简短、响应迅速。
-   长上下文的召回并不完美：模型对提示词开头和结尾处的信息找得更准，中间部分则较差。
-   RAG 的失败方式不同：如果检索漏掉了相关段落，模型就根本看不到它。两种方式都要用你自己的问题来测量。

**本页内容**

1.  什么时候长上下文能取代 RAG？
2.  单次查询成本怎么比？
3.  延迟怎么比？
4.  哪个召回率更好？
5.  维护成本呢？
6.  大多数团队最终采用的混合方案
7.  BroadNet Inference 适合什么场景

[百万 token 上下文窗口指南](https://broadrouter.com/zh/blog/million-token-context-window-guide/)介绍了一百万 token 能放下什么、一次请求要花多少钱。本文回答一个更具体的问题，它在每次架构评审中都会被提出来：\*\*我们能不能删掉[向量数据库](https://broadrouter.com/zh/glossary/vector-database/)以及围绕它搭建的 [RAG](https://broadrouter.com/zh/glossary/rag/) 流水线？\*\*有时候可以。下面从四个维度说明如何判断：成本、延迟、召回率和维护成本。

## 什么时候长上下文能取代 RAG？

以下四个条件都应该成立：

1.  \*\*语料放得下。\*\*提示词加回答加思考，留出余量后仍在[上下文窗口](https://broadrouter.com/zh/glossary/context-window/)之内。[DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 和 [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) 的窗口都是 1,048,576 个 token（[两者对比](https://broadrouter.com/compare/deepseek-v4.1-flash-vs-glm-5.3/)）。[上下文窗口计算器](https://broadrouter.com/tools/context-window-calculator/)可以检查你的文档是否放得下。
2.  \*\*很少变动。\*\*每月更新一次的手册没问题。每分钟都在更新的工单队列就不行。
3.  \*\*所有人都可以看全部内容。\*\*一个共享语料，不需要按用户过滤权限。
4.  **问题横跨整个语料。**“哪些合同与新政策冲突？”需要看到所有内容；“退款期限是多久？”则不需要。

只要有一条不成立，就保留检索，或者采用混合方案。

## 单次查询成本怎么比？

假设有一个 400,000 token 的文档集，问题的回答为 500 个 token。RAG 检索到的分块比如说有 8,000 个 token。在[按量付费](https://broadrouter.com/zh/glossary/pay-as-you-go/)密钥上使用 DeepSeek V4.1 Flash：

| 方式 | 每次查询的输入 | 每次查询的输入成本 |
| --- | --- | --- |
| 长上下文，首次查询 | 400,000 个新 token | 0.4 × $0.175 |
| 长上下文，重复查询，前缀已缓存 | 约 400,000 个缓存 token | 约 0.4 × $0.0055 |
| RAG | 8,000 个新 token | 0.008 × $0.175 |

三种情况下输出都一样：500 个 token × 每百万 $0.52。（每个乘数都是“百万 token 数 × 每百万 token 价格”。）

由此可以得出三点。不用缓存时，长上下文每次查询的输入成本是 RAG 的 50 倍，因为它发送的 token 是 RAG 的 50 倍。语料被缓存后，差距会大幅缩小，因为这个模型的缓存输入价格只有新输入的百分之几。但缓存只在前缀逐字节完全相同时才有效，所以语料必须放在最前面并保持稳定，见[面向缓存的提示词结构](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)。RAG 也有这张表没列出的成本：语料的向量化、向量库的运行，以及调优分块的工程时间。[Embedding 成本计算器](https://broadrouter.com/tools/embedding-cost-calculator/)可以估算向量化部分的费用。[RAG 分块计算器](https://broadrouter.com/tools/rag-chunking-calculator/)则估算查询侧：分块、每次查询的 token 数，以及每月的大模型账单。

想知道你自己的缓存命中率值多少钱，可以试试[提示词缓存计算器](https://broadrouter.com/tools/prompt-caching-calculator/)。在固定价格套餐上，输入这一列就不存在了：Full Moon 每个会话每月 $60，不计 token，所以 400,000 token 的提示词和短提示词花费相同。

## 延迟怎么比？

模型要先读完整个提示词，才会写出第一个 token。首 token 时间随提示词长度增长，几十万 token 的提示词开始输出所需的时间，明显长于 8,000 token 的提示词。在很多推理服务系统中，缓存前缀会有所帮助。向量搜索本身通常增加不了多少延迟；与生成相比，检索调用的开销很小。

所以，对于必须在一两秒内回复的交互式助手，RAG 是更稳妥的默认选择。对于提出一个深入问题、愿意等待答案的分析师，长上下文完全可以。请按你计划发送的规模，[用自己的提示词测量 TTFT](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)。

## 哪个召回率更好？

两者都不完美，而且失败的方式不同。

**长上下文**可能丢失中间部分的信息（[lost in the middle](https://broadrouter.com/zh/glossary/lost-in-the-middle/)）。_Lost in the Middle_ 研究发现，信息位于输入的开头或结尾时，模型利用得最好，位于中间时则较差。RULER 基准测试发现，在简单的“大海捞针”测试中接近满分的模型，在更难的任务上随着输入变长而表现下降；在宣称支持 32K 及以上 token 的模型中，“only half of them”（译文：只有一半）在 32K 时保持了令人满意的表现。较新的模型表现更好，但宣传的窗口大小并不等于质量能保持住的窗口大小。

**RAG** 在模型开始工作之前就可能失败：如果检索器漏掉了相关段落，模型根本看不到它。需要许多段落的问题，或者措辞与原文不同的问题，是典型的漏检情况。

| 失败模式 | 长上下文 | RAG |
| --- | --- | --- |
| 事实埋在提示词中间 | 风险随长度增加 | 低，提示词很短 |
| 答案需要 20 个分散的段落 | 强 | 弱，除非 top-k 很大 |
| 查询措辞与原文不同 | 强 | 取决于向量模型和重排序 |
| 语料比窗口大 | 做不到 | 强 |

长上下文有两个缓解办法：把问题放在最后、文档之后；并要求模型引用它所依据的原文。

## 维护成本呢？

RAG 是一个系统：分块、向量化、索引、内容变化时重建索引、权限过滤、检索质量评估。长上下文只是一个提示词：把文件加上清晰的标签拼接起来发送即可。对于语料放得下的小团队，删掉流水线能省下实实在在的工作量。对于庞大、不断变化、需要权限控制的语料，流水线做的是长上下文做不到的事。

## 大多数团队最终采用的混合方案

1.  检索时放宽范围，不是取五个分块，而是取整篇文档，最多几十万个 [token](https://broadrouter.com/zh/glossary/token/)。
2.  以稳定的顺序排列（按文档 ID，而不是按得分），这样相关问题之间的前缀可以命中缓存。
3.  把问题放在最后，发送给长上下文模型。
4.  要求模型引用文档标签，并抽查这些引用。

这样既保留了 RAG 覆盖超大语料的能力，又保留了长上下文跨多个来源推理的能力。它对检索器的要求也更宽松，因为差一点没排进前几名的文档仍然在提示词里。

## BroadNet Inference 适合什么场景

BroadNet Inference 提供两个百万 token 模型：DeepSeek V4.1 Flash 和 GLM 5.3，而且不会裁剪你的上下文，所以超大的请求会直接失败，而不是悄悄丢掉文档。在按 token 计费的密钥上，缓存输入按较低的缓存价格计费；不限量套餐则对 DeepSeek V4.1 Flash 完全取消了 token 计量。它的 API 参考列出了 chat completions 和语音转写，没有 embeddings 端点或向量库，所以 RAG 那一半需要你自己准备。要在窗口里为[思考 token](https://broadrouter.com/zh/glossary/reasoning-tokens/) 留出空间，原因见[思考指南](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。价格见[价格页面](https://broadrouter.com/zh/pricing/)。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[嵌入向量（embeddings）](https://broadrouter.com/zh/glossary/embeddings/)

嵌入向量（embeddings）是模型为一段文本、一张图片或其他输入生成的浮点数列表（向量）。意思相近的输入会得到彼此接近的向量，因此可以用向量之间的距离来给搜索结果排序、对文档聚类或查找相关条目。

[中间迷失（lost in the middle）](https://broadrouter.com/zh/glossary/lost-in-the-middle/)

中间迷失是指语言模型的一种已观察到的倾向：相关信息出现在长输入的开头或结尾时，模型利用得最好；出现在中间时，利用得最差。这一名称来自 Liu 等人 2023 年的研究。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[缓存输入 token（cached input tokens）](https://broadrouter.com/zh/glossary/cached-input-tokens/)

缓存输入 token 是大模型服务商近期已处理过、可以直接从缓存中复用而无需重新计算的提示词 token，通常是重复的前缀，例如系统提示词或文档。服务商对它们按低于新输入 token 的单价计费。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[首 token 延迟（TTFT，time to first token）](https://broadrouter.com/zh/glossary/time-to-first-token/)

首 token 延迟（TTFT）是从向语言模型发出请求到第一个输出 token 到达的时间。它包括网络时间、服务器上的排队时间和预填充（模型读取整个提示词的步骤），所以会随提示词长度和负载增加。

## 常见问题

### 模型都有百万 token 上下文了，RAG 是不是过时了？

没有。当整个语料放得下且保持稳定时，长上下文让你不再需要检索。但大多数公司的知识库都超过一百万 token，每天都在变化，而且需要权限控制，这些仍是 RAG 的用武之地。

### 长上下文比 RAG 更准确吗？

要看问题。答案需要综合许多段落时，长上下文表现更好。在超大语料中查找单个事实时，RAG 可能更好，因为简短的提示词能让模型保持专注。用真实问题把两者都测一测。

### 100 万 token 的上下文窗口能放多少个单词？

按 BroadRouter 分词器数据集中五种分词器测得的每 1,000 个单词 1,290 个 token 计算，DeepSeek V4.1 Flash 的 1,048,576 token 窗口大约能放 810,000 个普通英文单词。技术性英文、代码、表格和阿拉伯语每个单词需要更多 token，所以能放下的更少。还要给回答和思考留出空间。

### RAG 和长上下文可以结合使用吗？

可以，而且往往是最佳选择。检索时放宽范围，比如取 10 万到 20 万 token 的候选文档，然后让长上下文模型基于全部文档推理，而不是只看排名前五的分块。

## 继续阅读

-   [百万 token 上下文窗口什么时候值得用（什么时候不值得）](https://broadrouter.com/zh/blog/million-token-context-window-guide/)
-   [如何组织提示词，让前缀被缓存](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)
-   [缓存输入 token 详解：如何降低大模型 API 账单](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-long-context-vs-rag&utm_content=page-cta) ·

**来源**

-   [Liu 等，Lost in the Middle：语言模型如何使用长上下文（arXiv 2307.03172）](https://arxiv.org/abs/2307.03172)
-   [Hsieh 等，RULER：你的长上下文语言模型的真实上下文长度是多少？（arXiv 2404.06654）](https://arxiv.org/abs/2404.06654)
-   [BroadNet Inference 机器可读的价格与上下文长度（pricing.json）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-long-context-vs-rag&utm_content=sources)
-   [BroadNet Inference API 参考（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-long-context-vs-rag&utm_content=sources)
