BroadRouter
开始使用

RAG(检索增强生成)

更新于

RAG(检索增强生成)是一种模式:应用先从外部存储(例如搜索引擎或向量索引)中检索与问题相关的段落,再把它们加入提示词,让语言模型依据这些文本回答,而不只是凭记忆作答。

又称: 检索增强生成、检索增强、RAG 检索增强生成、知识库问答、retrieval-augmented generation、retrieval augmented generation、RAG pipeline、retrieval-augmented LLM

RAG 让模型开卷答题:在它回答之前,你的代码先查出相关的页面,放进提示词里。

工作原理

这个术语来自 Lewis 等人(2020)。他们把一个生成模型(“parametric memory”,参数化记忆)与 “a dense vector index of Wikipedia”(译文:维基百科的稠密向量索引,“non-parametric memory”,非参数化记忆)组合起来,通过神经检索器访问后者,并报告在开放域问答上的效果优于只依赖自身权重的模型。

基于大模型 API 的现代 RAG 流程通常是这样的:

  1. 建立索引。 把文档切分成文本块,把每块转换成嵌入向量,存进向量数据库,通常还会同时建立关键词索引。
  2. 检索。 把用户的问题也转换成嵌入向量,取出最匹配的文本块,比如 5 到 20 个。
  3. 生成。 把这些文本块放进提示词,并指示模型只依据它们回答、注明出处,然后发给对话模型。

模型本身从不搜索。检索质量决定了上限:如果没检索到正确的段落,模型就无法使用它。

为什么重要

  • 时效性。 模型的权重停留在训练截止时间。RAG 让它可以依据今天的价格表或政策来回答。
  • 费用。 发送 10 个文本块所需的输入 token,远少于每个问题都发送整个语料。
  • 可追溯。 回答可以引用其来源段落,这有助于事实依据,也让幻觉更容易被发现。
  • 顺序很重要。 模型对长提示词开头和结尾的利用要好于中间。把最好的段落放在前面。参见中间迷失。

在 BroadNet Inference 上

BroadNet 负责生成这一步。它的文档没有列出嵌入向量端点,所以检索器需要单独的嵌入模型或关键词搜索。DeepSeek V4.1 Flash 和 GLM 5.3 最多接受 1,048,576 token 的上下文,因此宽松的检索(或者小语料干脆不做检索)是可行的。长上下文与 RAG 对比一文从费用和召回两方面比较了两种方案,阿拉伯语 RAG 搜索则介绍了阿拉伯语的文本规范化和混合检索。

常见错误

  • 问题出在检索器上,却去怪模型。请记录每个回答检索到了哪些文本块。
  • 文本块把表格或句子切成了两半。
  • 没有指示模型在找不到时说”未找到”。没有这条指令,模型就会凭记忆填补空白。

常见问题

RAG 和微调是一回事吗?

不是。RAG 在请求时把文档加入提示词,不改变模型本身。微调会改变模型的权重。RAG 更容易更新:重新索引一份文档即可,不必重新训练。

做 RAG 一定需要向量数据库吗?

不一定。关键词搜索、SQL 查询或小型内存索引都可以充当检索器。文档很多、需要语义匹配时,向量数据库才更有帮助。

1M token 的上下文窗口能取代 RAG 吗?

有时可以。如果整个语料装得下,而且会配合缓存被频繁查询,可以全部发送。对于规模大或变化快的语料,按每个问题计算,检索仍然更便宜、更快。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity