RAG 让模型开卷答题:在它回答之前,你的代码先查出相关的页面,放进提示词里。
工作原理
这个术语来自 Lewis 等人(2020)。他们把一个生成模型(“parametric memory”,参数化记忆)与 “a dense vector index of Wikipedia”(译文:维基百科的稠密向量索引,“non-parametric memory”,非参数化记忆)组合起来,通过神经检索器访问后者,并报告在开放域问答上的效果优于只依赖自身权重的模型。
基于大模型 API 的现代 RAG 流程通常是这样的:
- 建立索引。 把文档切分成文本块,把每块转换成嵌入向量,存进向量数据库,通常还会同时建立关键词索引。
- 检索。 把用户的问题也转换成嵌入向量,取出最匹配的文本块,比如 5 到 20 个。
- 生成。 把这些文本块放进提示词,并指示模型只依据它们回答、注明出处,然后发给对话模型。
模型本身从不搜索。检索质量决定了上限:如果没检索到正确的段落,模型就无法使用它。
为什么重要
- 时效性。 模型的权重停留在训练截止时间。RAG 让它可以依据今天的价格表或政策来回答。
- 费用。 发送 10 个文本块所需的输入 token,远少于每个问题都发送整个语料。
- 可追溯。 回答可以引用其来源段落,这有助于事实依据,也让幻觉更容易被发现。
- 顺序很重要。 模型对长提示词开头和结尾的利用要好于中间。把最好的段落放在前面。参见中间迷失。
在 BroadNet Inference 上
BroadNet 负责生成这一步。它的文档没有列出嵌入向量端点,所以检索器需要单独的嵌入模型或关键词搜索。DeepSeek V4.1 Flash 和 GLM 5.3 最多接受 1,048,576 token 的上下文,因此宽松的检索(或者小语料干脆不做检索)是可行的。长上下文与 RAG 对比一文从费用和召回两方面比较了两种方案,阿拉伯语 RAG 搜索则介绍了阿拉伯语的文本规范化和混合检索。
常见错误
- 问题出在检索器上,却去怪模型。请记录每个回答检索到了哪些文本块。
- 文本块把表格或句子切成了两半。
- 没有指示模型在找不到时说”未找到”。没有这条指令,模型就会凭记忆填补空白。