向量数据库能很快地回答一个问题:哪些已存的内容在含义上与这个查询相近?
工作原理
每条记录是一个嵌入向量,即一串定长的数字,外加元数据,例如原文、文档 ID 和日期。查询时,用同一个模型把问题转成向量,再取最近的 top k 个向量。
“最近”需要一种距离度量。Postgres 扩展 pgvector 提供三个运算符:<-> 表示欧氏(L2)距离,<#> 表示负内积,<=> 表示余弦距离。请使用你的嵌入模型训练时所用的那一种;OpenAI 建议对其向量使用余弦相似度。
把查询与每个已存向量逐一比较虽然精确,但规模一大就很慢。近似最近邻(ANN)索引可以避免这一点:
| 索引 | 原理 | 取舍(据 pgvector 文档) |
|---|---|---|
| HNSW | 分层的邻近图 | 速度与召回率的平衡更好,构建更慢,占用内存更多 |
| IVFFlat | 把向量分组到多个列表中 | 构建更快,内存更少,同等召回率下查询更慢 |
Malkov 和 Yashunin 的 HNSW 论文描述了一叠图:检索从稀疏的上层开始,这 “allows a logarithmic complexity scaling.”(译文:使复杂度呈对数级增长。)pgvector 的 README 概括了其中的交换:近似索引 “trades some recall for speed.”(译文:用一部分召回率换取速度。)
为什么重要
- 它是大多数 RAG 系统里的检索器。 如果向量库漏掉了正确的文本块,LLM 就永远看不到它。
- 召回率是可调的设置,而不是理所当然。 ANN 参数会改变返回哪些结果。请用真实查询测量召回率。
- 过滤。 实际查询会附加语言、客户或日期等条件。要确认过滤是在排序之前生效,而不是在 top-k 截断之后,否则会丢掉本应命中的结果。
在 BroadNet Inference 上
BroadNet 不提供向量存储,其文档也没有列出嵌入端点。典型做法是:自建向量库,从其他来源获取嵌入模型,再由 BroadNet 的对话模型根据检索到的文本块写出答案。语料较小时,大的上下文窗口可以替代向量库;参见长上下文与 RAG 对比。对于阿拉伯语文本,阿拉伯语 RAG 检索解释了为什么在向量索引旁边再加一个关键词索引会有帮助。
常见错误
- 查询时用的嵌入模型与建索引时用的不同。
- 真正的问题是检索召回率低,却去调 LLM 的提示词。