BroadRouter
开始使用

向量数据库(vector database)

更新于

向量数据库是存放嵌入向量的数据存储,通常连同原文和元数据一起保存,并回答最近邻查询:给定查询向量,返回与之最相似的已存向量,一般按余弦距离、欧氏距离或内积计算。

又称: 向量库、向量存储、向量检索、向量搜索引擎、相似度检索、向量索引、vector database、vector store、vector DB、vector index、vector search engine、similarity search database

向量数据库能很快地回答一个问题:哪些已存的内容在含义上与这个查询相近?

工作原理

每条记录是一个嵌入向量,即一串定长的数字,外加元数据,例如原文、文档 ID 和日期。查询时,用同一个模型把问题转成向量,再取最近的 top k 个向量。

“最近”需要一种距离度量。Postgres 扩展 pgvector 提供三个运算符:<-> 表示欧氏(L2)距离,<#> 表示负内积,<=> 表示余弦距离。请使用你的嵌入模型训练时所用的那一种;OpenAI 建议对其向量使用余弦相似度。

把查询与每个已存向量逐一比较虽然精确,但规模一大就很慢。近似最近邻(ANN)索引可以避免这一点:

索引 原理 取舍(据 pgvector 文档)
HNSW 分层的邻近图 速度与召回率的平衡更好,构建更慢,占用内存更多
IVFFlat 把向量分组到多个列表中 构建更快,内存更少,同等召回率下查询更慢

Malkov 和 Yashunin 的 HNSW 论文描述了一叠图:检索从稀疏的上层开始,这 “allows a logarithmic complexity scaling.”(译文:使复杂度呈对数级增长。)pgvector 的 README 概括了其中的交换:近似索引 “trades some recall for speed.”(译文:用一部分召回率换取速度。)

为什么重要

  • 它是大多数 RAG 系统里的检索器。 如果向量库漏掉了正确的文本块,LLM 就永远看不到它。
  • 召回率是可调的设置,而不是理所当然。 ANN 参数会改变返回哪些结果。请用真实查询测量召回率。
  • 过滤。 实际查询会附加语言、客户或日期等条件。要确认过滤是在排序之前生效,而不是在 top-k 截断之后,否则会丢掉本应命中的结果。

在 BroadNet Inference 上

BroadNet 不提供向量存储,其文档也没有列出嵌入端点。典型做法是:自建向量库,从其他来源获取嵌入模型,再由 BroadNet 的对话模型根据检索到的文本块写出答案。语料较小时,大的上下文窗口可以替代向量库;参见长上下文与 RAG 对比。对于阿拉伯语文本,阿拉伯语 RAG 检索解释了为什么在向量索引旁边再加一个关键词索引会有帮助。

常见错误

  • 查询时用的嵌入模型与建索引时用的不同。
  • 真正的问题是检索召回率低,却去调 LLM 的提示词。

常见问题

一定要用专门的向量数据库吗?

不一定。pgvector 这类扩展给 Postgres 加上了向量列和相似度检索,向量可以和其他数据放在一起。数据规模非常大或过滤需求很重时,专门的向量库更有帮助。

向量检索是精确的吗?

可以是。pgvector 默认执行精确最近邻检索,召回率是完美的。加上 HNSW 或 IVFFlat 索引后,检索变为近似的,但更快。

向量数据库会存我的原文吗?

通常你会在每个向量旁边存原始文本块或文档 ID,因为提示词需要原文,而向量并不是可靠的还原手段。不过,Morris 等人(2023)仅凭嵌入向量就完整还原了 92% 的 32 token 测试输入,所以要像保护原文一样保护向量。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity