初次检索速度快,但比较粗糙。重排序在一个短名单上多花些算力,把顺序排对。
工作原理
一个两阶段流水线:
- 召回。 用一种快速方法,比如向量数据库中的嵌入向量、BM25 或混合检索,返回前 50 到 100 个候选。
- 重排序。 重排序模型把查询和每个候选放在一起读,给每一对一个相关性分数。保留前 3 到 10 个。
大多数重排序模型是交叉编码器。Sentence Transformers 的文档说,交叉编码器 “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,“(译文:通常比 Sentence Transformer(即双编码器)模型性能更好,)但 “Often slower”(译文:往往更慢),因为 “it requires computation for each pair rather than each text.”(译文:它需要对每一对而不是每一段文本进行计算。)文档称交叉编码器 “often used to re-rank the top-k results”(译文:常用于对前 k 个结果重新排序),这些结果来自双编码器。
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
这种方法至少可以追溯到 Nogueira 和 Cho(2019),他们把 BERT 微调成段落重排序模型,并报告在 MS MARCO 段落检索上,MRR@10 比此前的最佳结果相对提升了 27%。
也有托管的重排序 API。Cohere 的 rerank 端点 “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,“(译文:接收一个查询和一组文本,输出一个有序数组,并为每段文本分配一个相关性分数,)分数归一化到 0 到 1 之间,并可用 top_n 字段限制返回数量。
为什么重要
- 回答质量。 大模型只能用你发给它的内容。排序更好,正确的文本块才会进入提示词。
- token 成本。 有了好的重排序模型,你可以只发 3 个文本块而不是 10 个,每个问题都能省下输入 token。
- 延迟。 重排序多了一个步骤。它的开销随候选数量增长,所以名单要短。
在 BroadNet Inference 上
BroadNet 不提供 rerank 端点,也不提供 embeddings 端点。你可以自己运行交叉编码器(例如用 Sentence Transformers),或使用托管的重排序 API,然后通过兼容 OpenAI 的 Chat Completions API,把排名靠前的文本块发给 BroadNet 对话模型。
对于阿拉伯语文档,请确认你的重排序模型是在阿拉伯语或多语言数据上训练的;阿拉伯语 RAG 检索一文介绍了流水线的其余部分。如果你的语料库不大,DeepSeek V4.1 Flash 这样的长上下文模型也许能让你省掉检索;参见长上下文与 RAG 对比。