BroadRouter
开始使用

重排序(reranking)

更新于

重排序是检索的第二阶段:用一个更精确但更慢的模型(通常是交叉编码器),对初次检索得到的每个“查询-候选文档”对打分并重新排序,只把最相关的少数几条交给语言模型。

又称: 重排序、重排、精排、重排模型、Rerank 模型、交叉编码器、reranking、reranker、rerank、re-ranking、cross-encoder reranker

初次检索速度快,但比较粗糙。重排序在一个短名单上多花些算力,把顺序排对。

工作原理

一个两阶段流水线:

  1. 召回。 用一种快速方法,比如向量数据库中的嵌入向量、BM25 或混合检索,返回前 50 到 100 个候选。
  2. 重排序。 重排序模型把查询和每个候选放在一起读,给每一对一个相关性分数。保留前 3 到 10 个。

大多数重排序模型是交叉编码器。Sentence Transformers 的文档说,交叉编码器 “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,“(译文:通常比 Sentence Transformer(即双编码器)模型性能更好,)但 “Often slower”(译文:往往更慢),因为 “it requires computation for each pair rather than each text.”(译文:它需要对每一对而不是每一段文本进行计算。)文档称交叉编码器 “often used to re-rank the top-k results”(译文:常用于对前 k 个结果重新排序),这些结果来自双编码器。

from sentence_transformers import CrossEncoder

model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages)   # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]

这种方法至少可以追溯到 Nogueira 和 Cho(2019),他们把 BERT 微调成段落重排序模型,并报告在 MS MARCO 段落检索上,MRR@10 比此前的最佳结果相对提升了 27%。

也有托管的重排序 API。Cohere 的 rerank 端点 “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,“(译文:接收一个查询和一组文本,输出一个有序数组,并为每段文本分配一个相关性分数,)分数归一化到 0 到 1 之间,并可用 top_n 字段限制返回数量。

为什么重要

  • 回答质量。 大模型只能用你发给它的内容。排序更好,正确的文本块才会进入提示词。
  • token 成本。 有了好的重排序模型,你可以只发 3 个文本块而不是 10 个,每个问题都能省下输入 token。
  • 延迟。 重排序多了一个步骤。它的开销随候选数量增长,所以名单要短。

在 BroadNet Inference 上

BroadNet 不提供 rerank 端点,也不提供 embeddings 端点。你可以自己运行交叉编码器(例如用 Sentence Transformers),或使用托管的重排序 API,然后通过兼容 OpenAI 的 Chat Completions API,把排名靠前的文本块发给 BroadNet 对话模型。

对于阿拉伯语文档,请确认你的重排序模型是在阿拉伯语或多语言数据上训练的;阿拉伯语 RAG 检索一文介绍了流水线的其余部分。如果你的语料库不大,DeepSeek V4.1 Flash 这样的长上下文模型也许能让你省掉检索;参见长上下文与 RAG 对比。

常见问题

为什么不直接用交叉编码器做全部检索?

它要对每个“查询-文档”对单独打分,在整个文档库上运行太慢了。第一阶段把数百万文档缩小到几十或几百条,重排序模型只给这些排序。

大模型能当重排序模型吗?

能。你可以让对话模型给候选项打分或排序。但它通常比小型交叉编码器更慢,每次查询的成本也更高,所以请在你的数据上两者都测一测。

应该对多少个候选项做重排序?

要足够多,使正确答案通常在其中。统计正确的文本块出现在第一阶段前 20、50 和 100 名中的频率,选召回率够好的最小数字。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity