一次検索は速いものの、大まかです。リランキングは短いリストに多めの計算を使い、順位を正しく整えます。
仕組み
2 段階のパイプラインです。
- 検索。 ベクトルデータベース内のエンベディング、BM25、ハイブリッド検索などの高速な手法で、上位 50〜100 件の候補を返します。
- リランキング。 リランカーがクエリと各候補を一緒に読み、ペアごとに関連度スコアを付けます。上位 3〜10 件を残します。
ほとんどのリランカーはクロスエンコーダーです。Sentence Transformers のドキュメントによると、クロスエンコーダーは “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,“(訳:一般に Sentence Transformer(バイエンコーダー)モデルより高い性能を示す)一方で、“it requires computation for each pair rather than each text.”(訳:テキストごとではなくペアごとに計算が必要)なため “Often slower”(訳:多くの場合、より遅い)とされています。ドキュメントは、クロスエンコーダーがバイエンコーダーの “often used to re-rank the top-k results”(訳:上位 k 件の結果を並べ替えるためによく使われる)と説明しています。
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
この手法は少なくとも Nogueira と Cho(2019)にさかのぼります。2 人は BERT をパッセージのリランカーとしてファインチューニングし、MS MARCO のパッセージ検索で、従来の最高結果に対して MRR@10 で 27% の相対的な改善を報告しました。
ホスト型のリランク API もあります。Cohere の rerank エンドポイントは “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,“(訳:クエリとテキストのリストを受け取り、各テキストに関連度スコアを割り当てた順序付きの配列を生成する)もので、スコアは 0〜1 の範囲に正規化され、top_n フィールドで結果の数を制限できます。
なぜ重要か
- 回答の品質。 LLM が使えるのは送られた内容だけです。順位が良くなれば、正しいチャンクがプロンプトに入ります。
- トークンコスト。 良いリランカーがあれば、10 個ではなく 3 個のチャンクを送れるので、質問ごとに入力トークンを減らせます。
- レイテンシ。 リランカーはステップを 1 つ追加します。コストは候補の数とともに増えるので、リストは短くしてください。
BroadNet Inference の場合
BroadNet には rerank エンドポイントも embeddings エンドポイントもありません。Sentence Transformers などでクロスエンコーダーを自分で動かすか、ホスト型のリランク API を使い、上位のチャンクを OpenAI 互換の Chat Completions API で BroadNet のチャットモデルに送ってください。
アラビア語の文書では、リランカーがアラビア語または多言語のデータで学習されているか確認してください。パイプラインの残りの部分は「アラビア語の RAG 検索」で扱っています。コーパスが小さいなら、DeepSeek V4.1 Flash のような長いコンテキストを持つモデルで検索を省けることもあります。「ロングコンテキストと RAG の比較」を参照してください。