BroadRouter
始める

リランキング(reranking)

更新日

リランキングとは検索の第 2 段階で、より正確だが遅いモデル(通常はクロスエンコーダー)が、一次検索で得たクエリと候補文書のペアをそれぞれ採点して並べ替え、最も関連性の高い少数だけを言語モデルに渡します。

別名: リランキング、リランカー、再ランキング、リランク、クロスエンコーダー、リランクモデル、reranking、reranker、rerank、re-ranking、cross-encoder reranker

一次検索は速いものの、大まかです。リランキングは短いリストに多めの計算を使い、順位を正しく整えます。

仕組み

2 段階のパイプラインです。

  1. 検索。 ベクトルデータベース内のエンベディング、BM25、ハイブリッド検索などの高速な手法で、上位 50〜100 件の候補を返します。
  2. リランキング。 リランカーがクエリと各候補を一緒に読み、ペアごとに関連度スコアを付けます。上位 3〜10 件を残します。

ほとんどのリランカーはクロスエンコーダーです。Sentence Transformers のドキュメントによると、クロスエンコーダーは “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,“(訳:一般に Sentence Transformer(バイエンコーダー)モデルより高い性能を示す)一方で、“it requires computation for each pair rather than each text.”(訳:テキストごとではなくペアごとに計算が必要)なため “Often slower”(訳:多くの場合、より遅い)とされています。ドキュメントは、クロスエンコーダーがバイエンコーダーの “often used to re-rank the top-k results”(訳:上位 k 件の結果を並べ替えるためによく使われる)と説明しています。

from sentence_transformers import CrossEncoder

model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages)   # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]

この手法は少なくとも Nogueira と Cho(2019)にさかのぼります。2 人は BERT をパッセージのリランカーとしてファインチューニングし、MS MARCO のパッセージ検索で、従来の最高結果に対して MRR@10 で 27% の相対的な改善を報告しました。

ホスト型のリランク API もあります。Cohere の rerank エンドポイントは “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,“(訳:クエリとテキストのリストを受け取り、各テキストに関連度スコアを割り当てた順序付きの配列を生成する)もので、スコアは 0〜1 の範囲に正規化され、top_n フィールドで結果の数を制限できます。

なぜ重要か

  • 回答の品質。 LLM が使えるのは送られた内容だけです。順位が良くなれば、正しいチャンクがプロンプトに入ります。
  • トークンコスト。 良いリランカーがあれば、10 個ではなく 3 個のチャンクを送れるので、質問ごとに入力トークンを減らせます。
  • レイテンシ。 リランカーはステップを 1 つ追加します。コストは候補の数とともに増えるので、リストは短くしてください。

BroadNet Inference の場合

BroadNet には rerank エンドポイントも embeddings エンドポイントもありません。Sentence Transformers などでクロスエンコーダーを自分で動かすか、ホスト型のリランク API を使い、上位のチャンクを OpenAI 互換の Chat Completions API で BroadNet のチャットモデルに送ってください。

アラビア語の文書では、リランカーがアラビア語または多言語のデータで学習されているか確認してください。パイプラインの残りの部分は「アラビア語の RAG 検索」で扱っています。コーパスが小さいなら、DeepSeek V4.1 Flash のような長いコンテキストを持つモデルで検索を省けることもあります。「ロングコンテキストと RAG の比較」を参照してください。

よくある質問

なぜ検索全体にクロスエンコーダーを使わないのですか?

クエリと文書のペアを 1 つずつ採点するため、コレクション全体に対して実行するには遅すぎるからです。第 1 段階で数百万件の文書を数十〜数百件に絞り込み、リランカーはそれだけを並べ替えます。

LLM をリランカーにできますか?

できます。チャットモデルに候補を採点させたり並べ替えさせたりできます。ただし、通常は小さなクロスエンコーダーより遅く、クエリあたりのコストも高いので、自社のデータで両方をテストしてください。

候補はいくつリランキングすべきですか?

正解がたいていその中に含まれるだけの数です。第 1 段階の上位 20、50、100 件に正しいチャンクが含まれる頻度を測り、十分な再現率が得られる最小の数を選んでください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く