BM25 は、たいていの検索システムでキーワードを受け持つ側です。速く、安く、正確な語の一致に強い方式です。
しくみ
BM25 は確率的適合性フレームワークから生まれたもので、Robertson と Zaragoza が「The Probabilistic Relevance Framework: BM25 and Beyond」(2009)でまとめています。Lucene のクラスの説明によると、Robertson、Walker、Jones らが TREC-3 で提案しました。
クエリの各語について、BM25 は 3 つのシグナルを組み合わせます。
- 語の出現頻度(TF):文書内の出現回数が多いほどスコアは上がりますが、増え方は次第に小さくなります。
- 逆文書頻度(IDF):珍しい語ほど重みが大きくなります。Lucene では
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5))として実装されています。 - 長さの正規化:同じ一致でも、長い文書より短い文書での一致のほうが重く数えられます。
調整するパラメーターは 2 つです。Elasticsearch のドキュメントより。
| パラメーター | デフォルト | 何を制御するか |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)“(訳:語の出現頻度の非線形な正規化(飽和)) |
b |
0.75 | “to what degree document length normalizes tf values”(訳:文書の長さが TF の値をどの程度正規化するか) |
BM25 は Elasticsearch のデフォルトの類似度です。
なぜ重要か
- 完全一致。 製品コード、名前、エラーメッセージは、エンベディングが最も苦手で、BM25 が強い領域です。
- コスト。 モデルの呼び出しも GPU も不要で、転置インデックスがあれば動きます。
- ハイブリッド検索。 本番の RAG システムの多くは、BM25 とベクトル検索を組み合わせています。ハイブリッド検索を参照してください。
アラビア語テキストと BM25
BM25 はトークンを完全一致で照合するので、テキストをどう解析するかに左右されます。アラビア語では、同じ単語でもアリフの形が異なったり、発音記号があったりなかったり、ター・マルブータ(ة)がハー(ه)で書かれたりし、冠詞や接続詞は単語にくっついて書かれます。アラビア語テキストの正規化とステミングをしないと、こうした表記ゆれは一致しません。
Elasticsearch の組み込みの arabic アナライザーは、lowercase、decimal_digit、arabic_stop、arabic_normalization、キーワードマーカー、arabic_stemmer の順にフィルターをつなげています。クエリと文書は同じ方法で正規化してください。検索のためのアラビア語テキスト正規化では、どのルールが効き、どのルールが逆効果かを検証しています。アラビア語テキスト正規化ツールでは、自分のテキストで試せます。
BroadNet Inference の場合
BM25 は LLM ではなく、検索エンジンの中で動きます。BroadNet はエンベディングやリランクのエンドポイントを提供しておらず、検索結果を読むチャットモデルを提供しています。BM25 やハイブリッド検索の上位の結果を、Chat Completions API で Qwen3.8 27B などのモデルに送ってください。パイプライン全体はアラビア語の RAG 検索で紹介しています。