BM25 çoğu arama sisteminin anahtar kelime yarısıdır: hızlı, ucuz ve tam terimlerde iyi.
Nasıl çalışır
BM25, Robertson ve Zaragoza’nın “The Probabilistic Relevance Framework: BM25 and Beyond” (2009) çalışmasında özetlediği olasılıksal alaka çerçevesinden gelir. Lucene’in sınıf belgesi, yöntemin TREC-3’te Robertson, Walker, Jones ve diğerleri tarafından tanıtıldığını belirtir.
BM25 her sorgu terimi için üç sinyali birleştirir:
- Terim sıklığı: belgede daha fazla geçmek puanı artırır, ama azalan getiriyle.
- Ters belge sıklığı (IDF): nadir terimler daha çok sayılır. Lucene bunu
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5))olarak uygular. - Uzunluk normalizasyonu: kısa bir belgedeki eşleşme, uzun bir belgedeki aynı eşleşmeden daha çok sayılır.
İki parametre onu ayarlar. Elasticsearch belgelerine göre:
| Parametre | Varsayılan | Neyi kontrol eder |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (çeviri: doğrusal olmayan terim sıklığı normalizasyonu (doygunluk)) |
b |
0.75 | “to what degree document length normalizes tf values” (çeviri: belge uzunluğunun tf değerlerini ne ölçüde normalize ettiği) |
BM25, Elasticsearch’te varsayılan benzerlik fonksiyonudur.
Neden önemli
- Tam eşleşmeler. Ürün kodları, adlar ve hata mesajları, embedding’lerin en zayıf, BM25’in ise güçlü olduğu yerlerdir.
- Maliyet. Model çağrısı veya GPU gerektirmez, yalnızca bir ters indeks gerekir.
- Hibrit arama. Üretimdeki RAG sistemlerinin çoğu onu vektör aramasıyla eşleştirir; bkz. hibrit arama.
Arapça metin ve BM25
BM25 token’ları birebir eşleştirir; bu yüzden metnin nasıl çözümlendiğine bağlıdır. Arapçada aynı kelime farklı elif biçimleriyle, harekeli veya harekesiz ya da te marbuta (ة) he (ه) olarak yazılarak yazılabilir; tanımlıklar ve bağlaçlar da kelimeye bitişir. Arapça metin normalizasyonu ve kök bulma olmadan bu varyantlar eşleşmez.
Elasticsearch’ün yerleşik arabic çözümleyicisi şu filtreleri zincirler: lowercase, decimal_digit, arabic_stop, arabic_normalization, bir keyword işaretleyici ve arabic_stemmer. Sorguları ve belgeleri aynı şekilde normalize edin. Arama için Arapça metin normalizasyonu yazısı hangi kuralların yardımcı olduğunu, hangilerinin zarar verdiğini test eder; Arapça metin normalleştirici aracı da bunları kendi metninizde denemenizi sağlar.
BroadNet Inference’ta
BM25 LLM’de değil, arama motorunuzda çalışır. BroadNet embedding veya rerank uç noktaları sunmaz; getirdiğiniz içeriği okuyan sohbet modellerini sunar. En iyi BM25 veya hibrit sonuçlarınızı Chat Completions API üzerinden Qwen3.8 27B gibi bir modele gönderin. Arapça RAG araması eksiksiz bir işlem hattı gösterir.