BM25 ang keyword na kalahati ng karamihan ng search system: mabilis, mura at magaling sa eksaktong termino.
Paano ito gumagana
Galing ang BM25 sa probabilistic relevance framework, na ibinuod nina Robertson at Zaragoza sa “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). Ayon sa class notes ng Lucene, ipinakilala ito nina Robertson, Walker, Jones at iba pa sa TREC-3.
Para sa bawat termino ng query, pinagsasama ng BM25 ang tatlong signal:
- Term frequency: tumataas ang score kapag mas madalas lumabas sa dokumento, pero paliit nang paliit ang dagdag.
- Inverse document frequency (IDF): mas mabigat ang mga bihirang termino. Ganito ito ipinapatupad ng Lucene:
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Length normalization: mas mabigat ang match sa maikling dokumento kaysa sa parehong match sa mahaba.
Dalawang parameter ang nagtu-tune dito. Mula sa docs ng Elasticsearch:
| Parameter | Default | Ano ang kinokontrol |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (Salin ng BroadRouter: “non-linear na normalization ng term frequency (saturation)”) |
b |
0.75 | “to what degree document length normalizes tf values” (Salin ng BroadRouter: “kung gaano nino-normalize ng haba ng dokumento ang mga tf value”) |
BM25 ang default na similarity sa Elasticsearch.
Bakit ito mahalaga
- Eksaktong match. Sa mga product code, pangalan at error message pinakamahina ang embeddings at pinakamalakas ang BM25.
- Gastos. Hindi nito kailangan ng model call o GPU, inverted index lang.
- Hybrid search. Ipinapares ito sa vector search ng karamihan ng production RAG system; tingnan ang hybrid search.
Arabic text at BM25
Eksaktong token ang mina-match ng BM25, kaya nakadepende ito sa pag-analyze ng text. Sa Arabic, puwedeng isulat ang parehong salita gamit ang iba’t ibang anyo ng alef, may diacritics man o wala, o ang teh marbuta (ة) na isinulat bilang heh (ه), at nakadikit sa salita ang mga article at conjunction. Kapag walang Arabic text normalization at stemming, hindi magma-match ang mga variant na iyon.
Pinagdudugtong ng built-in na arabic analyzer ng Elasticsearch ang mga filter na ito: lowercase, decimal_digit, arabic_stop, arabic_normalization, isang keyword marker, at arabic_stemmer. Pareho dapat ang pag-normalize sa mga query at dokumento. Sinusubok ng Arabic text normalization para sa search kung aling mga rule ang nakatutulong at alin ang nakasasama, at hinahayaan ka ng tool na Arabic text normalizer na subukan ang mga ito sa sarili mong text.
Sa BroadNet Inference
Sa search engine mo tumatakbo ang BM25, hindi sa LLM. Walang embeddings o rerank endpoint ang BroadNet; sine-serve nito ang mga chat model na nagbabasa ng mga na-retrieve mo. Ipadala ang mga nangungunang resulta ng BM25 o hybrid search sa model gaya ng Qwen3.8 27B sa Chat Completions API. Ipinapakita ng Arabic RAG search ang buong pipeline.