BM25 زیادہ تر سرچ سسٹمز کا کی ورڈ والا حصہ ہے: تیز، سستا اور exact الفاظ میں اچھا۔
یہ کیسے کام کرتا ہے
BM25 probabilistic relevance framework سے آتا ہے، جس کا خلاصہ Robertson اور Zaragoza نے “The Probabilistic Relevance Framework: BM25 and Beyond” (2009) میں پیش کیا۔ Lucene کی کلاس بتاتی ہے کہ اسے Robertson، Walker، Jones اور دوسروں نے TREC-3 میں متعارف کرایا تھا۔
کوئری کے ہر لفظ کے لیے BM25 تین اشارے جوڑتا ہے:
- Term frequency: دستاویز میں زیادہ بار آنے سے اسکور بڑھتا ہے، مگر گھٹتے فائدے کے ساتھ۔
- Inverse document frequency (IDF): نایاب الفاظ زیادہ گنے جاتے ہیں۔ Lucene اسے
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5))کے طور پر نافذ کرتا ہے۔ - لمبائی کی نارملائزیشن: چھوٹی دستاویز میں میچ، لمبی دستاویز میں اسی میچ سے زیادہ گنا جاتا ہے۔
دو پیرامیٹر اسے ٹیون کرتے ہیں۔ Elasticsearch کی دستاویزات:
| پیرامیٹر | ڈیفالٹ | کیا کنٹرول کرتا ہے |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)” (ترجمہ: term frequency کی non-linear نارملائزیشن، یعنی saturation) |
b |
0.75 | “to what degree document length normalizes tf values” (ترجمہ: دستاویز کی لمبائی tf قدروں کو کس حد تک نارملائز کرے) |
BM25 Elasticsearch کی ڈیفالٹ similarity ہے۔
یہ کیوں اہم ہے
- Exact میچ۔ پروڈکٹ کوڈ، نام اور ایرر میسجز وہ جگہ ہیں جہاں embeddings سب سے کمزور اور BM25 مضبوط ہے۔
- لاگت۔ اسے کسی ماڈل کال یا GPU کی ضرورت نہیں، صرف ایک inverted index چاہیے۔
- Hybrid search۔ زیادہ تر پروڈکشن RAG سسٹم اسے vector search کے ساتھ جوڑتے ہیں؛ hybrid search دیکھیں۔
عربی متن اور BM25
BM25 ٹوکنز کو exact ملاتا ہے، اس لیے یہ اس پر منحصر ہے کہ متن کیسے analyze ہوا۔ عربی میں ایک ہی لفظ الف کی مختلف شکلوں میں، اعراب کے ساتھ یا بغیر، یا تائے مربوطہ (ة) کو ہائے (ه) لکھ کر لکھا جا سکتا ہے، اور حروفِ تعریف اور حروفِ عطف لفظ سے جڑ جاتے ہیں۔ عربی متن کی نارملائزیشن اور stemming کے بغیر یہ شکلیں میچ نہیں ہوتیں۔
Elasticsearch کا بلٹ اِن arabic analyzer یہ فلٹرز ترتیب سے لگاتا ہے: lowercase، decimal_digit، arabic_stop، arabic_normalization، ایک keyword marker، اور arabic_stemmer۔ کوئریز اور دستاویزات کو ایک ہی طرح نارملائز کریں۔ سرچ کے لیے عربی متن کی نارملائزیشن آزماتی ہے کہ کون سے اصول مدد کرتے ہیں اور کون سے نقصان، اور عربی ٹیکسٹ نارملائزر ٹول سے آپ انہیں اپنے متن پر آزما سکتے ہیں۔
BroadNet Inference پر
BM25 آپ کے سرچ انجن میں چلتا ہے، LLM میں نہیں۔ BroadNet embeddings یا rerank اینڈپوائنٹس نہیں دیتا؛ وہ چیٹ ماڈل سرو کرتا ہے جو آپ کا نکالا ہوا متن پڑھتے ہیں۔ اپنے ٹاپ BM25 یا hybrid نتائج Chat Completions API کے ذریعے Qwen3.8 27B جیسے ماڈل کو بھیجیں۔ عربی RAG سرچ پوری پائپ لائن دکھاتی ہے۔