BroadRouter
ابدأ الآن

BM25 (ترتيب نتائج البحث بالكلمات المفتاحية)

آخر تحديث

BM25 (أو Okapi BM25) هي دالة ترتيب للبحث بالكلمات المفتاحية تمنح المستند درجة بحسب عدد مرات ظهور كلمات الاستعلام فيه، ومدى ندرة هذه الكلمات في المجموعة كلها، وطول المستند. وهي مقياس التشابه الافتراضي في Lucene وElasticsearch.

يُسمّى أيضًا: BM25، Okapi BM25، البحث المعجمي، البحث بالكلمات المفتاحية، خوارزمية BM25، lexical search، keyword search

BM25 هو نصف الكلمات المفتاحية في معظم أنظمة البحث: سريع ورخيص وجيد في المصطلحات الدقيقة.

كيف يعمل

يأتي BM25 من إطار الصلة الاحتمالي، الذي لخّصه Robertson وZaragoza في «The Probabilistic Relevance Framework: BM25 and Beyond» (2009). وتذكر وثائق الصنف في Lucene أنه قُدِّم على يد Robertson وWalker وJones وآخرين في TREC-3.

لكل كلمة في الاستعلام، يجمع BM25 ثلاث إشارات:

  • تكرار الكلمة: كثرة الظهور في المستند ترفع الدرجة، لكن بعائد متناقص.
  • مقلوب تكرار المستندات (IDF): الكلمات النادرة تحسب أكثر. ويطبّقه Lucene بالصيغة log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • تطبيع الطول: التطابق في مستند قصير يحسب أكثر من التطابق نفسه في مستند طويل.

ويضبطه معاملان. من وثائق Elasticsearch:

المعامل القيمة الافتراضية ما يتحكم فيه
k1 1.2 “non-linear term frequency normalization (saturation)” (ترجمة: التطبيع غير الخطي لتكرار الكلمة، أي التشبّع)
b 0.75 “to what degree document length normalizes tf values” (ترجمة: إلى أي حد يطبّع طول المستند قيم tf)

وBM25 هو مقياس التشابه الافتراضي في Elasticsearch.

لماذا يهم

  • التطابق الدقيق. رموز المنتجات والأسماء ورسائل الأخطاء هي حيث تضعف التضمينات ويقوى BM25.
  • التكلفة. لا يحتاج إلى استدعاء نماذج ولا إلى GPU، بل إلى فهرس معكوس فقط.
  • البحث الهجين. معظم أنظمة RAG في بيئة الإنتاج تقرنه بالبحث المتجهي؛ راجع البحث الهجين.

النص العربي وBM25

يطابق BM25 الوحدات تطابقًا حرفيًا، لذا يعتمد على طريقة تحليل النص. وفي العربية قد تُكتب الكلمة نفسها بأشكال مختلفة للألف، وبالتشكيل أو بدونه، أو بالتاء المربوطة (ة) مكتوبة هاءً (ه)، كما تتصل أداة التعريف وحروف العطف بالكلمة. وبدون توحيد النص العربي والتجذيع، لا تتطابق هذه الصيغ.

ويسلسل المحلّل المدمج arabic في Elasticsearch هذه المرشّحات: lowercase وdecimal_digit وarabic_stop وarabic_normalization ومُعلِّم للكلمات المفتاحية وarabic_stemmer. وحّد الاستعلامات والمستندات بالطريقة نفسها. ويختبر مقال توحيد النص العربي للبحث القواعد التي تفيد والتي تضر، وتتيح لك أداة توحيد النص العربي تجربتها على نصك.

في BroadNet Inference

يعمل BM25 في محرك البحث لديك، لا في نموذج اللغة. ولا توفّر BroadNet نقاط نهاية للتضمينات أو لإعادة الترتيب؛ بل تقدّم نماذج المحادثة التي تقرأ ما تسترجعه. أرسل أفضل نتائج BM25 أو البحث الهجين إلى نموذج مثل Qwen3.8 27B عبر Chat Completions API. ويعرض البحث في RAG العربي سلسلة معالجة كاملة.

أسئلة شائعة

هل يظل BM25 مفيدًا إن كانت لدي تضمينات؟

نعم. BM25 قوي في المصطلحات الدقيقة كالأسماء والرموز ورسائل الأخطاء التي قد تطمسها التضمينات. وكثير من أنظمة RAG تشغّل الاثنين وتدمج النتائج بالبحث الهجين.

ما وظيفة k1 وb؟

يتحكم k1 في سرعة توقّف الكلمات المكررة عن إضافة الدرجة (تشبّع تكرار الكلمة). ويتحكم b في مقدار تطبيع طول المستند. والقيم الافتراضية في Lucene وElasticsearch هي 1.2 لـ k1 و0.75 لـ b.

هل يعمل BM25 مع اللغة العربية؟

نعم، إذا حُلّل النص للعربية أولًا. فبدون التوحيد والتجذيع، تمنع الصيغ الإملائية المختلفة والسوابق المتصلة الكلمات من التطابق.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity