البحث الأوّلي سريع لكنه تقريبي. وإعادة الترتيب تنفق قدرة حسابية أكبر على قائمة قصيرة لتضبط الترتيب.
كيف يعمل
مسار من مرحلتين:
- الاسترجاع. تعيد طريقة سريعة، مثل التضمينات في قاعدة بيانات متجهات، أو BM25، أو البحث الهجين، أعلى 50 إلى 100 مرشح.
- إعادة الترتيب. يقرأ نموذج إعادة الترتيب الاستعلام وكل مرشح معًا، ويعطي كل زوج درجة صلة. احتفظ بأعلى 3 إلى 10.
معظم نماذج إعادة الترتيب من نوع cross-encoder. ويقول توثيق Sentence Transformers إن cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (ترجمة: يقدّم عمومًا أداءً أفضل مقارنةً بنموذج Sentence Transformer، المعروف أيضًا بـ bi-encoder) لكنه “Often slower” (ترجمة: أبطأ في الغالب) لأن “it requires computation for each pair rather than each text.” (ترجمة: يتطلب حسابًا لكل زوج بدل كل نص.) ويصف التوثيق نماذج cross-encoder بأنها “often used to re-rank the top-k results” (ترجمة: تُستخدم غالبًا لإعادة ترتيب أعلى k نتيجة) القادمة من bi-encoder.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
ويعود هذا النهج على الأقل إلى Nogueira وCho (2019)، اللذين ضبطا BERT ضبطًا دقيقًا ليعيد ترتيب المقاطع، وأفادا بتحسّن نسبي بلغ 27% في MRR@10 على أفضل نتيجة سابقة في استرجاع المقاطع على MS MARCO.
وهناك أيضًا واجهات API مستضافة لإعادة الترتيب. فنقطة نهاية rerank لدى Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (ترجمة: تستقبل استعلامًا وقائمة نصوص، وتُنتج مصفوفة مرتّبة يُسنَد فيها لكل نص درجة صلة)، مع درجات موحَّدة في النطاق من 0 إلى 1، وحقل top_n لتحديد عدد النتائج.
لماذا يهم
- جودة الإجابة. لا يستطيع نموذج LLM استخدام إلا ما ترسله إليه. والترتيب الأفضل يضع الجزء الصحيح في الأمر.
- تكلفة الرموز. مع نموذج إعادة ترتيب جيد يمكنك إرسال 3 أجزاء بدل 10، مما يقلل رموز الإدخال في كل سؤال.
- زمن الاستجابة. تضيف إعادة الترتيب خطوة. وتكلفتها تزداد مع عدد المرشحين، لذا أبقِ تلك القائمة قصيرة.
في BroadNet Inference
لا تقدّم BroadNet نقطة نهاية لإعادة الترتيب ولا نقطة نهاية للتضمينات. شغّل cross-encoder بنفسك، مثلًا باستخدام Sentence Transformers، أو استخدم API مستضافة لإعادة الترتيب، ثم أرسل أعلى الأجزاء إلى نموذج محادثة في BroadNet عبر Chat Completions API المتوافقة مع OpenAI.
وللمستندات العربية، تحقّق من أن نموذج إعادة الترتيب لديك دُرّب على بيانات عربية أو متعددة اللغات؛ وتغطي مقالة البحث العربي بتقنية RAG بقية المسار. وإن كانت مجموعة مستنداتك صغيرة، فقد يتيح لك نموذج طويل السياق مثل DeepSeek V4.1 Flash تخطي الاسترجاع؛ انظر السياق الطويل مقابل RAG.