التضمين هو طريقة الحاسوب في قياس المعنى: فالنصان اللذان يقولان أشياء متشابهة يحصلان على متجهين يشيران إلى اتجاهين متقاربين.
كيف تعمل
ترسل النص إلى نموذج تضمين فتحصل على متجه واحد ثابت الطول. ويقولها دليل OpenAI ببساطة: “An embedding is a vector (list) of floating point numbers.” (ترجمة: التضمين متجه، أي قائمة، من الأعداد العشرية.) والطول ثابت لكل نموذج: يُرجع text-embedding-3-small من OpenAI 1,536 رقمًا افتراضيًا، ويُرجع text-embedding-3-large 3,072.
لمقارنة نصين، تقارن متجهيهما. وتوصي OpenAI بتشابه جيب التمام (cosine similarity). ومتجهاتها مُطبَّعة إلى الطول 1، فيعطي الضرب النقطي العادي الترتيب نفسه. ومقارنة متجه الاستعلام بملايين المتجهات المخزّنة هي جوهر البحث الدلالي، وتنفيذ ذلك بسرعة وعلى نطاق واسع هو مهمة قاعدة بيانات المتجهات.
نماذج التضمين نوع مختلف عن نماذج المحادثة: فهي تقرأ المدخل كاملًا وتُرجع أرقامًا، ولا تولّد نصًا. وتُحاسَب لكل رمز إدخال، ولا يوجد نص مخرجات تدفع ثمنه.
لماذا تهم
- الاسترجاع. التضمينات هي الخطوة الأولى المعتادة في التوليد المعزّز بالاسترجاع: ضمّن مستنداتك مرة واحدة، وضمّن كل سؤال، واجلب أقرب المقاطع ومرّرها إلى نموذج المحادثة.
- اختيار النموذج يغيّر النتائج. اختبر معيار MTEB 33 نموذجًا على 8 أنواع من المهام و58 مجموعة بيانات و112 لغة، ووجد أن “no particular text embedding method dominates across all tasks” (ترجمة: لا توجد طريقة تضمين نصي بعينها تتفوّق في كل المهام). اختبر على استعلاماتك أنت، خاصةً للنصوص العربية أو المختلطة اللغات.
- الارتباط بنموذج واحد. لا يمكن مقارنة متجهات نموذج بمتجهات نموذج آخر، وتغيير نموذج التضمين يعني إعادة تضمين المجموعة كلها.
في BroadNet Inference
يُدرج توثيق BroadNet المسارات /v1/chat/completions و/v1/audio/transcriptions وGET /v1/models (قائمة النماذج)، ولا توجد نقطة نهاية للتضمينات. ولنظام بحث أو RAG، اجمع بين نموذج تضمين منفصل (واجهة API مستضافة أو نموذج مفتوح تشغّله بنفسك) ونموذج محادثة من BroadNet للإجابة. ويعرض دليل RAG للعربية هذا التقسيم مع نموذج تضمين متعدد اللغات.
وإن اتسع السياق لمستنداتك، فقد تغنيك نافذة سياق طويلة عن الاسترجاع كليًا أحيانًا. والمفاضلات مشروحة في السياق الطويل مقابل RAG.
أخطاء شائعة
- خلط متجهات من نموذجَي تضمين مختلفين في فهرس واحد.
- تضمين المستندات كاملة بدل المقاطع. فمتجه واحد لخمسين صفحة يطمس كل موضوع فيها.
- تطبيع المستندات دون الاستعلامات، أو العكس. طبّق تنظيف النص نفسه على الاثنين.