BroadRouter
ابدأ الآن

التضمينات (Embeddings)

آخر تحديث

التضمينات (embeddings) قوائم من الأعداد العشرية (متجهات) يُنتجها نموذج لتمثيل قطعة نص أو صورة أو أي مدخل آخر. وتحصل المدخلات المتشابهة في المعنى على متجهات متقاربة، فيمكن استخدام المسافة بين المتجهات لترتيب نتائج البحث أو تجميع المستندات أو إيجاد العناصر المرتبطة.

يُسمّى أيضًا: التضمينات، تضمينات النص، التضمينات المتجهية، متجهات التضمين، نموذج التضمين، embeddings، text embeddings، vector embeddings، embedding vectors، embedding model، sentence embeddings

التضمين هو طريقة الحاسوب في قياس المعنى: فالنصان اللذان يقولان أشياء متشابهة يحصلان على متجهين يشيران إلى اتجاهين متقاربين.

كيف تعمل

ترسل النص إلى نموذج تضمين فتحصل على متجه واحد ثابت الطول. ويقولها دليل OpenAI ببساطة: “An embedding is a vector (list) of floating point numbers.” (ترجمة: التضمين متجه، أي قائمة، من الأعداد العشرية.) والطول ثابت لكل نموذج: يُرجع text-embedding-3-small من OpenAI 1,536 رقمًا افتراضيًا، ويُرجع text-embedding-3-large 3,072.

لمقارنة نصين، تقارن متجهيهما. وتوصي OpenAI بتشابه جيب التمام (cosine similarity). ومتجهاتها مُطبَّعة إلى الطول 1، فيعطي الضرب النقطي العادي الترتيب نفسه. ومقارنة متجه الاستعلام بملايين المتجهات المخزّنة هي جوهر البحث الدلالي، وتنفيذ ذلك بسرعة وعلى نطاق واسع هو مهمة قاعدة بيانات المتجهات.

نماذج التضمين نوع مختلف عن نماذج المحادثة: فهي تقرأ المدخل كاملًا وتُرجع أرقامًا، ولا تولّد نصًا. وتُحاسَب لكل رمز إدخال، ولا يوجد نص مخرجات تدفع ثمنه.

لماذا تهم

  • الاسترجاع. التضمينات هي الخطوة الأولى المعتادة في التوليد المعزّز بالاسترجاع: ضمّن مستنداتك مرة واحدة، وضمّن كل سؤال، واجلب أقرب المقاطع ومرّرها إلى نموذج المحادثة.
  • اختيار النموذج يغيّر النتائج. اختبر معيار MTEB 33 نموذجًا على 8 أنواع من المهام و58 مجموعة بيانات و112 لغة، ووجد أن “no particular text embedding method dominates across all tasks” (ترجمة: لا توجد طريقة تضمين نصي بعينها تتفوّق في كل المهام). اختبر على استعلاماتك أنت، خاصةً للنصوص العربية أو المختلطة اللغات.
  • الارتباط بنموذج واحد. لا يمكن مقارنة متجهات نموذج بمتجهات نموذج آخر، وتغيير نموذج التضمين يعني إعادة تضمين المجموعة كلها.

في BroadNet Inference

يُدرج توثيق BroadNet المسارات /v1/chat/completions و/v1/audio/transcriptions وGET /v1/models (قائمة النماذج)، ولا توجد نقطة نهاية للتضمينات. ولنظام بحث أو RAG، اجمع بين نموذج تضمين منفصل (واجهة API مستضافة أو نموذج مفتوح تشغّله بنفسك) ونموذج محادثة من BroadNet للإجابة. ويعرض دليل RAG للعربية هذا التقسيم مع نموذج تضمين متعدد اللغات.

وإن اتسع السياق لمستنداتك، فقد تغنيك نافذة سياق طويلة عن الاسترجاع كليًا أحيانًا. والمفاضلات مشروحة في السياق الطويل مقابل RAG.

أخطاء شائعة

  • خلط متجهات من نموذجَي تضمين مختلفين في فهرس واحد.
  • تضمين المستندات كاملة بدل المقاطع. فمتجه واحد لخمسين صفحة يطمس كل موضوع فيها.
  • تطبيع المستندات دون الاستعلامات، أو العكس. طبّق تنظيف النص نفسه على الاثنين.

أسئلة شائعة

هل التضمينات هي نفسها الرموز؟

لا. الرمز (التوكن) قطعة من النص يقرؤها النموذج. أما التضمين فهو المتجه الذي يُخرجه نموذج التضمين لمدخل كامل، مثل جملة أو فقرة.

كم عدد أبعاد التضمين؟

يعتمد ذلك على النموذج. يُرجع text-embedding-3-small من OpenAI 1,536 رقمًا افتراضيًا، ويُرجع text-embedding-3-large 3,072، ويمكن تقصير كليهما بمعامل dimensions.

هل لدى BroadNet Inference نقطة نهاية للتضمينات؟

لا. يُدرج توثيق BroadNet المسارين /v1/chat/completions و/v1/audio/transcriptions فقط. استخدم نموذج تضمين منفصلًا للاسترجاع، وBroadNet لمرحلة التوليد.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity