تجيب قاعدة بيانات المتجهات عن سؤال واحد بسرعة كبيرة: أي العناصر المخزّنة معناها قريب من هذا الاستعلام؟
كيف يعمل
كل سجل هو تضمين، أي قائمة أعداد بطول ثابت، ومعه بيانات وصفية مثل النص المصدر ومعرّف المستند والتاريخ. وعند الاستعلام تحوّل السؤال إلى تضمين بالنموذج نفسه، وتطلب أقرب k متجهات.
و”الأقرب” يحتاج إلى مقياس مسافة. تقدّم pgvector، إضافة Postgres، ثلاثة عوامل: <-> للمسافة الإقليدية (L2)، و<#> للضرب الداخلي السالب، و<=> لمسافة جيب التمام. استخدم المقياس الذي دُرّب عليه نموذج التضمين لديك؛ وتوصي OpenAI بتشابه جيب التمام لمتجهاتها.
مقارنة الاستعلام بكل متجه مخزّن دقيقة لكنها بطيئة عند الحجم الكبير. وفهارس أقرب الجيران التقريبية (ANN) تتجنّب ذلك:
| الفهرس | كيف يعمل | المفاضلة (وفق توثيق pgvector) |
|---|---|---|
| HNSW | رسم بياني متعدد الطبقات للتقارب | توازن أفضل بين السرعة والاستدعاء، وبناء أبطأ، وذاكرة أكثر |
| IVFFlat | متجهات مجمّعة في قوائم | بناء أسرع، وذاكرة أقل، وسرعة استعلام أدنى عند الاستدعاء نفسه |
تصف ورقة HNSW التي كتبها Malkov وYashunin كومة من الرسوم البيانية يبدأ فيها البحث من الطبقات العليا المتفرقة، وهذا “allows a logarithmic complexity scaling.” (ترجمة: يتيح تزايدًا لوغاريتميًا في التعقيد). ويلخّص ملف README في pgvector الصفقة: الفهرس التقريبي “trades some recall for speed.” (ترجمة: يتنازل عن بعض الاستدعاء مقابل السرعة).
لماذا يهم
- هي أداة الاسترجاع في معظم أنظمة RAG. إذا فات المخزنَ المقطعُ الصحيح، فلن يراه نموذج اللغة أبدًا.
- الاستدعاء إعداد، لا أمر مضمون. معاملات ANN تغيّر النتائج التي تعود. قِس الاستدعاء على استعلامات حقيقية.
- التصفية. الاستعلامات الحقيقية تضيف شروطًا مثل اللغة أو العميل أو التاريخ. تحقق من أن المرشّحات تُطبَّق قبل الترتيب، لا بعد قطع أعلى k الذي يُسقط نتائج صالحة.
في BroadNet Inference
لا تستضيف BroadNet تخزينًا للمتجهات، ولا يذكر توثيقها نقطة نهاية للتضمينات. والإعداد المعتاد: مخزن متجهات خاص بك، ونموذج تضمين من مصدر آخر، ونموذج محادثة من BroadNet يكتب الإجابة من المقاطع المسترجعة. وللمجموعات النصية الصغيرة، يمكن أن تحل نافذة سياق كبيرة محل المخزن؛ راجع السياق الطويل مقابل RAG. وللنص العربي، يشرح البحث العربي بتقنية RAG لماذا يفيد فهرس كلمات مفتاحية بجانب فهرس المتجهات.
أخطاء شائعة
- الاستعلام بنموذج تضمين غير النموذج المستخدم في الفهرسة.
- ضبط موجّه نموذج اللغة بينما المشكلة الحقيقية ضعف الاستدعاء في الاسترجاع.