BroadRouter
ابدأ الآن

قاعدة بيانات المتجهات (Vector database)

آخر تحديث

قاعدة بيانات المتجهات مخزن بيانات يحفظ متجهات التضمين، ومعها غالبًا نصها المصدر وبياناتها الوصفية، ويجيب عن استعلامات أقرب الجيران: تعطيها متجه استعلام فتُرجع المتجهات المخزّنة الأشبه به، عادةً بمسافة جيب التمام أو المسافة الإقليدية أو الضرب الداخلي.

يُسمّى أيضًا: قاعدة بيانات متجهية، قاعدة بيانات المتجهات، مخزن المتجهات، البحث المتجهي، البحث بالتشابه، فهرس المتجهات، vector database، vector store، vector DB، vector index، vector search engine، similarity search database

تجيب قاعدة بيانات المتجهات عن سؤال واحد بسرعة كبيرة: أي العناصر المخزّنة معناها قريب من هذا الاستعلام؟

كيف يعمل

كل سجل هو تضمين، أي قائمة أعداد بطول ثابت، ومعه بيانات وصفية مثل النص المصدر ومعرّف المستند والتاريخ. وعند الاستعلام تحوّل السؤال إلى تضمين بالنموذج نفسه، وتطلب أقرب k متجهات.

و”الأقرب” يحتاج إلى مقياس مسافة. تقدّم pgvector، إضافة Postgres، ثلاثة عوامل: <-> للمسافة الإقليدية (L2)، و<#> للضرب الداخلي السالب، و<=> لمسافة جيب التمام. استخدم المقياس الذي دُرّب عليه نموذج التضمين لديك؛ وتوصي OpenAI بتشابه جيب التمام لمتجهاتها.

مقارنة الاستعلام بكل متجه مخزّن دقيقة لكنها بطيئة عند الحجم الكبير. وفهارس أقرب الجيران التقريبية (ANN) تتجنّب ذلك:

الفهرس كيف يعمل المفاضلة (وفق توثيق pgvector)
HNSW رسم بياني متعدد الطبقات للتقارب توازن أفضل بين السرعة والاستدعاء، وبناء أبطأ، وذاكرة أكثر
IVFFlat متجهات مجمّعة في قوائم بناء أسرع، وذاكرة أقل، وسرعة استعلام أدنى عند الاستدعاء نفسه

تصف ورقة HNSW التي كتبها Malkov وYashunin كومة من الرسوم البيانية يبدأ فيها البحث من الطبقات العليا المتفرقة، وهذا “allows a logarithmic complexity scaling.” (ترجمة: يتيح تزايدًا لوغاريتميًا في التعقيد). ويلخّص ملف README في pgvector الصفقة: الفهرس التقريبي “trades some recall for speed.” (ترجمة: يتنازل عن بعض الاستدعاء مقابل السرعة).

لماذا يهم

  • هي أداة الاسترجاع في معظم أنظمة RAG. إذا فات المخزنَ المقطعُ الصحيح، فلن يراه نموذج اللغة أبدًا.
  • الاستدعاء إعداد، لا أمر مضمون. معاملات ANN تغيّر النتائج التي تعود. قِس الاستدعاء على استعلامات حقيقية.
  • التصفية. الاستعلامات الحقيقية تضيف شروطًا مثل اللغة أو العميل أو التاريخ. تحقق من أن المرشّحات تُطبَّق قبل الترتيب، لا بعد قطع أعلى k الذي يُسقط نتائج صالحة.

في BroadNet Inference

لا تستضيف BroadNet تخزينًا للمتجهات، ولا يذكر توثيقها نقطة نهاية للتضمينات. والإعداد المعتاد: مخزن متجهات خاص بك، ونموذج تضمين من مصدر آخر، ونموذج محادثة من BroadNet يكتب الإجابة من المقاطع المسترجعة. وللمجموعات النصية الصغيرة، يمكن أن تحل نافذة سياق كبيرة محل المخزن؛ راجع السياق الطويل مقابل RAG. وللنص العربي، يشرح البحث العربي بتقنية RAG لماذا يفيد فهرس كلمات مفتاحية بجانب فهرس المتجهات.

أخطاء شائعة

  • الاستعلام بنموذج تضمين غير النموذج المستخدم في الفهرسة.
  • ضبط موجّه نموذج اللغة بينما المشكلة الحقيقية ضعف الاستدعاء في الاسترجاع.

أسئلة شائعة

هل أحتاج إلى قاعدة بيانات متجهات مخصّصة؟

ليس بالضرورة. إضافات مثل pgvector تضيف إلى Postgres أعمدة متجهات وبحثًا بالتشابه، فتبقى المتجهات بجانب بقية بياناتك. والمخازن المخصّصة تفيد عند الحجم الكبير جدًا أو عند الحاجة إلى تصفية كثيفة.

هل البحث المتجهي دقيق تمامًا؟

يمكن أن يكون كذلك. يُجري pgvector افتراضيًا بحثًا دقيقًا عن أقرب الجيران، وهذا يعطي استدعاءً كاملًا. وإضافة فهرس HNSW أو IVFFlat تجعله تقريبيًا وأسرع.

هل تخزّن قاعدة بيانات المتجهات نصّي؟

عادةً تخزّن المقطع الأصلي أو معرّف المستند بجانب كل متجه، لأن الموجّه يحتاج إلى النص، والمتجه ليس وسيلة موثوقة لاسترجاعه. ومع ذلك أعاد Morris وآخرون (2023) بناء 92% من مدخلات اختبار طولها 32 رمزًا بدقة تامة من تضميناتها، فاحمِ المتجهات كما تحمي النص نفسه.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity