BroadRouter
شروع کریں

ویکٹر ڈیٹابیس (vector database)

اپ ڈیٹ

ویکٹر ڈیٹابیس ایک ڈیٹا اسٹور ہے جو embedding ویکٹرز، اکثر ان کے سورس متن اور میٹا ڈیٹا کے ساتھ، رکھتا ہے اور nearest-neighbour کوئریز کا جواب دیتا ہے: کوئری ویکٹر ملنے پر یہ سب سے ملتے جلتے محفوظ ویکٹرز لوٹاتا ہے، عموماً cosine فاصلے، Euclidean فاصلے یا inner product سے۔

دوسرے نام: ویکٹر ڈیٹابیس، ویکٹر اسٹور، ویکٹر DB، vector database kya hai، vector db kya hota hai، vector database، vector store، vector DB، vector index، vector search engine، similarity search database

ویکٹر ڈیٹابیس ایک سوال کا جواب بہت تیزی سے دیتا ہے: محفوظ کی گئی کون سی چیزیں اس کوئری کے معنی کے سب سے قریب ہیں؟

یہ کیسے کام کرتا ہے

ہر ریکارڈ ایک embedding ہوتا ہے، یعنی مقررہ لمبائی والی اعداد کی فہرست، ساتھ میں میٹا ڈیٹا جیسے سورس متن، دستاویز ID اور تاریخ۔ کوئری کے وقت آپ سوال کی embedding اسی ماڈل سے بناتے ہیں اور قریب ترین top k ویکٹرز مانگتے ہیں۔

“قریب ترین” کے لیے فاصلے کا کوئی پیمانہ چاہیے۔ Postgres ایکسٹینشن pgvector تین آپریٹرز دیتی ہے: Euclidean (L2) فاصلے کے لیے <->، negative inner product کے لیے <#> اور cosine فاصلے کے لیے <=>۔ وہی استعمال کریں جس کے لیے آپ کا embedding ماڈل تربیت یافتہ ہے؛ OpenAI اپنے ویکٹرز کے لیے cosine similarity تجویز کرتا ہے۔

ہر محفوظ ویکٹر سے کوئری کا موازنہ درست ہے، مگر بڑے پیمانے پر سست ہے۔ Approximate nearest-neighbour (ANN) انڈیکس اس سے بچاتے ہیں:

انڈیکس کیسے کام کرتا ہے سودا (pgvector دستاویزات کے مطابق)
HNSW تہوں والا proximity گراف بہتر رفتار-recall، سست بلڈ، زیادہ میموری
IVFFlat ویکٹرز فہرستوں میں گروپ تیز بلڈ، کم میموری، اسی recall پر کم کوئری رفتار

Malkov اور Yashunin کا HNSW پیپر گرافس کے ایک ڈھیر کی وضاحت کرتا ہے جس میں سرچ اوپر کی کم گنجان تہوں سے شروع ہوتی ہے، جو “allows a logarithmic complexity scaling.” (ترجمہ: لوگارتھمک پیچیدگی والی اسکیلنگ ممکن بناتا ہے۔) pgvector کا README سودے کا خلاصہ بتاتا ہے: approximate انڈیکس “trades some recall for speed.” (ترجمہ: رفتار کے بدلے کچھ recall چھوڑتا ہے۔)

یہ کیوں اہم ہے

  • زیادہ تر RAG سسٹمز میں یہی retriever ہے۔ اگر اسٹور درست chunk چوک جائے تو LLM اسے کبھی دیکھتا ہی نہیں۔
  • Recall ایک سیٹنگ ہے، پکی ضمانت نہیں۔ ANN پیرامیٹرز بدلتے ہیں کہ کون سے نتائج واپس آئیں گے۔ اصل کوئریز پر recall ناپیں۔
  • فلٹرنگ۔ اصل کوئریز میں زبان، کسٹمر یا تاریخ جیسی شرائط شامل ہوتی ہیں۔ جانچیں کہ فلٹر رینکنگ سے پہلے لگتے ہیں، نہ کہ top-k کٹوتی کے بعد جو درست نتائج گرا دیتی ہے۔

BroadNet Inference پر

BroadNet ویکٹر اسٹوریج ہوسٹ نہیں کرتا اور اس کی دستاویزات میں کوئی embeddings اینڈپوائنٹ درج نہیں۔ عام سیٹ اپ یہ ہے: آپ کا اپنا ویکٹر اسٹور، کسی دوسرے ذریعے کا embedding ماڈل، اور BroadNet کا چیٹ ماڈل جو نکالے گئے chunks سے جواب لکھتا ہے۔ چھوٹے کارپس کے لیے بڑی کانٹیکسٹ ونڈو اسٹور کی جگہ لے سکتی ہے؛ لمبا کانٹیکسٹ بمقابلہ RAG دیکھیں۔ عربی متن کے لیے عربی RAG سرچ بتاتا ہے کہ ویکٹر انڈیکس کے ساتھ کی ورڈ انڈیکس کیوں مدد کرتا ہے۔

عام غلطیاں

  • انڈیکس بنانے والے embedding ماڈل سے مختلف ماڈل سے کوئری کرنا۔
  • اصل مسئلہ کم retrieval recall ہو تو LLM پرامپٹ ٹیون کرتے رہنا۔

عام سوالات

کیا مجھے الگ سے ویکٹر ڈیٹابیس چاہیے؟

ضروری نہیں۔ pgvector جیسی ایکسٹینشنز Postgres میں ویکٹر کالم اور سمیلیریٹی سرچ شامل کر دیتی ہیں، تاکہ ویکٹرز آپ کے باقی ڈیٹا کے ساتھ ہی رہیں۔ بہت بڑے پیمانے پر یا بھاری فلٹرنگ کی ضرورت ہو تو الگ اسٹور کام آتے ہیں۔

کیا ویکٹر سرچ بالکل درست ہوتی ہے؟

ہو سکتی ہے۔ pgvector بطور ڈیفالٹ exact nearest-neighbour سرچ چلاتا ہے، جس سے مکمل recall ملتا ہے۔ HNSW یا IVFFlat انڈیکس شامل کرنے سے سرچ approximate اور تیز ہو جاتی ہے۔

کیا ویکٹر ڈیٹابیس میرا متن محفوظ کرتا ہے؟

عموماً آپ ہر ویکٹر کے ساتھ اصل chunk یا دستاویز ID رکھتے ہیں، کیونکہ پرامپٹ کو متن چاہیے اور ویکٹر سے متن واپس پانا قابلِ اعتماد نہیں۔ پھر بھی Morris اور ساتھیوں (2023) نے 32 ٹوکن کے 92% ٹیسٹ ان پٹس ان کی embeddings سے بالکل ٹھیک دوبارہ بنا لیے، اس لیے ویکٹرز کو متن جتنا ہی محفوظ رکھیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں