BroadRouter

ہائبرڈ سرچ (hybrid search)

اپ ڈیٹ

ہائبرڈ سرچ ایک ریٹریول طریقہ ہے جو ایک ہی کوئری پر BM25 جیسی کی ورڈ سرچ اور embeddings پر ویکٹر سرچ دونوں چلاتا ہے، پھر دونوں رینک شدہ فہرستوں کو ایک میں ملاتا ہے، اکثر reciprocal rank fusion (RRF) یا normalized اسکورز کے weighted sum سے۔

دوسرے نام: ہائبرڈ سرچ، ہائبرڈ ریٹریول، hybrid search kya hai، rrf kya hai، hybrid search، hybrid retrieval، reciprocal rank fusion، RRF

کی ورڈ سرچ بالکل وہی الفاظ ڈھونڈتی ہے۔ ویکٹر سرچ معنی ڈھونڈتی ہے۔ ہائبرڈ سرچ دونوں چلاتی ہے اور نتائج ملا دیتی ہے۔

یہ کیسے کام کرتی ہے

کوئری ایک ساتھ دو retrievers کے پاس جاتی ہے:

  • کی ورڈ: inverted index پر BM25۔ ناموں، کوڈز اور نایاب الفاظ پر مضبوط۔
  • ویکٹر: ویکٹر ڈیٹابیس میں رکھے embeddings پر nearest neighbours۔ دوسرے الفاظ میں کہی گئی بات اور مترادفات پر مضبوط۔

دونوں کے اسکور مختلف پیمانوں پر ہوتے ہیں، اس لیے زیادہ تر سسٹم رینک یا normalized اسکور کی بنیاد پر ملاتے ہیں۔

Reciprocal rank fusion (RRF)، جو Cormack، Clarke اور Büttcher (SIGIR 2009) سے آتا ہے، ہر اس فہرست کے لیے ایک جزو جوڑتا ہے جس میں کوئی دستاویز آتی ہے۔ Elasticsearch اس لوپ کو score += 1.0 / (k + rank(result(q), d)) کے طور پر درج کرتا ہے، جس میں rank constant k ڈیفالٹ طور پر 60 ہے۔ اس کی دستاویزات کہتی ہیں “RRF requires no tuning.” (ترجمہ: RRF کو کسی ٹیوننگ کی ضرورت نہیں۔)

k = 60 کے ساتھ ایک حل شدہ مثال:

دستاویز BM25 رینک ویکٹر رینک RRF اسکور
A 1 3 1/61 + 1/63 = 0.0323
B 2 1 1/62 + 1/61 = 0.0325
C نہیں ملی 2 1/62 = 0.0161

B جیتتی ہے کیونکہ دونوں retrievers اسے اونچا رینک دیتے ہیں۔

Weighted fusion دوسرا عام طریقہ ہے۔ Weaviate کا v1.24 سے ڈیفالٹ، relativeScoreFusion، ہر سرچ کے اسکورز کو normalize کرتا ہے اور انہیں scaled sum کے طور پر جوڑتا ہے۔ اس کی alpha سیٹنگ دونوں کا وزن طے کرتی ہے: 0 کا مطلب صرف کی ورڈ، 1 کا مطلب صرف ویکٹر، اور 0.75 سرور کا ڈیفالٹ ہے۔ دستاویزات مشورہ دیتی ہیں کہ alpha واضح طور پر سیٹ کریں: 0.75 کا ڈیفالٹ صرف تب لاگو ہوتا ہے جب درخواست بغیر alpha کے سرور تک پہنچے، اور ہر کلائنٹ لائبریری اسے بغیر سیٹ کیے نہیں چھوڑتی، اس لیے اصل وزن مختلف ہو سکتا ہے۔

fusion کے بعد کئی پائپ لائنز اوپر کے نتائج پر ایک reranker لگاتی ہیں۔

یہ کیوں اہم ہے

  • Recall. حقیقی کوئریز میں درست الفاظ اور ڈھیلی زبان دونوں ہوتے ہیں۔ اکیلا retriever ان کا کچھ حصہ چھوڑ دیتا ہے۔
  • عربی. عربی کی املا بدلتی رہتی ہے (alef کی شکلیں، ta marbuta، اعراب)، جس سے ٹیکسٹ normalize کیے بغیر درست کی ورڈ ملان کمزور پڑتا ہے۔ ویکٹر سرچ شامل کرنے سے درست chunk تک پہنچنے کا دوسرا راستہ ملتا ہے۔ دیکھیں عربی RAG سرچ اور سرچ کے لیے عربی ٹیکسٹ normalization۔
  • کم ٹوکن. بہتر ریٹریول کا مطلب ہے ہر سوال پر LLM کو کم chunks بھیجنا۔

BroadNet Inference پر

ہائبرڈ سرچ آپ کے سرچ اسٹیک میں چلتی ہے: Elasticsearch، OpenSearch، Weaviate یا اسی طرح کا کچھ۔ BroadNet embeddings یا rerank endpoints فراہم نہیں کرتا، اس لیے embeddings کسی دوسرے فراہم کنندہ یا لوکل ماڈل سے بنائیں۔ ملائے گئے اوپر کے chunks کو Chat Completions API کے ذریعے BroadNet کے کسی چیٹ ماڈل کو بھیجیں، جیسے Qwen3.8 27B یا GLM 5.3۔ چھوٹے کارپس کے لیے، دستاویزات کو لمبے context میں ڈالنے سے موازنہ کریں؛ دیکھیں لمبا context بمقابلہ RAG۔

عام سوالات

صرف ویکٹر سرچ کیوں نہ استعمال کریں؟

Embeddings معنی ملاتے ہیں، لیکن پروڈکٹ کوڈ، نام اور ایرر میسجز جیسی بالکل درست اسٹرنگز چھوڑ سکتے ہیں۔ کی ورڈ سرچ انہیں پکڑ لیتی ہے۔ دونوں کو ملانے سے دونوں طرح کی کوئریز کا احاطہ ہوتا ہے۔

کیا RRF کو ٹیون کرنا پڑتا ہے؟

عموماً زیادہ نہیں۔ Elasticsearch کی دستاویزات کہتی ہیں کہ RRF کو کسی ٹیوننگ کی ضرورت نہیں اور جن نتائج کے سیٹس کو یہ ملاتا ہے ان کے relevance اسکورز کا قابلِ موازنہ ہونا ضروری نہیں۔ اس کا rank constant ڈیفالٹ طور پر 60 ہے۔

Weaviate میں alpha کا کیا مطلب ہے؟

یہ ویکٹر اور کی ورڈ نتائج کے درمیان وزن طے کرتا ہے۔ Weaviate کی دستاویزات کہتی ہیں کہ alpha 0 کا مطلب صرف کی ورڈ سرچ، alpha 1 کا مطلب صرف ویکٹر سرچ، اور سرور کا ڈیفالٹ 0.75 ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں