embedding وہ طریقہ ہے جس سے کمپیوٹر معنی کو ناپتا ہے: ملتی جلتی بات کہنے والے دو متون کو ایسے دو ویکٹرز ملتے ہیں جو تقریباً ایک ہی سمت میں اشارہ کرتے ہیں۔
یہ کیسے کام کرتے ہیں
آپ متن embedding ماڈل کو بھیجتے ہیں اور بدلے میں ایک مقررہ لمبائی والا ویکٹر پاتے ہیں۔ OpenAI کی گائیڈ سیدھے الفاظ میں کہتی ہے: “An embedding is a vector (list) of floating point numbers.” (ترجمہ: embedding فلوٹنگ پوائنٹ اعداد کا ایک ویکٹر (فہرست) ہے۔) لمبائی ہر ماڈل کے لیے مقرر ہوتی ہے۔ OpenAI کا text-embedding-3-small بطورِ ڈیفالٹ 1,536 اعداد دیتا ہے اور text-embedding-3-large 3,072۔
دو متون کا موازنہ کرنے کے لیے آپ ان کے ویکٹرز کا موازنہ کرتے ہیں۔ OpenAI، cosine similarity کا مشورہ دیتا ہے۔ اس کے ویکٹرز لمبائی 1 پر نارملائز ہوتے ہیں، اس لیے سادہ dot product بھی وہی درجہ بندی دیتا ہے۔ لاکھوں محفوظ ویکٹرز سے کسی کوئری ویکٹر کا موازنہ ہی سیمینٹک سرچ کی بنیاد ہے۔ بڑے پیمانے پر یہ کام تیزی سے کرنا ویکٹر ڈیٹابیس کا کام ہے۔
embedding ماڈلز، چیٹ ماڈلز سے مختلف قسم کے ماڈل ہیں۔ یہ پورا ان پٹ پڑھ کر اعداد لوٹاتے ہیں؛ متن نہیں بناتے۔ ان کا بل فی ان پٹ ٹوکن بنتا ہے، اور ادا کرنے کے لیے کوئی آؤٹ پٹ متن نہیں ہوتا۔
یہ کیوں اہم ہیں
- Retrieval۔ embeddings عموماً retrieval-augmented generation کا پہلا قدم ہیں: اپنی دستاویزات کا embedding ایک بار بنائیں، ہر سوال کا embedding بنائیں، سب سے قریبی ٹکڑے نکالیں اور انہیں چیٹ ماڈل کو دیں۔
- ماڈل بدلنے سے نتائج بدلتے ہیں۔ MTEB بینچ مارک نے 8 قسم کے ٹاسکس، 58 ڈیٹاسیٹس اور 112 زبانوں میں 33 ماڈلز ٹیسٹ کیے اور پایا کہ “no particular text embedding method dominates across all tasks” (ترجمہ: کوئی ایک ٹیکسٹ embedding طریقہ تمام ٹاسکس میں سب سے آگے نہیں)۔ اپنی کوئریز پر ٹیسٹ کریں، خاص طور پر عربی یا ملی جلی زبان والے متن کے لیے۔
- لاک اِن۔ ایک ماڈل کے ویکٹرز کا دوسرے ماڈل کے ویکٹرز سے موازنہ نہیں کیا جا سکتا۔ embedding ماڈل بدلنے کا مطلب ہے پورے کارپس کا embedding دوبارہ بنانا۔
BroadNet Inference پر
BroadNet کی دستاویزات /v1/chat/completions، /v1/audio/transcriptions اور GET /v1/models (ماڈلز کی فہرست) درج کرتی ہیں۔ کوئی embeddings اینڈپوائنٹ نہیں۔ سرچ یا RAG سسٹم کے لیے ایک الگ embedding ماڈل (کوئی ہوسٹڈ API یا آپ کا خود چلایا ہوا اوپن ماڈل) کو جواب کے لیے BroadNet کے چیٹ ماڈل کے ساتھ جوڑیں۔ عربی RAG گائیڈ ایک کثیر لسانی embedding ماڈل کے ساتھ یہی تقسیم دکھاتی ہے۔
اگر آپ کی دستاویزات سما جائیں تو لمبی کانٹیکسٹ ونڈو کبھی کبھی retrieval کی ضرورت ہی ختم کر دیتی ہے۔ فائدے اور نقصانات لمبا کانٹیکسٹ بمقابلہ RAG میں ہیں۔
عام غلطیاں
- دو embedding ماڈلز کے ویکٹرز ایک ہی انڈیکس میں ملانا۔
- ٹکڑوں کے بجائے پوری دستاویز کا embedding بنانا۔ 50 صفحات کا ایک ویکٹر اس کے ہر موضوع کو دھندلا دیتا ہے۔
- دستاویزات کو نارملائز کرنا مگر کوئریز کو نہیں، یا اس کا الٹ۔ دونوں پر متن کی ایک جیسی صفائی لاگو کریں۔