BroadRouter

لانگ کانٹیکسٹ بمقابلہ RAG: کب 1M ٹوکن ویکٹر DB کی جگہ لیتے ہیں

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

لانگ کانٹیکسٹ RAG کی جگہ تب لیتا ہے جب کارپس ونڈو میں سما جائے، کم بدلے اور سوالوں کو اس کے کئی حصے ایک ساتھ چاہییں؛ کیشنگ دہرائی جانے والی کوئریز سستی رکھتی ہے۔ RAG تب بہتر ہے جب کارپس ونڈو سے بڑا ہو، مسلسل بدلے، ہر صارف کی اجازتیں چاہییں یا ایک دو سیکنڈ میں جواب دینا ہو۔ بہت سے سسٹم RAG سے تلاش کرتے ہیں اور لانگ کانٹیکسٹ سے استدلال۔

1M ٹوکن کانٹیکسٹ ونڈو گائیڈ بتاتی ہے کہ دس لاکھ ٹوکن میں کیا سماتا ہے اور ایک درخواست کی لاگت کیا ہے۔ یہ پوسٹ ایک محدود سوال کا جواب دیتی ہے جو ہر آرکیٹیکچر ریویو میں اٹھتا ہے: کیا ہم ویکٹر ڈیٹا بیس اور اس کے گرد RAG پائپ لائن ہٹا سکتے ہیں؟ کبھی کبھی ہاں۔ فیصلہ چار پیمانوں پر کریں: لاگت، لیٹنسی، ریکال اور دیکھ بھال۔

لانگ کانٹیکسٹ کب RAG کی جگہ لیتا ہے؟

یہ چاروں باتیں درست ہونی چاہییں:

  1. کارپس سما جاتا ہے۔ پرامپٹ، جواب اور ریزننگ مارجن کے ساتھ کانٹیکسٹ ونڈو کے اندر رہتے ہیں۔ DeepSeek V4.1 Flash اور GLM 5.3 پر یہ ونڈو 1,048,576 ٹوکن کی ہے (دونوں کا موازنہ)۔ کانٹیکسٹ ونڈو کیلکولیٹر دیکھتا ہے کہ آپ کی دستاویزات سماتی ہیں یا نہیں۔
  2. یہ کم بدلتا ہے۔ ہر ماہ اپ ڈیٹ ہونے والا مینول ٹھیک ہے۔ ہر منٹ اپ ڈیٹ ہونے والی ٹکٹ قطار نہیں۔
  3. ہر کوئی پورا دیکھ سکتا ہے۔ ایک مشترکہ کارپس، ہر صارف کے لیے فلٹر کرنے کو کوئی اجازت نہیں۔
  4. سوال پورے کارپس میں پھیلے ہیں۔ ”کون سے معاہدے نئی پالیسی سے ٹکراتے ہیں؟“ کے لیے سب کچھ سامنے چاہیے؛ ”ریفنڈ کی مدت کیا ہے؟“ کے لیے نہیں۔

اگر ایک بھی بات درست نہیں تو بازیافت رکھیں، یا ہائبرڈ استعمال کریں۔

فی کوئری لاگت کا موازنہ کیسا ہے؟

400,000 ٹوکن کا دستاویزی سیٹ اور 500 ٹوکن کے جواب والا ایک سوال لیں۔ RAG فرض کریں 8,000 ٹوکن کے چنکس بازیافت کرتا ہے۔ DeepSeek V4.1 Flash کے ساتھ استعمال کے مطابق ادائیگی والی کلید پر:

طریقہ فی کوئری ان پٹ فی کوئری ان پٹ لاگت
لانگ کانٹیکسٹ، پہلی کوئری 400,000 نئے 0.4 × $0.175
لانگ کانٹیکسٹ، دہرائی کوئری، پری فکس کیش شدہ تقریباً 400,000 کیش شدہ تقریباً 0.4 × $0.0055
RAG 8,000 نئے 0.008 × $0.175

آؤٹ پٹ ہر صورت میں ایک جیسا ہے: 500 ٹوکن × $0.52 فی 1M۔ (ہر ضرب کنندہ ملین ٹوکن کی تعداد ہے جسے فی 1M قیمت سے ضرب دیا گیا ہے۔)

اس سے تین باتیں نکلتی ہیں۔ کیشنگ کے بغیر لانگ کانٹیکسٹ ان پٹ پر فی کوئری RAG سے 50 گنا مہنگا ہے، کیونکہ وہ 50 گنا ٹوکن بھیجتا ہے۔ کارپس کیش ہو تو فرق کافی کم ہو جاتا ہے، کیونکہ اس ماڈل پر کیش شدہ ان پٹ نئے ان پٹ کے چند فیصد کے برابر ہے۔ لیکن کیشنگ تبھی قائم رہتی ہے جب پری فکس بائٹ بہ بائٹ ایک جیسا رہے، اس لیے کارپس سب سے پہلے آنا چاہیے اور مستحکم رہنا چاہیے؛ دیکھیں کیشنگ کے لیے پرامپٹ کی ساخت۔ RAG کی اپنی لاگتیں ہیں جو یہ ٹیبل چھوڑ دیتی ہے: کارپس کو ایمبیڈ کرنا، ویکٹر اسٹور چلانا، اور چنکنگ ٹیون کرنے میں انجینئرنگ کا وقت۔ ایمبیڈنگ لاگت کیلکولیٹر ایمبیڈنگ والے حصے کی قیمت نکالتا ہے۔ RAG چنکنگ کیلکولیٹر کوئری والے حصے کی قیمت نکالتا ہے: چنکس، فی کوئری ٹوکن اور ماہانہ LLM بل۔

آپ کی اپنی کیش ریٹ کتنی کارآمد ہے، یہ دیکھنے کے لیے پرامپٹ کیشنگ کیلکولیٹر آزمائیں۔ مقررہ قیمت والے پلان پر ان پٹ والا کالم غائب ہو جاتا ہے: Full Moon فی سیشن $60 ماہانہ ہے، بغیر ٹوکن میٹر کے، اس لیے 400,000 ٹوکن کا پرامپٹ مختصر پرامپٹ جتنا ہی پڑتا ہے۔

لیٹنسی کا موازنہ کیسا ہے؟

ماڈل پہلا ٹوکن لکھنے سے پہلے پورا پرامپٹ پڑھتا ہے۔ پہلے ٹوکن تک کا وقت پرامپٹ کی لمبائی کے ساتھ بڑھتا ہے، اور لاکھوں ٹوکن لمبا پرامپٹ 8,000 ٹوکن والے سے شروع ہونے میں واضح طور پر زیادہ وقت لیتا ہے۔ بہت سے سرونگ سسٹمز میں کیش شدہ پری فکس مدد کرتے ہیں۔ ویکٹر سرچ خود عموماً بہت کم وقت جوڑتی ہے؛ جنریشن کے مقابلے میں بازیافت کی کال چھوٹی ہے۔

اس لیے جس انٹرایکٹو اسسٹنٹ کو ایک دو سیکنڈ میں جواب دینا ہے، اس کے لیے RAG زیادہ محفوظ ڈیفالٹ ہے۔ جو تجزیہ کار ایک گہرا سوال پوچھ کر جواب کا انتظار کرتا ہے، اس کے لیے لانگ کانٹیکسٹ ٹھیک ہے۔ جس سائز کا پرامپٹ آپ بھیجنے والے ہیں، اس پر اپنے پرامپٹس کا TTFT ناپیں۔

کس کا ریکال بہتر ہے؟

کوئی بھی مکمل نہیں، اور دونوں مختلف طریقوں سے ناکام ہوتے ہیں۔

لانگ کانٹیکسٹ درمیان کے حقائق کھو سکتا ہے (lost in the middle)۔ Lost in the Middle مطالعے نے پایا کہ ماڈلز معلومات کا بہترین استعمال تب کرتے ہیں جب وہ ان پٹ کے شروع یا آخر میں ہو، اور درمیان میں بدتر۔ RULER بینچ مارک نے پایا کہ سادہ needle-in-a-haystack ٹیسٹ میں تقریباً پورے نمبر لینے والے ماڈلز ان پٹ بڑھنے پر مشکل کاموں میں کمزور پڑے، اور 32K یا زیادہ ٹوکن کا دعویٰ کرنے والے ماڈلز میں سے “only half of them” (ترجمہ: ان میں سے صرف آدھے) 32K پر تسلی بخش کارکردگی برقرار رکھ سکے۔ نئے ماڈلز بہتر کرتے ہیں، لیکن مشتہر ونڈو وہی نہیں جس میں معیار قائم رہتا ہے۔

RAG ماڈل کے شروع ہونے سے پہلے ہی ناکام ہوتا ہے: اگر ریٹریور نے حصہ چھوڑ دیا تو ماڈل اسے کبھی نہیں دیکھتا۔ جن سوالوں کے لیے کئی حصے چاہییں، یا جو ماخذ سے مختلف الفاظ استعمال کرتے ہیں، وہ کلاسیکی چوک ہیں۔

ناکامی کی صورت لانگ کانٹیکسٹ RAG
حقیقت پرامپٹ کے بیچ میں دبی لمبائی کے ساتھ خطرہ بڑھتا ہے کم، پرامپٹ مختصر ہے
جواب کے لیے 20 بکھرے حصے چاہییں مضبوط کمزور، جب تک top-k بڑا نہ ہو
کوئری کے الفاظ ماخذ سے مختلف مضبوط ایمبیڈنگز اور ری رینکنگ پر منحصر
کارپس ونڈو سے بڑا ممکن نہیں مضبوط

لانگ کانٹیکسٹ کے لیے دو بچاؤ: سوال آخر میں رکھیں، دستاویزات کے بعد، اور ماڈل سے ان سطروں کا حوالہ دینے کو کہیں جن پر وہ انحصار کرتا ہے۔

دیکھ بھال کا کیا؟

RAG ایک سسٹم ہے: چنکنگ، ایمبیڈنگز، انڈیکس، تبدیلی پر دوبارہ انڈیکسنگ، اجازت کے فلٹرز، بازیافت کے معیار کی جانچ۔ لانگ کانٹیکسٹ ایک پرامپٹ ہے: فائلوں کو واضح لیبلز کے ساتھ جوڑیں اور بھیج دیں۔ جس چھوٹی ٹیم کا کارپس سما جاتا ہے، اس کے لیے پائپ لائن ہٹانے سے اصل کام کم ہوتا ہے۔ بڑے، بدلتے، اجازتوں والے کارپس کے لیے پائپ لائن وہ کام کر رہی ہے جو لانگ کانٹیکسٹ نہیں کر سکتا۔

وہ ہائبرڈ جس پر زیادہ تر ٹیمیں پہنچتی ہیں

  1. کھل کر بازیافت کریں: پانچ چنکس نہیں بلکہ پوری دستاویزات، چند لاکھ ٹوکن تک۔
  2. انہیں مستحکم ترتیب میں رکھیں (دستاویز ID سے، اسکور سے نہیں)، تاکہ متعلقہ سوالوں میں پری فکس کیش ہو۔
  3. سوال آخر میں رکھیں اور لانگ کانٹیکسٹ ماڈل کو بھیجیں۔
  4. دستاویز کے لیبلز کے حوالے مانگیں، اور انہیں وقتاً فوقتاً جانچیں۔

اس سے بہت بڑے کارپس پر RAG کی رسائی اور کئی ماخذوں پر استدلال کی لانگ کانٹیکسٹ کی صلاحیت، دونوں برقرار رہتی ہیں۔ یہ کمزور ریٹریور کو بھی برداشت کر لیتا ہے، کیونکہ تقریباً درست دستاویز بھی پرامپٹ میں رہتی ہے۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet Inference دو 1M ٹوکن ماڈلز دیتا ہے، DeepSeek V4.1 Flash اور GLM 5.3، اور یہ آپ کا کانٹیکسٹ نہیں کاٹتا، اس لیے بہت بڑی درخواست خاموشی سے دستاویزات کھونے کے بجائے ناکام ہوتی ہے۔ فی ٹوکن کلید پر کیش شدہ ان پٹ کم کیش شدہ ریٹ پر بل ہوتا ہے، اور لامحدود پلانز DeepSeek V4.1 Flash کے لیے ٹوکن میٹر مکمل طور پر ہٹا دیتے ہیں۔ اس کا API ریفرنس chat completions اور ٹرانسکرپشن درج کرتا ہے، ایمبیڈنگز اینڈپوائنٹ یا ویکٹر اسٹور نہیں، اس لیے RAG والا حصہ آپ کو خود لانا ہوگا۔ ونڈو میں ریزننگ ٹوکن کے لیے جگہ چھوڑیں؛ ریزننگ گائیڈ بتاتی ہے کیوں۔ قیمتیں قیمتوں کے صفحے پر ہیں۔

عام سوالات

اب جب ماڈلز میں 1M ٹوکن کانٹیکسٹ ونڈو ہے تو کیا RAG ختم ہو گیا؟

نہیں۔ لانگ کانٹیکسٹ بازیافت کی ضرورت تب ختم کرتا ہے جب پورا کارپس سما جائے اور مستحکم ہو۔ زیادہ تر کمپنیوں کے نالج بیس دس لاکھ ٹوکن سے بڑے ہوتے ہیں، روز بدلتے ہیں اور ان میں اجازتیں چاہییں، جو اب بھی RAG کا میدان ہے۔

کیا لانگ کانٹیکسٹ RAG سے زیادہ درست ہے؟

یہ سوال پر منحصر ہے۔ جب جواب کے لیے کئی حصے جوڑنے ہوں تو لانگ کانٹیکسٹ بہتر کرتا ہے۔ بہت بڑے کارپس میں ایک حقیقت ڈھونڈنے میں RAG بہتر کر سکتا ہے، کیونکہ مختصر پرامپٹ ماڈل کی توجہ قائم رکھتا ہے۔ دونوں کو اصل سوالوں پر ٹیسٹ کریں۔

10 لاکھ ٹوکن کی کانٹیکسٹ ونڈو میں کتنے الفاظ آتے ہیں؟

DeepSeek V4.1 Flash کی 1,048,576 ٹوکن ونڈو میں سادہ انگریزی نثر کے تقریباً 810,000 الفاظ، BroadRouter کے ٹوکنائزر ڈیٹاسیٹ میں پانچ ٹوکنائزرز پر ناپے گئے 1,290 ٹوکن فی 1,000 الفاظ کے حساب سے۔ تکنیکی انگریزی، کوڈ، ٹیبلز اور عربی میں فی لفظ زیادہ ٹوکن لگتے ہیں، اس لیے کم سماتا ہے۔ جواب اور ریزننگ کے لیے جگہ چھوڑیں۔

کیا میں RAG اور لانگ کانٹیکسٹ کو ملا سکتا ہوں؟

جی ہاں، اور اکثر یہی بہترین آپشن ہے۔ کھل کر بازیافت کریں، مثلاً امیدوار دستاویزات کے 100,000 سے 200,000 ٹوکن، پھر اوپر کے پانچ چنکس کے بجائے لانگ کانٹیکسٹ ماڈل کو ان سب پر استدلال کرنے دیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں