BroadRouter

1M ٹوکن کانٹیکسٹ ونڈو کب فائدہ مند ہے (اور کب نہیں)

BroadNet Inference ٹیم · 4 منٹ کی پڑھائی · شائع شدہ

1M ٹوکن کانٹیکسٹ ونڈو ایک ہی درخواست میں پورا کوڈ بیس، معاہدوں کا سیٹ یا گھنٹوں کی ٹرانسکرپٹس رکھنے دیتی ہے، تاکہ ماڈل بازیافت شدہ ٹکڑوں کے بجائے سب کچھ ایک ساتھ دیکھے۔ یہ کئی فائلوں میں پھیلے استدلال اور ایک بار کے تجزیے میں فائدہ مند ہے؛ بڑے، بدلتے کارپس پر بار بار کی تلاش میں بازیافت سستی ہے۔ DeepSeek V4.1 Flash اور GLM 5.3 1,048,576 ٹوکن قبول کرتے ہیں۔

Light shining through towering cliffs made of stacked paper pages.

کانٹیکسٹ ونڈوز چند ہزار ٹوکن سے بڑھ کر دس لاکھ سے زیادہ ہو گئی ہیں۔ BroadNet Inference پر DeepSeek V4.1 Flash اور GLM 5.3 فی درخواست 1,048,576 ٹوکن قبول کرتے ہیں، پرامپٹ اور جواب ملا کر۔ اس سے آپ کے بنانے کا طریقہ بدل سکتا ہے، لیکن اس سے ہر پرامپٹ بہتر نہیں ہو جاتا۔

دس لاکھ ٹوکن میں کیا سماتا ہے؟

موٹے اندازے کے لیے: ہمارے ٹوکنائزر کارکردگی ڈیٹاسیٹ میں انگریزی نثر کے 1,000 الفاظ پانچ ٹوکنائزرز کے اوسط سے تقریباً 1,290 ٹوکن بنے، اس لیے دس لاکھ ٹوکن موٹے طور پر سادہ نثر کے 810,000 الفاظ ہیں:

مواد موٹے طور پر
درمیانے سائز کا کوڈ بیس (دسیوں ہزار لائنیں) سما جاتا ہے، جگہ بچتی ہے
شیڈولز کے ساتھ کئی لمبے معاہدے سما جاتے ہیں
ایک دن کی میٹنگز کی ٹرانسکرپٹس سما جاتی ہیں
ڈیپینڈنسیز کے ساتھ بڑا monorepo اکثر نہیں؛ ڈائریکٹریز چنیں

ٹوکن کی گنتی زبان اور مواد پر منحصر ہے۔ کوڈ اور عربی متن اکثر انگریزی نثر سے فی حرف زیادہ ٹوکن لیتے ہیں۔ اندازہ لگانے کے بجائے اصل درخواست کے usage بلاک سے ناپیں، یا کانٹیکسٹ ونڈو کیلکولیٹر میں ایک نمونہ دیکھیں۔

BroadNet کے کن ماڈلز میں 1M ٹوکن کانٹیکسٹ ونڈو ہے؟

ماڈل کانٹیکسٹ ونڈو ان پٹ آؤٹ پٹ تصاویر
DeepSeek V4.1 Flash 1,048,576 $0.175 $0.52 ہاں
GLM 5.3 1,048,576 $0.78 $3.46 نہیں
Qwen3.8 27B 262,144 $0.175 $2.17 ہاں
BroadNet Gemma 4 VL 26B 32,768 $0.10 $0.22 ہاں

قیمتیں فی 1M ٹوکن ہیں۔ GLM 5.3 اسی 1M ونڈو پر ٹول کالنگ اور اسٹرکچرڈ آؤٹ پٹ بھی دیتا ہے۔

1M ٹوکن ونڈو کب فائدہ مند ہے؟

  • کئی فائلوں میں پھیلا استدلال۔ ”یہ ٹیسٹ کیوں ناکام ہوتا ہے؟“ اکثر ایسی پانچ فائلوں پر منحصر ہوتا ہے جنہیں کوئی ایک ساتھ بازیافت کرنے کا نہیں سوچے گا۔
  • پوری دستاویز کا جائزہ۔ شق 4 اور شیڈول B کے درمیان ٹکراؤ ڈھونڈنے کے لیے دونوں کا سامنے ہونا ضروری ہے۔
  • ایک بار کا تجزیہ۔ جو سوال آپ ایک ہی بار پوچھیں گے، اس کے لیے بازیافت کا انڈیکس بنانے میں جتنی محنت لگتی ہے اتنی بچتی نہیں۔
  • ایجنٹس۔ جو ذیلی ایجنٹ پورا ماڈیول پڑھ سکتا ہے، وہ کم غلط اندازے لگاتا ہے۔ دیکھیں متوازی ایجنٹس چلانا۔

بازیافت کب اب بھی بہتر انتخاب ہے؟

بازیافت تب بہتر ہے جب کسی بھی ونڈو سے کہیں بڑی لائبریری پر بہت سی چھوٹی تلاشیں ہوں، مواد ہر منٹ بدلتا ہو، اور تیز انٹرایکٹو جواب چاہییں جہاں پہلے بہت بڑا پرامپٹ پڑھنے سے تاخیر بڑھتی ہے۔ بہت سے پروڈکشن سسٹم دونوں کرتے ہیں: سب سے متعلقہ 200,000 ٹوکن بازیافت کرتے ہیں، پھر لانگ کانٹیکسٹ ماڈل کو ان سب پر استدلال کرنے دیتے ہیں۔ فی کوئری لاگت، لیٹنسی اور ریکال کو آمنے سامنے رکھ کر پورا فیصلہ لانگ کانٹیکسٹ بمقابلہ RAG میں ہے۔

کیا ماڈل واقعی پوری ونڈو استعمال کرتا ہے؟

یکساں نہیں۔ اس پر تحقیق متفق ہے:

  • Lost in the Middle مقالے (Liu et al.) نے پایا کہ کارکردگی “is often highest when relevant information occurs at the beginning or end of the input context” (ترجمہ: اکثر تب سب سے زیادہ ہوتی ہے جب متعلقہ معلومات ان پٹ کانٹیکسٹ کے شروع یا آخر میں ہوں)۔
  • Chroma کی Context Rot رپورٹ نے 18 ماڈلز ٹیسٹ کیے اور پایا کہ “performance grows increasingly unreliable as input length grows” (ترجمہ: ان پٹ کی لمبائی بڑھنے کے ساتھ کارکردگی مسلسل کم قابل اعتماد ہوتی جاتی ہے)، سادہ کاموں پر بھی۔

ان مطالعات نے BroadNet پر ماڈلز ٹیسٹ نہیں کیے، اس لیے انہیں پیمائش نہیں، انتباہ سمجھیں۔ عملی اصول: دس لاکھ ٹوکن قبول کرنے والی ونڈو کا مطلب یہ نہیں کہ ہر ٹوکن پر برابر توجہ جاتی ہے۔ سب سے اہم مواد شروع یا آخر کے قریب رکھیں، اور اپنی دستاویزات پر ریکال ٹیسٹ کریں۔

دس لاکھ ٹوکن کے پرامپٹ کی لاگت کیا ہے؟

استعمال کے مطابق ادائیگی والی کلید پر DeepSeek V4.1 Flash فی 1M ان پٹ ٹوکن $0.175 اور فی 1M کیش شدہ ان پٹ ٹوکن $0.0055 بل کرتا ہے۔ پورا دس لاکھ ٹوکن کا پرامپٹ پہلی بار تقریباً $0.175 پڑتا ہے، اور پری فکس کیش ہونے پر دہرائی جانے والی کالز پر بہت کم۔ اپنی کیش ریٹ کیسے بڑھائیں۔

پرامپٹ کیشنگ کیلکولیٹر دکھاتا ہے کہ آپ کے پرامپٹ سائز پر کیش ہٹ کتنا بچاتا ہے۔ ایک حل شدہ مثال: ایک ہی 800,000 ٹوکن معاہدوں کے سیٹ پر دس سوال۔ کیشنگ کے بغیر یہ $0.175 فی 1M پر 8M ٹوکن ہے۔ اگر دستاویزات پہلے آئیں اور ایک جیسی رہیں تو پہلی کال 800,000 نئے ٹوکن پڑھتی ہے اور اگلی نو ان میں سے زیادہ تر $0.0055 فی 1M پر کیش سے پڑھ سکتی ہیں۔ صرف سوال اور جواب بدلتے ہیں۔

لامحدود پلان پر پرامپٹ کا سائز بل نہیں بدلتا: Full Moon فی سیشن $60 ماہانہ ہے، بغیر ٹوکن میٹر کے۔ اسی لیے لانگ کانٹیکسٹ ایجنٹس فی ٹوکن بلنگ کے بجائے مقررہ قیمت والا پلان چننے کی ایک عام وجہ ہیں۔

جواب کے لیے کتنی جگہ چھوڑنی چاہیے؟

ونڈو میں پرامپٹ اور آؤٹ پٹ دونوں آتے ہیں، اور ریزننگ ماڈلز پر آؤٹ پٹ میں تھنکنگ شامل ہے۔ اگر آپ 1,040,000 ٹوکن کا پرامپٹ بھیجتے ہیں تو ریزننگ اور جواب کے لیے صرف تقریباً 8,000 بچتے ہیں۔ مارجن رکھیں، max_tokens واضح طور پر سیٹ کریں، اور پڑھیں ریزننگ ماڈلز خالی جواب کیوں لوٹا سکتے ہیں۔

1M ٹوکن پرامپٹ کے لیے کوڈ بیس کیسے تیار کریں

  1. جو ماڈل کو نہیں چاہیے اسے باہر رکھیں۔ لاک فائلیں، بلڈ آؤٹ پٹ، vendored ڈیپینڈنسیز، تصاویر اور جنریٹ کیا گیا کوڈ ٹوکن لیتے ہیں اور شور بڑھاتے ہیں۔
  2. بھیجنے سے پہلے گنیں۔ ایک چھوٹا نمونہ بھیجیں، usage سے prompt_tokens پڑھیں، اور اسی تناسب سے بڑھائیں۔
  3. استحکام کی ترتیب میں رکھیں۔ کم بدلنے والی فائلیں پہلے، جن فائلوں پر کام چل رہا ہے وہ آخر میں، اور سوال بالکل آخر میں۔ اس سے پری فکس کیش کے قابل رہتا ہے۔
  4. ہر فائل پر لیبل لگائیں۔ فائلوں کو === path/to/file.py === جیسے واضح نشانات میں لپیٹیں تاکہ ماڈل ان کا حوالہ دے سکے۔
  5. حوالے مانگیں۔ ”جس لائن پر آپ انحصار کرتے ہیں اسے نقل کریں“ بہت بڑے ان پٹ پر پُراعتماد غلطیاں کم کرتا ہے۔
  6. ناپیں۔ ہر درخواست پر پرامپٹ ٹوکن، کیش شدہ ٹوکن اور پہلے ٹوکن تک کا وقت لاگ کریں۔ اسٹریمنگ پہلا ٹوکن آتے ہی دکھا دیتی ہے۔

BroadNet Inference کہاں فٹ ہوتا ہے

اس کے دو چیٹ ماڈلز فی درخواست 1,048,576 ٹوکن لیتے ہیں، اور BroadNet آپ کا کانٹیکسٹ نہیں کاٹتا۔ فی ٹوکن کلید پر کیشنگ دہرائے جانے والے لمبے پرامپٹس کو قابل برداشت رکھتی ہے؛ پلان سیشن پر پرامپٹ کا سائز بل پر اثر نہیں ڈالتا۔ اگر آپ کا کارپس دس لاکھ ٹوکن سے کہیں بڑا ہے یا ہر منٹ بدلتا ہے تو آپ کو اب بھی بازیافت چاہیے، اور کوئی بھی ونڈو سائز اسے نہیں بدلتا۔

عام سوالات

کیا BroadNet لمبے پرامپٹ کاٹتا ہے؟

نہیں۔ BroadNet آپ کا کانٹیکسٹ نہیں کاٹتا۔ اگر پرامپٹ اور max_tokens مل کر ماڈل کی ونڈو سے زیادہ ہیں تو خاموش کٹوتی پر بھروسا کرنے کے بجائے پرامپٹ مختصر کریں۔

10 لاکھ ٹوکن میں کتنے الفاظ ہوتے ہیں؟

یہ زبان اور مواد پر منحصر ہے۔ BroadRouter کے ٹوکنائزر ڈیٹاسیٹ میں انگریزی نثر تقریباً 129 ٹوکن فی 100 الفاظ ناپی گئی (1,000 الفاظ تقریباً 1,290 ٹوکن، پانچ ٹوکنائزرز کا اوسط)، اس لیے 1,048,576 ٹوکن میں موٹے طور پر 810,000 الفاظ آتے ہیں، یعنی ہزار سے کہیں زیادہ صفحات۔ تکنیکی متن، کوڈ اور عربی کو زیادہ ٹوکن چاہییں، اس لیے اپنا اصل مواد گنیں۔

کیا 1M ٹوکن والی درخواست سست ہوتی ہے؟

یہ مختصر درخواست سے شروع ہونے میں زیادہ وقت لیتی ہے، کیونکہ ماڈل کو پہلے پورا پرامپٹ پڑھنا ہوتا ہے۔ دہرائی جانے والی کالز پر کیش شدہ پری فکس عموماً مدد کرتے ہیں۔ اپنے پرامپٹس پر پہلے ٹوکن تک کا وقت ناپیں۔

کیا LLMs واقعی پوری کانٹیکسٹ ونڈو استعمال کرتے ہیں؟

یکساں نہیں۔ Lost in the Middle مقالے نے پایا کہ درستی اکثر تب سب سے زیادہ ہوتی ہے جب متعلقہ معلومات ان پٹ کے شروع یا آخر میں ہوں، اور Chroma کی Context Rot رپورٹ نے پایا کہ ان پٹ کی لمبائی بڑھنے پر بھروسا گرتا ہے۔ اہم مواد کناروں پر رکھیں اور اپنے ڈیٹا پر ٹیسٹ کریں۔

کیا مجھے RAG استعمال کرنا چھوڑ دینا چاہیے؟

ضروری نہیں۔ جب ماڈل کو سب کچھ ایک ساتھ دیکھنا ہو تو لانگ کانٹیکسٹ استعمال کریں، اور جب بہت بڑی لائبریری سے چند حقائق چاہییں تو بازیافت۔ بہت سے سسٹم دونوں کو ملاتے ہیں۔

اگر میرا پرامپٹ کانٹیکسٹ ونڈو سے بڑا ہو تو کیا ہوگا؟

BroadNet اسے آپ کے لیے نہیں کاٹتا، اس لیے درخواست ویسے نہیں چلے گی جیسا آپ چاہتے ہیں۔ بھیجنے سے پہلے فائلیں ہٹائیں، پرانی باریوں کا خلاصہ بنائیں، یا صرف متعلقہ حصے بازیافت کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں