کانٹیکسٹ ونڈو ایک درخواست کے لیے ماڈل کی ورکنگ میموری ہے۔ ماڈل کو جو کچھ دیکھنا ہے، اور جو کچھ وہ واپس لکھتا ہے، سب اس کے اندر سمانا چاہیے۔
یہ کیسے کام کرتی ہے
ونڈو ٹوکنز میں ناپی جاتی ہے۔ Anthropic کی دستاویزات اسے “all the text a language model can reference when generating a response, including the response itself” (ترجمہ: وہ سارا متن جس کا حوالہ لینگویج ماڈل جواب بناتے وقت لے سکتا ہے، خود جواب سمیت) کہتی ہیں۔ اس میں شامل ہیں:
- سسٹم پرامپٹ اور ہر پیغام، پچھلی باریوں سمیت؛
- ٹول ڈیفینیشنز اور ٹول کے نتائج؛
- دستاویزات اور تصاویر؛
- آؤٹ پٹ، چھپے ہوئے ریزننگ ٹوکنز سمیت۔
یعنی بجٹ مشترک ہے۔ 1,048,576 ٹوکن کی ونڈو میں 1,040,000 ٹوکن کا پرامپٹ ریزننگ اور جواب کے لیے تقریباً 8,000 ٹوکن چھوڑتا ہے۔ max_tokens یہ ذہن میں رکھ کر سیٹ کریں۔
ماڈل پچھلی درخواستیں یاد نہیں رکھتا۔ چیٹ مسلسل اس لیے لگتی ہے کہ کلائنٹ ہر باری میں پوری تاریخ دوبارہ بھیجتا ہے، اس لیے لمبی گفتگو ونڈو کو آہستہ آہستہ بھر دیتی ہے۔
یہ کیوں اہم ہے
- صلاحیت۔ بڑی ونڈو میں ایک ہی درخواست پورا کوڈبیس، معاہدوں کا مجموعہ یا گھنٹوں کے ٹرانسکرپٹس رکھ سکتی ہے، تاکہ ماڈل ان کے درمیان حقائق جوڑ سکے۔
- لاگت۔ فی ٹوکن کلید پر ونڈو کے ہر ٹوکن کا بل ان پٹ کے طور پر بنتا ہے۔ کیشنگ دہرائے گئے پریفکس کی قیمت کم کرتی ہے، لیکن کیش شدہ ٹوکن بھی ونڈو میں جگہ گھیرتے ہیں۔
- معیار۔ زیادہ ہمیشہ بہتر نہیں۔ Anthropic بہت لمبے پرامپٹس میں درستگی کم ہونے کو “context rot” کہتا ہے۔ جو بھیجیں، سوچ سمجھ کر چنیں۔
- تاخیر۔ لمبے پرامپٹس میں پہلا ٹوکن ظاہر ہونے میں زیادہ وقت لگتا ہے۔
BroadNet Inference پر
| ماڈل | کانٹیکسٹ ونڈو |
|---|---|
| DeepSeek V4.1 Flash | 1,048,576 ٹوکن |
| GLM 5.3 | 1,048,576 ٹوکن |
| Qwen3.8 27B | 262,144 ٹوکن |
| BroadNet Gemma 4 VL 26B | 32,768 ٹوکن |
ونڈو پرامپٹ اور جواب دونوں کو ساتھ کور کرتی ہے، اور BroadNet آپ کا کانٹیکسٹ نہیں کاٹتا۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اس لیے جگہ چھوڑیں: بھری ہوئی ونڈو اور چھوٹے آؤٹ پٹ بجٹ پر خالی جواب آتا ہے۔ دیکھیں ریزننگ ماڈلز خالی جواب کیوں دیتے ہیں۔
لامحدود پلانز میں DeepSeek V4.1 Flash پر پوری 1M ٹوکن ونڈو شامل ہے۔ اتنا کانٹیکسٹ کب ریٹریول سے بہتر ہے، یہ جاننے کے لیے 1M ٹوکن کانٹیکسٹ ونڈو گائیڈ پڑھیں۔
عام غلطیاں
- ونڈو کو آؤٹ پٹ کی لمبائی سمجھنا۔ آؤٹ پٹ کی حد الگ سے
max_tokensسے سیٹ ہوتی ہے۔ - پوری تاریخ ہمیشہ دوبارہ بھیجتے رہنا۔ ونڈو بھرنے سے پہلے پرانی باریوں کا خلاصہ بنائیں یا انہیں ہٹا دیں۔