कॉन्टेक्स्ट विंडो एक अनुरोध के लिए मॉडल की वर्किंग मेमोरी है। मॉडल को जो कुछ देखना है, और जो कुछ वह वापस लिखता है, सब इसके अंदर समाना चाहिए।
यह कैसे काम करती है
विंडो टोकन में मापी जाती है। Anthropic के डॉक्स इसे “all the text a language model can reference when generating a response, including the response itself” (अनुवाद: वह सारा टेक्स्ट जिसे लैंग्वेज मॉडल जवाब बनाते समय देख सकता है, ख़ुद जवाब समेत) बताते हैं। इसमें शामिल हैं:
- सिस्टम प्रॉम्प्ट और हर मैसेज, पिछले टर्न समेत;
- टूल डेफ़िनिशन और टूल के नतीजे;
- डॉक्यूमेंट और इमेज;
- आउटपुट, छिपे हुए रीज़निंग टोकन समेत।
यानी बजट साझा है। 1,048,576 टोकन की विंडो में 1,040,000 टोकन का प्रॉम्प्ट रीज़निंग और जवाब के लिए लगभग 8,000 टोकन छोड़ता है। max_tokens यह ध्यान में रखकर सेट करें।
मॉडल पिछले अनुरोध याद नहीं रखता। चैट लगातार इसलिए लगती है क्योंकि क्लाइंट हर टर्न में पूरा इतिहास दोबारा भेजता है, इसलिए लंबी बातचीत विंडो को धीरे-धीरे भर देती है।
यह क्यों मायने रखती है
- क्षमता. बड़ी विंडो में एक ही अनुरोध पूरा कोडबेस, कॉन्ट्रैक्ट का सेट या घंटों के ट्रांसक्रिप्ट रख सकता है, ताकि मॉडल उनके बीच तथ्यों को जोड़ सके।
- लागत. प्रति-टोकन key पर विंडो के हर टोकन का बिल इनपुट के रूप में बनता है। कैशिंग दोहराए गए प्रीफ़िक्स की कीमत घटाती है, लेकिन कैश्ड टोकन भी विंडो में जगह घेरते हैं।
- क्वालिटी. ज़्यादा हमेशा बेहतर नहीं। Anthropic बहुत लंबे प्रॉम्प्ट में सटीकता घटने को “context rot” कहता है। जो भेजें, सोच-समझकर चुनें।
- लेटेंसी. लंबे प्रॉम्प्ट में पहला टोकन आने में ज़्यादा समय लगता है।
BroadNet Inference पर
| मॉडल | कॉन्टेक्स्ट विंडो |
|---|---|
| DeepSeek V4.1 Flash | 1,048,576 टोकन |
| GLM 5.3 | 1,048,576 टोकन |
| Qwen3.8 27B | 262,144 टोकन |
| BroadNet Gemma 4 VL 26B | 32,768 टोकन |
विंडो प्रॉम्प्ट और जवाब को साथ कवर करती है, और BroadNet आपका कॉन्टेक्स्ट नहीं काटता। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, इसलिए जगह छोड़ें: भरी हुई विंडो और छोटे आउटपुट बजट पर ख़ाली जवाब आता है। देखें रीज़निंग मॉडल ख़ाली जवाब क्यों देते हैं।
अनलिमिटेड प्लान में DeepSeek V4.1 Flash पर पूरी 1M-टोकन विंडो शामिल है। इतना कॉन्टेक्स्ट कब रिट्रीवल से बेहतर है, यह जानने के लिए 1M-टोकन कॉन्टेक्स्ट विंडो गाइड पढ़ें।
आम ग़लतियाँ
- विंडो को आउटपुट की लंबाई मान लेना। आउटपुट की लिमिट अलग से
max_tokensसे सेट होती है। - पूरा इतिहास हमेशा दोबारा भेजते रहना। विंडो भरने से पहले पुराने टर्न का सारांश बनाएँ या उन्हें हटा दें।