BroadRouter
शुरू करें

कॉन्टेक्स्ट विंडो (context window)

अपडेट किया गया

कॉन्टेक्स्ट विंडो टोकन की वह अधिकतम संख्या है जिसके साथ लैंग्वेज मॉडल एक अनुरोध में काम कर सकता है। इसमें प्रॉम्प्ट, बातचीत का इतिहास, टूल डेफ़िनिशन, इमेज और जनरेट हुआ आउटपुट, रीज़निंग टोकन समेत, सब आता है। जो इसमें न समाए, उसे काटना, सारांश बनाना या कई अनुरोधों में बाँटना पड़ता है।

अन्य नाम: कॉन्टेक्स्ट विंडो, कॉन्टेक्स्ट लेंथ, टोकन लिमिट, context window kya hai, context window, context length, context size, token limit, context limit

कॉन्टेक्स्ट विंडो एक अनुरोध के लिए मॉडल की वर्किंग मेमोरी है। मॉडल को जो कुछ देखना है, और जो कुछ वह वापस लिखता है, सब इसके अंदर समाना चाहिए।

यह कैसे काम करती है

विंडो टोकन में मापी जाती है। Anthropic के डॉक्स इसे “all the text a language model can reference when generating a response, including the response itself” (अनुवाद: वह सारा टेक्स्ट जिसे लैंग्वेज मॉडल जवाब बनाते समय देख सकता है, ख़ुद जवाब समेत) बताते हैं। इसमें शामिल हैं:

  • सिस्टम प्रॉम्प्ट और हर मैसेज, पिछले टर्न समेत;
  • टूल डेफ़िनिशन और टूल के नतीजे;
  • डॉक्यूमेंट और इमेज;
  • आउटपुट, छिपे हुए रीज़निंग टोकन समेत।

यानी बजट साझा है। 1,048,576 टोकन की विंडो में 1,040,000 टोकन का प्रॉम्प्ट रीज़निंग और जवाब के लिए लगभग 8,000 टोकन छोड़ता है। max_tokens यह ध्यान में रखकर सेट करें।

मॉडल पिछले अनुरोध याद नहीं रखता। चैट लगातार इसलिए लगती है क्योंकि क्लाइंट हर टर्न में पूरा इतिहास दोबारा भेजता है, इसलिए लंबी बातचीत विंडो को धीरे-धीरे भर देती है।

यह क्यों मायने रखती है

  • क्षमता. बड़ी विंडो में एक ही अनुरोध पूरा कोडबेस, कॉन्ट्रैक्ट का सेट या घंटों के ट्रांसक्रिप्ट रख सकता है, ताकि मॉडल उनके बीच तथ्यों को जोड़ सके।
  • लागत. प्रति-टोकन key पर विंडो के हर टोकन का बिल इनपुट के रूप में बनता है। कैशिंग दोहराए गए प्रीफ़िक्स की कीमत घटाती है, लेकिन कैश्ड टोकन भी विंडो में जगह घेरते हैं।
  • क्वालिटी. ज़्यादा हमेशा बेहतर नहीं। Anthropic बहुत लंबे प्रॉम्प्ट में सटीकता घटने को “context rot” कहता है। जो भेजें, सोच-समझकर चुनें।
  • लेटेंसी. लंबे प्रॉम्प्ट में पहला टोकन आने में ज़्यादा समय लगता है।

BroadNet Inference पर

मॉडल कॉन्टेक्स्ट विंडो
DeepSeek V4.1 Flash 1,048,576 टोकन
GLM 5.3 1,048,576 टोकन
Qwen3.8 27B 262,144 टोकन
BroadNet Gemma 4 VL 26B 32,768 टोकन

विंडो प्रॉम्प्ट और जवाब को साथ कवर करती है, और BroadNet आपका कॉन्टेक्स्ट नहीं काटता। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, इसलिए जगह छोड़ें: भरी हुई विंडो और छोटे आउटपुट बजट पर ख़ाली जवाब आता है। देखें रीज़निंग मॉडल ख़ाली जवाब क्यों देते हैं।

अनलिमिटेड प्लान में DeepSeek V4.1 Flash पर पूरी 1M-टोकन विंडो शामिल है। इतना कॉन्टेक्स्ट कब रिट्रीवल से बेहतर है, यह जानने के लिए 1M-टोकन कॉन्टेक्स्ट विंडो गाइड पढ़ें।

आम ग़लतियाँ

  • विंडो को आउटपुट की लंबाई मान लेना। आउटपुट की लिमिट अलग से max_tokens से सेट होती है।
  • पूरा इतिहास हमेशा दोबारा भेजते रहना। विंडो भरने से पहले पुराने टर्न का सारांश बनाएँ या उन्हें हटा दें।

अक्सर पूछे जाने वाले सवाल

अगर मेरा प्रॉम्प्ट कॉन्टेक्स्ट विंडो से लंबा हो तो क्या होगा?

API अनुरोध ठुकरा देता है, आम तौर पर 400 एरर के साथ। उदाहरण के लिए Anthropic "prompt is too long" (अनुवाद: प्रॉम्प्ट बहुत लंबा है) लौटाता है। कुछ चैट ऐप पुराने मैसेज आपके लिए छाँट देते हैं; ज़्यादातर API ऐसा नहीं करते।

क्या बड़ी कॉन्टेक्स्ट विंडो हमेशा बेहतर है?

नहीं। लंबे प्रॉम्प्ट महँगे पड़ते हैं और प्रोसेस होने में ज़्यादा समय लेते हैं, और Anthropic बताता है कि टोकन बढ़ने के साथ सटीकता और याद रखने की क्षमता घट सकती है। उतना ही भेजें जितना काम के लिए ज़रूरी है।

क्या BroadNet मेरा कॉन्टेक्स्ट छोटा करता है?

नहीं। BroadNet Inference आपका कॉन्टेक्स्ट नहीं काटता। अगर अनुरोध विंडो में न समाए, तो उसे ख़ुद छोटा करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें