BroadRouter
शुरू करें

कॉन्टेक्स्ट रॉट (context rot)

अपडेट किया गया

कॉन्टेक्स्ट रॉट सटीकता और भरोसेमंदी का वह धीरे-धीरे होने वाला नुक़सान है जो लैंग्वेज मॉडल में इनपुट लंबा होने पर दिखता है, तब भी जब काम वही रहे और इनपुट कॉन्टेक्स्ट विंडो के अंदर ही हो। यह शब्द 2025 की Chroma तकनीकी रिपोर्ट से मशहूर हुआ, जिसने 18 मॉडल टेस्ट किए।

अन्य नाम: कॉन्टेक्स्ट रॉट, लंबे कॉन्टेक्स्ट में गिरावट, context rot kya hai, context rot, context degradation, long-context degradation, context decay, context window degradation

जो मॉडल दस लाख टोकन ले सकता है, वह दस लाखवें टोकन का उतना अच्छा इस्तेमाल नहीं करता जितना पहले हज़ार का। यही अंतर कॉन्टेक्स्ट रॉट है।

यह कैसे काम करता है

Chroma की रिपोर्ट (Hong, Troynikov और Huber, जुलाई 2025) ने 18 मॉडल, जिनमें GPT-4.1, Claude 4, Gemini 2.5 और Qwen3 शामिल थे, ऐसे कामों पर टेस्ट किए जिनकी कठिनाई वही रही जबकि इनपुट बढ़ता गया। इसका मुख्य निष्कर्ष: “model performance consistently degrades with increasing input length.” (अनुवाद: इनपुट की लंबाई बढ़ने के साथ मॉडल का प्रदर्शन लगातार गिरता है।)

तीन असर ख़ास तौर पर दिखे:

  • कमज़ोर मिलान को सबसे ज़्यादा नुक़सान. जब सवाल और काम के पैसेज में कम शब्द साझा थे, तो लंबाई बढ़ने पर सटीकता और तेज़ी से गिरी।
  • भटकाने वाले हिस्से (distractors) नुक़सान करते हैं. “Even a single distractor reduces performance relative to the baseline” (अनुवाद: एक अकेला distractor भी बेसलाइन के मुक़ाबले प्रदर्शन घटा देता है), और चार होने पर हालत और ख़राब हुई। Distractor उसी विषय का ऐसा पैसेज है जो सवाल का जवाब नहीं देता।
  • ढाँचा अजीब तरह से मायने रखता है. सुसंगत फ़िलर टेक्स्ट ने उन्हीं वाक्यों के बेतरतीब क्रम से ज़्यादा नुक़सान किया। लेखकों ने पाया कि “structural coherence consistently hurts model performance.” (अनुवाद: ढाँचे की सुसंगतता लगातार मॉडल के प्रदर्शन को नुक़सान पहुँचाती है।)

यह पहले के काम पर आधारित है, जैसे lost in the middle, जिसने जगह के असर दिखाए थे। कॉन्टेक्स्ट रॉट बात को और फैलाता है: सिर्फ़ जगह नहीं, लंबाई ख़ुद भी सटीकता घटाती है।

यह क्यों मायने रखता है

  • एजेंट. कोडिंग या रिसर्च एजेंट में फ़ाइल रीड, लॉग और पुराने टूल नतीजे जमा होते जाते हैं। हर एक संभावित distractor है। कॉन्टेक्स्ट विंडो भरने से बहुत पहले ही सटीकता फिसल सकती है।
  • लागत और लेटेंसी. लंबे प्रॉम्प्ट में ज़्यादा इनपुट टोकन लगते हैं और प्रोसेसिंग में ज़्यादा समय लगता है, इसलिए छँटाई तीनों मोर्चों पर एक साथ मदद करती है।
  • लंबा कॉन्टेक्स्ट बनाम रिट्रीवल. पूरा कॉर्पस भेजना आसान है, लेकिन RAG सिर्फ़ काम के चंक भेजकर distractors को बाहर रखता है।

BroadNet Inference पर

BroadNet पर DeepSeek V4.1 Flash और GLM 5.3 1,048,576 टोकन तक, और Qwen3.8 27B 262,144 तक लेते हैं। BroadNet आपका कॉन्टेक्स्ट नहीं काटता, इसलिए आप जो भेजते हैं, मॉडल वही पढ़ता है। लिमिट को छत मानें, लक्ष्य नहीं। 1M-टोकन कॉन्टेक्स्ट विंडो गाइड बताती है कि पूरी विंडो कब फ़ायदेमंद है, और लंबे समय तक चलने वाले एजेंट के लिए कॉन्टेक्स्ट मैनेजमेंट सारांश बनाने और छँटाई के पैटर्न दिखाता है। कॉन्टेक्स्ट विंडो कैलकुलेटर भेजने से पहले प्रॉम्प्ट का साइज़ आँकने में मदद करता है।

आम ग़लतियाँ

  • “पता नहीं कब काम आ जाए” सोचकर हर फ़ाइल चिपका देना। संबंधित लेकिन बेकार टेक्स्ट ठीक वही है जिसे Chroma के distractor टेस्ट ने इस्तेमाल किया।
  • ऐसी needle से टेस्ट करना जो सवाल से शब्दशः मेल खाती हो। असली सवाल शायद ही कभी ऐसे होते हैं।

अक्सर पूछे जाने वाले सवाल

क्या कॉन्टेक्स्ट रॉट और lost in the middle एक ही चीज़ हैं?

दोनों जुड़े हैं। Lost in the middle इस बारे में है कि ज़रूरी तथ्य प्रॉम्प्ट में कहाँ रखा है। कॉन्टेक्स्ट रॉट इस बारे में है कि इनपुट की कुल लंबाई, भटकाने वाले हिस्से (distractors) और ढाँचा कुल मिलाकर सटीकता कैसे घटाते हैं।

क्या बड़ी कॉन्टेक्स्ट विंडो से कॉन्टेक्स्ट रॉट ठीक हो जाता है?

नहीं। बड़ी विंडो से आप ज़्यादा भेज सकते हैं, लेकिन Chroma ने पाया कि उसके टेस्ट किए हर मॉडल का प्रदर्शन इनपुट बढ़ने पर गिरा। उतना भेजें जितना काम को चाहिए, न कि जितना समा जाए।

एजेंट कॉन्टेक्स्ट रॉट से कैसे बचते हैं?

काम का कॉन्टेक्स्ट छोटा रखकर: पुराने टर्न का सारांश बनाकर, बासी टूल आउटपुट हटाकर, और फ़ाइलें एक साथ लोड करने के बजाय ज़रूरत पर लोड करके।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें