प्रॉम्प्ट वह है जो आप एक बार लिखते हैं। कॉन्टेक्स्ट वह सब है जो मॉडल हर टर्न में देखता है, और एजेंट में यह हर टर्न बदलता है।
यह कैसे काम करती है
Anthropic की इंजीनियरिंग पोस्ट कॉन्टेक्स्ट इंजीनियरिंग को “the set of strategies for curating and maintaining the optimal set of tokens” (अनुवाद: टोकन के सबसे उपयुक्त सेट को चुनने और बनाए रखने की रणनीतियों का समूह) बताती है, जो इन्फ़रेंस के दौरान लागू होती हैं और प्रॉम्प्ट से आगे की जानकारी भी कवर करती हैं। पोस्ट का लक्ष्य है “smallest possible set of high-signal tokens” (अनुवाद: काम के संकेत वाले टोकन का सबसे छोटा संभव सेट) ढूँढना, जिससे मनचाहा नतीजा मिलने की संभावना बढ़े।
वजह है सीमित अटेंशन। पोस्ट कहती है कि मॉडल का एक “attention budget” (अनुवाद: अटेंशन बजट) होता है, और कॉन्टेक्स्ट बढ़ने पर रिकॉल गिरता है, जिसे वह context rot कहती है। जगह भी मायने रखती है: लंबे प्रॉम्प्ट के बीच में रखे तथ्य आसानी से छूट जाते हैं (lost in the middle)।
पोस्ट लंबे समय तक चलने वाले एजेंट के लिए कई तकनीकें गिनाती है:
| तकनीक | यह क्या करती है |
|---|---|
| कॉम्पैक्शन | लिमिट के पास इतिहास का सारांश बनाकर उसी सारांश से आगे बढ़ना |
| टूल रिज़ल्ट हटाना (tool result clearing) | इतिहास से पुराने कच्चे टूल आउटपुट हटा देना |
| व्यवस्थित नोट्स (structured note-taking) | एजेंट कॉन्टेक्स्ट के बाहर एक फ़ाइल में नोट्स लिखता है और बाद में उन्हें फिर पढ़ता है |
| सबएजेंट | साफ़ कॉन्टेक्स्ट में केंद्रित काम करके एक छोटा सारांश लौटाना |
| ज़रूरत के समय रिट्रीवल (just-in-time retrieval) | सिर्फ़ रेफ़रेंस (फ़ाइल पाथ, क्वेरी) रखना और डेटा तभी लोड करना जब ज़रूरत हो |
एक कोडिंग एजेंट में एक टर्न के बजट का उदाहरण:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
यह क्यों मायने रखती है
- क्वालिटी. कॉन्टेक्स्ट में कम शोर का मतलब आम तौर पर बेहतर जवाब और कम छूटे हुए निर्देश होता है।
- लागत. प्रति-टोकन बिलिंग में कॉन्टेक्स्ट के हर टोकन का बिल हर टर्न में बनता है। स्थिर कंटेंट को शुरू में रखने से वह कैश्ड इनपुट के रूप में सस्ता पड़ता है; देखें कैशिंग के लिए प्रॉम्प्ट का ढाँचा।
- रन की लंबाई. अच्छा कॉन्टेक्स्ट मैनेजमेंट एजेंट को कॉन्टेक्स्ट विंडो तक पहुँचे बिना घंटों काम करने देता है।
BroadNet Inference पर
कॉन्टेक्स्ट इंजीनियरिंग आपके कोड में होती है: BroadNet का Chat Completions API वही मैसेज लिस्ट लेता है जो आप भेजते हैं। DeepSeek V4.1 Flash और GLM 5.3 1,048,576 टोकन लेते हैं, Qwen3.8 27B 262,144 और Gemma 4 VL 26B 32K, इसलिए कसा हुआ कॉन्टेक्स्ट सबसे ज़्यादा Gemma पर मायने रखता है।
जब मॉडल इन्हें रिपोर्ट करता है, तो usage.prompt_tokens_details.cached_tokens कैश से पढ़े गए टोकन दिखाता है, जिनका बिल उपयोग के अनुसार भुगतान पर कैश्ड इनपुट की कीमत से बनता है। लंबे समय तक चलने वाले एजेंट के लिए कॉन्टेक्स्ट मैनेजमेंट पाँच काम के नियम देता है, और एजेंट टोकन बजट वाली पोस्ट दिखाती है कि एजेंट के टोकन कहाँ ख़र्च होते हैं।