कॉन्टेक्स्ट विंडो कुछ हज़ार टोकन से बढ़कर दस लाख से ज़्यादा हो गई हैं। BroadNet Inference पर DeepSeek V4.1 Flash और GLM 5.3 प्रति अनुरोध 1,048,576 टोकन स्वीकार करते हैं, प्रॉम्प्ट और जवाब मिलाकर। इससे आपके बनाने का तरीक़ा बदल सकता है, लेकिन इससे हर प्रॉम्प्ट बेहतर नहीं हो जाता।
दस लाख टोकन में क्या समाता है?
मोटे अंदाज़े के लिए: हमारे टोकनाइज़र एफ़िशिएंसी डेटासेट में अंग्रेज़ी गद्य के 1,000 शब्द पाँच टोकनाइज़र के औसत से लगभग 1,290 टोकन बने, इसलिए दस लाख टोकन मोटे तौर पर सादे गद्य के 810,000 शब्द हैं:
| कंटेंट | मोटे तौर पर |
|---|---|
| मध्यम आकार का कोडबेस (दसियों हज़ार लाइनें) | समा जाता है, जगह बचती है |
| शेड्यूल के साथ कई लंबे कॉन्ट्रैक्ट | समा जाते हैं |
| एक दिन की मीटिंग के ट्रांसक्रिप्ट | समा जाते हैं |
| डिपेंडेंसी के साथ बड़ा monorepo | अक्सर नहीं; डायरेक्टरी चुनें |
टोकन की गिनती भाषा और कंटेंट पर निर्भर है। कोड और अरबी टेक्स्ट अक्सर अंग्रेज़ी गद्य से प्रति कैरेक्टर ज़्यादा टोकन लेते हैं। अनुमान लगाने की जगह असली अनुरोध के usage ब्लॉक से मापें, या कॉन्टेक्स्ट विंडो कैलकुलेटर में एक सैंपल जाँचें।
BroadNet के किन मॉडल में 1M-टोकन कॉन्टेक्स्ट विंडो है?
| मॉडल | कॉन्टेक्स्ट विंडो | इनपुट | आउटपुट | इमेज |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | $0.175 | $0.52 | हाँ |
| GLM 5.3 | 1,048,576 | $0.78 | $3.46 | नहीं |
| Qwen3.8 27B | 262,144 | $0.175 | $2.17 | हाँ |
| BroadNet Gemma 4 VL 26B | 32,768 | $0.10 | $0.22 | हाँ |
कीमतें प्रति 1M टोकन हैं। GLM 5.3 उसी 1M विंडो पर टूल कॉलिंग और स्ट्रक्चर्ड आउटपुट भी देता है।
1M-टोकन विंडो कब फ़ायदेमंद है?
- कई फ़ाइलों में फैला तर्क। “यह टेस्ट फ़ेल क्यों होता है?” अक्सर ऐसी पाँच फ़ाइलों पर निर्भर करता है जिन्हें कोई एक साथ रिट्रीव करने की नहीं सोचेगा।
- पूरे डॉक्यूमेंट की समीक्षा। क्लॉज़ 4 और शेड्यूल B के बीच टकराव ढूँढने के लिए दोनों का सामने होना ज़रूरी है।
- एक बार का विश्लेषण। जो सवाल आप एक ही बार पूछेंगे, उसके लिए रिट्रीवल इंडेक्स बनाने में जितनी मेहनत लगती है, उतनी बचती नहीं।
- एजेंट। जो सब-एजेंट पूरा मॉड्यूल पढ़ सकता है, वह कम ग़लत अंदाज़े लगाता है। देखें पैरेलल एजेंट चलाना।
रिट्रीवल कब अब भी बेहतर विकल्प है?
रिट्रीवल तब बेहतर है जब किसी भी विंडो से कहीं बड़ी लाइब्रेरी पर कई छोटी खोजें हों, कंटेंट हर मिनट बदलता हो, और तेज़ इंटरैक्टिव जवाब चाहिए हों जहाँ पहले विशाल प्रॉम्प्ट पढ़ने से देरी बढ़ती है। कई प्रोडक्शन सिस्टम दोनों करते हैं: सबसे प्रासंगिक 200,000 टोकन रिट्रीव करते हैं, फिर लॉन्ग-कॉन्टेक्स्ट मॉडल को इन सब पर तर्क करने देते हैं। प्रति क्वेरी लागत, लेटेंसी और रिकॉल को आमने-सामने रखकर पूरा फ़ैसला लॉन्ग कॉन्टेक्स्ट बनाम RAG में है।
क्या मॉडल सच में पूरी विंडो इस्तेमाल करता है?
बराबर नहीं। इस पर रिसर्च एकमत है:
- Lost in the Middle पेपर (Liu et al.) ने पाया कि प्रदर्शन “is often highest when relevant information occurs at the beginning or end of the input context” (अनुवाद: अक्सर तब सबसे ज़्यादा होता है जब प्रासंगिक जानकारी इनपुट कॉन्टेक्स्ट की शुरुआत या अंत में हो)।
- Chroma की Context Rot रिपोर्ट ने 18 मॉडल टेस्ट किए और पाया कि “performance grows increasingly unreliable as input length grows” (अनुवाद: इनपुट की लंबाई बढ़ने के साथ प्रदर्शन लगातार कम भरोसेमंद होता जाता है), सरल कामों पर भी।
इन अध्ययनों ने BroadNet पर मॉडल टेस्ट नहीं किए, इसलिए इन्हें माप नहीं, चेतावनी मानें। व्यावहारिक नियम: दस लाख टोकन स्वीकार करने वाली विंडो का मतलब यह नहीं कि हर टोकन पर बराबर ध्यान जाता है। सबसे ज़रूरी सामग्री शुरुआत या अंत के पास रखें, और अपने डॉक्यूमेंट पर रिकॉल टेस्ट करें।
दस लाख टोकन के प्रॉम्प्ट की लागत क्या है?
उपयोग के अनुसार भुगतान वाली key पर DeepSeek V4.1 Flash प्रति 1M इनपुट टोकन $0.175 और प्रति 1M कैश्ड इनपुट टोकन $0.0055 बिल करता है। पूरा दस लाख टोकन का प्रॉम्प्ट पहली बार लगभग $0.175 पड़ता है, और प्रीफ़िक्स कैश होने पर दोहराई कॉल पर बहुत कम। अपनी कैश दर कैसे बढ़ाएँ।
प्रॉम्प्ट कैशिंग कैलकुलेटर दिखाता है कि आपके प्रॉम्प्ट साइज़ पर कैश हिट कितना बचाता है। एक हल किया हुआ उदाहरण: एक ही 800,000-टोकन कॉन्ट्रैक्ट सेट पर दस सवाल। कैशिंग के बिना यह $0.175 प्रति 1M पर 8M टोकन है। अगर डॉक्यूमेंट पहले आएँ और एक जैसे रहें, तो पहली कॉल 800,000 नए टोकन पढ़ती है और अगली नौ उनमें से ज़्यादातर $0.0055 प्रति 1M पर कैश से पढ़ सकती हैं। सिर्फ़ सवाल और जवाब बदलते हैं।
अनलिमिटेड प्लान पर प्रॉम्प्ट का साइज़ बिल नहीं बदलता: Full Moon प्रति सेशन $60 प्रति माह है, बिना टोकन मीटर के। इसीलिए लॉन्ग-कॉन्टेक्स्ट एजेंट प्रति-टोकन बिलिंग की जगह फ़्लैट प्लान चुनने की एक आम वजह हैं।
जवाब के लिए कितनी जगह छोड़नी चाहिए?
विंडो में प्रॉम्प्ट और आउटपुट दोनों आते हैं, और रीज़निंग मॉडल पर आउटपुट में थिंकिंग शामिल है। अगर आप 1,040,000 टोकन का प्रॉम्प्ट भेजते हैं, तो रीज़निंग और जवाब के लिए सिर्फ़ लगभग 8,000 बचते हैं। मार्जिन रखें, max_tokens साफ़ तौर पर सेट करें, और पढ़ें रीज़निंग मॉडल ख़ाली जवाब क्यों लौटा सकते हैं।
1M-टोकन प्रॉम्प्ट के लिए कोडबेस कैसे तैयार करें
- जो मॉडल को नहीं चाहिए, उसे बाहर रखें। लॉक फ़ाइलें, बिल्ड आउटपुट, vendored डिपेंडेंसी, इमेज और जेनरेट किया गया कोड टोकन लेते हैं और शोर बढ़ाते हैं।
- भेजने से पहले गिनें। एक छोटा सैंपल भेजें, usage से
prompt_tokensपढ़ें, और उसी अनुपात में बढ़ाएँ। - स्थिरता के क्रम में रखें। कम बदलने वाली फ़ाइलें पहले, जिन फ़ाइलों पर काम चल रहा है वे आख़िर में, और सवाल बिल्कुल अंत में। इससे प्रीफ़िक्स कैश होने लायक़ रहता है।
- हर फ़ाइल पर लेबल लगाएँ। फ़ाइलों को
=== path/to/file.py ===जैसे साफ़ मार्कर में लपेटें, ताकि मॉडल उनका हवाला दे सके। - हवाले माँगें। “जिस लाइन पर आप निर्भर हैं, उसे उद्धृत करें” विशाल इनपुट पर आत्मविश्वास भरी ग़लतियाँ घटाता है।
- मापें। हर अनुरोध पर प्रॉम्प्ट टोकन, कैश्ड टोकन और पहले टोकन तक का समय लॉग करें। स्ट्रीमिंग पहला टोकन आते ही दिखा देती है।
BroadNet Inference कहाँ फ़िट होता है
इसके दो चैट मॉडल प्रति अनुरोध 1,048,576 टोकन लेते हैं, और BroadNet आपका कॉन्टेक्स्ट नहीं काटता। प्रति-टोकन key पर कैशिंग दोहराए जाने वाले लंबे प्रॉम्प्ट को किफ़ायती रखती है; प्लान सेशन पर प्रॉम्प्ट का साइज़ बिल पर असर नहीं डालता। अगर आपका कॉर्पस दस लाख टोकन से कहीं बड़ा है या हर मिनट बदलता है, तो आपको अब भी रिट्रीवल चाहिए, और कोई भी विंडो साइज़ इसे नहीं बदलता।

