एजेंट जो कुछ LLM को भेजता है, उसका ज़्यादातर हिस्सा हर टर्न पर एक जैसा होता है: सिस्टम प्रॉम्प्ट, टूल डेफ़िनिशन, जिन फ़ाइलों पर वह काम कर रहा है, और अब तक की बातचीत। सिर्फ़ आख़िरी संदेश नया होता है। प्रॉम्प्ट कैशिंग का मतलब है कि प्रोवाइडर उस दोहराए गए हिस्से का बिल पूरी कीमत पर नहीं बनाता।
कैश्ड इनपुट टोकन क्या होता है?
हर अनुरोध इनपुट और आउटपुट टोकन से बना होता है। जवाब देने से पहले मॉडल पूरा प्रॉम्प्ट प्रोसेस करता है। अगर किसी पिछले अनुरोध की शुरुआत बिल्कुल इन्हीं टोकन से हुई थी, तो सर्विंग सिस्टम वह काम दोबारा करने की जगह उसे फिर इस्तेमाल कर सकता है। दोबारा इस्तेमाल हुआ हिस्सा कैश्ड इनपुट टोकन के रूप में रिपोर्ट होता है और कम दर पर बिल होता है।
इसके काम करने के तरीक़े से दो बातें निकलती हैं:
- सिर्फ़ प्रीफ़िक्स कैश होता है। मिलान पहले टोकन से आगे चलता है और पहले अंतर पर रुक जाता है।
- जवाब कभी कैश नहीं होता। मॉडल फिर भी नया आउटपुट बनाता है, जो पूरी आउटपुट कीमत पर बिल होता है।
BroadNet Inference पर कैश्ड टोकन की कीमत कितनी है?
प्रति 10 लाख (1M) टोकन, प्रकाशित प्राइस फ़ाइल से:
| मॉडल | नया इनपुट | कैश्ड इनपुट | आउटपुट |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
DeepSeek V4.1 Flash पर अंतर बड़ा है: 1M कैश्ड टोकन के $0.0055 की तुलना 1M नए टोकन के $0.175 से करें। जो एजेंट हर टर्न पर 200,000 टोकन की रिपॉज़िटरी दोबारा भेजता है, उसके बिल का ज़्यादातर हिस्सा कैश रेट से तय होता है।
कैशिंग से कितनी बचत हो सकती है? एक उदाहरण
एक कोडिंग एजेंट काम के एक दिन में 200,000 टोकन का प्रॉम्प्ट 100 बार भेजता है। यानी रोज़ 2 करोड़ (20M) इनपुट टोकन।
| कैश रेट | नए इनपुट टोकन | कैश्ड इनपुट टोकन |
|---|---|---|
| 0% | 20M, $0.175 प्रति 1M पर | 0 |
| 50% | 10M, $0.175 प्रति 1M पर | 10M, $0.0055 प्रति 1M पर |
| 90% | 2M, $0.175 प्रति 1M पर | 18M, $0.0055 प्रति 1M पर |
रोज़ के इनपुट बिल का फ़ॉर्मूला है new tokens (M) × input price + cached tokens (M) × cached price। 90% पर, 20M इनपुट टोकन में से 18M पूरी इनपुट कीमत के बजाय कैश्ड कीमत पर बिल होते हैं, इसलिए दोनों कीमतों में अंतर जितना बड़ा होगा, इनपुट बिल में उतनी ज़्यादा बचत होगी। आउटपुट नहीं बदलता। अपनी संख्याएँ प्रॉम्प्ट कैशिंग कैलकुलेटर में आज़माएँ।
API रिस्पॉन्स में कैश्ड टोकन कैसे देखें?
BroadNet का API रेफ़रंस कहता है कि जब मॉडल इन्हें रिपोर्ट करता है, तो usage ऑब्जेक्ट में prompt_tokens_details.cached_tokens आता है: प्रॉम्प्ट के वे टोकन जो कैश से पढ़े गए और कैश्ड कीमत पर बिल हुए। स्ट्रीम में, आख़िरी चंक में usage माँगें:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
एक दिन तक हर अनुरोध पर यह दर लॉग करें। इससे पता चलता है कि आप असल में कितना भुगतान करते हैं, और प्रॉम्प्ट कैशिंग कैलकुलेटर में यही संख्या डालनी है। स्ट्रीमिंग में usage के बारे में और जानकारी स्ट्रीमिंग गाइड में है।
OpenAI, Anthropic और DeepSeek में प्रॉम्प्ट कैशिंग कैसे अलग है?
कैशिंग का कोई मानक नहीं है। 14 नवंबर 2026 को देखने पर आधिकारिक डॉक्यूमेंटेशन में यह लिखा था:
| OpenAI | Anthropic | DeepSeek (सीधा API) | |
|---|---|---|---|
| चालू कैसे | समर्थित मॉडल पर डिफ़ॉल्ट रूप से | cache_control फ़ील्ड से ऑप्ट-इन (ऑटोमैटिक या हर ब्लॉक पर) |
सभी यूज़र के लिए डिफ़ॉल्ट रूप से |
| न्यूनतम प्रॉम्प्ट | GPT-5.6 और बाद के मॉडल पर 1,024 टोकन | मॉडल के हिसाब से 512 से 4,096 टोकन | कोई न्यूनतम नहीं बताया गया |
| कैश की अवधि | GPT-5.6 और बाद के मॉडल पर डिफ़ॉल्ट 30 मिनट; 12 घंटे का विकल्प | डिफ़ॉल्ट 5 मिनट, अतिरिक्त कीमत पर 1 घंटा | बेस्ट-एफ़र्ट; इस्तेमाल न होने पर साफ़, “a few hours to a few days” (अनुवाद: कुछ घंटों से कुछ दिनों तक) |
| राइट | GPT-5.6 और बाद के मॉडल पर इनपुट का 1.25× (30 मिनट) या 2.5× (12 घंटे) | 5 मिनट के लिए इनपुट का 1.25×, 1 घंटे के लिए 2× | राइट के किसी शुल्क का ज़िक्र नहीं |
| रीड | GPT-5.6 और बाद के मॉडल पर इनपुट का 0.1× (GPT-6.1 Sol और Terra पर 0.05×) | ज़्यादातर मॉडल पर इनपुट का 0.1×, कुछ पर कम | अलग “cache hit” कीमत |
| usage फ़ील्ड | टोकन डिटेल्स में cached_tokens |
cache_read_input_tokens |
prompt_cache_hit_tokens |
स्रोत: OpenAI प्रॉम्प्ट कैशिंग गाइड, Anthropic प्रॉम्प्ट कैशिंग डॉक्यूमेंटेशन और DeepSeek कॉन्टेक्स्ट कैशिंग डॉक्यूमेंटेशन। जहाँ राइट का अतिरिक्त शुल्क है, वहाँ ऐसा कैश जो लिखा जाए पर कभी पढ़ा न जाए, बिना कैश के मुक़ाबले ज़्यादा महँगा पड़ता है। कैशिंग का फ़ायदा सिर्फ़ उन्हीं प्रॉम्प्ट पर है जिन्हें आप सच में दोहराते हैं। हर मॉडल की लिस्ट कीमतों की तुलना के लिए LLM API कीमतों की टेबल देखें।
आपका कैश रेट किन वजहों से गिरता है?
कैश एक हूबहू प्रीफ़िक्स का मिलान करता है, इसलिए प्रॉम्प्ट की शुरुआत में कुछ भी बदला तो बाक़ी सब नया हो जाता है। आम वजहें:
- सिस्टम प्रॉम्प्ट के ऊपरी हिस्से में टाइमस्टैम्प, अनुरोध ID या यूज़र का नाम;
- हर कॉल पर अलग key क्रम में सीरियलाइज़ हुए टूल डेफ़िनिशन या JSON, जिससे टोकन बदल जाते हैं;
- ऐसा एजेंट जो अपने इतिहास में आगे जोड़ने की जगह उसे दोबारा लिखता है या उसका सारांश बनाता है;
- लंबे ठहराव, जिनके बाद कैश एक्सपायर हो चुका होता है।
इसका हल है परतों का एक तय क्रम (सिस्टम प्रॉम्प्ट, टूल, डॉक्यूमेंट, इतिहास, नया संदेश), जिसमें हर परत हर कॉल में बाइट-दर-बाइट एक जैसी हो। हमारी गाइड प्रॉम्प्ट को कैसे बनाएँ ताकि प्रीफ़िक्स कैश हो यह लेआउट कोड में दिखाती है, साथ में एक टेस्ट जो साबित करता है कि प्रीफ़िक्स दोबारा इस्तेमाल हुआ।
कैशिंग का महत्व कब ख़त्म हो जाता है?
फ़्लैट प्लान पर बिल टोकन पर बिल्कुल निर्भर नहीं करता। Full Moon, अनलिमिटेड DeepSeek V4.1 Flash के लिए हर सेशन $60 प्रति माह है। अगर आपका एजेंट पहले ही ब्रेक-ईवन पॉइंट पार कर चुका है, तो कैश रेट लागत की समस्या नहीं रहता। लंबे प्रॉम्प्ट पर ऊपर की आदतें फिर भी स्पीड में मदद करती हैं, इसलिए उन्हें हर हाल में बनाए रखना फ़ायदेमंद है।
लंबे कॉन्टेक्स्ट में कैशिंग ज़्यादा अहम क्यों है?
DeepSeek V4.1 Flash और GLM 5.3 हर अनुरोध में 1,048,576 टोकन तक स्वीकार करते हैं। प्रति टोकन वाली key पर बहुत लंबे प्रॉम्प्ट को किफ़ायती कैशिंग ही बनाती है, क्योंकि कॉन्टेक्स्ट विंडो का बड़ा, दोहराया जाने वाला हिस्सा कैश्ड दर पर बिल होता है। देखें 1M टोकन की कॉन्टेक्स्ट विंडो कब फ़ायदेमंद है।
BroadNet Inference कहाँ फ़िट होता है
BroadNet हर उस चैट मॉडल के लिए कैश्ड इनपुट की कीमत प्रकाशित करता है जिसकी ऐसी कीमत है, और जब मॉडल कैश्ड टोकन रिपोर्ट करता है तो उन्हें usage में दिखाता है, ताकि आप तय करने से पहले अपना रेट माप सकें। वह कैश की अवधि या न्यूनतम प्रॉम्प्ट लंबाई प्रकाशित नहीं करता, इसलिए इन्हें अपने ट्रैफ़िक पर मापें। अगर आपका एजेंट पूरे दिन चलता है, तो फ़्लैट प्लान यह सवाल ही ख़त्म कर देता है।
