BroadRouter

कैश्ड इनपुट टोकन क्या हैं: LLM API का बिल कैसे घटाएँ

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

कैश्ड इनपुट टोकन प्रॉम्प्ट के वे टोकन हैं जिन्हें प्रोवाइडर पहले प्रोसेस कर चुका है और दोबारा इस्तेमाल कर सकता है, इसलिए वे कम दर पर बिल होते हैं। BroadNet Inference पर DeepSeek V4.1 Flash कैश्ड इनपुट $0.0055 प्रति 1M टोकन पर बिल करता है, जबकि नया इनपुट $0.175 पर। छूट पाने के लिए हर प्रॉम्प्ट का स्थिर हिस्सा सबसे पहले और हर कॉल में एक जैसा रखें।

एजेंट जो कुछ LLM को भेजता है, उसका ज़्यादातर हिस्सा हर टर्न पर एक जैसा होता है: सिस्टम प्रॉम्प्ट, टूल डेफ़िनिशन, जिन फ़ाइलों पर वह काम कर रहा है, और अब तक की बातचीत। सिर्फ़ आख़िरी संदेश नया होता है। प्रॉम्प्ट कैशिंग का मतलब है कि प्रोवाइडर उस दोहराए गए हिस्से का बिल पूरी कीमत पर नहीं बनाता।

कैश्ड इनपुट टोकन क्या होता है?

हर अनुरोध इनपुट और आउटपुट टोकन से बना होता है। जवाब देने से पहले मॉडल पूरा प्रॉम्प्ट प्रोसेस करता है। अगर किसी पिछले अनुरोध की शुरुआत बिल्कुल इन्हीं टोकन से हुई थी, तो सर्विंग सिस्टम वह काम दोबारा करने की जगह उसे फिर इस्तेमाल कर सकता है। दोबारा इस्तेमाल हुआ हिस्सा कैश्ड इनपुट टोकन के रूप में रिपोर्ट होता है और कम दर पर बिल होता है।

इसके काम करने के तरीक़े से दो बातें निकलती हैं:

  • सिर्फ़ प्रीफ़िक्स कैश होता है। मिलान पहले टोकन से आगे चलता है और पहले अंतर पर रुक जाता है।
  • जवाब कभी कैश नहीं होता। मॉडल फिर भी नया आउटपुट बनाता है, जो पूरी आउटपुट कीमत पर बिल होता है।

BroadNet Inference पर कैश्ड टोकन की कीमत कितनी है?

प्रति 10 लाख (1M) टोकन, प्रकाशित प्राइस फ़ाइल से:

मॉडल नया इनपुट कैश्ड इनपुट आउटपुट
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

DeepSeek V4.1 Flash पर अंतर बड़ा है: 1M कैश्ड टोकन के $0.0055 की तुलना 1M नए टोकन के $0.175 से करें। जो एजेंट हर टर्न पर 200,000 टोकन की रिपॉज़िटरी दोबारा भेजता है, उसके बिल का ज़्यादातर हिस्सा कैश रेट से तय होता है।

कैशिंग से कितनी बचत हो सकती है? एक उदाहरण

एक कोडिंग एजेंट काम के एक दिन में 200,000 टोकन का प्रॉम्प्ट 100 बार भेजता है। यानी रोज़ 2 करोड़ (20M) इनपुट टोकन।

कैश रेट नए इनपुट टोकन कैश्ड इनपुट टोकन
0% 20M, $0.175 प्रति 1M पर 0
50% 10M, $0.175 प्रति 1M पर 10M, $0.0055 प्रति 1M पर
90% 2M, $0.175 प्रति 1M पर 18M, $0.0055 प्रति 1M पर

रोज़ के इनपुट बिल का फ़ॉर्मूला है new tokens (M) × input price + cached tokens (M) × cached price। 90% पर, 20M इनपुट टोकन में से 18M पूरी इनपुट कीमत के बजाय कैश्ड कीमत पर बिल होते हैं, इसलिए दोनों कीमतों में अंतर जितना बड़ा होगा, इनपुट बिल में उतनी ज़्यादा बचत होगी। आउटपुट नहीं बदलता। अपनी संख्याएँ प्रॉम्प्ट कैशिंग कैलकुलेटर में आज़माएँ।

API रिस्पॉन्स में कैश्ड टोकन कैसे देखें?

BroadNet का API रेफ़रंस कहता है कि जब मॉडल इन्हें रिपोर्ट करता है, तो usage ऑब्जेक्ट में prompt_tokens_details.cached_tokens आता है: प्रॉम्प्ट के वे टोकन जो कैश से पढ़े गए और कैश्ड कीमत पर बिल हुए। स्ट्रीम में, आख़िरी चंक में usage माँगें:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

एक दिन तक हर अनुरोध पर यह दर लॉग करें। इससे पता चलता है कि आप असल में कितना भुगतान करते हैं, और प्रॉम्प्ट कैशिंग कैलकुलेटर में यही संख्या डालनी है। स्ट्रीमिंग में usage के बारे में और जानकारी स्ट्रीमिंग गाइड में है।

OpenAI, Anthropic और DeepSeek में प्रॉम्प्ट कैशिंग कैसे अलग है?

कैशिंग का कोई मानक नहीं है। 14 नवंबर 2026 को देखने पर आधिकारिक डॉक्यूमेंटेशन में यह लिखा था:

OpenAI Anthropic DeepSeek (सीधा API)
चालू कैसे समर्थित मॉडल पर डिफ़ॉल्ट रूप से cache_control फ़ील्ड से ऑप्ट-इन (ऑटोमैटिक या हर ब्लॉक पर) सभी यूज़र के लिए डिफ़ॉल्ट रूप से
न्यूनतम प्रॉम्प्ट GPT-5.6 और बाद के मॉडल पर 1,024 टोकन मॉडल के हिसाब से 512 से 4,096 टोकन कोई न्यूनतम नहीं बताया गया
कैश की अवधि GPT-5.6 और बाद के मॉडल पर डिफ़ॉल्ट 30 मिनट; 12 घंटे का विकल्प डिफ़ॉल्ट 5 मिनट, अतिरिक्त कीमत पर 1 घंटा बेस्ट-एफ़र्ट; इस्तेमाल न होने पर साफ़, “a few hours to a few days” (अनुवाद: कुछ घंटों से कुछ दिनों तक)
राइट GPT-5.6 और बाद के मॉडल पर इनपुट का 1.25× (30 मिनट) या 2.5× (12 घंटे) 5 मिनट के लिए इनपुट का 1.25×, 1 घंटे के लिए 2× राइट के किसी शुल्क का ज़िक्र नहीं
रीड GPT-5.6 और बाद के मॉडल पर इनपुट का 0.1× (GPT-6.1 Sol और Terra पर 0.05×) ज़्यादातर मॉडल पर इनपुट का 0.1×, कुछ पर कम अलग “cache hit” कीमत
usage फ़ील्ड टोकन डिटेल्स में cached_tokens cache_read_input_tokens prompt_cache_hit_tokens

स्रोत: OpenAI प्रॉम्प्ट कैशिंग गाइड, Anthropic प्रॉम्प्ट कैशिंग डॉक्यूमेंटेशन और DeepSeek कॉन्टेक्स्ट कैशिंग डॉक्यूमेंटेशन। जहाँ राइट का अतिरिक्त शुल्क है, वहाँ ऐसा कैश जो लिखा जाए पर कभी पढ़ा न जाए, बिना कैश के मुक़ाबले ज़्यादा महँगा पड़ता है। कैशिंग का फ़ायदा सिर्फ़ उन्हीं प्रॉम्प्ट पर है जिन्हें आप सच में दोहराते हैं। हर मॉडल की लिस्ट कीमतों की तुलना के लिए LLM API कीमतों की टेबल देखें।

आपका कैश रेट किन वजहों से गिरता है?

कैश एक हूबहू प्रीफ़िक्स का मिलान करता है, इसलिए प्रॉम्प्ट की शुरुआत में कुछ भी बदला तो बाक़ी सब नया हो जाता है। आम वजहें:

  • सिस्टम प्रॉम्प्ट के ऊपरी हिस्से में टाइमस्टैम्प, अनुरोध ID या यूज़र का नाम;
  • हर कॉल पर अलग key क्रम में सीरियलाइज़ हुए टूल डेफ़िनिशन या JSON, जिससे टोकन बदल जाते हैं;
  • ऐसा एजेंट जो अपने इतिहास में आगे जोड़ने की जगह उसे दोबारा लिखता है या उसका सारांश बनाता है;
  • लंबे ठहराव, जिनके बाद कैश एक्सपायर हो चुका होता है।

इसका हल है परतों का एक तय क्रम (सिस्टम प्रॉम्प्ट, टूल, डॉक्यूमेंट, इतिहास, नया संदेश), जिसमें हर परत हर कॉल में बाइट-दर-बाइट एक जैसी हो। हमारी गाइड प्रॉम्प्ट को कैसे बनाएँ ताकि प्रीफ़िक्स कैश हो यह लेआउट कोड में दिखाती है, साथ में एक टेस्ट जो साबित करता है कि प्रीफ़िक्स दोबारा इस्तेमाल हुआ।

कैशिंग का महत्व कब ख़त्म हो जाता है?

फ़्लैट प्लान पर बिल टोकन पर बिल्कुल निर्भर नहीं करता। Full Moon, अनलिमिटेड DeepSeek V4.1 Flash के लिए हर सेशन $60 प्रति माह है। अगर आपका एजेंट पहले ही ब्रेक-ईवन पॉइंट पार कर चुका है, तो कैश रेट लागत की समस्या नहीं रहता। लंबे प्रॉम्प्ट पर ऊपर की आदतें फिर भी स्पीड में मदद करती हैं, इसलिए उन्हें हर हाल में बनाए रखना फ़ायदेमंद है।

लंबे कॉन्टेक्स्ट में कैशिंग ज़्यादा अहम क्यों है?

DeepSeek V4.1 Flash और GLM 5.3 हर अनुरोध में 1,048,576 टोकन तक स्वीकार करते हैं। प्रति टोकन वाली key पर बहुत लंबे प्रॉम्प्ट को किफ़ायती कैशिंग ही बनाती है, क्योंकि कॉन्टेक्स्ट विंडो का बड़ा, दोहराया जाने वाला हिस्सा कैश्ड दर पर बिल होता है। देखें 1M टोकन की कॉन्टेक्स्ट विंडो कब फ़ायदेमंद है।

BroadNet Inference कहाँ फ़िट होता है

BroadNet हर उस चैट मॉडल के लिए कैश्ड इनपुट की कीमत प्रकाशित करता है जिसकी ऐसी कीमत है, और जब मॉडल कैश्ड टोकन रिपोर्ट करता है तो उन्हें usage में दिखाता है, ताकि आप तय करने से पहले अपना रेट माप सकें। वह कैश की अवधि या न्यूनतम प्रॉम्प्ट लंबाई प्रकाशित नहीं करता, इसलिए इन्हें अपने ट्रैफ़िक पर मापें। अगर आपका एजेंट पूरे दिन चलता है, तो फ़्लैट प्लान यह सवाल ही ख़त्म कर देता है।

अक्सर पूछे जाने वाले सवाल

क्या मुझे प्रॉम्प्ट कैशिंग ख़ुद चालू करनी पड़ती है?

यह प्रोवाइडर पर निर्भर है। OpenAI और DeepSeek अपने आप कैश करते हैं; Anthropic में cache_control फ़ील्ड चाहिए। BroadNet Inference पर usage ब्लॉक देखें: जब मॉडल कैश्ड टोकन रिपोर्ट करता है, तो वे prompt_tokens_details.cached_tokens में आते हैं और कैश्ड इनपुट की कीमत पर बिल होते हैं।

कैसे पता करें कि प्रॉम्प्ट कैशिंग काम कर रही है?

हर अनुरोध पर usage माँगें और cached_tokens को prompt_tokens से भाग दें। अगर लंबे, दोहराए गए प्रॉम्प्ट की दूसरी कॉल पर यह दर लगभग शून्य है, तो प्रॉम्प्ट की शुरुआत में कुछ ऐसा है जो हर कॉल में बदल रहा है।

मेरा कैश रेट कम क्यों है?

आम तौर पर इसलिए कि प्रॉम्प्ट की शुरुआत में कुछ हर कॉल पर बदलता है, जैसे टाइमस्टैम्प, अनुरोध ID या नए क्रम में लगी टूल सूची। बदलने वाली सामग्री को आख़िर में ले जाएँ।

प्रॉम्प्ट कैशिंग और रिस्पॉन्स कैशिंग में क्या फ़र्क़ है?

प्रॉम्प्ट कैशिंग में प्रोवाइडर दोहराए गए प्रॉम्प्ट प्रीफ़िक्स पर अपना किया हुआ काम दोबारा इस्तेमाल करता है, और मॉडल फिर भी नया जवाब लिखता है। रिस्पॉन्स कैशिंग आप ख़ुद बनाते हैं: पूरे जवाब सहेजकर, एक जैसे सवालों पर मॉडल को कॉल किए बिना वही जवाब लौटाते हैं।

क्या कैश्ड टोकन मुफ़्त होते हैं?

नहीं। वे कम दर पर बिल होते हैं, शून्य पर नहीं। DeepSeek V4.1 Flash पर कैश्ड इनपुट $0.0055 प्रति 1M टोकन है, और आउटपुट पूरी कीमत पर बिल होता है।

क्या अनलिमिटेड प्लान पर भी कैशिंग से फ़र्क़ पड़ता है?

बिल पर नहीं, क्योंकि प्लान सेशन में कोई टोकन मीटर नहीं होता। फिर भी कई सर्विंग सिस्टम में यह लंबे प्रॉम्प्ट पर पहले टोकन तक का समय घटाता है, इसलिए वही आदतें काम आती हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें