BroadRouter

स्पेंड लिमिट (spend limit)

अपडेट किया गया

स्पेंड लिमिट वह सीमा है कि कोई API अकाउंट, प्रोजेक्ट या key एक अवधि में, आम तौर पर एक महीने में, कितना ख़र्च कर सकती है। इस्तेमाल वहाँ पहुँचने पर प्रोवाइडर आगे के अनुरोध रिजेक्ट करता है, अक्सर HTTP 429 या 400 एरर के साथ, जब तक अवधि रीसेट न हो या लिमिट बढ़ाई न जाए।

अन्य नाम: स्पेंड लिमिट, ख़र्च की सीमा, बजट कैप, खर्च सीमा, spend limit kya hai, api budget limit, spending limit, spend cap, budget cap, usage cap

रेट लिमिट तय करती है कि आप कितनी तेज़ी से ख़र्च कर सकते हैं। स्पेंड लिमिट तय करती है कि कितना।

यह कैसे काम करती है

प्रोवाइडर कई परतों में कैप लगाते हैं। दो दर्ज उदाहरण:

प्रोवाइडर कंट्रोल पहुँचने पर क्या होता है
Anthropic हर कैलेंडर महीने का टियर स्पेंड कैप (Start, Build, Scale; Custom पर कोई नहीं) अगले महीने की पहली तारीख़ 00:00 UTC तक इस्तेमाल रुका रहता है; HTTP 429 rate_limit_error, जिसमें error.details.error_code enforced_spend_limit_reached होता है, retry-after नहीं
Anthropic संगठन या workspace पर आपकी अपनी कम सीमा HTTP 400 invalid_request_error, मैसेज “You have reached your specified API usage limits” से शुरू होता है
OpenAI हर टियर की मासिक यूसेज लिमिट गाइड में नहीं बताया गया
OpenAI स्पेंड अलर्ट सूचना भेजता है; ट्रैफ़िक चलता रहता है
OpenAI संगठन या प्रोजेक्ट पर हार्ड स्पेंड लिमिट प्रभावित अनुरोध 429 लौटाते हैं

Anthropic के टियर कैप हर महीने USD 500 (Start), USD 1,000 (Build) और USD 200,000 (Scale) हैं। OpenAI की गाइड टियर के हिसाब से मासिक यूसेज लिमिट बताती है, Free पर USD 100 से Grow पर USD 200,000 तक, और कहती है कि कुल क्रेडिट ख़रीद तय सीमाएँ पार करने पर टियर बढ़ते हैं।

पेचीदा बात यह है कि स्पेंड-लिमिट वाला 429 रेट-लिमिट वाले 429 जैसा ही दिखता है। Anthropic के API पर एरर कोड दोनों को अलग करता है, और स्पेंड-कैप वाले रिस्पॉन्स में retry-after हेडर नहीं होता:

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

यह क्यों मायने रखती है

  • अलर्ट देर से आते हैं. ईमेल आने से पहले ही तेज़ लूप बहुत ख़र्च कर सकता है। हार्ड कैप उसे रोक देता है।
  • रीट्राई हालत बिगाड़ते हैं. जो क्लाइंट हर 429 पर बैकऑफ़ करके रीट्राई करता है, वह स्पेंड कैप पर बेकार में बार-बार चोट करेगा। दोनों को अलग पहचानें।
  • शेयर्ड कैप. कई ऐप्स के बीच शेयर होने वाला अकाउंट-स्तर का कैप एक बेक़ाबू जॉब को बाक़ी सबको रोकने देता है। प्रति-प्रोजेक्ट बजट या आपके कोड में अपना बजट उन्हें अलग रखता है।

BroadNet Inference पर

BroadNet का API रेफ़रेंस पे-एज़-यू-गो key पर छह सीमाएँ बताता है। लागत और थ्रूपुट को बाँधने वाली तीन हैं: प्रति मिनट 30 अनुरोध, एक साथ 4 चालू अनुरोध, और ख़र्च, जिसकी परिभाषा है “the native budget shared by the account’s pay-as-you-go keys” (अनुवाद: अकाउंट की पे-एज़-यू-गो keys के बीच शेयर होने वाला नेटिव बजट); बाक़ी हैं अनुमत मॉडल, एक साल की key अवधि और हर अकाउंट पर अधिकतम दस चालू keys। अकाउंट प्रीपेड है, इसलिए बैलेंस बाहरी सीमा है। दो स्टेटस कोड मायने रखते हैं:

  • 429: “A rate, concurrency, token-rate or spending limit was reached.” (अनुवाद: रेट, concurrency, टोकन-रेट या ख़र्च की कोई सीमा पूरी हो गई।)
  • 401: key ग़ायब, अमान्य या एक्सपायर है, या ऐसा अकाउंट जिसका शेयर्ड pay-as-you-go बजट ब्लॉक है (डॉक्स के शब्द हैं “a blocked native PAYG budget holder” (अनुवाद: ब्लॉक किया गया नेटिव PAYG बजट होल्डर)), “including exhausted PAYG allowance” (अनुवाद: ख़त्म हो चुके PAYG अलाउंस समेत)।

BroadNet का प्राइवेसी पेज कहता है कि keys मॉडल, रेट और ख़र्च के हिसाब से scoped होती हैं, लेकिन API रेफ़रेंस में प्रति-key या प्रति-प्रोजेक्ट बजट की कोई सेटिंग नहीं है, इसलिए हर अनुरोध से पहले अपने कोड में चलता हुआ बजट-चेक रखें, जैसा LLM API ख़र्च नियंत्रण में है। तय अधिकतम ख़र्च के लिए फ़्लैट-रेट प्लान या $0.50 वाली घंटे की key डिज़ाइन से ही ख़र्च को सीमित रखती है। रीट्राई संभालना एरर और रीट्राई गाइड में है।

अक्सर पूछे जाने वाले सवाल

क्या स्पेंड लिमिट से टकराए अनुरोध को रीट्राई करना चाहिए?

नहीं। Anthropic कहता है कि उसके स्पेंड-कैप वाले 429 में कोई retry-after हेडर नहीं होता और एक्सेस वापस आने तक रीट्राई फ़ेल होते रहते हैं। किसी इंसान को अलर्ट करें या जॉब रोक दें।

क्या स्पेंड अलर्ट और स्पेंड लिमिट एक ही चीज़ हैं?

नहीं। OpenAI स्पेंड अलर्ट, जो सिर्फ़ सूचना देता है और ट्रैफ़िक चलने देता है, और हार्ड स्पेंड लिमिट, जिससे अनुरोध 429 लौटाते हैं, में फ़र्क़ करता है।

क्या मैं हर BroadNet key के लिए अलग बजट सेट कर सकता हूँ?

BroadNet का प्राइवेसी पेज कहता है कि scoped API keys मॉडल, रेट और ख़र्च के हिसाब से एक्सेस नियंत्रित करती हैं, लेकिन उसका API रेफ़रेंस पे-एज़-यू-गो key पर ख़र्च को अकाउंट की keys के बीच शेयर होने वाला नेटिव बजट बताता है और प्रति-key बजट की कोई सेटिंग नहीं दिखाता। अपनी key की डिटेल जाँचें, और हर ऐप का बजट अपने कोड में लागू करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें