BroadRouter

एक्सपोनेंशियल बैकऑफ़ (exponential backoff)

अपडेट किया गया

एक्सपोनेंशियल बैकऑफ़ री-ट्राई की एक रणनीति है जिसमें क्लाइंट हर नाकाम कोशिश के बाद, दोबारा कोशिश करने से पहले, ज़्यादा देर इंतज़ार करता है, आम तौर पर देरी को एक सीमा तक दोगुना करते हुए। हर इंतज़ार में रैंडम jitter जोड़ने से कई क्लाइंट के री-ट्राई बिखर जाते हैं, ताकि वे एक ही पल सर्वर पर न पहुँचें।

अन्य नाम: एक्सपोनेंशियल बैकऑफ़, बैकऑफ़ के साथ री-ट्राई, jitter, exponential backoff kya hai, retry with backoff kya hai, exponential backoff, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

जब API कहता है “धीरे चलो”, तब तुरंत री-ट्राई करना हालत और बिगाड़ता है। एक्सपोनेंशियल बैकऑफ़ हर बार ज़्यादा इंतज़ार करता है।

यह कैसे काम करता है

नाकामी के बाद एक बेस देरी तक रुकें, फिर हर नई नाकामी पर उसे दोगुना करें, एक अधिकतम सीमा तक। 1 सेकंड के बेस और 32 सेकंड की सीमा के साथ इंतज़ार 1, 2, 4, 8, 16, 32, 32 सेकंड चलते हैं। तय कोशिशों के बाद रुकें और एरर आगे बढ़ा दें।

अकेला बैकऑफ़ काफ़ी नहीं है। अगर 100 क्लाइंट एक ही पल फ़ेल होते हैं, तो वे भी एक ही पलों पर री-ट्राई करते हैं। Marc Brooker की AWS पोस्ट “Full Jitter” (शून्य और मौजूदा सीमा के बीच एक रैंडम इंतज़ार), “Equal Jitter” और “Decorrelated Jitter” की तुलना करती है। Equal Jitter सबसे कमज़ोर निकला, और Full Jitter “uses less work, but slightly more time.” (अनुवाद: कम काम करता है, लेकिन थोड़ा ज़्यादा समय लेता है।) उनका निष्कर्ष: jitter वाला बैकऑफ़ “should be considered a standard approach for remote clients.” (अनुवाद: रिमोट क्लाइंट के लिए मानक तरीक़ा माना जाना चाहिए।)

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

यह क्यों मायने रखता है

  • 429 भी गिने जाते हैं. OpenAI की रेट लिमिट गाइड चेतावनी देती है कि “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (अनुवाद: नाकाम अनुरोध भी आपकी प्रति मिनट सीमा में गिने जाते हैं, इसलिए अनुरोध लगातार दोबारा भेजने से काम नहीं चलेगा।) रेट लिमिट पर लगातार चोट करते रहने से आप बाहर ही रहते हैं।
  • री-ट्राई कई गुना होते हैं. AWS की Builders’ Library बताती है कि री-ट्राई “selfish” (अनुवाद: स्वार्थी) होते हैं और स्टैक में एक ही जगह री-ट्राई करने की सलाह देती है; हर लेयर पर री-ट्राई करने से लोड कई गुना बढ़ सकता है।
  • साइड इफ़ेक्ट. पैसे काटने वाली कॉल को री-ट्राई करना सिर्फ़ idempotency key के साथ सुरक्षित है।
  • बचाव री-ट्राई से बेहतर है. एक साथ चलने वाले अनुरोधों को अपनी कॉन्करेंसी सीमा से नीचे रखें, ताकि 429 पहले ही कम आएँ।

BroadNet Inference पर

BroadNet की एरर टेबल कहती है कि 429 का जवाब “response details and bounded backoff” (अनुवाद: जवाब के ब्योरे और सीमित बैकऑफ़) से दें और 500, 502, 503 और 504 को “with bounded exponential backoff” (अनुवाद: सीमित exponential backoff के साथ) री-ट्राई करें। उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 अनुरोध की इजाज़त देती है। 400, 401, 403, 413 और 422 पर पहले कारण ठीक करें। सपोर्ट के लिए X-Request-ID हेडर संभालकर रखें। एरर और री-ट्राई गाइड SDK के री-ट्राई काउंट सेट करती है, और LLM API के 429 कैसे संभालें में लिमिटर और क़तार का कोड है। रेट लिमिट कैलकुलेटर दिखाता है कि किसी सीमा में कितना ट्रैफ़िक समाता है।

अक्सर पूछे जाने वाले सवाल

किन एरर को बैकऑफ़ के साथ री-ट्राई करना चाहिए?

रेट लिमिट (429), सर्वर एरर (5xx), टाइमआउट और टूटे कनेक्शन। 400, 401, 403, 413 या 422 को बिना बदले री-ट्राई न करें; पहले अनुरोध या key ठीक करें।

jitter क्यों जोड़ें?

इसके बिना, जो क्लाइंट एक साथ फ़ेल हुए, वे एक साथ री-ट्राई करते हैं और सर्वर पर फिर बोझ डालते हैं। jitter हर इंतज़ार को रैंडम बनाता है ताकि री-ट्राई बिखर जाएँ।

क्या OpenAI SDK पहले से बैकऑफ़ करते हैं?

हाँ। आधिकारिक OpenAI SDK कनेक्शन एरर, 429 और 5xx जवाबों को छोटे exponential backoff के साथ री-ट्राई करते हैं। max_retries साफ़-साफ़ सेट करें, लंबे बैच जॉब के लिए ज़्यादा, और ऊपर से अपना लिमिटर जोड़ें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें