जब API कहता है “धीरे चलो”, तब तुरंत री-ट्राई करना हालत और बिगाड़ता है। एक्सपोनेंशियल बैकऑफ़ हर बार ज़्यादा इंतज़ार करता है।
यह कैसे काम करता है
नाकामी के बाद एक बेस देरी तक रुकें, फिर हर नई नाकामी पर उसे दोगुना करें, एक अधिकतम सीमा तक। 1 सेकंड के बेस और 32 सेकंड की सीमा के साथ इंतज़ार 1, 2, 4, 8, 16, 32, 32 सेकंड चलते हैं। तय कोशिशों के बाद रुकें और एरर आगे बढ़ा दें।
अकेला बैकऑफ़ काफ़ी नहीं है। अगर 100 क्लाइंट एक ही पल फ़ेल होते हैं, तो वे भी एक ही पलों पर री-ट्राई करते हैं। Marc Brooker की AWS पोस्ट “Full Jitter” (शून्य और मौजूदा सीमा के बीच एक रैंडम इंतज़ार), “Equal Jitter” और “Decorrelated Jitter” की तुलना करती है। Equal Jitter सबसे कमज़ोर निकला, और Full Jitter “uses less work, but slightly more time.” (अनुवाद: कम काम करता है, लेकिन थोड़ा ज़्यादा समय लेता है।) उनका निष्कर्ष: jitter वाला बैकऑफ़ “should be considered a standard approach for remote clients.” (अनुवाद: रिमोट क्लाइंट के लिए मानक तरीक़ा माना जाना चाहिए।)
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
यह क्यों मायने रखता है
- 429 भी गिने जाते हैं. OpenAI की रेट लिमिट गाइड चेतावनी देती है कि “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (अनुवाद: नाकाम अनुरोध भी आपकी प्रति मिनट सीमा में गिने जाते हैं, इसलिए अनुरोध लगातार दोबारा भेजने से काम नहीं चलेगा।) रेट लिमिट पर लगातार चोट करते रहने से आप बाहर ही रहते हैं।
- री-ट्राई कई गुना होते हैं. AWS की Builders’ Library बताती है कि री-ट्राई “selfish” (अनुवाद: स्वार्थी) होते हैं और स्टैक में एक ही जगह री-ट्राई करने की सलाह देती है; हर लेयर पर री-ट्राई करने से लोड कई गुना बढ़ सकता है।
- साइड इफ़ेक्ट. पैसे काटने वाली कॉल को री-ट्राई करना सिर्फ़ idempotency key के साथ सुरक्षित है।
- बचाव री-ट्राई से बेहतर है. एक साथ चलने वाले अनुरोधों को अपनी कॉन्करेंसी सीमा से नीचे रखें, ताकि 429 पहले ही कम आएँ।
BroadNet Inference पर
BroadNet की एरर टेबल कहती है कि 429 का जवाब “response details and bounded backoff” (अनुवाद: जवाब के ब्योरे और सीमित बैकऑफ़) से दें और 500, 502, 503 और 504 को “with bounded exponential backoff” (अनुवाद: सीमित exponential backoff के साथ) री-ट्राई करें। उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 अनुरोध की इजाज़त देती है। 400, 401, 403, 413 और 422 पर पहले कारण ठीक करें। सपोर्ट के लिए X-Request-ID हेडर संभालकर रखें। एरर और री-ट्राई गाइड SDK के री-ट्राई काउंट सेट करती है, और LLM API के 429 कैसे संभालें में लिमिटर और क़तार का कोड है। रेट लिमिट कैलकुलेटर दिखाता है कि किसी सीमा में कितना ट्रैफ़िक समाता है।