حين تقول الواجهة “تمهّل”، فإن إعادة المحاولة فورًا تزيد الأمر سوءًا. والانتظار الأُسّي ينتظر مدة أطول في كل مرة.
كيف يعمل
بعد الفشل، انتظر تأخيرًا أساسيًا، ثم ضاعفه مع كل فشل جديد، حتى حد أقصى. فمع تأخير أساسي قدره ثانية واحدة وحد أقصى 32 ثانية، تكون فترات الانتظار 1 و2 و4 و8 و16 و32 و32 ثانية. وتوقّف بعد عدد ثابت من المحاولات وأظهر الخطأ.
لكن الانتظار المتزايد وحده لا يكفي. فإن فشل 100 عميل في اللحظة نفسها، فسيعيدون المحاولة كلهم في اللحظات نفسها أيضًا. ويقارن مقال Marc Brooker على مدونة AWS بين “Full Jitter” (انتظار عشوائي بين الصفر والحد الحالي) و”Equal Jitter” و”Decorrelated Jitter”. وجاء Equal Jitter الأضعف، أما Full Jitter فإنه “uses less work, but slightly more time.” (ترجمة: يستهلك عملًا أقل، لكن وقتًا أطول قليلًا.) وخلاصته أن الانتظار مع التذبذب العشوائي “should be considered a standard approach for remote clients.” (ترجمة: ينبغي اعتباره نهجًا قياسيًا للعملاء البعيدين.)
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
لماذا يهم
- أخطاء 429 تُحتسب أيضًا. يحذّر دليل حدود المعدل لدى OpenAI من أن “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (ترجمة: الطلبات الفاشلة تُحتسب ضمن حدك في الدقيقة، لذا لن تنجح إعادة إرسال الطلب باستمرار.) والإلحاح على حد المعدل يُبقيك محجوبًا.
- المحاولات تتضاعف. تلاحظ AWS Builders’ Library أن إعادة المحاولة “selfish” (ترجمة: أنانية)، وتوصي بإعادة المحاولة في نقطة واحدة من الطبقات؛ فإعادة المحاولة في كل طبقة قد تضاعف الحمل مرات كثيرة.
- الآثار الجانبية. إعادة محاولة استدعاء يخصم مالًا لا تكون آمنة إلا مع مفتاح عدم التكرار (idempotency key).
- الوقاية خير من إعادة المحاولة. اجعل سقف الطلبات قيد التنفيذ أدنى من حد التزامن لديك، كي تكون أخطاء 429 نادرة من الأساس.
في BroadNet Inference
يقول جدول الأخطاء لدى BroadNet أن تستجيب للخطأ 429 بـ “response details and bounded backoff” (ترجمة: تفاصيل الاستجابة وانتظار متزايد محدود)، وأن تعيد محاولة 500 و502 و503 و504 “with bounded exponential backoff.” (ترجمة: مع انتظار أُسّي محدود.) ويسمح مفتاح الدفع حسب الاستخدام بـ 30 من الطلبات في الدقيقة و4 قيد التنفيذ. وبالنسبة إلى 400 و401 و403 و413 و422، أصلح السبب أولًا. واحتفظ بالترويسة X-Request-ID للدعم الفني. ويضبط دليل الأخطاء وإعادة المحاولة أعداد المحاولات في SDK، ويحتوي كيف تعالج أخطاء 429 في LLM API شيفرة للمحدِّد والطابور. وتُظهر حاسبة حدود المعدل مقدار الحركة الذي يتسع تحت حد معيّن.