BroadRouter
شروع کریں

ایکسپونینشل بیک آف (exponential backoff)

اپ ڈیٹ

ایکسپونینشل بیک آف دوبارہ کوشش کی ایک حکمتِ عملی ہے جس میں کلائنٹ ہر ناکام کوشش کے بعد، دوبارہ کوشش سے پہلے، زیادہ دیر انتظار کرتا ہے، عموماً تاخیر کو ایک حد تک دگنا کرتے ہوئے۔ ہر انتظار میں رینڈم jitter شامل کرنے سے کئی کلائنٹس کی دوبارہ کوششیں بکھر جاتی ہیں تاکہ وہ بیک وقت سرور تک نہ پہنچیں۔

دوسرے نام: ایکسپونینشل بیک آف، بیک آف کے ساتھ دوبارہ کوشش، jitter، exponential backoff kya hai، retry with backoff kya hai، exponential backoff، backoff and jitter، retry with backoff، jittered backoff، capped exponential backoff، full jitter

جب API کہتا ہے “آہستہ چلو”، تب فوراً دوبارہ کوشش حالات اور بگاڑ دیتی ہے۔ ایکسپونینشل بیک آف ہر بار زیادہ انتظار کرتا ہے۔

یہ کیسے کام کرتا ہے

ناکامی کے بعد ایک بنیادی تاخیر تک رکیں، پھر ہر نئی ناکامی پر اسے دگنا کریں، ایک زیادہ سے زیادہ حد تک۔ 1 سیکنڈ کی بنیاد اور 32 سیکنڈ کی حد کے ساتھ انتظار 1، 2، 4، 8، 16، 32، 32 سیکنڈ چلتے ہیں۔ مقررہ کوششوں کے بعد رک جائیں اور ایرر آگے بڑھا دیں۔

اکیلا بیک آف کافی نہیں۔ اگر 100 کلائنٹس ایک ہی لمحے ناکام ہوں تو وہ ایک ہی لمحوں پر دوبارہ کوشش بھی کرتے ہیں۔ Marc Brooker کی AWS پوسٹ “Full Jitter” (صفر اور موجودہ حد کے درمیان ایک رینڈم انتظار)، “Equal Jitter” اور “Decorrelated Jitter” کا موازنہ کرتی ہے۔ Equal Jitter سب سے کمزور نکلا، اور Full Jitter “uses less work, but slightly more time.” (ترجمہ: کم کام کرتا ہے، لیکن تھوڑا زیادہ وقت لیتا ہے۔) ان کا نتیجہ: jitter والا بیک آف “should be considered a standard approach for remote clients.” (ترجمہ: ریموٹ کلائنٹس کے لیے معیاری طریقہ سمجھا جانا چاہیے۔)

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

یہ کیوں اہم ہے

  • 429 بھی شمار ہوتے ہیں۔ OpenAI کی ریٹ لمٹ گائیڈ خبردار کرتی ہے کہ “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (ترجمہ: ناکام درخواستیں بھی آپ کی فی منٹ حد میں شمار ہوتی ہیں، اس لیے درخواست مسلسل دوبارہ بھیجنے سے کام نہیں چلے گا۔) ریٹ لمٹ پر مسلسل ضرب لگاتے رہنے سے آپ باہر ہی رہتے ہیں۔
  • دوبارہ کوششیں کئی گنا ہوتی ہیں۔ AWS کی Builders’ Library بتاتی ہے کہ دوبارہ کوششیں “selfish” (ترجمہ: خود غرض) ہوتی ہیں اور اسٹیک میں ایک ہی جگہ دوبارہ کوشش کا مشورہ دیتی ہے؛ ہر لیئر پر دوبارہ کوشش سے لوڈ کئی گنا بڑھ سکتا ہے۔
  • ضمنی اثرات۔ پیسے کاٹنے والی کال کو دوبارہ بھیجنا صرف idempotency key کے ساتھ محفوظ ہے۔
  • بچاؤ دوبارہ کوشش سے بہتر ہے۔ بیک وقت چلنے والی درخواستوں کو اپنی کنکرنسی کی حد سے نیچے رکھیں، تاکہ 429 پہلے ہی کم آئیں۔

BroadNet Inference پر

BroadNet کی ایرر ٹیبل کہتی ہے کہ 429 کا جواب “response details and bounded backoff” (ترجمہ: جواب کی تفصیلات اور محدود بیک آف) سے دیں اور 500، 502، 503 اور 504 کو “with bounded exponential backoff” (ترجمہ: محدود exponential backoff کے ساتھ) دوبارہ بھیجیں۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 درخواستوں کی اجازت دیتی ہے۔ 400، 401، 403، 413 اور 422 پر پہلے وجہ ٹھیک کریں۔ سپورٹ کے لیے X-Request-ID ہیڈر سنبھال کر رکھیں۔ ایررز اور دوبارہ کوشش کی گائیڈ SDK کی دوبارہ کوشش کی تعداد سیٹ کرتی ہے، اور LLM API کے 429 کیسے سنبھالیں میں لمٹر اور قطار کا کوڈ ہے۔ ریٹ لمٹ کیلکولیٹر دکھاتا ہے کہ کسی حد میں کتنی ٹریفک سماتی ہے۔

عام سوالات

کن ایررز کو بیک آف کے ساتھ دوبارہ بھیجنا چاہیے؟

ریٹ لمٹس (429)، سرور ایررز (5xx)، ٹائم آؤٹ اور ٹوٹے کنکشن۔ 400، 401، 403، 413 یا 422 کو بغیر تبدیلی دوبارہ نہ بھیجیں؛ پہلے درخواست یا کلید ٹھیک کریں۔

jitter کیوں شامل کریں؟

اس کے بغیر، جو کلائنٹس ایک ساتھ ناکام ہوئے وہ ایک ساتھ دوبارہ کوشش کرتے ہیں اور سرور پر پھر بوجھ ڈالتے ہیں۔ jitter ہر انتظار کو رینڈم بناتا ہے تاکہ دوبارہ کوششیں بکھر جائیں۔

کیا OpenAI SDKs پہلے سے بیک آف کرتے ہیں؟

ہاں۔ سرکاری OpenAI SDKs کنکشن ایررز، 429 اور 5xx جوابات کو مختصر exponential backoff کے ساتھ دوبارہ بھیجتے ہیں۔ max_retries واضح طور پر سیٹ کریں، لمبی بیچ جابز کے لیے زیادہ، اور اوپر سے اپنا لمٹر شامل کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں