BroadRouter

لمبے چلنے والے ایجنٹس: پائیدار timeouts، retries اور checkpoints

BroadNet Inference ٹیم · 4 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

ہر ماڈل کال کو قابلِ ترک اور ایجنٹ کی حالت کو پائیدار سمجھیں۔ ہر کال پر timeout لگائیں، اٹکنے کا پتا لگانے کے لیے اسٹریم کریں، 429، 5xx اور ٹوٹی اسٹریمز کو محدود backoff کے ساتھ retry کریں، اور side effect والے ہر ٹول کو idempotency key دیں۔ ہر مرحلے کے بعد پیغامات کی فہرست محفوظ کریں، تاکہ کریش کے بعد ایجنٹ شروع سے نہیں، آخری checkpoint سے چلے۔

پانچ منٹ چلنے والا ایجنٹ ناکامی کو نظرانداز کر سکتا ہے۔ پانچ گھنٹے چلنے والا ایجنٹ timeout، 429، ٹوٹی اسٹریم اور شاید ایک restart، سب دیکھے گا۔ لمبے چلنے والے ایجنٹس پر زیادہ تر گائیڈز کوئی workflow engine بیچتی ہیں۔ ہو سکتا ہے آپ کو اس کی ضرورت نہ ہو۔ یہ پوسٹ ان پانچ عادتوں کے بارے میں ہے جو ایک سادہ ایجنٹ لوپ کو گھنٹوں زندہ رکھتی ہیں، OpenAI Python SDK کے کوڈ کے ساتھ۔

ایجنٹ گھنٹوں چلے تو کیا ٹوٹتا ہے؟

ناکامی کیسی دکھتی ہے کون سی عادت اسے سنبھالتی ہے
اٹکی یا سست کال منٹوں تک کوئی جواب نہیں ہر کال پر timeout، اسٹریمنگ
ریٹ لِمٹ یا اوورلوڈ 429، 5xx backoff کے ساتھ محدود retry
ٹوٹی اسٹریم [DONE] سے پہلے کنکشن ختم نامکمل سمجھیں، کال retry کریں
دہرایا گیا side effect retry کے بعد ٹول دو بار چلتا ہے Idempotency keys
پروسیس کریش یا ڈیپلائے ایجنٹ مرحلہ 1 سے دوبارہ شروع ہوتا ہے ہر مرحلے پر checkpoint

1. ایک کال کو کتنا وقت لینے دیں؟

OpenAI Python SDK کا README کہتا ہے کہ درخواستیں بطورِ ڈیفالٹ 10 منٹ بعد timeout ہوتی ہیں اور کچھ ایررز دو بار retry کیے جاتے ہیں۔ ایجنٹ کے لیے دونوں خود سیٹ کریں، تاکہ رویہ آپ کے علم کے بغیر نہ بدلے:

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)

timeout ڈیٹا سے چنیں۔ ایک دن تک ہر کال کا دورانیہ لاگ کریں؛ timeout کو سب سے سست کامیاب کال سے کافی اوپر رکھیں۔ بڑے پرامپٹس شروع ہونے میں زیادہ وقت لیتے ہیں، اور ریزننگ ماڈلز لکھنے سے پہلے سوچتے ہیں۔ تقریباً 100 ٹوکن فی سیکنڈ پر 8,000 آؤٹ پٹ ٹوکن اکیلے ہی ایک منٹ سے زیادہ لیتے ہیں۔ ہر ٹاسک کے لیے الگ wall-clock بجٹ شامل کریں، تاکہ چلتا رہنے والا لوپ پوری رات نہ چلے۔

2. لمبے چلنے والے ایجنٹ میں اسٹریم کیوں کریں؟

اسٹریمنگ ماڈل کے کام کے دوران آپ کو اشارہ دیتی ہے۔ اس کے بغیر سست کال اور مردہ کنکشن timeout ہونے تک ایک جیسے دکھتے ہیں۔ اس کے ساتھ آپ chunks آتے دیکھ سکتے ہیں اور آخری chunk میں ٹوکن usage بھی پاتے ہیں۔

BroadNet کے اسٹریمنگ اصول: لفظی data: [DONE] سطر تک پڑھیں۔ اگر کنکشن اس سے پہلے بند ہو جائے تو جواب نامکمل ہے۔ X-Request-ID ریکارڈ کریں، پھر طے کریں کہ نئی درخواست کرنی ہے یا نہیں۔ مکمل اسٹریمنگ گائیڈ۔

def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)

یہ خاکہ صرف متن جمع کرتا ہے۔ اگر آپ ٹول کالز اسٹریم کرتے ہیں تو delta.tool_calls کو بھی index کے حساب سے جمع کریں۔

3. کیا retry کرنا چاہیے؟

SDK پہلے سے کنکشن ایررز، 408، 409، 429 اور 5xx retry کرتا ہے۔ اس کے اوپر اپنا retry صرف اس کے لیے لگائیں جو SDK نہیں دیکھ سکتا، جیسے نامکمل اسٹریم:

  1. Retry کریں: کنکشن ایررز، 429، 5xx، نامکمل اسٹریمز۔ jitter اور بالائی حد کے ساتھ exponential backoff استعمال کریں، مثلاً 4 کوششیں۔
  2. Retry نہیں، ٹھیک کریں: 400، 401، 402، 403، 413، 422۔ یہ ہر بار ایک ہی طرح ناکام ہوتے ہیں۔ ایرر کوڈز اور کب retry کریں دیکھیں۔
  3. retries کا بجٹ ہر ٹاسک پر رکھیں، صرف ہر کال پر نہیں۔ دس مراحل، ہر ایک چار بار retry، یعنی چالیس اضافی کالز۔
  4. retries ختم ہونے پر failover کریں۔ اگر رن کو فراہم کنندہ کی بندش میں بھی بچنا ہے تو کنکشن ایررز، 5xx اور ریٹ لِمٹ والے 429 دوسرے فراہم کنندہ پر بھیجیں۔ LLM API failover میں کلائنٹ کوڈ اور circuit breaker ہے۔

استعمال کے مطابق ادائیگی میں ہر retry نیا inference ہے، جس کا دوبارہ بل بنتا ہے۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 درخواستوں کی اجازت دیتی ہے، اس لیے retries کی بوچھاڑ جلد ہی ریٹ لِمٹ سے ٹکراتی ہے؛ ریٹ لِمٹ کیلکولیٹر دکھاتا ہے کہ آپ کے ایجنٹ کے پاس کتنی گنجائش ہے۔ backoff کی تفصیل 429 سنبھالنے والی پوسٹ میں ہے۔ لامحدود پلان پر retries کا کوئی اضافی خرچ نہیں، لیکن چلتے وقت وہ سیشن کا واحد درخواست سلاٹ گھیرتے ہیں۔

4. ٹول کالز کو idempotent کیسے بنائیں؟

ماڈل کال کا کوئی side effect نہیں ہوتا۔ ٹول کال کا ہو سکتا ہے۔ اگر send_invoice چلنے کے بعد مگر مرحلہ محفوظ ہونے سے پہلے ایجنٹ کریش ہو جائے، تو دوبارہ شروع ہونے والا ایجنٹ اسے پھر بھیج دے گا۔

side effect والی ہر کال کو ٹاسک اور مرحلے سے بنی ایک idempotency key دیں، ایکشن سے پہلے اسے جانچیں، اور اگر وہ پہلے سے ریکارڈ ہے تو کال چھوڑ دیں:

def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result

کئی ادائیگی اور میسجنگ APIs، idempotency key ہیڈر قبول کرتے ہیں۔ جہاں قبول کریں، اپنی key آگے بھیج دیں۔

5. ایجنٹ کا checkpoint کیسے بنائیں؟

ہر مکمل مرحلے کے بعد محفوظ کریں: پیغامات کی فہرست، مرحلے کا نمبر اور side effects کی keys۔ شروع ہوتے وقت، اگر آخری checkpoint موجود ہو تو اسے لوڈ کریں۔

def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem

temp فائل میں لکھ کر rename کرنے کا مطلب ہے کہ لکھتے لکھتے کریش ہونے پر بھی کبھی آدھا checkpoint نہیں بچتا۔ بہت لمبے سیشنز کے لیے ایک خلاصے کا بھی checkpoint بنائیں: پرانے turns کو مختصر خلاصے سے بدل دیں، تاکہ دوبارہ شروع ہونے والا ایجنٹ بہت بڑی ہسٹری دوبارہ لوڈ نہ کرے۔ اس سے آپ کانٹیکسٹ ونڈو کے اندر رہتے ہیں، DeepSeek V4.1 Flash کے 1,048,576 ٹوکن پر بھی۔

رات بھر کے رن سے پہلے کی چیک لسٹ

  1. کلائنٹ پر timeout اور max_retries واضح طور پر سیٹ۔
  2. اسٹریمنگ آن، include_usage کے ساتھ، اور نامکمل اسٹریمز retry ہوتی ہیں۔
  3. ہر ٹاسک پر retry بجٹ اور wall-clock حد۔
  4. لکھنے، بھیجنے یا ادائیگی کرنے والے ہر ٹول پر idempotency key۔
  5. ہر مرحلے کے بعد checkpoint، atomic طریقے سے لکھا ہوا۔
  6. مرحلے کے نمبر، دورانیے، ٹوکنز اور X-Request-ID والے لاگز۔

اگر آپ کئی ایجنٹس ساتھ ساتھ چلاتے ہیں تو مقررہ قیمت پر متوازی کوڈنگ ایجنٹس چلانا اور ملٹی ایجنٹ سیٹ اپس کا خرچ پڑھیں۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet Inference معیاری chat-completions اسٹریمنگ استعمال کرتا ہے، لاگ کرنے لائق X-Request-ID ہیڈر لوٹاتا ہے، اور دستاویزی طور پر بتاتا ہے کہ کون سے ایررز retry کرنے ہیں، اس لیے اوپر کے پیٹرن جیسے لکھے ہیں ویسے ہی کام کرتے ہیں۔ دن بھر چلنے والے ایجنٹس کے لیے لامحدود پلانز DeepSeek V4.1 Flash پر ٹوکن میٹر ہٹا دیتے ہیں، $60 ماہانہ فی سیشن، جس سے retries مفت ہو جاتے ہیں۔ یاد رکھیں کہ Meteor کا گھنٹہ خریداری کے ایک گھنٹے بعد اور Orbit کا ہفتہ سات دن بعد ختم ہوتا ہے، اس لیے لمبے کام کو اس مدت کے اندر مکمل ہونا چاہیے یا خود تجدید ہونے والے Full Moon سیشن پر جانا چاہیے۔ پلانز inference.broadnet.ai/plans پر ہیں۔

عام سوالات

ایجنٹ میں LLM API کالز کے لیے کتنا timeout رکھنا چاہیے؟

اتنا لمبا کہ سب سے سست جائز کال مکمل ہو جائے، اور اتنا چھوٹا کہ اٹکی ہوئی کال پکڑی جائے۔ OpenAI Python SDK کا ڈیفالٹ 10 منٹ ہے۔ کئی ایجنٹس اسٹریمنگ کے ساتھ ہر کال پر 2 سے 5 منٹ رکھتے ہیں، اور ہر ٹاسک کے لیے الگ wall-clock حد۔

ایجنٹ کو کون سے LLM API ایررز retry کرنے چاہییں؟

کنکشن ایررز، 429 اور 5xx کو محدود exponential backoff اور jitter کے ساتھ retry کریں۔ 400، 401، 402، 403، 413 اور 422 کو retry کرنے کے بجائے ٹھیک کریں۔ BroadNet پر ہر ناکامی کے لیے X-Request-ID ہیڈر بھی لاگ کریں۔

کیا chat completion کو retry کرنا محفوظ ہے؟

ماڈل کال کا اپنا کوئی side effect نہیں، اس لیے جی ہاں، لیکن یہ نیا inference ہے اور استعمال کے مطابق ادائیگی میں اس کا دوبارہ بل بنتا ہے۔ خطرہ ٹولز میں ہے۔ retry کیا گیا مرحلہ ای میل دو بار بھیج سکتا ہے، جب تک ٹول idempotency key استعمال نہ کرے۔

کریش کے بعد ایجنٹ کو دوبارہ کیسے شروع کروں؟

ہر مکمل مرحلے کے بعد پیغامات کی فہرست اور مرحلے کا نمبر محفوظ کریں، کوئی ایکشن لینے سے پہلے side effect کے IDs لکھیں، اور شروع ہوتے وقت انہیں لوڈ کریں۔ ایجنٹ آخری محفوظ شدہ مرحلے سے آگے چلتا ہے۔

کیا لمبے چلنے والے ایجنٹس کو لامحدود پلان چاہیے؟

نہیں، لیکن استعمال کے مطابق ادائیگی میں retries اور لمبے کانٹیکسٹ کا خرچ جمع ہوتا جاتا ہے۔ BroadNet کے لامحدود پلانز پر DeepSeek V4.1 Flash میں ٹوکن میٹر نہیں، اس لیے retries کا کوئی اضافی خرچ نہیں، اگرچہ ہر سیشن پھر بھی ایک وقت میں ایک درخواست چلاتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں