BroadRouter

LLM API میں 429 ایرر سے کیسے نمٹیں: بیک آف، جِٹر اور لمٹرز

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

429 کا مطلب ہے کہ آپ کسی ریٹ، بیک وقت درخواستوں یا خرچ کی حد تک پہنچ گئے۔ اسے محدود exponential backoff اور بے ترتیب جِٹر کے ساتھ دوبارہ بھیجیں، اور Retry-After ملے تو اس کی پابندی کریں۔ پھر زیادہ تر 429 پہلے ہی روکیں: semaphore سے جاری درخواستوں کو کلید کی حد پر روکیں اور باقی کو قطار میں ڈالیں۔ 5xx پر بھی یہی کریں؛ دوسرے 4xx ایررز درست کریں۔

429 کا مطلب ہے کہ آپ کا ٹریفک کسی ریٹ لمٹ سے آگے نکل گیا: فی منٹ درخواستیں، جاری درخواستیں، فی منٹ ٹوکن یا خرچ۔ اسے دو حصوں میں درست کریں۔ صحیح طریقے سے دوبارہ کوشش کریں: محدود exponential backoff، بے ترتیب جِٹر کے ساتھ، اور Retry-After کی پابندی۔ ایک ساتھ کم بھیجیں: کلید کی جاری درخواستوں کی حد پر ایک semaphore، اور ساتھ میں ایک قطار۔ دونوں نیچے کوڈ کے ساتھ دیے گئے ہیں۔

تمام اسٹیٹس کوڈز کی مکمل تفصیل کے لیے ایررز اور دوبارہ کوشش کی گائیڈ دیکھیں؛ چیک پوائنٹس اور ٹائم آؤٹس کے ساتھ کئی گھنٹے چلنے والے ایجنٹس کے لیے طویل چلنے والے ایجنٹس: ٹائم آؤٹ اور دوبارہ کوششیں دیکھیں۔

429 اور 5xx میں کیا فرق ہے؟

اسٹیٹس مسئلہ کس کا دوبارہ کوشش؟ کیسے
429 آپ کا ٹریفک کسی حد سے آگے گیا ہاں جِٹر کے ساتھ بیک آف؛ Retry-After کی پابندی؛ بیک وقت درخواستیں کم کریں
500 / 502 / 503 / 504 سرور کی طرف ہاں محدود exponential backoff
کنکشن ری سیٹ، ٹائم آؤٹ نیٹ ورک یا سرور عموماً بیک آف؛ اسٹریمز کے لیے صرف تب، جب نیا بل قابل قبول ہو
400 / 422 غلط درخواست نہیں پے لوڈ درست کریں
401 / 402 / 403 کلید، بیلنس یا پالیسی نہیں کلید درست کریں، اکاؤنٹ میں رقم ڈالیں، allow-list درست کریں
413 درخواست بہت بڑی نہیں اسے چھوٹا کریں

BroadNet Inference پر 429 کا مطلب چار میں سے کوئی بھی حد ہو سکتی ہے: ریٹ، بیک وقت درخواستیں، ٹوکن ریٹ یا خرچ۔ خرچ کی حد 30 سیکنڈ میں ختم نہیں ہوگی۔ BroadNet کی دستاویزات یہ نہیں بتاتیں کہ ایرر باڈی کا کون سا فیلڈ حد کا نام بتاتا ہے، اس لیے باڈی لاگ کریں اور اسے اپنی کلید کی تفصیلات میں دکھائی گئی حدوں سے ملائیں۔

LLM API کے مفت ٹائرز اور ریٹ لمٹس کا ہمارا اوپن ڈیٹا سیٹ موازنہ کرتا ہے کہ 14 فراہم کنندگان مفت رسائی، ابتدائی ریٹ لمٹس، کارڈ کی شرط اور مفت ٹائر کے ڈیٹا پر ٹریننگ کے بارے میں کیا شائع کرتے ہیں، ہر قدر کے ماخذ اور تاریخ کے ساتھ۔

کون سی حدیں 429 کا سبب بنتی ہیں؟

جن اعداد کے ساتھ آپ کام کر رہے ہیں، انہیں جانیں۔ BroadNet Inference پر:

کلید کی قسم درخواستیں / منٹ جاری درخواستیں دیگر
استعمال کے مطابق ادائیگی 30 4 مشترکہ خرچ کا بجٹ
گھنٹے والی کلید 120 1 اسٹریم 300,000 ٹوکن / منٹ
لامحدود پلان کا سیشن — ہر سیشن میں 1 درخواست کوئی ٹوکن میٹر نہیں

LLMs کے لیے سب سے اہم عدد جاری درخواستوں کا ہے۔ اسٹریم شدہ جواب آخری ٹوکن پہنچنے تک اپنا سلاٹ گھیرے رکھتا ہے، اس لیے لمبا جواب اتنی دیر سلاٹ مصروف رکھتا ہے جتنی دیر ماڈل اسے لکھنے میں لگاتا ہے (BroadNet عام رفتار تقریباً 100 ٹوکن فی سیکنڈ بتاتا ہے)۔ اگر آپ کلید کے 4 سلاٹس سے زیادہ متوازی کالز بھیجیں تو اضافی کالز کو 429 ملے گا، چاہے آپ نے اس منٹ گنتی کی چند درخواستیں ہی بھیجی ہوں۔ یہ بیک وقت درخواستوں کا مسئلہ ہے، اور صرف بیک آف اسے ٹھیک سے نہیں سنبھالتا۔ لانچ سے پہلے کسی حد کے مطابق ورکرز طے کرنے کے لیے مفت LLM ریٹ لمٹ کیلکولیٹر استعمال کریں۔ بہت سے آئٹمز والی مقررہ جاب کے لیے LLM بیچ جاب پلانر انہی حدوں کو رن ٹائم میں بدل دیتا ہے۔ دوسرے فراہم کنندگان مختلف طرح گنتے ہیں (فی منٹ ٹوکن، فی دن درخواستیں یا جاری درخواستیں)؛ فراہم کنندہ کے لحاظ سے LLM API ریٹ لمٹس ان میں سے 13 کا ان کی اپنی دستاویزات سے موازنہ کرتا ہے۔

جِٹر کے ساتھ بیک آف کیسے لکھیں؟

سادہ exponential backoff 1، 2، 4، 8 سیکنڈ انتظار کرتا ہے۔ اگر سو ورکرز ایک ہی لمحے تھروٹل ہوئے تو وہ سب ایک ہی لمحے واپس آتے ہیں۔ AWS نے 100 مسابقتی کلائنٹس کی سمیولیشن کی، جس میں مکمل جِٹر نے کالز کی تعداد آدھی سے بھی زیادہ کم کر دی اور بغیر جِٹر والے بیک آف سے جلدی کام مکمل کیا۔ سب سے سادہ شکل، مکمل جِٹر، صفر اور exponential حد کے درمیان کوئی بے ترتیب وقت انتظار کرتی ہے:

import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)

max_retries=0 SDK کی اپنی دوبارہ کوششیں بند کر دیتا ہے، تاکہ آپ دو بار دوبارہ کوشش نہ کریں۔ اگر SDK کا اندرونی رویہ آپ کے لیے کافی ہے تو الٹا بھی چلتا ہے: اپنا لوپ ہٹا دیں اور کلائنٹ پر max_retries=4 سیٹ کریں، جیسا کہ Python SDK گائیڈ میں دکھایا گیا ہے۔ سرکاری Python اور Node SDKs کنکشن ایررز، 408، 409، 429 اور 5xx پر پہلے سے دو بار دوبارہ کوشش کرتے ہیں۔

Retry-After ایک معیاری ہیڈر (RFC 9110) ہے، جس میں سیکنڈز یا تاریخ ہو سکتی ہے۔ BroadNet کی دستاویزات اس کا وعدہ نہیں کرتیں، اس لیے کوڈ اسے اختیاری سمجھتا ہے۔

429 کو ہونے سے پہلے کیسے روکیں؟

جاری درخواستوں کو کلید کی حد پر روکیں۔ Python میں asyncio.Semaphore یہ ایک آبجیکٹ اور ایک async with بلاک سے کر دیتا ہے۔ کوڈ میں مثال کے طور پر 4 رکھا گیا ہے؛ اسے اپنی کلید کی جاری درخواستوں کی حد پر سیٹ کریں (BroadNet کی استعمال کے مطابق ادائیگی والی کلید پر 4):

import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))

gather ہر ٹاسک شروع کرتا ہے، لیکن ایک ساتھ صرف اتنے ہی چلتے ہیں جتنے semaphore اجازت دے۔ باقی semaphore کی قطار میں انتظار کرتے ہیں۔ Node میں p-limit پیکج یہی کرتا ہے، یہاں بھی مثال کے طور پر 4 کے ساتھ:

// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));

فی منٹ کی حد بھی چاہیے تو ایک token bucket شامل کریں جو ہر 60 / rpm سیکنڈ پر ایک اجازت جاری کرے، جہاں rpm آپ کی کلید کی فی منٹ درخواستوں کی حد ہے (BroadNet کی استعمال کے مطابق ادائیگی والی کلید پر 30)۔

اصل قطار کی ضرورت کب پڑتی ہے؟

semaphore ایک ہی پروسیس میں رہتا ہے۔ جب کئی ورکرز یا سرورز ایک کلید شیئر کرتے ہیں تو حد بھی مشترک ہوتی ہے اور ہر پروسیس صرف اپنا ٹریفک دیکھتا ہے۔ تب:

  1. جابز کو ایک مشترکہ قطار (Redis، SQS، ڈیٹا بیس ٹیبل) میں ڈالیں۔
  2. کلید کی جاری درخواستوں کی حد کے برابر، مقررہ تعداد میں کنزیومرز چلائیں۔
  3. ہر جاب کو ایک ID دیں اور نتائج ID کے حساب سے محفوظ کریں، تاکہ دوبارہ بھیجی گئی جاب دو بار نہ چلے۔
  4. انٹرایکٹو ٹریفک اور بیچ ٹریفک کو الگ کلیدوں یا الگ قطاروں سے بھیجیں، تاکہ بیچ کا بیک لاگ جواب کے منتظر کسی یوزر کو کبھی نہ روکے۔

Batch API کے بغیر ہزاروں آئٹمز والی بڑی جاب کے لیے دوبارہ شروع ہو سکنے والا بیچ رنر دیکھیں۔

دوبارہ کوشش کی کون سی غلطیاں 429 کو آؤٹیج بنا دیتی ہیں؟

  • لامحدود دوبارہ کوششیں۔ طویل آؤٹیج کے دوران بغیر حد کا لوپ آپ کا لوڈ، اور فی ٹوکن بلنگ پر آپ کا بل، کئی گنا کر دیتا ہے۔
  • آدھی مکمل اسٹریم کو آنکھ بند کر کے دوبارہ بھیجنا۔ اگر اسٹریم ٹوکن لوٹا چکی ہے تو دوبارہ کوشش ایک نیا انفرنس ہے اور یوزر کو متن دو بار نظر آ سکتا ہے۔ نامکمل اسٹریمز پہچاننے کے لیے اسٹریمنگ والی پوسٹ دیکھیں۔
  • اکاؤنٹ ایررز پر دوبارہ کوشش۔ استعمال کے مطابق ادائیگی کا الاؤنس ختم ہونے پر 401 یا ناکافی بیلنس پر 402 خود ٹھیک نہیں ہوگا۔

ہر دوبارہ کوشش کو اس کے اسٹیٹس، انتظار کے وقت اور X-Request-ID ریسپانس ہیڈر کے ساتھ لاگ کریں؛ BroadNet کی دستاویزات سپورٹ کے لیے یہ ہیڈر محفوظ رکھنے کو کہتی ہیں۔ بڑھتی ہوئی دوبارہ کوشش کی شرح سب سے پہلی وارننگ ہے کہ آپ کو زیادہ گنجائش چاہیے؛ استعمال کی لاگنگ بتاتی ہے کہ اسے کیسے ریکارڈ کریں۔

BroadNet Inference کہاں موزوں ہے

BroadNet کی حدیں شائع شدہ ہیں اور اتنی چھوٹی ہیں کہ ان کے مطابق ڈیزائن کیا جا سکے: استعمال کے مطابق ادائیگی والی کلید پر بیک وقت 4 جاری درخواستیں۔ یہ ایپس اور ایجنٹس کے لیے موزوں ہے، اور اس بڑی جاب کے لیے بہت تنگ ہے جسے ایک کلید پر سینکڑوں متوازی کالز چاہئیں۔ ایجنٹس کے لیے لامحدود پلان میں کوئی ٹوکن میٹر نہیں اور ہر سیشن ایک وقت میں ایک درخواست چلاتا ہے؛ متوازی کام کے لیے آپ سیشنز بڑھاتے ہیں، جیسا کہ متوازی کوڈنگ ایجنٹس چلانا میں بیان کیا گیا ہے۔ موجودہ حدیں API ریفرنس میں ہیں۔

عام سوالات

LLM API پر HTTP 429 کا کیا مطلب ہے؟

Too Many Requests۔ آپ نے فی منٹ درخواستوں، جاری درخواستوں، فی منٹ ٹوکنز یا خرچ کی کوئی حد پار کر دی۔ درخواست پروسیس نہیں ہوئی، اس لیے کچھ انتظار کے بعد اسے دوبارہ بھیجنا محفوظ ہے۔

429 کے بعد دوبارہ کوشش سے پہلے کتنا انتظار کریں؟

اگر سرور Retry-After بھیجے تو اسے استعمال کریں۔ ورنہ تقریباً ایک سیکنڈ سے شروع کریں، ہر کوشش پر دگنا کریں، حد تقریباً 30 سے 60 سیکنڈ رکھیں، اور صفر سے اس حد کے درمیان کوئی بے ترتیب وقفہ چنیں۔ چار سے چھ کوششوں کے بعد رک جائیں۔

کیا LLM API کے 500 اور 503 ایررز پر دوبارہ کوشش کرنی چاہیے؟

جی ہاں، اسی محدود بیک آف کے ساتھ۔ یہ سرور کی طرف کے ایررز ہیں۔ 400، 401، 403 یا 422 ہر بار اسی طرح ناکام ہوں گے، اس لیے انہیں درست کریں۔

کیا OpenAI SDK خود بخود 429 پر دوبارہ کوشش کرتا ہے؟

جی ہاں۔ سرکاری Python اور Node SDKs کنکشن ایررز، 408، 409، 429 اور 5xx پر پہلے سے دو بار، مختصر exponential backoff کے ساتھ دوبارہ کوشش کرتے ہیں۔ بیچ جابز کے لیے max_retries بڑھائیں اور اپنی بیک وقت درخواستوں کی حد شامل کریں۔

فی منٹ درخواستوں کی حد سے نیچے ہونے پر بھی 429 کیوں آتا ہے؟

عموماً بیک وقت درخواستوں کی حد کی وجہ سے۔ لمبے اسٹریمنگ جواب کئی سیکنڈ تک جاری رہتے ہیں، اس لیے چند متوازی کالز جاری درخواستوں کی حد چھو سکتی ہیں، جبکہ فی منٹ کی گنتی کم نظر آتی ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں