ہر LLM API کے برے منٹ آتے ہیں: ایک 503، ایک ٹائم آؤٹ، 429 کی بوچھاڑ۔ فال بیک کا مطلب ہے کہ وہ منٹ آپ کی ایپ میں آؤٹیج نہ بنیں۔ یہ پوسٹ دکھاتی ہے کہ اپنے کوڈ میں OpenAI سے مطابقت رکھنے والے فراہم کنندگان کے بیچ فیل اوور کیسے کریں۔ اس میں ہے کہ کن ایررز پر یہ چلنا چاہیے، سرکٹ بریکر اسے تیز کیسے رکھتا ہے، اور فراہم کنندگان کے بیچ کیا میل کھانا ضروری ہے تاکہ صارفین کو سوئچ کا پتا نہ چلے۔
پہلے ایک بات: BroadNet Inference آپ کے لیے فراہم کنندگان کے بیچ روٹنگ یا فیل اوور نہیں کرتا، اور BroadRouter بھی نہیں۔ BroadRouter، BroadNet کی اپنی ویب سائٹ ہے، راؤٹر نہیں۔ فال بیک آپ خود بناتے ہیں، یا تو نیچے دکھائے گئے طریقے سے اپنے کلائنٹ میں، یا LiteLLM جیسے گیٹ وے میں۔
فال بیک فراہم کنندہ رکھنا ہی کیوں چاہیے؟
کیونکہ زیادہ تر سیلف سروس API اپ ٹائم کا کوئی وعدہ نہیں کرتے۔ BroadNet کی شرائط سیکشن 7.4 میں صاف کہتی ہیں: “self-serve has no availability commitment” (ترجمہ: سیلف سروس پر دستیابی کی کوئی ذمہ داری نہیں)، اور سروس لیولز صرف الگ تحریری معاہدے میں ہوتے ہیں (15 نومبر 2026 کو جانچا گیا)۔ دوسرے فراہم کنندگان کیا وعدہ کرتے ہیں، یہ LLM API SLA موازنہ میں ہے۔ اگر آپ کا فیچر ہر حال میں چلنا چاہیے تو SLA جو بھی کہے، دوسرا فراہم کنندہ عملی بیمہ ہے۔
دوسری وجہ ریٹ لمٹس ہیں۔ BroadNet کی استعمال کے مطابق ادائیگی والی کلید پر 30 درخواستیں فی منٹ اور بیک وقت 4 جاری درخواستوں کی اجازت ہے۔ اس سے اوپر کا ٹریفک اسپائک 429 لوٹاتا ہے، اور جب تک آپ گنجائش بڑھاتے ہیں، دوسرا فراہم کنندہ اضافی بوجھ سنبھال سکتا ہے۔
کن ایررز پر فیل اوور ہونا چاہیے؟
ایررز کو دو گروپوں میں بانٹیں۔ کچھ فراہم کنندہ کی غلطی ہیں اور کہیں اور کامیاب ہو سکتے ہیں۔ باقی آپ کی غلطی ہیں اور ہر جگہ ناکام ہوں گے۔
| ایرر | فیل اوور؟ | کیوں |
|---|---|---|
| کنکشن ایرر، ٹائم آؤٹ | ہاں، دوبارہ کوششوں کے بعد | فراہم کنندہ یا نیٹ ورک تک رسائی نہیں |
| 500، 502، 503، 504 | ہاں، دوبارہ کوششوں کے بعد | BroadNet کی دستاویزات پہلے “retry with bounded exponential backoff” (ترجمہ: محدود exponential backoff کے ساتھ دوبارہ کوشش کریں) کہتی ہیں |
| 429، ریٹ یا بیک وقت درخواستوں کی حد | ہاں، بیک آف کے بعد | اس فراہم کنندہ کی گنجائش کا مسئلہ، غلط درخواست نہیں |
| 429، خرچ کی حد | نہیں | فیل اوور اس بجٹ کو بائی پاس کرتا ہے جو آپ نے جان بوجھ کر رکھا |
| 400، 422 | نہیں | درخواست غلط ہے اور اگلے فراہم کنندہ پر بھی ناکام ہو گی |
| 401، 402 | نہیں | کلید، الاؤنس یا بیلنس۔ BroadNet پر 401 ختم شدہ استعمال کے مطابق ادائیگی والے الاؤنس کو بھی کور کرتا ہے، اس لیے فیل اوور بلنگ کا مسئلہ چھپا دیتا ہے |
| 403، 413 | نہیں | پالیسی یا سائز؛ درخواست درست کریں |
BroadNet کا API ریفرنس کہتا ہے کہ 429 کا مطلب ہے “a rate, concurrency, token-rate or spending limit was reached” (ترجمہ: ریٹ، بیک وقت درخواستوں، ٹوکن ریٹ یا خرچ کی کوئی حد پوری ہو گئی) اور “use response details and bounded backoff” (ترجمہ: جواب کی تفصیلات اور محدود بیک آف استعمال کریں)۔ فیل اوور سے پہلے وہ تفصیلات پڑھیں، تاکہ خرچ کی حد والا 429 درخواست کو آگے منتقل کرنے کے بجائے روک دے۔ ایرر کوڈز کی گائیڈ ہر اسٹیٹس لسٹ کرتی ہے۔
فیل اوور سے پہلے دوبارہ کوشش کریں۔ OpenAI Python SDK پہلے ہی کنکشن ایررز، 408، 409، 429 اور 5xx جوابات پر “2 times by default, with a short exponential backoff” (ترجمہ: ڈیفالٹ طور پر 2 بار، مختصر exponential backoff کے ساتھ) دوبارہ کوشش کرتا ہے، اور اس کا ڈیفالٹ ٹائم آؤٹ 10 منٹ ہے (README، 15 نومبر 2026 کو جانچا گیا)۔ فیل اوور سے پہلے دس منٹ انتظار بہت لمبا ہے۔ ہر کلائنٹ پر timeout سیٹ کریں۔ 429 سنبھالنے والی پوسٹ جِٹر کے ساتھ بیک آف سمجھاتی ہے۔
Python میں فیل اوور کیسا دکھتا ہے؟
دو کلائنٹس، ایک ترتیب وار فہرست اور ایک چھوٹا سرکٹ بریکر۔ پرائمری ہے BroadNet پر GLM 5.3۔ بیک اپ ہے DeepInfra پر وہی اوپن ویٹ ماڈل، جس کی دستاویزات base URL https://api.deepinfra.com/v1/openai بتاتی ہیں (15 نومبر 2026 کو جانچا گیا)۔
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
چار باتیں اہم ہیں:
- ایکسپشن کلاسز۔ SDK، 429 پر
RateLimitError، 500 اور اوپر پرInternalServerError، اور کنکٹ نہ ہو پانے پرAPIConnectionError(جس کی ذیلی کلاسAPITimeoutErrorہے) اٹھاتا ہے۔ باقی سب جان بوجھ کر پکڑا نہیں جاتا۔ خرچ کی حد والے 429 کو باہر رکھنے کے لیے آگے بڑھنے سے پہلےerr.responseجانچیں۔ - سرکٹ بریکر۔ اس کے بغیر، بند پرائمری پر ہر درخواست آگے بڑھنے سے پہلے پورا ٹائم آؤٹ بھگتتی ہے۔ مسلسل تین ناکامیوں کے بعد پرائمری 30 سیکنڈ کے لیے چھوڑ دیا جاتا ہے۔ اس کے بعد اگلی درخواست اسے پھر آزماتی ہے۔
- لاگ کریں کہ جواب کس نے دیا۔ فراہم کنندہ کا نام لوٹائیں اور
reply.modelرکھیں۔ جب کوالٹی بدلے تو آپ کو معلوم ہونا چاہیے کہ جواب کس فراہم کنندہ نے دیا۔ - ریزننگ بجٹ۔ GLM 5.3 جواب سے پہلے ریزننگ کرتا ہے۔ BroadNet کی دستاویزات کہتی ہیں کہ ریزننگ
max_tokensمیں شمار ہوتی ہے، اس لیے ہر فراہم کنندہ پر 1,000 یا زیادہ رکھیں۔
فراہم کنندگان کے بیچ ماڈل IDs کیسے میپ کریں؟
ایک ہی اوپن ویٹ ماڈل کا ہر ہوسٹ پر الگ ID ہوتا ہے، اور ہر ہوسٹ کے لسٹ کردہ فیچرز مختلف ہو سکتے ہیں۔ 15 نومبر 2026 کو GLM 5.3:
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| ماڈل ID | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| کانٹیکسٹ | 1,048,576 ٹوکن | 1,048,576 ٹوکن | “1040k” ٹوکن |
| ٹولز | دستاویز شدہ | “Function” لسٹ شدہ | سپورٹڈ |
| اسٹرکچرڈ آؤٹ پٹ | دستاویز شدہ | “JSON” لسٹ شدہ | جانچا نہیں گیا |
اس سے دو اصول نکلتے ہیں۔ پہلا، میپنگ کنفیگ میں رکھیں، کوڈ میں بکھیر کر نہیں۔ دوسرا، فال بیک کو اس سے ملائیں جو آپ کی درخواستیں استعمال کرتی ہیں۔ BroadNet پر ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے دستاویز شدہ ہیں۔ ٹول کالنگ والا ایجنٹ GLM 5.3 سے کہیں اور کے GLM 5.3 پر فیل اوور کر سکتا ہے۔ وہ محفوظ طریقے سے ایسے ماڈل پر فیل اوور نہیں کر سکتا جس کے لیے ٹولز دستاویز شدہ نہیں۔ اگر بیک اپ کی کانٹیکسٹ ونڈو چھوٹی ہے تو پرامپٹ چھوٹا کریں یا لمبی درخواستوں کے لیے وہ بیک اپ چھوڑ دیں۔ 14 فراہم کنندگان کے base URLs base URL ریفرنس میں ہیں۔
سوئچ کے بعد جوابات قابلِ موازنہ کیسے رکھیں؟
دو ہوسٹس پر ایک ہی ویٹس بھی مختلف جواب دے سکتے ہیں، کیونکہ ہوسٹس مختلف پریسیژن، چیٹ ٹیمپلیٹ یا ڈیفالٹ پیرامیٹرز استعمال کر سکتے ہیں۔ مختلف ماڈل تو یقیناً مختلف جواب دے گا۔
- اپنا eval سیٹ فہرست کی ہر اندراج پر چلائیں، صرف پرائمری پر نہیں۔
- ہر درخواست پر
temperature،max_tokensاور سسٹم پرامپٹ مقرر رکھیں، تاکہ فراہم کنندہ کے ڈیفالٹس آؤٹ پٹ نہ بدل سکیں۔ - ہر راستے پر اسٹرکچرڈ آؤٹ پٹ ایک ہی طرح ویلیڈیٹ کریں۔ غلط JSON درست کرنا مرمت اور دوبارہ کوشش کا لوپ سمجھاتا ہے۔
- اسی ہوسٹ پر مختلف ماڈل کے بجائے کہیں اور وہی ماڈل ترجیح دیں۔ صارفین چند سیکنڈ کی لیٹنسی سے زیادہ انداز کی تبدیلی محسوس کرتے ہیں۔
اسٹریمنگ اور ٹول کالز کا کیا؟
اسٹریم آدھے راستے میں ناکام ہو سکتی ہے۔ BroadNet کی دستاویزات کہتی ہیں کہ جو اسٹریم data: [DONE] سے پہلے ختم ہو، اسے نامکمل سمجھیں: X-Request-ID درج کریں اور طے کریں کہ کیا آپ کی ایپلیکیشن محفوظ طریقے سے نئی درخواست بھیج سکتی ہے۔
- پہلے ٹوکن سے پہلے: بلا جھجک فیل اوور کریں۔ صارف نے کچھ نہیں دیکھا۔
- ٹوکن دکھنے کے بعد: بیک اپ پر نئے سرے سے شروع کریں اور ادھورا جواب بدل دیں، یا دوبارہ کوشش کے بٹن کے ساتھ ایرر دکھائیں۔ دو فراہم کنندگان کے آدھے آدھے جواب جوڑنا اچھا نہیں پڑھا جاتا۔
- سائیڈ ایفیکٹ والی ٹول کالز: صرف اس لیے کہ ماڈل کال ناکام ہوئی، ای میل بھیجنے، کارڈ چارج کرنے یا ڈیٹا بیس میں لکھنے والا مرحلہ کبھی دوبارہ نہ چلائیں۔ ہر ایکشن کو ایک idempotency key دیں۔ طویل چلنے والے ایجنٹس چیک پوائنٹس سمجھاتا ہے۔
SSE کے ساتھ اسٹریمنگ بتاتا ہے کہ جلدی ختم ہونے والی اسٹریم کا پتا کیسے لگائیں۔
فیل اوور کی لاگت کیا ہے؟
- دہرایا گیا کام۔ آپ کی طرف کا ٹائم آؤٹ یہ ثابت نہیں کرتا کہ فراہم کنندہ رک گیا۔ فی ٹوکن بلنگ میں ہر دوبارہ کوشش نیا انفرنس ہے، اس لیے کچھ درخواستوں کے لیے دو بار ادائیگی کی توقع رکھیں۔
- مختلف قیمتیں۔ بیک اپ اپنے ریٹس پر بل کرتا ہے۔ 15 نومبر 2026 کو DeepInfra نے GLM-5.3 کی پروموشنل قیمت لسٹ کی تھی، اس لیے بجٹ بنانے سے پہلے دوبارہ جانچیں۔ BroadNet فی 1M ٹوکن $0.78 ان پٹ، $0.173 کیش شدہ ان پٹ اور $3.46 آؤٹ پٹ لیتا ہے۔
- ٹھنڈا کیش۔ کیش شدہ ان پٹ فراہم کنندگان کے بیچ منتقل نہیں ہوتا۔ بیک اپ پر پہلی درخواستیں اس پری فکس پر پوری ان پٹ قیمت دیتی ہیں جو پرائمری پر کیش شدہ تھا۔ دیکھیں کیش شدہ ان پٹ ٹوکن۔
- ہیجنگ۔ ہر درخواست ایک ساتھ دو فراہم کنندگان کو بھیج کر پہلا جواب رکھنے سے ٹیل لیٹنسی کم ہوتی ہے، لیکن بل تقریباً دگنا ہو جاتا ہے۔ اسے صرف وہیں استعمال کریں جہاں لیٹنسی اتنی قیمتی ہو۔
کیا فال بیک بھی وہی ڈیٹا شرائط پوری کرتا ہے؟
فال بیک فراہم کنندہ ایک اور پروسیسر ہے جسے وہی پرامپٹس ملتے ہیں۔ اگر آپ نے صارفین سے ان کے ڈیٹا کے بارے میں کوئی وعدہ کیا ہے تو وہ وعدہ فہرست کی ہر اندراج پر قائم رہنا چاہیے۔
BroadNet کا پرائیویسی بیان کہتا ہے: “We do not retain prompts, audio, images, answers or transcripts” (ترجمہ: ہم پرامپٹس، آڈیو، تصاویر، جوابات یا ٹرانسکرپٹس محفوظ نہیں رکھتے)۔ انفرنس کا مواد محفوظ نہیں رکھا جاتا؛ ضروری اکاؤنٹ، بلنگ اور سیکیورٹی میٹا ڈیٹا اس بیان میں بتائے گئے طریقے سے رکھا جاتا ہے۔ اس میں یہ بھی لکھا ہے کہ انفرنس ڈیٹا ماڈلز کی ٹریننگ، فائن ٹیوننگ یا جانچ میں استعمال نہیں ہوتا۔ بیان کے مطابق ہوسٹ کیے گئے ماڈلز “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (ترجمہ: امریکہ میں BroadNet کی ملکیت یا لیز پر لیے گئے ہارڈویئر پر چلتے ہیں، بیک اپ کے طور پر پارٹنر گنجائش کے ساتھ)؛ DeepSeek V4.1 Flash پارٹنر کے ہاں ہوسٹ ہے۔ ریزیڈنسی کی شرائط والے ڈیٹا کے لیے، شرائط (سیکشن 7.3a) کہتی ہیں کہ بھیجنے سے پہلے پروسیسنگ کے مقامات طے کر لیں۔ بیک اپ کے لیے بھی یہی نکات جانچیں: ریٹینشن، ٹریننگ میں استعمال، مقام اور ذیلی پروسیسرز۔ اگر وہ کم پڑتا ہے تو حساس درخواستوں کو فال بیک راستے سے دور رکھیں اور انہیں محفوظ طریقے سے ناکام ہونے دیں (fail closed)۔ زیرو ڈیٹا ریٹینشن چیک لسٹ سوالات لسٹ کرتی ہے۔
کیا اس کے بجائے LiteLLM جیسا گیٹ وے استعمال کریں؟
اگر کئی سروسز کو ایک جیسے فال بیک اصول چاہییں تو گیٹ وے استعمال کریں۔ LiteLLM کا پراکسی ایک fallbacks فہرست لیتا ہے جو ترتیب سے آزمائی جاتی ہے۔ num_retries فال بیک سے پہلے ماڈل گروپ پر دوبارہ کوشش کرتا ہے۔ allowed_fails اور cooldown_time ناکام ہوتی ڈیپلائمنٹ کو کچھ دیر کے لیے نکال دیتے ہیں، جو سرکٹ بریکر کا کام کرتا ہے۔ الگ context_window_fallbacks اور content_policy_fallbacks ان ایرر اقسام کو سنبھالتے ہیں (LiteLLM کی دستاویزات، 15 نومبر 2026 کو جانچا گیا):
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
LiteLLM پراکسی گائیڈ BroadNet کا اندراج مکمل دکھاتی ہے۔ دونوں اندراجات LiteLLM کا عمومی openai/ پری فکس api_base کے ساتھ استعمال کرتے ہیں، وہی پیٹرن جو گائیڈ میں ہے۔ گیٹ وے ایک ہاپ اور چلائے رکھنے کے لیے ایک اور چیز شامل کرتا ہے۔ اکیلی ایپ کے لیے، اوپر کی طرح آپ کے کلائنٹ میں تقریباً 40 لائنیں کافی ہیں۔
ضرورت پڑنے سے پہلے فیل اوور کیسے ٹیسٹ کریں؟
- ٹیسٹ کنفیگ میں پرائمری کو ایسے ہوسٹ پر پوائنٹ کریں جہاں رسائی نہ ہو، اور جانچیں کہ درخواستیں بیک اپ پر پہنچتی ہیں۔
- جان بوجھ کر غلط درخواست بھیجیں اور جانچیں کہ وہ فیل اوور نہیں کرتی۔
- پرائمری کی غلط کلید استعمال کریں اور جانچیں کہ 401 ایرر کے طور پر سامنے آتا ہے، خاموشی سے سوئچ نہیں ہوتا۔
- بریکر پر نظر رکھیں: تین ناکامیوں کے بعد پرائمری کو ٹائم آؤٹ کا انتظار کیے بغیر چھوڑ دیا جانا چاہیے۔
- جب بیک اپ ٹریفک کے چھوٹے حصے سے زیادہ سنبھالنے لگے تو الرٹ کریں۔ خاموش فیل اوور خراب پرائمری کو دنوں تک چھپا سکتا ہے۔
LiteLLM کا Router براہِ راست ٹیسٹوں میں فال بیک زبردستی چلانے کے لیے mock_testing_fallbacks=True قبول کرتا ہے۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadRouter، BroadNet کی ویب سائٹ ہے، اور BroadNet Inference آپ کی فہرست کا کوئی بھی اندراج ہو سکتا ہے۔ پرائمری کے طور پر، یہ دستاویز شدہ ٹولز اور اسٹرکچرڈ آؤٹ پٹ والے GLM 5.3 اور Qwen3.8 27B، ساتھ میں Gemma 4 VL 26B اور DeepSeek V4.1 Flash دیتا ہے، ایک base URL پر، بغیر کوئی مواد محفوظ رکھے۔ بیک اپ کے طور پر، یہ فہرست میں شامل کرنے کے لیے ایک اور OpenAI سے مطابقت رکھنے والا اینڈپوائنٹ ہے۔ دونوں صورتوں میں فیل اوور کی منطق آپ کی ہے: BroadNet فراہم کنندگان کے بیچ روٹنگ نہیں کرتا، اور سیلف سروس پر کوئی SLA نہیں۔ اگر آپ کو معاہدے پر مبنی سروس لیولز چاہییں تو وہ صرف الگ تحریری معاہدے کے ساتھ ملتے ہیں۔ ماڈلز کا موازنہ کریں، یا اکاؤنٹ بنائیں اور Gemma 4 VL 26B پر $5 کے ابتدائی کریڈٹ سے اپنی چین ٹیسٹ کریں۔ GLM 5.3 اور Qwen3.8 27B کے لیے ٹاپ اپ چاہیے۔
