---
title: "LLM API فیل اوور: بیک اپ فراہم کنندہ، Python میں | BroadRouter"
description: "OpenAI سے مطابقت رکھنے والے LLM فراہم کنندگان کے بیچ فیل اوور کیسے کریں: کن ایررز پر سوئچ کریں، سرکٹ بریکر، ماڈل ID میپنگ، اسٹریمنگ، لاگت اور پرائیویسی کی برابری۔"
url: https://broadrouter.com/ur/blog/llm-api-failover-fallback/
lang: ur
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/blog/llm-api-failover-fallback/) (اپ ڈیٹ: 2026-11-16).

# LLM API فیل اوور: اپنے کوڈ میں دوسرے فراہم کنندہ پر فال بیک

BroadNet Inference ٹیم · 8 منٹ کی پڑھائی · شائع شدہ 2026-11-15 · اپ ڈیٹ 2026-11-16

OpenAI-compatible فراہم کنندگان کی ترتیب وار فہرست رکھیں، ہر ایک کا اپنا کلائنٹ اور ماڈل ID۔ SDK کی اپنی دوبارہ کوششیں ختم ہونے کے بعد کنکشن ایررز، ٹائم آؤٹس، 5xx اور ریٹ لمٹ والے 429 پر فیل اوور کریں۔ 400، 401، 402، 403، 413 یا 422 پر کبھی فیل اوور نہ کریں۔ ایک سرکٹ بریکر شامل کریں، اور جانچیں کہ بیک اپ فیچرز اور ڈیٹا شرائط میں پرائمری سے میل کھاتا ہے۔

## اہم نکات

-   محدود دوبارہ کوششوں کے بعد کنکشن ایررز، ٹائم آؤٹس، 5xx اور ریٹ لمٹ والے 429 پر فیل اوور کریں۔ 400، 401، 402، 403، 413 یا 422 اگلے فراہم کنندہ پر بھی اسی طرح ناکام ہو گا۔
-   ہر فراہم کنندہ پر ماڈل ID مختلف ہے: GLM 5.3، BroadNet پر \`broadnet/glm-5.3\`، DeepInfra پر \`zai-org/GLM-5.3\` اور Fireworks پر \`accounts/fireworks/models/glm-5p3\` ہے۔
-   سرکٹ بریکر یہ روکتا ہے کہ پرائمری بند ہونے پر ہر درخواست پر آپ کو ٹائم آؤٹ بھگتنا پڑے۔
-   اسٹریم کا فیل اوور صرف پہلے ٹوکن سے پہلے کریں، اور کچھ بدلنے والی ٹول کال کبھی دوبارہ نہ چلائیں۔
-   BroadNet اور BroadRouter آپ کے لیے روٹنگ یا فیل اوور نہیں کرتے۔ BroadNet سیلف سروس پر دستیابی کی کوئی ذمہ داری نہیں، اس لیے پروڈکشن ایپس میں فال بیک رکھیں۔

**اس صفحے پر**

1.  فال بیک فراہم کنندہ رکھنا ہی کیوں چاہیے؟
2.  کن ایررز پر فیل اوور ہونا چاہیے؟
3.  Python میں فیل اوور کیسا دکھتا ہے؟
4.  فراہم کنندگان کے بیچ ماڈل IDs کیسے میپ کریں؟
5.  سوئچ کے بعد جوابات قابلِ موازنہ کیسے رکھیں؟
6.  اسٹریمنگ اور ٹول کالز کا کیا؟
7.  فیل اوور کی لاگت کیا ہے؟
8.  کیا فال بیک بھی وہی ڈیٹا شرائط پوری کرتا ہے؟
9.  کیا اس کے بجائے LiteLLM جیسا گیٹ وے استعمال کریں؟
10.  ضرورت پڑنے سے پہلے فیل اوور کیسے ٹیسٹ کریں؟
11.  BroadNet Inference کہاں فٹ ہوتا ہے

ہر LLM API کے برے منٹ آتے ہیں: ایک 503، ایک ٹائم آؤٹ، 429 کی بوچھاڑ۔ فال بیک کا مطلب ہے کہ وہ منٹ آپ کی ایپ میں آؤٹیج نہ بنیں۔ یہ پوسٹ دکھاتی ہے کہ اپنے کوڈ میں [OpenAI سے مطابقت رکھنے والے](https://broadrouter.com/ur/glossary/openai-compatible-api/) فراہم کنندگان کے بیچ فیل اوور کیسے کریں۔ اس میں ہے کہ کن ایررز پر یہ چلنا چاہیے، سرکٹ بریکر اسے تیز کیسے رکھتا ہے، اور فراہم کنندگان کے بیچ کیا میل کھانا ضروری ہے تاکہ صارفین کو سوئچ کا پتا نہ چلے۔

پہلے ایک بات: **BroadNet Inference آپ کے لیے فراہم کنندگان کے بیچ روٹنگ یا فیل اوور نہیں کرتا**، اور BroadRouter بھی نہیں۔ BroadRouter، BroadNet کی اپنی ویب سائٹ ہے، راؤٹر نہیں۔ فال بیک آپ خود بناتے ہیں، یا تو نیچے دکھائے گئے طریقے سے اپنے کلائنٹ میں، یا LiteLLM جیسے گیٹ وے میں۔

## فال بیک فراہم کنندہ رکھنا ہی کیوں چاہیے؟

کیونکہ زیادہ تر سیلف سروس API اپ ٹائم کا کوئی وعدہ نہیں کرتے۔ BroadNet کی [شرائط](https://www.broadnet.ai/terms) سیکشن 7.4 میں صاف کہتی ہیں: “self-serve has no availability commitment” (ترجمہ: سیلف سروس پر دستیابی کی کوئی ذمہ داری نہیں)، اور سروس لیولز صرف الگ تحریری معاہدے میں ہوتے ہیں (15 نومبر 2026 کو جانچا گیا)۔ دوسرے فراہم کنندگان کیا وعدہ کرتے ہیں، یہ [LLM API SLA موازنہ](https://broadrouter.com/ur/blog/llm-api-sla-uptime-compared/) میں ہے۔ اگر آپ کا فیچر ہر حال میں چلنا چاہیے تو SLA جو بھی کہے، دوسرا فراہم کنندہ عملی بیمہ ہے۔

دوسری وجہ [ریٹ لمٹس](https://broadrouter.com/ur/glossary/rate-limit/) ہیں۔ BroadNet کی استعمال کے مطابق ادائیگی والی کلید پر 30 درخواستیں فی منٹ اور بیک وقت 4 جاری درخواستوں کی اجازت ہے۔ اس سے اوپر کا ٹریفک اسپائک 429 لوٹاتا ہے، اور جب تک آپ گنجائش بڑھاتے ہیں، دوسرا فراہم کنندہ اضافی بوجھ سنبھال سکتا ہے۔

## کن ایررز پر فیل اوور ہونا چاہیے؟

ایررز کو دو گروپوں میں بانٹیں۔ کچھ فراہم کنندہ کی غلطی ہیں اور کہیں اور کامیاب ہو سکتے ہیں۔ باقی آپ کی غلطی ہیں اور ہر جگہ ناکام ہوں گے۔

| ایرر | فیل اوور؟ | کیوں |
| --- | --- | --- |
| کنکشن ایرر، ٹائم آؤٹ | ہاں، دوبارہ کوششوں کے بعد | فراہم کنندہ یا نیٹ ورک تک رسائی نہیں |
| 500، 502، 503، 504 | ہاں، دوبارہ کوششوں کے بعد | BroadNet کی دستاویزات پہلے “retry with bounded exponential backoff” (ترجمہ: محدود exponential backoff کے ساتھ دوبارہ کوشش کریں) کہتی ہیں |
| 429، ریٹ یا بیک وقت درخواستوں کی حد | ہاں، بیک آف کے بعد | اس فراہم کنندہ کی گنجائش کا مسئلہ، غلط درخواست نہیں |
| 429، خرچ کی حد | نہیں | فیل اوور اس بجٹ کو بائی پاس کرتا ہے جو آپ نے جان بوجھ کر رکھا |
| 400، 422 | نہیں | درخواست غلط ہے اور اگلے فراہم کنندہ پر بھی ناکام ہو گی |
| 401، 402 | نہیں | کلید، الاؤنس یا بیلنس۔ BroadNet پر 401 ختم شدہ استعمال کے مطابق ادائیگی والے الاؤنس کو بھی کور کرتا ہے، اس لیے فیل اوور بلنگ کا مسئلہ چھپا دیتا ہے |
| 403، 413 | نہیں | پالیسی یا سائز؛ درخواست درست کریں |

BroadNet کا [API ریفرنس](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-llm-api-failover-fallback&utm_content=body) کہتا ہے کہ 429 کا مطلب ہے “a rate, concurrency, token-rate or spending limit was reached” (ترجمہ: ریٹ، بیک وقت درخواستوں، ٹوکن ریٹ یا خرچ کی کوئی حد پوری ہو گئی) اور “use response details and bounded backoff” (ترجمہ: جواب کی تفصیلات اور محدود بیک آف استعمال کریں)۔ فیل اوور سے پہلے وہ تفصیلات پڑھیں، تاکہ خرچ کی حد والا 429 درخواست کو آگے منتقل کرنے کے بجائے روک دے۔ [ایرر کوڈز کی گائیڈ](https://broadrouter.com/ur/guides/errors-and-retries/) ہر اسٹیٹس لسٹ کرتی ہے۔

فیل اوور سے پہلے دوبارہ کوشش کریں۔ OpenAI Python SDK پہلے ہی کنکشن ایررز، 408، 409، 429 اور 5xx جوابات پر “2 times by default, with a short exponential backoff” (ترجمہ: ڈیفالٹ طور پر 2 بار، مختصر exponential backoff کے ساتھ) دوبارہ کوشش کرتا ہے، اور اس کا ڈیفالٹ ٹائم آؤٹ 10 منٹ ہے ([README](https://github.com/openai/openai-python)، 15 نومبر 2026 کو جانچا گیا)۔ فیل اوور سے پہلے دس منٹ انتظار بہت لمبا ہے۔ ہر کلائنٹ پر `timeout` سیٹ کریں۔ [429 سنبھالنے والی پوسٹ](https://broadrouter.com/ur/blog/handle-llm-api-429-rate-limits/) جِٹر کے ساتھ بیک آف سمجھاتی ہے۔

## Python میں فیل اوور کیسا دکھتا ہے؟

دو کلائنٹس، ایک ترتیب وار فہرست اور ایک چھوٹا سرکٹ بریکر۔ پرائمری ہے BroadNet پر GLM 5.3۔ بیک اپ ہے DeepInfra پر وہی اوپن ویٹ ماڈل، جس کی دستاویزات base URL `https://api.deepinfra.com/v1/openai` بتاتی ہیں (15 نومبر 2026 کو جانچا گیا)۔

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

چار باتیں اہم ہیں:

1.  **ایکسپشن کلاسز۔** SDK، 429 پر `RateLimitError`، 500 اور اوپر پر `InternalServerError`، اور کنکٹ نہ ہو پانے پر `APIConnectionError` (جس کی ذیلی کلاس `APITimeoutError` ہے) اٹھاتا ہے۔ باقی سب جان بوجھ کر پکڑا نہیں جاتا۔ خرچ کی حد والے 429 کو باہر رکھنے کے لیے آگے بڑھنے سے پہلے `err.response` جانچیں۔
2.  **سرکٹ بریکر۔** اس کے بغیر، بند پرائمری پر ہر درخواست آگے بڑھنے سے پہلے پورا ٹائم آؤٹ بھگتتی ہے۔ مسلسل تین ناکامیوں کے بعد پرائمری 30 سیکنڈ کے لیے چھوڑ دیا جاتا ہے۔ اس کے بعد اگلی درخواست اسے پھر آزماتی ہے۔
3.  **لاگ کریں کہ جواب کس نے دیا۔** فراہم کنندہ کا نام لوٹائیں اور `reply.model` رکھیں۔ جب کوالٹی بدلے تو آپ کو معلوم ہونا چاہیے کہ جواب کس فراہم کنندہ نے دیا۔
4.  **ریزننگ بجٹ۔** GLM 5.3 جواب سے پہلے ریزننگ کرتا ہے۔ BroadNet کی دستاویزات کہتی ہیں کہ ریزننگ `max_tokens` میں شمار ہوتی ہے، اس لیے ہر فراہم کنندہ پر 1,000 یا زیادہ رکھیں۔

## فراہم کنندگان کے بیچ ماڈل IDs کیسے میپ کریں؟

ایک ہی اوپن ویٹ ماڈل کا ہر ہوسٹ پر الگ ID ہوتا ہے، اور ہر ہوسٹ کے لسٹ کردہ فیچرز مختلف ہو سکتے ہیں۔ 15 نومبر 2026 کو GLM 5.3:

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| ماڈل ID | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| کانٹیکسٹ | 1,048,576 ٹوکن | 1,048,576 ٹوکن | “1040k” ٹوکن |
| ٹولز | دستاویز شدہ | “Function” لسٹ شدہ | سپورٹڈ |
| اسٹرکچرڈ آؤٹ پٹ | دستاویز شدہ | “JSON” لسٹ شدہ | جانچا نہیں گیا |

اس سے دو اصول نکلتے ہیں۔ پہلا، میپنگ کنفیگ میں رکھیں، کوڈ میں بکھیر کر نہیں۔ دوسرا، فال بیک کو اس سے ملائیں جو آپ کی درخواستیں استعمال کرتی ہیں۔ BroadNet پر ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے دستاویز شدہ ہیں۔ ٹول کالنگ والا ایجنٹ GLM 5.3 سے کہیں اور کے GLM 5.3 پر فیل اوور کر سکتا ہے۔ وہ محفوظ طریقے سے ایسے ماڈل پر فیل اوور نہیں کر سکتا جس کے لیے ٹولز دستاویز شدہ نہیں۔ اگر بیک اپ کی کانٹیکسٹ ونڈو چھوٹی ہے تو پرامپٹ چھوٹا کریں یا لمبی درخواستوں کے لیے وہ بیک اپ چھوڑ دیں۔ 14 فراہم کنندگان کے base URLs [base URL ریفرنس](https://broadrouter.com/ur/blog/openai-compatible-api-base-urls/) میں ہیں۔

## سوئچ کے بعد جوابات قابلِ موازنہ کیسے رکھیں؟

دو ہوسٹس پر ایک ہی ویٹس بھی مختلف جواب دے سکتے ہیں، کیونکہ ہوسٹس مختلف پریسیژن، چیٹ ٹیمپلیٹ یا ڈیفالٹ پیرامیٹرز استعمال کر سکتے ہیں۔ مختلف ماڈل تو یقیناً مختلف جواب دے گا۔

-   اپنا [eval سیٹ](https://broadrouter.com/ur/blog/evaluate-llm-before-switching/) فہرست کی ہر اندراج پر چلائیں، صرف پرائمری پر نہیں۔
-   ہر درخواست پر `temperature`، `max_tokens` اور سسٹم پرامپٹ مقرر رکھیں، تاکہ فراہم کنندہ کے ڈیفالٹس آؤٹ پٹ نہ بدل سکیں۔
-   ہر راستے پر اسٹرکچرڈ آؤٹ پٹ ایک ہی طرح ویلیڈیٹ کریں۔ [غلط JSON درست کرنا](https://broadrouter.com/ur/blog/fix-invalid-json-from-llm/) مرمت اور دوبارہ کوشش کا لوپ سمجھاتا ہے۔
-   اسی ہوسٹ پر مختلف ماڈل کے بجائے کہیں اور وہی ماڈل ترجیح دیں۔ صارفین چند سیکنڈ کی لیٹنسی سے زیادہ انداز کی تبدیلی محسوس کرتے ہیں۔

## اسٹریمنگ اور ٹول کالز کا کیا؟

اسٹریم آدھے راستے میں ناکام ہو سکتی ہے۔ BroadNet کی دستاویزات کہتی ہیں کہ جو اسٹریم `data: [DONE]` سے پہلے ختم ہو، اسے نامکمل سمجھیں: `X-Request-ID` درج کریں اور طے کریں کہ کیا آپ کی ایپلیکیشن محفوظ طریقے سے نئی درخواست بھیج سکتی ہے۔

-   **پہلے ٹوکن سے پہلے:** بلا جھجک فیل اوور کریں۔ صارف نے کچھ نہیں دیکھا۔
-   **ٹوکن دکھنے کے بعد:** بیک اپ پر نئے سرے سے شروع کریں اور ادھورا جواب بدل دیں، یا دوبارہ کوشش کے بٹن کے ساتھ ایرر دکھائیں۔ دو فراہم کنندگان کے آدھے آدھے جواب جوڑنا اچھا نہیں پڑھا جاتا۔
-   **سائیڈ ایفیکٹ والی ٹول کالز:** صرف اس لیے کہ ماڈل کال ناکام ہوئی، ای میل بھیجنے، کارڈ چارج کرنے یا ڈیٹا بیس میں لکھنے والا مرحلہ کبھی دوبارہ نہ چلائیں۔ ہر ایکشن کو ایک [idempotency key](https://broadrouter.com/ur/glossary/idempotency-key/) دیں۔ [طویل چلنے والے ایجنٹس](https://broadrouter.com/ur/blog/long-running-agents-timeouts-retries/) چیک پوائنٹس سمجھاتا ہے۔

[SSE کے ساتھ اسٹریمنگ](https://broadrouter.com/ur/blog/llm-streaming-sse-explained/) بتاتا ہے کہ جلدی ختم ہونے والی اسٹریم کا پتا کیسے لگائیں۔

## فیل اوور کی لاگت کیا ہے؟

-   **دہرایا گیا کام۔** آپ کی طرف کا ٹائم آؤٹ یہ ثابت نہیں کرتا کہ فراہم کنندہ رک گیا۔ فی ٹوکن بلنگ میں ہر دوبارہ کوشش نیا انفرنس ہے، اس لیے کچھ درخواستوں کے لیے دو بار ادائیگی کی توقع رکھیں۔
-   **مختلف قیمتیں۔** بیک اپ اپنے ریٹس پر بل کرتا ہے۔ 15 نومبر 2026 کو DeepInfra نے GLM-5.3 کی پروموشنل قیمت لسٹ کی تھی، اس لیے بجٹ بنانے سے پہلے دوبارہ جانچیں۔ BroadNet فی 1M ٹوکن $0.78 ان پٹ، $0.173 کیش شدہ ان پٹ اور $3.46 آؤٹ پٹ لیتا ہے۔
-   **ٹھنڈا کیش۔** کیش شدہ ان پٹ فراہم کنندگان کے بیچ منتقل نہیں ہوتا۔ بیک اپ پر پہلی درخواستیں اس پری فکس پر پوری ان پٹ قیمت دیتی ہیں جو پرائمری پر کیش شدہ تھا۔ دیکھیں [کیش شدہ ان پٹ ٹوکن](https://broadrouter.com/ur/blog/cached-input-tokens-explained/)۔
-   **ہیجنگ۔** ہر درخواست ایک ساتھ دو فراہم کنندگان کو بھیج کر پہلا جواب رکھنے سے ٹیل لیٹنسی کم ہوتی ہے، لیکن بل تقریباً دگنا ہو جاتا ہے۔ اسے صرف وہیں استعمال کریں جہاں لیٹنسی اتنی قیمتی ہو۔

## کیا فال بیک بھی وہی ڈیٹا شرائط پوری کرتا ہے؟

فال بیک فراہم کنندہ ایک اور پروسیسر ہے جسے وہی پرامپٹس ملتے ہیں۔ اگر آپ نے صارفین سے ان کے ڈیٹا کے بارے میں کوئی وعدہ کیا ہے تو وہ وعدہ فہرست کی ہر اندراج پر قائم رہنا چاہیے۔

BroadNet کا [پرائیویسی بیان](https://www.broadnet.ai/inference-privacy) کہتا ہے: “We do not retain prompts, audio, images, answers or transcripts” (ترجمہ: ہم پرامپٹس، آڈیو، تصاویر، جوابات یا ٹرانسکرپٹس محفوظ نہیں رکھتے)۔ انفرنس کا مواد محفوظ نہیں رکھا جاتا؛ ضروری اکاؤنٹ، بلنگ اور سیکیورٹی میٹا ڈیٹا اس بیان میں بتائے گئے طریقے سے رکھا جاتا ہے۔ اس میں یہ بھی لکھا ہے کہ انفرنس ڈیٹا ماڈلز کی ٹریننگ، فائن ٹیوننگ یا جانچ میں استعمال نہیں ہوتا۔ بیان کے مطابق ہوسٹ کیے گئے ماڈلز “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (ترجمہ: امریکہ میں BroadNet کی ملکیت یا لیز پر لیے گئے ہارڈویئر پر چلتے ہیں، بیک اپ کے طور پر پارٹنر گنجائش کے ساتھ)؛ DeepSeek V4.1 Flash پارٹنر کے ہاں ہوسٹ ہے۔ ریزیڈنسی کی شرائط والے ڈیٹا کے لیے، شرائط (سیکشن 7.3a) کہتی ہیں کہ بھیجنے سے پہلے پروسیسنگ کے مقامات طے کر لیں۔ بیک اپ کے لیے بھی یہی نکات جانچیں: ریٹینشن، ٹریننگ میں استعمال، مقام اور ذیلی پروسیسرز۔ اگر وہ کم پڑتا ہے تو حساس درخواستوں کو فال بیک راستے سے دور رکھیں اور انہیں محفوظ طریقے سے ناکام ہونے دیں (fail closed)۔ [زیرو ڈیٹا ریٹینشن چیک لسٹ](https://broadrouter.com/ur/blog/zero-data-retention-llm-api-checklist/) سوالات لسٹ کرتی ہے۔

## کیا اس کے بجائے LiteLLM جیسا گیٹ وے استعمال کریں؟

اگر کئی سروسز کو ایک جیسے فال بیک اصول چاہییں تو گیٹ وے استعمال کریں۔ LiteLLM کا پراکسی ایک `fallbacks` فہرست لیتا ہے جو ترتیب سے آزمائی جاتی ہے۔ `num_retries` فال بیک سے پہلے ماڈل گروپ پر دوبارہ کوشش کرتا ہے۔ `allowed_fails` اور `cooldown_time` ناکام ہوتی ڈیپلائمنٹ کو کچھ دیر کے لیے نکال دیتے ہیں، جو سرکٹ بریکر کا کام کرتا ہے۔ الگ `context_window_fallbacks` اور `content_policy_fallbacks` ان ایرر اقسام کو سنبھالتے ہیں ([LiteLLM کی دستاویزات](https://docs.litellm.ai/docs/proxy/reliability)، 15 نومبر 2026 کو جانچا گیا):

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

[LiteLLM پراکسی گائیڈ](https://broadrouter.com/ur/guides/litellm-proxy-custom-provider/) BroadNet کا اندراج مکمل دکھاتی ہے۔ دونوں اندراجات LiteLLM کا عمومی `openai/` پری فکس `api_base` کے ساتھ استعمال کرتے ہیں، وہی پیٹرن جو گائیڈ میں ہے۔ گیٹ وے ایک ہاپ اور چلائے رکھنے کے لیے ایک اور چیز شامل کرتا ہے۔ اکیلی ایپ کے لیے، اوپر کی طرح آپ کے کلائنٹ میں تقریباً 40 لائنیں کافی ہیں۔

## ضرورت پڑنے سے پہلے فیل اوور کیسے ٹیسٹ کریں؟

1.  ٹیسٹ کنفیگ میں پرائمری کو ایسے ہوسٹ پر پوائنٹ کریں جہاں رسائی نہ ہو، اور جانچیں کہ درخواستیں بیک اپ پر پہنچتی ہیں۔
2.  جان بوجھ کر غلط درخواست بھیجیں اور جانچیں کہ وہ فیل اوور **نہیں** کرتی۔
3.  پرائمری کی غلط کلید استعمال کریں اور جانچیں کہ 401 ایرر کے طور پر سامنے آتا ہے، خاموشی سے سوئچ نہیں ہوتا۔
4.  بریکر پر نظر رکھیں: تین ناکامیوں کے بعد پرائمری کو ٹائم آؤٹ کا انتظار کیے بغیر چھوڑ دیا جانا چاہیے۔
5.  جب بیک اپ ٹریفک کے چھوٹے حصے سے زیادہ سنبھالنے لگے تو الرٹ کریں۔ خاموش فیل اوور خراب پرائمری کو دنوں تک چھپا سکتا ہے۔

LiteLLM کا `Router` براہِ راست ٹیسٹوں میں فال بیک زبردستی چلانے کے لیے `mock_testing_fallbacks=True` قبول کرتا ہے۔

## BroadNet Inference کہاں فٹ ہوتا ہے

BroadRouter، BroadNet کی ویب سائٹ ہے، اور BroadNet Inference آپ کی فہرست کا کوئی بھی اندراج ہو سکتا ہے۔ پرائمری کے طور پر، یہ دستاویز شدہ ٹولز اور اسٹرکچرڈ آؤٹ پٹ والے GLM 5.3 اور Qwen3.8 27B، ساتھ میں Gemma 4 VL 26B اور DeepSeek V4.1 Flash دیتا ہے، ایک [base URL](https://broadrouter.com/ur/glossary/base-url/) پر، بغیر کوئی مواد محفوظ رکھے۔ بیک اپ کے طور پر، یہ فہرست میں شامل کرنے کے لیے ایک اور OpenAI سے مطابقت رکھنے والا اینڈپوائنٹ ہے۔ دونوں صورتوں میں فیل اوور کی منطق آپ کی ہے: BroadNet فراہم کنندگان کے بیچ روٹنگ نہیں کرتا، اور سیلف سروس پر کوئی SLA نہیں۔ اگر آپ کو معاہدے پر مبنی سروس لیولز چاہییں تو وہ صرف الگ تحریری معاہدے کے ساتھ ملتے ہیں۔ [ماڈلز](https://broadrouter.com/ur/models/) کا موازنہ کریں، یا [اکاؤنٹ بنائیں](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-llm-api-failover-fallback&utm_content=body) اور Gemma 4 VL 26B پر $5 کے ابتدائی کریڈٹ سے اپنی چین ٹیسٹ کریں۔ GLM 5.3 اور Qwen3.8 27B کے لیے ٹاپ اپ چاہیے۔

اس موضوع کے مفت ٹولز (انگریزی میں)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[مفت ٹولز (انگریزی میں)](https://broadrouter.com/tools/)

## اس مضمون کی اصطلاحات

[ٹوکن (token)](https://broadrouter.com/ur/glossary/token/)

ٹوکن متن کی وہ اکائی ہے جسے لینگویج ماڈل پڑھتا اور لکھتا ہے: کوئی لفظ، لفظ کا حصہ، رموزِ اوقاف کی کوئی علامت یا بائٹس کا سلسلہ، جو ماڈل کا ٹوکنائزر بناتا ہے۔ LLM API استعمال کو ٹوکنز میں گنتے ہیں، انہی میں حدیں لگاتے ہیں اور عموماً بل بھی بناتے ہیں۔

[ایکسپونینشل بیک آف (exponential backoff)](https://broadrouter.com/ur/glossary/exponential-backoff/)

ایکسپونینشل بیک آف دوبارہ کوشش کی ایک حکمتِ عملی ہے جس میں کلائنٹ ہر ناکام کوشش کے بعد، دوبارہ کوشش سے پہلے، زیادہ دیر انتظار کرتا ہے، عموماً تاخیر کو ایک حد تک دگنا کرتے ہوئے۔ ہر انتظار میں رینڈم jitter شامل کرنے سے کئی کلائنٹس کی دوبارہ کوششیں بکھر جاتی ہیں تاکہ وہ بیک وقت سرور تک نہ پہنچیں۔

[base URL](https://broadrouter.com/ur/glossary/base-url/)

base URL کسی API کا مقررہ بنیادی پتہ ہے، جیسے https://api.example.com/v1، جسے کلائنٹ /chat/completions جیسے ہر اینڈپوائنٹ پاتھ کے آگے لگاتا ہے۔ OpenAI-compatible SDK میں base URL کو API کلید اور ماڈل ID کے ساتھ بدلنے سے وہی کوڈ کسی دوسرے فراہم کنندہ سے جڑ جاتا ہے۔

[ریکوئسٹ ٹائم آؤٹ (request timeout)](https://broadrouter.com/ur/glossary/request-timeout/)

ریکوئسٹ ٹائم آؤٹ وہ زیادہ سے زیادہ وقت ہے جتنا کوئی HTTP کلائنٹ سرور کا انتظار کرتا ہے، پھر درخواست چھوڑ دیتا ہے۔ کلائنٹ عموماً اسے کنکشن کھولنے کے connect ٹائم آؤٹ اور ڈیٹا کے انتظار والے read ٹائم آؤٹ میں بانٹتے ہیں۔ LLM کالز کو کھلے read ٹائم آؤٹ چاہییں، کیونکہ لمبے جوابات میں وقت لگتا ہے۔

[اخراجات کی حد (spend limit)](https://broadrouter.com/ur/glossary/spend-limit/)

اخراجات کی حد وہ سقف ہے کہ کوئی API اکاؤنٹ، پروجیکٹ یا کلید ایک مدت میں، عموماً ایک مہینے میں، کتنا خرچ کر سکتی ہے۔ استعمال وہاں پہنچنے پر فراہم کنندہ مزید درخواستیں رد کر دیتا ہے، اکثر HTTP 429 یا 400 ایرر کے ساتھ، جب تک مدت ری سیٹ نہ ہو یا حد بڑھائی نہ جائے۔

[استعمال کے مطابق ادائیگی (pay-as-you-go)](https://broadrouter.com/ur/glossary/pay-as-you-go/)

استعمال کے مطابق ادائیگی (pay-as-you-go) قیمت طے کرنے کا ایک ماڈل ہے جس میں آپ صرف اتنا دیتے ہیں جتنا استعمال کرتے ہیں، ٹوکن، درخواستوں یا آڈیو منٹ جیسی اکائیوں میں ناپ کر، بغیر سبسکرپشن یا کم از کم وابستگی کے۔ زیادہ تر LLM API اسی طرح بل بناتے ہیں، پری پیڈ بیلنس یا وقتاً فوقتاً بننے والی انوائس سے۔

[اسٹرکچرڈ آؤٹ پٹ (structured output)](https://broadrouter.com/ur/glossary/structured-output/)

اسٹرکچرڈ آؤٹ پٹ LLM API کا ایک فیچر ہے جو ماڈل کے جواب کو ڈویلپر کے طے کردہ فارمیٹ، عموماً JSON Schema، تک محدود کرتا ہے، تاکہ کوڈ اسے قابلِ اعتماد طریقے سے پارس کر سکے۔ یہ JSON mode سے زیادہ سخت ہے، جو درست JSON کی ضمانت دیتا ہے، لیکن کسی خاص ساخت کی نہیں۔

[کنکرنسی (concurrency)](https://broadrouter.com/ur/glossary/concurrency/)

کنکرنسی، کسی کلائنٹ کی بیک وقت چل رہی (in-flight) درخواستوں کی تعداد ہے۔ LLM APIs اکثر اس کی حد ہر کلید یا پلان پر، فی منٹ درخواستوں سے الگ رکھتے ہیں، کیونکہ ہر کھلی درخواست جواب مکمل ہونے تک GPU کی گنجائش گھیرے رکھتی ہے۔

## عام سوالات

### کن ایررز پر LLM API فال بیک چلنا چاہیے؟

SDK کی اپنی دوبارہ کوششوں کے بعد کنکشن ایررز، ٹائم آؤٹس، 5xx اور ریٹ لمٹ والے 429 پر۔ 400، 401، 402، 403، 413 یا 422 پر فیل اوور نہ کریں: درخواست یا اکاؤنٹ غلط ہے، اور اگلا فراہم کنندہ بھی اسی طرح ناکام ہو گا یا بلنگ کا مسئلہ چھپ جائے گا۔

### کیا BroadNet خود بخود دوسرے فراہم کنندہ پر فیل اوور کرتا ہے؟

نہیں۔ BroadNet Inference ماڈلز یا فراہم کنندگان کے بیچ درخواستیں روٹ نہیں کرتا، اور BroadRouter، یعنی یہ سائٹ، BroadNet کی معلوماتی سائٹ ہے، راؤٹر نہیں۔ فال بیک آپ اپنے کلائنٹ میں یا LiteLLM جیسے گیٹ وے میں بناتے ہیں۔

### کیا میں ہر فراہم کنندہ پر ایک ہی ماڈل ID استعمال کر سکتا ہوں؟

نہیں۔ ہر فراہم کنندہ ایک ہی اوپن ویٹ ماڈل کا نام الگ رکھتا ہے۔ GLM 5.3، BroadNet پر \`broadnet/glm-5.3\`، DeepInfra پر \`zai-org/GLM-5.3\` اور Fireworks پر \`accounts/fireworks/models/glm-5p3\` ہے (15 نومبر 2026 کو جانچا گیا)۔ ہر فراہم کنندہ کی میپنگ الگ رکھیں۔

### کیا ناکام کوششوں کے پیسے لگتے ہیں؟

لگ سکتے ہیں۔ آپ کی طرف کا ٹائم آؤٹ یہ ثابت نہیں کرتا کہ فراہم کنندہ نے کام روک دیا، اور فی ٹوکن بلنگ میں ہر دوبارہ کوشش ایک نیا انفرنس ہے۔ کچھ درخواستوں کے دو بار بل ہونے کا بجٹ رکھیں اور ہر درخواست پر کوششوں کی حد مقرر کریں۔

### کیا فال بیک فراہم کنندہ کی پرائیویسی شرائط بھی ویسی ہی ہونی چاہییں؟

جی ہاں۔ فال بیک ایک اور پروسیسر ہے جو وہی پرامپٹس دیکھتا ہے۔ شامل کرنے سے پہلے اس کی ریٹینشن، ٹریننگ اور پروسیسنگ مقام کی شرائط جانچیں، ورنہ آپ کا پرائیویسی وعدہ صرف تب تک قائم رہتا ہے جب تک پرائمری چل رہا ہے۔

### کیا BroadNet کا کوئی SLA ہے؟

سیلف سروس کے لیے نہیں۔ BroadNet کی شرائط (سیکشن 7.4) کہتی ہیں کہ سیلف سروس پر دستیابی کی کوئی ذمہ داری نہیں؛ سروس لیولز صرف الگ تحریری معاہدے میں ہوتے ہیں۔

## مزید پڑھیں

-   [LLM API میں 429 ایرر سے کیسے نمٹیں: بیک آف، جِٹر اور لمٹرز](https://broadrouter.com/ur/blog/handle-llm-api-429-rate-limits/)
-   [لمبے چلنے والے ایجنٹس: پائیدار timeouts، retries اور checkpoints](https://broadrouter.com/ur/blog/long-running-agents-timeouts-retries/)
-   [OpenAI-compatible API کے base URL: 14 فراہم کنندگان، جانچ شدہ](https://broadrouter.com/ur/blog/openai-compatible-api-base-urls/)
-   [LLM API SLA موازنہ: Azure، Bedrock، Google، OpenAI کے وعدے](https://broadrouter.com/ur/blog/llm-api-sla-uptime-compared/)
-   [فراہم کنندہ بدلنے سے پہلے LLM کی جانچ کیسے کریں](https://broadrouter.com/ur/blog/evaluate-llm-before-switching/)
-   [BroadNet کا GPU ہارڈویئر اور سروِنگ کا طریقہ، BroadNet کی زبانی](https://broadrouter.com/ur/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API جوابات کیش کر کے لاگت کم کریں: Python میں ایگزیکٹ میچ کیش](https://broadrouter.com/ur/blog/cache-llm-responses-cut-cost/)
-   [گائیڈ: BroadNet Inference کے ایرر کوڈز اور دوبارہ کوشش کب کریں](https://broadrouter.com/ur/guides/errors-and-retries/)
-   [گائیڈ: LiteLLM کو BroadNet Inference پر روٹ کریں (SDK اور پراکسی)](https://broadrouter.com/ur/guides/litellm-proxy-custom-provider/)
-   [گائیڈ: BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**ذرائع**

-   [BroadNet Inference کا API ریفرنس: ایررز اور دوبارہ کوششیں، حدیں، اسٹریمنگ، ماڈل کی صلاحیتیں (2026-11-15 کو جانچا گیا) (انگریزی میں)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-llm-api-failover-fallback&utm_content=sources)
-   [BroadNet سروس کی شرائط، سیکشن 7.3a (پروسیسنگ کے مقامات) اور 7.4 (دستیابی) (2026-11-15 کو جانچا گیا) (انگریزی میں)](https://www.broadnet.ai/terms)
-   [BroadNet انفرنس پرائیویسی بیان: مواد محفوظ نہیں، ٹریننگ نہیں، امریکی ہارڈویئر اور پارٹنر بیک اپ (2026-11-15 کو جانچا گیا) (انگریزی میں)](https://www.broadnet.ai/inference-privacy)
-   [OpenAI Python SDK README: دوبارہ کوششیں، ٹائم آؤٹس اور ایرر کلاسز (2026-11-15 کو جانچا گیا)](https://github.com/openai/openai-python)
-   [LiteLLM کی دستاویزات، پراکسی کی قابلِ اعتمادی: fallbacks، num\_retries، allowed\_fails، cooldown\_time (2026-11-15 کو جانچا گیا)](https://docs.litellm.ai/docs/proxy/reliability)
-   [DeepInfra کی دستاویزات، چیٹ کا جائزہ: OpenAI سے مطابقت رکھنے والا base URL (2026-11-15 کو جانچا گیا)](https://docs.deepinfra.com/chat/overview)
-   [DeepInfra ماڈل صفحہ، zai-org/GLM-5.3: کانٹیکسٹ، فنکشن کالنگ اور JSON سپورٹ (2026-11-15 کو جانچا گیا)](https://deepinfra.com/zai-org/GLM-5.3)
-   [Fireworks AI ماڈل صفحہ، GLM 5.3: ماڈل ID، کانٹیکسٹ اور ٹول سپورٹ (2026-11-15 کو جانچا گیا)](https://fireworks.ai/models/fireworks/glm-5p3)
