BroadRouter
شروع کریں

ماڈل فال بیک (model fallback)

اپ ڈیٹ

ماڈل فال بیک قابلِ اعتمادی کا ایک پیٹرن ہے جس میں ناکام LLM درخواست ایک ترتیب وار فہرست کے کسی دوسرے ماڈل یا فراہم کنندہ پر دوبارہ بھیجی جاتی ہے۔ ٹرگر کوئی ایرر، ریٹ لمٹ، context-length ایرر یا content-policy انکار ہو سکتا ہے۔ یہ آپ کے کلائنٹ میں یا APIs کے آگے لگے گیٹ وے میں چلتا ہے۔

دوسرے نام: ماڈل فال بیک، فال بیک ماڈل، فراہم کنندہ failover، model fallback kya hai، llm failover kya hai، model fallback، fallback model، model failover، provider fallback

ہر API کے برے منٹ آتے ہیں۔ فال بیک کا مطلب ہے کہ ایک فراہم کنندہ کا برا منٹ آپ کی ایپ میں آؤٹیج نہ بنے۔

یہ کیسے کام کرتا ہے

آپ ماڈلز کی ایک ترتیب وار فہرست رکھتے ہیں۔ جب کوئی کال اپنی دوبارہ کوششوں کے بعد بھی ناکام ہو تو وہی درخواست فہرست کے اگلے ماڈل کو جاتی ہے۔

ذرائع سے دو گیٹ ویز:

گیٹ وے فال بیک کیسے کام کرتا ہے
LiteLLM proxy fallbacks model groups کی فہرست دیتا ہے، جنہیں “in-order” (ترتیب سے) آزمایا جاتا ہے۔ الگ context_window_fallbacks اور content_policy_fallbacks ان ایرر اقسام کو سنبھالتے ہیں۔ num_retries فال بیک سے پہلے کسی group پر دوبارہ کوشش کرتا ہے؛ allowed_fails اور cooldown_time ناکام ہوتے deployment کو کچھ دیر کے لیے ہٹا دیتے ہیں۔
OpenRouter ایک models array۔ “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (ترجمہ: اگر پہلا ماڈل ایرر لوٹائے تو OpenRouter خود بخود فہرست کا اگلا ماڈل آزمائے گا۔) کوئی بھی ایرر اسے ٹرگر کر سکتا ہے، جن میں context length، moderation، ریٹ لمٹس اور ڈاؤن ٹائم شامل ہیں۔ اگر آخری ماڈل بھی ناکام ہو تو وہی ایرر لوٹایا جاتا ہے۔

کلائنٹ کی طرف کا ایک کم سے کم ورژن:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

یہ کیوں اہم ہے

  • اپ ٹائم. دوسرا فراہم کنندہ پہلے کے واقعات اور ریٹ لمٹس کا احاطہ کرتا ہے۔
  • مختلف آؤٹ پٹ. بیک اپ ماڈل مختلف انداز میں لکھتا ہے، ٹولز کو مختلف طریقے سے فالو کرتا ہے اور مہنگا پڑ سکتا ہے۔ اپنا eval چین کے ہر ماڈل پر چلائیں، صرف پہلے پر نہیں۔
  • اپنے ہی بگز پر فال بیک نہ کریں. 400 یا 422 کا مطلب ہے کہ درخواست غلط ہے؛ یہ اگلے ماڈل پر بھی ناکام ہو گی۔ محدود exponential backoff کے بعد 429، timeouts اور 5xx پر فال بیک کریں۔

BroadNet Inference پر

BroadNet درخواستوں کو خود بخود راؤٹ نہیں کرتا اور اس کے پاس ماڈلز کے درمیان کوئی فال بیک نہیں۔ BroadRouter، یعنی یہ سائٹ، BroadNet کی معلوماتی سائٹ ہے اور یہ بھی درخواستیں راؤٹ نہیں کرتی۔ فال بیک آپ خود نافذ کرتے ہیں: اوپر کی طرح اپنے کلائنٹ میں (LLM API failover گائیڈ ایک circuit breaker اور ماڈل ID mapping شامل کرتی ہے)، یا کسی گیٹ وے میں؛ BroadNet کو فراہم کنندہ کے طور پر شامل کرنے کے لیے LLM راؤٹر اور LiteLLM proxy گائیڈ دیکھیں۔ BroadNet کا API ریفرنس کہتا ہے کہ 5xx پر محدود exponential backoff کے ساتھ دوبارہ کوشش کریں، اور 429 پر جواب کی تفصیلات اور محدود backoff استعمال کریں۔ ایررز اور دوبارہ کوشش گائیڈ ہر اسٹیٹس کی فہرست دیتی ہے۔

عام غلطیاں

  • 401 یا 402 ایررز پر فال بیک کرنا، جس سے بلنگ یا کلید کا مسئلہ چھپ جاتا ہے۔
  • یہ لاگ نہ کرنا کہ ہر جواب کس ماڈل نے دیا، جس سے معیار میں تبدیلیوں کا سراغ لگانا مشکل ہو جاتا ہے۔

عام سوالات

پہلے دوبارہ کوشش کروں یا فال بیک؟

503 جیسی مختصر خرابیوں کے لیے پہلے دوبارہ کوشش کریں۔ LiteLLM اسی طرح کام کرتا ہے: وہ کسی دوسرے model group پر تب ہی فال بیک کرتا ہے جب کوئی کال num_retries بار ناکام ہو جائے۔

فال بیک کے بعد مجھ سے کس ماڈل کی قیمت لی جاتی ہے؟

OpenRouter پر اس ماڈل کی جس نے درخواست سرو کی: وہ کہتا ہے کہ درخواستیں "are priced using the model that was ultimately used" (ترجمہ: آخرکار استعمال ہونے والے ماڈل کے حساب سے قیمت پاتی ہیں)، جو جواب کے model فیلڈ میں بتایا جاتا ہے۔

کیا BroadNet خود بخود راؤٹ یا فال بیک کرتا ہے؟

نہیں۔ BroadNet کوئی خودکار راؤٹنگ فراہم نہیں کرتا، اور BroadRouter، BroadNet کی معلوماتی سائٹ ہے، راؤٹر نہیں۔ فال بیک اپنے کلائنٹ میں بنائیں یا آگے LiteLLM جیسا گیٹ وے لگائیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں