ہر API کے برے منٹ آتے ہیں۔ فال بیک کا مطلب ہے کہ ایک فراہم کنندہ کا برا منٹ آپ کی ایپ میں آؤٹیج نہ بنے۔
یہ کیسے کام کرتا ہے
آپ ماڈلز کی ایک ترتیب وار فہرست رکھتے ہیں۔ جب کوئی کال اپنی دوبارہ کوششوں کے بعد بھی ناکام ہو تو وہی درخواست فہرست کے اگلے ماڈل کو جاتی ہے۔
ذرائع سے دو گیٹ ویز:
| گیٹ وے | فال بیک کیسے کام کرتا ہے |
|---|---|
| LiteLLM proxy | fallbacks model groups کی فہرست دیتا ہے، جنہیں “in-order” (ترتیب سے) آزمایا جاتا ہے۔ الگ context_window_fallbacks اور content_policy_fallbacks ان ایرر اقسام کو سنبھالتے ہیں۔ num_retries فال بیک سے پہلے کسی group پر دوبارہ کوشش کرتا ہے؛ allowed_fails اور cooldown_time ناکام ہوتے deployment کو کچھ دیر کے لیے ہٹا دیتے ہیں۔ |
| OpenRouter | ایک models array۔ “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (ترجمہ: اگر پہلا ماڈل ایرر لوٹائے تو OpenRouter خود بخود فہرست کا اگلا ماڈل آزمائے گا۔) کوئی بھی ایرر اسے ٹرگر کر سکتا ہے، جن میں context length، moderation، ریٹ لمٹس اور ڈاؤن ٹائم شامل ہیں۔ اگر آخری ماڈل بھی ناکام ہو تو وہی ایرر لوٹایا جاتا ہے۔ |
کلائنٹ کی طرف کا ایک کم سے کم ورژن:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
یہ کیوں اہم ہے
- اپ ٹائم. دوسرا فراہم کنندہ پہلے کے واقعات اور ریٹ لمٹس کا احاطہ کرتا ہے۔
- مختلف آؤٹ پٹ. بیک اپ ماڈل مختلف انداز میں لکھتا ہے، ٹولز کو مختلف طریقے سے فالو کرتا ہے اور مہنگا پڑ سکتا ہے۔ اپنا eval چین کے ہر ماڈل پر چلائیں، صرف پہلے پر نہیں۔
- اپنے ہی بگز پر فال بیک نہ کریں. 400 یا 422 کا مطلب ہے کہ درخواست غلط ہے؛ یہ اگلے ماڈل پر بھی ناکام ہو گی۔ محدود exponential backoff کے بعد 429، timeouts اور 5xx پر فال بیک کریں۔
BroadNet Inference پر
BroadNet درخواستوں کو خود بخود راؤٹ نہیں کرتا اور اس کے پاس ماڈلز کے درمیان کوئی فال بیک نہیں۔ BroadRouter، یعنی یہ سائٹ، BroadNet کی معلوماتی سائٹ ہے اور یہ بھی درخواستیں راؤٹ نہیں کرتی۔ فال بیک آپ خود نافذ کرتے ہیں: اوپر کی طرح اپنے کلائنٹ میں (LLM API failover گائیڈ ایک circuit breaker اور ماڈل ID mapping شامل کرتی ہے)، یا کسی گیٹ وے میں؛ BroadNet کو فراہم کنندہ کے طور پر شامل کرنے کے لیے LLM راؤٹر اور LiteLLM proxy گائیڈ دیکھیں۔ BroadNet کا API ریفرنس کہتا ہے کہ 5xx پر محدود exponential backoff کے ساتھ دوبارہ کوشش کریں، اور 429 پر جواب کی تفصیلات اور محدود backoff استعمال کریں۔ ایررز اور دوبارہ کوشش گائیڈ ہر اسٹیٹس کی فہرست دیتی ہے۔
عام غلطیاں
- 401 یا 402 ایررز پر فال بیک کرنا، جس سے بلنگ یا کلید کا مسئلہ چھپ جاتا ہے۔
- یہ لاگ نہ کرنا کہ ہر جواب کس ماڈل نے دیا، جس سے معیار میں تبدیلیوں کا سراغ لگانا مشکل ہو جاتا ہے۔