हर API के बुरे मिनट आते हैं। फ़ॉलबैक का मतलब है कि एक प्रोवाइडर का बुरा मिनट आपके ऐप में आउटेज न बने।
यह कैसे काम करता है
आप मॉडल की एक क्रमबद्ध सूची रखते हैं। जब कोई कॉल अपने रीट्राई के बाद भी फ़ेल हो, तो वही अनुरोध सूची के अगले मॉडल को जाता है।
स्रोतों से दो गेटवे:
| गेटवे | फ़ॉलबैक कैसे काम करता है |
|---|---|
| LiteLLM proxy | fallbacks model groups की सूची देता है, जिन्हें “in-order” (क्रम से) आज़माया जाता है। अलग context_window_fallbacks और content_policy_fallbacks उन एरर प्रकारों को संभालते हैं। num_retries फ़ॉलबैक से पहले किसी group को रीट्राई करता है; allowed_fails और cooldown_time फ़ेल हो रहे deployment को कुछ देर के लिए हटा देते हैं। |
| OpenRouter | एक models array। “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (अनुवाद: अगर पहला मॉडल एरर लौटाए, तो OpenRouter अपने-आप सूची का अगला मॉडल आज़माएगा।) कोई भी एरर इसे ट्रिगर कर सकता है, जिसमें context length, moderation, रेट लिमिट और डाउनटाइम शामिल हैं। अगर आख़िरी मॉडल भी फ़ेल हो, तो वही एरर लौटाया जाता है। |
क्लाइंट की तरफ़ का एक न्यूनतम वर्ज़न:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
यह क्यों मायने रखता है
- अपटाइम. दूसरा प्रोवाइडर पहले वाले की गड़बड़ियों और रेट लिमिट को कवर करता है।
- अलग आउटपुट. बैकअप मॉडल अलग तरह से लिखता है, टूल को अलग तरह से फ़ॉलो करता है, और महँगा पड़ सकता है। अपना eval चेन के हर मॉडल पर चलाएँ, सिर्फ़ पहले पर नहीं।
- अपने ही बग पर फ़ॉलबैक न करें. 400 या 422 का मतलब है कि अनुरोध ग़लत है; वह अगले मॉडल पर भी फ़ेल होगा। सीमित exponential backoff के बाद 429, timeout और 5xx पर फ़ॉलबैक करें।
BroadNet Inference पर
BroadNet अनुरोधों को अपने-आप राउट नहीं करता और मॉडल के बीच उसके पास कोई फ़ॉलबैक नहीं है। BroadRouter, यानी यह साइट, BroadNet की जानकारी वाली साइट है और यह भी अनुरोध राउट नहीं करती। फ़ॉलबैक आप ख़ुद लागू करते हैं: ऊपर की तरह अपने क्लाइंट में (LLM API failover गाइड एक circuit breaker और मॉडल ID mapping जोड़ती है), या किसी गेटवे में; BroadNet को प्रोवाइडर के रूप में जोड़ने के लिए LLM राउटर और LiteLLM proxy गाइड देखें। BroadNet का API रेफ़रंस कहता है कि 5xx को सीमित exponential backoff के साथ रीट्राई करें, और 429 पर जवाब की जानकारी और सीमित backoff इस्तेमाल करें। एरर और रीट्राई गाइड हर स्टेटस की सूची देती है।
आम ग़लतियाँ
- 401 या 402 एरर पर फ़ॉलबैक करना, जिससे बिलिंग या key की समस्या छिप जाती है।
- यह लॉग न करना कि हर जवाब किस मॉडल ने दिया, जिससे क्वालिटी में बदलाव का पता लगाना मुश्किल हो जाता है।