BroadRouter
शुरू करें

मॉडल फ़ॉलबैक (model fallback)

अपडेट किया गया

मॉडल फ़ॉलबैक भरोसेमंदी का एक पैटर्न है जिसमें फ़ेल हुआ LLM अनुरोध एक क्रमबद्ध सूची के किसी दूसरे मॉडल या प्रोवाइडर पर दोबारा भेजा जाता है। ट्रिगर कोई एरर, रेट लिमिट, context-length एरर या content-policy इनकार हो सकता है। यह आपके क्लाइंट में या API के आगे लगे गेटवे में चलता है।

अन्य नाम: मॉडल फ़ॉलबैक, फ़ॉलबैक मॉडल, प्रोवाइडर failover, model fallback kya hai, llm failover kya hai, model fallback, fallback model, model failover, provider fallback

हर API के बुरे मिनट आते हैं। फ़ॉलबैक का मतलब है कि एक प्रोवाइडर का बुरा मिनट आपके ऐप में आउटेज न बने।

यह कैसे काम करता है

आप मॉडल की एक क्रमबद्ध सूची रखते हैं। जब कोई कॉल अपने रीट्राई के बाद भी फ़ेल हो, तो वही अनुरोध सूची के अगले मॉडल को जाता है।

स्रोतों से दो गेटवे:

गेटवे फ़ॉलबैक कैसे काम करता है
LiteLLM proxy fallbacks model groups की सूची देता है, जिन्हें “in-order” (क्रम से) आज़माया जाता है। अलग context_window_fallbacks और content_policy_fallbacks उन एरर प्रकारों को संभालते हैं। num_retries फ़ॉलबैक से पहले किसी group को रीट्राई करता है; allowed_fails और cooldown_time फ़ेल हो रहे deployment को कुछ देर के लिए हटा देते हैं।
OpenRouter एक models array। “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (अनुवाद: अगर पहला मॉडल एरर लौटाए, तो OpenRouter अपने-आप सूची का अगला मॉडल आज़माएगा।) कोई भी एरर इसे ट्रिगर कर सकता है, जिसमें context length, moderation, रेट लिमिट और डाउनटाइम शामिल हैं। अगर आख़िरी मॉडल भी फ़ेल हो, तो वही एरर लौटाया जाता है।

क्लाइंट की तरफ़ का एक न्यूनतम वर्ज़न:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

यह क्यों मायने रखता है

  • अपटाइम. दूसरा प्रोवाइडर पहले वाले की गड़बड़ियों और रेट लिमिट को कवर करता है।
  • अलग आउटपुट. बैकअप मॉडल अलग तरह से लिखता है, टूल को अलग तरह से फ़ॉलो करता है, और महँगा पड़ सकता है। अपना eval चेन के हर मॉडल पर चलाएँ, सिर्फ़ पहले पर नहीं।
  • अपने ही बग पर फ़ॉलबैक न करें. 400 या 422 का मतलब है कि अनुरोध ग़लत है; वह अगले मॉडल पर भी फ़ेल होगा। सीमित exponential backoff के बाद 429, timeout और 5xx पर फ़ॉलबैक करें।

BroadNet Inference पर

BroadNet अनुरोधों को अपने-आप राउट नहीं करता और मॉडल के बीच उसके पास कोई फ़ॉलबैक नहीं है। BroadRouter, यानी यह साइट, BroadNet की जानकारी वाली साइट है और यह भी अनुरोध राउट नहीं करती। फ़ॉलबैक आप ख़ुद लागू करते हैं: ऊपर की तरह अपने क्लाइंट में (LLM API failover गाइड एक circuit breaker और मॉडल ID mapping जोड़ती है), या किसी गेटवे में; BroadNet को प्रोवाइडर के रूप में जोड़ने के लिए LLM राउटर और LiteLLM proxy गाइड देखें। BroadNet का API रेफ़रंस कहता है कि 5xx को सीमित exponential backoff के साथ रीट्राई करें, और 429 पर जवाब की जानकारी और सीमित backoff इस्तेमाल करें। एरर और रीट्राई गाइड हर स्टेटस की सूची देती है।

आम ग़लतियाँ

  • 401 या 402 एरर पर फ़ॉलबैक करना, जिससे बिलिंग या key की समस्या छिप जाती है।
  • यह लॉग न करना कि हर जवाब किस मॉडल ने दिया, जिससे क्वालिटी में बदलाव का पता लगाना मुश्किल हो जाता है।

अक्सर पूछे जाने वाले सवाल

पहले रीट्राई करूँ या फ़ॉलबैक?

503 जैसी छोटी गड़बड़ियों के लिए पहले रीट्राई करें। LiteLLM ऐसे ही काम करता है: वह किसी दूसरे model group पर तभी फ़ॉलबैक करता है जब कोई कॉल num_retries बार फ़ेल हो जाए।

फ़ॉलबैक के बाद मुझसे किस मॉडल के पैसे लिए जाते हैं?

OpenRouter पर उस मॉडल के जिसने अनुरोध सर्व किया: वह कहता है कि अनुरोधों की "are priced using the model that was ultimately used" (अनुवाद: कीमत आख़िर में इस्तेमाल हुए मॉडल से तय होती है), जो जवाब के model फ़ील्ड में बताया जाता है।

क्या BroadNet अपने-आप राउट या फ़ॉलबैक करता है?

नहीं। BroadNet कोई automatic routing नहीं देता, और BroadRouter, BroadNet की जानकारी वाली साइट है, कोई राउटर नहीं। फ़ॉलबैक अपने क्लाइंट में बनाएँ या आगे LiteLLM जैसा गेटवे लगाएँ।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें