BroadRouter
ابدأ الآن

النموذج الاحتياطي (Model fallback)

آخر تحديث

النموذج الاحتياطي (model fallback) نمط للموثوقية يُعاد فيه طلب LLM الفاشل على نموذج أو مزوّد مختلف من قائمة مرتبة. وقد يكون المحفّز خطأً أو حدّ معدل أو خطأ في طول السياق أو رفضًا بسبب سياسة المحتوى. ويعمل داخل عميلك أو في بوابة أمام الواجهات.

يُسمّى أيضًا: النموذج الاحتياطي، نموذج بديل، الانتقال إلى نموذج بديل، التحويل إلى مزوّد احتياطي، model fallback، fallback model، model failover، provider fallback

لكل واجهة API دقائق سيئة. والنموذج الاحتياطي يعني ألا تتحول دقيقة سيئة لدى مزوّد واحد إلى انقطاع في تطبيقك.

كيف يعمل

تحتفظ بقائمة مرتبة من النماذج. وحين يفشل استدعاء، بعد محاولاته الخاصة، يتلقى النموذج التالي في القائمة الطلب نفسه.

بوابتان من المصادر:

البوابة كيف يعمل الانتقال إلى البديل
وكيل LiteLLM يُدرج fallbacks مجموعات نماذج تُجرَّب “in-order” (بالترتيب). ويتولى context_window_fallbacks وcontent_policy_fallbacks المنفصلان هذين النوعين من الأخطاء. ويعيد num_retries محاولة المجموعة قبل الانتقال إلى البديل؛ ويُخرج allowed_fails وcooldown_time عملية النشر الفاشلة من الخدمة لفترة.
OpenRouter مصفوفة models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (ترجمة: إن أعاد النموذج الأول خطأً، فسيجرّب OpenRouter تلقائيًا النموذج التالي في القائمة). ويمكن لأي خطأ أن يحفّزه، بما في ذلك طول السياق والإشراف على المحتوى وحدود المعدل والتوقف. وإن فشل النموذج الأخير، أُعيد خطؤه.

نسخة مختصرة من جهة العميل:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

لماذا يهم

  • التوفر. المزوّد الثاني يغطي الحوادث وحدود المعدل لدى الأول.
  • مخرجات مختلفة. النموذج الاحتياطي يكتب بشكل مختلف، ويتعامل مع الأدوات بشكل مختلف، وقد يكلّف أكثر. شغّل التقييم على كل نموذج في السلسلة، لا على الأول فقط.
  • لا تنتقل إلى البديل بسبب أخطائك أنت. الخطأ 400 أو 422 يعني أن الطلب خاطئ؛ وسيفشل على النموذج التالي أيضًا. انتقل إلى البديل عند 429 وانتهاء المهلة و5xx بعد تراجع أُسّي محدود.

في BroadNet Inference

لا توجّه BroadNet الطلبات تلقائيًا، ولا يوجد لديها انتقال إلى بديل عبر النماذج. وBroadRouter، أي هذا الموقع، هو موقع المعلومات التابع لـ BroadNet، ولا يوجّه الطلبات هو الآخر. فأنت من يطبّق آلية البديل: في عميلك كما سبق (يضيف دليل الانتقال إلى بديل في واجهات LLM قاطع دائرة (circuit breaker) وربطًا بين معرّفات النماذج)، أو في بوابة؛ راجع موجّه LLM ودليل وكيل LiteLLM لإضافة BroadNet مزوّدًا. ويقول المرجع التقني لـ BroadNet أن تُعاد محاولة أخطاء 5xx مع تراجع أُسّي محدود، وأن تُستخدم تفاصيل الاستجابة والتراجع المحدود مع 429. ويسرد دليل الأخطاء وإعادة المحاولة كل رمز حالة.

أخطاء شائعة

  • الانتقال إلى البديل عند أخطاء 401 أو 402، مما يُخفي مشكلة في الفوترة أو المفتاح.
  • عدم تسجيل النموذج الذي خدم كل رد، فيصعب تتبّع تغيّرات الجودة.

أسئلة شائعة

هل أعيد المحاولة أولًا أم أنتقل إلى البديل؟

أعد المحاولة أولًا مع الأعطال القصيرة مثل 503. وهكذا يعمل LiteLLM: لا ينتقل إلى مجموعة نماذج أخرى إلا بعد فشل الاستدعاء عدد مرات num_retries.

أي نموذج أدفع ثمنه بعد الانتقال إلى البديل؟

في OpenRouter، النموذج الذي خدم الطلب: إذ يقول إن الطلبات "are priced using the model that was ultimately used" (ترجمة: تُسعَّر بحسب النموذج الذي استُخدم في النهاية)، ويظهر ذلك في حقل model في الاستجابة.

هل توجّه BroadNet الطلبات أو تنتقل إلى بديل تلقائيًا؟

لا. لا تقدّم BroadNet توجيهًا تلقائيًا، وBroadRouter هو موقع المعلومات التابع لـ BroadNet، وليس موجّهًا. ابنِ آلية البديل في عميلك أو ضع أمامها بوابة مثل LiteLLM.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity