لكل واجهة API دقائق سيئة. والنموذج الاحتياطي يعني ألا تتحول دقيقة سيئة لدى مزوّد واحد إلى انقطاع في تطبيقك.
كيف يعمل
تحتفظ بقائمة مرتبة من النماذج. وحين يفشل استدعاء، بعد محاولاته الخاصة، يتلقى النموذج التالي في القائمة الطلب نفسه.
بوابتان من المصادر:
| البوابة | كيف يعمل الانتقال إلى البديل |
|---|---|
| وكيل LiteLLM | يُدرج fallbacks مجموعات نماذج تُجرَّب “in-order” (بالترتيب). ويتولى context_window_fallbacks وcontent_policy_fallbacks المنفصلان هذين النوعين من الأخطاء. ويعيد num_retries محاولة المجموعة قبل الانتقال إلى البديل؛ ويُخرج allowed_fails وcooldown_time عملية النشر الفاشلة من الخدمة لفترة. |
| OpenRouter | مصفوفة models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (ترجمة: إن أعاد النموذج الأول خطأً، فسيجرّب OpenRouter تلقائيًا النموذج التالي في القائمة). ويمكن لأي خطأ أن يحفّزه، بما في ذلك طول السياق والإشراف على المحتوى وحدود المعدل والتوقف. وإن فشل النموذج الأخير، أُعيد خطؤه. |
نسخة مختصرة من جهة العميل:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
لماذا يهم
- التوفر. المزوّد الثاني يغطي الحوادث وحدود المعدل لدى الأول.
- مخرجات مختلفة. النموذج الاحتياطي يكتب بشكل مختلف، ويتعامل مع الأدوات بشكل مختلف، وقد يكلّف أكثر. شغّل التقييم على كل نموذج في السلسلة، لا على الأول فقط.
- لا تنتقل إلى البديل بسبب أخطائك أنت. الخطأ 400 أو 422 يعني أن الطلب خاطئ؛ وسيفشل على النموذج التالي أيضًا. انتقل إلى البديل عند 429 وانتهاء المهلة و5xx بعد تراجع أُسّي محدود.
في BroadNet Inference
لا توجّه BroadNet الطلبات تلقائيًا، ولا يوجد لديها انتقال إلى بديل عبر النماذج. وBroadRouter، أي هذا الموقع، هو موقع المعلومات التابع لـ BroadNet، ولا يوجّه الطلبات هو الآخر. فأنت من يطبّق آلية البديل: في عميلك كما سبق (يضيف دليل الانتقال إلى بديل في واجهات LLM قاطع دائرة (circuit breaker) وربطًا بين معرّفات النماذج)، أو في بوابة؛ راجع موجّه LLM ودليل وكيل LiteLLM لإضافة BroadNet مزوّدًا. ويقول المرجع التقني لـ BroadNet أن تُعاد محاولة أخطاء 5xx مع تراجع أُسّي محدود، وأن تُستخدم تفاصيل الاستجابة والتراجع المحدود مع 429. ويسرد دليل الأخطاء وإعادة المحاولة كل رمز حالة.
أخطاء شائعة
- الانتقال إلى البديل عند أخطاء 401 أو 402، مما يُخفي مشكلة في الفوترة أو المفتاح.
- عدم تسجيل النموذج الذي خدم كل رد، فيصعب تتبّع تغيّرات الجودة.