Toute API a ses mauvaises minutes. Le fallback évite qu’une mauvaise minute chez un fournisseur devienne une panne de votre application.
Comment ça marche
Vous gardez une liste ordonnée de modèles. Quand un appel échoue, après ses propres retries, le modèle suivant de la liste reçoit la même requête.
Deux passerelles tirées des sources :
| Passerelle | Fonctionnement du fallback |
|---|---|
| Proxy LiteLLM | fallbacks liste des groupes de modèles, essayés « in-order » (dans l’ordre). Des context_window_fallbacks et content_policy_fallbacks distincts gèrent ces types d’erreurs. num_retries relance un groupe avant de basculer ; allowed_fails et cooldown_time mettent un déploiement défaillant hors service pendant un moment. |
| OpenRouter | Un tableau models. « If the first model returns an error, OpenRouter will automatically try the next model in the list. » (traduction : « Si le premier modèle renvoie une erreur, OpenRouter essaie automatiquement le modèle suivant de la liste. ») N’importe quelle erreur peut le déclencher, y compris longueur de contexte, modération, limites de débit et indisponibilité. Si le dernier modèle échoue, c’est son erreur qui est renvoyée. |
Une version minimale côté client :
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Pourquoi c’est important
- Disponibilité. Un second fournisseur couvre les incidents et les limites de débit du premier.
- Sorties différentes. Le modèle de secours écrit autrement, suit les outils autrement et peut coûter plus cher. Lancez votre eval sur chaque modèle de la chaîne, pas seulement le premier.
- Ne basculez pas sur vos propres bugs. Une 400 ou une 422 signifie que la requête est incorrecte ; elle échouera aussi sur le modèle suivant. Basculez sur les 429, les timeouts et les 5xx, après un backoff exponentiel borné.
Sur BroadNet Inference
BroadNet ne route pas les requêtes automatiquement et n’a pas de fallback entre modèles. BroadRouter, ce site, est le site d’information de BroadNet et ne route pas non plus de requêtes. C’est à vous d’implémenter le fallback : dans votre client comme ci-dessus (le tutoriel sur le failover d’API LLM ajoute un circuit breaker et une correspondance des ID de modèles), ou dans une passerelle ; voir routeur LLM et le guide du proxy LiteLLM pour ajouter BroadNet comme fournisseur. La référence de l’API de BroadNet indique de relancer les 5xx avec un backoff exponentiel borné, et de s’appuyer sur les détails de la réponse et un backoff borné pour les 429. Le guide des erreurs et retries liste chaque statut.
Erreurs courantes
- Basculer sur des erreurs 401 ou 402, ce qui masque un problème de facturation ou de clé.
- Ne pas journaliser quel modèle a servi chaque réponse, ce qui rend les changements de qualité difficiles à retracer.