BroadRouter
Commencer

Fallback de modèle (model fallback)

Mis à jour

Le fallback de modèle est un schéma de fiabilité où une requête LLM échouée est relancée sur un autre modèle ou fournisseur d’une liste ordonnée. Déclencheurs possibles : erreur, limite de débit, contexte trop long ou refus lié à la politique de contenu. Il s’exécute dans votre client ou dans une passerelle devant les API.

Aussi appelé : fallback de modèle, modèle de secours, basculement de modèle, basculement de fournisseur, failover LLM, model fallback, fallback model, model failover, provider fallback

Toute API a ses mauvaises minutes. Le fallback évite qu’une mauvaise minute chez un fournisseur devienne une panne de votre application.

Comment ça marche

Vous gardez une liste ordonnée de modèles. Quand un appel échoue, après ses propres retries, le modèle suivant de la liste reçoit la même requête.

Deux passerelles tirées des sources :

Passerelle Fonctionnement du fallback
Proxy LiteLLM fallbacks liste des groupes de modèles, essayés « in-order » (dans l’ordre). Des context_window_fallbacks et content_policy_fallbacks distincts gèrent ces types d’erreurs. num_retries relance un groupe avant de basculer ; allowed_fails et cooldown_time mettent un déploiement défaillant hors service pendant un moment.
OpenRouter Un tableau models. « If the first model returns an error, OpenRouter will automatically try the next model in the list. » (traduction : « Si le premier modèle renvoie une erreur, OpenRouter essaie automatiquement le modèle suivant de la liste. ») N’importe quelle erreur peut le déclencher, y compris longueur de contexte, modération, limites de débit et indisponibilité. Si le dernier modèle échoue, c’est son erreur qui est renvoyée.

Une version minimale côté client :

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Pourquoi c’est important

  • Disponibilité. Un second fournisseur couvre les incidents et les limites de débit du premier.
  • Sorties différentes. Le modèle de secours écrit autrement, suit les outils autrement et peut coûter plus cher. Lancez votre eval sur chaque modèle de la chaîne, pas seulement le premier.
  • Ne basculez pas sur vos propres bugs. Une 400 ou une 422 signifie que la requête est incorrecte ; elle échouera aussi sur le modèle suivant. Basculez sur les 429, les timeouts et les 5xx, après un backoff exponentiel borné.

Sur BroadNet Inference

BroadNet ne route pas les requêtes automatiquement et n’a pas de fallback entre modèles. BroadRouter, ce site, est le site d’information de BroadNet et ne route pas non plus de requêtes. C’est à vous d’implémenter le fallback : dans votre client comme ci-dessus (le tutoriel sur le failover d’API LLM ajoute un circuit breaker et une correspondance des ID de modèles), ou dans une passerelle ; voir routeur LLM et le guide du proxy LiteLLM pour ajouter BroadNet comme fournisseur. La référence de l’API de BroadNet indique de relancer les 5xx avec un backoff exponentiel borné, et de s’appuyer sur les détails de la réponse et un backoff borné pour les 429. Le guide des erreurs et retries liste chaque statut.

Erreurs courantes

  • Basculer sur des erreurs 401 ou 402, ce qui masque un problème de facturation ou de clé.
  • Ne pas journaliser quel modèle a servi chaque réponse, ce qui rend les changements de qualité difficiles à retracer.

Questions fréquentes

Faut-il d’abord relancer ou basculer ?

Relancez d’abord pour les incidents brefs comme une 503. LiteLLM fonctionne ainsi : il ne bascule vers un autre groupe de modèles qu’après num_retries échecs d’un appel.

Quel modèle m’est facturé après un fallback ?

Sur OpenRouter, celui qui a servi la requête : d’après OpenRouter, les requêtes « are priced using the model that was ultimately used » (traduction : « sont facturées selon le modèle finalement utilisé »), indiqué dans le champ model de la réponse.

BroadNet route-t-il ou bascule-t-il automatiquement ?

Non. BroadNet ne propose pas de routage automatique, et BroadRouter est le site d’information de BroadNet, pas un routeur. Intégrez le fallback dans votre client ou placez une passerelle comme LiteLLM devant.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity