Toda API tiene malos minutos. El fallback hace que un mal minuto en un proveedor no se convierta en una caída de su aplicación.
Cómo funciona
Usted mantiene una lista ordenada de modelos. Cuando una llamada falla, tras sus propios reintentos, el siguiente de la lista recibe la misma solicitud.
Dos gateways de las fuentes:
| Gateway | Cómo funciona el fallback |
|---|---|
| Proxy de LiteLLM | fallbacks enumera grupos de modelos que se prueban “in-order” (en orden). context_window_fallbacks y content_policy_fallbacks, por separado, gestionan esos tipos de error. num_retries reintenta un grupo antes del fallback; allowed_fails y cooldown_time retiran durante un tiempo un despliegue que falla. |
| OpenRouter | Un array models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (traducción: si el primer modelo devuelve un error, OpenRouter probará automáticamente el siguiente modelo de la lista). Cualquier error puede activarlo, incluidos longitud de contexto, moderación, límites de frecuencia y caídas. Si falla el último modelo, se devuelve ese error. |
Una versión mínima del lado del cliente:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Por qué importa
- Disponibilidad. Un segundo proveedor cubre incidentes y límites de frecuencia del primero.
- Salidas distintas. El modelo de respaldo escribe de otra forma, usa las herramientas de otra forma y puede costar más. Ejecute su evaluación con cada modelo de la cadena, no solo con el primero.
- No haga fallback por sus propios errores. Un 400 o un 422 significa que la solicitud es incorrecta; también fallará en el siguiente modelo. Haga fallback ante 429, timeouts y 5xx tras un backoff exponencial acotado.
En BroadNet Inference
BroadNet no enruta solicitudes automáticamente ni tiene fallback entre modelos. BroadRouter, este sitio, es el sitio informativo de BroadNet y tampoco enruta solicitudes. El fallback lo implementa usted: en su cliente como arriba (la guía de failover para APIs de LLM añade un circuit breaker y un mapeo de IDs de modelo), o en un gateway; consulte router de LLM y la guía del proxy de LiteLLM para añadir BroadNet como proveedor. La referencia de la API de BroadNet indica reintentar los 5xx con backoff exponencial acotado y, ante un 429, usar los detalles de la respuesta y un backoff acotado. La guía de errores y reintentos enumera cada código de estado.
Errores comunes
- Hacer fallback ante errores 401 o 402, lo que oculta un problema de facturación o de clave.
- No registrar qué modelo atendió cada respuesta, lo que dificulta rastrear cambios de calidad.