BroadRouter
Comenzar

Fallback de modelos (model fallback)

Actualizado

El fallback de modelos es un patrón de fiabilidad: una solicitud fallida a un LLM se reintenta con otro modelo o proveedor de una lista ordenada. Puede dispararlo un error, un límite de frecuencia, un error de longitud de contexto o un rechazo por política de contenido. Se ejecuta en su cliente o en un gateway delante de las APIs.

También llamado: fallback de modelos, modelo de respaldo, conmutación por error de modelos, failover de LLM, fallback de proveedor, model fallback, fallback model, model failover, provider fallback

Toda API tiene malos minutos. El fallback hace que un mal minuto en un proveedor no se convierta en una caída de su aplicación.

Cómo funciona

Usted mantiene una lista ordenada de modelos. Cuando una llamada falla, tras sus propios reintentos, el siguiente de la lista recibe la misma solicitud.

Dos gateways de las fuentes:

Gateway Cómo funciona el fallback
Proxy de LiteLLM fallbacks enumera grupos de modelos que se prueban “in-order” (en orden). context_window_fallbacks y content_policy_fallbacks, por separado, gestionan esos tipos de error. num_retries reintenta un grupo antes del fallback; allowed_fails y cooldown_time retiran durante un tiempo un despliegue que falla.
OpenRouter Un array models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (traducción: si el primer modelo devuelve un error, OpenRouter probará automáticamente el siguiente modelo de la lista). Cualquier error puede activarlo, incluidos longitud de contexto, moderación, límites de frecuencia y caídas. Si falla el último modelo, se devuelve ese error.

Una versión mínima del lado del cliente:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Por qué importa

  • Disponibilidad. Un segundo proveedor cubre incidentes y límites de frecuencia del primero.
  • Salidas distintas. El modelo de respaldo escribe de otra forma, usa las herramientas de otra forma y puede costar más. Ejecute su evaluación con cada modelo de la cadena, no solo con el primero.
  • No haga fallback por sus propios errores. Un 400 o un 422 significa que la solicitud es incorrecta; también fallará en el siguiente modelo. Haga fallback ante 429, timeouts y 5xx tras un backoff exponencial acotado.

En BroadNet Inference

BroadNet no enruta solicitudes automáticamente ni tiene fallback entre modelos. BroadRouter, este sitio, es el sitio informativo de BroadNet y tampoco enruta solicitudes. El fallback lo implementa usted: en su cliente como arriba (la guía de failover para APIs de LLM añade un circuit breaker y un mapeo de IDs de modelo), o en un gateway; consulte router de LLM y la guía del proxy de LiteLLM para añadir BroadNet como proveedor. La referencia de la API de BroadNet indica reintentar los 5xx con backoff exponencial acotado y, ante un 429, usar los detalles de la respuesta y un backoff acotado. La guía de errores y reintentos enumera cada código de estado.

Errores comunes

  • Hacer fallback ante errores 401 o 402, lo que oculta un problema de facturación o de clave.
  • No registrar qué modelo atendió cada respuesta, lo que dificulta rastrear cambios de calidad.

Preguntas frecuentes

¿Primero reintento o primero hago fallback?

Reintente primero ante fallos breves como un 503. Así funciona LiteLLM: solo pasa a otro grupo de modelos después de que una llamada falle num_retries veces.

¿Qué modelo me cobran tras un fallback?

En OpenRouter, el que atendió la solicitud: indica que las solicitudes "are priced using the model that was ultimately used" (traducción: se cobran según el modelo que se usó finalmente), indicado en el campo model de la respuesta.

¿BroadNet enruta o hace fallback automáticamente?

No. BroadNet no ofrece enrutado automático, y BroadRouter es el sitio informativo de BroadNet, no un router. Implemente el fallback en su cliente o ponga delante un gateway como LiteLLM.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity