Toda API de LLM tiene minutos malos: un 503, un timeout, una ráfaga de 429. El fallback hace que esos minutos no se conviertan en una caída de su app. Este artículo muestra cómo hacer failover entre proveedores compatibles con OpenAI desde su propio código. Explica qué errores deben activarlo, cómo un circuit breaker lo mantiene rápido y qué debe coincidir entre proveedores para que los usuarios no noten el cambio.
Una aclaración primero: BroadNet Inference no enruta ni hace failover entre proveedores por usted, y BroadRouter tampoco. BroadRouter es el sitio web de BroadNet, no un router. El fallback lo construye usted, ya sea en su cliente, como se muestra abajo, o en un gateway como LiteLLM.
¿Para qué tener un proveedor de respaldo?
Porque la mayoría de las APIs de autoservicio no prometen nada sobre la disponibilidad. Los términos de BroadNet lo dicen claramente en la sección 7.4: “self-serve has no availability commitment” (Traducción: «el autoservicio no tiene compromiso de disponibilidad»), y los niveles de servicio solo existen en un acuerdo escrito aparte (consultado el 15 de noviembre de 2026). La comparación de SLA de APIs de LLM recoge a qué se comprometen otros proveedores. Si su función tiene que seguir en pie, un segundo proveedor es el seguro práctico, diga lo que diga el SLA.
Los límites de tasa son la segunda razón. Una clave de pago por uso de BroadNet permite 30 solicitudes por minuto y 4 en curso. Un pico de tráfico por encima de eso devuelve 429, y un segundo proveedor puede absorber el excedente mientras usted aumenta la capacidad.
¿Qué errores deberían activar un failover?
Divida los errores en dos grupos. Algunos son culpa del proveedor y pueden funcionar en otro lado. Otros son culpa suya y fallarán en todas partes.
| Error | ¿Failover? | Por qué |
|---|---|---|
| Error de conexión, timeout | Sí, tras reintentar | El proveedor o la red no están disponibles |
| 500, 502, 503, 504 | Sí, tras reintentar | La documentación de BroadNet indica primero “retry with bounded exponential backoff” (Traducción: «reintentar con backoff exponencial acotado») |
| 429, límite de tasa o de concurrencia | Sí, tras el backoff | Es capacidad de este proveedor, no una solicitud incorrecta |
| 429, límite de gasto | No | El failover se salta el presupuesto que usted fijó a propósito |
| 400, 422 | No | La solicitud no es válida y también fallará en el siguiente proveedor |
| 401, 402 | No | Clave, asignación o saldo. En BroadNet, un 401 también cubre una asignación de pago por uso agotada, así que el failover esconde un problema de facturación |
| 403, 413 | No | Política o tamaño; corrija la solicitud |
La referencia de la API de BroadNet dice que un 429 significa “a rate, concurrency, token-rate or spending limit was reached” (Traducción: «se alcanzó un límite de tasa, de concurrencia, de tokens por tiempo o de gasto») y que hay que “use response details and bounded backoff” (Traducción: «usar los detalles de la respuesta y un backoff acotado»). Lea esos detalles antes de hacer failover, para que un 429 por límite de gasto detenga la solicitud en lugar de trasladarla. La guía de códigos de error enumera todos los estados.
Reintente antes de hacer failover. El SDK de Python de OpenAI ya reintenta errores de conexión y respuestas 408, 409, 429 y 5xx “2 times by default, with a short exponential backoff” (Traducción: «2 veces por defecto, con un backoff exponencial corto»), y su timeout por defecto es de 10 minutos (README, consultado el 15 de noviembre de 2026). Diez minutos es demasiado tiempo de espera antes de hacer failover. Configure timeout por cliente. El artículo sobre cómo manejar los 429 explica el backoff con jitter.
¿Cómo se ve el failover en Python?
Dos clientes, una lista ordenada y un pequeño circuit breaker. El principal es GLM 5.3 en BroadNet. El respaldo es el mismo modelo de pesos abiertos en DeepInfra, cuya documentación indica la URL base https://api.deepinfra.com/v1/openai (consultado el 15 de noviembre de 2026).
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
Cuatro detalles importan:
- Clases de excepción. El SDK lanza
RateLimitErrorante un 429,InternalServerErrorante 500 o superior yAPIConnectionError(conAPITimeoutErrorcomo subclase) cuando no puede conectarse. Todo lo demás queda sin capturar a propósito. Para excluir los 429 por límite de gasto, inspeccioneerr.responseantes de continuar. - El circuit breaker. Sin él, cada solicitud paga el timeout completo contra un principal caído antes de seguir. Tras tres fallos seguidos, el principal se omite durante 30 segundos. Después, la siguiente solicitud lo vuelve a probar.
- Registre quién respondió. Devuelva el nombre del proveedor y conserve
reply.model. Cuando cambie la calidad, necesitará saber qué proveedor respondió. - Presupuesto de razonamiento. GLM 5.3 razona antes de responder. La documentación de BroadNet indica que el razonamiento cuenta para
max_tokens, así que deje 1,000 o más en todos los proveedores.
¿Cómo se mapean los IDs de modelo entre proveedores?
El mismo modelo de pesos abiertos tiene un ID distinto en cada proveedor, y las funciones que indica cada uno pueden variar. GLM 5.3 al 15 de noviembre de 2026:
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| ID del modelo | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| Contexto | 1,048,576 tokens | 1,048,576 tokens | “1040k” tokens |
| Herramientas | Documentadas | “Function” indicado | Compatibles |
| Salida estructurada | Documentada | “JSON” indicado | No verificado |
De aquí salen dos reglas. Primero, mantenga el mapeo en la configuración, no disperso por el código. Segundo, ajuste el respaldo a lo que usan sus solicitudes. En BroadNet, las herramientas y la salida estructurada están documentadas solo para GLM 5.3 y Qwen3.8 27B. Un agente que llama a herramientas puede hacer failover de GLM 5.3 a GLM 5.3 en otro proveedor. No puede hacerlo con seguridad hacia un modelo que no documente herramientas. Si el respaldo tiene una ventana de contexto menor, recorte el prompt u omita ese respaldo para solicitudes largas. Las URLs base de 14 proveedores están en la referencia de URLs base.
¿Cómo mantener respuestas comparables tras un cambio?
Los mismos pesos en dos proveedores pueden responder distinto, porque los proveedores pueden servir precisiones, plantillas de chat o parámetros por defecto diferentes. Un modelo distinto responde distinto con toda seguridad.
- Ejecute su conjunto de evaluación contra cada entrada de la lista, no solo contra el principal.
- Fije
temperature,max_tokensy el prompt del sistema en cada solicitud, para que los valores por defecto del proveedor no cambien la salida. - Valide la salida estructurada de la misma manera en todas las rutas. Cómo corregir JSON inválido explica el ciclo de reparación y reintento.
- Prefiera el mismo modelo en otro proveedor antes que otro modelo en el mismo proveedor. Los usuarios notan más un cambio de estilo que unos segundos de latencia.
¿Y el streaming y las llamadas a herramientas?
Un stream puede fallar a la mitad. La documentación de BroadNet indica que un stream que termina antes de data: [DONE] debe tratarse como incompleto: registre el X-Request-ID y decida si su aplicación puede enviar una nueva solicitud con seguridad.
- Antes del primer token: haga failover sin problema. El usuario no ha visto nada.
- Después de mostrar tokens: reinicie en el respaldo y reemplace la respuesta parcial, o muestre un error con un botón para reintentar. Unir dos medias respuestas de proveedores distintos se lee mal.
- Llamadas a herramientas con efectos secundarios: nunca vuelva a ejecutar un paso que envía un correo, cobra una tarjeta o escribe en una base de datos solo porque falló la llamada al modelo. Asigne a cada acción una clave de idempotencia. Agentes de larga duración explica los checkpoints.
Streaming con SSE explica cómo detectar un stream que terminó antes de tiempo.
¿Cuánto cuesta el failover?
- Trabajo duplicado. Un timeout de su lado no demuestra que el proveedor se haya detenido. Con facturación por token, cada reintento es una nueva inferencia, así que cuente con pagar dos veces algunas solicitudes.
- Precios distintos. El respaldo factura con sus propias tarifas. DeepInfra publicaba un precio promocional para GLM-5.3 el 15 de noviembre de 2026, así que vuelva a comprobarlo antes de presupuestar. BroadNet cobra $0.78 de entrada, $0.173 de entrada en caché y $3.46 de salida por 1M de tokens.
- Cachés frías. La entrada en caché no se traslada entre proveedores. Las primeras solicitudes en el respaldo pagan el precio completo de entrada por un prefijo que estaba en caché en el principal. Consulte tokens de entrada en caché.
- Hedging. Enviar cada solicitud a dos proveedores a la vez y quedarse con la primera respuesta reduce la latencia de cola, pero casi duplica la factura. Úselo solo donde la latencia lo justifique.
¿El respaldo cumple las mismas condiciones de datos?
Un proveedor de respaldo es otro encargado del tratamiento que recibe los mismos prompts. Si prometió algo a sus clientes sobre sus datos, la promesa tiene que cumplirse en cada entrada de la lista.
La declaración de privacidad de BroadNet dice: “We do not retain prompts, audio, images, answers or transcripts” (Traducción: «No conservamos prompts, audio, imágenes, respuestas ni transcripciones»). El contenido de inferencia no se conserva; los metadatos necesarios de cuenta, facturación y seguridad se conservan según describe esa declaración. También indica que los datos de inferencia no se usan para entrenar, ajustar ni evaluar modelos. La declaración dice que los modelos alojados “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Traducción: «se ejecutan en hardware propio o arrendado por BroadNet en Estados Unidos, con capacidad de socios como respaldo»); DeepSeek V4.1 Flash está alojado por un socio. Para datos con requisitos de residencia, los términos (sección 7.3a) indican acordar los lugares de procesamiento antes de enviarlos. Revise los mismos puntos en el respaldo: retención, uso para entrenamiento, ubicación y subencargados. Si no cumple, deje las solicitudes sensibles fuera de la ruta de respaldo y haga que fallen de forma cerrada. La lista de verificación de retención cero de datos reúne las preguntas.
¿Conviene usar un gateway como LiteLLM?
Use un gateway si varios servicios necesitan las mismas reglas de fallback. El proxy de LiteLLM acepta una lista fallbacks que se prueba en orden. num_retries reintenta un grupo de modelos antes de pasar al fallback. allowed_fails y cooldown_time retiran por un tiempo un despliegue que falla, lo que funciona como circuit breaker. context_window_fallbacks y content_policy_fallbacks, por separado, manejan esos tipos de error (documentación de LiteLLM, consultado el 15 de noviembre de 2026):
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
La guía del proxy de LiteLLM muestra la entrada de BroadNet completa. Ambas entradas usan el prefijo genérico openai/ de LiteLLM con un api_base, el mismo patrón que usa la guía. Un gateway añade un salto más y otra pieza que mantener en funcionamiento. Para una sola app, bastan unas 40 líneas en su cliente, como las de arriba.
¿Cómo probar el failover antes de necesitarlo?
- Apunte el principal a un host inaccesible en una configuración de prueba y compruebe que las solicitudes llegan al respaldo.
- Envíe una solicitud inválida a propósito y compruebe que no hace failover.
- Use una clave principal inválida y compruebe que el 401 aparece como error, no como un cambio silencioso.
- Observe el breaker: tras tres fallos, el principal debería omitirse sin esperar el timeout.
- Configure una alerta cuando el respaldo atienda más de una pequeña parte del tráfico. Un failover silencioso puede ocultar un principal averiado durante días.
El Router de LiteLLM acepta mock_testing_fallbacks=True en pruebas directas para forzar un fallback.
Dónde encaja BroadNet Inference
BroadRouter es el sitio web de BroadNet, y BroadNet Inference puede ocupar cualquiera de las dos posiciones de su lista. Como principal, le ofrece GLM 5.3 y Qwen3.8 27B con herramientas y salida estructurada documentadas, además de Gemma 4 VL 26B y DeepSeek V4.1 Flash, en una sola URL base y sin retener contenido. Como respaldo, es un endpoint más compatible con OpenAI que añadir a la lista. En ambos casos, la lógica de failover es suya: BroadNet no enruta entre proveedores y el autoservicio no tiene SLA. Si necesita niveles de servicio contractuales, solo están disponibles con un acuerdo escrito aparte. Compare los modelos o cree una cuenta y pruebe su cadena con el crédito inicial de $5 en Gemma 4 VL 26B. GLM 5.3 y Qwen3.8 27B requieren una recarga.
