BroadRouter
Comenzar

Failover de API de LLM: pase a un segundo proveedor desde su código

Por el equipo de BroadNet Inference · 8 min de lectura · Publicado · Actualizado

Mantenga una lista ordenada de proveedores compatibles con OpenAI, cada uno con su cliente y su ID de modelo. Haga failover ante errores de conexión, timeouts, 5xx y 429 por límite de tasa, una vez agotados los reintentos propios del SDK. Nunca haga failover ante 400, 401, 402, 403, 413 o 422. Añada un circuit breaker y compruebe que el respaldo iguala al principal en funciones y condiciones de datos.

Toda API de LLM tiene minutos malos: un 503, un timeout, una ráfaga de 429. El fallback hace que esos minutos no se conviertan en una caída de su app. Este artículo muestra cómo hacer failover entre proveedores compatibles con OpenAI desde su propio código. Explica qué errores deben activarlo, cómo un circuit breaker lo mantiene rápido y qué debe coincidir entre proveedores para que los usuarios no noten el cambio.

Una aclaración primero: BroadNet Inference no enruta ni hace failover entre proveedores por usted, y BroadRouter tampoco. BroadRouter es el sitio web de BroadNet, no un router. El fallback lo construye usted, ya sea en su cliente, como se muestra abajo, o en un gateway como LiteLLM.

¿Para qué tener un proveedor de respaldo?

Porque la mayoría de las APIs de autoservicio no prometen nada sobre la disponibilidad. Los términos de BroadNet lo dicen claramente en la sección 7.4: “self-serve has no availability commitment” (Traducción: «el autoservicio no tiene compromiso de disponibilidad»), y los niveles de servicio solo existen en un acuerdo escrito aparte (consultado el 15 de noviembre de 2026). La comparación de SLA de APIs de LLM recoge a qué se comprometen otros proveedores. Si su función tiene que seguir en pie, un segundo proveedor es el seguro práctico, diga lo que diga el SLA.

Los límites de tasa son la segunda razón. Una clave de pago por uso de BroadNet permite 30 solicitudes por minuto y 4 en curso. Un pico de tráfico por encima de eso devuelve 429, y un segundo proveedor puede absorber el excedente mientras usted aumenta la capacidad.

¿Qué errores deberían activar un failover?

Divida los errores en dos grupos. Algunos son culpa del proveedor y pueden funcionar en otro lado. Otros son culpa suya y fallarán en todas partes.

Error ¿Failover? Por qué
Error de conexión, timeout Sí, tras reintentar El proveedor o la red no están disponibles
500, 502, 503, 504 Sí, tras reintentar La documentación de BroadNet indica primero “retry with bounded exponential backoff” (Traducción: «reintentar con backoff exponencial acotado»)
429, límite de tasa o de concurrencia Sí, tras el backoff Es capacidad de este proveedor, no una solicitud incorrecta
429, límite de gasto No El failover se salta el presupuesto que usted fijó a propósito
400, 422 No La solicitud no es válida y también fallará en el siguiente proveedor
401, 402 No Clave, asignación o saldo. En BroadNet, un 401 también cubre una asignación de pago por uso agotada, así que el failover esconde un problema de facturación
403, 413 No Política o tamaño; corrija la solicitud

La referencia de la API de BroadNet dice que un 429 significa “a rate, concurrency, token-rate or spending limit was reached” (Traducción: «se alcanzó un límite de tasa, de concurrencia, de tokens por tiempo o de gasto») y que hay que “use response details and bounded backoff” (Traducción: «usar los detalles de la respuesta y un backoff acotado»). Lea esos detalles antes de hacer failover, para que un 429 por límite de gasto detenga la solicitud en lugar de trasladarla. La guía de códigos de error enumera todos los estados.

Reintente antes de hacer failover. El SDK de Python de OpenAI ya reintenta errores de conexión y respuestas 408, 409, 429 y 5xx “2 times by default, with a short exponential backoff” (Traducción: «2 veces por defecto, con un backoff exponencial corto»), y su timeout por defecto es de 10 minutos (README, consultado el 15 de noviembre de 2026). Diez minutos es demasiado tiempo de espera antes de hacer failover. Configure timeout por cliente. El artículo sobre cómo manejar los 429 explica el backoff con jitter.

¿Cómo se ve el failover en Python?

Dos clientes, una lista ordenada y un pequeño circuit breaker. El principal es GLM 5.3 en BroadNet. El respaldo es el mismo modelo de pesos abiertos en DeepInfra, cuya documentación indica la URL base https://api.deepinfra.com/v1/openai (consultado el 15 de noviembre de 2026).

import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}


def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error


served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)

Cuatro detalles importan:

  1. Clases de excepción. El SDK lanza RateLimitError ante un 429, InternalServerError ante 500 o superior y APIConnectionError (con APITimeoutError como subclase) cuando no puede conectarse. Todo lo demás queda sin capturar a propósito. Para excluir los 429 por límite de gasto, inspeccione err.response antes de continuar.
  2. El circuit breaker. Sin él, cada solicitud paga el timeout completo contra un principal caído antes de seguir. Tras tres fallos seguidos, el principal se omite durante 30 segundos. Después, la siguiente solicitud lo vuelve a probar.
  3. Registre quién respondió. Devuelva el nombre del proveedor y conserve reply.model. Cuando cambie la calidad, necesitará saber qué proveedor respondió.
  4. Presupuesto de razonamiento. GLM 5.3 razona antes de responder. La documentación de BroadNet indica que el razonamiento cuenta para max_tokens, así que deje 1,000 o más en todos los proveedores.

¿Cómo se mapean los IDs de modelo entre proveedores?

El mismo modelo de pesos abiertos tiene un ID distinto en cada proveedor, y las funciones que indica cada uno pueden variar. GLM 5.3 al 15 de noviembre de 2026:

BroadNet Inference DeepInfra Fireworks AI
ID del modelo broadnet/glm-5.3 zai-org/GLM-5.3 accounts/fireworks/models/glm-5p3
Contexto 1,048,576 tokens 1,048,576 tokens “1040k” tokens
Herramientas Documentadas “Function” indicado Compatibles
Salida estructurada Documentada “JSON” indicado No verificado

De aquí salen dos reglas. Primero, mantenga el mapeo en la configuración, no disperso por el código. Segundo, ajuste el respaldo a lo que usan sus solicitudes. En BroadNet, las herramientas y la salida estructurada están documentadas solo para GLM 5.3 y Qwen3.8 27B. Un agente que llama a herramientas puede hacer failover de GLM 5.3 a GLM 5.3 en otro proveedor. No puede hacerlo con seguridad hacia un modelo que no documente herramientas. Si el respaldo tiene una ventana de contexto menor, recorte el prompt u omita ese respaldo para solicitudes largas. Las URLs base de 14 proveedores están en la referencia de URLs base.

¿Cómo mantener respuestas comparables tras un cambio?

Los mismos pesos en dos proveedores pueden responder distinto, porque los proveedores pueden servir precisiones, plantillas de chat o parámetros por defecto diferentes. Un modelo distinto responde distinto con toda seguridad.

  • Ejecute su conjunto de evaluación contra cada entrada de la lista, no solo contra el principal.
  • Fije temperature, max_tokens y el prompt del sistema en cada solicitud, para que los valores por defecto del proveedor no cambien la salida.
  • Valide la salida estructurada de la misma manera en todas las rutas. Cómo corregir JSON inválido explica el ciclo de reparación y reintento.
  • Prefiera el mismo modelo en otro proveedor antes que otro modelo en el mismo proveedor. Los usuarios notan más un cambio de estilo que unos segundos de latencia.

¿Y el streaming y las llamadas a herramientas?

Un stream puede fallar a la mitad. La documentación de BroadNet indica que un stream que termina antes de data: [DONE] debe tratarse como incompleto: registre el X-Request-ID y decida si su aplicación puede enviar una nueva solicitud con seguridad.

  • Antes del primer token: haga failover sin problema. El usuario no ha visto nada.
  • Después de mostrar tokens: reinicie en el respaldo y reemplace la respuesta parcial, o muestre un error con un botón para reintentar. Unir dos medias respuestas de proveedores distintos se lee mal.
  • Llamadas a herramientas con efectos secundarios: nunca vuelva a ejecutar un paso que envía un correo, cobra una tarjeta o escribe en una base de datos solo porque falló la llamada al modelo. Asigne a cada acción una clave de idempotencia. Agentes de larga duración explica los checkpoints.

Streaming con SSE explica cómo detectar un stream que terminó antes de tiempo.

¿Cuánto cuesta el failover?

  • Trabajo duplicado. Un timeout de su lado no demuestra que el proveedor se haya detenido. Con facturación por token, cada reintento es una nueva inferencia, así que cuente con pagar dos veces algunas solicitudes.
  • Precios distintos. El respaldo factura con sus propias tarifas. DeepInfra publicaba un precio promocional para GLM-5.3 el 15 de noviembre de 2026, así que vuelva a comprobarlo antes de presupuestar. BroadNet cobra $0.78 de entrada, $0.173 de entrada en caché y $3.46 de salida por 1M de tokens.
  • Cachés frías. La entrada en caché no se traslada entre proveedores. Las primeras solicitudes en el respaldo pagan el precio completo de entrada por un prefijo que estaba en caché en el principal. Consulte tokens de entrada en caché.
  • Hedging. Enviar cada solicitud a dos proveedores a la vez y quedarse con la primera respuesta reduce la latencia de cola, pero casi duplica la factura. Úselo solo donde la latencia lo justifique.

¿El respaldo cumple las mismas condiciones de datos?

Un proveedor de respaldo es otro encargado del tratamiento que recibe los mismos prompts. Si prometió algo a sus clientes sobre sus datos, la promesa tiene que cumplirse en cada entrada de la lista.

La declaración de privacidad de BroadNet dice: “We do not retain prompts, audio, images, answers or transcripts” (Traducción: «No conservamos prompts, audio, imágenes, respuestas ni transcripciones»). El contenido de inferencia no se conserva; los metadatos necesarios de cuenta, facturación y seguridad se conservan según describe esa declaración. También indica que los datos de inferencia no se usan para entrenar, ajustar ni evaluar modelos. La declaración dice que los modelos alojados “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Traducción: «se ejecutan en hardware propio o arrendado por BroadNet en Estados Unidos, con capacidad de socios como respaldo»); DeepSeek V4.1 Flash está alojado por un socio. Para datos con requisitos de residencia, los términos (sección 7.3a) indican acordar los lugares de procesamiento antes de enviarlos. Revise los mismos puntos en el respaldo: retención, uso para entrenamiento, ubicación y subencargados. Si no cumple, deje las solicitudes sensibles fuera de la ruta de respaldo y haga que fallen de forma cerrada. La lista de verificación de retención cero de datos reúne las preguntas.

¿Conviene usar un gateway como LiteLLM?

Use un gateway si varios servicios necesitan las mismas reglas de fallback. El proxy de LiteLLM acepta una lista fallbacks que se prueba en orden. num_retries reintenta un grupo de modelos antes de pasar al fallback. allowed_fails y cooldown_time retiran por un tiempo un despliegue que falla, lo que funciona como circuit breaker. context_window_fallbacks y content_policy_fallbacks, por separado, manejan esos tipos de error (documentación de LiteLLM, consultado el 15 de noviembre de 2026):

model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60

La guía del proxy de LiteLLM muestra la entrada de BroadNet completa. Ambas entradas usan el prefijo genérico openai/ de LiteLLM con un api_base, el mismo patrón que usa la guía. Un gateway añade un salto más y otra pieza que mantener en funcionamiento. Para una sola app, bastan unas 40 líneas en su cliente, como las de arriba.

¿Cómo probar el failover antes de necesitarlo?

  1. Apunte el principal a un host inaccesible en una configuración de prueba y compruebe que las solicitudes llegan al respaldo.
  2. Envíe una solicitud inválida a propósito y compruebe que no hace failover.
  3. Use una clave principal inválida y compruebe que el 401 aparece como error, no como un cambio silencioso.
  4. Observe el breaker: tras tres fallos, el principal debería omitirse sin esperar el timeout.
  5. Configure una alerta cuando el respaldo atienda más de una pequeña parte del tráfico. Un failover silencioso puede ocultar un principal averiado durante días.

El Router de LiteLLM acepta mock_testing_fallbacks=True en pruebas directas para forzar un fallback.

Dónde encaja BroadNet Inference

BroadRouter es el sitio web de BroadNet, y BroadNet Inference puede ocupar cualquiera de las dos posiciones de su lista. Como principal, le ofrece GLM 5.3 y Qwen3.8 27B con herramientas y salida estructurada documentadas, además de Gemma 4 VL 26B y DeepSeek V4.1 Flash, en una sola URL base y sin retener contenido. Como respaldo, es un endpoint más compatible con OpenAI que añadir a la lista. En ambos casos, la lógica de failover es suya: BroadNet no enruta entre proveedores y el autoservicio no tiene SLA. Si necesita niveles de servicio contractuales, solo están disponibles con un acuerdo escrito aparte. Compare los modelos o cree una cuenta y pruebe su cadena con el crédito inicial de $5 en Gemma 4 VL 26B. GLM 5.3 y Qwen3.8 27B requieren una recarga.

Preguntas frecuentes

¿Qué errores deberían activar el fallback de una API de LLM?

Errores de conexión, timeouts, 5xx y 429 por límite de tasa, después de los reintentos propios del SDK. No haga failover ante 400, 401, 402, 403, 413 o 422: el problema está en la solicitud o en la cuenta, y el siguiente proveedor fallará igual o esconderá un problema de facturación.

¿BroadNet hace failover a otro proveedor automáticamente?

No. BroadNet Inference no enruta solicitudes entre modelos ni proveedores, y BroadRouter, este sitio, es el sitio informativo de BroadNet, no un router. El fallback lo construye usted en su cliente o en un gateway como LiteLLM.

¿Puedo usar el mismo ID de modelo en todos los proveedores?

No. Cada proveedor nombra de forma distinta el mismo modelo de pesos abiertos. GLM 5.3 es `broadnet/glm-5.3` en BroadNet, `zai-org/GLM-5.3` en DeepInfra y `accounts/fireworks/models/glm-5p3` en Fireworks (consultado el 15 de noviembre de 2026). Mantenga un mapeo por proveedor.

¿Los intentos fallidos cuestan dinero?

Pueden costar. Un timeout de su lado no demuestra que el proveedor haya dejado de trabajar, y con facturación por token cada reintento es una nueva inferencia. Prevea en su presupuesto algunas solicitudes cobradas dos veces y limite los intentos por solicitud.

¿El proveedor de respaldo debe tener las mismas condiciones de privacidad?

Sí. Un respaldo es otro encargado del tratamiento que ve los mismos prompts. Revise sus condiciones de retención, entrenamiento y lugar de procesamiento antes de añadirlo; de lo contrario, su promesa de privacidad solo se cumple mientras el principal esté activo.

¿BroadNet tiene un SLA?

No para el autoservicio. Los términos de BroadNet (sección 7.4) indican que el autoservicio no tiene compromiso de disponibilidad; los niveles de servicio solo existen en un acuerdo escrito aparte.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity