Toda API tem seus minutos ruins. Com fallback, um minuto ruim em um provedor não vira uma queda no seu app.
Como funciona
Você mantém uma lista ordenada de modelos. Quando uma chamada falha, depois das suas próprias novas tentativas, o próximo da lista recebe a mesma requisição.
Dois gateways das fontes:
| Gateway | Como o fallback funciona |
|---|---|
| Proxy LiteLLM | fallbacks lista grupos de modelos, tentados “in-order” (em ordem). context_window_fallbacks e content_policy_fallbacks, separados, tratam esses tipos de erro. num_retries repete um grupo antes do fallback; allowed_fails e cooldown_time tiram de circulação por um tempo um deployment que está falhando. |
| OpenRouter | Um array models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (tradução: se o primeiro modelo retornar um erro, o OpenRouter tenta automaticamente o próximo modelo da lista). Qualquer erro pode acioná-lo, incluindo tamanho de contexto, moderação, rate limits e indisponibilidade. Se o último modelo falhar, esse erro é retornado. |
Uma versão mínima do lado do cliente:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Por que importa
- Disponibilidade. Um segundo provedor cobre incidentes e rate limits do primeiro.
- Saída diferente. O modelo reserva escreve de outro jeito, usa ferramentas de outro jeito e pode custar mais. Rode a sua eval em todos os modelos da cadeia, não só no primeiro.
- Não faça fallback nos seus próprios bugs. Um 400 ou 422 significa que a requisição está errada; ela vai falhar no próximo modelo também. Faça fallback em 429, timeouts e 5xx depois de um backoff exponencial limitado.
Na BroadNet Inference
A BroadNet não roteia requisições automaticamente e não tem fallback entre modelos. O BroadRouter, este site, é o site de informações da BroadNet e também não roteia requisições. Você implementa o fallback: no seu cliente, como acima (o passo a passo de failover de API de LLM adiciona um circuit breaker e o mapeamento de IDs de modelo), ou em um gateway; veja LLM router e o guia do proxy LiteLLM para adicionar a BroadNet como provedor. A referência da API da BroadNet diz para repetir 5xx com backoff exponencial limitado e usar os detalhes da resposta e um backoff limitado em 429. O guia de erros e novas tentativas lista cada status.
Erros comuns
- Fazer fallback em erros 401 ou 402, o que esconde um problema de cobrança ou de chave.
- Não registrar qual modelo atendeu cada resposta, o que dificulta rastrear mudanças de qualidade.