BroadRouter
Começar

Fallback de modelo (model fallback)

Atualizado em

Fallback de modelo é um padrão de confiabilidade em que uma requisição de LLM que falhou é repetida em outro modelo ou provedor de uma lista ordenada. O gatilho pode ser um erro, um rate limit, um erro de tamanho de contexto ou uma recusa por política de conteúdo. Roda no cliente ou em um gateway na frente das APIs.

Também chamado de: fallback de modelo, fallback de LLM, modelo reserva, failover de LLM, failover entre provedores, model fallback, fallback model, model failover, provider fallback

Toda API tem seus minutos ruins. Com fallback, um minuto ruim em um provedor não vira uma queda no seu app.

Como funciona

Você mantém uma lista ordenada de modelos. Quando uma chamada falha, depois das suas próprias novas tentativas, o próximo da lista recebe a mesma requisição.

Dois gateways das fontes:

Gateway Como o fallback funciona
Proxy LiteLLM fallbacks lista grupos de modelos, tentados “in-order” (em ordem). context_window_fallbacks e content_policy_fallbacks, separados, tratam esses tipos de erro. num_retries repete um grupo antes do fallback; allowed_fails e cooldown_time tiram de circulação por um tempo um deployment que está falhando.
OpenRouter Um array models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (tradução: se o primeiro modelo retornar um erro, o OpenRouter tenta automaticamente o próximo modelo da lista). Qualquer erro pode acioná-lo, incluindo tamanho de contexto, moderação, rate limits e indisponibilidade. Se o último modelo falhar, esse erro é retornado.

Uma versão mínima do lado do cliente:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Por que importa

  • Disponibilidade. Um segundo provedor cobre incidentes e rate limits do primeiro.
  • Saída diferente. O modelo reserva escreve de outro jeito, usa ferramentas de outro jeito e pode custar mais. Rode a sua eval em todos os modelos da cadeia, não só no primeiro.
  • Não faça fallback nos seus próprios bugs. Um 400 ou 422 significa que a requisição está errada; ela vai falhar no próximo modelo também. Faça fallback em 429, timeouts e 5xx depois de um backoff exponencial limitado.

Na BroadNet Inference

A BroadNet não roteia requisições automaticamente e não tem fallback entre modelos. O BroadRouter, este site, é o site de informações da BroadNet e também não roteia requisições. Você implementa o fallback: no seu cliente, como acima (o passo a passo de failover de API de LLM adiciona um circuit breaker e o mapeamento de IDs de modelo), ou em um gateway; veja LLM router e o guia do proxy LiteLLM para adicionar a BroadNet como provedor. A referência da API da BroadNet diz para repetir 5xx com backoff exponencial limitado e usar os detalhes da resposta e um backoff limitado em 429. O guia de erros e novas tentativas lista cada status.

Erros comuns

  • Fazer fallback em erros 401 ou 402, o que esconde um problema de cobrança ou de chave.
  • Não registrar qual modelo atendeu cada resposta, o que dificulta rastrear mudanças de qualidade.

Perguntas frequentes

Devo tentar de novo ou fazer fallback primeiro?

Tente de novo primeiro em falhas curtas, como um 503. O LiteLLM funciona assim: ele só passa para outro grupo de modelos depois que uma chamada falha num_retries vezes.

Por qual modelo sou cobrado depois de um fallback?

No OpenRouter, pelo que atendeu a requisição: ele diz que as requisições "are priced using the model that was ultimately used" (tradução: são cobradas pelo modelo que acabou sendo usado), informado no campo model da resposta.

A BroadNet faz roteamento ou fallback automático?

Não. A BroadNet não oferece roteamento automático, e o BroadRouter é o site de informações da BroadNet, não um router. Implemente o fallback no seu cliente ou coloque um gateway como o LiteLLM na frente.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity