BroadRouter
Começar

Backoff exponencial (exponential backoff)

Atualizado em

Backoff exponencial é uma estratégia de retry em que o cliente espera mais tempo depois de cada tentativa que falha, normalmente dobrando o atraso até um teto, antes de tentar de novo. Adicionar um jitter aleatório a cada espera espalha os retries de muitos clientes, para que não atinjam o servidor no mesmo instante.

Também chamado de: backoff exponencial, retry com backoff, backoff com jitter, novas tentativas exponenciais, exponential backoff, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

Quando uma API diz “vá mais devagar”, tentar de novo na hora piora tudo. O backoff exponencial espera mais a cada vez.

Como funciona

Depois de uma falha, espere um atraso base e dobre-o a cada nova falha, até um máximo. Com base de 1 segundo e teto de 32 segundos, as esperas ficam em 1, 2, 4, 8, 16, 32, 32 segundos. Pare depois de um número fixo de tentativas e exponha o erro.

O backoff sozinho não basta. Se 100 clientes falham no mesmo momento, todos tentam de novo nos mesmos momentos também. O post de Marc Brooker no blog da AWS compara “Full Jitter” (uma espera aleatória entre zero e o teto atual), “Equal Jitter” e “Decorrelated Jitter”. O Equal Jitter se saiu pior, e o Full Jitter “uses less work, but slightly more time” (tradução: gasta menos trabalho, mas um pouco mais de tempo). A conclusão dele: o backoff com jitter “should be considered a standard approach for remote clients” (tradução: deve ser considerado uma abordagem padrão para clientes remotos).

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

Por que isso importa

  • Os 429 também contam. O guia de rate limits da OpenAI avisa que “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work” (tradução: requisições malsucedidas contam para o seu limite por minuto, então reenviar uma requisição sem parar não funciona). Martelar um rate limit mantém você bloqueado.
  • Retries se multiplicam. A Builders’ Library da AWS observa que retries são “selfish” (egoístas) e recomenda repetir em um único ponto da stack; repetir em todas as camadas pode multiplicar a carga muitas vezes.
  • Efeitos colaterais. Repetir uma chamada que cobra dinheiro só é seguro com uma idempotency key.
  • Prevenir é melhor que repetir. Limite as requisições em andamento abaixo do seu limite de concorrência, para que os 429 sejam raros desde o começo.

Na BroadNet Inference

A tabela de erros da BroadNet diz para responder a um 429 com “response details and bounded backoff” (tradução: os detalhes da resposta e um backoff limitado) e para repetir 500, 502, 503 e 504 “with bounded exponential backoff” (com backoff exponencial limitado). Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. Para 400, 401, 403, 413 e 422, corrija a causa antes. Guarde o header X-Request-ID para o suporte. O guia de erros e retries define a quantidade de retries dos SDKs, e como tratar o erro 429 em APIs de LLM traz código de limitador e fila. A calculadora de rate limit mostra quanto tráfego cabe dentro de um limite.

Perguntas frequentes

Quais erros devo repetir com backoff?

Rate limits (429), erros de servidor (5xx), timeouts e conexões derrubadas. Não repita 400, 401, 403, 413 ou 422 sem mudar nada; corrija antes a requisição ou a chave.

Por que adicionar jitter?

Sem jitter, clientes que falharam juntos tentam de novo juntos e sobrecarregam o servidor outra vez. O jitter torna cada espera aleatória, e os retries se espalham.

Os SDKs da OpenAI já fazem backoff?

Sim. Os SDKs oficiais da OpenAI repetem erros de conexão e respostas 429 e 5xx com um backoff exponencial curto. Defina max_retries explicitamente, mais alto para jobs em lote longos, e adicione o seu próprio limitador por cima.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity