BroadRouter
Inizia

Backoff esponenziale (exponential backoff)

Aggiornato

Il backoff esponenziale è una strategia di retry in cui un client aspetta sempre di più dopo ogni tentativo fallito, di solito raddoppiando il ritardo fino a un tetto, prima di riprovare. Aggiungere un jitter casuale a ogni attesa distribuisce i retry di molti client, così non colpiscono il server nello stesso istante.

Detto anche: backoff esponenziale, retry con backoff, backoff con jitter, ritentativi esponenziali, exponential backoff, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

Quando un’API ti dice “rallenta”, ritentare subito peggiora le cose. Il backoff esponenziale aspetta ogni volta di più.

Come funziona

Dopo un errore, aspetta un ritardo di base, poi raddoppialo a ogni nuovo errore, fino a un massimo. Con una base di 1 secondo e un tetto di 32 secondi, le attese sono 1, 2, 4, 8, 16, 32, 32 secondi. Fermati dopo un numero fisso di tentativi e fai emergere l’errore.

Il backoff da solo non basta. Se 100 client falliscono nello stesso momento, ritentano anche tutti negli stessi momenti. Il post di Marc Brooker sul blog di AWS confronta “Full Jitter” (un’attesa casuale tra zero e il tetto corrente), “Equal Jitter” e “Decorrelated Jitter”. Equal Jitter è risultato il più debole, e Full Jitter “uses less work, but slightly more time” (traduzione: richiede meno lavoro, ma un po’ più di tempo). La sua conclusione: il backoff con jitter “should be considered a standard approach for remote clients” (traduzione: dovrebbe essere considerato un approccio standard per i client remoti).

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

Perché è importante

  • Anche i 429 contano. La guida di OpenAI ai rate limit avverte che “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work” (traduzione: le richieste non riuscite contano nel limite al minuto, quindi reinviare di continuo una richiesta non funziona). Martellare un rate limit ti tiene bloccato fuori.
  • I retry si moltiplicano. La Builders’ Library di AWS nota che i retry sono “selfish” (egoisti) e consiglia di ritentare in un solo punto dello stack; ritentare a ogni livello può moltiplicare il carico molte volte.
  • Effetti collaterali. Ritentare una chiamata che addebita denaro è sicuro solo con una idempotency key.
  • Prevenire è meglio che ritentare. Tieni le richieste in corso sotto il tuo limite di concorrenza, così i 429 restano rari fin dall’inizio.

Su BroadNet Inference

La tabella degli errori di BroadNet dice di rispondere a un 429 con “response details and bounded backoff” (traduzione: i dettagli della risposta e un backoff limitato) e di ritentare 500, 502, 503 e 504 “with bounded exponential backoff” (con un backoff esponenziale limitato). Una chiave a consumo ammette 30 richieste al minuto e 4 in corso. Per 400, 401, 403, 413 e 422, correggi prima la causa. Conserva l’header X-Request-ID per l’assistenza. La guida a errori e retry imposta il numero di retry degli SDK, e come gestire i 429 delle API LLM contiene codice per limitatore e coda. Il calcolatore di rate limit mostra quanto traffico sta sotto un limite.

Domande frequenti

Quali errori devo ritentare con il backoff?

Rate limit (429), errori del server (5xx), timeout e connessioni interrotte. Non ritentare 400, 401, 403, 413 o 422 senza modifiche; prima correggi la richiesta o la chiave.

Perché aggiungere il jitter?

Senza jitter, i client che hanno fallito insieme ritentano insieme e sovraccaricano di nuovo il server. Il jitter rende casuale ogni attesa, così i retry si distribuiscono.

Gli SDK di OpenAI fanno già backoff?

Sì. Gli SDK ufficiali di OpenAI ritentano errori di connessione, risposte 429 e 5xx con un breve backoff esponenziale. Imposta max_retries in modo esplicito, più alto per i job batch lunghi, e aggiungi sopra un tuo limitatore.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity