BroadRouter
Commencer

Backoff exponentiel (exponential backoff)

Mis à jour

Le backoff exponentiel est une stratégie de nouvelle tentative dans laquelle un client attend plus longtemps après chaque échec, en doublant généralement le délai jusqu’à un plafond, avant de réessayer. Ajouter un jitter aléatoire à chaque attente étale les tentatives de nombreux clients, pour qu’elles ne frappent pas le serveur au même instant.

Aussi appelé : backoff exponentiel, exponential backoff, recul exponentiel, backoff avec jitter, retry avec backoff, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

Quand une API dit « ralentissez », réessayer tout de suite aggrave la situation. Le backoff exponentiel attend un peu plus longtemps à chaque fois.

Comment ça marche

Après un échec, attendez un délai de base, puis doublez-le à chaque nouvel échec, jusqu’à un maximum. Avec une base de 1 seconde et un plafond de 32 secondes, les attentes sont de 1, 2, 4, 8, 16, 32, 32 secondes. Arrêtez après un nombre fixe de tentatives et remontez l’erreur.

Le backoff seul ne suffit pas. Si 100 clients échouent au même moment, ils réessaient tous aux mêmes moments. L’article de Marc Brooker sur le blog d’AWS compare « Full Jitter » (une attente aléatoire entre zéro et le plafond courant), « Equal Jitter » et « Decorrelated Jitter ». Equal Jitter s’en sort le moins bien, et Full Jitter « uses less work, but slightly more time » (traduction : « demande moins de travail, mais un peu plus de temps »). Sa conclusion : le backoff avec jitter « should be considered a standard approach for remote clients » (traduction : « devrait être considéré comme l’approche standard pour les clients distants »).

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

Pourquoi c’est important

  • Les 429 comptent aussi. Le guide d’OpenAI sur les limites de débit prévient que « unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work » (traduction : « les requêtes en échec comptent dans votre limite par minute : renvoyer une requête en boucle ne fonctionnera donc pas »). Marteler une limite de débit vous maintient bloqué.
  • Les retries se multiplient. La Builders’ Library d’AWS note que les retries sont « selfish » (traduction : « égoïstes ») et recommande de relancer à un seul endroit de la pile ; relancer à chaque couche peut multiplier la charge de nombreuses fois.
  • Effets de bord. Relancer un appel qui coûte de l’argent n’est sûr qu’avec une clé d’idempotence.
  • Mieux vaut prévenir que relancer. Plafonnez les requêtes en cours sous votre limite de concurrence, pour que les 429 restent rares dès le départ.

Sur BroadNet Inference

Le tableau des erreurs de BroadNet recommande de répondre à un 429 avec « response details and bounded backoff » (traduction : « les détails de la réponse et un backoff borné ») et de relancer les 500, 502, 503 et 504 « with bounded exponential backoff » (traduction : « avec un backoff exponentiel borné »). Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Pour les erreurs 400, 401, 403, 413 et 422, corrigez d’abord la cause. Conservez l’en-tête X-Request-ID pour le support. Le guide des erreurs et des retries règle le nombre de retries des SDK, et gérer les 429 des API de LLM fournit du code de limiteur et de file d’attente. Le calculateur de limite de débit montre quel trafic tient sous une limite.

Questions fréquentes

Quelles erreurs faut-il relancer avec un backoff ?

Les limites de débit (429), les erreurs serveur (5xx), les timeouts et les connexions coupées. Ne relancez pas telles quelles les erreurs 400, 401, 403, 413 ou 422 : corrigez d’abord la requête ou la clé.

Pourquoi ajouter du jitter ?

Sans jitter, des clients qui ont échoué ensemble réessaient ensemble et surchargent à nouveau le serveur. Le jitter rend chaque attente aléatoire, ce qui étale les nouvelles tentatives.

Les SDK d’OpenAI font-ils déjà du backoff ?

Oui. Les SDK officiels d’OpenAI relancent les erreurs de connexion et les réponses 429 et 5xx avec un court backoff exponentiel. Définissez explicitement max_retries, plus élevé pour les longs traitements par lots, et ajoutez votre propre limiteur par-dessus.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity