BroadRouter
Loslegen

Exponentieller Backoff (Exponential Backoff)

Aktualisiert

Exponentieller Backoff ist eine Retry-Strategie, bei der ein Client nach jedem fehlgeschlagenen Versuch länger wartet, meist mit Verdopplung der Wartezeit bis zu einer Obergrenze, bevor er es erneut versucht. Zufälliger Jitter auf jeder Wartezeit verteilt die Retries vieler Clients, damit sie den Server nicht im selben Moment treffen.

Auch genannt: Exponential Backoff, exponentieller Backoff, Backoff mit Jitter, Retry mit Backoff, Wiederholungsstrategie, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

Wenn eine API „langsamer“ sagt, macht ein sofortiger Retry alles schlimmer. Exponentieller Backoff wartet jedes Mal länger.

So funktioniert es

Warten Sie nach einem Fehler eine Basiszeit und verdoppeln Sie sie bei jedem neuen Fehler, bis zu einem Maximum. Mit 1 Sekunde Basis und 32 Sekunden Obergrenze lauten die Wartezeiten 1, 2, 4, 8, 16, 32, 32 Sekunden. Hören Sie nach einer festen Zahl von Versuchen auf und geben Sie den Fehler weiter.

Backoff allein reicht nicht. Scheitern 100 Clients im selben Moment, wiederholen sie auch alle in denselben Momenten. Marc Brookers AWS-Beitrag vergleicht „Full Jitter“ (eine zufällige Wartezeit zwischen null und der aktuellen Obergrenze), „Equal Jitter“ und „Decorrelated Jitter“. Equal Jitter schnitt am schwächsten ab, und Full Jitter „uses less work, but slightly more time“ (Übersetzung: „verursacht weniger Arbeit, braucht aber etwas mehr Zeit“). Sein Fazit: Backoff mit Jitter „should be considered a standard approach for remote clients“ (Übersetzung: „sollte als Standardansatz für entfernte Clients gelten“).

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

Warum es wichtig ist

  • Auch 429 zählen. Der Leitfaden von OpenAI zu Rate Limits warnt: „unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work“ (Übersetzung: „erfolglose Anfragen zählen zu Ihrem Limit pro Minute; eine Anfrage ständig neu zu senden funktioniert also nicht“). Wer ein Rate Limit mit Anfragen bombardiert, bleibt ausgesperrt.
  • Retries vervielfachen sich. Die Builders’ Library von AWS merkt an, dass Retries „selfish“ (Übersetzung: „egoistisch“) sind, und empfiehlt, an einer einzigen Stelle im Stack zu wiederholen; Retries auf jeder Ebene können die Last um ein Vielfaches erhöhen.
  • Nebenwirkungen. Einen Aufruf zu wiederholen, der Geld kostet, ist nur mit einem Idempotency Key sicher.
  • Vorbeugen schlägt Wiederholen. Begrenzen Sie die offenen Anfragen unter Ihrem Concurrency-Limit, damit 429 von vornherein selten bleiben.

Bei BroadNet Inference

Die Fehlertabelle von BroadNet empfiehlt, auf ein 429 mit „response details and bounded backoff“ (Übersetzung: „den Details der Antwort und begrenztem Backoff“) zu reagieren und 500, 502, 503 und 504 „with bounded exponential backoff“ (Übersetzung: „mit begrenztem exponentiellem Backoff“) zu wiederholen. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig offene. Bei 400, 401, 403, 413 und 422 beheben Sie zuerst die Ursache. Bewahren Sie den Header X-Request-ID für den Support auf. Die Anleitung zu Fehlercodes und Retries setzt die Retry-Zahlen der SDKs, und Umgang mit 429 bei LLM-APIs enthält Code für Limiter und Warteschlange. Der Rate-Limit-Rechner zeigt, wie viel Traffic unter ein Limit passt.

Häufige Fragen

Welche Fehler sollte ich mit Backoff wiederholen?

Rate Limits (429), Serverfehler (5xx), Timeouts und abgebrochene Verbindungen. Wiederholen Sie 400, 401, 403, 413 oder 422 nicht unverändert; beheben Sie zuerst die Anfrage oder den Schlüssel.

Warum Jitter hinzufügen?

Ohne Jitter wiederholen Clients, die gemeinsam gescheitert sind, auch gemeinsam und überlasten den Server erneut. Jitter macht jede Wartezeit zufällig, sodass sich die Retries verteilen.

Nutzen die OpenAI-SDKs schon Backoff?

Ja. Die offiziellen OpenAI-SDKs wiederholen Verbindungsfehler sowie Antworten mit 429 und 5xx mit kurzem exponentiellem Backoff. Setzen Sie max_retries ausdrücklich, höher bei langen Batch-Jobs, und ergänzen Sie einen eigenen Limiter.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen