BroadRouter

指数退避(exponential backoff)

更新于

指数退避(exponential backoff)是一种重试策略:客户端每失败一次,就等待更长时间再重试,通常把延迟翻倍,直到达到上限。在每次等待中加入随机抖动(jitter),可以把众多客户端的重试错开,避免它们在同一时刻打到服务器上。

又称: 退避重试、指数退避重试、随机抖动、退避算法、backoff and jitter、retry with backoff、jittered backoff、capped exponential backoff、full jitter

当 API 说“慢一点”时,立即重试只会让情况更糟。指数退避每次都多等一会儿。

工作原理

失败后先等待一个基础延迟,之后每失败一次就把延迟翻倍,直到达到最大值。基础延迟 1 秒、上限 32 秒时,等待时间依次为 1、2、4、8、16、32、32 秒。达到固定的尝试次数后就停止,把错误抛出去。

光有退避还不够。如果 100 个客户端在同一时刻失败,它们也会在同样的时刻一起重试。Marc Brooker 在 AWS 的文章中比较了 “Full Jitter”(完全抖动:在零到当前上限之间随机等待)、“Equal Jitter”(等量抖动)和 “Decorrelated Jitter”(去相关抖动)。Equal Jitter 表现最弱,而 Full Jitter “uses less work, but slightly more time.”(译文:工作量更少,但耗时略多。)他的结论是:带抖动的退避 “should be considered a standard approach for remote clients.”(译文:应被视为远程客户端的标准做法。)

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

为什么重要

  • 429 也算数。 OpenAI 的速率限制指南提醒:“unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.”(译文:失败的请求也会计入每分钟限额,所以不停地重发请求是没用的。)一个劲地冲击速率限制,只会让你一直被挡在门外。
  • 重试会成倍放大。 AWS Builders’ Library 指出重试是 “selfish”(译文:自私的),建议只在调用栈的单一位置重试;每一层都重试,负载可能被放大很多倍。
  • 副作用。 重试一个会扣费的调用,只有在使用幂等键时才安全。
  • 预防胜于重试。 把进行中的请求数控制在并发上限以下,让 429 从一开始就很少出现。

在 BroadNet Inference 上

BroadNet 的错误表要求用 “response details and bounded backoff”(译文:响应详情和有上限的退避)来应对 429,并对 500、502、503 和 504 “with bounded exponential backoff”(译文:以有上限的指数退避)重试。按量付费密钥允许每分钟 30 个请求、同时进行 4 个。对于 400、401、403、413 和 422,先修正原因。请保留 X-Request-ID 响应头以便联系支持。错误与重试指南介绍了 SDK 重试次数的设置,如何处理大模型 API 的 429 提供了限流器和队列代码。速率限制计算器能算出一个限额下能容纳多少流量。

常见问题

哪些错误应该用退避重试?

速率限制(429)、服务器错误(5xx)、超时和连接中断。400、401、403、413 或 422 不要原样重试;先修正请求或密钥。

为什么要加随机抖动?

不加的话,同时失败的客户端会同时重试,再次压垮服务器。抖动把每次等待随机化,让重试分散开来。

OpenAI 的 SDK 已经自带退避了吗?

是的。官方 OpenAI SDK 会对连接错误、429 和 5xx 响应以短暂的指数退避自动重试。请显式设置 max_retries,长时间的批处理任务设得高一些,并在此之上加一层你自己的限流器。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity