Kapag sinabi ng API na “dahan-dahan”, lalo lang lumalala kapag nag-retry ka agad. Mas matagal na naghihintay ang exponential backoff bawat pagkakataon.
Paano ito gumagana
Pagkatapos ng isang pagpalya, maghintay ng base delay, saka doblehin ito sa bawat bagong pagpalya, hanggang sa isang maximum. Sa 1-segundong base at 32-segundong cap, ganito ang mga paghihintay: 1, 2, 4, 8, 16, 32, 32 segundo. Huminto pagkatapos ng fixed na bilang ng attempt at ilabas ang error.
Hindi sapat ang backoff lang. Kung sabay-sabay pumalya ang 100 client, sabay-sabay din silang magre-retry. Ikinukumpara ng AWS post ni Marc Brooker ang “Full Jitter” (random na paghihintay mula zero hanggang sa kasalukuyang cap), “Equal Jitter” at “Decorrelated Jitter”. Equal Jitter ang pinakamahina, at ang Full Jitter ay “uses less work, but slightly more time.” (Salin ng BroadRouter: “mas kaunting trabaho ang gamit, pero bahagyang mas matagal.”) Ang konklusyon niya: ang jittered backoff ay “should be considered a standard approach for remote clients.” (Salin ng BroadRouter: “dapat ituring na karaniwang paraan para sa mga remote client.”)
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Bakit ito mahalaga
- Bilang din ang mga 429. Nagbababala ang gabay ng OpenAI sa rate limit na “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (Salin ng BroadRouter: “bilang sa per-minute limit mo ang mga hindi matagumpay na request, kaya hindi gagana ang tuloy-tuloy na muling pagpapadala ng request.”) Kapag paulit-ulit mong binabanatan ang isang rate limit, naka-lock out ka pa rin.
- Dumarami ang mga retry. Ayon sa Builders’ Library ng AWS, “selfish” (makasarili) ang mga retry, at inirerekomenda nitong mag-retry sa iisang punto lang sa stack; kapag nagre-retry ang bawat layer, puwedeng dumami nang maraming beses ang load.
- Mga side effect. Ligtas lang i-retry ang call na naniningil ng pera kapag may idempotency key.
- Mas mabuti ang pag-iwas kaysa sa retry. Limitahan ang mga request na in flight sa ibaba ng concurrency limit mo para bihira ang 429 sa simula pa lang.
Sa BroadNet Inference
Sinasabi ng error table ng BroadNet na sagutin ang 429 ng “response details and bounded backoff” (Salin ng BroadRouter: “mga detalye ng response at bounded na backoff”) at i-retry ang 500, 502, 503 at 504 “with bounded exponential backoff.” (Salin ng BroadRouter: “gamit ang bounded na exponential backoff.”) Pumapayag ang pay-as-you-go key sa 30 request kada minuto at 4 na in flight. Para sa 400, 401, 403, 413 at 422, ayusin muna ang sanhi. Itago ang X-Request-ID header para sa support. Itinatakda ng gabay sa errors at retries ang bilang ng retry ng SDK, at may limiter at queue code ang paano i-handle ang mga 429 ng LLM API. Ipinapakita ng rate limit calculator kung gaano karaming traffic ang kasya sa ilalim ng isang limit.