Apabila API berkata “perlahankan”, mencuba semula serta-merta hanya memburukkan keadaan. Backoff eksponen menunggu lebih lama setiap kali.
Cara ia berfungsi
Selepas kegagalan, tunggu kelewatan asas, kemudian gandakannya pada setiap kegagalan baharu, sehingga had maksimum. Dengan asas 1 saat dan had 32 saat, tempoh menunggu ialah 1, 2, 4, 8, 16, 32, 32 saat. Berhenti selepas bilangan percubaan yang tetap dan paparkan ralat.
Backoff sahaja tidak mencukupi. Jika 100 klien gagal pada saat yang sama, kesemuanya juga mencuba semula pada saat yang sama. Artikel AWS oleh Marc Brooker membandingkan “Full Jitter” (penantian rawak antara sifar dan had semasa), “Equal Jitter” dan “Decorrelated Jitter”. Equal Jitter paling lemah, dan Full Jitter “uses less work, but slightly more time.” (Terjemahan BroadRouter: “menggunakan kurang kerja, tetapi sedikit lebih banyak masa.”) Kesimpulannya: backoff dengan jitter “should be considered a standard approach for remote clients.” (Terjemahan BroadRouter: “patut dianggap pendekatan standard untuk klien jauh.”)
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Mengapa ia penting
- 429 juga dikira. Panduan had kadar OpenAI memberi amaran bahawa “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (Terjemahan BroadRouter: “permintaan yang gagal dikira dalam had seminit anda, jadi menghantar semula permintaan secara berterusan tidak akan berhasil.”) Terus mengasak had kadar hanya membuatkan anda terus disekat.
- Cubaan semula berganda. Builders’ Library AWS menyatakan cubaan semula bersifat “selfish” (mementingkan diri) dan mengesyorkan cuba semula di satu titik sahaja dalam tindanan; mencuba semula di setiap lapisan boleh menggandakan beban berkali-kali.
- Kesan sampingan. Mencuba semula panggilan yang mengenakan bayaran hanya selamat dengan kunci idempotensi.
- Pencegahan lebih baik daripada cuba semula. Hadkan permintaan serentak di bawah had keserentakan anda supaya 429 jarang berlaku sejak awal.
Di BroadNet Inference
Jadual ralat BroadNet menyarankan agar 429 dijawab dengan “response details and bounded backoff” (Terjemahan BroadRouter: “butiran respons dan backoff yang terhad”) dan 500, 502, 503 serta 504 dicuba semula “with bounded exponential backoff.” (Terjemahan BroadRouter: “dengan backoff eksponen yang terhad.”) Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Untuk 400, 401, 403, 413 dan 422, betulkan puncanya dahulu. Simpan pengepala X-Request-ID untuk sokongan. Panduan ralat dan cuba semula menetapkan bilangan cuba semula SDK, dan cara mengendalikan 429 API LLM mengandungi kod pengehad dan baris gilir. Kalkulator had kadar menunjukkan berapa banyak trafik yang muat di bawah sesuatu had.