Saat API berkata “pelan-pelan”, langsung mencoba ulang justru memperburuk keadaan. Exponential backoff menunggu lebih lama setiap kali.
Cara kerjanya
Setelah gagal, tunggu selama jeda dasar, lalu gandakan setiap kali gagal lagi, sampai batas maksimum. Dengan jeda dasar 1 detik dan batas 32 detik, jedanya menjadi 1, 2, 4, 8, 16, 32, 32 detik. Berhenti setelah jumlah percobaan tertentu dan teruskan error-nya.
Backoff saja tidak cukup. Jika 100 client gagal pada saat yang sama, semuanya juga akan mencoba ulang pada saat yang sama. Tulisan AWS dari Marc Brooker membandingkan “Full Jitter” (jeda acak antara nol dan batas saat ini), “Equal Jitter”, dan “Decorrelated Jitter”. Equal Jitter tampil paling lemah, dan Full Jitter “uses less work, but slightly more time.” (terjemahan: memakai lebih sedikit kerja, tetapi sedikit lebih banyak waktu.) Kesimpulannya: backoff dengan jitter “should be considered a standard approach for remote clients.” (terjemahan: sebaiknya dianggap pendekatan standar untuk client jarak jauh.)
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Kenapa ini penting
- 429 juga dihitung. Panduan rate limit OpenAI memperingatkan bahwa “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (terjemahan: permintaan yang gagal ikut dihitung dalam batas per menit Anda, jadi terus mengirim ulang permintaan tidak akan berhasil.) Terus menghantam rate limit membuat Anda tetap terkunci.
- Percobaan ulang berlipat ganda. Builders’ Library dari AWS mencatat bahwa percobaan ulang itu “selfish” (terjemahan: egois) dan menyarankan percobaan ulang di satu titik saja dalam stack; mencoba ulang di setiap lapisan bisa melipatgandakan beban berkali-kali.
- Efek samping. Mencoba ulang panggilan yang menarik biaya hanya aman dengan idempotency key.
- Mencegah lebih baik daripada mencoba ulang. Batasi permintaan yang berjalan di bawah batas konkurensi Anda agar 429 jarang terjadi sejak awal.
Di BroadNet Inference
Tabel error BroadNet meminta Anda menanggapi 429 dengan “response details and bounded backoff” (terjemahan: detail respons dan backoff yang dibatasi) dan mencoba ulang 500, 502, 503, dan 504 “with bounded exponential backoff.” (terjemahan: dengan exponential backoff yang dibatasi.) Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan berjalan bersamaan. Untuk 400, 401, 403, 413, dan 422, perbaiki penyebabnya dulu. Simpan header X-Request-ID untuk dukungan. Panduan error dan percobaan ulang mengatur jumlah percobaan ulang SDK, dan cara menangani 429 di API LLM berisi kode limiter dan antrean. Kalkulator rate limit menunjukkan seberapa banyak trafik yang muat di bawah sebuah batas.