Setiap API bersama melindungi dirinya dengan batas. Dengan mengetahui batas mana yang berlaku, Anda tahu seberapa cepat bisa berjalan dan apa yang harus dilakukan saat terkena batas.
Cara kerjanya
API LLM mengukur beberapa hal sekaligus. OpenAI, misalnya, mencantumkan:
- RPM: permintaan per menit
- RPD: permintaan per hari
- TPM: token per menit
- TPD: token per hari
Batas mana pun yang Anda capai lebih dulu, itulah yang berlaku. Banyak penyedia juga membatasi konkurensi, yaitu jumlah permintaan yang sedang berjalan.
Jika batas terlampaui, server mengembalikan 429 Too Many Requests. MDN menggambarkannya sebagai kondisi ketika client telah “sent too many requests in a given amount of time” (terjemahan: mengirim terlalu banyak permintaan dalam rentang waktu tertentu). Header Retry-After bisa menyebutkan berapa detik harus menunggu.
Loop percobaan ulang yang aman:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
SDK OpenAI resmi sudah mencoba ulang error 429 dan 5xx dengan backoff; atur max_retries alih-alih menulis loop sendiri.
Kenapa ini penting
- Throughput. Plafon Anda yang sebenarnya adalah batas terendah dari semua batas. Pada kunci yang dibatasi 30 permintaan per menit, seperti kunci bayar sesuai pemakaian BroadNet, 1.000 permintaan butuh setidaknya 1.000 ÷ 30 menit, secepat apa pun modelnya. Kalkulator rate limit menghitungnya untuk batas Anda sendiri.
- Keandalan. 429 yang tidak ditangani terlihat seperti gangguan layanan. Backoff mengubahnya menjadi jeda singkat.
- Biaya. Sebagian penyedia juga mengembalikan 429 untuk batas pengeluaran, hal yang umum pada kunci bayar sesuai pemakaian. Baca body error sebelum mencoba ulang.
Di BroadNet Inference
| Jenis kunci | Batas |
|---|---|
| Bayar sesuai pemakaian | 30 permintaan per menit, 4 berjalan bersamaan |
| Kunci per jam | 120 permintaan per menit, satu stream, 300,000 token per menit |
| Paket unlimited | Satu permintaan dalam satu waktu per sesi, tanpa meteran token |
BroadNet mengembalikan 429 ketika batas laju, konkurensi, laju token, atau pengeluaran tercapai. Tunggu sebentar lalu coba ulang. Panduan error dan percobaan ulang membahas setiap kode status, dan arti “unlimited” yang sebenarnya menjelaskan batas apa yang masih ada pada paket harga tetap.
Kesalahan umum
- Mencoba ulang error 401 atau 403. Itu masalah kunci atau kebijakan, bukan rate limit.
- Menjalankan banyak worker pada satu kunci tanpa limiter bersama. Setiap worker melakukan backoff sendiri-sendiri sementara yang lain terus membuat kunci itu jenuh.