Error 429 berarti trafik Anda melewati sebuah rate limit (batas laju): permintaan per menit, permintaan yang sedang berjalan (in flight), token per menit, atau pengeluaran. Atasi dalam dua bagian. Retry dengan benar: exponential backoff yang dibatasi dengan jitter acak, dan patuhi Retry-After. Kirim lebih sedikit sekaligus: semaphore sesuai batas permintaan berjalan milik kunci, ditambah antrean. Keduanya ada di bawah, lengkap dengan kodenya.
Untuk referensi kode status lengkap, lihat panduan error dan retry; untuk agen yang berjalan berjam-jam dengan checkpoint dan timeout, lihat agen yang berjalan lama: timeout dan retry.
Apa beda 429 dan 5xx?
| Status | Masalah siapa | Coba ulang? | Caranya |
|---|---|---|---|
| 429 | Trafik Anda melewati batas | Ya | Backoff dengan jitter; patuhi Retry-After; turunkan konkurensi |
| 500 / 502 / 503 / 504 | Sisi server | Ya | Exponential backoff yang dibatasi |
| Koneksi terputus, timeout | Jaringan atau server | Biasanya | Backoff; untuk stream, hanya jika tagihan baru bisa diterima |
| 400 / 422 | Permintaan salah | Tidak | Perbaiki payload |
| 401 / 402 / 403 | Kunci, saldo, atau kebijakan | Tidak | Perbaiki kunci, isi saldo akun, perbaiki allow-list |
| 413 | Permintaan terlalu besar | Tidak | Perkecil |
Di BroadNet Inference, 429 bisa berarti salah satu dari empat batas: laju, konkurensi, laju token, atau pengeluaran. Batas pengeluaran tidak akan hilang dalam 30 detik. Dokumentasi BroadNet tidak menyebut field mana di body error yang menamai batasnya, jadi catat body-nya dan bandingkan dengan batas yang tertera di detail kunci Anda.
Dataset terbuka kami tentang free tier dan rate limit API LLM membandingkan apa yang dipublikasikan 14 penyedia tentang akses gratis, rate limit awal, syarat kartu, dan pelatihan dengan data free tier, beserta sumber dan tanggal setiap nilainya.
Batas apa saja yang memicu 429?
Kenali angka yang Anda hadapi. Di BroadNet Inference:
| Jenis kunci | Permintaan / menit | Berjalan bersamaan | Lainnya |
|---|---|---|---|
| Bayar sesuai pemakaian | 30 | 4 | Anggaran pengeluaran bersama |
| Kunci per jam | 120 | 1 stream | 300,000 token / menit |
| Sesi paket unlimited | — | 1 permintaan per sesi | Tanpa meteran token |
Untuk LLM, angka permintaan berjalan paling penting. Jawaban streaming menahan slotnya sampai token terakhir tiba, jadi jawaban panjang membuat slot itu sibuk selama model menuliskannya (BroadNet menyebut kecepatan umum sekitar 100 token per detik). Jika Anda mengirim panggilan paralel lebih banyak daripada 4 slot milik kunci, panggilan kelebihannya kena 429 meskipun Anda hanya mengirim segelintir permintaan di menit itu. Itu masalah konkurensi, dan backoff saja menanganinya dengan buruk. Untuk menentukan jumlah worker terhadap suatu batas sebelum peluncuran, pakai kalkulator rate limit LLM gratis. Untuk job tetap berisi banyak item, perencana job batch LLM mengubah batas yang sama menjadi perkiraan waktu jalan. Penyedia lain menghitung dengan cara berbeda (token per menit, permintaan per hari, atau permintaan berjalan); rate limit API LLM per penyedia membandingkan 13 penyedia berdasarkan dokumentasi mereka sendiri.
Bagaimana menulis backoff dengan jitter?
Exponential backoff biasa menunggu 1, 2, 4, 8 detik. Jika seratus worker dibatasi pada saat yang sama, semuanya kembali pada saat yang sama pula. Simulasi AWS dengan 100 klien yang saling berebut menemukan bahwa full jitter memangkas jumlah panggilan lebih dari separuh dan selesai lebih cepat daripada backoff tanpa jitter. Versi paling sederhana, full jitter, menunggu waktu acak antara nol dan batas eksponensial:
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
RETRYABLE = {429, 500, 502, 503, 504}
def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
for attempt in range(max_attempts):
try:
return client.chat.completions.create(**kwargs)
except (RateLimitError, APIStatusError, APIConnectionError) as e:
status = getattr(e, "status_code", None)
if status is not None and status not in RETRYABLE:
raise # 400, 401, 403...: retrying will not help
if attempt == max_attempts - 1:
raise
retry_after = None
if getattr(e, "response", None) is not None:
retry_after = e.response.headers.get("retry-after")
wait = random.uniform(0, min(cap, base * 2 ** attempt))
if retry_after and retry_after.isdigit():
wait = max(wait, float(retry_after))
time.sleep(wait)
max_retries=0 mematikan retry bawaan SDK agar Anda tidak mencoba ulang dua kali. Jika perilaku bawaan SDK sudah cukup, kebalikannya juga bisa: tidak usah memakai loop Anda sendiri dan atur max_retries=4 di klien, seperti yang ditunjukkan panduan SDK Python. SDK resmi Python dan Node secara default mencoba ulang error koneksi, 408, 409, 429, dan 5xx sebanyak dua kali.
Retry-After adalah header standar (RFC 9110) yang bisa berisi detik atau tanggal. Dokumentasi BroadNet tidak menjanjikannya, jadi kode di atas memperlakukannya sebagai opsional.
Bagaimana mencegah 429 sebelum terjadi?
Batasi permintaan yang sedang berjalan sesuai batas kunci. Di Python, asyncio.Semaphore melakukannya dengan satu objek dan satu blok async with. Kode ini memakai 4 sebagai contoh; atur nilainya ke batas permintaan berjalan milik kunci Anda (4 pada kunci BroadNet bayar sesuai pemakaian):
import asyncio, os
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4) # match the key's in-flight limit
async def ask(prompt):
async with slots:
r = await client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main(prompts):
return await asyncio.gather(*(ask(p) for p in prompts))
results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
gather memulai semua task, tetapi yang berjalan bersamaan hanya sebanyak yang diizinkan semaphore. Sisanya menunggu di antrean semaphore. Di Node, paket p-limit melakukan hal yang sama, lagi-lagi dengan 4 sebagai nilai contoh:
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";
const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit
async function ask(prompt) {
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: prompt }],
});
return r.choices[0].message.content;
}
const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
Jika ada batas per menit juga, tambahkan token bucket yang melepas satu izin setiap 60 / rpm detik, dengan rpm adalah batas permintaan per menit milik kunci Anda (30 pada kunci BroadNet bayar sesuai pemakaian).
Kapan Anda butuh antrean sungguhan?
Semaphore hanya hidup di satu proses. Begitu beberapa worker atau server berbagi satu kunci, batasnya juga dibagi dan setiap proses hanya melihat trafiknya sendiri. Lalu:
- Masukkan job ke antrean bersama (Redis, SQS, tabel database).
- Jalankan consumer dalam jumlah tetap, sama dengan batas permintaan berjalan milik kunci.
- Beri setiap job sebuah ID dan simpan hasil berdasarkan ID, agar job yang dicoba ulang tidak berjalan dua kali.
- Kirim trafik interaktif dan trafik batch lewat kunci atau antrean terpisah, agar tumpukan batch tidak pernah menghalangi pengguna yang sedang menunggu balasan.
Untuk job massal berisi ribuan item tanpa Batch API, lihat runner batch yang bisa dilanjutkan.
Kesalahan retry mana yang mengubah 429 menjadi gangguan layanan?
- Retry tanpa batas. Loop retry tanpa batas saat gangguan panjang melipatgandakan beban Anda dan, pada penagihan per token, tagihan Anda.
- Mencoba ulang stream yang setengah jadi secara membabi buta. Jika stream sudah mengembalikan token, retry adalah inferensi baru dan pengguna bisa melihat teks dua kali. Lihat artikel streaming untuk mendeteksi stream yang tidak lengkap.
- Mencoba ulang error akun. 401 karena jatah bayar sesuai pemakaian habis atau 402 karena saldo tidak cukup tidak akan beres sendiri.
Catat setiap retry beserta status, waktu tunggu, dan header respons X-Request-ID, yang diminta dokumentasi BroadNet untuk disimpan demi keperluan dukungan. Tingkat retry yang naik adalah peringatan paling awal bahwa Anda butuh kapasitas lebih; logging pemakaian menunjukkan cara mencatatnya.
Posisi BroadNet Inference
Batas BroadNet dipublikasikan dan cukup kecil untuk dijadikan dasar desain: 4 permintaan berjalan bersamaan pada kunci bayar sesuai pemakaian. Itu cocok untuk aplikasi dan agen, tetapi terlalu sempit untuk job massal yang menginginkan ratusan panggilan paralel pada satu kunci. Untuk agen, paket unlimited tidak punya meteran token dan menjalankan satu permintaan dalam satu waktu per sesi; untuk pekerjaan paralel Anda menambah sesi, seperti dijelaskan di menjalankan coding agent paralel. Batas terkini ada di referensi API.
