Ralat 429 bermaksud trafik anda telah melepasi had kadar: permintaan seminit, permintaan serentak, token seminit atau perbelanjaan. Betulkannya dalam dua bahagian. Cuba semula dengan betul: backoff eksponen yang dihadkan dengan jitter rawak, mematuhi Retry-After. Hantar lebih sedikit serentak: semaphore pada had permintaan serentak kunci, ditambah baris gilir. Kedua-duanya ada di bawah, dengan kod.
Untuk rujukan kod status yang lengkap, lihat panduan ralat dan cuba semula; untuk larian ejen berjam-jam dengan checkpoint dan tamat masa, lihat ejen jangka panjang: tamat masa dan cuba semula.
Apakah perbezaan antara 429 dan 5xx?
| Status | Masalah siapa | Cuba semula? | Caranya |
|---|---|---|---|
| 429 | Trafik anda melepasi had | Ya | Backoff dengan jitter; patuhi Retry-After; kurangkan keserentakan |
| 500 / 502 / 503 / 504 | Sebelah pelayan | Ya | Backoff eksponen yang terhad |
| Sambungan diset semula, tamat masa | Rangkaian atau pelayan | Biasanya | Backoff; untuk strim, hanya jika bil baharu boleh diterima |
| 400 / 422 | Permintaan salah | Tidak | Betulkan payload |
| 401 / 402 / 403 | Kunci, baki atau dasar | Tidak | Betulkan kunci, isi dana akaun, betulkan senarai benar |
| 413 | Permintaan terlalu besar | Tidak | Kecilkannya |
Di BroadNet Inference, 429 boleh bermaksud mana-mana daripada empat had: kadar, keserentakan, kadar token atau perbelanjaan. Had perbelanjaan tidak akan pulih dalam 30 saat. Dokumentasi BroadNet tidak menyatakan medan mana dalam badan ralat yang menamakan had itu, jadi log badan ralat dan bandingkan dengan had yang ditunjukkan dalam butiran kunci anda.
Set data terbuka kami tentang peringkat percuma dan had kadar API LLM membandingkan apa yang diterbitkan oleh 14 penyedia tentang akses percuma, had kadar permulaan, keperluan kad dan latihan pada data peringkat percuma, dengan sumber dan tarikh bagi setiap nilai.
Had apakah yang menyebabkan 429?
Ketahui angka yang anda hadapi. Di BroadNet Inference:
| Jenis kunci | Permintaan / minit | Serentak | Lain-lain |
|---|---|---|---|
| Bayar ikut guna | 30 | 4 | Bajet perbelanjaan dikongsi |
| Kunci sejam | 120 | 1 strim | 300,000 token / minit |
| Sesi pelan tanpa had | — | 1 permintaan setiap sesi | Tiada meter token |
Angka permintaan serentak paling penting untuk LLM. Jawapan berstrim memegang slotnya sehingga token terakhir tiba, jadi jawapan yang panjang menahan slot itu selama mana model mengambil masa untuk menulisnya (BroadNet memberikan kelajuan biasa kira-kira 100 token sesaat). Hantar lebih banyak panggilan selari daripada 4 slot kunci itu dan panggilan tambahan akan mendapat 429, walaupun anda hanya menghantar beberapa permintaan dalam minit itu. Itu masalah keserentakan, dan backoff sahaja tidak menanganinya dengan baik. Untuk menentukan bilangan pekerja berbanding had sebelum pelancaran, gunakan kalkulator had kadar LLM percuma. Untuk kerja tetap dengan banyak item, perancang kerja batch LLM menukar had yang sama kepada masa larian. Penyedia lain mengira secara berbeza (token seminit, permintaan sehari atau permintaan serentak); had kadar API LLM mengikut penyedia membandingkan 13 daripadanya berdasarkan dokumentasi mereka sendiri.
Bagaimanakah menulis backoff dengan jitter?
Backoff eksponen biasa menunggu 1, 2, 4, 8 saat. Jika seratus pekerja didikit pada saat yang sama, semuanya kembali pada saat yang sama. Simulasi AWS dengan 100 klien yang bersaing mendapati full jitter mengurangkan bilangan panggilan lebih daripada separuh dan selesai lebih awal berbanding backoff tanpa jitter. Versi paling mudah, full jitter, menunggu masa rawak antara sifar dan had eksponen:
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
RETRYABLE = {429, 500, 502, 503, 504}
def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
for attempt in range(max_attempts):
try:
return client.chat.completions.create(**kwargs)
except (RateLimitError, APIStatusError, APIConnectionError) as e:
status = getattr(e, "status_code", None)
if status is not None and status not in RETRYABLE:
raise # 400, 401, 403...: retrying will not help
if attempt == max_attempts - 1:
raise
retry_after = None
if getattr(e, "response", None) is not None:
retry_after = e.response.headers.get("retry-after")
wait = random.uniform(0, min(cap, base * 2 ** attempt))
if retry_after and retry_after.isdigit():
wait = max(wait, float(retry_after))
time.sleep(wait)
max_retries=0 mematikan cuba semula SDK sendiri supaya anda tidak mencuba semula dua kali. Jika anda berpuas hati dengan tingkah laku terbina dalam SDK, sebaliknya juga berfungsi: tinggalkan gelung anda dan tetapkan max_retries=4 pada klien, seperti yang ditunjukkan dalam panduan SDK Python. SDK rasmi Python dan Node mencuba semula ralat sambungan, 408, 409, 429 dan 5xx dua kali secara lalai.
Retry-After ialah pengepala standard (RFC 9110) yang mungkin mengandungi bilangan saat atau tarikh. Dokumentasi BroadNet tidak menjanjikannya, jadi kod menganggapnya pilihan.
Bagaimanakah mencegah 429 sebelum ia berlaku?
Hadkan permintaan serentak pada had kunci. Dalam Python, asyncio.Semaphore melakukannya dengan satu objek dan satu blok async with. Kod ini menggunakan 4 sebagai contoh; tetapkannya kepada had permintaan serentak kunci anda (4 pada kunci bayar ikut guna BroadNet):
import asyncio, os
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4) # match the key's in-flight limit
async def ask(prompt):
async with slots:
r = await client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main(prompts):
return await asyncio.gather(*(ask(p) for p in prompts))
results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
gather memulakan setiap tugasan, tetapi hanya sebanyak yang dibenarkan oleh semaphore berjalan serentak. Selebihnya menunggu dalam baris gilir semaphore. Dalam Node, pakej p-limit melakukan perkara yang sama, sekali lagi dengan 4 sebagai nilai contoh:
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";
const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit
async function ask(prompt) {
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: prompt }],
});
return r.choices[0].message.content;
}
const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
Jika ada juga had seminit, tambah token bucket yang melepaskan satu permit setiap 60 / rpm saat, dengan rpm ialah had permintaan seminit kunci anda (30 pada kunci bayar ikut guna BroadNet).
Bilakah anda memerlukan baris gilir sebenar?
Semaphore hidup dalam satu proses. Apabila beberapa pekerja atau pelayan berkongsi satu kunci, hadnya dikongsi dan setiap proses hanya melihat trafiknya sendiri. Kemudian:
- Letakkan kerja dalam baris gilir dikongsi (Redis, SQS, jadual pangkalan data).
- Jalankan bilangan pengguna baris gilir yang tetap, sama dengan had permintaan serentak kunci.
- Beri setiap kerja ID dan simpan hasil mengikut ID, supaya kerja yang dicuba semula tidak berjalan dua kali.
- Hantar trafik interaktif dan trafik batch melalui kunci berasingan atau baris gilir berasingan, supaya tunggakan batch tidak pernah menyekat pengguna yang menunggu jawapan.
Untuk kerja pukal beribu-ribu item tanpa Batch API, lihat pelari batch yang boleh disambung semula.
Kesilapan cuba semula manakah yang menukar 429 menjadi gangguan perkhidmatan?
- Cuba semula tanpa had. Gelung cuba semula tanpa had semasa gangguan panjang menggandakan beban anda dan, pada pengebilan setiap token, bil anda.
- Mencuba semula strim yang separuh siap secara membuta tuli. Jika strim sudah memulangkan token, cuba semula ialah inferens baharu dan pengguna mungkin melihat teks dua kali. Lihat artikel penstriman untuk mengesan strim yang tidak lengkap.
- Mencuba semula ralat akaun. Ralat 401 kerana elaun bayar ikut guna sudah habis atau 402 kerana baki tidak mencukupi tidak akan pulih sendiri.
Log setiap cuba semula dengan status, masa menunggu dan pengepala respons X-Request-ID, yang diminta oleh dokumentasi BroadNet untuk disimpan bagi tujuan sokongan. Kadar cuba semula yang meningkat ialah amaran paling awal bahawa anda memerlukan lebih kapasiti; pengelogan penggunaan menunjukkan cara merekodkannya.
Di manakah BroadNet Inference sesuai
Had BroadNet diterbitkan dan cukup kecil untuk direka bentuk mengikutnya: 4 permintaan serentak pada kunci bayar ikut guna. Itu sesuai untuk aplikasi dan ejen, tetapi terlalu ketat untuk kerja pukal yang mahukan ratusan panggilan selari pada satu kunci. Untuk ejen, pelan tanpa had tiada meter token dan menjalankan satu permintaan pada satu masa bagi setiap sesi; anda menambah sesi untuk kerja selari, seperti yang diterangkan dalam menjalankan ejen pengekodan selari. Had semasa ada dalam rujukan API.
