---
title: "Ralat 429 API LLM: had kadar, backoff, jitter, baris gilir"
description: "429 vs 5xx, backoff eksponen dengan full jitter, pengehad keserentakan dan baris gilir untuk API LLM, dengan kod Python dan Node yang boleh disalin ke pengeluaran."
url: https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/handle-llm-api-429-rate-limits/) (dikemas kini 2026-11-15).

# Cara mengendalikan ralat 429 API LLM: backoff, jitter dan pengehad

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan 2026-11-14 · Dikemas kini 2026-11-15

Ralat 429 bermaksud anda mencapai had kadar, keserentakan atau perbelanjaan. Cuba semula dengan backoff eksponen yang dihadkan dan jitter rawak, dan patuhi Retry-After jika dihantar. Kemudian cegah kebanyakan 429: hadkan permintaan yang sedang berjalan dengan semaphore pada had kunci dan letakkan selebihnya dalam baris gilir. Cuba semula 5xx dengan cara yang sama; betulkan ralat 4xx yang lain.

## Perkara utama

-   Cuba semula 429 dan 5xx dengan backoff eksponen yang terhad. Jangan cuba semula 400, 401, 403, 413 atau 422: betulkan permintaan atau akaun.
-   Full jitter (masa menunggu rawak antara sifar dan had eksponen) menghalang banyak klien mencuba semula pada saat yang sama.
-   Kebanyakan 429 berpunca daripada keserentakan, bukan volum. Semaphore yang ditetapkan pada had permintaan serentak kunci menghapuskannya di punca.
-   Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 serentak; sesi pelan menjalankan satu permintaan pada satu masa.
-   Cuba semula ialah inferens baharu. Pada pengebilan setiap token, setiap satu dibilkan semula, jadi hadkan bilangan cubaan.

**Dalam halaman ini**

1.  Apakah perbezaan antara 429 dan 5xx?
2.  Had apakah yang menyebabkan 429?
3.  Bagaimanakah menulis backoff dengan jitter?
4.  Bagaimanakah mencegah 429 sebelum ia berlaku?
5.  Bilakah anda memerlukan baris gilir sebenar?
6.  Kesilapan cuba semula manakah yang menukar 429 menjadi gangguan perkhidmatan?
7.  Di manakah BroadNet Inference sesuai

Ralat 429 bermaksud trafik anda telah melepasi [had kadar](https://broadrouter.com/ms/glossary/rate-limit/): permintaan seminit, permintaan serentak, token seminit atau perbelanjaan. Betulkannya dalam dua bahagian. **Cuba semula dengan betul**: backoff eksponen yang dihadkan dengan jitter rawak, mematuhi `Retry-After`. **Hantar lebih sedikit serentak**: semaphore pada had permintaan serentak kunci, ditambah baris gilir. Kedua-duanya ada di bawah, dengan kod.

Untuk rujukan kod status yang lengkap, lihat [panduan ralat dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/); untuk larian ejen berjam-jam dengan checkpoint dan tamat masa, lihat [ejen jangka panjang: tamat masa dan cuba semula](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/).

## Apakah perbezaan antara 429 dan 5xx?

| Status | Masalah siapa | Cuba semula? | Caranya |
| --- | --- | --- | --- |
| 429 | Trafik anda melepasi had | Ya | Backoff dengan jitter; patuhi `Retry-After`; kurangkan keserentakan |
| 500 / 502 / 503 / 504 | Sebelah pelayan | Ya | Backoff eksponen yang terhad |
| Sambungan diset semula, tamat masa | Rangkaian atau pelayan | Biasanya | Backoff; untuk strim, hanya jika bil baharu boleh diterima |
| 400 / 422 | Permintaan salah | Tidak | Betulkan payload |
| 401 / 402 / 403 | Kunci, baki atau dasar | Tidak | Betulkan kunci, isi dana akaun, betulkan senarai benar |
| 413 | Permintaan terlalu besar | Tidak | Kecilkannya |

Di BroadNet Inference, 429 boleh bermaksud mana-mana daripada empat had: kadar, keserentakan, kadar token atau perbelanjaan. Had perbelanjaan tidak akan pulih dalam 30 saat. Dokumentasi BroadNet tidak menyatakan medan mana dalam badan ralat yang menamakan had itu, jadi log badan ralat dan bandingkan dengan had yang ditunjukkan dalam butiran kunci anda.

Set data terbuka kami tentang [peringkat percuma dan had kadar API LLM](https://broadrouter.com/data/llm-api-free-tiers-and-rate-limits/) membandingkan apa yang diterbitkan oleh 14 penyedia tentang akses percuma, had kadar permulaan, keperluan kad dan latihan pada data peringkat percuma, dengan sumber dan tarikh bagi setiap nilai.

## Had apakah yang menyebabkan 429?

Ketahui angka yang anda hadapi. Di BroadNet Inference:

| Jenis kunci | Permintaan / minit | Serentak | Lain-lain |
| --- | --- | --- | --- |
| Bayar ikut guna | 30 | 4 | Bajet perbelanjaan dikongsi |
| Kunci sejam | 120 | 1 strim | 300,000 token / minit |
| Sesi pelan tanpa had | — | 1 permintaan setiap sesi | Tiada meter token |

Angka permintaan serentak paling penting untuk LLM. Jawapan berstrim memegang slotnya sehingga token terakhir tiba, jadi jawapan yang panjang menahan slot itu selama mana model mengambil masa untuk menulisnya (BroadNet memberikan kelajuan biasa kira-kira 100 token sesaat). Hantar lebih banyak panggilan selari daripada 4 slot kunci itu dan panggilan tambahan akan mendapat 429, walaupun anda hanya menghantar beberapa permintaan dalam minit itu. Itu masalah [keserentakan](https://broadrouter.com/ms/glossary/concurrency/), dan backoff sahaja tidak menanganinya dengan baik. Untuk menentukan bilangan pekerja berbanding had sebelum pelancaran, gunakan [kalkulator had kadar LLM](https://broadrouter.com/tools/llm-rate-limit-calculator/) percuma. Untuk kerja tetap dengan banyak item, [perancang kerja batch LLM](https://broadrouter.com/tools/llm-batch-job-planner/) menukar had yang sama kepada masa larian. Penyedia lain mengira secara berbeza (token seminit, permintaan sehari atau permintaan serentak); [had kadar API LLM mengikut penyedia](https://broadrouter.com/ms/blog/llm-api-rate-limits-by-provider/) membandingkan 13 daripadanya berdasarkan dokumentasi mereka sendiri.

## Bagaimanakah menulis backoff dengan jitter?

[Backoff eksponen](https://broadrouter.com/ms/glossary/exponential-backoff/) biasa menunggu 1, 2, 4, 8 saat. Jika seratus pekerja didikit pada saat yang sama, semuanya kembali pada saat yang sama. Simulasi AWS dengan 100 klien yang bersaing mendapati full jitter mengurangkan bilangan panggilan lebih daripada separuh dan selesai lebih awal berbanding backoff tanpa jitter. Versi paling mudah, **full jitter**, menunggu masa rawak antara sifar dan had eksponen:

```python
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)
```

`max_retries=0` mematikan cuba semula SDK sendiri supaya anda tidak mencuba semula dua kali. Jika anda berpuas hati dengan tingkah laku terbina dalam SDK, sebaliknya juga berfungsi: tinggalkan gelung anda dan tetapkan `max_retries=4` pada klien, seperti yang ditunjukkan dalam [panduan SDK Python](https://broadrouter.com/ms/guides/openai-python-sdk/). SDK rasmi Python dan Node mencuba semula ralat sambungan, 408, 409, 429 dan 5xx dua kali secara lalai.

`Retry-After` ialah pengepala standard (RFC 9110) yang mungkin mengandungi bilangan saat atau tarikh. Dokumentasi BroadNet tidak menjanjikannya, jadi kod menganggapnya pilihan.

## Bagaimanakah mencegah 429 sebelum ia berlaku?

Hadkan permintaan serentak pada had kunci. Dalam Python, `asyncio.Semaphore` melakukannya dengan satu objek dan satu blok `async with`. Kod ini menggunakan 4 sebagai contoh; tetapkannya kepada had permintaan serentak kunci anda (4 pada kunci bayar ikut guna BroadNet):

```python
import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
```

`gather` memulakan setiap tugasan, tetapi hanya sebanyak yang dibenarkan oleh semaphore berjalan serentak. Selebihnya menunggu dalam baris gilir semaphore. Dalam Node, pakej `p-limit` melakukan perkara yang sama, sekali lagi dengan 4 sebagai nilai contoh:

```javascript
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
```

Jika ada juga had seminit, tambah token bucket yang melepaskan satu permit setiap 60 / rpm saat, dengan rpm ialah had permintaan seminit kunci anda (30 pada kunci bayar ikut guna BroadNet).

## Bilakah anda memerlukan baris gilir sebenar?

Semaphore hidup dalam satu proses. Apabila beberapa pekerja atau pelayan berkongsi satu kunci, hadnya dikongsi dan setiap proses hanya melihat trafiknya sendiri. Kemudian:

1.  Letakkan kerja dalam baris gilir dikongsi (Redis, SQS, jadual pangkalan data).
2.  Jalankan bilangan pengguna baris gilir yang tetap, sama dengan had permintaan serentak kunci.
3.  Beri setiap kerja ID dan simpan hasil mengikut ID, supaya kerja yang dicuba semula tidak berjalan dua kali.
4.  Hantar trafik interaktif dan trafik batch melalui kunci berasingan atau baris gilir berasingan, supaya tunggakan batch tidak pernah menyekat pengguna yang menunggu jawapan.

Untuk kerja pukal beribu-ribu item tanpa Batch API, lihat [pelari batch yang boleh disambung semula](https://broadrouter.com/ms/blog/llm-batch-processing-without-batch-api/).

## Kesilapan cuba semula manakah yang menukar 429 menjadi gangguan perkhidmatan?

-   **Cuba semula tanpa had.** Gelung cuba semula tanpa had semasa gangguan panjang menggandakan beban anda dan, pada pengebilan setiap token, bil anda.
-   **Mencuba semula strim yang separuh siap secara membuta tuli.** Jika strim sudah memulangkan token, cuba semula ialah inferens baharu dan pengguna mungkin melihat teks dua kali. Lihat [artikel penstriman](https://broadrouter.com/ms/blog/llm-streaming-sse-explained/) untuk mengesan strim yang tidak lengkap.
-   **Mencuba semula ralat akaun.** Ralat 401 kerana elaun bayar ikut guna sudah habis atau 402 kerana baki tidak mencukupi tidak akan pulih sendiri.

Log setiap cuba semula dengan status, masa menunggu dan pengepala respons `X-Request-ID`, yang diminta oleh dokumentasi BroadNet untuk disimpan bagi tujuan sokongan. Kadar cuba semula yang meningkat ialah amaran paling awal bahawa anda memerlukan lebih kapasiti; [pengelogan penggunaan](https://broadrouter.com/ms/blog/llm-api-usage-logging/) menunjukkan cara merekodkannya.

## Di manakah BroadNet Inference sesuai

Had BroadNet diterbitkan dan cukup kecil untuk direka bentuk mengikutnya: 4 permintaan serentak pada kunci bayar ikut guna. Itu sesuai untuk aplikasi dan ejen, tetapi terlalu ketat untuk kerja pukal yang mahukan ratusan panggilan selari pada satu kunci. Untuk ejen, [pelan tanpa had](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/) tiada meter token dan menjalankan satu permintaan pada satu masa bagi setiap sesi; anda menambah sesi untuk kerja selari, seperti yang diterangkan dalam [menjalankan ejen pengekodan selari](https://broadrouter.com/ms/blog/run-parallel-coding-agents-flat-rate/). Had semasa ada dalam [rujukan API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-handle-llm-api-429-rate-limits&utm_content=body#limits).

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/)

Had kadar ialah had yang ditetapkan oleh API ke atas jumlah penggunaan klien dalam satu tempoh masa, seperti permintaan seminit atau token seminit. Permintaan yang melebihi had ditolak, biasanya dengan HTTP 429 Too Many Requests, sehingga penggunaan turun semula di bawahnya.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Backoff eksponen (exponential backoff)](https://broadrouter.com/ms/glossary/exponential-backoff/)

Backoff eksponen ialah strategi cuba semula di mana klien menunggu lebih lama selepas setiap percubaan yang gagal, biasanya menggandakan kelewatan sehingga had tertentu, sebelum mencuba lagi. Menambah jitter rawak pada setiap penantian menyebarkan cubaan semula daripada banyak klien supaya mereka tidak mengenai pelayan pada saat yang sama.

[Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/)

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

[Tamat masa permintaan (request timeout)](https://broadrouter.com/ms/glossary/request-timeout/)

Tamat masa permintaan (request timeout) ialah tempoh paling lama klien HTTP menunggu pelayan sebelum meninggalkan permintaan. Klien biasanya membahagikannya kepada connect timeout untuk membuka sambungan dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar kerana jawapan panjang mengambil masa.

## Soalan lazim

### Apakah maksud HTTP 429 pada API LLM?

Too Many Requests. Anda telah melepasi had permintaan seminit, permintaan serentak, token seminit atau perbelanjaan. Permintaan itu tidak diproses, jadi ia selamat dihantar semula selepas menunggu.

### Berapa lama saya patut menunggu sebelum mencuba semula 429?

Gunakan Retry-After jika pelayan menghantarnya. Jika tidak, mulakan sekitar satu saat, gandakan pada setiap cubaan, hadkan sekitar 30 hingga 60 saat, dan pilih masa menunggu rawak antara sifar dan had itu. Berhenti selepas empat hingga enam cubaan.

### Patutkah saya mencuba semula ralat 500 dan 503 daripada API LLM?

Ya, dengan backoff terhad yang sama. Ralat ini di sebelah pelayan. Ralat 400, 401, 403 atau 422 akan gagal dengan cara yang sama setiap kali, jadi betulkannya.

### Adakah SDK OpenAI mencuba semula 429 secara automatik?

Ya. SDK rasmi Python dan Node mencuba semula ralat sambungan, 408, 409, 429 dan 5xx dua kali secara lalai dengan backoff eksponen yang singkat. Naikkan max\_retries untuk kerja batch dan tambah had keserentakan anda sendiri.

### Mengapakah saya mendapat 429 sedangkan saya di bawah had permintaan seminit?

Biasanya kerana had keserentakan. Respons penstriman yang panjang kekal berjalan selama beberapa saat, jadi beberapa panggilan selari boleh mencapai had permintaan serentak walaupun kiraan seminit kelihatan rendah.

## Teruskan membaca

-   [Ejen yang berjalan lama: tamat masa, cubaan semula dan checkpoint](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/)
-   [Penstriman LLM diterangkan: chunk SSE, delta, usage dan pembatalan](https://broadrouter.com/ms/blog/llm-streaming-sse-explained/)
-   [Cara menjalankan ejen pengekodan selari pada API LLM kadar tetap](https://broadrouter.com/ms/blog/run-parallel-coding-agents-flat-rate/)
-   [Log penggunaan API LLM: kos setiap pengguna dan ciri, PII disunting](https://broadrouter.com/ms/blog/llm-api-usage-logging/)
-   [Pemprosesan kelompok LLM tanpa Batch API: pelari boleh sambung](https://broadrouter.com/ms/blog/llm-batch-processing-without-batch-api/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Panduan: Cara pelan API LLM tanpa had berfungsi untuk ejen](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-handle-llm-api-429-rate-limits&utm_content=page-cta) ·

**Sumber**

-   [Rujukan API BroadNet Inference, ralat dan had (disemak 2026-11-14) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-handle-llm-api-429-rate-limits&utm_content=sources#errors)
-   [AWS Architecture Blog, Exponential Backoff and Jitter (disemak 2026-11-14)](https://aws.amazon.com/blogs/architecture/exponential-backoff-and-jitter/)
-   [RFC 6585, kod status 429 Too Many Requests (disemak 2026-11-14)](https://www.rfc-editor.org/rfc/rfc6585#section-4)
-   [RFC 9110, pengepala Retry-After (disemak 2026-11-14)](https://www.rfc-editor.org/rfc/rfc9110#field.retry-after)
-   [README openai-python, cuba semula automatik (disemak 2026-11-14)](https://github.com/openai/openai-python)
-   [README openai-node, cuba semula (disemak 2026-11-14)](https://github.com/openai/openai-node)
