---
title: "Error 429 API LLM: backoff, jitter, dan antrean | BroadRouter"
description: "429 vs 5xx, exponential backoff dengan full jitter, limiter konkurensi, dan antrean untuk API LLM, dengan kode Python dan Node yang siap dipakai di produksi."
url: https://broadrouter.com/id/blog/handle-llm-api-429-rate-limits/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/handle-llm-api-429-rate-limits/) (diperbarui 2026-11-15).

# Cara mengatasi error 429 API LLM: backoff, jitter, dan limiter

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan 2026-11-14 · Diperbarui 2026-11-15

Error 429 berarti Anda menyentuh batas laju, konkurensi, atau pengeluaran. Coba ulang dengan exponential backoff yang dibatasi plus jitter acak, dan patuhi Retry-After jika dikirim. Lalu cegah sebagian besar 429: batasi permintaan yang sedang berjalan dengan semaphore sesuai batas kunci, dan antrekan sisanya. Coba ulang 5xx dengan cara yang sama; error 4xx lainnya diperbaiki, bukan dicoba ulang.

## Poin penting

-   Coba ulang 429 dan 5xx dengan exponential backoff yang dibatasi. Jangan coba ulang 400, 401, 403, 413, atau 422: perbaiki permintaan atau akunnya.
-   Full jitter (waktu tunggu acak antara nol dan batas eksponensial) mencegah banyak klien mencoba ulang pada saat yang sama.
-   Sebagian besar 429 berasal dari konkurensi, bukan volume. Semaphore yang diatur sesuai batas permintaan berjalan milik kunci menghilangkannya dari sumbernya.
-   Kunci BroadNet bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan berjalan bersamaan; sesi paket menjalankan satu permintaan dalam satu waktu.
-   Retry adalah inferensi baru. Pada penagihan per token, setiap retry ditagih lagi, jadi batasi jumlah percobaannya.

**Di halaman ini**

1.  Apa beda 429 dan 5xx?
2.  Batas apa saja yang memicu 429?
3.  Bagaimana menulis backoff dengan jitter?
4.  Bagaimana mencegah 429 sebelum terjadi?
5.  Kapan Anda butuh antrean sungguhan?
6.  Kesalahan retry mana yang mengubah 429 menjadi gangguan layanan?
7.  Posisi BroadNet Inference

Error 429 berarti trafik Anda melewati sebuah [rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/): permintaan per menit, permintaan yang sedang berjalan (in flight), token per menit, atau pengeluaran. Atasi dalam dua bagian. **Retry dengan benar**: exponential backoff yang dibatasi dengan jitter acak, dan patuhi `Retry-After`. **Kirim lebih sedikit sekaligus**: semaphore sesuai batas permintaan berjalan milik kunci, ditambah antrean. Keduanya ada di bawah, lengkap dengan kodenya.

Untuk referensi kode status lengkap, lihat [panduan error dan retry](https://broadrouter.com/id/guides/errors-and-retries/); untuk agen yang berjalan berjam-jam dengan checkpoint dan timeout, lihat [agen yang berjalan lama: timeout dan retry](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/).

## Apa beda 429 dan 5xx?

| Status | Masalah siapa | Coba ulang? | Caranya |
| --- | --- | --- | --- |
| 429 | Trafik Anda melewati batas | Ya | Backoff dengan jitter; patuhi `Retry-After`; turunkan konkurensi |
| 500 / 502 / 503 / 504 | Sisi server | Ya | Exponential backoff yang dibatasi |
| Koneksi terputus, timeout | Jaringan atau server | Biasanya | Backoff; untuk stream, hanya jika tagihan baru bisa diterima |
| 400 / 422 | Permintaan salah | Tidak | Perbaiki payload |
| 401 / 402 / 403 | Kunci, saldo, atau kebijakan | Tidak | Perbaiki kunci, isi saldo akun, perbaiki allow-list |
| 413 | Permintaan terlalu besar | Tidak | Perkecil |

Di BroadNet Inference, 429 bisa berarti salah satu dari empat batas: laju, konkurensi, laju token, atau pengeluaran. Batas pengeluaran tidak akan hilang dalam 30 detik. Dokumentasi BroadNet tidak menyebut field mana di body error yang menamai batasnya, jadi catat body-nya dan bandingkan dengan batas yang tertera di detail kunci Anda.

Dataset terbuka kami tentang [free tier dan rate limit API LLM](https://broadrouter.com/data/llm-api-free-tiers-and-rate-limits/) membandingkan apa yang dipublikasikan 14 penyedia tentang akses gratis, rate limit awal, syarat kartu, dan pelatihan dengan data free tier, beserta sumber dan tanggal setiap nilainya.

## Batas apa saja yang memicu 429?

Kenali angka yang Anda hadapi. Di BroadNet Inference:

| Jenis kunci | Permintaan / menit | Berjalan bersamaan | Lainnya |
| --- | --- | --- | --- |
| Bayar sesuai pemakaian | 30 | 4 | Anggaran pengeluaran bersama |
| Kunci per jam | 120 | 1 stream | 300,000 token / menit |
| Sesi paket unlimited | — | 1 permintaan per sesi | Tanpa meteran token |

Untuk LLM, angka permintaan berjalan paling penting. Jawaban streaming menahan slotnya sampai token terakhir tiba, jadi jawaban panjang membuat slot itu sibuk selama model menuliskannya (BroadNet menyebut kecepatan umum sekitar 100 token per detik). Jika Anda mengirim panggilan paralel lebih banyak daripada 4 slot milik kunci, panggilan kelebihannya kena 429 meskipun Anda hanya mengirim segelintir permintaan di menit itu. Itu masalah [konkurensi](https://broadrouter.com/id/glossary/concurrency/), dan backoff saja menanganinya dengan buruk. Untuk menentukan jumlah worker terhadap suatu batas sebelum peluncuran, pakai [kalkulator rate limit LLM](https://broadrouter.com/tools/llm-rate-limit-calculator/) gratis. Untuk job tetap berisi banyak item, [perencana job batch LLM](https://broadrouter.com/tools/llm-batch-job-planner/) mengubah batas yang sama menjadi perkiraan waktu jalan. Penyedia lain menghitung dengan cara berbeda (token per menit, permintaan per hari, atau permintaan berjalan); [rate limit API LLM per penyedia](https://broadrouter.com/id/blog/llm-api-rate-limits-by-provider/) membandingkan 13 penyedia berdasarkan dokumentasi mereka sendiri.

## Bagaimana menulis backoff dengan jitter?

[Exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/) biasa menunggu 1, 2, 4, 8 detik. Jika seratus worker dibatasi pada saat yang sama, semuanya kembali pada saat yang sama pula. Simulasi AWS dengan 100 klien yang saling berebut menemukan bahwa full jitter memangkas jumlah panggilan lebih dari separuh dan selesai lebih cepat daripada backoff tanpa jitter. Versi paling sederhana, **full jitter**, menunggu waktu acak antara nol dan batas eksponensial:

```python
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)
```

`max_retries=0` mematikan retry bawaan SDK agar Anda tidak mencoba ulang dua kali. Jika perilaku bawaan SDK sudah cukup, kebalikannya juga bisa: tidak usah memakai loop Anda sendiri dan atur `max_retries=4` di klien, seperti yang ditunjukkan [panduan SDK Python](https://broadrouter.com/id/guides/openai-python-sdk/). SDK resmi Python dan Node secara default mencoba ulang error koneksi, 408, 409, 429, dan 5xx sebanyak dua kali.

`Retry-After` adalah header standar (RFC 9110) yang bisa berisi detik atau tanggal. Dokumentasi BroadNet tidak menjanjikannya, jadi kode di atas memperlakukannya sebagai opsional.

## Bagaimana mencegah 429 sebelum terjadi?

Batasi permintaan yang sedang berjalan sesuai batas kunci. Di Python, `asyncio.Semaphore` melakukannya dengan satu objek dan satu blok `async with`. Kode ini memakai 4 sebagai contoh; atur nilainya ke batas permintaan berjalan milik kunci Anda (4 pada kunci BroadNet bayar sesuai pemakaian):

```python
import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
```

`gather` memulai semua task, tetapi yang berjalan bersamaan hanya sebanyak yang diizinkan semaphore. Sisanya menunggu di antrean semaphore. Di Node, paket `p-limit` melakukan hal yang sama, lagi-lagi dengan 4 sebagai nilai contoh:

```javascript
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
```

Jika ada batas per menit juga, tambahkan token bucket yang melepas satu izin setiap 60 / rpm detik, dengan rpm adalah batas permintaan per menit milik kunci Anda (30 pada kunci BroadNet bayar sesuai pemakaian).

## Kapan Anda butuh antrean sungguhan?

Semaphore hanya hidup di satu proses. Begitu beberapa worker atau server berbagi satu kunci, batasnya juga dibagi dan setiap proses hanya melihat trafiknya sendiri. Lalu:

1.  Masukkan job ke antrean bersama (Redis, SQS, tabel database).
2.  Jalankan consumer dalam jumlah tetap, sama dengan batas permintaan berjalan milik kunci.
3.  Beri setiap job sebuah ID dan simpan hasil berdasarkan ID, agar job yang dicoba ulang tidak berjalan dua kali.
4.  Kirim trafik interaktif dan trafik batch lewat kunci atau antrean terpisah, agar tumpukan batch tidak pernah menghalangi pengguna yang sedang menunggu balasan.

Untuk job massal berisi ribuan item tanpa Batch API, lihat [runner batch yang bisa dilanjutkan](https://broadrouter.com/id/blog/llm-batch-processing-without-batch-api/).

## Kesalahan retry mana yang mengubah 429 menjadi gangguan layanan?

-   **Retry tanpa batas.** Loop retry tanpa batas saat gangguan panjang melipatgandakan beban Anda dan, pada penagihan per token, tagihan Anda.
-   **Mencoba ulang stream yang setengah jadi secara membabi buta.** Jika stream sudah mengembalikan token, retry adalah inferensi baru dan pengguna bisa melihat teks dua kali. Lihat [artikel streaming](https://broadrouter.com/id/blog/llm-streaming-sse-explained/) untuk mendeteksi stream yang tidak lengkap.
-   **Mencoba ulang error akun.** 401 karena jatah bayar sesuai pemakaian habis atau 402 karena saldo tidak cukup tidak akan beres sendiri.

Catat setiap retry beserta status, waktu tunggu, dan header respons `X-Request-ID`, yang diminta dokumentasi BroadNet untuk disimpan demi keperluan dukungan. Tingkat retry yang naik adalah peringatan paling awal bahwa Anda butuh kapasitas lebih; [logging pemakaian](https://broadrouter.com/id/blog/llm-api-usage-logging/) menunjukkan cara mencatatnya.

## Posisi BroadNet Inference

Batas BroadNet dipublikasikan dan cukup kecil untuk dijadikan dasar desain: 4 permintaan berjalan bersamaan pada kunci bayar sesuai pemakaian. Itu cocok untuk aplikasi dan agen, tetapi terlalu sempit untuk job massal yang menginginkan ratusan panggilan paralel pada satu kunci. Untuk agen, [paket unlimited](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/) tidak punya meteran token dan menjalankan satu permintaan dalam satu waktu per sesi; untuk pekerjaan paralel Anda menambah sesi, seperti dijelaskan di [menjalankan coding agent paralel](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/). Batas terkini ada di [referensi API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-handle-llm-api-429-rate-limits&utm_content=body#limits).

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/)

Exponential backoff adalah strategi percobaan ulang di mana client menunggu makin lama setelah setiap percobaan yang gagal, biasanya menggandakan jedanya sampai batas tertentu, sebelum mencoba lagi. Menambahkan jitter acak pada setiap jeda menyebarkan percobaan ulang dari banyak client agar tidak menghantam server pada saat yang sama.

[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

[Request timeout (batas waktu permintaan)](https://broadrouter.com/id/glossary/request-timeout/)

Request timeout adalah waktu terlama sebuah client HTTP menunggu server sebelum membatalkan permintaan. Client biasanya membaginya menjadi connect timeout untuk membuka koneksi dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar karena jawaban panjang butuh waktu.

[Batch API](https://broadrouter.com/id/glossary/batch-api/)

Batch API adalah endpoint LLM asinkron yang menerima banyak request sekaligus, biasanya sebagai file, memprosesnya dalam jangka waktu tertentu alih-alih seketika, lalu mengembalikan hasilnya bersama-sama. Penyedia seperti OpenAI dan Anthropic memberi harga request batch dengan diskon dibanding API standar mereka.

## Pertanyaan umum

### Apa arti HTTP 429 di API LLM?

Too Many Requests (terlalu banyak permintaan). Anda melewati batas permintaan per menit, permintaan yang sedang berjalan, token per menit, atau pengeluaran. Permintaan itu tidak diproses, jadi aman untuk dikirim lagi setelah menunggu.

### Berapa lama harus menunggu sebelum mencoba ulang 429?

Pakai Retry-After jika server mengirimnya. Jika tidak, mulai dari sekitar satu detik, gandakan di setiap percobaan, beri batas sekitar 30 sampai 60 detik, dan pilih waktu tunggu acak antara nol dan batas itu. Berhenti setelah empat sampai enam percobaan.

### Apakah error 500 dan 503 dari API LLM perlu dicoba ulang?

Ya, dengan backoff terbatas yang sama. Keduanya masalah di sisi server. Error 400, 401, 403, atau 422 akan gagal dengan cara yang sama setiap kali, jadi perbaiki saja.

### Apakah SDK OpenAI otomatis mencoba ulang 429?

Ya. SDK resmi Python dan Node secara default mencoba ulang error koneksi, 408, 409, 429, dan 5xx sebanyak dua kali dengan exponential backoff singkat. Naikkan max\_retries untuk job batch dan tambahkan batas konkurensi Anda sendiri.

### Kenapa saya kena 429 padahal masih di bawah batas permintaan per menit?

Biasanya karena batas konkurensi. Respons streaming yang panjang tetap berjalan selama banyak detik, sehingga beberapa panggilan paralel saja bisa menyentuh batas permintaan berjalan sementara hitungan per menitnya terlihat rendah.

## Baca juga

-   [Agent yang berjalan lama: timeout, retry, dan checkpoint yang andal](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/)
-   [Penjelasan streaming LLM: chunk SSE, delta, usage, dan pembatalan](https://broadrouter.com/id/blog/llm-streaming-sse-explained/)
-   [Cara menjalankan agen coding paralel dengan API LLM harga tetap](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/)
-   [Logging pemakaian API LLM: biaya per pengguna dan fitur, tanpa PII](https://broadrouter.com/id/blog/llm-api-usage-logging/)
-   [Batch processing LLM tanpa Batch API: runner yang bisa dilanjutkan](https://broadrouter.com/id/blog/llm-batch-processing-without-batch-api/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Panduan: Cara kerja paket API LLM unlimited untuk agen](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-handle-llm-api-429-rate-limits&utm_content=page-cta) ·

**Sumber**

-   [Referensi API BroadNet Inference, error dan batas (diakses 2026-11-14) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-handle-llm-api-429-rate-limits&utm_content=sources#errors)
-   [AWS Architecture Blog, Exponential Backoff and Jitter (diakses 2026-11-14)](https://aws.amazon.com/blogs/architecture/exponential-backoff-and-jitter/)
-   [RFC 6585, kode status 429 Too Many Requests (diakses 2026-11-14)](https://www.rfc-editor.org/rfc/rfc6585#section-4)
-   [RFC 9110, header Retry-After (diakses 2026-11-14)](https://www.rfc-editor.org/rfc/rfc9110#field.retry-after)
-   [README openai-python, retry otomatis (diakses 2026-11-14)](https://github.com/openai/openai-python)
-   [README openai-node, retry (diakses 2026-11-14)](https://github.com/openai/openai-node)
