---
title: "Apa itu rate limit API? RPM, TPM, dan HTTP 429 | BroadRouter"
description: "Rate limit membatasi seberapa banyak client memakai API dalam rentang waktu tertentu. Batas LLM seperti RPM dan TPM, arti 429, dan cara retry dengan backoff."
url: https://broadrouter.com/id/glossary/rate-limit/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/rate-limit/) (diperbarui 2026-11-14).

# Rate limit (batas laju)

Diperbarui 2026-11-14

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

Disebut juga: rate limit, batas laju, batas permintaan, RPM, TPM, permintaan per menit, token per menit, requests per minute, tokens per minute, HTTP 429, error 429, throttling

Setiap API bersama melindungi dirinya dengan batas. Dengan mengetahui batas mana yang berlaku, Anda tahu seberapa cepat bisa berjalan dan apa yang harus dilakukan saat terkena batas.

## Cara kerjanya

API LLM mengukur beberapa hal sekaligus. OpenAI, misalnya, mencantumkan:

-   **RPM:** permintaan per menit
-   **RPD:** permintaan per hari
-   **TPM:** token per menit
-   **TPD:** token per hari

Batas mana pun yang Anda capai lebih dulu, itulah yang berlaku. Banyak penyedia juga membatasi [konkurensi](https://broadrouter.com/id/glossary/concurrency/), yaitu jumlah permintaan yang sedang berjalan.

Jika batas terlampaui, server mengembalikan `429 Too Many Requests`. MDN menggambarkannya sebagai kondisi ketika client telah “sent too many requests in a given amount of time” (terjemahan: mengirim terlalu banyak permintaan dalam rentang waktu tertentu). Header `Retry-After` bisa menyebutkan berapa detik harus menunggu.

Loop percobaan ulang yang aman:

```python
import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())
```

SDK OpenAI resmi sudah mencoba ulang error 429 dan 5xx dengan backoff; atur `max_retries` alih-alih menulis loop sendiri.

## Kenapa ini penting

-   **Throughput.** Plafon Anda yang sebenarnya adalah batas terendah dari semua batas. Pada kunci yang dibatasi 30 permintaan per menit, seperti kunci bayar sesuai pemakaian BroadNet, 1.000 permintaan butuh setidaknya 1.000 ÷ 30 menit, secepat apa pun modelnya. [Kalkulator rate limit](https://broadrouter.com/tools/llm-rate-limit-calculator/) menghitungnya untuk batas Anda sendiri.
-   **Keandalan.** 429 yang tidak ditangani terlihat seperti gangguan layanan. Backoff mengubahnya menjadi jeda singkat.
-   **Biaya.** Sebagian penyedia juga mengembalikan 429 untuk batas pengeluaran, hal yang umum pada kunci [bayar sesuai pemakaian](https://broadrouter.com/id/glossary/pay-as-you-go/). Baca body error sebelum mencoba ulang.

## Di BroadNet Inference

| Jenis kunci | Batas |
| --- | --- |
| Bayar sesuai pemakaian | 30 permintaan per menit, 4 berjalan bersamaan |
| Kunci per jam | 120 permintaan per menit, satu stream, 300,000 token per menit |
| Paket unlimited | Satu permintaan dalam satu waktu per sesi, tanpa meteran token |

BroadNet mengembalikan 429 ketika batas laju, konkurensi, laju token, atau pengeluaran tercapai. Tunggu sebentar lalu coba ulang. [Panduan error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/) membahas setiap kode status, dan [arti “unlimited” yang sebenarnya](https://broadrouter.com/id/blog/what-unlimited-llm-api-really-means/) menjelaskan batas apa yang masih ada pada paket harga tetap.

## Kesalahan umum

-   Mencoba ulang error 401 atau 403. Itu masalah kunci atau kebijakan, bukan rate limit.
-   Menjalankan banyak worker pada satu kunci tanpa limiter bersama. Setiap worker melakukan backoff sendiri-sendiri sementara yang lain terus membuat kunci itu jenuh.

## Pertanyaan umum

### Apakah error 429 perlu dicoba ulang?

Ya, setelah menunggu. Ikuti header Retry-After jika ada; jika tidak, pakai exponential backoff dengan jitter acak, dan batasi jumlah percobaan. Jangan mencoba ulang error batas pengeluaran atau penagihan yang memakai kode status yang sama.

### Apakah permintaan yang gagal ikut dihitung dalam batas?

Sering kali, ya. Panduan OpenAI menyebut permintaan yang gagal tetap dihitung dalam batas per menit, jadi mencoba ulang seketika dalam loop justru memperburuk keadaan.

### Apa bedanya rate limit dan batas konkurensi?

Rate limit menghitung permintaan atau token dalam rentang waktu. Batas konkurensi menghitung permintaan yang berjalan pada saat yang sama. Sebuah kunci bisa lebih dulu terkena salah satunya.

## Lihat juga

-   [Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/) (istilah)
-   [Kunci API (API key)](https://broadrouter.com/id/glossary/api-key/) (istilah)
-   [LLM router](https://broadrouter.com/id/glossary/llm-router/) (istilah)
-   [Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/) (istilah)
-   [Exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/) (istilah)
-   [Idempotency key](https://broadrouter.com/id/glossary/idempotency-key/) (istilah)
-   [Batch API](https://broadrouter.com/id/glossary/batch-api/) (istilah)
-   [Spend limit (batas pengeluaran)](https://broadrouter.com/id/glossary/spend-limit/) (istilah)
-   [Request timeout (batas waktu permintaan)](https://broadrouter.com/id/glossary/request-timeout/) (istilah)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/) (panduan)
-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/) (panduan)
-   [Apa arti "unlimited" yang sebenarnya di paket API LLM](https://broadrouter.com/id/blog/what-unlimited-llm-api-really-means/) (artikel)
-   [Pindah ke API kompatibel OpenAI: checklist migrasi](https://broadrouter.com/id/blog/openai-compatible-api-migration-checklist/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-rate-limit&utm_content=page-cta) ·

**Sumber**

-   [MDN, 429 Too Many Requests](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/429)
-   [OpenAI, panduan rate limit](https://developers.openai.com/api/docs/guides/rate-limits)
-   [Referensi API BroadNet Inference, batas (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-rate-limit&utm_content=sources#limits)
