Cari “rate limit API LLM” dan Anda akan menemukan tabel blog yang saling bertentangan, sering kali karena menyalin angka lama. Halaman ini membaca setiap angka dari dokumentasi penyedianya sendiri pada 15 November 2026, menyebutkan tier dan model yang berlaku, dan mengosongkan sel jika penyedia tidak memublikasikan angkanya. Untuk data yang sama dalam bentuk dataset yang bisa diunduh, lengkap dengan kredit gratis dan ketentuan penggunaan data, lihat free tier dan rate limit API LLM. BroadRouter adalah situs milik BroadNet sendiri, dan batas BroadNet juga ada di tabel.
Apa arti RPM, TPM, RPD, dan konkurensi?
Sebuah rate limit (batas laju) membatasi berapa banyak yang bisa Anda kirim dalam satu jendela waktu. Penyedia menghitung hal yang berbeda:
| Batas | Yang dihitung | Paling terasa saat |
|---|---|---|
| RPM, permintaan per menit | Permintaan yang dimulai dalam satu menit | Anda mengirim banyak panggilan pendek (klasifikasi, loop ala embeddings) |
| RPS, permintaan per detik | Sama, dalam satu detik | Anda mengirim lonjakan (burst), meski rata-rata per menitnya rendah |
| TPM, token per menit | Token yang diproses dalam satu menit, kadang input (ITPM) dan output (OTPM) terpisah | Anda mengirim prompt panjang atau dokumen panjang |
| RPD / TPD, per hari | Permintaan atau token dalam sehari | Anda menjalankan job batch di free tier |
| Konkurensi | Permintaan yang sedang berjalan pada saat yang sama | Permintaan lambat: penalaran, output panjang, agen |
Batas mana yang mengikat bergantung pada bentuk permintaan Anda. Dengan batas konkurensi, throughput bergantung pada durasi permintaan: dokumentasi DeepInfra sendiri memberi contoh bahwa 200 permintaan bersamaan dengan rata-rata 1 detik setara kira-kira 12.000 RPM. Permintaan penalaran 30 detik pada konkurensi yang sama hanya menghasilkan sebagian kecil dari itu.
Sebagian besar penyedia juga menerapkan batas dalam jendela waktu yang lebih pendek daripada yang mereka publikasikan. Anthropic menyebut batas 60 RPM “might be enforced as 1 request per second” (Terjemahan BroadRouter: “bisa diterapkan sebagai 1 permintaan per detik”), dan xAI menurunkan batas per detiknya dari anggaran per menit (“RPM / 48, with a minimum of 2”; Terjemahan BroadRouter: “RPM / 48, minimal 2”).
Bagaimana tier pemakaian bekerja?
Penyedia model tertutup yang besar menaikkan batas Anda seiring bertambahnya pengeluaran:
| Penyedia | Tier (dicek 2026-11-15) | Cara naik tier |
|---|---|---|
| OpenAI | Free, Build, Launch, Grow | Free: pengguna harus berada di wilayah yang diizinkan; batas pemakaian bulanan USD 100 (batas belanja, bukan kredit). Lalu total pembelian kredit USD 5, USD 100, dan USD 500, dengan batas pemakaian bulanan USD 500, USD 5.000, dan USD 200.000 |
| Anthropic | Evaluation, Start, Build, Scale, Custom | Otomatis, berdasarkan riwayat pemakaian dan status akun. Batas pengeluaran bulanan: Start USD 500, Build USD 1.000, Scale USD 200.000 |
| Google Gemini API | Free, Tier 1, Tier 2, Tier 3 | Tier 1 butuh akun penagihan yang ditautkan; Tier 2 butuh pembayaran USD 100 plus 3 hari; Tier 3 USD 1.000 plus 30 hari. Google menyebut rate limit yang ditetapkan “not guaranteed” (Terjemahan BroadRouter: “tidak dijamin”) dan memberi “no guarantees” (Terjemahan BroadRouter: “tanpa jaminan”) untuk permintaan kenaikan |
| Fireworks AI | Tier 1 sampai Tier 4 | Metode pembayaran untuk Tier 1, lalu pengeluaran atau kredit USD 50, USD 500, dan USD 5.000. Tier menaikkan TPM, bukan RPM |
| xAI | Tier 0 sampai Tier 4, Enterprise | Akumulasi pengeluaran sejak 1 Januari 2026: USD 0, 50, 250, 1.000, dan 5.000 |
Ada dua detail yang penting dalam praktik. Batas pengeluaran Anthropic mengembalikan HTTP 429 tanpa header retry-after saat Anda mencapainya, sehingga retry otomatis terus gagal sampai bulan berganti atau Anda naik tier. Selain itu, batas input Anthropic hanya menghitung input yang tidak di-cache: pembacaan cache tidak dihitung, jadi cache rate yang tinggi menaikkan throughput riil Anda.
Rate limit API LLM per penyedia: tier awal
Angka untuk free tier atau tier berbayar pertama tiap penyedia, dari halaman rate limit-nya sendiri. Tanda pisah berarti halaman tersebut tidak memublikasikan angka untuk batas itu; bukan berarti tanpa batas.
| Penyedia | Tier dan model | RPM | TPM | Per hari | Konkurensi |
|---|---|---|---|---|---|
| OpenAI | Build; Astra, Sol, Terra | 5.000 | 1.000.000 | – | – |
| OpenAI | Build; Luna | 5.000 | 2.000.000 | – | – |
| Anthropic | Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 | 4.000 | 2.000.000 input (tanpa cache), 400.000 output | – | – |
| Google Gemini API | Free; Gemini Decision 1 (satu-satunya model dengan angka gratis di halaman) | 200 | 50.000 | 10.000 permintaan | – |
| Google Gemini API | Tier 1; Gemini Decision 1 | 1.500 | 1.000.000 | 50.000 permintaan | – |
| Groq | Tabel paket gratis; openai/gpt-oss-120b, qwen/qwen3.8-27b | 30 | 8.000 | 1.000 permintaan, 200.000 token | – |
| Groq | Tabel paket Developer; openai/gpt-oss-120b, qwen/qwen3.8-27b | 1.000 | 250.000 | 500.000 permintaan | – |
| Cerebras | Free Trial; gpt-oss-120b | 5 | 30.000 tanpa cache (total 90.000) | 1.000.000 token | – |
| Cerebras | Developer (bayar sesuai pemakaian); gpt-oss-120b | 1.000 | 500.000 tanpa cache (total 1.500.000) | Tanpa batas | – |
| Fireworks AI | Tanpa metode pembayaran atau kredit; seluruh akun | 10 | – | – | – |
| Fireworks AI | Dengan metode pembayaran dan kredit; seluruh akun | 6.000 | Ditentukan tier pengeluaran | – | – |
| DeepInfra | Default; per model publik | – | – | – | 200 |
| DeepSeek | Default; deepseek-flash (DeepSeek-V4.1-Flash-1017), per akun |
– | – | – | 2.500 |
| DeepSeek | Default; deepseek-v4-pro (DeepSeek-V4-Pro-0813), per akun |
– | – | – | 500 |
| xAI | Tier 0; grok-4.7 (150 RPS) | – | 50.000.000 | – | – |
| OpenRouter | Model :free, pembelian kredit di bawah USD 10 | 20 | – | 50 permintaan | – |
| OpenRouter | Model :free, pembelian kredit USD 10 atau lebih | 20 | – | 1.000 permintaan | – |
| Cohere | Kunci trial; Command A | 20 | – | 1.000 panggilan per bulan | – |
| Cohere | Kunci produksi; Command A | 500 | – | – | – |
| BroadNet Inference | Kunci bayar sesuai pemakaian; semua model | 30 | – | – | 4 |
| BroadNet Inference | Kunci per jam; Gemma 4 VL 26B | 120 | 300,000 | – | 1 stream |
| BroadNet Inference | Sesi paket harga tetap; DeepSeek V4.1 Flash | – | Tanpa meteran token | – | 1 permintaan dalam satu waktu |
Catatan untuk baris-baris di atas:
- Groq. Halamannya punya dua tab, “Free Plan Limits” (terbuka secara default) dan “Developer Plan Limits”. Kalimat di atasnya menyebut angka tersebut “the base limits for the Developer plan” (Terjemahan BroadRouter: “batas dasar untuk paket Developer”), yang hanya cocok untuk tab kedua; tabel di atas memuat keduanya. Batas pasti organisasi Anda ada di halaman limits-nya.
- Google. Batas berlaku per proyek, bukan per kunci API. Angka untuk sebagian besar model hanya muncul di dalam AI Studio. Gemini Decision 1 adalah model klasifikasi untuk Decisions API Google: model ini mengembalikan probabilitas, bukan teks, sehingga batasnya tidak banyak menggambarkan model chat Gemini.
- Mistral dan Together AI tidak memublikasikan angka. Mistral menampilkan batas Anda di konsolnya alih-alih memublikasikan tabel, dan tidak menawarkan akses API gratis (“It doesn’t include API access”; Terjemahan BroadRouter: “Tidak termasuk akses API”). Together menyatakan bahwa mereka “may limit requests” (Terjemahan BroadRouter: “dapat membatasi permintaan”) saat permintaan tinggi dan dapat menetapkan batas khusus pada model populer.
- OpenRouter. Varian model berbayar punya “no platform-level request cap” (Terjemahan BroadRouter: “tidak ada batas permintaan di tingkat platform”), tetapi penyedia di balik tiap model tetap punya batasnya sendiri.
- DeepSeek. Saat sibuk, DeepSeek menjaga koneksi tetap terbuka dengan baris kosong atau komentar
: keep-alive, dan menutupnya jika inferensi belum dimulai dalam 10 menit. Atur timeout klien Anda dengan memperhitungkan hal ini.
Jujur saja, bagaimana batas BroadNet dibandingkan yang lain?
Rendah untuk pekerjaan bervolume tinggi. Kunci BroadNet bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan berjalan, sementara tier berbayar pertama OpenAI dan Anthropic mengizinkan ribuan permintaan per menit, dan Fireworks mengizinkan 6.000 setelah kartu terdaftar. Jika Anda perlu mendorong ribuan permintaan pendek per menit melalui satu kunci, tier berbayar penyedia besar lebih cocok.
Batas ini cocok untuk bentuk beban kerja lain:
- Agen dan chat. Satu agen mengirim satu permintaan dalam satu waktu lalu menunggu. 4 permintaan berjalan cukup untuk beberapa agen per kunci; satu kunci per aplikasi atau anggota tim menyebarkan bebannya.
- Paket harga tetap. Sesi Full Moon, Orbit, atau Meteor tidak punya meteran token dan tidak punya batas harian atau mingguan, tetapi menjalankan satu permintaan dalam satu waktu dengan kecepatan tipikal sekitar 100 token per detik. Untuk menjalankan agen secara paralel, beli satu sesi untuk masing-masing. Berapa sesi yang Anda butuhkan.
- Kunci per jam. $0.50 per jam memberi satu stream Gemma 4 VL 26B dengan 120 permintaan dan 300,000 token per menit.
Semua batas BroadNet mengembalikan HTTP 429. Referensi API tidak memberikan waktu retry-after, jadi gunakan backoff terbatas dengan jitter.
Bagaimana merencanakan beban kerja di sekitar rate limit?
- Temukan batas yang mengikat Anda. Hitung permintaan per menit, token per menit, dan permintaan berjalan untuk trafik puncak Anda. Kalkulator rate limit LLM menghitungnya dari ukuran permintaan dan latensi.
- Lakukan throttling di klien. Token bucket yang sesuai dengan batas yang dipublikasikan mencegah sebagian besar 429. Anthropic memakai algoritma yang sama di sisi server.
- Baca header-nya. Anthropic mengembalikan header
anthropic-ratelimit-*; Groq mengembalikan headerx-ratelimit-*, dengan header requests yang “always refers to Requests Per Day” (Terjemahan BroadRouter: “selalu merujuk ke permintaan per hari”). Gunakanretry-afterjika ada. - Retry dengan backoff dan jitter, dan batasi jumlah retry. Menangani error 429 berisi kode yang berfungsi, dan error dan retry membahas kode status BroadNet.
- Cache prefiks yang stabil. Di Anthropic, input cache tidak dihitung ke batas input. Di mana pun, cache memangkas biaya.
- Sebarkan job massal. Anthropic juga menerapkan ramp limit: lonjakan trafik mendadak bisa mengembalikan 429 meski Anda di bawah batas. Mulai job batch secara perlahan. Tanpa Batch API, runner batch yang bisa dilanjutkan menjaga job tetap di dalam batasnya.
- Minta batas lebih tinggi. DeepSeek, DeepInfra, Mistral, dan Anthropic semuanya menjelaskan jalur permintaan untuk batas yang lebih tinggi.
Di mana posisi BroadNet Inference?
BroadRouter adalah situs web milik BroadNet sendiri, jadi pertimbangkan bagian ini dengan mengingat hal tersebut. BroadNet Inference bukan pilihan untuk laju permintaan sangat tinggi pada satu kunci: batas per kunci yang dipublikasikannya jauh di bawah tier berbayar OpenAI, Anthropic, Fireworks, atau Cerebras. Layanan ini cocok untuk beban kerja agen dan chat yang mengirim beberapa permintaan sekaligus, terutama di paket harga tetap yang tidak punya meteran token atau batas harian untuk agen yang sibuk. Akun baru mendapat kredit awal $5 untuk Gemma 4 VL 26B, dua model transkripsi, dan kunci per jam Gemma; DeepSeek, GLM, dan Qwen membutuhkan top up. Layanan swalayan (self-serve) tidak memiliki SLA. Baca batas API atau bandingkan paket.
