Cari “had kadar API LLM” dan anda akan menemui jadual blog yang saling bercanggah, selalunya kerana menyalin angka lama. Halaman ini membaca setiap angka daripada dokumentasi penyedia itu sendiri pada 15 November 2026, menyatakan peringkat dan model yang berkenaan, dan membiarkan sel kosong apabila penyedia tidak menerbitkan angka. Untuk data yang sama sebagai set data yang boleh dimuat turun, bersama kredit percuma dan terma penggunaan data, lihat peringkat percuma dan had kadar API LLM. BroadRouter ialah laman web BroadNet sendiri, dan had BroadNet juga ada dalam jadual.
Apakah maksud RPM, TPM, RPD dan keserentakan?
Had kadar mengehadkan jumlah yang boleh anda hantar dalam satu tetingkap masa. Penyedia mengira perkara yang berbeza:
| Had | Apa yang dikira | Paling terasa apabila |
|---|---|---|
| RPM, permintaan seminit | Permintaan yang dimulakan dalam seminit | Anda menghantar banyak panggilan pendek (klasifikasi, gelung gaya embeddings) |
| RPS, permintaan sesaat | Sama, tetapi dalam satu saat | Anda menghantar secara serentak mendadak, walaupun purata seminit rendah |
| TPM, token seminit | Token yang diproses dalam seminit, kadangkala input (ITPM) dan output (OTPM) secara berasingan | Anda menghantar prompt atau dokumen yang panjang |
| RPD / TPD, sehari | Permintaan atau token dalam sehari | Anda menjalankan kerja batch pada peringkat percuma |
| Keserentakan | Permintaan yang sedang berjalan pada satu-satu masa | Permintaan lambat: penaakulan, output panjang, ejen |
Had yang terkena bergantung pada bentuk permintaan anda. Dengan had keserentakan, daya pemprosesan bergantung pada panjang permintaan: dokumentasi DeepInfra sendiri memberi contoh bahawa 200 permintaan serentak dengan purata 1 saat bersamaan kira-kira 12,000 RPM. Permintaan penaakulan 30 saat pada keserentakan yang sama hanya memberi sebahagian kecil daripadanya.
Kebanyakan penyedia juga menguatkuasakan had dalam tetingkap yang lebih pendek daripada yang diterbitkan. Anthropic menyatakan had 60 RPM “might be enforced as 1 request per second” (Terjemahan: mungkin dikuatkuasakan sebagai 1 permintaan sesaat), dan xAI menerbitkan had sesaatnya daripada bajet seminit (“RPM / 48, with a minimum of 2”; Terjemahan: RPM / 48, dengan minimum 2).
Bagaimanakah peringkat penggunaan berfungsi?
Penyedia model tertutup yang besar menaikkan had anda apabila anda berbelanja lebih:
| Penyedia | Peringkat (disemak 2026-11-15) | Cara naik peringkat |
|---|---|---|
| OpenAI | Free, Build, Launch, Grow | Free: pengguna mesti berada di lokasi yang dibenarkan; had penggunaan bulanan USD 100 (had perbelanjaan, bukan kredit). Kemudian jumlah pembelian kredit USD 5, USD 100 dan USD 500, dengan had penggunaan bulanan USD 500, USD 5,000 dan USD 200,000 |
| Anthropic | Evaluation, Start, Build, Scale, Custom | Automatik, mengikut sejarah penggunaan dan status akaun. Had perbelanjaan bulanan: Start USD 500, Build USD 1,000, Scale USD 200,000 |
| Google Gemini API | Free, Tier 1, Tier 2, Tier 3 | Tier 1 memerlukan akaun pengebilan yang dipautkan; Tier 2 memerlukan USD 100 dibayar dan 3 hari; Tier 3 USD 1,000 dan 30 hari. Google menyatakan had kadar yang ditetapkan “not guaranteed” (Terjemahan: tidak dijamin) dan “no guarantees” (Terjemahan: tiada jaminan) bagi permohonan kenaikan |
| Fireworks AI | Tier 1 hingga Tier 4 | Kaedah pembayaran untuk Tier 1, kemudian perbelanjaan atau kredit USD 50, USD 500 dan USD 5,000. Peringkat menaikkan TPM, bukan RPM |
| xAI | Tier 0 hingga Tier 4, Enterprise | Perbelanjaan terkumpul sejak 1 Januari 2026: USD 0, 50, 250, 1,000 dan 5,000 |
Dua butiran penting dalam amalan. Had perbelanjaan Anthropic memulangkan HTTP 429 tanpa pengepala retry-after apabila dicapai, jadi cubaan semula automatik terus gagal sehingga bulan ditetapkan semula atau anda bertukar peringkat. Dan had input Anthropic hanya mengira input yang tidak dicache: bacaan cache tidak dikira, jadi kadar cache yang tinggi meningkatkan daya pemprosesan sebenar anda.
Had kadar API LLM mengikut penyedia: peringkat permulaan
Angka bagi peringkat percuma atau berbayar pertama setiap penyedia, daripada halaman had kadarnya sendiri. Sengkang bermaksud halaman itu tidak menerbitkan angka bagi had tersebut; ia tidak bermaksud tanpa had.
| Penyedia | Peringkat dan model | RPM | TPM | Sehari | Keserentakan |
|---|---|---|---|---|---|
| OpenAI | Build; Astra, Sol, Terra | 5,000 | 1,000,000 | – | – |
| OpenAI | Build; Luna | 5,000 | 2,000,000 | – | – |
| Anthropic | Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 | 4,000 | 2,000,000 input (tidak dicache), 400,000 output | – | – |
| Google Gemini API | Free; Gemini Decision 1 (satu-satunya model dengan angka percuma di halaman) | 200 | 50,000 | 10,000 permintaan | – |
| Google Gemini API | Tier 1; Gemini Decision 1 | 1,500 | 1,000,000 | 50,000 permintaan | – |
| Groq | Jadual pelan percuma; openai/gpt-oss-120b, qwen/qwen3.8-27b | 30 | 8,000 | 1,000 permintaan, 200,000 token | – |
| Groq | Jadual pelan Developer; openai/gpt-oss-120b, qwen/qwen3.8-27b | 1,000 | 250,000 | 500,000 permintaan | – |
| Cerebras | Free Trial; gpt-oss-120b | 5 | 30,000 tidak dicache (90,000 jumlah) | 1,000,000 token | – |
| Cerebras | Developer (bayar ikut guna); gpt-oss-120b | 1,000 | 500,000 tidak dicache (1,500,000 jumlah) | Tiada had | – |
| Fireworks AI | Tiada kaedah pembayaran atau kredit; seluruh akaun | 10 | – | – | – |
| Fireworks AI | Dengan kaedah pembayaran dan kredit; seluruh akaun | 6,000 | Ditetapkan oleh peringkat perbelanjaan | – | – |
| DeepInfra | Lalai; setiap model awam | – | – | – | 200 |
| DeepSeek | Lalai; deepseek-flash (DeepSeek-V4.1-Flash-1017), setiap akaun |
– | – | – | 2,500 |
| DeepSeek | Lalai; deepseek-v4-pro (DeepSeek-V4-Pro-0813), setiap akaun |
– | – | – | 500 |
| xAI | Tier 0; grok-4.7 (150 RPS) | – | 50,000,000 | – | – |
| OpenRouter | Model :free, kurang daripada USD 10 kredit dibeli | 20 | – | 50 permintaan | – |
| OpenRouter | Model :free, USD 10 kredit atau lebih dibeli | 20 | – | 1,000 permintaan | – |
| Cohere | Kunci percubaan; Command A | 20 | – | 1,000 panggilan sebulan | – |
| Cohere | Kunci pengeluaran; Command A | 500 | – | – | – |
| BroadNet Inference | Kunci bayar ikut guna; mana-mana model | 30 | – | – | 4 |
| BroadNet Inference | Kunci sejam; Gemma 4 VL 26B | 120 | 300,000 | – | 1 strim |
| BroadNet Inference | Sesi pelan kadar tetap; DeepSeek V4.1 Flash | – | Tiada meter token | – | 1 permintaan pada satu masa |
Nota tentang baris:
- Groq. Halaman itu ada dua tab, “Free Plan Limits” (dibuka secara lalai) dan “Developer Plan Limits”. Ayat di atasnya menggelar angka itu “the base limits for the Developer plan” (Terjemahan: had asas untuk pelan Developer), yang hanya sesuai dengan tab kedua; jadual di atas menunjukkan kedua-duanya. Had tepat organisasi anda ada di halaman hadnya.
- Google. Had dikenakan bagi setiap projek, bukan setiap kunci API. Angka kebanyakan model hanya dipaparkan dalam AI Studio. Gemini Decision 1 ialah model pengelasan untuk Decisions API Google: ia memulangkan kebarangkalian, bukan teks, jadi hadnya tidak banyak menggambarkan model sembang Gemini.
- Mistral dan Together AI tidak menerbitkan angka. Mistral memaparkan had anda dalam konsolnya dan bukannya menerbitkan jadual, serta tidak menawarkan akses API percuma (“It doesn’t include API access”; Terjemahan: Ia tidak termasuk akses API). Together menyatakan ia “may limit requests” (Terjemahan: mungkin mengehadkan permintaan) apabila permintaan tinggi dan mungkin menetapkan had tersuai pada model popular.
- OpenRouter. Varian model berbayar mempunyai “no platform-level request cap” (Terjemahan: tiada had permintaan di peringkat platform), tetapi penyedia di sebalik setiap model masih mempunyai had sendiri.
- DeepSeek. Apabila sibuk, DeepSeek memastikan sambungan kekal terbuka dengan baris kosong atau komen
: keep-alive, dan menutupnya jika inferens belum bermula dalam masa 10 minit. Tetapkan tamat masa klien anda dengan mengambil kira perkara ini.
Bagaimanakah had BroadNet dibandingkan, secara jujur?
Had ini rendah untuk kerja bervolum tinggi. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 serentak, manakala peringkat berbayar pertama OpenAI dan Anthropic membenarkan beribu-ribu permintaan seminit, dan Fireworks membenarkan 6,000 sebaik sahaja kad didaftarkan. Jika anda perlu menyalurkan beribu-ribu permintaan pendek seminit melalui satu kunci, peringkat berbayar penyedia besar lebih sesuai.
Had ini sesuai dengan bentuk kerja lain:
- Ejen dan chat. Satu ejen menghantar satu permintaan pada satu masa dan menunggu. 4 serentak mencukupi untuk beberapa ejen bagi setiap kunci; satu kunci bagi setiap aplikasi atau rakan sepasukan menyebarkan beban.
- Pelan kadar tetap. Sesi Full Moon, Orbit atau Meteor tiada meter token dan tiada had harian atau mingguan, tetapi menjalankan satu permintaan pada satu masa pada kelajuan biasa kira-kira 100 token sesaat. Untuk menjalankan ejen secara selari, beli satu sesi bagi setiap ejen. Berapa banyak sesi yang anda perlukan.
- Kunci sejam. $0.50 sejam membeli satu strim Gemma 4 VL 26B pada 120 permintaan dan 300,000 token seminit.
Semua had BroadNet memulangkan HTTP 429. Rujukan API tidak memberi masa retry-after, jadi gunakan backoff terhad dengan jitter.
Bagaimanakah anda merancang mengikut had kadar?
- Cari had yang mengikat anda. Kira permintaan seminit, token seminit dan permintaan serentak untuk trafik puncak anda. Kalkulator had kadar LLM melakukannya berdasarkan saiz permintaan dan kependaman.
- Hadkan kadar di sisi klien. Token bucket yang sepadan dengan had terbitan mengelakkan kebanyakan 429. Anthropic menggunakan algoritma yang sama di sisi pelayan.
- Baca pengepala. Anthropic memulangkan pengepala
anthropic-ratelimit-*; Groq memulangkan pengepalax-ratelimit-*, dengan pengepala permintaannya “always refers to Requests Per Day” (Terjemahan: sentiasa merujuk kepada Permintaan Sehari). Gunakanretry-afterapabila ada. - Cuba semula dengan backoff dan jitter, dan hadkan cubaan semula. Mengendalikan ralat 429 mempunyai kod yang berfungsi, dan ralat dan cuba semula merangkumi kod status BroadNet.
- Cache awalan yang stabil. Di Anthropic, input cache tidak dikira dalam had input. Di mana-mana penyedia, ia mengurangkan kos.
- Sebarkan kerja pukal. Anthropic juga mengenakan had peningkatan: lonjakan trafik mendadak boleh memulangkan 429 walaupun di bawah had anda. Mulakan kerja batch secara perlahan. Tanpa Batch API, pelari batch yang boleh disambung semula memastikan kerja kekal dalam hadnya.
- Minta had lebih tinggi. DeepSeek, DeepInfra, Mistral dan Anthropic semuanya menerangkan cara memohon had lebih tinggi.
Di manakah BroadNet Inference sesuai
BroadRouter ialah laman web BroadNet sendiri, jadi nilailah bahagian ini dengan sewajarnya. BroadNet Inference bukan pilihan untuk kadar permintaan yang sangat tinggi pada satu kunci: had setiap kunci yang diterbitkannya jauh di bawah peringkat berbayar OpenAI, Anthropic, Fireworks atau Cerebras. Ia sesuai untuk beban kerja ejen dan chat yang menghantar beberapa permintaan pada satu masa, terutamanya pada pelan kadar tetap di mana ejen yang sibuk tiada meter token atau had harian. Akaun baharu mendapat kredit permulaan $5 untuk Gemma 4 VL 26B, dua model transkripsi dan kunci sejam Gemma; DeepSeek, GLM dan Qwen memerlukan tambah nilai. Layan diri tiada SLA. Baca had API atau bandingkan pelan.
