---
title: "Apa itu konkurensi di API LLM? Batas permintaan paralel"
description: "Konkurensi adalah jumlah permintaan yang berjalan bersamaan. Kenapa API LLM membatasinya, kaitannya dengan rate limit dan latensi, dan cara mengatur worker dan agen."
url: https://broadrouter.com/id/glossary/concurrency/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/concurrency/) (diperbarui 2026-11-14).

# Konkurensi (concurrency)

Diperbarui 2026-11-14

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

Disebut juga: konkurensi, permintaan bersamaan, permintaan paralel, batas konkurensi, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Rate limit menghitung permintaan dalam rentang waktu. Konkurensi menghitung permintaan pada satu saat. Permintaan LLM bisa memakan waktu berdetik-detik, jadi batas kedua inilah yang sering kena duluan.

## Cara kerjanya

Hukum Little menghubungkan tiga angka:

`requests in flight = request rate × average time per request`

Artinya: permintaan yang sedang berjalan = laju permintaan × rata-rata waktu per permintaan. Ambil contoh hipotetis sebuah kunci yang mengizinkan 5 permintaan berjalan bersamaan dan 60 permintaan per menit, dengan setiap permintaan memakan 20 detik. Batas konkurensi hanya mengizinkan paling banyak 5 ÷ 20 = 0,25 permintaan per detik, atau 15 per menit. Anda tidak akan pernah mencapai 60 per menit, karena konkurensilah batas yang mengikat. Dengan permintaan 2 detik, batas yang sama mengizinkan 150 per menit, dan rate limit yang menjadi pengikat. [Kalkulator rate limit](https://broadrouter.com/tools/llm-rate-limit-calculator/) menjalankan hitungan ini dengan angka Anda sendiri.

Output panjang, [token penalaran](https://broadrouter.com/id/glossary/reasoning-tokens/), dan prompt panjang semuanya membuat permintaan lebih lama, sehingga menghabiskan konkurensi lebih cepat. Balasan yang [di-stream](https://broadrouter.com/id/glossary/streaming/) menahan slotnya sampai selesai.

## Kenapa ini penting

Penyedia membatasi konkurensi karena memori dan komputasi GPU dipakai bersama. Benchmark NVIDIA menunjukkan bahwa ketika konkurensi di sebuah server naik, total output meningkat sementara [token per detik](https://broadrouter.com/id/glossary/tokens-per-second/) setiap permintaan turun. Batas per kunci mencegah satu client memperlambat semua orang.

Untuk aplikasi Anda, konkurensi menentukan ukuran worker pool dan berapa agen yang bisa berjalan berdampingan. Ukur pool Anda sesuai batas, jangan melebihinya, atau worker tambahan hanya akan mengumpulkan error 429.

## Di BroadNet Inference

| Akses | Konkurensi |
| --- | --- |
| Kunci bayar sesuai pemakaian | 4 permintaan berjalan bersamaan, plus 30 permintaan per menit |
| Kunci per jam | Satu stream |
| Paket unlimited | Satu permintaan dalam satu waktu per sesi |

Paket-paketnya menjual konkurensi secara langsung. Sebuah sesi tidak punya meteran token dan menjalankan satu permintaan dalam satu waktu, seperti cara kerja satu agen. Permintaan dalam sesi yang sama mengantre satu di belakang yang lain. Untuk menjalankan agen secara paralel, beli satu sesi per agen: satu orkestrator plus tiga sub-agen butuh empat sesi. Satu kunci bisa menampung beberapa sesi.

Baca [cara kerja sesi unlimited](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/) dan [cara menjalankan agen coding paralel dengan harga tetap](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/). Agen menghabiskan banyak waktunya untuk menjalankan tool, jadi ukur tumpang tindih yang sebenarnya sebelum membeli sesi tambahan.

## Kesalahan umum

-   Menjalankan satu worker per tugas tanpa pool. Batch berisi 100 tugas menjadi 100 permintaan sekaligus.
-   Mengatur timeout client lebih pendek daripada balasan penalaran yang panjang. Client menyerah sementara slotnya masih sibuk.

## Pertanyaan umum

### Apa yang terjadi jika saya melebihi batas konkurensi?

Tergantung penyedianya, permintaan tambahan itu ditolak, sering kali dengan 429, atau menunggu di antrean sampai ada slot yang kosong.

### Apakah streaming memakai slot konkurensi?

Ya. Respons yang di-stream menahan slotnya sampai chunk terakhir tiba, jadi output panjang membuat slot sibuk lebih lama.

### Berapa permintaan bersamaan yang dibutuhkan agen coding AI?

Satu agen biasanya butuh satu, karena ia menunggu setiap balasan sebelum langkah berikutnya. Orkestrator dengan tiga sub-agen yang berjalan bersamaan butuh hingga empat. Butuh empat jika orkestrator mengirim permintaan selagi sub-agen berjalan, dan tiga jika ia menunggu mereka.

## Lihat juga

-   [Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/) (istilah)
-   [Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/) (istilah)
-   [Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/) (istilah)
-   [Paket LLM harga tetap (flat-rate)](https://broadrouter.com/id/glossary/flat-rate-llm-plan/) (istilah)
-   [Throughput](https://broadrouter.com/id/glossary/throughput/) (istilah)
-   [Latensi (latency)](https://broadrouter.com/id/glossary/latency/) (istilah)
-   [Agen AI (AI agent)](https://broadrouter.com/id/glossary/agent/) (istilah)
-   [Cara kerja paket API LLM unlimited untuk agen](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/) (panduan)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/) (panduan)
-   [Cara menjalankan agen coding paralel dengan API LLM harga tetap](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/) (artikel)
-   [Apa arti "unlimited" yang sebenarnya di paket API LLM](https://broadrouter.com/id/blog/what-unlimited-llm-api-really-means/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-concurrency&utm_content=page-cta) ·

**Sumber**

-   [Hukum Little (Wikipedia)](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM, metrik benchmark LLM (konkurensi dan throughput)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Referensi API BroadNet Inference, batas (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-concurrency&utm_content=sources#limits)
-   [Paket BroadNet Inference (sesi) (bahasa Inggris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-concurrency&utm_content=sources)
