---
title: "Apakah itu keserentakan API LLM? Had permintaan serentak"
description: "Keserentakan ialah bilangan permintaan yang berjalan pada masa yang sama. Sebab API LLM mengehadkannya, kaitannya dengan had kadar dan kependaman, dan saiz pekerja."
url: https://broadrouter.com/ms/glossary/concurrency/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/concurrency/) (dikemas kini 2026-11-14).

# Keserentakan (concurrency)

Dikemas kini 2026-11-14

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

Juga dikenali sebagai: keserentakan, permintaan serentak, had keserentakan, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Had kadar mengira permintaan dalam satu tempoh masa. Keserentakan mengira permintaan pada satu detik. Permintaan LLM boleh mengambil masa berpuluh saat, jadi had kedua sering terkena dahulu.

## Cara ia berfungsi

Hukum Little mengaitkan tiga nombor ini:

`requests in flight = request rate × average time per request`

Maksudnya, bilangan permintaan yang sedang berjalan sama dengan kadar permintaan didarab purata masa setiap permintaan. Ambil kunci hipotetikal yang membenarkan 5 permintaan serentak dan 60 permintaan seminit, dengan setiap permintaan mengambil 20 saat. Had keserentakan hanya membenarkan paling banyak 5 ÷ 20 = 0.25 permintaan sesaat, atau 15 seminit. Anda tidak akan sampai 60 seminit, kerana keserentakan ialah had yang mengikat. Dengan permintaan 2 saat, had yang sama membenarkan 150 seminit, dan had kadar pula yang mengikat. [Kalkulator had kadar](https://broadrouter.com/tools/llm-rate-limit-calculator/) membuat kiraan ini untuk nombor anda sendiri.

Output panjang, [token penaakulan](https://broadrouter.com/ms/glossary/reasoning-tokens/) dan prompt panjang semuanya memanjangkan masa permintaan, jadi ia menghabiskan keserentakan dengan lebih cepat. Jawapan yang [distrim](https://broadrouter.com/ms/glossary/streaming/) memegang slotnya sehingga ia tamat.

## Mengapa ia penting

Penyedia mengehadkan keserentakan kerana memori dan pengiraan GPU dikongsi. Penanda aras NVIDIA menunjukkan bahawa apabila keserentakan pada pelayan meningkat, jumlah output naik manakala [token sesaat](https://broadrouter.com/ms/glossary/tokens-per-second/) bagi setiap permintaan turun. Had bagi setiap kunci menghalang satu klien daripada memperlahankan semua orang.

Bagi aplikasi anda, keserentakan menentukan saiz kumpulan pekerja dan bilangan ejen yang boleh berjalan bersebelahan. Tetapkan saiz kumpulan mengikut had, bukan melebihinya, atau pekerja tambahan hanya mengumpul ralat 429.

## Di BroadNet Inference

| Akses | Keserentakan |
| --- | --- |
| Kunci bayar ikut guna | 4 permintaan serentak, serta 30 permintaan seminit |
| Kunci sejam | Satu strim |
| Pelan tanpa had | Satu permintaan pada satu masa bagi setiap sesi |

Pelan-pelan ini menjual keserentakan secara langsung. Sesi tiada meter token dan menjalankan satu permintaan pada satu masa, sama seperti cara satu ejen bekerja. Permintaan dalam sesi yang sama beratur di belakang satu sama lain. Untuk menjalankan ejen secara selari, beli satu sesi bagi setiap ejen: orkestrator dan tiga sub-ejen memerlukan empat sesi. Satu kunci boleh memegang beberapa sesi.

Baca [cara sesi tanpa had berfungsi](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/) dan [cara menjalankan ejen pengekodan selari pada kadar tetap](https://broadrouter.com/ms/blog/run-parallel-coding-agents-flat-rate/). Ejen menghabiskan banyak masa menjalankan alat, jadi ukur pertindihan sebenar sebelum membeli lebih banyak sesi.

## Kesilapan biasa

-   Memulakan satu pekerja bagi setiap tugas tanpa kumpulan. Kelompok 100 tugas menjadi 100 permintaan serentak.
-   Menetapkan tamat masa klien lebih pendek daripada jawapan penaakulan yang panjang. Klien berputus asa sementara slot masih sibuk.

## Soalan lazim

### Apakah yang berlaku jika saya melebihi had keserentakan?

Bergantung pada penyedia, permintaan tambahan ditolak, selalunya dengan 429, atau ia menunggu dalam baris gilir sehingga ada slot kosong.

### Adakah penstriman menggunakan slot keserentakan?

Ya. Respons yang distrim memegang slotnya sehingga cebisan terakhir tiba, jadi output panjang memastikan slot sibuk lebih lama.

### Berapa banyak permintaan serentak yang diperlukan ejen pengekodan AI?

Satu ejen biasanya memerlukan satu, kerana ia menunggu setiap jawapan sebelum langkah seterusnya. Orkestrator dengan tiga sub-ejen yang berjalan serentak memerlukan sehingga empat: empat jika orkestrator menghantar permintaan semasa sub-ejen berjalan, dan tiga jika ia menunggu mereka.

## Lihat juga

-   [Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/) (istilah)
-   [Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/) (istilah)
-   [Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/) (istilah)
-   [Pelan LLM harga tetap (flat-rate LLM plan)](https://broadrouter.com/ms/glossary/flat-rate-llm-plan/) (istilah)
-   [Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/) (istilah)
-   [Kependaman (latency)](https://broadrouter.com/ms/glossary/latency/) (istilah)
-   [Ejen AI (AI agent)](https://broadrouter.com/ms/glossary/agent/) (istilah)
-   [Cara pelan API LLM tanpa had berfungsi untuk ejen](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/) (panduan)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/) (panduan)
-   [Cara menjalankan ejen pengekodan selari pada API LLM kadar tetap](https://broadrouter.com/ms/blog/run-parallel-coding-agents-flat-rate/) (artikel)
-   [Apakah maksud sebenar "tanpa had" dalam pelan API LLM](https://broadrouter.com/ms/blog/what-unlimited-llm-api-really-means/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-concurrency&utm_content=page-cta) ·

**Sumber**

-   [Little's law (Wikipedia)](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM, metrik penanda aras LLM (keserentakan dan daya pemprosesan)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Rujukan API BroadNet Inference, had (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-concurrency&utm_content=sources#limits)
-   [Pelan BroadNet Inference (sesi) (Bahasa Inggeris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-concurrency&utm_content=sources)
