---
title: "Apakah itu daya pemprosesan LLM? Token sesaat seluruh sistem"
description: "Daya pemprosesan LLM ialah jumlah kerja yang disiapkan sistem sesaat merentas semua permintaan serentak, dalam token atau permintaan. Beza dengan kelajuan strim."
url: https://broadrouter.com/ms/glossary/throughput/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/throughput/) (dikemas kini 2026-11-14).

# Daya pemprosesan (throughput)

Dikemas kini 2026-11-14

Daya pemprosesan (throughput), dalam penyajian LLM, ialah jumlah kerja yang disiapkan sistem bagi setiap unit masa merentas semua permintaan serentak, biasanya diukur sebagai token output sesaat atau permintaan sesaat. Ia berbeza daripada kelajuan setiap strim, iaitu sepantas mana satu permintaan menerima tokennya.

Juga dikenali sebagai: daya pemprosesan, daya pemprosesan sistem, jumlah token sesaat, throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

[Token sesaat](https://broadrouter.com/ms/glossary/tokens-per-second/) memberitahu sepantas mana satu jawapan distrim. Daya pemprosesan memberitahu berapa banyak kerja yang disiapkan oleh seluruh sistem.

## Cara ia berfungsi

Panduan penanda aras NVIDIA memisahkan kedua-duanya. **Total TPS per system** ialah “total output token throughput across all simultaneous requests” (jumlah daya pemprosesan token output merentas semua permintaan serentak): semua token output dibahagi dengan masa dari permintaan pertama hingga respons terakhir. **TPS per user** ialah panjang output satu permintaan dibahagi dengan masa hujung ke hujungnya. **Requests per second (RPS)** mengira permintaan yang selesai, bukan token.

Ayat utamanya: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (Terjemahan BroadRouter: “Apabila bilangan permintaan serentak meningkat, total system TPS meningkat manakala TPS per user menurun.”) Total TPS naik sehingga GPU tepu, dan selepas titik itu ia boleh jatuh.

Di pelayan, hadnya biasanya memori. Kertas PagedAttention menerangkan bahawa penyajian pada daya pemprosesan tinggi “requires batching sufficiently many requests at a time” (Terjemahan BroadRouter: “memerlukan pengelompokan permintaan yang cukup banyak pada satu masa”), dan [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) setiap permintaan menentukan berapa banyak yang muat. Pengurusan memori yang lebih baik membolehkan vLLM mencapai 2 hingga 4 kali daya pemprosesan sistem terdahulu pada kependaman yang sama.

## Mengapa ia penting

Bagi pemanggil API, daya pemprosesan ialah tentang sisi paip anda: berapa banyak dokumen yang boleh anda proses sejam, atau berapa banyak ejen yang boleh bekerja serentak. Ia mengikut peraturan mudah:

```text
your throughput ≈ concurrent requests × per-stream tokens per second
```

Maksudnya, daya pemprosesan anda lebih kurang sama dengan bilangan permintaan serentak didarab token sesaat setiap strim. Ini hanya benar selagi penyedia mengekalkan kelajuan setiap strim apabila anda menambah beban. Ukurnya; jangan menganggapnya.

Daya pemprosesan dihadkan oleh had [keserentakan](https://broadrouter.com/ms/glossary/concurrency/) dan had kadar anda, bukan oleh model semata-mata. Jika sesuatu kerja lambat, semak sama ada permintaan berjalan satu demi satu sedangkan ia boleh berjalan secara selari.

## Di BroadNet Inference

BroadNet menerbitkan had bagi setiap kunci, bukan angka daya pemprosesan sistem. Halaman pelannya memberikan kelajuan biasa kira-kira 100 token sesaat untuk DeepSeek V4.1 Flash, model pelan itu; ia tidak menerbitkan kelajuan untuk model lain. Sebagai ilustrasi, jika setiap strim berjalan pada angka itu:

| Pilihan | Permintaan selari | Had atas jika kelajuan kekal |
| --- | --- | --- |
| Kunci bayar ikut guna | 4 (dan 30 permintaan seminit) | 4 strim × kira-kira 100 token sesaat setiap satu |
| Kunci sejam (Gemma 4 VL 26B) | 1 strim, 300,000 token seminit | tidak diterbitkan; ukur sendiri |
| Sesi pelan harga tetap | 1 permintaan pada satu masa | kira-kira 100 token sesaat |

Untuk menskalakan pelan harga tetap, anda menambah sesi, satu bagi setiap ejen yang bekerja secara selari; lihat [sesi API LLM tanpa had](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/) dan [menjalankan ejen pengekodan selari](https://broadrouter.com/ms/blog/run-parallel-coding-agents-flat-rate/). Kelajuan itu ialah angka biasa yang dinyatakan BroadNet untuk DeepSeek V4.1 Flash, bukan jaminan untuk model lain atau di bawah beban.

## Soalan lazim

### Adakah daya pemprosesan sama dengan token sesaat?

Hanya pada peringkat sistem. Token sesaat bagi setiap strim ialah kelajuan yang dialami satu permintaan. Daya pemprosesan menjumlahkan semua strim. NVIDIA menamakannya TPS per user dan total TPS per system.

### Bagaimanakah saya mendapat daya pemprosesan lebih tinggi daripada API LLM?

Jalankan lebih banyak permintaan secara selari, sehingga had keserentakan dan had kadar anda, dan pastikan setiap permintaan pendek. Jika setiap permintaan sudah menggunakan slotnya sepenuhnya, lebih banyak slot, kunci atau sesi ialah satu-satunya cara untuk naik.

### Adakah daya pemprosesan lebih tinggi bermaksud kependaman lebih rendah?

Tidak. Daya pemprosesan ialah jumlah kerja sesaat merentas semua permintaan; kependaman ialah tempoh satu permintaan. Melayan lebih banyak permintaan serentak menaikkan jumlah daya pemprosesan tetapi boleh memperlahankan setiap permintaan, sebab itu NVIDIA melaporkan TPS per user dan total TPS secara berasingan.

## Lihat juga

-   [Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/) (istilah)
-   [Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/) (istilah)
-   [Kependaman (latency)](https://broadrouter.com/ms/glossary/latency/) (istilah)
-   [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) (istilah)
-   [API kelompok (batch API)](https://broadrouter.com/ms/glossary/batch-api/) (istilah)
-   [Speculative decoding (penyahkodan spekulatif)](https://broadrouter.com/ms/glossary/speculative-decoding/) (istilah)
-   [Cara pelan API LLM tanpa had berfungsi untuk ejen](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/) (panduan)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/) (panduan)
-   [Cara menjalankan ejen pengekodan selari pada API LLM kadar tetap](https://broadrouter.com/ms/blog/run-parallel-coding-agents-flat-rate/) (artikel)
-   [Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-throughput&utm_content=page-cta) ·

**Sumber**

-   [NVIDIA NIM, metrik penanda aras LLM (total TPS per system, TPS per user, RPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Kwon et al., PagedAttention dan vLLM, arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Rujukan API BroadNet Inference, had (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-throughput&utm_content=sources#limits)
-   [Pelan BroadNet Inference (kelajuan biasa, satu permintaan bagi setiap sesi) (Bahasa Inggeris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-throughput&utm_content=sources)
