---
title: "Apa itu throughput LLM? Token per detik seluruh sistem"
description: "Throughput LLM adalah total kerja sistem per detik di semua permintaan bersamaan, dalam token atau permintaan per detik. Bedanya dengan kecepatan per stream."
url: https://broadrouter.com/id/glossary/throughput/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/throughput/) (diperbarui 2026-11-14).

# Throughput

Diperbarui 2026-11-14

Throughput, dalam penyajian LLM, adalah jumlah total pekerjaan yang diselesaikan sebuah sistem per satuan waktu di semua permintaan yang berjalan bersamaan, biasanya diukur dalam token output per detik atau permintaan per detik. Ini berbeda dengan kecepatan per stream, yaitu seberapa cepat satu permintaan menerima token-tokennya.

Disebut juga: throughput sistem, throughput total, total token per detik, permintaan per detik, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

[Token per detik](https://broadrouter.com/id/glossary/tokens-per-second/) memberi tahu seberapa cepat satu jawaban mengalir. Throughput memberi tahu seberapa banyak yang diselesaikan seluruh sistem.

## Cara kerjanya

Panduan benchmark NVIDIA memisahkan keduanya. **Total TPS per sistem** adalah “total output token throughput across all simultaneous requests” (terjemahan: total throughput token output di semua permintaan yang berjalan bersamaan): seluruh token output dibagi waktu dari permintaan pertama sampai respons terakhir. **TPS per pengguna** adalah panjang output satu permintaan dibagi waktu end-to-end-nya. **Permintaan per detik (RPS)** menghitung permintaan yang selesai, bukan token.

Kalimat kuncinya: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (terjemahan: Seiring bertambahnya jumlah permintaan bersamaan, total TPS sistem naik sementara TPS per pengguna turun.) Total TPS naik sampai GPU jenuh, dan setelah titik itu bisa turun.

Di sisi server, batasnya biasanya memori. Makalah PagedAttention menjelaskan bahwa penyajian dengan throughput tinggi “requires batching sufficiently many requests at a time” (terjemahan: memerlukan batching cukup banyak permintaan sekaligus), dan [KV cache](https://broadrouter.com/id/glossary/kv-cache/) setiap permintaan menentukan berapa banyak yang muat. Manajemen memori yang lebih baik membuat vLLM mencapai throughput 2 hingga 4 kali sistem sebelumnya pada latensi yang sama.

## Kenapa ini penting

Bagi pemanggil API, throughput menyangkut sisi Anda dari pipa: berapa dokumen yang bisa Anda proses per jam, atau berapa agen yang bisa bekerja bersamaan. Aturannya sederhana:

```text
your throughput ≈ concurrent requests × per-stream tokens per second
```

Artinya, throughput Anda kira-kira sama dengan jumlah permintaan bersamaan dikali token per detik per stream. Ini hanya berlaku selama penyedia menjaga kecepatan per stream tetap stabil saat Anda menambah beban. Ukurlah; jangan berasumsi.

Throughput dibatasi oleh batas [konkurensi](https://broadrouter.com/id/glossary/concurrency/) dan rate limit Anda, bukan oleh model saja. Jika sebuah pekerjaan lambat, periksa apakah permintaan berjalan satu per satu padahal bisa berjalan paralel.

## Di BroadNet Inference

BroadNet memublikasikan batas per kunci, bukan angka throughput sistem. Halaman paketnya menyebut kecepatan umum sekitar 100 token per detik untuk DeepSeek V4.1 Flash, model paket; BroadNet tidak memublikasikan kecepatan untuk model lain. Sebagai ilustrasi, jika setiap stream berjalan pada angka itu:

| Opsi | Permintaan paralel | Batas atas jika kecepatan bertahan |
| --- | --- | --- |
| Kunci bayar sesuai pemakaian | 4 (dan 30 permintaan per menit) | 4 stream × masing-masing sekitar 100 token per detik |
| Kunci per jam (Gemma 4 VL 26B) | 1 stream, 300,000 token per menit | tidak dipublikasikan; ukur sendiri |
| Sesi paket harga tetap | 1 permintaan dalam satu waktu | sekitar 100 token per detik |

Untuk menskalakan paket harga tetap, Anda menambah sesi, satu per agen yang bekerja paralel; lihat [sesi API LLM unlimited](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/) dan [menjalankan agen coding paralel](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/). Kecepatan itu adalah angka umum yang dinyatakan BroadNet untuk DeepSeek V4.1 Flash, bukan jaminan untuk model lain atau saat beban tinggi.

## Pertanyaan umum

### Apakah throughput sama dengan token per detik?

Hanya di tingkat sistem. Token per detik per stream adalah kecepatan yang dirasakan satu permintaan. Throughput menjumlahkan semua stream. NVIDIA menyebutnya TPS per pengguna dan total TPS per sistem.

### Bagaimana cara mendapatkan throughput lebih besar dari API LLM?

Jalankan lebih banyak permintaan secara paralel, sampai batas konkurensi dan rate limit Anda, dan buat setiap permintaan tetap singkat. Jika setiap permintaan sudah memakai slotnya sepenuhnya, satu-satunya cara naik adalah menambah slot, kunci, atau sesi.

### Apakah throughput lebih tinggi berarti latensi lebih rendah?

Tidak. Throughput adalah total pekerjaan per detik di semua permintaan; latensi adalah berapa lama satu permintaan berlangsung. Melayani lebih banyak permintaan sekaligus menaikkan total throughput tetapi bisa memperlambat setiap permintaan, itulah sebabnya NVIDIA melaporkan TPS per pengguna dan total TPS secara terpisah.

## Lihat juga

-   [Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/) (istilah)
-   [Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/) (istilah)
-   [Latensi (latency)](https://broadrouter.com/id/glossary/latency/) (istilah)
-   [KV cache](https://broadrouter.com/id/glossary/kv-cache/) (istilah)
-   [Batch API](https://broadrouter.com/id/glossary/batch-api/) (istilah)
-   [Speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/) (istilah)
-   [Cara kerja paket API LLM unlimited untuk agen](https://broadrouter.com/id/guides/unlimited-llm-api-sessions/) (panduan)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/) (panduan)
-   [Cara menjalankan agen coding paralel dengan API LLM harga tetap](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/) (artikel)
-   [Latensi LLM: TTFT vs token per detik vs waktu end-to-end](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-throughput&utm_content=page-cta) ·

**Sumber**

-   [NVIDIA NIM, metrik benchmark LLM (total TPS per sistem, TPS per pengguna, RPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Kwon dkk., PagedAttention dan vLLM, arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Referensi API BroadNet Inference, batas (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-throughput&utm_content=sources#limits)
-   [Paket BroadNet Inference (kecepatan umum, satu permintaan per sesi) (bahasa Inggris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-throughput&utm_content=sources)
