Token per detik memberi tahu seberapa cepat satu jawaban mengalir. Throughput memberi tahu seberapa banyak yang diselesaikan seluruh sistem.
Cara kerjanya
Panduan benchmark NVIDIA memisahkan keduanya. Total TPS per sistem adalah “total output token throughput across all simultaneous requests” (terjemahan: total throughput token output di semua permintaan yang berjalan bersamaan): seluruh token output dibagi waktu dari permintaan pertama sampai respons terakhir. TPS per pengguna adalah panjang output satu permintaan dibagi waktu end-to-end-nya. Permintaan per detik (RPS) menghitung permintaan yang selesai, bukan token.
Kalimat kuncinya: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (terjemahan: Seiring bertambahnya jumlah permintaan bersamaan, total TPS sistem naik sementara TPS per pengguna turun.) Total TPS naik sampai GPU jenuh, dan setelah titik itu bisa turun.
Di sisi server, batasnya biasanya memori. Makalah PagedAttention menjelaskan bahwa penyajian dengan throughput tinggi “requires batching sufficiently many requests at a time” (terjemahan: memerlukan batching cukup banyak permintaan sekaligus), dan KV cache setiap permintaan menentukan berapa banyak yang muat. Manajemen memori yang lebih baik membuat vLLM mencapai throughput 2 hingga 4 kali sistem sebelumnya pada latensi yang sama.
Kenapa ini penting
Bagi pemanggil API, throughput menyangkut sisi Anda dari pipa: berapa dokumen yang bisa Anda proses per jam, atau berapa agen yang bisa bekerja bersamaan. Aturannya sederhana:
your throughput ≈ concurrent requests × per-stream tokens per second
Artinya, throughput Anda kira-kira sama dengan jumlah permintaan bersamaan dikali token per detik per stream. Ini hanya berlaku selama penyedia menjaga kecepatan per stream tetap stabil saat Anda menambah beban. Ukurlah; jangan berasumsi.
Throughput dibatasi oleh batas konkurensi dan rate limit Anda, bukan oleh model saja. Jika sebuah pekerjaan lambat, periksa apakah permintaan berjalan satu per satu padahal bisa berjalan paralel.
Di BroadNet Inference
BroadNet memublikasikan batas per kunci, bukan angka throughput sistem. Halaman paketnya menyebut kecepatan umum sekitar 100 token per detik untuk DeepSeek V4.1 Flash, model paket; BroadNet tidak memublikasikan kecepatan untuk model lain. Sebagai ilustrasi, jika setiap stream berjalan pada angka itu:
| Opsi | Permintaan paralel | Batas atas jika kecepatan bertahan |
|---|---|---|
| Kunci bayar sesuai pemakaian | 4 (dan 30 permintaan per menit) | 4 stream × masing-masing sekitar 100 token per detik |
| Kunci per jam (Gemma 4 VL 26B) | 1 stream, 300,000 token per menit | tidak dipublikasikan; ukur sendiri |
| Sesi paket harga tetap | 1 permintaan dalam satu waktu | sekitar 100 token per detik |
Untuk menskalakan paket harga tetap, Anda menambah sesi, satu per agen yang bekerja paralel; lihat sesi API LLM unlimited dan menjalankan agen coding paralel. Kecepatan itu adalah angka umum yang dinyatakan BroadNet untuk DeepSeek V4.1 Flash, bukan jaminan untuk model lain atau saat beban tinggi.