BroadRouter
Mulai

Throughput

Diperbarui

Throughput, dalam penyajian LLM, adalah jumlah total pekerjaan yang diselesaikan sebuah sistem per satuan waktu di semua permintaan yang berjalan bersamaan, biasanya diukur dalam token output per detik atau permintaan per detik. Ini berbeda dengan kecepatan per stream, yaitu seberapa cepat satu permintaan menerima token-tokennya.

Disebut juga: throughput sistem, throughput total, total token per detik, permintaan per detik, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Token per detik memberi tahu seberapa cepat satu jawaban mengalir. Throughput memberi tahu seberapa banyak yang diselesaikan seluruh sistem.

Cara kerjanya

Panduan benchmark NVIDIA memisahkan keduanya. Total TPS per sistem adalah “total output token throughput across all simultaneous requests” (terjemahan: total throughput token output di semua permintaan yang berjalan bersamaan): seluruh token output dibagi waktu dari permintaan pertama sampai respons terakhir. TPS per pengguna adalah panjang output satu permintaan dibagi waktu end-to-end-nya. Permintaan per detik (RPS) menghitung permintaan yang selesai, bukan token.

Kalimat kuncinya: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (terjemahan: Seiring bertambahnya jumlah permintaan bersamaan, total TPS sistem naik sementara TPS per pengguna turun.) Total TPS naik sampai GPU jenuh, dan setelah titik itu bisa turun.

Di sisi server, batasnya biasanya memori. Makalah PagedAttention menjelaskan bahwa penyajian dengan throughput tinggi “requires batching sufficiently many requests at a time” (terjemahan: memerlukan batching cukup banyak permintaan sekaligus), dan KV cache setiap permintaan menentukan berapa banyak yang muat. Manajemen memori yang lebih baik membuat vLLM mencapai throughput 2 hingga 4 kali sistem sebelumnya pada latensi yang sama.

Kenapa ini penting

Bagi pemanggil API, throughput menyangkut sisi Anda dari pipa: berapa dokumen yang bisa Anda proses per jam, atau berapa agen yang bisa bekerja bersamaan. Aturannya sederhana:

your throughput ≈ concurrent requests × per-stream tokens per second

Artinya, throughput Anda kira-kira sama dengan jumlah permintaan bersamaan dikali token per detik per stream. Ini hanya berlaku selama penyedia menjaga kecepatan per stream tetap stabil saat Anda menambah beban. Ukurlah; jangan berasumsi.

Throughput dibatasi oleh batas konkurensi dan rate limit Anda, bukan oleh model saja. Jika sebuah pekerjaan lambat, periksa apakah permintaan berjalan satu per satu padahal bisa berjalan paralel.

Di BroadNet Inference

BroadNet memublikasikan batas per kunci, bukan angka throughput sistem. Halaman paketnya menyebut kecepatan umum sekitar 100 token per detik untuk DeepSeek V4.1 Flash, model paket; BroadNet tidak memublikasikan kecepatan untuk model lain. Sebagai ilustrasi, jika setiap stream berjalan pada angka itu:

Opsi Permintaan paralel Batas atas jika kecepatan bertahan
Kunci bayar sesuai pemakaian 4 (dan 30 permintaan per menit) 4 stream × masing-masing sekitar 100 token per detik
Kunci per jam (Gemma 4 VL 26B) 1 stream, 300,000 token per menit tidak dipublikasikan; ukur sendiri
Sesi paket harga tetap 1 permintaan dalam satu waktu sekitar 100 token per detik

Untuk menskalakan paket harga tetap, Anda menambah sesi, satu per agen yang bekerja paralel; lihat sesi API LLM unlimited dan menjalankan agen coding paralel. Kecepatan itu adalah angka umum yang dinyatakan BroadNet untuk DeepSeek V4.1 Flash, bukan jaminan untuk model lain atau saat beban tinggi.

Pertanyaan umum

Apakah throughput sama dengan token per detik?

Hanya di tingkat sistem. Token per detik per stream adalah kecepatan yang dirasakan satu permintaan. Throughput menjumlahkan semua stream. NVIDIA menyebutnya TPS per pengguna dan total TPS per sistem.

Bagaimana cara mendapatkan throughput lebih besar dari API LLM?

Jalankan lebih banyak permintaan secara paralel, sampai batas konkurensi dan rate limit Anda, dan buat setiap permintaan tetap singkat. Jika setiap permintaan sudah memakai slotnya sepenuhnya, satu-satunya cara naik adalah menambah slot, kunci, atau sesi.

Apakah throughput lebih tinggi berarti latensi lebih rendah?

Tidak. Throughput adalah total pekerjaan per detik di semua permintaan; latensi adalah berapa lama satu permintaan berlangsung. Melayani lebih banyak permintaan sekaligus menaikkan total throughput tetapi bisa memperlambat setiap permintaan, itulah sebabnya NVIDIA melaporkan TPS per pengguna dan total TPS secara terpisah.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity