Token sesaat memberitahu sepantas mana satu jawapan distrim. Daya pemprosesan memberitahu berapa banyak kerja yang disiapkan oleh seluruh sistem.
Cara ia berfungsi
Panduan penanda aras NVIDIA memisahkan kedua-duanya. Total TPS per system ialah “total output token throughput across all simultaneous requests” (jumlah daya pemprosesan token output merentas semua permintaan serentak): semua token output dibahagi dengan masa dari permintaan pertama hingga respons terakhir. TPS per user ialah panjang output satu permintaan dibahagi dengan masa hujung ke hujungnya. Requests per second (RPS) mengira permintaan yang selesai, bukan token.
Ayat utamanya: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (Terjemahan BroadRouter: “Apabila bilangan permintaan serentak meningkat, total system TPS meningkat manakala TPS per user menurun.”) Total TPS naik sehingga GPU tepu, dan selepas titik itu ia boleh jatuh.
Di pelayan, hadnya biasanya memori. Kertas PagedAttention menerangkan bahawa penyajian pada daya pemprosesan tinggi “requires batching sufficiently many requests at a time” (Terjemahan BroadRouter: “memerlukan pengelompokan permintaan yang cukup banyak pada satu masa”), dan KV cache setiap permintaan menentukan berapa banyak yang muat. Pengurusan memori yang lebih baik membolehkan vLLM mencapai 2 hingga 4 kali daya pemprosesan sistem terdahulu pada kependaman yang sama.
Mengapa ia penting
Bagi pemanggil API, daya pemprosesan ialah tentang sisi paip anda: berapa banyak dokumen yang boleh anda proses sejam, atau berapa banyak ejen yang boleh bekerja serentak. Ia mengikut peraturan mudah:
your throughput ≈ concurrent requests × per-stream tokens per second
Maksudnya, daya pemprosesan anda lebih kurang sama dengan bilangan permintaan serentak didarab token sesaat setiap strim. Ini hanya benar selagi penyedia mengekalkan kelajuan setiap strim apabila anda menambah beban. Ukurnya; jangan menganggapnya.
Daya pemprosesan dihadkan oleh had keserentakan dan had kadar anda, bukan oleh model semata-mata. Jika sesuatu kerja lambat, semak sama ada permintaan berjalan satu demi satu sedangkan ia boleh berjalan secara selari.
Di BroadNet Inference
BroadNet menerbitkan had bagi setiap kunci, bukan angka daya pemprosesan sistem. Halaman pelannya memberikan kelajuan biasa kira-kira 100 token sesaat untuk DeepSeek V4.1 Flash, model pelan itu; ia tidak menerbitkan kelajuan untuk model lain. Sebagai ilustrasi, jika setiap strim berjalan pada angka itu:
| Pilihan | Permintaan selari | Had atas jika kelajuan kekal |
|---|---|---|
| Kunci bayar ikut guna | 4 (dan 30 permintaan seminit) | 4 strim × kira-kira 100 token sesaat setiap satu |
| Kunci sejam (Gemma 4 VL 26B) | 1 strim, 300,000 token seminit | tidak diterbitkan; ukur sendiri |
| Sesi pelan harga tetap | 1 permintaan pada satu masa | kira-kira 100 token sesaat |
Untuk menskalakan pelan harga tetap, anda menambah sesi, satu bagi setiap ejen yang bekerja secara selari; lihat sesi API LLM tanpa had dan menjalankan ejen pengekodan selari. Kelajuan itu ialah angka biasa yang dinyatakan BroadNet untuk DeepSeek V4.1 Flash, bukan jaminan untuk model lain atau di bawah beban.