BroadRouter
Mulakan

Daya pemprosesan (throughput)

Dikemas kini

Daya pemprosesan (throughput), dalam penyajian LLM, ialah jumlah kerja yang disiapkan sistem bagi setiap unit masa merentas semua permintaan serentak, biasanya diukur sebagai token output sesaat atau permintaan sesaat. Ia berbeza daripada kelajuan setiap strim, iaitu sepantas mana satu permintaan menerima tokennya.

Juga dikenali sebagai: daya pemprosesan, daya pemprosesan sistem, jumlah token sesaat, throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Token sesaat memberitahu sepantas mana satu jawapan distrim. Daya pemprosesan memberitahu berapa banyak kerja yang disiapkan oleh seluruh sistem.

Cara ia berfungsi

Panduan penanda aras NVIDIA memisahkan kedua-duanya. Total TPS per system ialah “total output token throughput across all simultaneous requests” (jumlah daya pemprosesan token output merentas semua permintaan serentak): semua token output dibahagi dengan masa dari permintaan pertama hingga respons terakhir. TPS per user ialah panjang output satu permintaan dibahagi dengan masa hujung ke hujungnya. Requests per second (RPS) mengira permintaan yang selesai, bukan token.

Ayat utamanya: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (Terjemahan BroadRouter: “Apabila bilangan permintaan serentak meningkat, total system TPS meningkat manakala TPS per user menurun.”) Total TPS naik sehingga GPU tepu, dan selepas titik itu ia boleh jatuh.

Di pelayan, hadnya biasanya memori. Kertas PagedAttention menerangkan bahawa penyajian pada daya pemprosesan tinggi “requires batching sufficiently many requests at a time” (Terjemahan BroadRouter: “memerlukan pengelompokan permintaan yang cukup banyak pada satu masa”), dan KV cache setiap permintaan menentukan berapa banyak yang muat. Pengurusan memori yang lebih baik membolehkan vLLM mencapai 2 hingga 4 kali daya pemprosesan sistem terdahulu pada kependaman yang sama.

Mengapa ia penting

Bagi pemanggil API, daya pemprosesan ialah tentang sisi paip anda: berapa banyak dokumen yang boleh anda proses sejam, atau berapa banyak ejen yang boleh bekerja serentak. Ia mengikut peraturan mudah:

your throughput ≈ concurrent requests × per-stream tokens per second

Maksudnya, daya pemprosesan anda lebih kurang sama dengan bilangan permintaan serentak didarab token sesaat setiap strim. Ini hanya benar selagi penyedia mengekalkan kelajuan setiap strim apabila anda menambah beban. Ukurnya; jangan menganggapnya.

Daya pemprosesan dihadkan oleh had keserentakan dan had kadar anda, bukan oleh model semata-mata. Jika sesuatu kerja lambat, semak sama ada permintaan berjalan satu demi satu sedangkan ia boleh berjalan secara selari.

Di BroadNet Inference

BroadNet menerbitkan had bagi setiap kunci, bukan angka daya pemprosesan sistem. Halaman pelannya memberikan kelajuan biasa kira-kira 100 token sesaat untuk DeepSeek V4.1 Flash, model pelan itu; ia tidak menerbitkan kelajuan untuk model lain. Sebagai ilustrasi, jika setiap strim berjalan pada angka itu:

Pilihan Permintaan selari Had atas jika kelajuan kekal
Kunci bayar ikut guna 4 (dan 30 permintaan seminit) 4 strim × kira-kira 100 token sesaat setiap satu
Kunci sejam (Gemma 4 VL 26B) 1 strim, 300,000 token seminit tidak diterbitkan; ukur sendiri
Sesi pelan harga tetap 1 permintaan pada satu masa kira-kira 100 token sesaat

Untuk menskalakan pelan harga tetap, anda menambah sesi, satu bagi setiap ejen yang bekerja secara selari; lihat sesi API LLM tanpa had dan menjalankan ejen pengekodan selari. Kelajuan itu ialah angka biasa yang dinyatakan BroadNet untuk DeepSeek V4.1 Flash, bukan jaminan untuk model lain atau di bawah beban.

Soalan lazim

Adakah daya pemprosesan sama dengan token sesaat?

Hanya pada peringkat sistem. Token sesaat bagi setiap strim ialah kelajuan yang dialami satu permintaan. Daya pemprosesan menjumlahkan semua strim. NVIDIA menamakannya TPS per user dan total TPS per system.

Bagaimanakah saya mendapat daya pemprosesan lebih tinggi daripada API LLM?

Jalankan lebih banyak permintaan secara selari, sehingga had keserentakan dan had kadar anda, dan pastikan setiap permintaan pendek. Jika setiap permintaan sudah menggunakan slotnya sepenuhnya, lebih banyak slot, kunci atau sesi ialah satu-satunya cara untuk naik.

Adakah daya pemprosesan lebih tinggi bermaksud kependaman lebih rendah?

Tidak. Daya pemprosesan ialah jumlah kerja sesaat merentas semua permintaan; kependaman ialah tempoh satu permintaan. Melayan lebih banyak permintaan serentak menaikkan jumlah daya pemprosesan tetapi boleh memperlahankan setiap permintaan, sebab itu NVIDIA melaporkan TPS per user dan total TPS secara berasingan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity