टोकन प्रति सेकंड बताता है कि एक जवाब कितनी तेज़ी से स्ट्रीम होता है। थ्रूपुट बताता है कि पूरा सिस्टम कितना काम निपटाता है।
यह कैसे काम करता है
NVIDIA की बेंचमार्किंग गाइड दोनों को अलग करती है। Total TPS per system है “total output token throughput across all simultaneous requests” (अनुवाद: एक साथ चल रहे सभी अनुरोधों का कुल आउटपुट टोकन थ्रूपुट): सभी आउटपुट टोकन को पहले अनुरोध से आख़िरी जवाब तक के समय से भाग दिया जाता है। TPS per user एक अनुरोध की आउटपुट लंबाई को उसके शुरू से अंत तक के समय से भाग देना है। Requests per second (RPS) टोकन के बजाय पूरे हुए अनुरोध गिनता है।
सबसे अहम पंक्ति: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (अनुवाद: कॉन्करेंट अनुरोधों की संख्या बढ़ने पर कुल सिस्टम TPS बढ़ता है जबकि TPS per user घटता है।) कुल TPS तब तक चढ़ता है जब तक GPU पूरी तरह भर न जाए, और उसके बाद गिर भी सकता है।
सर्वर पर सीमा आम तौर पर मेमोरी होती है। PagedAttention पेपर समझाता है कि ऊँचे थ्रूपुट पर सर्विंग “requires batching sufficiently many requests at a time” (अनुवाद: एक साथ पर्याप्त अनुरोधों को बैच करना माँगती है), और हर अनुरोध का KV कैश तय करता है कि कितने समा सकते हैं। बेहतर मेमोरी मैनेजमेंट से vLLM उतनी ही लेटेंसी पर पुराने सिस्टम के मुक़ाबले 2 से 4 गुना थ्रूपुट तक पहुँचा।
यह क्यों मायने रखता है
API इस्तेमाल करने वाले के लिए थ्रूपुट पाइप के आपके हिस्से की बात है: आप घंटे में कितने दस्तावेज़ प्रोसेस कर सकते हैं, या कितने एजेंट एक साथ काम कर सकते हैं। यह एक सीधा नियम मानता है:
your throughput ≈ concurrent requests × per-stream tokens per second
यानी: आपका थ्रूपुट ≈ कॉन्करेंट अनुरोध × प्रति-स्ट्रीम टोकन प्रति सेकंड।
यह तभी तक सही है जब तक लोड बढ़ाने पर भी प्रोवाइडर प्रति-स्ट्रीम स्पीड स्थिर रखे। इसे नापें; मानकर न चलें।
थ्रूपुट की सीमा आपकी कॉन्करेंसी सीमा और रेट लिमिट तय करती हैं, अकेला मॉडल नहीं। अगर कोई काम धीमा है, तो देखें कि जो अनुरोध समानांतर चल सकते थे, कहीं वे एक के बाद एक तो नहीं चल रहे।
BroadNet Inference पर
BroadNet हर key की सीमाएँ प्रकाशित करता है, सिस्टम थ्रूपुट का कोई आँकड़ा नहीं। इसका प्लान पेज प्लान मॉडल DeepSeek V4.1 Flash के लिए लगभग 100 टोकन प्रति सेकंड की सामान्य स्पीड बताता है; दूसरे मॉडल की कोई स्पीड प्रकाशित नहीं है। उदाहरण के तौर पर, अगर हर स्ट्रीम उसी आँकड़े पर चले:
| विकल्प | समानांतर अनुरोध | स्पीड बनी रहे तो ऊपरी सीमा |
|---|---|---|
| उपयोग के अनुसार भुगतान वाली key | 4 (और प्रति मिनट 30 अनुरोध) | 4 स्ट्रीम × हर एक लगभग 100 टोकन प्रति सेकंड |
| घंटे वाली key (Gemma 4 VL 26B) | 1 स्ट्रीम, प्रति मिनट 300,000 टोकन | प्रकाशित नहीं; ख़ुद नापें |
| फ़्लैट प्लान सेशन | एक समय पर 1 अनुरोध | लगभग 100 टोकन प्रति सेकंड |
फ़्लैट प्लान को बढ़ाने के लिए सेशन जोड़ें, समानांतर काम करने वाले हर एजेंट के लिए एक; देखें अनलिमिटेड LLM API सेशन और समानांतर कोडिंग एजेंट चलाना। वह स्पीड DeepSeek V4.1 Flash के लिए BroadNet का बताया हुआ सामान्य आँकड़ा है, दूसरे मॉडल के लिए या लोड के दौरान कोई गारंटी नहीं।