BroadRouter
शुरू करें

थ्रूपुट (throughput)

अपडेट किया गया

LLM सर्विंग में थ्रूपुट वह कुल काम है जो कोई सिस्टम सभी कॉन्करेंट अनुरोधों में प्रति इकाई समय पूरा करता है, आम तौर पर आउटपुट टोकन प्रति सेकंड या अनुरोध प्रति सेकंड में नापा जाता है। यह प्रति-स्ट्रीम स्पीड से अलग है, जो बताती है कि एक अनुरोध को उसके टोकन कितनी तेज़ी से मिलते हैं।

अन्य नाम: थ्रूपुट, सिस्टम थ्रूपुट, कुल टोकन प्रति सेकंड, throughput kya hai, LLM throughput kya hota hai, throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

टोकन प्रति सेकंड बताता है कि एक जवाब कितनी तेज़ी से स्ट्रीम होता है। थ्रूपुट बताता है कि पूरा सिस्टम कितना काम निपटाता है।

यह कैसे काम करता है

NVIDIA की बेंचमार्किंग गाइड दोनों को अलग करती है। Total TPS per system है “total output token throughput across all simultaneous requests” (अनुवाद: एक साथ चल रहे सभी अनुरोधों का कुल आउटपुट टोकन थ्रूपुट): सभी आउटपुट टोकन को पहले अनुरोध से आख़िरी जवाब तक के समय से भाग दिया जाता है। TPS per user एक अनुरोध की आउटपुट लंबाई को उसके शुरू से अंत तक के समय से भाग देना है। Requests per second (RPS) टोकन के बजाय पूरे हुए अनुरोध गिनता है।

सबसे अहम पंक्ति: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (अनुवाद: कॉन्करेंट अनुरोधों की संख्या बढ़ने पर कुल सिस्टम TPS बढ़ता है जबकि TPS per user घटता है।) कुल TPS तब तक चढ़ता है जब तक GPU पूरी तरह भर न जाए, और उसके बाद गिर भी सकता है।

सर्वर पर सीमा आम तौर पर मेमोरी होती है। PagedAttention पेपर समझाता है कि ऊँचे थ्रूपुट पर सर्विंग “requires batching sufficiently many requests at a time” (अनुवाद: एक साथ पर्याप्त अनुरोधों को बैच करना माँगती है), और हर अनुरोध का KV कैश तय करता है कि कितने समा सकते हैं। बेहतर मेमोरी मैनेजमेंट से vLLM उतनी ही लेटेंसी पर पुराने सिस्टम के मुक़ाबले 2 से 4 गुना थ्रूपुट तक पहुँचा।

यह क्यों मायने रखता है

API इस्तेमाल करने वाले के लिए थ्रूपुट पाइप के आपके हिस्से की बात है: आप घंटे में कितने दस्तावेज़ प्रोसेस कर सकते हैं, या कितने एजेंट एक साथ काम कर सकते हैं। यह एक सीधा नियम मानता है:

your throughput ≈ concurrent requests × per-stream tokens per second

यानी: आपका थ्रूपुट ≈ कॉन्करेंट अनुरोध × प्रति-स्ट्रीम टोकन प्रति सेकंड।

यह तभी तक सही है जब तक लोड बढ़ाने पर भी प्रोवाइडर प्रति-स्ट्रीम स्पीड स्थिर रखे। इसे नापें; मानकर न चलें।

थ्रूपुट की सीमा आपकी कॉन्करेंसी सीमा और रेट लिमिट तय करती हैं, अकेला मॉडल नहीं। अगर कोई काम धीमा है, तो देखें कि जो अनुरोध समानांतर चल सकते थे, कहीं वे एक के बाद एक तो नहीं चल रहे।

BroadNet Inference पर

BroadNet हर key की सीमाएँ प्रकाशित करता है, सिस्टम थ्रूपुट का कोई आँकड़ा नहीं। इसका प्लान पेज प्लान मॉडल DeepSeek V4.1 Flash के लिए लगभग 100 टोकन प्रति सेकंड की सामान्य स्पीड बताता है; दूसरे मॉडल की कोई स्पीड प्रकाशित नहीं है। उदाहरण के तौर पर, अगर हर स्ट्रीम उसी आँकड़े पर चले:

विकल्प समानांतर अनुरोध स्पीड बनी रहे तो ऊपरी सीमा
उपयोग के अनुसार भुगतान वाली key 4 (और प्रति मिनट 30 अनुरोध) 4 स्ट्रीम × हर एक लगभग 100 टोकन प्रति सेकंड
घंटे वाली key (Gemma 4 VL 26B) 1 स्ट्रीम, प्रति मिनट 300,000 टोकन प्रकाशित नहीं; ख़ुद नापें
फ़्लैट प्लान सेशन एक समय पर 1 अनुरोध लगभग 100 टोकन प्रति सेकंड

फ़्लैट प्लान को बढ़ाने के लिए सेशन जोड़ें, समानांतर काम करने वाले हर एजेंट के लिए एक; देखें अनलिमिटेड LLM API सेशन और समानांतर कोडिंग एजेंट चलाना। वह स्पीड DeepSeek V4.1 Flash के लिए BroadNet का बताया हुआ सामान्य आँकड़ा है, दूसरे मॉडल के लिए या लोड के दौरान कोई गारंटी नहीं।

अक्सर पूछे जाने वाले सवाल

क्या थ्रूपुट और टोकन प्रति सेकंड एक ही हैं?

सिर्फ़ सिस्टम के स्तर पर। प्रति-स्ट्रीम टोकन प्रति सेकंड वह स्पीड है जो एक अनुरोध को मिलती है। थ्रूपुट सभी स्ट्रीम को जोड़ता है। NVIDIA इन्हें TPS per user और total TPS per system कहता है।

LLM API से ज़्यादा थ्रूपुट कैसे पाएँ?

अपनी कॉन्करेंसी और रेट लिमिट तक ज़्यादा अनुरोध समानांतर चलाएँ, और हर अनुरोध छोटा रखें। अगर हर अनुरोध पहले से अपना स्लॉट पूरा इस्तेमाल कर रहा है, तो ज़्यादा स्लॉट, keys या सेशन ही आगे बढ़ने का रास्ता हैं।

क्या ज़्यादा थ्रूपुट का मतलब कम लेटेंसी है?

नहीं। थ्रूपुट सभी अनुरोधों में प्रति सेकंड का कुल काम है; लेटेंसी यह है कि एक अनुरोध में कितना समय लगता है। एक साथ ज़्यादा अनुरोध चलाने से कुल थ्रूपुट बढ़ता है पर हर अनुरोध धीमा हो सकता है, इसीलिए NVIDIA, TPS per user और total TPS अलग-अलग बताता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें