BroadRouter

टोकन प्रति सेकंड (tokens per second, TPS)

अपडेट किया गया

टोकन प्रति सेकंड (TPS) वह दर है जिस पर लैंग्वेज मॉडल आउटपुट टोकन बनाता है, आम तौर पर एक अनुरोध का पहला टोकन आने के बाद नापी जाती है। यह तय करती है कि शुरू होकर जवाब कितना तेज़ स्ट्रीम होगा। सभी कॉन्करेंट अनुरोधों का जोड़ सिस्टम थ्रूपुट है; पहले टोकन से पहले का इंतज़ार अलग नापा जाता है।

अन्य नाम: टोकन प्रति सेकंड, जनरेशन स्पीड, आउटपुट स्पीड, tokens per second kya hai, TPS kya hai, tokens per second, TPS, tok/s, output speed, generation speed

स्पीड के दो हिस्से हैं: कुछ भी दिखने में कितना समय लगता है, और उसके बाद टेक्स्ट कितनी तेज़ी से बहता है। टोकन प्रति सेकंड दूसरा हिस्सा नापता है।

यह कैसे काम करता है

NVIDIA के बेंचमार्किंग डॉक्स इससे जुड़ी मेट्रिक्स परिभाषित करते हैं:

  • पहले टोकन तक का समय (TTFT): अनुरोध भेजने से पहला टोकन मिलने तक। यह प्रॉम्प्ट की लंबाई के साथ बढ़ता है।
  • इंटर-टोकन लेटेंसी (ITL): आउटपुट टोकन के बीच का औसत अंतर।
  • प्रति-यूज़र TPS: एक अनुरोध के आउटपुट टोकन को उसके शुरू से अंत तक के समय से भाग देना, इसलिए NVIDIA की परिभाषा में इसमें TTFT शामिल है। कई डैशबोर्ड इसके बजाय पहले टोकन के बाद की डिकोड स्पीड बताते हैं, जैसा यह पेज करता है।
  • सिस्टम TPS: एक साथ चल रहे सभी अनुरोधों के कुल आउटपुट टोकन, जिसे थ्रूपुट भी कहते हैं।

ये उलटी दिशाओं में खिंचते हैं। NVIDIA बताता है कि कॉन्करेंसी बढ़ने पर सिस्टम TPS बढ़ता है जबकि प्रति-यूज़र TPS घटता है। प्रोवाइडर का मार्केटिंग आँकड़ा और आपके एक अनुरोध की स्पीड, दोनों ईमानदार होकर भी अलग हो सकते हैं।

एक जवाब का झटपट अनुमान:

total time ≈ TTFT + output tokens ÷ tokens per second

यानी: कुल समय ≈ TTFT + आउटपुट टोकन ÷ टोकन प्रति सेकंड।

उदाहरण के लिए 50 टोकन प्रति सेकंड वाली स्ट्रीम लें: 1,000 टोकन का जवाब पहले टोकन के बाद लगभग 20 सेकंड लेता है। अगर मॉडल 2,000 रीज़निंग टोकन भी लिखता है, तो जवाब शुरू होने से पहले लगभग 40 सेकंड और जोड़ें। पहले टोकन तक का समय इसके ऊपर से आता है।

यह क्यों मायने रखता है

  • यूज़र अनुभव. स्ट्रीमिंग टेक्स्ट को आते ही दिखाती है, इसलिए TTFT और TPS तय करते हैं कि जवाब कितना तेज़ लगता है।
  • एजेंट थ्रूपुट. कोडिंग एजेंट अगले क़दम से पहले हर जवाब का इंतज़ार करता है। तेज़ आउटपुट का मतलब है प्रति घंटे ज़्यादा क़दम।
  • प्लान की सीमाएँ. बिना टोकन मीटर वाले प्लान पर स्पीड ही असली सीमा बन जाती है कि आप कितने टोकन इस्तेमाल कर सकते हैं।

BroadNet Inference पर

BroadNet का प्लान पेज DeepSeek V4.1 Flash के लिए लगभग 100 टोकन प्रति सेकंड की सामान्य स्पीड बताता है। अनलिमिटेड प्लान का एक सेशन एक समय पर एक अनुरोध चलाता है, इसलिए उस स्पीड पर 30 दिन तक लगातार जनरेट करने वाला सेशन लगभग 259 मिलियन आउटपुट टोकन बनाएगा। असली एजेंट पढ़ने, टूल चलाने और इंतज़ार में समय बिताते हैं, इसलिए व्यावहारिक आँकड़ा कम होता है।

प्लान पर कुल थ्रूपुट बढ़ाने के लिए सेशन जोड़ें: समानांतर काम करने वाले हर एजेंट के लिए एक। देखें अनलिमिटेड सेशन कैसे काम करते हैं और समानांतर कोडिंग एजेंट चलाना।

आम ग़लतियाँ

  • एक ही अनुरोध पर प्रोवाइडर की तुलना करना। TTFT और TPS को कई अनुरोधों पर, अपने प्रॉम्प्ट आकार के साथ नापें।
  • क्लाइंट टाइमआउट सेट करते समय रीज़निंग का समय भूल जाना।

अक्सर पूछे जाने वाले सवाल

टोकन प्रति सेकंड का अच्छा आँकड़ा क्या है?

यह इस्तेमाल पर निर्भर है। चैट का जवाब तब तेज़ लगता है जब टेक्स्ट लोगों के पढ़ने से तेज़ आता है। एजेंट और बैच जॉब के लिए हर टास्क का कुल समय और समानांतर चलने वाले अनुरोधों की संख्या ज़्यादा मायने रखती है।

क्या टोकन प्रति सेकंड में प्रॉम्प्ट शामिल है?

आम तौर पर नहीं। जनरेशन स्पीड आउटपुट टोकन गिनती है। प्रॉम्प्ट पढ़ने का समय पहले टोकन तक के समय में दिखता है, जो प्रॉम्प्ट की लंबाई के साथ बढ़ता है।

क्या रीज़निंग टोकन जवाब को धीमा करते हैं?

हाँ। वे दिखने वाले आउटपुट की ही स्पीड से बनते हैं, इसलिए 2,000 टोकन तक सोचने वाला मॉडल जवाब को उतनी देर टालता है जितना उन टोकन में समय लगता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें