BroadRouter
शुरू करें

लेटेंसी (latency)

अपडेट किया गया

लैंग्वेज मॉडल API के लिए लेटेंसी वह समय है जो किसी अनुरोध के भेजे जाने से अंतिम आउटपुट टोकन मिलने तक लगता है। यह पहले टोकन तक के समय और जनरेशन टाइम का जोड़ है, और आम तौर पर औसत के बजाय p50 और p95 जैसे परसेंटाइल में बताई जाती है।

अन्य नाम: लेटेंसी, रिस्पॉन्स टाइम, LLM लेटेंसी, latency kya hai, LLM latency kya hoti hai, latency, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

लेटेंसी वह संख्या है जिसे यूज़र महसूस करते हैं। डेमो से प्रोडक्शन में जाने वाली टीमों को सबसे ज़्यादा हैरान भी यही करती है।

यह कैसे काम करती है

NVIDIA की मेट्रिक गाइड एक अनुरोध के लिए मूल फ़ॉर्मूला देती है। पहली लाइन कहती है कि end-to-end latency = TTFT + जनरेशन टाइम; दूसरी, कि ITL = (end-to-end latency − TTFT) ÷ (आउटपुट टोकन − 1):

e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)

पहले टोकन तक का समय नेटवर्क, कतार और प्रॉम्प्ट पढ़ने को कवर करता है। जनरेशन टाइम पहले टोकन के बाद का सारा समय है: (आउटपुट टोकन − 1) × inter-token latency (ITL), या लंबे जवाब के लिए मोटे तौर पर आउटपुट टोकन × ITL। NVIDIA के अनुसार end-to-end latency “includes queueing, batching, and network latency” (अनुवाद: इसमें कतार, बैचिंग और नेटवर्क लेटेंसी शामिल हैं)।

गोल संख्याओं वाला एक उदाहरण: मान लीजिए कोई मॉडल प्रति सेकंड 50 आउटपुट टोकन स्ट्रीम करता है। 600 टोकन का जवाब बनने में 600 ÷ 50 = 12 सेकंड लगते हैं। एक सेकंड का TTFT जोड़ें, तो अनुरोध में लगभग 13 सेकंड लगते हैं। जवाब आधा करें तो 6 सेकंड बचते हैं; TTFT आधा करें तो आधा सेकंड। यहाँ आउटपुट की लंबाई हावी है।

किसी ऐप्लिकेशन में अनुरोध शायद ही कभी अकेला होता है। यूज़र की स्क्रीन पर दिखने वाली लेटेंसी में एरर के बाद के रीट्राई, concurrency स्लॉट का इंतज़ार, मॉडल टर्न के बीच टूल कॉल और आपका अपना कोड भी शामिल है।

यह क्यों मायने रखती है

OpenAI की लेटेंसी गाइड सात सिद्धांत गिनाती है: टोकन तेज़ी से प्रोसेस करें, कम टोकन बनवाएँ, कम इनपुट टोकन इस्तेमाल करें, कम अनुरोध करें, पैरेलल चलाएँ, यूज़र को कम इंतज़ार कराएँ, और हर काम के लिए अपने-आप LLM न चुनें। इनमें से ज़्यादातर डिज़ाइन के फ़ैसले हैं, प्रोवाइडर के नहीं।

परसेंटाइल बताएँ। 4 सेकंड का p50 और 30 सेकंड का p95 का मतलब है कि हर बीस में से एक यूज़र आधा मिनट या उससे ज़्यादा इंतज़ार करता है। औसत इस पूँछ को छिपा देता है, और टाइमआउट इसी से तय होते हैं।

लेटेंसी और थ्रूपुट एक-दूसरे के विपरीत खिंचते हैं। NVIDIA बताता है कि एक साथ चल रहे अनुरोध बढ़ने पर सिस्टम के कुल टोकन प्रति सेकंड बढ़ते हैं, जबकि प्रति यूज़र टोकन प्रति सेकंड घटते हैं। व्यस्त प्रोवाइडर ज़्यादा लोगों को सेवा दे सकता है और फिर भी हर एक को धीमा लग सकता है।

BroadNet Inference पर

BroadNet का प्लान पेज आम रफ़्तार लगभग 100 टोकन प्रति सेकंड बताता है। उसके डॉक्स TTFT या परसेंटाइल लेटेंसी के आँकड़े प्रकाशित नहीं करते। उपयोग के अनुसार भुगतान वाली key एक साथ 4 चालू अनुरोध की अनुमति देती है; डॉक्स HTTP 429 के कारणों में concurrency सीमा गिनाते हैं, और उसके बाद हर रीट्राई आपकी तरफ़ लेटेंसी जोड़ता है। लंबे एजेंट रन में टाइमआउट और सीमित रीट्राई रखें; लंबे चलने वाले एजेंट के लिए टाइमआउट और रीट्राई देखें। क्लाइंट से हर हिस्से को मापने के लिए LLM लेटेंसी गाइड देखें।

अक्सर पूछे जाने वाले सवाल

लेटेंसी और थ्रूपुट में क्या फ़र्क़ है?

लेटेंसी बताती है कि एक अनुरोध में कितना समय लगता है। थ्रूपुट बताता है कि सिस्टम सभी अनुरोधों को मिलाकर प्रति सेकंड कितना काम पूरा करता है। सर्वर ज़्यादा अनुरोधों को बैच करके थ्रूपुट बढ़ा सकता है, जबकि हर अनुरोध धीमा हो जाता है।

inter-token latency क्या है?

पहले टोकन के बाद आउटपुट टोकन के बीच का औसत अंतर, जिसे time per output token भी कहते हैं। NVIDIA इसे end-to-end latency में से TTFT घटाकर, आउटपुट टोकन माइनस एक से भाग देने के रूप में परिभाषित करता है।

LLM की लेटेंसी कैसे घटाएँ?

कम आउटपुट टोकन बनवाएँ, छोटे प्रॉम्प्ट भेजें, जवाब स्ट्रीम करें ताकि यूज़र को टेक्स्ट जल्दी दिखे, और आपस में स्वतंत्र कॉल पैरेलल चलाएँ। OpenAI की लेटेंसी गाइड इन्हें अपने सात सिद्धांतों में गिनाती है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें