लेटेंसी वह संख्या है जिसे यूज़र महसूस करते हैं। डेमो से प्रोडक्शन में जाने वाली टीमों को सबसे ज़्यादा हैरान भी यही करती है।
यह कैसे काम करती है
NVIDIA की मेट्रिक गाइड एक अनुरोध के लिए मूल फ़ॉर्मूला देती है। पहली लाइन कहती है कि end-to-end latency = TTFT + जनरेशन टाइम; दूसरी, कि ITL = (end-to-end latency − TTFT) ÷ (आउटपुट टोकन − 1):
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
पहले टोकन तक का समय नेटवर्क, कतार और प्रॉम्प्ट पढ़ने को कवर करता है। जनरेशन टाइम पहले टोकन के बाद का सारा समय है: (आउटपुट टोकन − 1) × inter-token latency (ITL), या लंबे जवाब के लिए मोटे तौर पर आउटपुट टोकन × ITL। NVIDIA के अनुसार end-to-end latency “includes queueing, batching, and network latency” (अनुवाद: इसमें कतार, बैचिंग और नेटवर्क लेटेंसी शामिल हैं)।
गोल संख्याओं वाला एक उदाहरण: मान लीजिए कोई मॉडल प्रति सेकंड 50 आउटपुट टोकन स्ट्रीम करता है। 600 टोकन का जवाब बनने में 600 ÷ 50 = 12 सेकंड लगते हैं। एक सेकंड का TTFT जोड़ें, तो अनुरोध में लगभग 13 सेकंड लगते हैं। जवाब आधा करें तो 6 सेकंड बचते हैं; TTFT आधा करें तो आधा सेकंड। यहाँ आउटपुट की लंबाई हावी है।
किसी ऐप्लिकेशन में अनुरोध शायद ही कभी अकेला होता है। यूज़र की स्क्रीन पर दिखने वाली लेटेंसी में एरर के बाद के रीट्राई, concurrency स्लॉट का इंतज़ार, मॉडल टर्न के बीच टूल कॉल और आपका अपना कोड भी शामिल है।
यह क्यों मायने रखती है
OpenAI की लेटेंसी गाइड सात सिद्धांत गिनाती है: टोकन तेज़ी से प्रोसेस करें, कम टोकन बनवाएँ, कम इनपुट टोकन इस्तेमाल करें, कम अनुरोध करें, पैरेलल चलाएँ, यूज़र को कम इंतज़ार कराएँ, और हर काम के लिए अपने-आप LLM न चुनें। इनमें से ज़्यादातर डिज़ाइन के फ़ैसले हैं, प्रोवाइडर के नहीं।
परसेंटाइल बताएँ। 4 सेकंड का p50 और 30 सेकंड का p95 का मतलब है कि हर बीस में से एक यूज़र आधा मिनट या उससे ज़्यादा इंतज़ार करता है। औसत इस पूँछ को छिपा देता है, और टाइमआउट इसी से तय होते हैं।
लेटेंसी और थ्रूपुट एक-दूसरे के विपरीत खिंचते हैं। NVIDIA बताता है कि एक साथ चल रहे अनुरोध बढ़ने पर सिस्टम के कुल टोकन प्रति सेकंड बढ़ते हैं, जबकि प्रति यूज़र टोकन प्रति सेकंड घटते हैं। व्यस्त प्रोवाइडर ज़्यादा लोगों को सेवा दे सकता है और फिर भी हर एक को धीमा लग सकता है।
BroadNet Inference पर
BroadNet का प्लान पेज आम रफ़्तार लगभग 100 टोकन प्रति सेकंड बताता है। उसके डॉक्स TTFT या परसेंटाइल लेटेंसी के आँकड़े प्रकाशित नहीं करते। उपयोग के अनुसार भुगतान वाली key एक साथ 4 चालू अनुरोध की अनुमति देती है; डॉक्स HTTP 429 के कारणों में concurrency सीमा गिनाते हैं, और उसके बाद हर रीट्राई आपकी तरफ़ लेटेंसी जोड़ता है। लंबे एजेंट रन में टाइमआउट और सीमित रीट्राई रखें; लंबे चलने वाले एजेंट के लिए टाइमआउट और रीट्राई देखें। क्लाइंट से हर हिस्से को मापने के लिए LLM लेटेंसी गाइड देखें।