لیٹنسی وہ عدد ہے جو صارفین محسوس کرتے ہیں۔ ڈیمو سے پروڈکشن میں جانے والی ٹیموں کو سب سے زیادہ حیران بھی یہی کرتی ہے۔
یہ کیسے کام کرتی ہے
NVIDIA کی میٹرکس گائیڈ ایک درخواست کے لیے بنیادی فارمولا دیتی ہے۔ پہلی لائن کہتی ہے کہ end-to-end latency = TTFT + جنریشن ٹائم؛ دوسری، کہ ITL = (end-to-end latency − TTFT) ÷ (آؤٹ پٹ ٹوکنز − 1):
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
پہلے ٹوکن تک کا وقت نیٹ ورک، قطار اور پرامپٹ پڑھنے کا احاطہ کرتا ہے۔ جنریشن ٹائم پہلے ٹوکن کے بعد کا سارا وقت ہے: (آؤٹ پٹ ٹوکنز − 1) × inter-token latency (ITL)، یا لمبے جواب کے لیے تقریباً آؤٹ پٹ ٹوکنز × ITL۔ NVIDIA کے مطابق end-to-end latency “includes queueing, batching, and network latency” (ترجمہ: اس میں قطار، بیچنگ اور نیٹ ورک لیٹنسی شامل ہیں)۔
گول اعداد والی ایک مثال: فرض کریں کوئی ماڈل فی سیکنڈ 50 آؤٹ پٹ ٹوکن اسٹریم کرتا ہے۔ 600 ٹوکن کا جواب بننے میں 600 ÷ 50 = 12 سیکنڈ لگتے ہیں۔ ایک سیکنڈ کا TTFT جوڑیں تو درخواست میں تقریباً 13 سیکنڈ لگتے ہیں۔ جواب آدھا کریں تو 6 سیکنڈ بچتے ہیں؛ TTFT آدھا کریں تو آدھا سیکنڈ۔ یہاں آؤٹ پٹ کی لمبائی غالب ہے۔
کسی ایپلیکیشن میں درخواست شاذ ہی اکیلی ہوتی ہے۔ صارف کی اسکرین پر نظر آنے والی لیٹنسی میں ایررز کے بعد دوبارہ کوششیں، concurrency سلاٹ کا انتظار، ماڈل کے ٹرنز کے درمیان ٹول کالز اور آپ کا اپنا کوڈ بھی شامل ہے۔
یہ کیوں اہم ہے
OpenAI کی لیٹنسی گائیڈ سات اصول گنواتی ہے: ٹوکن تیزی سے پروسیس کریں، کم ٹوکن بنوائیں، کم ان پٹ ٹوکن استعمال کریں، کم درخواستیں کریں، متوازی چلائیں، صارفین کو کم انتظار کرائیں، اور ہر کام کے لیے خود بخود LLM نہ چنیں۔ ان میں سے زیادہ تر ڈیزائن کے فیصلے ہیں، فراہم کنندہ کے نہیں۔
پرسنٹائلز بتائیں۔ 4 سیکنڈ کا p50 اور 30 سیکنڈ کا p95 کا مطلب ہے کہ ہر بیس میں سے ایک صارف آدھا منٹ یا اس سے زیادہ انتظار کرتا ہے۔ اوسط اس دم کو چھپا دیتی ہے، اور ٹائم آؤٹس اسی سے طے ہوتے ہیں۔
لیٹنسی اور تھرو پٹ ایک دوسرے کے مخالف کھنچتے ہیں۔ NVIDIA بتاتا ہے کہ بیک وقت درخواستیں بڑھنے پر نظام کے کل ٹوکن فی سیکنڈ بڑھتے ہیں، جبکہ فی صارف ٹوکن فی سیکنڈ گھٹتے ہیں۔ مصروف فراہم کنندہ زیادہ لوگوں کو سروس دے سکتا ہے اور پھر بھی ہر ایک کو سست لگ سکتا ہے۔
BroadNet Inference پر
BroadNet کا پلانز صفحہ عام رفتار تقریباً 100 ٹوکن فی سیکنڈ بتاتا ہے۔ اس کی دستاویزات TTFT یا پرسنٹائل لیٹنسی کے اعداد شائع نہیں کرتیں۔ استعمال کے مطابق ادائیگی والی کلید بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے؛ دستاویزات HTTP 429 کی وجوہات میں concurrency کی حد شامل کرتی ہیں، اور اس کے بعد ہر دوبارہ کوشش آپ کی طرف لیٹنسی بڑھاتی ہے۔ لمبے ایجنٹ رنز میں ٹائم آؤٹس اور محدود دوبارہ کوششیں رکھیں؛ لمبے چلنے والے ایجنٹس کے لیے ٹائم آؤٹس اور دوبارہ کوششیں دیکھیں۔ کلائنٹ سے ہر حصہ ناپنے کے لیے LLM لیٹنسی گائیڈ دیکھیں۔