زمن الاستجابة هو الرقم الذي يشعر به المستخدمون، وهو أيضًا أكثر ما يفاجئ الفرق حين تنتقل من النموذج التجريبي إلى الإنتاج.
كيف يعمل
يعطي دليل مقاييس NVIDIA المعادلة الأساسية لطلب واحد:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
يغطي زمن أول رمز الشبكة والانتظار في الطابور وقراءة الأمر. أما زمن التوليد فهو كل ما يلي الرمز الأول: (رموز المخرجات − 1) × الفاصل بين الرموز (ITL)، أو تقريبًا رموز المخرجات × ITL في الرد الطويل. وتقول NVIDIA إن زمن الاستجابة الكلي “includes queueing, batching, and network latency” (ترجمة: يشمل الانتظار في الطابور والتجميع في دفعات وزمن الشبكة).
مثال عملي بأرقام تقريبية: لنفترض أن نموذجًا يبث 50 رمز مخرجات في الثانية. فرد من 600 رمز يستغرق 600 ÷ 50 = 12 ثانية للتوليد. أضف ثانية واحدة من TTFT فيستغرق الطلب نحو 13 ثانية. وإن قسمت الرد على اثنين وفّرت 6 ثوانٍ؛ وإن قسمت TTFT على اثنين وفّرت نصف ثانية. هنا يهيمن طول المخرجات.
ونادرًا ما يكون الطلب وحيدًا في التطبيق. فزمن الاستجابة على شاشة المستخدم يشمل أيضًا إعادة المحاولة بعد الأخطاء، وانتظار مكان شاغر ضمن حد التزامن، واستدعاءات الأدوات بين دورات النموذج، وشيفرتك أنت.
لماذا يهم
يُدرج دليل OpenAI لزمن الاستجابة سبعة مبادئ: عالج الرموز أسرع، وولّد رموزًا أقل، واستخدم رموز إدخال أقل، وأرسل طلبات أقل، ونفّذ بالتوازي، واجعل مستخدميك ينتظرون أقل، ولا تجعل LLM خيارك الافتراضي. ومعظمها قرارات تصميم، لا قرارات تتعلق باختيار المزوّد.
اذكر المئينات. فقيمة p50 قدرها 4 ثوانٍ مع p95 قدرها 30 ثانية تعني أن مستخدمًا من كل عشرين ينتظر نصف دقيقة أو أكثر. والمتوسطات تُخفي هذا الذيل، بينما تُضبط المهلات الزمنية (timeouts) بناءً عليه.
يتعارض زمن الاستجابة والإنتاجية. إذ تنبّه NVIDIA إلى أنه مع ازدياد الطلبات المتزامنة يرتفع إجمالي الرموز في الثانية للنظام، بينما تنخفض الرموز في الثانية لكل مستخدم. فالمزوّد المزدحم قد يخدم عددًا أكبر من الناس ومع ذلك يبدو أبطأ لكل واحد منهم.
في BroadNet Inference
تذكر صفحة خطط BroadNet سرعة معتادة قدرها نحو 100 رمز في الثانية. ولا ينشر توثيقها أرقامًا لـ TTFT ولا لمئينات زمن الاستجابة. ويسمح مفتاح الدفع حسب الاستخدام بـ 4 من الطلبات قيد التنفيذ؛ ويُدرج التوثيق حد التزامن ضمن أسباب الخطأ HTTP 429، وكل إعادة محاولة بعده تضيف زمنًا من جهتك. وينبغي أن تضبط تشغيلات الوكلاء الطويلة مهلات زمنية وإعادة محاولة محدودة؛ راجع المهلات وإعادة المحاولة للوكلاء طويلي التشغيل. ولقياس كل جزء من جهة العميل، راجع دليل زمن استجابة LLM.