BroadRouter
ابدأ الآن

زمن الاستجابة (Latency)

آخر تحديث

زمن الاستجابة (latency)، في واجهات API للنماذج اللغوية، هو المدة التي يستغرقها الطلب من لحظة إرساله حتى استلام آخر رمز من المخرجات. وهو مجموع زمن أول رمز وزمن التوليد، ويُذكر عادةً بالمئينات مثل p50 وp95 لا بالمتوسط.

يُسمّى أيضًا: زمن الاستجابة، زمن الاستجابة الكلي، سرعة الاستجابة، التأخير، الفاصل بين الرموز، latency، LLM latency، end-to-end latency، response time، e2e latency، inter-token latency

زمن الاستجابة هو الرقم الذي يشعر به المستخدمون، وهو أيضًا أكثر ما يفاجئ الفرق حين تنتقل من النموذج التجريبي إلى الإنتاج.

كيف يعمل

يعطي دليل مقاييس NVIDIA المعادلة الأساسية لطلب واحد:

e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)

يغطي زمن أول رمز الشبكة والانتظار في الطابور وقراءة الأمر. أما زمن التوليد فهو كل ما يلي الرمز الأول: (رموز المخرجات − 1) × الفاصل بين الرموز (ITL)، أو تقريبًا رموز المخرجات × ITL في الرد الطويل. وتقول NVIDIA إن زمن الاستجابة الكلي “includes queueing, batching, and network latency” (ترجمة: يشمل الانتظار في الطابور والتجميع في دفعات وزمن الشبكة).

مثال عملي بأرقام تقريبية: لنفترض أن نموذجًا يبث 50 رمز مخرجات في الثانية. فرد من 600 رمز يستغرق 600 ÷ 50 = 12 ثانية للتوليد. أضف ثانية واحدة من TTFT فيستغرق الطلب نحو 13 ثانية. وإن قسمت الرد على اثنين وفّرت 6 ثوانٍ؛ وإن قسمت TTFT على اثنين وفّرت نصف ثانية. هنا يهيمن طول المخرجات.

ونادرًا ما يكون الطلب وحيدًا في التطبيق. فزمن الاستجابة على شاشة المستخدم يشمل أيضًا إعادة المحاولة بعد الأخطاء، وانتظار مكان شاغر ضمن حد التزامن، واستدعاءات الأدوات بين دورات النموذج، وشيفرتك أنت.

لماذا يهم

يُدرج دليل OpenAI لزمن الاستجابة سبعة مبادئ: عالج الرموز أسرع، وولّد رموزًا أقل، واستخدم رموز إدخال أقل، وأرسل طلبات أقل، ونفّذ بالتوازي، واجعل مستخدميك ينتظرون أقل، ولا تجعل LLM خيارك الافتراضي. ومعظمها قرارات تصميم، لا قرارات تتعلق باختيار المزوّد.

اذكر المئينات. فقيمة p50 قدرها 4 ثوانٍ مع p95 قدرها 30 ثانية تعني أن مستخدمًا من كل عشرين ينتظر نصف دقيقة أو أكثر. والمتوسطات تُخفي هذا الذيل، بينما تُضبط المهلات الزمنية (timeouts) بناءً عليه.

يتعارض زمن الاستجابة والإنتاجية. إذ تنبّه NVIDIA إلى أنه مع ازدياد الطلبات المتزامنة يرتفع إجمالي الرموز في الثانية للنظام، بينما تنخفض الرموز في الثانية لكل مستخدم. فالمزوّد المزدحم قد يخدم عددًا أكبر من الناس ومع ذلك يبدو أبطأ لكل واحد منهم.

في BroadNet Inference

تذكر صفحة خطط BroadNet سرعة معتادة قدرها نحو 100 رمز في الثانية. ولا ينشر توثيقها أرقامًا لـ TTFT ولا لمئينات زمن الاستجابة. ويسمح مفتاح الدفع حسب الاستخدام بـ 4 من الطلبات قيد التنفيذ؛ ويُدرج التوثيق حد التزامن ضمن أسباب الخطأ HTTP 429، وكل إعادة محاولة بعده تضيف زمنًا من جهتك. وينبغي أن تضبط تشغيلات الوكلاء الطويلة مهلات زمنية وإعادة محاولة محدودة؛ راجع المهلات وإعادة المحاولة للوكلاء طويلي التشغيل. ولقياس كل جزء من جهة العميل، راجع دليل زمن استجابة LLM.

أسئلة شائعة

ما الفرق بين زمن الاستجابة والإنتاجية؟

زمن الاستجابة هو المدة التي يستغرقها طلب واحد. أما الإنتاجية (throughput) فهي مقدار العمل الذي ينجزه النظام في الثانية عبر كل الطلبات. وقد يرفع الخادم الإنتاجية بتجميع طلبات أكثر في دفعات بينما يصبح كل طلب أبطأ.

ما هو الفاصل بين الرموز (inter-token latency)؟

متوسط الفجوة بين رموز المخرجات بعد الرمز الأول، ويُسمّى أيضًا الزمن لكل رمز مخرجات. وتعرّفه NVIDIA بأنه زمن الاستجابة الكلي ناقص TTFT، مقسومًا على عدد رموز المخرجات ناقص واحد.

كيف أقلل زمن استجابة LLM؟

ولّد رموز مخرجات أقل، وأرسل أوامر أقصر، وبثّ الرد ليرى المستخدمون النص أسرع، وشغّل الاستدعاءات المستقلة بالتوازي. ويُدرج دليل OpenAI لزمن الاستجابة هذه ضمن مبادئه السبعة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity