BroadRouter
ابدأ الآن

الإنتاجية (Throughput)

آخر تحديث

الإنتاجية (throughput) في تقديم نماذج LLM هي إجمالي العمل الذي ينجزه النظام في وحدة الزمن عبر كل الطلبات المتزامنة، وتُقاس عادةً برموز الإخراج في الثانية أو الطلبات في الثانية. وهي تختلف عن سرعة التدفق الواحد، أي مدى سرعة وصول الرموز إلى طلب واحد.

يُسمّى أيضًا: الإنتاجية، إنتاجية النظام، الإنتاجية الإجمالية، إجمالي الرموز في الثانية، الطلبات في الثانية، throughput، system throughput، aggregate throughput، total tokens per second، requests per second، RPS

تخبرك الرموز في الثانية بمدى سرعة تدفق إجابة واحدة. أما الإنتاجية فتخبرك بمقدار ما ينجزه النظام كله.

كيف تعمل

يفصل دليل قياس الأداء لدى NVIDIA بين الاثنين. إجمالي TPS للنظام هو “total output token throughput across all simultaneous requests” (ترجمة: إجمالي إنتاجية رموز الإخراج عبر كل الطلبات المتزامنة): أي كل رموز الإخراج مقسومةً على الزمن من أول طلب إلى آخر استجابة. وTPS لكل مستخدم هو طول مخرجات طلب واحد مقسومًا على زمنه من البداية إلى النهاية. أما الطلبات في الثانية (RPS) فتَعُدّ الطلبات المكتملة بدل الرموز.

والسطر الأهم: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (ترجمة: مع ازدياد عدد الطلبات المتزامنة، يرتفع إجمالي TPS للنظام بينما ينخفض TPS لكل مستخدم.) ويستمر إجمالي TPS في الصعود حتى تتشبّع وحدة GPU، وبعد تلك النقطة قد ينخفض.

على الخادم، يكون الحد عادةً هو الذاكرة. فورقة PagedAttention تشرح أن التقديم بإنتاجية عالية “requires batching sufficiently many requests at a time” (ترجمة: يتطلب تجميع عدد كافٍ من الطلبات في دفعة واحدة)، وذاكرة KV المؤقتة لكل طلب هي التي تحدّد كم طلبًا يتسع. وقد أتاحت إدارة الذاكرة الأفضل لـ vLLM بلوغ 2 إلى 4 أضعاف إنتاجية الأنظمة السابقة عند زمن الاستجابة نفسه.

لماذا تهم

بالنسبة إلى من يستدعي الواجهة، تتعلق الإنتاجية بجهتك أنت من الأنبوب: كم مستندًا تستطيع معالجته في الساعة، أو كم وكيلًا يمكنه العمل في آنٍ واحد. وهي تتبع قاعدة بسيطة:

your throughput ≈ concurrent requests × per-stream tokens per second

ولا يصح ذلك إلا ما دام المزوّد يحافظ على سرعة كل تدفق ثابتة مع زيادة الحمل. قِسها ولا تفترضها.

تُحَدّ الإنتاجية بحد التزامن وحدود المعدل لديك، لا بالنموذج وحده. فإن كانت مهمة بطيئة، فتحقّق هل تجري الطلبات واحدًا بعد الآخر بينما يمكن تشغيلها بالتوازي.

في BroadNet Inference

تنشر BroadNet الحدود لكل مفتاح، لا رقمًا لإنتاجية النظام. وتذكر صفحة الخطط سرعة معتادة قدرها نحو 100 رمز في الثانية لنموذج DeepSeek V4.1 Flash، وهو نموذج الخطط؛ ولا تنشر سرعة للنماذج الأخرى. وعلى سبيل التوضيح، لو جرى كل تدفق بهذه السرعة:

الخيار الطلبات المتوازية الحد الأعلى لو ثبتت السرعة
مفتاح الدفع حسب الاستخدام 4 (و30 من الطلبات في الدقيقة) 4 من التدفقات × نحو 100 رمز في الثانية لكل منها
المفتاح بالساعة (Gemma 4 VL 26B) تدفق واحد، و300,000 من الرموز في الدقيقة غير منشور؛ قِسه بنفسك
جلسة الخطة الثابتة طلب واحد في كل مرة نحو 100 رمز في الثانية

ولتوسيع الخطة ثابتة السعر، أضف جلسات، جلسة لكل وكيل يعمل بالتوازي؛ راجع جلسات LLM API غير المحدودة وتشغيل وكلاء برمجة متوازين. وهذه السرعة هي الرقم المعتاد الذي تعلنه BroadNet لنموذج DeepSeek V4.1 Flash، وليست ضمانًا للنماذج الأخرى أو تحت الحمل.

أسئلة شائعة

هل الإنتاجية هي نفسها الرموز في الثانية؟

على مستوى النظام فقط. فالرموز في الثانية لكل تدفق هي السرعة التي يراها طلب واحد، أما الإنتاجية فتجمع كل التدفقات. وتسمّي NVIDIA الاثنين TPS لكل مستخدم وإجمالي TPS للنظام.

كيف أحصل على إنتاجية أعلى من LLM API؟

شغّل طلبات أكثر بالتوازي، في حدود التزامن وحدود المعدل لديك، واجعل كل طلب قصيرًا. وإن كان كل طلب يستخدم مكانه بالكامل أصلًا، فلا سبيل للزيادة إلا بأماكن أو مفاتيح أو جلسات أكثر.

هل تعني الإنتاجية الأعلى زمن استجابة أقل؟

لا. الإنتاجية هي إجمالي العمل في الثانية عبر كل الطلبات، وزمن الاستجابة هو المدة التي يستغرقها طلب واحد. وتقديم طلبات أكثر في آنٍ واحد يرفع الإنتاجية الإجمالية لكنه قد يُبطئ كل طلب، ولهذا تعرض NVIDIA مقياسَي TPS لكل مستخدم وإجمالي TPS كلًّا على حدة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity