تخبرك الرموز في الثانية بمدى سرعة تدفق إجابة واحدة. أما الإنتاجية فتخبرك بمقدار ما ينجزه النظام كله.
كيف تعمل
يفصل دليل قياس الأداء لدى NVIDIA بين الاثنين. إجمالي TPS للنظام هو “total output token throughput across all simultaneous requests” (ترجمة: إجمالي إنتاجية رموز الإخراج عبر كل الطلبات المتزامنة): أي كل رموز الإخراج مقسومةً على الزمن من أول طلب إلى آخر استجابة. وTPS لكل مستخدم هو طول مخرجات طلب واحد مقسومًا على زمنه من البداية إلى النهاية. أما الطلبات في الثانية (RPS) فتَعُدّ الطلبات المكتملة بدل الرموز.
والسطر الأهم: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (ترجمة: مع ازدياد عدد الطلبات المتزامنة، يرتفع إجمالي TPS للنظام بينما ينخفض TPS لكل مستخدم.) ويستمر إجمالي TPS في الصعود حتى تتشبّع وحدة GPU، وبعد تلك النقطة قد ينخفض.
على الخادم، يكون الحد عادةً هو الذاكرة. فورقة PagedAttention تشرح أن التقديم بإنتاجية عالية “requires batching sufficiently many requests at a time” (ترجمة: يتطلب تجميع عدد كافٍ من الطلبات في دفعة واحدة)، وذاكرة KV المؤقتة لكل طلب هي التي تحدّد كم طلبًا يتسع. وقد أتاحت إدارة الذاكرة الأفضل لـ vLLM بلوغ 2 إلى 4 أضعاف إنتاجية الأنظمة السابقة عند زمن الاستجابة نفسه.
لماذا تهم
بالنسبة إلى من يستدعي الواجهة، تتعلق الإنتاجية بجهتك أنت من الأنبوب: كم مستندًا تستطيع معالجته في الساعة، أو كم وكيلًا يمكنه العمل في آنٍ واحد. وهي تتبع قاعدة بسيطة:
your throughput ≈ concurrent requests × per-stream tokens per second
ولا يصح ذلك إلا ما دام المزوّد يحافظ على سرعة كل تدفق ثابتة مع زيادة الحمل. قِسها ولا تفترضها.
تُحَدّ الإنتاجية بحد التزامن وحدود المعدل لديك، لا بالنموذج وحده. فإن كانت مهمة بطيئة، فتحقّق هل تجري الطلبات واحدًا بعد الآخر بينما يمكن تشغيلها بالتوازي.
في BroadNet Inference
تنشر BroadNet الحدود لكل مفتاح، لا رقمًا لإنتاجية النظام. وتذكر صفحة الخطط سرعة معتادة قدرها نحو 100 رمز في الثانية لنموذج DeepSeek V4.1 Flash، وهو نموذج الخطط؛ ولا تنشر سرعة للنماذج الأخرى. وعلى سبيل التوضيح، لو جرى كل تدفق بهذه السرعة:
| الخيار | الطلبات المتوازية | الحد الأعلى لو ثبتت السرعة |
|---|---|---|
| مفتاح الدفع حسب الاستخدام | 4 (و30 من الطلبات في الدقيقة) | 4 من التدفقات × نحو 100 رمز في الثانية لكل منها |
| المفتاح بالساعة (Gemma 4 VL 26B) | تدفق واحد، و300,000 من الرموز في الدقيقة | غير منشور؛ قِسه بنفسك |
| جلسة الخطة الثابتة | طلب واحد في كل مرة | نحو 100 رمز في الثانية |
ولتوسيع الخطة ثابتة السعر، أضف جلسات، جلسة لكل وكيل يعمل بالتوازي؛ راجع جلسات LLM API غير المحدودة وتشغيل وكلاء برمجة متوازين. وهذه السرعة هي الرقم المعتاد الذي تعلنه BroadNet لنموذج DeepSeek V4.1 Flash، وليست ضمانًا للنماذج الأخرى أو تحت الحمل.