للسرعة جزءان: كم يمر من الوقت قبل أن يظهر أي شيء، ومدى سرعة تدفق النص بعد ذلك. والرموز في الثانية تقيس الجزء الثاني.
كيف تعمل
يعرّف توثيق قياس الأداء لدى NVIDIA المقاييس المرتبطة:
- زمن أول رمز (TTFT): من إرسال الطلب حتى استلام أول رمز. ويزداد بطول الأمر.
- الزمن بين الرموز (ITL): متوسط الفاصل بين رموز الإخراج.
- TPS لكل مستخدم: رموز الإخراج لطلب واحد مقسومةً على زمنه من البداية إلى النهاية، فهو في تعريف NVIDIA يشمل TTFT. لكن لوحات قياس كثيرة تذكر بدلًا منه سرعة فك الترميز بعد أول رمز، كما تفعل هذه الصفحة.
- TPS للنظام: إجمالي رموز الإخراج عبر كل الطلبات المتزامنة، ويُسمّى أيضًا الإنتاجية.
وهذه المقاييس تتجه في اتجاهين متعاكسين. إذ تلاحظ NVIDIA أنه مع ارتفاع التزامن، يرتفع TPS للنظام بينما ينخفض TPS لكل مستخدم. فقد يكون الرقم التسويقي للمزوّد وسرعة طلبك الواحد صادقين كلاهما ومع ذلك مختلفين.
تقدير سريع لرد واحد:
total time ≈ TTFT + output tokens ÷ tokens per second (أي: الزمن الكلي ≈ زمن أول رمز + رموز الإخراج ÷ الرموز في الثانية)
خذ على سبيل التوضيح تدفقًا بسرعة 50 رمزًا في الثانية: تستغرق إجابة من 1,000 رمز نحو 20 ثانية بعد أول رمز. وإن كتب النموذج أيضًا 2,000 من رموز الاستدلال، فأضف نحو 40 ثانية قبل أن تبدأ الإجابة. ويُضاف زمن أول رمز فوق ذلك.
لماذا تهم
- تجربة المستخدم. يعرض البث المتدفق النص فور وصوله، لذا يحدّد TTFT وTPS مدى سرعة الرد كما يشعر بها المستخدم.
- إنتاجية الوكلاء. ينتظر وكيل البرمجة كل رد قبل خطوته التالية. والمخرجات الأسرع تعني خطوات أكثر في الساعة.
- حدود الخطط. في خطة بلا عدّاد للرموز، تصبح السرعة هي السقف الحقيقي لعدد الرموز التي يمكنك استخدامها.
في BroadNet Inference
تذكر صفحة الخطط لدى BroadNet سرعة معتادة قدرها نحو 100 رمز في الثانية لنموذج DeepSeek V4.1 Flash. والجلسة في الخطط غير المحدودة تشغّل طلبًا واحدًا في كل مرة، فبهذه السرعة، الجلسة التي تولّد دون توقف لمدة 30 يومًا ستُنتج نحو 259 مليون من رموز الإخراج. لكن الوكلاء الفعليين يقضون وقتًا في القراءة وتشغيل الأدوات والانتظار، لذا يكون الرقم العملي أقل.
وللحصول على إنتاجية إجمالية أعلى في الخطة، أضف جلسات: جلسة لكل وكيل يعمل بالتوازي. راجع كيف تعمل الجلسات غير المحدودة وتشغيل وكلاء برمجة متوازين.
أخطاء شائعة
- مقارنة المزوّدين بطلب واحد. قِس TTFT وTPS على طلبات كثيرة، بأحجام أوامرك أنت.
- نسيان زمن الاستدلال عند ضبط مهلات العميل.