حدود المعدل تَعُدّ الطلبات عبر الزمن، أما التزامن فيَعُدّ الطلبات في لحظة واحدة. وقد تستغرق طلبات LLM ثواني كثيرة، لذا كثيرًا ما يكون الحد الثاني هو الذي تصطدم به أولًا.
كيف يعمل
يربط قانون ليتل (Little’s law) بين الأرقام الثلاثة:
requests in flight = request rate × average time per request (أي: الطلبات قيد التنفيذ = معدل الطلبات × متوسط زمن الطلب)
خذ مفتاحًا افتراضيًا يسمح بـ 5 طلبات قيد التنفيذ و60 طلبًا في الدقيقة، ويستغرق كل طلب 20 ثانية. يسمح سقف التزامن بما لا يزيد على 5 ÷ 20 = 0.25 طلب في الثانية، أي 15 في الدقيقة. فلن تبلغ أبدًا 60 في الدقيقة، لأن التزامن هو الحد المقيِّد. ومع طلبات تستغرق ثانيتين، يسمح السقف نفسه بـ 150 في الدقيقة، فيصبح حد المعدل هو المقيِّد. وتُجري حاسبة حدود المعدل هذا الحساب بأرقامك.
المخرجات الطويلة ورموز الاستدلال والأوامر الطويلة كلها تطيل زمن الطلبات، فتستهلك التزامن أسرع. والرد المتدفق يشغل مكانه حتى ينتهي.
لماذا يهم
يضع المزوّدون سقفًا للتزامن لأن ذاكرة GPU وقدرتها الحسابية مشتركة. وتُظهر قياسات NVIDIA أنه مع ارتفاع التزامن على خادم، يرتفع إجمالي المخرجات بينما تنخفض الرموز في الثانية لكل طلب. والسقف لكل مفتاح يمنع عميلًا واحدًا من إبطاء الجميع.
وفي تطبيقك، يحدّد التزامن حجم مجمّعات العمّال وعدد الوكلاء الذين يمكن تشغيلهم جنبًا إلى جنب. اجعل حجم المجمّع مساويًا للسقف لا أكبر منه، وإلا فلن يجمع العمّال الزائدون سوى أخطاء 429.
في BroadNet Inference
| نوع الوصول | التزامن |
|---|---|
| مفتاح الدفع حسب الاستخدام | 4 من الطلبات قيد التنفيذ، إضافةً إلى 30 من الطلبات في الدقيقة |
| المفتاح بالساعة | تدفق واحد |
| الخطة غير المحدودة | طلب واحد في كل مرة لكل جلسة |
تبيع الخطط التزامن مباشرةً. فالجلسة لا عدّاد للرموز فيها، وتشغّل طلبًا واحدًا في كل مرة، كما يعمل الوكيل الواحد. والطلبات في الجلسة نفسها تصطف واحدًا خلف الآخر. ولتشغيل وكلاء بالتوازي، اشترِ جلسة لكل وكيل: فالمنسّق مع ثلاثة وكلاء فرعيين يحتاج إلى أربع جلسات. ويمكن للمفتاح الواحد أن يحمل عدة جلسات.
اقرأ كيف تعمل الجلسات غير المحدودة وكيف تشغّل وكلاء برمجة متوازين بسعر ثابت. يقضي الوكلاء كثيرًا من وقتهم في تشغيل الأدوات، فقِس التداخل الفعلي قبل شراء جلسات إضافية.
أخطاء شائعة
- تشغيل عامل لكل مهمة دون مجمّع. فتتحول دفعة من 100 مهمة إلى 100 طلب في آنٍ واحد.
- ضبط مهلات العميل على مدة أقصر من رد استدلال طويل. فيستسلم العميل بينما المكان لا يزال مشغولًا.