التقييم اختبار وحدة للأمر والنموذج: المدخلات نفسها في كل مرة، ومعيار نجاح واضح، ودرجة يمكنك مقارنتها.
كيف يعمل
للتقييم ثلاثة أجزاء:
- الحالات. مدخلات مأخوذة من الاستخدام الحقيقي، مع الحالات الحدّية. ويسرد دليل Anthropic أمثلة مثل المدخلات غير ذات الصلة، والمدخلات الطويلة جدًا، والحالات الملتبسة “where even humans would find it hard to reach an assessment consensus” (ترجمة: التي يصعب حتى على البشر الاتفاق على تقييمها).
- المعايير. ما تبدو عليه الإجابة الجيدة: قيمة مطابقة تمامًا، أو حقل مطلوب، أو نبرة، أو معلومة يجب أن تظهر.
- المصحِّح. شيء يمنح كل مخرج درجة.
| المصحِّح | يناسب | نقطة الضعف |
|---|---|---|
| الشيفرة (مطابقة تامة، JSON Schema، تعابير نمطية) | التصنيف، الاستخراج، المخرجات المهيكلة | لا يستطيع الحكم على النص المفتوح |
| الإنسان | الفروق الدقيقة، النبرة، المهام الجديدة | بطيء ومكلف |
| النموذج (LLM حَكَمًا) | الإجابات المفتوحة على نطاق واسع | له تحيزاته الخاصة |
توصي Anthropic بالأتمتة حيثما أمكن، وتنص على “Prioritize volume over quality” (ترجمة: قدّم الكمّ على الجودة): حالات أكثر مع تصحيح آلي أكثر ضجيجًا بقليل تتفوق على حالات قليلة مصحّحة يدويًا. وتقترح أيضًا التصحيح بنموذج مختلف عن النموذج الذي أنتج المخرجات.
لماذا يهم
- تغيير النماذج أو المزوّدين. نادرًا ما تطابق معايير القياس العامة مهمتك. وحتى في نماذج التضمين، وجد معيار MTEB أن “no particular text embedding method dominates across all tasks” (ترجمة: لا توجد طريقة تضمين نصي بعينها تتفوق في كل المهام). تقييمك الخاص هو المقارنة الموثوقة الوحيدة. راجع كيف تقيّم نموذج اللغة قبل تغييره.
- تعديلات الأمر. إصلاح حالة واحدة كثيرًا ما يكسر أخرى. أعد تشغيل المجموعة كاملة مع كل تعديل للأمر.
- موازنات التكلفة. يُظهر التقييم ما إذا كان نموذج أرخص جيدًا بما يكفي لخطوة معينة، بالأرقام لا بالانطباعات.
- الأمان. أضف حالات للهلوسة والرفض ومحاولات الحقن، لا للمسارات السعيدة فقط.
في BroadNet Inference
لا تذكر وثائق BroadNet منتجًا للتقييمات. شغّل مجموعة تقييمك من شيفرتك الخاصة على نقطة النهاية المتوافقة مع OpenAI، مغيّرًا معرّف النموذج فقط للمقارنة بين النماذج. وتحتسب نماذج الاستدلال المنطقي الاستدلال ضمن max_tokens، فامنحها هامشًا، وإلا قد تفشل حالة بإجابة فارغة لا بإجابة خاطئة. ومقال GLM 5.3 مقابل DeepSeek V4.1 Flash مثال تطبيقي على المقارنة.