BroadRouter
ابدأ الآن

التقييم (Eval)

آخر تحديث

التقييم (eval، اختصار evaluation) اختبار قابل للتكرار لنموذج لغوي أو أمر: مجموعة ثابتة من المدخلات، ووصف لما تبدو عليه المخرجات الجيدة، ومصحِّح (شيفرة أو إنسان أو نموذج آخر) يمنح كل مخرج درجة حتى يمكن المقارنة بين الإصدارات.

يُسمّى أيضًا: التقييم، تقييم نماذج اللغة، تقييم النماذج، اختبار نماذج اللغة، مجموعة التقييم، eval، evals، LLM evaluation، model evaluation، LLM testing، eval set

التقييم اختبار وحدة للأمر والنموذج: المدخلات نفسها في كل مرة، ومعيار نجاح واضح، ودرجة يمكنك مقارنتها.

كيف يعمل

للتقييم ثلاثة أجزاء:

  1. الحالات. مدخلات مأخوذة من الاستخدام الحقيقي، مع الحالات الحدّية. ويسرد دليل Anthropic أمثلة مثل المدخلات غير ذات الصلة، والمدخلات الطويلة جدًا، والحالات الملتبسة “where even humans would find it hard to reach an assessment consensus” (ترجمة: التي يصعب حتى على البشر الاتفاق على تقييمها).
  2. المعايير. ما تبدو عليه الإجابة الجيدة: قيمة مطابقة تمامًا، أو حقل مطلوب، أو نبرة، أو معلومة يجب أن تظهر.
  3. المصحِّح. شيء يمنح كل مخرج درجة.
المصحِّح يناسب نقطة الضعف
الشيفرة (مطابقة تامة، JSON Schema، تعابير نمطية) التصنيف، الاستخراج، المخرجات المهيكلة لا يستطيع الحكم على النص المفتوح
الإنسان الفروق الدقيقة، النبرة، المهام الجديدة بطيء ومكلف
النموذج (LLM حَكَمًا) الإجابات المفتوحة على نطاق واسع له تحيزاته الخاصة

توصي Anthropic بالأتمتة حيثما أمكن، وتنص على “Prioritize volume over quality” (ترجمة: قدّم الكمّ على الجودة): حالات أكثر مع تصحيح آلي أكثر ضجيجًا بقليل تتفوق على حالات قليلة مصحّحة يدويًا. وتقترح أيضًا التصحيح بنموذج مختلف عن النموذج الذي أنتج المخرجات.

لماذا يهم

  • تغيير النماذج أو المزوّدين. نادرًا ما تطابق معايير القياس العامة مهمتك. وحتى في نماذج التضمين، وجد معيار MTEB أن “no particular text embedding method dominates across all tasks” (ترجمة: لا توجد طريقة تضمين نصي بعينها تتفوق في كل المهام). تقييمك الخاص هو المقارنة الموثوقة الوحيدة. راجع كيف تقيّم نموذج اللغة قبل تغييره.
  • تعديلات الأمر. إصلاح حالة واحدة كثيرًا ما يكسر أخرى. أعد تشغيل المجموعة كاملة مع كل تعديل للأمر.
  • موازنات التكلفة. يُظهر التقييم ما إذا كان نموذج أرخص جيدًا بما يكفي لخطوة معينة، بالأرقام لا بالانطباعات.
  • الأمان. أضف حالات للهلوسة والرفض ومحاولات الحقن، لا للمسارات السعيدة فقط.

في BroadNet Inference

لا تذكر وثائق BroadNet منتجًا للتقييمات. شغّل مجموعة تقييمك من شيفرتك الخاصة على نقطة النهاية المتوافقة مع OpenAI، مغيّرًا معرّف النموذج فقط للمقارنة بين النماذج. وتحتسب نماذج الاستدلال المنطقي الاستدلال ضمن max_tokens، فامنحها هامشًا، وإلا قد تفشل حالة بإجابة فارغة لا بإجابة خاطئة. ومقال GLM 5.3 مقابل DeepSeek V4.1 Flash مثال تطبيقي على المقارنة.

أسئلة شائعة

ما الفرق بين التقييم ومعيار القياس (benchmark)؟

معيار القياس مجموعة اختبار عامة تُستخدم لمقارنة النماذج عمومًا. أما التقييم فهو عادةً مجموعتك الخاصة، مبنية من مهامك الحقيقية، وتخبرك بأداء النموذج في منتجك.

كم حالة اختبار يحتاج التقييم؟

لا يوجد عدد ثابت. توجيهات Anthropic تفضّل حالات أكثر مع تصحيح آلي على حالات قليلة مصحّحة يدويًا؛ ابدأ بعشرات الحالات المأخوذة من الاستخدام الحقيقي ووسّعها كلما اكتشفت إخفاقات.

هل أضبط temperature على 0 في التقييمات؟

استخدم الإعدادات التي ستشغّلها في بيئة الإنتاج. وإذا اختلفت المخرجات بين التشغيلات، فقيّم كل حالة عدة مرات وقارن المتوسطات بدل النتائج المفردة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity