Eval پرامپٹ اور ماڈل کے لیے یونٹ ٹیسٹ ہے: ہر بار وہی ان پٹس، پاس ہونے کا واضح معیار، اور ایسا اسکور جس کا موازنہ ہو سکے۔
یہ کیسے کام کرتا ہے
Eval کے تین حصے ہوتے ہیں:
- کیسز۔ حقیقی استعمال سے لیے گئے ان پٹس، ایج کیسز سمیت۔ Anthropic کی گائیڈ ایسی مثالیں گنواتی ہے جیسے غیر متعلقہ ان پٹ، بہت لمبا ان پٹ اور مبہم کیسز “where even humans would find it hard to reach an assessment consensus.” (ترجمہ: جہاں انسانوں کے لیے بھی جائزے پر اتفاق کرنا مشکل ہو۔)
- معیار۔ اچھا جواب کیسا دکھتا ہے: کوئی درست قدر، کوئی لازمی فیلڈ، کوئی لہجہ، کوئی حقیقت جو لازماً آنی چاہیے۔
- گریڈر۔ کوئی چیز جو ہر آؤٹ پٹ کو اسکور کرے۔
| گریڈر | کس کے لیے اچھا | کمزوری |
|---|---|---|
| کوڈ (exact match، JSON Schema، regex) | کلاسیفکیشن، ایکسٹریکشن، اسٹرکچرڈ آؤٹ پٹ | کھلے جواب والے متن کو نہیں پرکھ سکتا |
| انسان | باریکیاں، لہجہ، نئے کام | سست اور مہنگا |
| ماڈل (LLM-as-judge) | بڑے پیمانے پر کھلے جوابات | اس کے اپنے تعصبات ہوتے ہیں |
Anthropic جہاں ممکن ہو خودکاری کی سفارش کرتا ہے اور کہتا ہے “Prioritize volume over quality” (ترجمہ: معیار سے زیادہ مقدار کو ترجیح دیں): قدرے زیادہ شور والی خودکار گریڈنگ کے ساتھ زیادہ کیسز، چند ہاتھ سے گریڈ کیے گئے کیسز سے بہتر ہیں۔ وہ یہ بھی تجویز کرتا ہے کہ گریڈنگ اس ماڈل سے مختلف ماڈل سے کریں جس نے آؤٹ پٹ بنایا۔
یہ کیوں اہم ہے
- ماڈل یا فراہم کنندہ بدلنا۔ عوامی بینچ مارکس شاذ و نادر ہی آپ کے کام سے میل کھاتے ہیں۔ ایمبیڈنگ ماڈلز کے لیے بھی MTEB بینچ مارک نے پایا کہ “no particular text embedding method dominates across all tasks.” (ترجمہ: کوئی ایک ٹیکسٹ ایمبیڈنگ طریقہ تمام کاموں میں سب سے آگے نہیں رہتا۔) آپ کی اپنی eval ہی قابلِ بھروسہ موازنہ ہے۔ دیکھیں ماڈل بدلنے سے پہلے LLM کو کیسے پرکھیں۔
- پرامپٹ میں تبدیلیاں۔ ایک کیس کی درستی اکثر دوسرا کیس توڑ دیتی ہے۔ ہر پرامپٹ ترمیم پر پورا سیٹ دوبارہ چلائیں۔
- لاگت کے سمجھوتے۔ Eval تاثرات کے بجائے اعداد سے دکھاتی ہے کہ کسی خاص مرحلے کے لیے سستا ماڈل کافی اچھا ہے یا نہیں۔
- حفاظت۔ صرف سیدھے راستوں کے لیے نہیں، ہیلوسینیشنز، انکار اور انجیکشن کی کوششوں کے لیے بھی کیسز شامل کریں۔
BroadNet Inference پر
BroadNet کی دستاویزات میں کوئی evals پروڈکٹ درج نہیں۔ اپنا eval سیٹ اپنے کوڈ سے OpenAI-compatible اینڈپوائنٹ پر چلائیں، اور ماڈلز کے موازنے کے لیے صرف ماڈل ID بدلیں۔ ریزننگ ماڈلز ریزننگ کو max_tokens میں گنتے ہیں، اس لیے انہیں گنجائش دیں، ورنہ کوئی کیس غلط جواب کے بجائے خالی جواب سے ناکام ہو سکتا ہے۔ GLM 5.3 بمقابلہ DeepSeek V4.1 Flash والی پوسٹ ایسے ہی ایک موازنے کی مثال ہے۔