Eval प्रॉम्प्ट और मॉडल के लिए यूनिट टेस्ट है: हर बार वही इनपुट, पास होने का साफ़ पैमाना, और ऐसा स्कोर जिसकी तुलना हो सके।
यह कैसे काम करता है
Eval के तीन हिस्से होते हैं:
- केस. असली इस्तेमाल से लिए गए इनपुट, एज केस समेत। Anthropic की गाइड ऐसे उदाहरण गिनाती है जैसे अप्रासंगिक इनपुट, बहुत लंबा इनपुट और अस्पष्ट केस “where even humans would find it hard to reach an assessment consensus.” (अनुवाद: जहाँ इंसानों के लिए भी आकलन पर सहमति बनाना मुश्किल हो।)
- मानदंड. अच्छा जवाब कैसा दिखता है: कोई सटीक मान, कोई ज़रूरी फ़ील्ड, कोई लहजा, कोई तथ्य जो ज़रूर आना चाहिए।
- ग्रेडर. कुछ ऐसा जो हर आउटपुट को स्कोर करे।
| ग्रेडर | किसके लिए अच्छा | कमज़ोरी |
|---|---|---|
| कोड (exact match, JSON Schema, regex) | क्लासिफ़िकेशन, एक्सट्रैक्शन, स्ट्रक्चर्ड आउटपुट | खुले जवाब वाले टेक्स्ट को नहीं परख सकता |
| इंसान | बारीकियाँ, लहजा, नए काम | धीमा और महँगा |
| मॉडल (LLM-as-judge) | बड़े पैमाने पर खुले जवाब | उसके अपने पूर्वाग्रह होते हैं |
Anthropic जहाँ हो सके वहाँ ऑटोमेशन की सलाह देता है और कहता है “Prioritize volume over quality” (अनुवाद: क्वालिटी से ज़्यादा मात्रा को प्राथमिकता दें): थोड़ी ज़्यादा शोर वाली ऑटोमेटेड ग्रेडिंग के साथ ज़्यादा केस, कुछ हाथ से ग्रेड किए केस से बेहतर हैं। वह यह भी सुझाता है कि ग्रेडिंग उस मॉडल से अलग मॉडल से करें जिसने आउटपुट बनाया।
यह क्यों मायने रखता है
- मॉडल या प्रोवाइडर बदलना. सार्वजनिक बेंचमार्क शायद ही कभी आपके काम से मेल खाते हैं। एम्बेडिंग मॉडल के लिए भी MTEB बेंचमार्क ने पाया कि “no particular text embedding method dominates across all tasks.” (अनुवाद: कोई एक टेक्स्ट एम्बेडिंग तरीक़ा सभी कामों में सबसे आगे नहीं रहता।) आपका अपना eval ही भरोसेमंद तुलना है। देखें मॉडल बदलने से पहले LLM को कैसे परखें।
- प्रॉम्प्ट में बदलाव. एक केस का सुधार अक्सर दूसरा केस तोड़ देता है। हर प्रॉम्प्ट एडिट पर पूरा सेट दोबारा चलाएँ।
- लागत के समझौते. Eval अंदाज़ों के बजाय आँकड़ों से दिखाता है कि किसी ख़ास चरण के लिए सस्ता मॉडल काफ़ी अच्छा है या नहीं।
- सुरक्षा. सिर्फ़ सीधे-सादे रास्तों के लिए नहीं, हैलुसिनेशन, इनकार और इंजेक्शन की कोशिशों के लिए भी केस जोड़ें।
BroadNet Inference पर
BroadNet के डॉक्स में कोई evals प्रोडक्ट नहीं है। अपना eval सेट अपने कोड से OpenAI-कम्पैटिबल एंडपॉइंट पर चलाएँ, और मॉडल की तुलना के लिए सिर्फ़ मॉडल ID बदलें। रीज़निंग मॉडल रीज़निंग को max_tokens में गिनते हैं, इसलिए उन्हें जगह दें, वरना कोई केस ग़लत जवाब के बजाय ख़ाली जवाब से फ़ेल हो सकता है। GLM 5.3 बनाम DeepSeek V4.1 Flash वाली पोस्ट ऐसी ही एक तुलना का उदाहरण है।