BroadRouter
शुरू करें

Eval (LLM इवैल्यूएशन)

अपडेट किया गया

Eval (evaluation का छोटा रूप) किसी लैंग्वेज मॉडल या प्रॉम्प्ट का दोहराने लायक़ टेस्ट है: इनपुट का एक तय सेट, अच्छे आउटपुट का वर्णन, और एक ग्रेडर (कोड, इंसान या दूसरा मॉडल) जो हर आउटपुट को स्कोर करता है, ताकि अलग-अलग वर्ज़न की तुलना हो सके।

अन्य नाम: eval, LLM इवैल्यूएशन, मॉडल इवैल्यूएशन, llm eval kya hai, evals, LLM evaluation, model evaluation, LLM testing, eval set

Eval प्रॉम्प्ट और मॉडल के लिए यूनिट टेस्ट है: हर बार वही इनपुट, पास होने का साफ़ पैमाना, और ऐसा स्कोर जिसकी तुलना हो सके।

यह कैसे काम करता है

Eval के तीन हिस्से होते हैं:

  1. केस. असली इस्तेमाल से लिए गए इनपुट, एज केस समेत। Anthropic की गाइड ऐसे उदाहरण गिनाती है जैसे अप्रासंगिक इनपुट, बहुत लंबा इनपुट और अस्पष्ट केस “where even humans would find it hard to reach an assessment consensus.” (अनुवाद: जहाँ इंसानों के लिए भी आकलन पर सहमति बनाना मुश्किल हो।)
  2. मानदंड. अच्छा जवाब कैसा दिखता है: कोई सटीक मान, कोई ज़रूरी फ़ील्ड, कोई लहजा, कोई तथ्य जो ज़रूर आना चाहिए।
  3. ग्रेडर. कुछ ऐसा जो हर आउटपुट को स्कोर करे।
ग्रेडर किसके लिए अच्छा कमज़ोरी
कोड (exact match, JSON Schema, regex) क्लासिफ़िकेशन, एक्सट्रैक्शन, स्ट्रक्चर्ड आउटपुट खुले जवाब वाले टेक्स्ट को नहीं परख सकता
इंसान बारीकियाँ, लहजा, नए काम धीमा और महँगा
मॉडल (LLM-as-judge) बड़े पैमाने पर खुले जवाब उसके अपने पूर्वाग्रह होते हैं

Anthropic जहाँ हो सके वहाँ ऑटोमेशन की सलाह देता है और कहता है “Prioritize volume over quality” (अनुवाद: क्वालिटी से ज़्यादा मात्रा को प्राथमिकता दें): थोड़ी ज़्यादा शोर वाली ऑटोमेटेड ग्रेडिंग के साथ ज़्यादा केस, कुछ हाथ से ग्रेड किए केस से बेहतर हैं। वह यह भी सुझाता है कि ग्रेडिंग उस मॉडल से अलग मॉडल से करें जिसने आउटपुट बनाया।

यह क्यों मायने रखता है

  • मॉडल या प्रोवाइडर बदलना. सार्वजनिक बेंचमार्क शायद ही कभी आपके काम से मेल खाते हैं। एम्बेडिंग मॉडल के लिए भी MTEB बेंचमार्क ने पाया कि “no particular text embedding method dominates across all tasks.” (अनुवाद: कोई एक टेक्स्ट एम्बेडिंग तरीक़ा सभी कामों में सबसे आगे नहीं रहता।) आपका अपना eval ही भरोसेमंद तुलना है। देखें मॉडल बदलने से पहले LLM को कैसे परखें।
  • प्रॉम्प्ट में बदलाव. एक केस का सुधार अक्सर दूसरा केस तोड़ देता है। हर प्रॉम्प्ट एडिट पर पूरा सेट दोबारा चलाएँ।
  • लागत के समझौते. Eval अंदाज़ों के बजाय आँकड़ों से दिखाता है कि किसी ख़ास चरण के लिए सस्ता मॉडल काफ़ी अच्छा है या नहीं।
  • सुरक्षा. सिर्फ़ सीधे-सादे रास्तों के लिए नहीं, हैलुसिनेशन, इनकार और इंजेक्शन की कोशिशों के लिए भी केस जोड़ें।

BroadNet Inference पर

BroadNet के डॉक्स में कोई evals प्रोडक्ट नहीं है। अपना eval सेट अपने कोड से OpenAI-कम्पैटिबल एंडपॉइंट पर चलाएँ, और मॉडल की तुलना के लिए सिर्फ़ मॉडल ID बदलें। रीज़निंग मॉडल रीज़निंग को max_tokens में गिनते हैं, इसलिए उन्हें जगह दें, वरना कोई केस ग़लत जवाब के बजाय ख़ाली जवाब से फ़ेल हो सकता है। GLM 5.3 बनाम DeepSeek V4.1 Flash वाली पोस्ट ऐसी ही एक तुलना का उदाहरण है।

अक्सर पूछे जाने वाले सवाल

Eval और बेंचमार्क में क्या फ़र्क़ है?

बेंचमार्क एक सार्वजनिक टेस्ट सेट है जिससे मॉडल की आम तुलना होती है। Eval आम तौर पर आपका अपना सेट होता है, आपके असली कामों से बना, और बताता है कि आपके प्रोडक्ट पर मॉडल कैसा करता है।

Eval में कितने टेस्ट केस चाहिए?

कोई तय संख्या नहीं है। Anthropic की सलाह कुछ हाथ से ग्रेड किए केस के बजाय ऑटोमेटेड ग्रेडिंग वाले ज़्यादा केस के पक्ष में है; असली ट्रैफ़िक से दर्जनों केस से शुरू करें और जैसे-जैसे फ़ेलियर मिलें, सेट बढ़ाएँ।

क्या eval के लिए temperature 0 रखूँ?

वही सेटिंग इस्तेमाल करें जो प्रोडक्शन में चलाएँगे। अगर हर रन में आउटपुट बदलता है, तो हर केस को कई बार स्कोर करें और एक-एक नतीजे के बजाय औसत की तुलना करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें