BroadRouter

LLM-as-a-judge (LLM जज)

अपडेट किया गया

LLM-as-a-judge एक मूल्यांकन तरीक़ा है जिसमें एक लैंग्वेज मॉडल दूसरे मॉडल के आउटपुट को ग्रेड करता है, या तो एक जवाब को rubric पर स्कोर देकर या दो जवाबों में से बेहतर चुनकर। यह इंसानी फ़ैसले के क़रीब पहुँचता है और बहुत सस्ता है, लेकिन इसके जाने-माने bias हैं, जैसे पहले या लंबे जवाब को तरजीह देना।

अन्य नाम: LLM जज, एआई जज, मॉडल से ग्रेडिंग, llm as a judge kya hai, llm judge kya hota hai, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge इंसानी ग्रेडर की जगह एक मॉडल कॉल रखता है: उसे सवाल, जवाब और rubric दें, और वापस स्कोर पढ़ें।

यह कैसे काम करता है

इस तरीक़े का गहराई से अध्ययन Zheng और साथियों (2023) ने किया, जिन्होंने इसे परखने के लिए MT-Bench (multi-turn सवाल) और Chatbot Arena (crowdsourced आमने-सामने के वोट) बनाए। उनका मुख्य नतीजा: जज के रूप में GPT-4 विशेषज्ञ और भीड़ दोनों की पसंद से “at over 80%” (अनुवाद: 80% से ज़्यादा) सहमत रहा, जो इंसान-से-इंसान सहमति के बराबर स्तर है।

दो आम सेटअप हैं:

  • एक जवाब की ग्रेडिंग. जज लिखित मानदंडों के हिसाब से एक आउटपुट को किसी पैमाने पर, जैसे 1 से 5, स्कोर देता है। OpenAI की graders गाइड इसे score_model grader कहती है, जो “a numeric score based on the prompt within the given range.” (अनुवाद: प्रॉम्प्ट के आधार पर दी गई रेंज में एक संख्यात्मक स्कोर) लौटाता है।
  • Pairwise तुलना. जज एक ही सवाल के दो जवाब देखता है और बेहतर चुनता है, या बराबरी बताता है।

जज प्रॉम्प्ट में आम तौर पर मूल सवाल, जवाब, अगर हो तो एक रेफ़रंस जवाब, और rubric होता है। स्कोर से पहले एक छोटी वजह माँगें, और स्कोर को structured output से बाँधें ताकि आपका कोड उसे parse कर सके।

यह क्यों मायने रखता है

हर प्रॉम्प्ट बदलाव पर हज़ारों eval केस इंसानों से ग्रेड करवाना संभव नहीं। जज यह कर सकता है, लेकिन वह ऐसे bias लाता है जिन्हें Zheng और साथियों ने मापा:

Bias क्या होता है बचाव
Position पहले (या दूसरे) जवाब को तरजीह क्रम बदलें और सहमति ज़रूरी करें
Verbosity लंबे जवाबों को तरजीह संक्षेप को इनाम देने वाला rubric; लंबाई की सीमा
Self-enhancement अपने ही मॉडल की शैली को तरजीह किसी दूसरे मॉडल को जज बनाएँ

जज ऐसे गणित और तथ्यों की जाँच में भी कमज़ोर हैं जिन्हें वे सत्यापित नहीं कर सकते। उनके लिए जज को रेफ़रंस जवाब दें, या कोड-आधारित जाँच इस्तेमाल करें। जो जज hallucinations चूक जाए, वह झूठा भरोसा देता है।

BroadNet Inference पर

BroadNet कोई होस्टेड ग्रेडिंग सर्विस नहीं देता; जज कॉल आप chat completions endpoint पर ख़ुद लिखते हैं। जज कॉल किसी भी अनुरोध की तरह बिल होती हैं, इसलिए लंबे जवाब पढ़ने वाला जज हर केस पर इनपुट और आउटपुट टोकन जोड़ता है। किसी रन का अंदाज़ा LLM API लागत कैलकुलेटर से लगाएँ। अगर जज reasoning मॉडल है, तो max_tokens में जगह छोड़ें, क्योंकि reasoning उसमें गिनी जाती है। पूरी प्रक्रिया के लिए मॉडल बदलने से पहले LLM का मूल्यांकन देखें।

अक्सर पूछे जाने वाले सवाल

LLM-as-a-judge कितना सटीक है?

Zheng और साथियों ने पाया कि जज के रूप में GPT-4 इंसानी पसंद से 80% से ज़्यादा बार सहमत रहा, लगभग उतनी ही दर जितनी पर इंसान आपस में सहमत होते हैं। भरोसा करने से पहले अपने टास्क पर सहमति जाँचें।

क्या जज वही मॉडल होना चाहिए जिसे टेस्ट किया जा रहा है?

बेहतर है नहीं। Zheng और साथी self-enhancement bias बताते हैं, और Anthropic की गाइड अलग ग्रेडिंग मॉडल को best practice कहती है।

pairwise जजिंग में position bias कैसे घटाएँ?

हर तुलना दो बार चलाएँ, जवाबों का क्रम बदलकर, और जीत तभी गिनें जब जज दोनों बार वही जवाब चुने।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें