BroadRouter

LLM-as-a-judge (LLM جج)

اپ ڈیٹ

LLM-as-a-judge ایک جانچ کا طریقہ ہے جس میں ایک لینگویج ماڈل دوسرے ماڈلز کے آؤٹ پٹس کو گریڈ کرتا ہے، ایک جواب کو rubric پر اسکور دے کر یا دو جوابوں میں سے بہتر چن کر۔ یہ کم لاگت پر انسانی فیصلے کے قریب پہنچتا ہے، مگر اس میں معروف biases ہیں، جیسے پہلے یا لمبے جواب کو ترجیح دینا۔

دوسرے نام: LLM جج، اے آئی جج، ماڈل سے گریڈنگ، llm as a judge kya hai، llm judge kya hota hai، LLM-as-a-judge، LLM as a judge، LLM judge، model-graded eval، AI judge، LLM grader

LLM-as-a-judge انسانی گریڈر کی جگہ ایک ماڈل کال رکھتا ہے: اسے سوال، جواب اور rubric دیں، اور واپس اسکور پڑھیں۔

یہ کیسے کام کرتا ہے

اس طریقے کا گہرائی سے مطالعہ Zheng اور ساتھیوں (2023) نے کیا، جنہوں نے اسے پرکھنے کے لیے MT-Bench (multi-turn سوالات) اور Chatbot Arena (crowdsourced آمنے سامنے کے ووٹ) بنائے۔ ان کا مرکزی نتیجہ: جج کے طور پر GPT-4 ماہرین اور عام لوگوں دونوں کی ترجیحات سے “at over 80%” (ترجمہ: 80% سے زیادہ) متفق رہا، جو انسان سے انسان اتفاق کے برابر سطح ہے۔

دو عام سیٹ اپ ہیں:

  • ایک جواب کی گریڈنگ. جج لکھے ہوئے معیارات کے مطابق ایک آؤٹ پٹ کو کسی پیمانے پر، مثلاً 1 سے 5، اسکور دیتا ہے۔ OpenAI کی graders گائیڈ اسے score_model grader کہتی ہے، جو “a numeric score based on the prompt within the given range.” (ترجمہ: پرامپٹ کی بنیاد پر دی گئی رینج میں ایک عددی اسکور) لوٹاتا ہے۔
  • Pairwise موازنہ. جج ایک ہی سوال کے دو جواب دیکھتا ہے اور بہتر چنتا ہے، یا برابری بتاتا ہے۔

جج پرامپٹ میں عموماً اصل سوال، جواب، اگر ہو تو ایک حوالہ جاتی جواب، اور rubric ہوتا ہے۔ اسکور سے پہلے ایک مختصر وجہ مانگیں، اور اسکور کو structured output سے باندھیں تاکہ آپ کا کوڈ اسے parse کر سکے۔

یہ کیوں اہم ہے

ہر پرامپٹ تبدیلی پر ہزاروں eval کیسز انسانوں سے گریڈ کروانا ممکن نہیں۔ جج یہ کر سکتا ہے، لیکن وہ ایسے biases لاتا ہے جنہیں Zheng اور ساتھیوں نے ناپا:

Bias کیا ہوتا ہے بچاؤ
Position پہلے (یا دوسرے) جواب کو ترجیح ترتیب بدلیں اور اتفاق لازمی کریں
Verbosity لمبے جوابوں کو ترجیح اختصار کو انعام دینے والا rubric؛ لمبائی کی حد
Self-enhancement اپنے ہی ماڈل کے انداز کو ترجیح کسی دوسرے ماڈل کو جج بنائیں

جج ایسے حساب اور حقائق کی جانچ میں بھی کمزور ہیں جن کی وہ تصدیق نہیں کر سکتے۔ ان کے لیے جج کو حوالہ جاتی جواب دیں، یا کوڈ پر مبنی جانچ استعمال کریں۔ جو جج ہیلوسینیشنز چھوڑ دے، وہ جھوٹا اعتماد دیتا ہے۔

BroadNet Inference پر

BroadNet کوئی ہوسٹڈ گریڈنگ سروس فراہم نہیں کرتا؛ جج کال آپ chat completions endpoint پر خود لکھتے ہیں۔ جج کالز کسی بھی درخواست کی طرح بل ہوتی ہیں، اس لیے لمبے جواب پڑھنے والا جج ہر کیس پر ان پٹ اور آؤٹ پٹ ٹوکنز بڑھاتا ہے۔ کسی رن کا اندازہ LLM API لاگت کیلکولیٹر سے لگائیں۔ اگر جج reasoning ماڈل ہے تو max_tokens میں گنجائش چھوڑیں، کیونکہ reasoning اس میں گنی جاتی ہے۔ پورے عمل کے لیے ماڈل بدلنے سے پہلے LLM کی جانچ دیکھیں۔

عام سوالات

LLM-as-a-judge کتنا درست ہے؟

Zheng اور ساتھیوں نے پایا کہ جج کے طور پر GPT-4 انسانی ترجیحات سے 80% سے زیادہ بار متفق رہا، تقریباً اسی شرح پر جس پر انسان آپس میں متفق ہوتے ہیں۔ بھروسہ کرنے سے پہلے اپنے کام پر اتفاق جانچیں۔

کیا جج وہی ماڈل ہونا چاہیے جسے ٹیسٹ کیا جا رہا ہے؟

بہتر ہے نہیں۔ Zheng اور ساتھی self-enhancement bias بتاتے ہیں، اور Anthropic کی رہنمائی الگ گریڈنگ ماڈل کو best practice کہتی ہے۔

pairwise ججنگ میں position bias کیسے کم کریں؟

ہر موازنہ دو بار چلائیں، جوابوں کی ترتیب بدل کر، اور جیت تب ہی گنیں جب جج دونوں بار وہی جواب چنے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں