LLM-as-a-Judge は、人間の採点者をモデルの呼び出しに置き換えます。質問、回答、評価基準を渡し、スコアを読み取ります。
仕組み
この手法は Zheng ら(2023)が詳しく研究しました。検証のために、MT-Bench(マルチターンの質問)と Chatbot Arena(クラウドソーシングによる一対一の投票)を作っています。主な結果は、GPT-4 を審査員にすると、専門家とクラウドの両方の選好と “at over 80%“(訳:80% を超えて)一致し、人間同士の一致と同じ水準だったというものです。
よく使われる構成は 2 つです。
- 単一回答の採点。 審査員が 1 つの出力を、書面の基準に沿って 1 ~ 5 などの尺度で採点します。OpenAI の grader ガイドはこれを
score_modelgrader と呼び、“a numeric score based on the prompt within the given range.”(訳:プロンプトに基づき、指定範囲内の数値スコア)を返すとしています。 - ペア比較。 審査員は同じ質問への 2 つの回答を見て、良いほうか引き分けを選びます。
審査用のプロンプトには通常、元の質問、回答、あれば参照解答、評価基準を入れます。スコアの前に短い理由を書かせ、コードで解析できるよう構造化出力でスコアの形式を固定してください。
なぜ重要か
プロンプトを変えるたびに何千もの評価ケースを人手で採点するのは、規模的に無理があります。審査員モデルならこなせますが、Zheng らが測定したバイアスを持ち込みます。
| バイアス | 起きること | 対策 |
|---|---|---|
| 位置 | 1 番目(または 2 番目)の回答を好む | 順序を入れ替え、一致を条件にする |
| 冗長さ | 長い回答を好む | 簡潔さを評価する基準、長さの上限 |
| 自己優遇 | 自分のモデルのスタイルを好む | 別のモデルを審査員にする |
審査員は、自分で検証できない数学や事実の確認も苦手です。その場合は参照解答を渡すか、コードによるチェックを使ってください。ハルシネーションを見逃す審査員は、誤った安心感を与えます。
BroadNet Inference の場合
BroadNet はホスト型の採点サービスを提供していないため、審査員の呼び出しはチャット補完エンドポイントに対して自分で書きます。審査員の呼び出しも通常のリクエストと同じく課金されるため、長い回答を読む審査員はケースごとに入力トークンと出力トークンを増やします。1 回の実行にかかる費用は LLM API 料金計算ツールで見積もってください。審査員が推論モデルなら、推論(reasoning)も max_tokens に数えられるため、余裕を持たせてください。全体の進め方はモデルを乗り換える前に LLM を評価するを参照してください。