BroadRouter
始める

評価(eval、LLM evaluation)

更新日

eval(evaluation の略)とは、言語モデルやプロンプトを繰り返し検証できるテストです。固定した入力のセット、良い出力の条件、各出力を採点する採点者(コード、人間、別のモデル)で構成され、バージョン同士を比較できます。

別名: LLM 評価、モデル評価、LLM の評価、評価セット、LLM テスト、eval、evals、LLM evaluation、model evaluation、LLM testing、eval set

eval は、プロンプトとモデルのための単体テストです。毎回同じ入力、明確な合格ライン、比較できるスコアがそろっています。

仕組み

eval は 3 つの要素でできています。

  1. ケース。 実際の利用から取った入力と、エッジケースです。Anthropic のガイドは、無関係な入力、長すぎる入力、そして “where even humans would find it hard to reach an assessment consensus”(訳:人間でさえ評価の合意に達しにくい)あいまいなケースなどを例に挙げています。
  2. 基準。 良い回答とは何か。正確な値、必須のフィールド、口調、必ず含めるべき事実などです。
  3. 採点者。 各出力を採点するものです。
採点者 向いている用途 弱点
コード(完全一致、JSON Schema、正規表現) 分類、情報抽出、構造化出力 自由記述の文章は判定できない
人間 微妙なニュアンス、口調、新しいタスク 遅く、コストが高い
モデル(LLM-as-judge) 自由記述の回答を大量に採点 独自のバイアスがある

Anthropic は、できる限り自動化することを勧めており、“Prioritize volume over quality”(訳:質より量を優先する)と明言しています。少しノイズのある自動採点でもケースが多いほうが、手作業で採点した少数のケースに勝るということです。また、出力を生成したモデルとは別のモデルで採点することも勧めています。

なぜ重要か

  • モデルや事業者の切り替え。 公開ベンチマークが自分のタスクに合うことはまれです。埋め込みモデルでさえ、MTEB ベンチマークは “no particular text embedding method dominates across all tasks.”(訳:すべてのタスクで優位に立つテキスト埋め込み手法はない。)という結果でした。信頼できる比較は自分の eval だけです。モデルを切り替える前に LLM を評価する方法を参照してください。
  • プロンプトの変更。 あるケースを直すと、別のケースが壊れることはよくあります。プロンプトを編集するたびに、セット全体を再実行してください。
  • コストとのトレードオフ。 ある工程で安いモデルで十分かどうかを、印象ではなく数字で示してくれます。
  • 安全性。 正常系だけでなく、ハルシネーション、回答拒否、インジェクションの試みのケースも加えてください。

BroadNet Inference では

BroadNet のドキュメントには eval 用の製品は記載されていません。ご自身のコードから OpenAI 互換エンドポイントに対して eval セットを実行し、モデル ID だけを変えてモデルを比較してください。推論モデルは推論の分も max_tokens に数えるため、余裕を持たせてください。そうしないと、回答が間違っているのではなく空のまま返ってきてケースが失敗することがあります。GLM 5.3 と DeepSeek V4.1 Flash の比較の記事が、実際の比較例です。

よくある質問

eval とベンチマークの違いは何ですか?

ベンチマークは、モデルを一般的に比較するための公開テストセットです。eval はふつう、実際のタスクから作った自分用のセットで、モデルが自分のプロダクトでどう動くかを教えてくれます。

eval にはテストケースがいくつ必要ですか?

決まった数はありません。Anthropic のガイダンスは、少数を手作業で採点するより、自動採点でケースを増やすほうを勧めています。実際のトラフィックから数十件で始め、失敗が見つかるたびに増やしてください。

eval では temperature を 0 にすべきですか?

本番で使う設定にしてください。実行ごとに出力が変わる場合は、各ケースを複数回採点し、1 回の結果ではなく平均で比較してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く