eval は、プロンプトとモデルのための単体テストです。毎回同じ入力、明確な合格ライン、比較できるスコアがそろっています。
仕組み
eval は 3 つの要素でできています。
- ケース。 実際の利用から取った入力と、エッジケースです。Anthropic のガイドは、無関係な入力、長すぎる入力、そして “where even humans would find it hard to reach an assessment consensus”(訳:人間でさえ評価の合意に達しにくい)あいまいなケースなどを例に挙げています。
- 基準。 良い回答とは何か。正確な値、必須のフィールド、口調、必ず含めるべき事実などです。
- 採点者。 各出力を採点するものです。
| 採点者 | 向いている用途 | 弱点 |
|---|---|---|
| コード(完全一致、JSON Schema、正規表現) | 分類、情報抽出、構造化出力 | 自由記述の文章は判定できない |
| 人間 | 微妙なニュアンス、口調、新しいタスク | 遅く、コストが高い |
| モデル(LLM-as-judge) | 自由記述の回答を大量に採点 | 独自のバイアスがある |
Anthropic は、できる限り自動化することを勧めており、“Prioritize volume over quality”(訳:質より量を優先する)と明言しています。少しノイズのある自動採点でもケースが多いほうが、手作業で採点した少数のケースに勝るということです。また、出力を生成したモデルとは別のモデルで採点することも勧めています。
なぜ重要か
- モデルや事業者の切り替え。 公開ベンチマークが自分のタスクに合うことはまれです。埋め込みモデルでさえ、MTEB ベンチマークは “no particular text embedding method dominates across all tasks.”(訳:すべてのタスクで優位に立つテキスト埋め込み手法はない。)という結果でした。信頼できる比較は自分の eval だけです。モデルを切り替える前に LLM を評価する方法を参照してください。
- プロンプトの変更。 あるケースを直すと、別のケースが壊れることはよくあります。プロンプトを編集するたびに、セット全体を再実行してください。
- コストとのトレードオフ。 ある工程で安いモデルで十分かどうかを、印象ではなく数字で示してくれます。
- 安全性。 正常系だけでなく、ハルシネーション、回答拒否、インジェクションの試みのケースも加えてください。
BroadNet Inference では
BroadNet のドキュメントには eval 用の製品は記載されていません。ご自身のコードから OpenAI 互換エンドポイントに対して eval セットを実行し、モデル ID だけを変えてモデルを比較してください。推論モデルは推論の分も max_tokens に数えるため、余裕を持たせてください。そうしないと、回答が間違っているのではなく空のまま返ってきてケースが失敗することがあります。GLM 5.3 と DeepSeek V4.1 Flash の比較の記事が、実際の比較例です。