---
title: "LLM の eval（評価）とは？モデル出力のテスト方法 | BroadRouter"
description: "eval は、LLM の出力を自分の基準で採点する、繰り返し実行できるテストセットです。作り方、採点方法、モデルを切り替える前に実行すべき理由を解説します。"
url: https://broadrouter.com/ja/glossary/eval/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/eval/) (2026-11-16 更新).

# 評価（eval、LLM evaluation）

更新日 2026-11-16

eval（evaluation の略）とは、言語モデルやプロンプトを繰り返し検証できるテストです。固定した入力のセット、良い出力の条件、各出力を採点する採点者（コード、人間、別のモデル）で構成され、バージョン同士を比較できます。

別名： LLM 評価、モデル評価、LLM の評価、評価セット、LLM テスト、eval、evals、LLM evaluation、model evaluation、LLM testing、eval set

eval は、プロンプトとモデルのための単体テストです。毎回同じ入力、明確な合格ライン、比較できるスコアがそろっています。

## 仕組み

eval は 3 つの要素でできています。

1.  **ケース。** 実際の利用から取った入力と、エッジケースです。Anthropic のガイドは、無関係な入力、長すぎる入力、そして “where even humans would find it hard to reach an assessment consensus”（訳：人間でさえ評価の合意に達しにくい）あいまいなケースなどを例に挙げています。
2.  **基準。** 良い回答とは何か。正確な値、必須のフィールド、口調、必ず含めるべき事実などです。
3.  **採点者。** 各出力を採点するものです。

| 採点者 | 向いている用途 | 弱点 |
| --- | --- | --- |
| コード（完全一致、JSON Schema、正規表現） | 分類、情報抽出、[構造化出力](https://broadrouter.com/ja/glossary/structured-output/) | 自由記述の文章は判定できない |
| 人間 | 微妙なニュアンス、口調、新しいタスク | 遅く、コストが高い |
| モデル（[LLM-as-judge](https://broadrouter.com/ja/glossary/llm-as-judge/)） | 自由記述の回答を大量に採点 | 独自のバイアスがある |

Anthropic は、できる限り自動化することを勧めており、“Prioritize volume over quality”（訳：質より量を優先する）と明言しています。少しノイズのある自動採点でもケースが多いほうが、手作業で採点した少数のケースに勝るということです。また、出力を生成したモデルとは別のモデルで採点することも勧めています。

## なぜ重要か

-   **モデルや事業者の切り替え。** 公開ベンチマークが自分のタスクに合うことはまれです。埋め込みモデルでさえ、MTEB ベンチマークは “no particular text embedding method dominates across all tasks.”（訳：すべてのタスクで優位に立つテキスト埋め込み手法はない。）という結果でした。信頼できる比較は自分の eval だけです。[モデルを切り替える前に LLM を評価する方法](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)を参照してください。
-   **プロンプトの変更。** あるケースを直すと、別のケースが壊れることはよくあります。プロンプトを編集するたびに、セット全体を再実行してください。
-   **コストとのトレードオフ。** ある工程で安いモデルで十分かどうかを、印象ではなく数字で示してくれます。
-   **安全性。** 正常系だけでなく、[ハルシネーション](https://broadrouter.com/ja/glossary/hallucination/)、回答拒否、インジェクションの試みのケースも加えてください。

## BroadNet Inference では

BroadNet のドキュメントには eval 用の製品は記載されていません。ご自身のコードから OpenAI 互換エンドポイントに対して eval セットを実行し、モデル ID だけを変えてモデルを比較してください。推論モデルは推論の分も `max_tokens` に数えるため、余裕を持たせてください。そうしないと、回答が間違っているのではなく空のまま返ってきてケースが失敗することがあります。[GLM 5.3 と DeepSeek V4.1 Flash の比較](https://broadrouter.com/ja/blog/glm-5-3-vs-deepseek-v4-1-flash/)の記事が、実際の比較例です。

## よくある質問

### eval とベンチマークの違いは何ですか？

ベンチマークは、モデルを一般的に比較するための公開テストセットです。eval はふつう、実際のタスクから作った自分用のセットで、モデルが自分のプロダクトでどう動くかを教えてくれます。

### eval にはテストケースがいくつ必要ですか？

決まった数はありません。Anthropic のガイダンスは、少数を手作業で採点するより、自動採点でケースを増やすほうを勧めています。実際のトラフィックから数十件で始め、失敗が見つかるたびに増やしてください。

### eval では temperature を 0 にすべきですか？

本番で使う設定にしてください。実行ごとに出力が変わる場合は、各ケースを複数回採点し、1 回の結果ではなく平均で比較してください。

## 関連項目

-   [LLM-as-a-Judge（LLM による評価）](https://broadrouter.com/ja/glossary/llm-as-judge/) (用語)
-   [ハルシネーション（hallucination）](https://broadrouter.com/ja/glossary/hallucination/) (用語)
-   [構造化出力（Structured Outputs）](https://broadrouter.com/ja/glossary/structured-output/) (用語)
-   [temperature（温度）](https://broadrouter.com/ja/glossary/temperature/) (用語)
-   [ガードレール（guardrails）](https://broadrouter.com/ja/glossary/guardrails/) (用語)
-   [LLM ベンチマーク（LLM benchmark）](https://broadrouter.com/ja/glossary/llm-benchmark/) (用語)
-   [OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/) (ガイド)
-   [プロバイダーを乗り換える前に LLM を評価する方法](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/) (記事)
-   [OpenAI 互換 API への移行チェックリスト](https://broadrouter.com/ja/blog/openai-compatible-api-migration-checklist/) (記事)
-   [GLM 5.3 と DeepSeek V4.1 Flash の比較：どちらをいつ使うか](https://broadrouter.com/ja/blog/glm-5-3-vs-deepseek-v4-1-flash/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-eval&utm_content=page-cta) ·

**出典**

-   [Anthropic、強力な実証的評価を作成する（テストの作成）（2026-11-16 確認）](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng ら、Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（arXiv）（2026-11-16 確認）](https://arxiv.org/abs/2306.05685)
-   [Muennighoff ら、MTEB: Massive Text Embedding Benchmark（arXiv）（2026-11-16 確認）](https://arxiv.org/abs/2210.07316)
