---
title: "什么是大模型评测（eval）？如何测试模型输出 | BroadRouter"
description: "评测（eval）是一套可重复的测试集，按你的标准给大模型输出打分。如何构建、如何评分，以及为什么换模型前要先跑一遍。"
url: https://broadrouter.com/zh/glossary/eval/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/eval/) (2026-11-16 更新).

# 评测（eval，LLM evaluation）

更新于 2026-11-16

评测（eval，evaluation 的简称）是对语言模型或提示词的可重复测试：一组固定的输入、对好输出的描述，以及给每个输出打分的评分器（代码、人工或另一个模型），以便比较不同版本。

又称： 大模型评测、模型评估、LLM 评测、评测集、大模型测试、eval、evals、LLM evaluation、model evaluation、LLM testing、eval set

评测就是提示词和模型的单元测试：每次输入相同，及格线清晰，分数可以比较。

## 工作原理

一个评测由三部分组成：

1.  **用例。** 取自真实使用场景的输入，加上边界情况。Anthropic 的指南列举了无关输入、过长输入，以及 “where even humans would find it hard to reach an assessment consensus”（译文：连人类也难以达成一致判断）的模糊情况。
2.  **标准。** 好答案是什么样子：一个确切的值、一个必填字段、一种语气、一个必须出现的事实。
3.  **评分器。** 给每个输出打分的东西。

| 评分器 | 适用于 | 弱点 |
| --- | --- | --- |
| 代码（精确匹配、JSON Schema、正则） | 分类、信息抽取、[结构化输出](https://broadrouter.com/zh/glossary/structured-output/) | 无法评判开放式文本 |
| 人工 | 细微差别、语气、新任务 | 慢且贵 |
| 模型（[LLM-as-judge](https://broadrouter.com/zh/glossary/llm-as-judge/)） | 大规模评判开放式回答 | 有自身的偏差 |

Anthropic 建议尽可能自动化，并明确说 “Prioritize volume over quality”（译文：数量优先于质量）：更多用例配合稍有噪声的自动评分，胜过少量人工评分的用例。它还建议用一个不同于生成该输出的模型来评分。

## 为什么重要

-   **更换模型或服务商。** 公开基准很少与你的任务吻合。即使是嵌入模型，MTEB 基准也发现 “no particular text embedding method dominates across all tasks.”（译文：没有哪种文本嵌入方法能在所有任务上占优。）你自己的评测才是唯一可靠的比较。参见[换模型前如何评测大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)。
-   **修改提示词。** 修好一个用例，常常会弄坏另一个。每次修改提示词都要重跑完整测试集。
-   **成本取舍。** 评测能用数字而不是印象，告诉你更便宜的模型在某个步骤上是否够用。
-   **安全。** 不仅要为正常路径添加用例，还要为[幻觉](https://broadrouter.com/zh/glossary/hallucination/)、拒答和注入尝试添加用例。

## 在 BroadNet Inference 上

BroadNet 的文档没有列出评测产品。从你自己的代码对 OpenAI 兼容端点运行评测集，只改模型 ID 就能比较不同模型。思考模型的思考内容会计入 `max_tokens`，所以要给它们留足空间，否则某条用例可能因为返回空回答而失败，而不是因为答错。[GLM 5.3 与 DeepSeek V4.1 Flash 对比](https://broadrouter.com/zh/blog/glm-5-3-vs-deepseek-v4-1-flash/)一文就是一个完整的比较示例。

## 常见问题

### 评测和基准测试有什么区别？

基准测试是公开的测试集，用于对模型做一般性比较。评测通常是你自己的测试集，取自真实任务，告诉你模型在你的产品上表现如何。

### 一个评测需要多少条测试用例？

没有固定数量。Anthropic 的建议是，宁可用更多用例配合自动评分，也不要只用少量人工评分的用例；先从真实流量中取几十条，发现失败时再逐步扩充。

### 评测时要把 temperature 设为 0 吗？

使用你在生产环境中会用的设置。如果每次运行输出都不同，就把每条用例多跑几次，比较平均分，而不是单次结果。

## 另请参阅

-   [LLM-as-a-judge（大模型评审）](https://broadrouter.com/zh/glossary/llm-as-judge/) (术语)
-   [AI 幻觉（hallucination）](https://broadrouter.com/zh/glossary/hallucination/) (术语)
-   [结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/) (术语)
-   [温度（temperature）](https://broadrouter.com/zh/glossary/temperature/) (术语)
-   [护栏（guardrails）](https://broadrouter.com/zh/glossary/guardrails/) (术语)
-   [大模型基准测试（LLM benchmark）](https://broadrouter.com/zh/glossary/llm-benchmark/) (术语)
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/) (指南)
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/) (文章)
-   [迁移到 OpenAI 兼容 API：切换服务商检查清单](https://broadrouter.com/zh/blog/openai-compatible-api-migration-checklist/) (文章)
-   [GLM 5.3 vs DeepSeek V4.1 Flash：该用哪个，什么时候用](https://broadrouter.com/zh/blog/glm-5-3-vs-deepseek-v4-1-flash/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-eval&utm_content=page-cta) ·

**来源**

-   [Anthropic，定义成功标准并构建评测（开发测试）（2026-11-16 查阅）](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng 等，Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（arXiv）（2026-11-16 查阅）](https://arxiv.org/abs/2306.05685)
-   [Muennighoff 等，MTEB: Massive Text Embedding Benchmark（arXiv）（2026-11-16 查阅）](https://arxiv.org/abs/2210.07316)
