BroadRouter
开始使用

评测(eval,LLM evaluation)

更新于

评测(eval,evaluation 的简称)是对语言模型或提示词的可重复测试:一组固定的输入、对好输出的描述,以及给每个输出打分的评分器(代码、人工或另一个模型),以便比较不同版本。

又称: 大模型评测、模型评估、LLM 评测、评测集、大模型测试、eval、evals、LLM evaluation、model evaluation、LLM testing、eval set

评测就是提示词和模型的单元测试:每次输入相同,及格线清晰,分数可以比较。

工作原理

一个评测由三部分组成:

  1. 用例。 取自真实使用场景的输入,加上边界情况。Anthropic 的指南列举了无关输入、过长输入,以及 “where even humans would find it hard to reach an assessment consensus”(译文:连人类也难以达成一致判断)的模糊情况。
  2. 标准。 好答案是什么样子:一个确切的值、一个必填字段、一种语气、一个必须出现的事实。
  3. 评分器。 给每个输出打分的东西。
评分器 适用于 弱点
代码(精确匹配、JSON Schema、正则) 分类、信息抽取、结构化输出 无法评判开放式文本
人工 细微差别、语气、新任务 慢且贵
模型(LLM-as-judge) 大规模评判开放式回答 有自身的偏差

Anthropic 建议尽可能自动化,并明确说 “Prioritize volume over quality”(译文:数量优先于质量):更多用例配合稍有噪声的自动评分,胜过少量人工评分的用例。它还建议用一个不同于生成该输出的模型来评分。

为什么重要

  • 更换模型或服务商。 公开基准很少与你的任务吻合。即使是嵌入模型,MTEB 基准也发现 “no particular text embedding method dominates across all tasks.”(译文:没有哪种文本嵌入方法能在所有任务上占优。)你自己的评测才是唯一可靠的比较。参见换模型前如何评测大模型。
  • 修改提示词。 修好一个用例,常常会弄坏另一个。每次修改提示词都要重跑完整测试集。
  • 成本取舍。 评测能用数字而不是印象,告诉你更便宜的模型在某个步骤上是否够用。
  • 安全。 不仅要为正常路径添加用例,还要为幻觉、拒答和注入尝试添加用例。

在 BroadNet Inference 上

BroadNet 的文档没有列出评测产品。从你自己的代码对 OpenAI 兼容端点运行评测集,只改模型 ID 就能比较不同模型。思考模型的思考内容会计入 max_tokens,所以要给它们留足空间,否则某条用例可能因为返回空回答而失败,而不是因为答错。GLM 5.3 与 DeepSeek V4.1 Flash 对比一文就是一个完整的比较示例。

常见问题

评测和基准测试有什么区别?

基准测试是公开的测试集,用于对模型做一般性比较。评测通常是你自己的测试集,取自真实任务,告诉你模型在你的产品上表现如何。

一个评测需要多少条测试用例?

没有固定数量。Anthropic 的建议是,宁可用更多用例配合自动评分,也不要只用少量人工评分的用例;先从真实流量中取几十条,发现失败时再逐步扩充。

评测时要把 temperature 设为 0 吗?

使用你在生产环境中会用的设置。如果每次运行输出都不同,就把每条用例多跑几次,比较平均分,而不是单次结果。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity