评测就是提示词和模型的单元测试:每次输入相同,及格线清晰,分数可以比较。
工作原理
一个评测由三部分组成:
- 用例。 取自真实使用场景的输入,加上边界情况。Anthropic 的指南列举了无关输入、过长输入,以及 “where even humans would find it hard to reach an assessment consensus”(译文:连人类也难以达成一致判断)的模糊情况。
- 标准。 好答案是什么样子:一个确切的值、一个必填字段、一种语气、一个必须出现的事实。
- 评分器。 给每个输出打分的东西。
| 评分器 | 适用于 | 弱点 |
|---|---|---|
| 代码(精确匹配、JSON Schema、正则) | 分类、信息抽取、结构化输出 | 无法评判开放式文本 |
| 人工 | 细微差别、语气、新任务 | 慢且贵 |
| 模型(LLM-as-judge) | 大规模评判开放式回答 | 有自身的偏差 |
Anthropic 建议尽可能自动化,并明确说 “Prioritize volume over quality”(译文:数量优先于质量):更多用例配合稍有噪声的自动评分,胜过少量人工评分的用例。它还建议用一个不同于生成该输出的模型来评分。
为什么重要
- 更换模型或服务商。 公开基准很少与你的任务吻合。即使是嵌入模型,MTEB 基准也发现 “no particular text embedding method dominates across all tasks.”(译文:没有哪种文本嵌入方法能在所有任务上占优。)你自己的评测才是唯一可靠的比较。参见换模型前如何评测大模型。
- 修改提示词。 修好一个用例,常常会弄坏另一个。每次修改提示词都要重跑完整测试集。
- 成本取舍。 评测能用数字而不是印象,告诉你更便宜的模型在某个步骤上是否够用。
- 安全。 不仅要为正常路径添加用例,还要为幻觉、拒答和注入尝试添加用例。
在 BroadNet Inference 上
BroadNet 的文档没有列出评测产品。从你自己的代码对 OpenAI 兼容端点运行评测集,只改模型 ID 就能比较不同模型。思考模型的思考内容会计入 max_tokens,所以要给它们留足空间,否则某条用例可能因为返回空回答而失败,而不是因为答错。GLM 5.3 与 DeepSeek V4.1 Flash 对比一文就是一个完整的比较示例。