模型发布时总会附上一张基准分数表。了解基准测试能衡量什么、不能衡量什么,才不会因为看错数字而选错模型。
原理
基准测试固定三件事:任务、给模型提示的方式,以及评分规则。两个知名例子:
| 基准 | 测什么 | 规模 | 评分 |
|---|---|---|---|
| MMLU(2020) | 跨领域知识,“57 tasks including elementary mathematics, US history, computer science, law, and more”(译文:57 项任务,包括初等数学、美国历史、计算机科学、法律等) | 57 个学科 | 准确率 |
| SWE-bench(2023) | 通过 “editing the codebase to address the issue”(译文:修改代码库来解决问题)修复真实的 GitHub issue | 来自 12 个 Python 仓库的 2,294 个问题 | 解决的 issue 比例 |
语音也有自己的基准:排行榜按词错误率给转写模型排名,越低越好。
基准测试会过时。MMLU 发布时,最大的 GPT-3 模型 “over random chance by almost 20 percentage points on average”(译文:平均比随机猜测高出近 20 个百分点)。SWE-bench 发布时,最好的模型 Claude 2 只解决了 1.96% 的 issue。一个曾经能很好地区分模型的基准,随着模型进步可能不再有区分度,所以要看清基准是什么时候做的、如今的典型分数是多少。
为什么重要
- 数据污染。 Xu 等人的综述把基准数据污染描述为模型 “inadvertently incorporate evaluation benchmark information from their training data”(译文:在训练数据中无意间纳入了评测基准的信息),导致 “inaccurate or unreliable performance during the evaluation phase”(译文:评测阶段的表现不准确或不可靠)。
- 覆盖面窄。 一个 Python 编程基准几乎说明不了阿拉伯语客服的表现。请挑选与你的任务匹配的基准(哪个排行榜测什么),再用你自己数据上的评测来确认。
- 设置会改变分数。 提示词格式、few-shot 示例、思考(reasoning)预算和部署配置都会影响结果。只有在相同方式下跑出的分数才能比较。
- 评审会带来自己的偏差。 开放式基准常用 LLM-as-a-judge;请查看用的是哪个评审模型和评分标准。
更换大模型前先做评测一文介绍了如何用你自己的流量构建一个小测试集。
在 BroadNet Inference 上
BroadNet 发布了一些自己的基准数据;请把它们视为 BroadNet 自行报告的结果。对于 BroadNet Transcribe Arabic(基于 Cohere Transcribe),BroadNet 报告的词错误率在 MASC 方言语音上为 21.1,在 FLEURS 阿拉伯语上为 3.8,并报告其在 Open Universal Arabic ASR Leaderboard 上排名 第 2 名(共 37 个) (这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名)。对于 Gemma 4 VL 26B,BroadNet 报告了一次基于 240 段生产对话的三评审盲评,在 BroadNet 自家聊天机器人流水线的 6 个步骤中,它有 5 个与 Claude Sonnet 持平。这只是一家公司的流水线,不是通用基准。投入使用前请先跑你自己的评测;$5 初始额度覆盖 Gemma 4 VL 26B 和两个转写模型。