比较大模型 API 时,Artificial Analysis 往往是第一站,因为它会对每家服务商的真实请求计时。但它只是一个视角。其他网站按人类投票、基准分数、用量或价格排名,各自回答不同的问题。本文说明每个网站衡量什么、怎么衡量、能拿到哪些数据,以及什么时候该用它。下面的每条事实都是我们在 2026 年 11 月 15 日从各网站自己的页面上读到的。
先做一个说明:BroadRouter 是 BroadNet 自己的网站。它把开发者引向 BroadNet Inference,并公布价格数据。它不对模型做评测,出现在这份列表中只是因为价格。
Artificial Analysis 擅长什么?
Artificial Analysis 自称 “Independent analysis of AI”(译文:独立的 AI 分析)。它的方法说明页面解释了三件很少有人做的事:
- **按服务商端点测速度。**输出速度是 “output tokens per second over each request’s full duration”(译文:每个请求全程的每秒输出 token 数),包括思考 token,并取 “over the workloads we measured in the past 5 days”(译文:过去 5 天内我们测量的工作负载)的平均值。因为同一个模型 “may have multiple endpoints across different providers”(译文:可能在不同服务商有多个端点),你能看到同一个模型在一家托管商上比另一家跑得更快。
- **可比较的延迟。**它报告首 token 时间、首个回答 token 时间(包含思考过程,因此思考模型和非思考模型可以公平比较)以及端到端时间。
- **自己的评测。**Intelligence Index v5.0.1 把九项评测分成四个等权重的组(知识工作、编程、科学、通用)。其中几项是它自己的基准,或是它自己运行的他人任务,并注明了重复次数。
它的服务商排行榜覆盖 “over 500 AI Model endpoints”(译文:500 多个 AI 模型端点),列出每个任务的成本、每个任务的耗时、首个回答 token 延迟、错误率、上下文窗口和许可证。价格是 “the current prices listed by providers”(译文:服务商当前列出的价格),它的混合价格按缓存命中、输入和输出 token 7:2:1 的比例计算。如果你的工作负载以输出为主,请在心里调整这个比例。
如果你需要按服务商实测的速度和错误率,它很难被替代。人们寻找替代品,通常是想要不同的信号:人类偏好、特定领域、可下载的原始数据,或者每一行都有来源的价格表。
Artificial Analysis 有哪些替代品?
| 网站 | 衡量什么 | 方法 | 可获取的数据 | 最适合 |
|---|---|---|---|---|
| Artificial Analysis | 智能指数、输出速度、延迟、错误率、各端点价格 | 自己运行评测并对请求计时;速度按 5 天滚动窗口 | 免费 API,须注明出处 | 按服务商比较速度和延迟 |
| Arena(原 LMArena) | 人类偏好 | 两个匿名模型作答,由人投票,投票后才公布名称 | Hugging Face 上的开放偏好数据集 | 人们对回答的感受 |
| Epoch AI Benchmarking Hub | 随时间变化的基准分数 | 部分基准用 Inspect 自己运行;其余从官方排行榜收集 | CSV 和 Python 客户端;自有数据为 CC BY | 趋势和原始分数 |
| Vals AI | 领域准确率、成本和延迟 | 42 项基准,部分为私有或保留测试集 | 基准测试页面未说明 | 法律、金融、税务等领域 |
| OpenRouter 排行 | 用量 | 通过 OpenRouter 处理的 token,按 UTC 天汇总 | 带价格的公开模型 API | 开发者实际在用什么 |
| Open LLM Leaderboard(Hugging Face) | 开放权重模型分数 | Eleuther AI 评测框架中的六项基准 | 结果和请求数据集 | 比较开放模型文件 |
| BroadRouter 价格数据(BroadNet 的网站) | 仅公布价格 | 从每家服务商自己的价格页读取,附 URL、日期和原文引用 | CSV 和 JSON,汇编整体为 CC BY 4.0 | 在源头核对价格 |
Arena 有什么不同?
Arena(lmarena.ai 现在会跳转到 arena.ai)请真实用户比较两个匿名回答并选出一个。模型名称只在投票后显示。它衡量的是偏好,混合了准确性、语气、长度和格式。它的排行榜分为多个榜单,包括 Text、WebDev、Vision、Document 和 Search,Pareto 视图还会显示每个任务的成本。Arena 表示已在 Hugging Face 上开源其偏好数据,如果你想研究投票本身而不只是看排名,这很有用。
可以用它看一个对话回答在人们眼中的效果。不要用它为 API 选服务商:它给模型排名,而不是给托管商排名,也不涉及某个端点上的速度。
什么时候 Epoch AI 和 Vals AI 更合适?
Epoch AI 维护一个基准测试结果数据库,我们核实时它跟踪了 99 项基准和 428 个模型。部分结果由它自己用 Inspect 框架运行;其余来自基准作者维护的官方排行榜。你可以下载 CSV 数据,或使用它的 Python 客户端。它的自有数据按 CC BY 许可,注明出处即可免费复用;来自外部的结果保留其原始许可。如果你想要原始分数或趋势线,而不是单一指数,选 Epoch。
Vals AI 运行 42 项基准,覆盖法律、金融、医疗、编程、数学等领域,部分测试集为私有或保留集,降低了模型在测试题上训练过的风险。它的排行榜比较准确率、成本和延迟,它的 Inference Provider Index 则从准确率、成本和速度三方面比较服务商。它的综合指标 Vals Index 按各行业在美国 GDP 中的占比加权。如果你的任务与它覆盖的某个领域相似,选 Vals。
OpenRouter 排行到底说明了什么?
用量。每个模型按 “tokens it processed through the OpenRouter API”(译文:它通过 OpenRouter API 处理的 token)排名,提示和补全合计,时间窗口为过去一天、七天或三十天。页面明确说明,这些排行 “do not rank models by accuracy, reasoning ability, or benchmark performance”(译文:不按准确性、推理能力或基准测试表现给模型排名)。写长回答或在长智能体循环中运行的模型会在榜单上往上爬。把它当作热度信号和值得测试的模型清单来看。OpenRouter 还有一个公开的模型端点,列出每个模型的价格,但那是 OpenRouter 的收费,而不是各托管商直接收取的价格。
Hugging Face Open LLM Leaderboard 还值得用吗?
对开放权重模型文件来说,值得,但要谨慎。Hugging Face 的文档说,第一版已于 2024 年 6 月归档并被取代。当前版本在 Eleuther AI 评测框架中用 IFEval、BBH、MATH level 5、GPQA、MuSR 和 MMLU-Pro 给模型打分,并以数据集形式公布结果。它评测的是模型文件,而不是托管 API,所以无法告诉你价格、速度,或者某家服务商如何提供这个模型。
在哪里比较阿拉伯语模型?
通用排行榜很少涉及阿拉伯语,Arena 可见的筛选项里也没有语言。Hugging Face 上的两个 Space 填补了部分空白:
- Open Arabic LLM Leaderboard,由 OALL 组织运营,面向阿拉伯语文本。
- Open Universal Arabic ASR Leaderboard,自称 “a benchmark for open-source multi-dialect Arabic ASR models”(译文:面向开源多方言阿拉伯语 ASR 模型的基准),面向语音识别。BroadNet 报告其 Transcribe Arabic 模型的成绩为 第 2 名(共 37 个)(这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名)。这是 BroadNet 自己的数字,而且榜单会随着新模型加入而变化。
语音结果要按方言看,而不只看平均值。方法见阿拉伯语 ASR 词错误率详解。
BroadRouter 的价格数据处于什么位置?
BroadRouter 发布三种价格资源:按模型分的大模型 API 价格页面、包含中位数和价差的价格指数,以及原始服务商价格数据库。每一行都从服务商自己的价格页读取,并与来源 URL、日期和原文引用一起保存,每周由脚本重新抓取来源。不使用任何聚合平台的数据源。
它不做什么同样重要:
- 它不衡量速度、延迟、可用性或质量。这些请用 Artificial Analysis、Arena、Epoch AI 或 Vals AI。
- 它只收录第三方价格。BroadNet 自己的价格见其 pricing.json 和价格页面。
- 它是 BroadNet 的网站,所以请把它看作一份你可以逐行核对的厂商汇编,而不是中立的评判者。
如何组合使用这些网站?
- **按质量列出候选。**用 Arena 看对话感受,用 Epoch AI 或 Vals AI 看你所在领域的任务分数。保留三到五个模型。
- **在你要用的托管商上检查速度。**Artificial Analysis 显示每个端点的速度和延迟。大模型延迟详解说明了哪个数字对你的应用最重要。
- **在源头核对价格。**用价格数据库找到服务商,再打开每家服务商自己的页面。留意缓存输入和输出价格,对很多工作负载来说,它们对账单的影响比输入价格更大。
- **用你自己的数据测试。**让每个入围模型处理 50 到 100 个真实输入并打分。基准测试只有在任务与你的任务相似时,才能预测你的结果。方法见切换大模型之前如何评估,限额、隐私和支持见 20 项服务商检查清单。
BroadNet Inference 的情况
BroadNet Inference 是一个 OpenAI 兼容 API,而不是排行榜。它提供的模型不多:DeepSeek V4.1 Flash(由合作伙伴托管)、GLM 5.3、Qwen3.8 27B、Gemma 4 VL 26B 和两个语音转文字模型。工具调用和结构化输出只在 GLM 5.3 和 Qwen3.8 27B 上有文档说明。自助账户没有 SLA,也没有批处理 API 或 embeddings。如果其中某个模型进了你的候选名单,$5 初始额度可用于 Gemma 4 VL 26B、两个 Transcribe 模型和 Gemma 按小时密钥,所以你可以在付费前用自己的输入完成第 4 步;DeepSeek、GLM 和 Qwen 需要充值。提示词和回答不会被保留。比较这些模型或创建账户。
