BroadRouter

BroadNet 评估后淘汰了哪些模型,原因是什么

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于 · 更新于

BroadNet 的模型目录中,约 30 个模型和方法在其实验室测试后被标为淘汰。原因大致分五类:同一任务输给更强的模型、凭据安全测试不过、许可证不允许 API 提供服务、量化格式在正面对比中落败,以及阿拉伯语表现退步。所有结果都是 BroadNet 自己在 2026 年 9 月的测量。

BroadNet 的模型目录列出了它声称在自有硬件上运行、测评、量化或微调过的每个模型,并给被淘汰的模型注明原因。约 30 个模型和方法带有 RULED OUT(淘汰)标签。下面的数据是 BroadNet 实验室在 2026 年 9 月测得的,是 BroadNet 的结果,不是我们的。

目录使用六种标签:PROD(承载过线上流量)、SERVED(用目录的原话说,“ran on our fleet”,即在其集群上运行过)、BENCH(测评过)、QUANT(BroadNet 制作了量化版本)、FT(BroadNet 微调过)和 RULED OUT(淘汰)。

BroadNet 淘汰了哪些对话模型?

模型 BroadNet 做了什么 淘汰原因
Qwen3.5 35B A3B(AWQ 4-bit) 作为速度档部署,约 164 tokens/s 在安全相关岗位上未通过 BroadNet 的凭据安全测试
GLM 4.7 Flash(AWQ) 试验性部署 标签是 SERVED,不是 RULED OUT:BroadNet 称它因凭据安全测试被排除在安全相关岗位之外,未进入生产
Nemotron 3 Nano 30B A3B(NVFP4) 配合自定义思考(reasoning)解析器部署 标签是 SERVED,不是 RULED OUT:BroadNet 称它因凭据安全测试被排除在安全相关岗位之外,未进入生产
Qwen3.6 35B A3B 在 RTX 5090 和 GB10 上部署 聊天机器人位置输给了 Gemma 4 26B
Gemma 4 E4B(AWQ INT4) 在 GB10 上与其他模型共置部署,约 94 tokens/s 聊天机器人位置输给了 Gemma 4 26B
Gemma 4 26B A4B NVFP4(三个发布方) 评估了量化效果 在 sm_120 和 sm_121 GPU 上正面对比后,弃用并改用 AWQ
EAGLE3 投机解码 针对满载部署测试 在 32 个并发请求下损失 69% 的吞吐量;保留多 token 预测草稿模型

对于选择开源模型的人来说,这个规律很重要。其中三个淘汰与安全有关,而不是质量:模型速度够快,却会复述凭据。BroadNet 的 Safety Map 研究发现,这正是激活参数较少的混合专家(MoE)模型最常见的失败模式。赢得聊天机器人位置的 Gemma 4 26B A4B,就是 BroadNet 以 Gemma 4 VL 26B 名义销售的模型。

哪些语音模型被淘汰了?

模型 淘汰原因
Gemma 4 E2B、Gemma 4 12B(作为转写模型) 改为保留 E4B 音频版本
Omnilingual ASR 300M、1B、3B 及 CTC 版本(Meta) 7B 版本拿到了这个位置
Voxtral Mini 3B / 4B Realtime(Mistral) 阿拉伯语方面被淘汰
ArTSTv3(源自 MBZUAI) 阿拉伯语位置被淘汰;保留 Cohere Transcribe Arabic
FireRedVAD、DeepFilterNet、BNR(前端处理) 正面对比后采用 Silero 语音活动检测

BroadNet 报告称,在它自己的测试中,保留下来的 Cohere Transcribe Arabic 07-2026 在 MASC 方言语音上的词错误率为 21.1,ElevenLabs Scribe v2 为 22.3,Whisper large-v3 为 31.5。它以 BroadNet Transcribe Arabic 的名义提供这个模型。目录还提到,Whisper large-v3 作为备选方案做过测评。

哪些文档、向量和图像模型落选了?

OCR 与文档解析

  • LlamaParse,原先使用的 API,在 BroadNet 的 OmniDocBench 子集上得分 16.6。BroadNet 淘汰它的原因是 “it loses tables, and self-hosting is 98% cheaper per 1,000 pages”(译文:它会丢失表格,而自托管每 1,000 页便宜 98%)。
  • olmOCR-2、HunyuanOCR、GOT-OCR 2.0 和 Nanonets OCR2 经评估后被淘汰;其中 Nanonets 是因为许可条款。dots.mocr 被留作生产选择,因为它既能解析文档,又能描述图表,尽管 PaddleOCR-VL 1.6 得分更高(94.74 对 86.81)。

向量(Embedding)

  • gemini-embedding-2 相对 gemini-embedding-001 出现退步(在 BroadNet 的检索基准上为 0.767 对 0.824),因此在阿拉伯语方面被淘汰。
  • nomic-embed-text v1.5,之前使用的模型,总分 0.468,阿拉伯语 0.130,已被弃用。
  • Octen 8B、Harrier 0.6B 和 Nemotron Embed 1B 经部署后在真实阿拉伯语流量上被淘汰,“where our podium held despite their public-board wins”(译文:尽管它们在公开榜单上胜出,我们的前三名依然没有变)。

BroadNet 还补充了一个比模型选择更重要的发现:针对具体工作负载的查询指令让检索质量(nDCG)提升了 0.048,比把向量模型从 4B 换成 8B 的提升还大。

图像生成与安全

  • Cosmos3 Super 64B 和 HunyuanImage 3.0 80B 因硬件适配和许可条款被淘汰。
  • openai/privacy-filter 1.5B 在 BroadNet 的泄露语料中拦住了 100% 的凭据,但薪资数字一个都没拦住(0%),因此没被选作防火墙。

从这些淘汰中能学到什么?

有四点经验在 BroadNet 自己的技术栈之外同样适用:

  1. **测试你的任务,而不是看排行榜。**几个在公开榜单上胜出的向量模型,在真实阿拉伯语流量上落败了。
  2. **安全是一道单独的关卡。**又快又强的模型仍然可能在凭据测试中失败。在模型接触密钥之前先做一次测试;BroadNet 的评估方法可以作为起点。
  3. **许可证决定了能提供什么。**Voxtral 4B TTS 和 Higgs Audio v3 等非商用模型在目录中只作为质量上限出现。
  4. **部署方案也要测量。**量化格式和草稿方法是根据正面对比的数据淘汰的,而不是默认放弃。参见 BroadNet 的 GPU 硬件与部署方式。

这里的每个数字都来自一家公司的实验室和流量。把它当作一份待测试的候选清单,然后在切换之前用自己的数据评估。另外,标为淘汰或仅测评过的条目也无法调用;如何读懂模型目录说明了怎样区分线上、按需申请和研究条目。

常见问题

BroadNet 为什么要公开它淘汰的模型?

它的目录说,它公开 "what we rule out as carefully as what we ship"(译文:淘汰的内容和上线的内容一样认真地公开),让买家能看到每条推荐背后的理由。附带原因的淘汰记录,是你可以拿自己的工作负载去验证的证据。

“淘汰”是不是说明这个模型不好?

不是。大多数淘汰只针对 BroadNet 自己流水线中的某个位置,基于 BroadNet 所报告的部署环境和流量。Qwen3.6 35B A3B 和 Gemma 4 E4B 在聊天机器人这个位置上输给了 Gemma 4 26B,但它们仍可能适合你的任务。

凭据安全测试是什么?

这是 BroadNet 用来检验模型是否会复述它看到的凭据的测试,基于其公开的敏感数据评估方法。未通过的模型在安全相关岗位上不会进入生产。

为什么许可证会让模型被淘汰?

一些很强的模型,例如 Voxtral 4B TTS 和 Higgs Audio v3,是非商用许可,所以 BroadNet 只把它们当作质量上限来测评,不能通过付费 API 提供。

被淘汰的模型能在 BroadNet Inference 上使用吗?

不能。API 销售六个模型,另有三个可按需申请。标为淘汰的模型不提供。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity