BroadNet 对其推理硬件的介绍细致得少见。它的模型目录列出了它所称运行的 GPU、每张卡的实测吞吐量,以及在这些硬件上运行相同模型得出的经验。本页总结 BroadNet 的说法,关键处引用其原话。我们没有检查过这些硬件,测量数据均为 BroadNet 自己在 2026 年 9 月得出的。
BroadNet 称自己运行哪些硬件?
BroadNet 称它采用“one fleet, three tiers, one stack”(译文:一个集群、三层硬件、一套栈):从数据中心加速卡到客户现场的一体机,用的是同样的推理引擎、量化方案和网关。
| 层级 | BroadNet 列出的 GPU | BroadNet 的用途 |
|---|---|---|
| 数据中心 | B300、B200、H200、H100、A100 80 GB | 旗舰模型服务、量化与校准、微调、专属私有端点、满足数据驻留要求的部署 |
| 工作站 | RTX PRO 6000 Blackwell、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700 | 全天候公共 API、跨 CUDA 和 ROCm 的基准测试、模型开发 |
| 客户现场 | DGX Spark GB10、小型 AMD 一体机 | 在完全相同的栈上进行本地部署和物理隔离部署 |
BroadNet 报告共运行过约 270 个模型,加载过约 200 个检查点,涉及约 40 个模型系列、12 种以上量化格式和 13 个 GPU 系列。它还称“a single H100 serves the entire current public catalogue with headroom”(译文:单张 H100 就能承载当前整个公开模型目录,且还有余量)。
哪些 API 模型运行在这些硬件上?
不是全部。BroadNet 的隐私声明表示,其自有模型和它托管的开放权重模型运行在 BroadNet 位于美国的自有或租用硬件上,合作伙伴的算力作为备份;由合作伙伴提供服务的模型,则在零数据保留条款下运行于美国的推理合作伙伴处。其服务条款写明 DeepSeek V4.1 Flash 由合作伙伴托管。
BroadNet 自己的页面对各模型的说法:
| API 上的模型 | BroadNet 写明的硬件 |
|---|---|
| Gemma 4 VL 26B | NVIDIA Blackwell 级 GPU,配热备份 |
| Transcribe Arabic 和 Transcribe | BroadNet 在美国运营的 NVIDIA GPU |
| DeepSeek V4.1 Flash | 合作伙伴托管(服务条款 §7.3) |
| GLM 5.3、Qwen3.8 27B | 未说明 API 流量所用硬件 |
如果你在意数据在哪里处理,发送之前先问 BroadNet。其推理页面称,可应要求在中东北非(MENA)或欧洲进行区域内处理。
每种 GPU 有多快?
BroadNet 公布了一个模型在每种 GPU 上的总输出吞吐量:Qwen3-VL 30B A3B Instruct,32 个并发请求:
| GPU | 层级 | 内存带宽 | 总 tokens/s |
|---|---|---|---|
| B300 | 数据中心 | 8,000 GB/s | 14,500 |
| B200 | 数据中心 | 8,000 GB/s | 14,000 |
| H200 | 数据中心 | 4,800 GB/s | 8,400 |
| H100 | 数据中心 | 3,350 GB/s | 5,800 |
| A100 80 GB | 数据中心 | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | 工作站 | 1,792 GB/s | 3,100 |
| RTX 3090 | 工作站 | 936 GB/s | 1,630 |
| DGX Spark GB10 | 工作站 | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | 工作站 | 640 GB/s | 1,087 |
BroadNet 指出,数据中心的数字是“planning numbers from our measured per-GPU curve”(译文:根据我们实测的单卡曲线推算的规划数字),而不是在每张卡上的直接测量。大多数行随内存带宽上升,而内存带宽通常正是解码的瓶颈,但并非全部如此:DGX Spark GB10(273 GB/s)几乎追平 RTX 3090(936 GB/s),而 Radeon AI PRO R9700(640 GB/s)落后于这两者。
BroadNet 说它从硬件上学到了什么?
模型目录列出了八条发现,每条都标注“measured on our own hardware”(译文:在我们自己的硬件上实测)。对 API 买家最重要的几条:
- CUDA 与 ROCm。 在 NVIDIA CUDA 和 AMD ROCm 上运行相同模型,CUDA 把内存带宽转化为 token 的效率约为后者的两倍,所以 BroadNet 据此分配工作负载。
- 负载下的投机解码。 在 32 个并发请求下,EAGLE3 让吞吐量损失了 69%,所以 BroadNet 保留了多 token 预测(MTP)草稿模型。它的 Uno 部署研究针对另一种方法测得了同样的效应。
- 部署方式和权重同样重要。 同样的 Gemma 4 26B 权重,由一家托管服务商部署时,平均得分比 BroadNet 所说的 “our own serving”(译文:我们自己的部署)低 0.13。BroadNet 的原则是:比较之前,让挑战者和基线跑在同样的部署方式上。
- 激活参数更少的模型也能胜出。 26B 的混合专家模型以约八分之一的激活参数,在 6 个流水线步骤中的 5 个上胜过稠密的 Gemma 4 31B。
- 在一条流水线上与前沿模型持平。 在对 240 条轨迹的盲评中,BroadNet 部署的 Gemma 4 在六个被测步骤中的五个上与 Claude Sonnet 持平,每步响应快 1.2 到 6.5 倍。
- 单请求速度。 据 BroadNet 测量,Qwen3-VL 30B A3B 在 BroadNet 所称的自有部署上单请求速度为每秒 36.5 到 110 个 token,而 BroadNet 测量的四家 OpenRouter 服务商为 7 到 19。
- 架构胜过模型选择。 在两个本地视觉模型意见不一的困难样本集上,升级给一个托管的仲裁模型后,准确率从 12 个中对 1 个提高到 12 个中对 11 个。
与 Sonnet 的比较是最强的说法,但范围很窄:根据 BroadNet 的 Gemma 4 页面,这是一家公司的聊天机器人流水线,由三名评审盲评,样本是来自 11 个租户的 240 条生产对话。它并不意味着 Gemma 4 在总体上能与 Sonnet 相提并论。BroadNet 尚未在其研究页面上发布这项评测的完整报告。
Gemma 4 模型是怎样部署的?
据其模型页,BroadNet 的 Gemma 4 VL 26B 最能体现它的部署选择:
- **权重:**Google 的 Gemma 4 26B A4B,由 BroadNet 量化为 4 位 AWQ。BroadNet 测试过 NVFP4,在正面对比后弃用。
- **解码:**多 token 预测投机解码,草拟两个 token(k=2),并使用 fp8 KV 缓存。
- **模板:**BroadNet 为其对话工作流调优的聊天模板。
- **容灾:**配有自动故障转移的热备份。
- **结果:**单流约每秒 136 个 token,在 BroadNet 内部质量测试集上得分 90.86。
这对你意味着什么?
对按量付费用户来说,BroadNet 的部署选择体现在公布的速度上(套餐模型典型速度为 约每秒 100 个 token),也体现在限额上:每个密钥每分钟 30 个请求,同时进行中的请求 4 个。BroadNet 的条款说明,自助服务不作可用性承诺;服务等级只随书面协议提供。其他供应商的 SLA 对比。
需求更大时,BroadNet 提供部署在预留 GPU 上的私有端点,模型、密钥、限额和区域由你决定,也提供运行同一套栈的本地一体机。如果你在拿它和自己租 GPU 做比较,我们的自托管与 API 成本指南把账算了一遍,BroadNet 排除的模型则展示了它如何选择要部署的模型。
