BroadNet は推論ハードウェアについて、珍しいほど詳しく説明しています。モデルカタログには、BroadNet が使っているとする GPU、カードごとの実測スループット、同じモデルを複数のハードウェアで動かして学んだことが載っています。このページは BroadNet の説明をまとめたもので、重要な箇所は BroadNet の言葉をそのまま引用しています。私たちはハードウェアを確認しておらず、測定値は 2026 年 9 月の BroadNet 自身のものです。
BroadNet はどんなハードウェアを動かしているとしていますか?
BroadNet は “one fleet, three tiers, one stack”(訳:1 つのフリート、3 つの層、1 つのスタック)で動いていると説明しています。データセンターのアクセラレーターから顧客先のアプライアンスまで、同じエンジン、量子化、ゲートウェイを使うということです。
| 層 | BroadNet が挙げる GPU | BroadNet の用途 |
|---|---|---|
| データセンター | B300、B200、H200、H100、A100 80 GB | フラッグシップのサービング、量子化とキャリブレーション、ファインチューニング、専用エンドポイント、データレジデンシーに応じた配置 |
| ワークステーション | RTX PRO 6000 Blackwell、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700 | 常時稼働の公開 API、CUDA と ROCm にまたがるベンチマーク、モデル開発 |
| 顧客先 | DGX Spark GB10、小型の AMD アプライアンス | 同一スタックでのオンプレミスおよびエアギャップ環境への導入 |
BroadNet は合計で、約 270 モデルを動かし、約 200 のチェックポイントを読み込み、約 40 のモデルファミリー、12 以上の量子化形式、13 の GPU ファミリーを扱ったと報告しています。また、“a single H100 serves the entire current public catalogue with headroom”(訳:H100 1 枚で現在の公開カタログ全体を余裕を持ってサービングできる)としています。
どの API モデルがそこで動いていますか?
すべてではありません。BroadNet のプライバシーステートメントによると、自社モデルとホストしているオープンウェイトモデルは、米国内の BroadNet 所有またはリースのハードウェアで動き、パートナーのキャパシティはバックアップです。パートナーが提供するモデルは、ゼロデータ保持の条件で米国の推論パートナーが動かしています。利用規約は DeepSeek V4.1 Flash をパートナーがホストするモデルとして挙げています。
BroadNet 自身のページがモデルごとに示している内容:
| API のモデル | BroadNet が示すハードウェア |
|---|---|
| Gemma 4 VL 26B | ホットバックアップ付きの NVIDIA Blackwell クラスの GPU |
| Transcribe Arabic と Transcribe | BroadNet が米国で運用する NVIDIA GPU |
| DeepSeek V4.1 Flash | パートナーがホスト(利用規約 §7.3) |
| GLM 5.3、Qwen3.8 27B | API トラフィックについての記載なし |
データがどこで処理されるかが重要なら、送る前に BroadNet に確認してください。推論のページによると、MENA(中東・北アフリカ)や欧州での地域内処理は要相談です。
GPU ごとの速度は?
BroadNet は 1 つのモデル、Qwen3-VL 30B A3B Instruct を 32 同時リクエストで動かしたときの、GPU ごとの合計出力スループットを公開しています。
| GPU | 層 | メモリ帯域 | 合計トークン/秒 |
|---|---|---|---|
| B300 | データセンター | 8,000 GB/s | 14,500 |
| B200 | データセンター | 8,000 GB/s | 14,000 |
| H200 | データセンター | 4,800 GB/s | 8,400 |
| H100 | データセンター | 3,350 GB/s | 5,800 |
| A100 80 GB | データセンター | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | ワークステーション | 1,792 GB/s | 3,100 |
| RTX 3090 | ワークステーション | 936 GB/s | 1,630 |
| DGX Spark GB10 | ワークステーション | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | ワークステーション | 640 GB/s | 1,087 |
BroadNet は、データセンターの数値は “planning numbers from our measured per-GPU curve”(訳:実測した GPU ごとの曲線から求めた計画用の数値)であり、各カードでの直接の測定値ではないと注記しています。ほとんどの行はメモリ帯域(デコードの通常の制約要因)とともに上がりますが、すべてではありません。DGX Spark GB10(273 GB/s)は RTX 3090(936 GB/s)とほぼ同じで、Radeon AI PRO R9700(640 GB/s)はその両方を下回ります。
ハードウェアから何を学んだと BroadNet は言っていますか?
カタログには 8 つの知見が載っており、それぞれに “measured on our own hardware”(訳:自社のハードウェアで測定)と記されています。API の購入者にとって特に重要なもの:
- CUDA と ROCm。 同じモデルを NVIDIA CUDA と AMD ROCm で動かすと、CUDA はメモリ帯域を約 2 倍効率よくトークンに変えたため、BroadNet はそれに応じてワークロードを配置しています。
- 負荷下での投機的デコーディング。 32 同時リクエストで EAGLE3 はスループットの 69% を失ったため、BroadNet はマルチトークン予測(MTP)のドラフターを使い続けています。Uno のサービング研究では、別の手法で同じ効果を測定しています。
- サービングは重みと同じくらい重要。 同じ Gemma 4 26B の重みが、あるホスティングプロバイダーでは、BroadNet が “our own serving”(訳:自社のサービング)と呼ぶものより平均で 0.13 低いスコアでした。BroadNet のルールは、比較の前に挑戦者とベースラインを同じサービングにそろえることです。
- アクティブパラメーターが小さいモデルが勝つこともある。 26B の Mixture of Experts は、アクティブパラメーターが約 8 分の 1 でありながら、パイプラインの 6 ステップ中 5 ステップで dense の Gemma 4 31B を上回りました。
- 1 つのパイプラインでのフロンティアモデルとの同等性。 240 トレースのブラインド評価で、BroadNet がサービングする Gemma 4 は、測定した 6 ステップ中 5 ステップで Claude Sonnet と同等で、ステップごとの応答は 1.2〜6.5 倍速でした。
- リクエストあたりの速度。 BroadNet の測定によると、Qwen3-VL 30B A3B は BroadNet が自社のサービングとするものでリクエストあたり毎秒 36.5〜110 トークンで、BroadNet が測定した OpenRouter の 4 プロバイダーでは 7〜19 でした。
- モデル選びよりアーキテクチャ。 2 つのローカルビジョンモデルの判断が分かれた難しいセットで、ホスト型の判定モデルにエスカレーションすると、正解は 12 件中 1 件から 12 件中 11 件に上がりました。
Sonnet との比較は最も強い主張ですが、範囲は限定的です。BroadNet の Gemma 4 のページによると、1 社のチャットボットのパイプラインで、11 テナントの本番会話 240 件を 3 人の評価者がブラインドで判定したものです。Gemma 4 が一般的に Sonnet と同等という意味ではありません。BroadNet はこの評価の完全なレポートを研究ページでまだ公開していません。
Gemma 4 モデルはどうサービングされていますか?
モデルページによると、BroadNet の Gemma 4 VL 26B は、そのサービングの選択を最もよく示す例です。
- 重み: Google の Gemma 4 26B A4B を、BroadNet が 4 ビット AWQ に量子化。BroadNet は NVFP4 もテストしましたが、直接比較の後に廃止しました。
- デコーディング: 2 トークンをドラフトする(k=2)マルチトークン予測の投機的デコーディングと、fp8 の KV キャッシュ。
- テンプレート: BroadNet が会話型ワークフロー向けに調整したチャットテンプレート。
- 耐障害性: 自動フェイルオーバー付きのホットバックアップ。
- 結果: シングルストリームで毎秒約 136 トークン、BroadNet の社内品質テストで 90.86。
用語は量子化と投機的デコーディングを参照してください。
これは利用者にとって何を意味しますか?
従量課金の利用者にとって、BroadNet のサービングの選択は、公開されている速度(プランのモデルで標準 毎秒約 100 トークン)と上限に表れます。キーごとに毎分 30 リクエスト、同時実行は 4 です。BroadNet の規約によると、セルフサービスには可用性の約束がなく、サービスレベルは書面による契約がある場合のみです。他のプロバイダーの SLA との比較。
より大きな需要には、BroadNet は予約した GPU 上の専用エンドポイント(モデル、キー、上限、リージョンを指定可能)と、同じスタックのオンプレミスアプライアンスを提供しています。自分で GPU を借りる案と比べているなら、セルフホストと API のコスト比較ガイドで計算を詳しく扱っています。BroadNet が採用を見送ったモデルでは、何をサービングするかをどう選んだかを紹介しています。
