BroadRouter

BroadNet の GPU ハードウェアとサービング方式(BroadNet の説明による)

BroadNet Inference チーム · 約 5 分で読めます · 公開日 · 更新日

BroadNet によると、1 つのサービングスタックを 3 層のハードウェアで動かしています。A100 から B300 までのデータセンター GPU、常時稼働の公開 API を担う RTX と DGX Spark のワークステーション層、顧客先のアプライアンスです。NVIDIA と AMD の 13 GPU ファミリーで約 270 モデルを動かしたと報告しています。一部の API モデルは米国の推論パートナーが提供します。

BroadNet は推論ハードウェアについて、珍しいほど詳しく説明しています。モデルカタログには、BroadNet が使っているとする GPU、カードごとの実測スループット、同じモデルを複数のハードウェアで動かして学んだことが載っています。このページは BroadNet の説明をまとめたもので、重要な箇所は BroadNet の言葉をそのまま引用しています。私たちはハードウェアを確認しておらず、測定値は 2026 年 9 月の BroadNet 自身のものです。

BroadNet はどんなハードウェアを動かしているとしていますか?

BroadNet は “one fleet, three tiers, one stack”(訳:1 つのフリート、3 つの層、1 つのスタック)で動いていると説明しています。データセンターのアクセラレーターから顧客先のアプライアンスまで、同じエンジン、量子化、ゲートウェイを使うということです。

層 BroadNet が挙げる GPU BroadNet の用途
データセンター B300、B200、H200、H100、A100 80 GB フラッグシップのサービング、量子化とキャリブレーション、ファインチューニング、専用エンドポイント、データレジデンシーに応じた配置
ワークステーション RTX PRO 6000 Blackwell、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700 常時稼働の公開 API、CUDA と ROCm にまたがるベンチマーク、モデル開発
顧客先 DGX Spark GB10、小型の AMD アプライアンス 同一スタックでのオンプレミスおよびエアギャップ環境への導入

BroadNet は合計で、約 270 モデルを動かし、約 200 のチェックポイントを読み込み、約 40 のモデルファミリー、12 以上の量子化形式、13 の GPU ファミリーを扱ったと報告しています。また、“a single H100 serves the entire current public catalogue with headroom”(訳:H100 1 枚で現在の公開カタログ全体を余裕を持ってサービングできる)としています。

どの API モデルがそこで動いていますか?

すべてではありません。BroadNet のプライバシーステートメントによると、自社モデルとホストしているオープンウェイトモデルは、米国内の BroadNet 所有またはリースのハードウェアで動き、パートナーのキャパシティはバックアップです。パートナーが提供するモデルは、ゼロデータ保持の条件で米国の推論パートナーが動かしています。利用規約は DeepSeek V4.1 Flash をパートナーがホストするモデルとして挙げています。

BroadNet 自身のページがモデルごとに示している内容:

API のモデル BroadNet が示すハードウェア
Gemma 4 VL 26B ホットバックアップ付きの NVIDIA Blackwell クラスの GPU
Transcribe Arabic と Transcribe BroadNet が米国で運用する NVIDIA GPU
DeepSeek V4.1 Flash パートナーがホスト(利用規約 §7.3)
GLM 5.3、Qwen3.8 27B API トラフィックについての記載なし

データがどこで処理されるかが重要なら、送る前に BroadNet に確認してください。推論のページによると、MENA(中東・北アフリカ)や欧州での地域内処理は要相談です。

GPU ごとの速度は?

BroadNet は 1 つのモデル、Qwen3-VL 30B A3B Instruct を 32 同時リクエストで動かしたときの、GPU ごとの合計出力スループットを公開しています。

GPU 層 メモリ帯域 合計トークン/秒
B300 データセンター 8,000 GB/s 14,500
B200 データセンター 8,000 GB/s 14,000
H200 データセンター 4,800 GB/s 8,400
H100 データセンター 3,350 GB/s 5,800
A100 80 GB データセンター 2,039 GB/s 3,500
RTX PRO 6000 Blackwell ワークステーション 1,792 GB/s 3,100
RTX 3090 ワークステーション 936 GB/s 1,630
DGX Spark GB10 ワークステーション 273 GB/s 1,597
Radeon AI PRO R9700 ワークステーション 640 GB/s 1,087

BroadNet は、データセンターの数値は “planning numbers from our measured per-GPU curve”(訳:実測した GPU ごとの曲線から求めた計画用の数値)であり、各カードでの直接の測定値ではないと注記しています。ほとんどの行はメモリ帯域(デコードの通常の制約要因)とともに上がりますが、すべてではありません。DGX Spark GB10(273 GB/s)は RTX 3090(936 GB/s)とほぼ同じで、Radeon AI PRO R9700(640 GB/s)はその両方を下回ります。

ハードウェアから何を学んだと BroadNet は言っていますか?

カタログには 8 つの知見が載っており、それぞれに “measured on our own hardware”(訳:自社のハードウェアで測定)と記されています。API の購入者にとって特に重要なもの:

  • CUDA と ROCm。 同じモデルを NVIDIA CUDA と AMD ROCm で動かすと、CUDA はメモリ帯域を約 2 倍効率よくトークンに変えたため、BroadNet はそれに応じてワークロードを配置しています。
  • 負荷下での投機的デコーディング。 32 同時リクエストで EAGLE3 はスループットの 69% を失ったため、BroadNet はマルチトークン予測(MTP)のドラフターを使い続けています。Uno のサービング研究では、別の手法で同じ効果を測定しています。
  • サービングは重みと同じくらい重要。 同じ Gemma 4 26B の重みが、あるホスティングプロバイダーでは、BroadNet が “our own serving”(訳:自社のサービング)と呼ぶものより平均で 0.13 低いスコアでした。BroadNet のルールは、比較の前に挑戦者とベースラインを同じサービングにそろえることです。
  • アクティブパラメーターが小さいモデルが勝つこともある。 26B の Mixture of Experts は、アクティブパラメーターが約 8 分の 1 でありながら、パイプラインの 6 ステップ中 5 ステップで dense の Gemma 4 31B を上回りました。
  • 1 つのパイプラインでのフロンティアモデルとの同等性。 240 トレースのブラインド評価で、BroadNet がサービングする Gemma 4 は、測定した 6 ステップ中 5 ステップで Claude Sonnet と同等で、ステップごとの応答は 1.2〜6.5 倍速でした。
  • リクエストあたりの速度。 BroadNet の測定によると、Qwen3-VL 30B A3B は BroadNet が自社のサービングとするものでリクエストあたり毎秒 36.5〜110 トークンで、BroadNet が測定した OpenRouter の 4 プロバイダーでは 7〜19 でした。
  • モデル選びよりアーキテクチャ。 2 つのローカルビジョンモデルの判断が分かれた難しいセットで、ホスト型の判定モデルにエスカレーションすると、正解は 12 件中 1 件から 12 件中 11 件に上がりました。

Sonnet との比較は最も強い主張ですが、範囲は限定的です。BroadNet の Gemma 4 のページによると、1 社のチャットボットのパイプラインで、11 テナントの本番会話 240 件を 3 人の評価者がブラインドで判定したものです。Gemma 4 が一般的に Sonnet と同等という意味ではありません。BroadNet はこの評価の完全なレポートを研究ページでまだ公開していません。

Gemma 4 モデルはどうサービングされていますか?

モデルページによると、BroadNet の Gemma 4 VL 26B は、そのサービングの選択を最もよく示す例です。

  • 重み: Google の Gemma 4 26B A4B を、BroadNet が 4 ビット AWQ に量子化。BroadNet は NVFP4 もテストしましたが、直接比較の後に廃止しました。
  • デコーディング: 2 トークンをドラフトする(k=2)マルチトークン予測の投機的デコーディングと、fp8 の KV キャッシュ。
  • テンプレート: BroadNet が会話型ワークフロー向けに調整したチャットテンプレート。
  • 耐障害性: 自動フェイルオーバー付きのホットバックアップ。
  • 結果: シングルストリームで毎秒約 136 トークン、BroadNet の社内品質テストで 90.86。

用語は量子化と投機的デコーディングを参照してください。

これは利用者にとって何を意味しますか?

従量課金の利用者にとって、BroadNet のサービングの選択は、公開されている速度(プランのモデルで標準 毎秒約 100 トークン)と上限に表れます。キーごとに毎分 30 リクエスト、同時実行は 4 です。BroadNet の規約によると、セルフサービスには可用性の約束がなく、サービスレベルは書面による契約がある場合のみです。他のプロバイダーの SLA との比較。

より大きな需要には、BroadNet は予約した GPU 上の専用エンドポイント(モデル、キー、上限、リージョンを指定可能)と、同じスタックのオンプレミスアプライアンスを提供しています。自分で GPU を借りる案と比べているなら、セルフホストと API のコスト比較ガイドで計算を詳しく扱っています。BroadNet が採用を見送ったモデルでは、何をサービングするかをどう選んだかを紹介しています。

よくある質問

BroadNet は自社の GPU を運用していますか?

BroadNet によると、自社で NVIDIA と AMD の GPU フリートを運用しています。プライバシーステートメントでは、自社モデルとホストしているオープンウェイトモデルは米国内の BroadNet 所有またはリースのハードウェアで動き、パートナーのキャパシティはバックアップです。DeepSeek V4.1 Flash のようにパートナーが提供するモデルは、米国の推論パートナーで動きます。

公開 API はどの GPU で動いていますか?

BroadNet のカタログは “the always-on public API”(訳:常時稼働の公開 API)をワークステーション層(RTX PRO 6000 Blackwell、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700)に置いています。Gemma 4 のページでは、ホットバックアップ付きの NVIDIA Blackwell クラスの GPU と書かれています。

公開された稼働率の SLA はありますか?

セルフサービスにはありません。BroadNet の利用規約によると、セルフサービスには可用性の約束がなく、サービスレベルは専用エンドポイントなど、別途の書面による契約にのみ存在します。

専用の GPU を使えますか?

使えます。BroadNet は予約した GPU またはノード上の専用エンドポイントを提供しており、モデルの選択、独自のキーと上限、必要なリージョンを指定できます。料金はトラフィックに応じて要相談です。

BroadNet は自社の施設内でモデルを動かせますか?

BroadNet によると、顧客先の層では DGX Spark GB10 と小型の AMD アプライアンスで同じスタックを動かし、オンプレミスやエアギャップ環境での導入に対応しています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く