---
title: "BroadNet の GPU ハードウェアとサービング（BroadNet の説明） | BroadRouter"
description: "BroadNet Inference を支えるハードウェアについて BroadNet が説明していること。B300 から顧客先アプライアンスまでの 3 層の GPU、GPU ごとのスループット、テストから得た教訓。"
url: https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/)（2026-11-16 更新）。

# BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）

BroadNet Inference チーム · 約 5 分で読めます · 公開日 2026-11-15 · 更新日 2026-11-16

BroadNet によると、1 つのサービングスタックを 3 層のハードウェアで動かしています。A100 から B300 までのデータセンター GPU、常時稼働の公開 API を担う RTX と DGX Spark のワークステーション層、顧客先のアプライアンスです。NVIDIA と AMD の 13 GPU ファミリーで約 270 モデルを動かしたと報告しています。一部の API モデルは米国の推論パートナーが提供します。

## 要点

-   3 層、1 スタック：データセンター（B300、B200、H200、H100、A100）、ワークステーション（RTX PRO 6000、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700）、顧客先。
-   BroadNet によると、常時稼働の公開 API はワークステーション層が担い、データセンター GPU はフラッグシップのサービング、ファインチューニング、専用エンドポイントを担います。
-   実測による知見：同じモデルで、NVIDIA CUDA はメモリ帯域を AMD ROCm の約 2 倍効率よくトークンに変えます。
-   サービングは重みと同じくらい重要です。BroadNet の報告では、同じ Gemma 4 26B の重みが、あるホスティングプロバイダーでは BroadNet が自社のサービングと呼ぶものより 0.13 低いスコアでした。
-   すべての API モデルが、BroadNet が自社のものとするハードウェアで動いているわけではありません。BroadNet の規約では DeepSeek V4.1 Flash はパートナーがホストしています。

**このページの内容**

1.  BroadNet はどんなハードウェアを動かしているとしていますか？
2.  どの API モデルがそこで動いていますか？
3.  GPU ごとの速度は？
4.  ハードウェアから何を学んだと BroadNet は言っていますか？
5.  Gemma 4 モデルはどうサービングされていますか？
6.  これは利用者にとって何を意味しますか？

BroadNet は推論ハードウェアについて、珍しいほど詳しく説明しています。[モデルカタログ](https://www.broadnet.ai/inference/models)には、BroadNet が使っているとする GPU、カードごとの実測スループット、同じモデルを複数のハードウェアで動かして学んだことが載っています。このページは BroadNet の説明をまとめたもので、重要な箇所は BroadNet の言葉をそのまま引用しています。私たちはハードウェアを確認しておらず、測定値は 2026 年 9 月の BroadNet 自身のものです。

## BroadNet はどんなハードウェアを動かしているとしていますか？

BroadNet は “one fleet, three tiers, one stack”（訳：1 つのフリート、3 つの層、1 つのスタック）で動いていると説明しています。データセンターのアクセラレーターから顧客先のアプライアンスまで、同じエンジン、量子化、ゲートウェイを使うということです。

| 層 | BroadNet が挙げる GPU | BroadNet の用途 |
| --- | --- | --- |
| データセンター | B300、B200、H200、H100、A100 80 GB | フラッグシップのサービング、量子化とキャリブレーション、ファインチューニング、専用エンドポイント、データレジデンシーに応じた配置 |
| ワークステーション | RTX PRO 6000 Blackwell、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700 | 常時稼働の公開 API、CUDA と ROCm にまたがるベンチマーク、モデル開発 |
| 顧客先 | DGX Spark GB10、小型の AMD アプライアンス | 同一スタックでのオンプレミスおよびエアギャップ環境への導入 |

BroadNet は合計で、約 270 モデルを動かし、約 200 のチェックポイントを読み込み、約 40 のモデルファミリー、12 以上の量子化形式、13 の GPU ファミリーを扱ったと報告しています。また、“a single H100 serves the entire current public catalogue with headroom”（訳：H100 1 枚で現在の公開カタログ全体を余裕を持ってサービングできる）としています。

## どの API モデルがそこで動いていますか？

すべてではありません。BroadNet の[プライバシーステートメント](https://www.broadnet.ai/inference-privacy)によると、自社モデルとホストしているオープンウェイトモデルは、米国内の BroadNet 所有またはリースのハードウェアで動き、パートナーのキャパシティはバックアップです。パートナーが提供するモデルは、ゼロデータ保持の条件で米国の推論パートナーが動かしています。[利用規約](https://www.broadnet.ai/terms)は [DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) をパートナーがホストするモデルとして挙げています。

BroadNet 自身のページがモデルごとに示している内容：

| API のモデル | BroadNet が示すハードウェア |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) | ホットバックアップ付きの NVIDIA Blackwell クラスの GPU |
| [Transcribe Arabic](https://broadrouter.com/ja/models/cohere-transcribe-arabic/) と [Transcribe](https://broadrouter.com/ja/models/cohere-transcribe/) | BroadNet が米国で運用する NVIDIA GPU |
| DeepSeek V4.1 Flash | パートナーがホスト（利用規約 §7.3） |
| GLM 5.3、Qwen3.8 27B | API トラフィックについての記載なし |

データがどこで処理されるかが重要なら、送る前に BroadNet に確認してください。推論のページによると、MENA（中東・北アフリカ）や欧州での地域内処理は要相談です。

## GPU ごとの速度は？

BroadNet は 1 つのモデル、Qwen3-VL 30B A3B Instruct を 32 同時リクエストで動かしたときの、GPU ごとの合計出力スループットを公開しています。

| GPU | 層 | メモリ帯域 | 合計トークン/秒 |
| --- | --- | --- | --- |
| B300 | データセンター | 8,000 GB/s | 14,500 |
| B200 | データセンター | 8,000 GB/s | 14,000 |
| H200 | データセンター | 4,800 GB/s | 8,400 |
| H100 | データセンター | 3,350 GB/s | 5,800 |
| A100 80 GB | データセンター | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | ワークステーション | 1,792 GB/s | 3,100 |
| RTX 3090 | ワークステーション | 936 GB/s | 1,630 |
| DGX Spark GB10 | ワークステーション | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | ワークステーション | 640 GB/s | 1,087 |

BroadNet は、データセンターの数値は “planning numbers from our measured per-GPU curve”（訳：実測した GPU ごとの曲線から求めた計画用の数値）であり、各カードでの直接の測定値ではないと注記しています。ほとんどの行はメモリ帯域（デコードの通常の制約要因）とともに上がりますが、すべてではありません。DGX Spark GB10（273 GB/s）は RTX 3090（936 GB/s）とほぼ同じで、Radeon AI PRO R9700（640 GB/s）はその両方を下回ります。

## ハードウェアから何を学んだと BroadNet は言っていますか？

カタログには 8 つの知見が載っており、それぞれに “measured on our own hardware”（訳：自社のハードウェアで測定）と記されています。API の購入者にとって特に重要なもの：

-   **CUDA と ROCm。** 同じモデルを NVIDIA CUDA と AMD ROCm で動かすと、CUDA はメモリ帯域を約 2 倍効率よくトークンに変えたため、BroadNet はそれに応じてワークロードを配置しています。
-   **負荷下での投機的デコーディング。** 32 同時リクエストで EAGLE3 はスループットの 69% を失ったため、BroadNet はマルチトークン予測（MTP）のドラフターを使い続けています。[Uno のサービング研究](https://broadrouter.com/ja/blog/uno-in-vllm-serving-study/)では、別の手法で同じ効果を測定しています。
-   **サービングは重みと同じくらい重要。** 同じ Gemma 4 26B の重みが、あるホスティングプロバイダーでは、BroadNet が “our own serving”（訳：自社のサービング）と呼ぶものより平均で 0.13 低いスコアでした。BroadNet のルールは、比較の前に挑戦者とベースラインを同じサービングにそろえることです。
-   **アクティブパラメーターが小さいモデルが勝つこともある。** 26B の Mixture of Experts は、アクティブパラメーターが約 8 分の 1 でありながら、パイプラインの 6 ステップ中 5 ステップで dense の Gemma 4 31B を上回りました。
-   **1 つのパイプラインでのフロンティアモデルとの同等性。** 240 トレースのブラインド評価で、BroadNet がサービングする Gemma 4 は、測定した 6 ステップ中 5 ステップで Claude Sonnet と同等で、ステップごとの応答は 1.2〜6.5 倍速でした。
-   **リクエストあたりの速度。** BroadNet の測定によると、Qwen3-VL 30B A3B は BroadNet が自社のサービングとするものでリクエストあたり毎秒 36.5〜110 トークンで、BroadNet が測定した OpenRouter の 4 プロバイダーでは 7〜19 でした。
-   **モデル選びよりアーキテクチャ。** 2 つのローカルビジョンモデルの判断が分かれた難しいセットで、ホスト型の判定モデルにエスカレーションすると、正解は 12 件中 1 件から 12 件中 11 件に上がりました。

Sonnet との比較は最も強い主張ですが、範囲は限定的です。BroadNet の [Gemma 4 のページ](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)によると、1 社のチャットボットのパイプラインで、11 テナントの本番会話 240 件を 3 人の評価者がブラインドで判定したものです。Gemma 4 が一般的に Sonnet と同等という意味ではありません。BroadNet はこの評価の完全なレポートを研究ページでまだ公開していません。

## Gemma 4 モデルはどうサービングされていますか？

モデルページによると、BroadNet の Gemma 4 VL 26B は、そのサービングの選択を最もよく示す例です。

-   **重み：** Google の Gemma 4 26B A4B を、BroadNet が 4 ビット AWQ に量子化。BroadNet は NVFP4 もテストしましたが、直接比較の後に廃止しました。
-   **デコーディング：** 2 トークンをドラフトする（k=2）マルチトークン予測の投機的デコーディングと、fp8 の [KV キャッシュ](https://broadrouter.com/ja/glossary/kv-cache/)。
-   **テンプレート：** BroadNet が会話型ワークフロー向けに調整したチャットテンプレート。
-   **耐障害性：** 自動フェイルオーバー付きのホットバックアップ。
-   **結果：** シングルストリームで毎秒約 136 トークン、BroadNet の社内品質テストで 90.86。

用語は[量子化](https://broadrouter.com/ja/glossary/quantization/)と[投機的デコーディング](https://broadrouter.com/ja/glossary/speculative-decoding/)を参照してください。

## これは利用者にとって何を意味しますか？

従量課金の利用者にとって、BroadNet のサービングの選択は、公開されている速度（プランのモデルで標準 毎秒約 100 トークン）と上限に表れます。キーごとに毎分 30 リクエスト、同時実行は 4 です。BroadNet の規約によると、セルフサービスには可用性の約束がなく、サービスレベルは書面による契約がある場合のみです。[他のプロバイダーの SLA との比較](https://broadrouter.com/ja/blog/llm-api-sla-uptime-compared/)。

より大きな需要には、BroadNet は予約した GPU 上の専用エンドポイント（モデル、キー、上限、リージョンを指定可能）と、同じスタックのオンプレミスアプライアンスを提供しています。自分で GPU を借りる案と比べているなら、[セルフホストと API のコスト比較ガイド](https://broadrouter.com/ja/blog/self-hosting-llm-vs-api-cost/)で計算を詳しく扱っています。[BroadNet が採用を見送ったモデル](https://broadrouter.com/ja/blog/models-broadnet-ruled-out/)では、何をサービングするかをどう選んだかを紹介しています。

関連する無料ツール（英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[混合エキスパート（MoE）](https://broadrouter.com/ja/glossary/mixture-of-experts/)

混合エキスパート（MoE）とは、層の中に多数のエキスパート（サブネットワーク）を持ち、学習済みのルーターが各トークンを少数のエキスパートだけに送る設計です。MoE の言語モデルは総パラメータ数が大きくても、トークンごとに使うのは一部だけです。

[従量課金（pay-as-you-go）](https://broadrouter.com/ja/glossary/pay-as-you-go/)

従量課金とは、使った分だけを支払う料金体系です。トークン、リクエスト、音声の分数などの単位で計測され、サブスクリプションや最低利用額はありません。多くの LLM API はこの方式で、前払いの残高か定期的な請求書から支払います。

[同時実行数（concurrency）](https://broadrouter.com/ja/glossary/concurrency/)

同時実行数（concurrency）とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。

[量子化（quantization）](https://broadrouter.com/ja/glossary/quantization/)

量子化とは、ニューラルネットワークの数値（主に重み）を 16 ビットではなく 8 ビットや 4 ビットなどの低い精度で保存する処理です。モデルのメモリ使用量が減り、多くの場合は速く動きます。優れた手法では精度の低下を小さく抑えられます。

[AWQ（Activation-aware Weight Quantization）](https://broadrouter.com/ja/glossary/awq/)

AWQ（Activation-aware Weight Quantization）とは、LLM の重みを低い精度、通常は 4 ビット整数に圧縮する学習後量子化の手法です。小さなキャリブレーションセットの活性化の統計から最も重要な重みのチャネルを見つけ、精度が落ちにくいようにスケーリングします。誤差逆伝播は不要です。

[FP8（8 ビット浮動小数点）](https://broadrouter.com/ja/glossary/fp8/)

FP8 とは、ディープラーニングで使われる 8 ビットの浮動小数点数形式です。指数 4 ビット・仮数 3 ビットの E4M3 と、指数 5 ビット・仮数 2 ビットの E5M2 の 2 種類があります。16 ビット形式に比べてメモリが半分になり、最近の GPU ではネイティブに動作します。

[KV キャッシュ（KV cache）](https://broadrouter.com/ja/glossary/kv-cache/)

KV キャッシュとは、Transformer 言語モデルが処理済みの各トークンの attention のキーと値を保存するメモリです。新しいトークンはそれを再利用し、系列全体を再計算せずに済みます。コンテキスト長とともに大きくなり、GPU が同時に処理できるリクエスト数を制約しがちです。

## よくある質問

### BroadNet は自社の GPU を運用していますか？

BroadNet によると、自社で NVIDIA と AMD の GPU フリートを運用しています。プライバシーステートメントでは、自社モデルとホストしているオープンウェイトモデルは米国内の BroadNet 所有またはリースのハードウェアで動き、パートナーのキャパシティはバックアップです。DeepSeek V4.1 Flash のようにパートナーが提供するモデルは、米国の推論パートナーで動きます。

### 公開 API はどの GPU で動いていますか？

BroadNet のカタログは “the always-on public API”（訳：常時稼働の公開 API）をワークステーション層（RTX PRO 6000 Blackwell、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700）に置いています。Gemma 4 のページでは、ホットバックアップ付きの NVIDIA Blackwell クラスの GPU と書かれています。

### 公開された稼働率の SLA はありますか？

セルフサービスにはありません。BroadNet の利用規約によると、セルフサービスには可用性の約束がなく、サービスレベルは専用エンドポイントなど、別途の書面による契約にのみ存在します。

### 専用の GPU を使えますか？

使えます。BroadNet は予約した GPU またはノード上の専用エンドポイントを提供しており、モデルの選択、独自のキーと上限、必要なリージョンを指定できます。料金はトラフィックに応じて要相談です。

### BroadNet は自社の施設内でモデルを動かせますか？

BroadNet によると、顧客先の層では DGX Spark GB10 と小型の AMD アプライアンスで同じスタックを動かし、オンプレミスやエアギャップ環境での導入に対応しています。

## 続けて読む

-   [BroadNet が評価して不採用にしたモデルとその理由](https://broadrouter.com/ja/blog/models-broadnet-ruled-out/)
-   [vLLM での Uno：BroadNet のサービング研究は何を測ったか](https://broadrouter.com/ja/blog/uno-in-vllm-serving-study/)
-   [Gemma 4 26B での Uno：BroadNet の Mixture of Experts 研究](https://broadrouter.com/ja/blog/uno-mixture-of-experts-gemma-4-study/)
-   [LLM のセルフホストと API：本当のコストと損益分岐点](https://broadrouter.com/ja/blog/self-hosting-llm-vs-api-cost/)
-   [LLM のレイテンシ：TTFT、トークン/秒、エンドツーエンドの違い](https://broadrouter.com/ja/blog/llm-latency-ttft-throughput/)
-   [LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ](https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/)
-   [文書 AI のワークフローに人手のレビューを組み込む](https://broadrouter.com/ja/blog/document-review-queues/)
-   [ガイド：BroadNet Inference をアカウントなしでブラウザから試す](https://broadrouter.com/ja/guides/try-broadnet-inference-playground/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**出典**

-   [BroadNet モデルカタログ：キャパシティ、GPU ごとのスループット、ハードウェアの知見（2026 年 9 月測定、2026-11-15 取得）（英語）](https://www.broadnet.ai/inference/models)
-   [BroadNet Gemma 4 VL 26B モデルページ：サービング構成とブラインド評価（2026-11-15 取得）（英語）](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [BroadNet Inference プライバシーステートメント：処理が行われる場所（2026-11-15 取得）（英語）](https://www.broadnet.ai/inference-privacy)
-   [BroadNet 利用規約 §7.3 と §7.4：パートナーによるホスティングと可用性（2026-11-15 取得）（英語）](https://www.broadnet.ai/terms)
-   [BroadNet Research：ラボの公開された知見（2026-11-15 取得）（英語）](https://www.broadnet.ai/research)
