---
title: "Perkakasan GPU dan penyajian BroadNet, menurut BroadNet"
description: "Apa kata BroadNet tentang perkakasan di sebalik BroadNet Inference: tiga peringkat GPU dari B300 hingga peranti klien, daya pemprosesan GPU dan pengajaran ujian."
url: https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/) (dikemas kini 2026-11-16).

# Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan 2026-11-15 · Dikemas kini 2026-11-16

BroadNet menyatakan ia menjalankan satu tindanan penyajian pada tiga peringkat perkakasan: GPU pusat data dari A100 hingga B300, peringkat stesen kerja kad RTX dan DGX Spark yang membawa API awam yang sentiasa aktif, dan peranti di premis klien. Ia melaporkan kira-kira 270 model dijalankan merentas 13 keluarga GPU, NVIDIA dan AMD. Sesetengah model API disajikan oleh rakan kongsi inferens AS sebaliknya.

## Perkara utama

-   Tiga peringkat, satu tindanan: pusat data (B300, B200, H200, H100, A100), stesen kerja (RTX PRO 6000, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700) dan premis klien.
-   BroadNet menyatakan peringkat stesen kerja membawa API awam yang sentiasa aktif; GPU pusat data mengendalikan penyajian perdana, penalaan halus dan endpoint persendirian.
-   Dapatan yang diukurnya: NVIDIA CUDA menukar kira-kira dua kali ganda lebar jalur memori kepada token berbanding AMD ROCm pada model yang sama.
-   Penyajian sama penting dengan pemberat: BroadNet melaporkan pemberat Gemma 4 26B yang sama mendapat skor 0.13 lebih rendah di penyedia berhos berbanding apa yang disebutnya sebagai penyajiannya sendiri.
-   Bukan semua model API berjalan pada perkakasan yang BroadNet katakan miliknya sendiri: terma BroadNet menyatakan DeepSeek V4.1 Flash dihoskan rakan kongsi.

**Dalam halaman ini**

1.  Perkakasan apakah yang BroadNet katakan dijalankannya?
2.  Model API manakah yang berjalan padanya?
3.  Berapa pantas setiap GPU?
4.  Apakah yang BroadNet katakan perkakasannya telah ajar?
5.  Bagaimanakah model Gemma 4 disajikan?
6.  Apakah maksudnya untuk anda?

BroadNet menerangkan perkakasan inferensnya dengan perincian yang luar biasa. [Katalog model](https://www.broadnet.ai/inference/models)nya menyenaraikan GPU yang dikatakannya dijalankan, daya pemprosesan yang diukur bagi setiap kad, dan apa yang dipelajarinya daripada menjalankan model yang sama merentasnya. Halaman ini meringkaskan apa yang dinyatakan BroadNet, dalam kata-katanya sendiri di tempat yang penting. Kami belum memeriksa perkakasan itu, dan ukurannya ialah ukuran BroadNet sendiri, dari September 2026.

## Perkakasan apakah yang BroadNet katakan dijalankannya?

BroadNet menyatakan ia menjalankan “one fleet, three tiers, one stack” (Terjemahan: satu armada, tiga peringkat, satu tindanan): enjin, pengkuantuman dan get laluan yang sama dari pemecut pusat data hingga peranti di premis klien.

| Peringkat | GPU yang disenaraikan BroadNet | Kegunaan oleh BroadNet |
| --- | --- | --- |
| Pusat data | B300, B200, H200, H100, A100 80 GB | Penyajian perdana, pengkuantuman dan kalibrasi, penalaan halus, endpoint persendirian khusus, penempatan untuk kediaman data |
| Stesen kerja | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | API awam yang sentiasa aktif, penanda arasan merentas CUDA dan ROCm, pembangunan model |
| Premis klien | DGX Spark GB10, peranti AMD padat | Penggunaan di premis dan terasing udara pada tindanan yang serupa |

Secara keseluruhan BroadNet melaporkan kira-kira 270 model dijalankan, kira-kira 200 checkpoint dimuatkan, kira-kira 40 keluarga model, 12 atau lebih format pengkuantuman dan 13 keluarga GPU. Ia juga menyatakan “a single H100 serves the entire current public catalogue with headroom” (Terjemahan: satu H100 menyajikan seluruh katalog awam semasa dengan ruang lebihan).

## Model API manakah yang berjalan padanya?

Bukan semuanya. [Pernyataan privasi](https://www.broadnet.ai/inference-privacy) BroadNet menyatakan model sendiri dan model open-weight yang dihoskannya berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran, dan model yang disajikan rakan kongsi berjalan di bawah terma pengekalan data sifar dengan rakan kongsi inferens AS. [Terma Perkhidmatan](https://www.broadnet.ai/terms)nya menamakan [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) sebagai dihoskan rakan kongsi.

Apa yang dinyatakan halaman BroadNet sendiri bagi setiap model:

| Model pada API | Perkakasan yang dinamakan BroadNet |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/) | GPU kelas NVIDIA Blackwell dengan sandaran panas |
| [Transcribe Arabic](https://broadrouter.com/ms/models/cohere-transcribe-arabic/) dan [Transcribe](https://broadrouter.com/ms/models/cohere-transcribe/) | GPU NVIDIA yang dikendalikan BroadNet di Amerika Syarikat |
| DeepSeek V4.1 Flash | Dihoskan rakan kongsi (Terma Perkhidmatan §7.3) |
| GLM 5.3, Qwen3.8 27B | Tidak dinyatakan untuk trafik API |

Jika lokasi pemprosesan data anda penting, tanya BroadNet sebelum anda menghantarnya. Halaman inferensnya menyatakan pemprosesan serantau di MENA atau Eropah tersedia atas permintaan.

## Berapa pantas setiap GPU?

BroadNet menerbitkan daya pemprosesan output agregat setiap GPU untuk satu model, Qwen3-VL 30B A3B Instruct pada 32 permintaan serentak:

| GPU | Peringkat | Lebar jalur memori | Token/s agregat |
| --- | --- | --- | --- |
| B300 | Pusat data | 8,000 GB/s | 14,500 |
| B200 | Pusat data | 8,000 GB/s | 14,000 |
| H200 | Pusat data | 4,800 GB/s | 8,400 |
| H100 | Pusat data | 3,350 GB/s | 5,800 |
| A100 80 GB | Pusat data | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | Stesen kerja | 1,792 GB/s | 3,100 |
| RTX 3090 | Stesen kerja | 936 GB/s | 1,630 |
| DGX Spark GB10 | Stesen kerja | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | Stesen kerja | 640 GB/s | 1,087 |

BroadNet menyatakan angka pusat data ialah “planning numbers from our measured per-GPU curve” (Terjemahan: angka perancangan daripada lengkung setiap GPU yang kami ukur), bukan ukuran langsung pada setiap kad. Kebanyakan baris meningkat mengikut lebar jalur memori, had biasa untuk penyahkodan, tetapi bukan semuanya: DGX Spark GB10 (273 GB/s) hampir menyamai RTX 3090 (936 GB/s), dan Radeon AI PRO R9700 (640 GB/s) ketinggalan di belakang kedua-duanya.

## Apakah yang BroadNet katakan perkakasannya telah ajar?

Katalog menyenaraikan lapan dapatan, setiap satu ditanda “measured on our own hardware” (Terjemahan: diukur pada perkakasan kami sendiri). Yang paling penting untuk pembeli API:

-   **CUDA berbanding ROCm.** Menjalankan model yang sama pada NVIDIA CUDA dan AMD ROCm, CUDA menukar kira-kira dua kali ganda lebar jalur memori kepada token, jadi BroadNet menempatkan beban kerja dengan sewajarnya.
-   **Speculative decoding di bawah beban.** EAGLE3 mengurangkan 69% daya pemprosesan pada 32 permintaan serentak, jadi BroadNet mengekalkan pendraf multi-token-prediction. [Kajian penyajian Uno](https://broadrouter.com/ms/blog/uno-in-vllm-serving-study/)nya mengukur kesan yang sama untuk kaedah lain.
-   **Penyajian sama penting dengan pemberat.** Pemberat Gemma 4 26B yang sama yang disajikan oleh penyedia berhos mendapat skor purata 0.13 lebih rendah berbanding apa yang BroadNet sebut “our own serving” (Terjemahan: penyajian kami sendiri). Peraturan BroadNet: letakkan pencabar dan garis dasarnya pada penyajian yang sama sebelum membandingkannya.
-   **Model aktif yang lebih kecil boleh menang.** Mixture of experts 26B mengalahkan Gemma 4 31B padat pada 5 daripada 6 langkah saluran paip dengan kira-kira satu perlapan parameter aktif.
-   **Setara barisan hadapan pada satu saluran paip.** Dalam penilaian buta 240 jejak, Gemma 4 yang disajikan BroadNet menyamai Claude Sonnet pada lima daripada enam langkah yang diukur, dengan respons 1.2 hingga 6.5 kali lebih pantas setiap langkah.
-   **Kelajuan setiap permintaan.** Qwen3-VL 30B A3B berjalan pada 36.5 hingga 110 token sesaat setiap permintaan pada apa yang BroadNet gambarkan sebagai penyajiannya sendiri, mengikut ukuran BroadNet, berbanding 7 hingga 19 di empat penyedia OpenRouter yang diukur BroadNet.
-   **Seni bina mengatasi pilihan model.** Pada set sukar di mana dua model visi tempatan tidak sependapat, peningkatan kepada pengadil berhos menaikkan ketepatan daripada 1 daripada 12 kepada 11 daripada 12.

Perbandingan dengan Sonnet ialah dakwaan paling kuat, dan ia sempit: saluran paip chatbot satu syarikat, dinilai secara buta oleh tiga hakim, pada 240 perbualan produksi daripada 11 penyewa, menurut [halaman Gemma 4](https://www.broadnet.ai/inference/models/gemma-4-vl-26b) BroadNet. Ia tidak bermakna Gemma 4 menyamai Sonnet secara umum. BroadNet belum menerbitkan laporan penuh penilaian itu di halaman penyelidikannya.

## Bagaimanakah model Gemma 4 disajikan?

Gemma 4 VL 26B BroadNet ialah contoh paling jelas pilihan penyajiannya, menurut halaman modelnya:

-   **Pemberat:** Gemma 4 26B A4B daripada Google, dikuantumkan oleh BroadNet kepada AWQ 4-bit. BroadNet menguji NVFP4 dan menghentikannya selepas perbandingan bersemuka.
-   **Penyahkodan:** speculative decoding multi-token-prediction dengan dua token draf (k=2), dan [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) fp8.
-   **Templat:** templat chat yang ditala BroadNet untuk aliran kerja perbualannya.
-   **Daya tahan:** sandaran panas dengan failover automatik.
-   **Hasil:** kira-kira 136 token sesaat pada satu strim, dan 90.86 pada bateri kualiti dalaman BroadNet.

Lihat [pengkuantuman](https://broadrouter.com/ms/glossary/quantization/) dan [speculative decoding](https://broadrouter.com/ms/glossary/speculative-decoding/) untuk istilahnya.

## Apakah maksudnya untuk anda?

Bagi pengguna bayar ikut guna, pilihan penyajian BroadNet kelihatan pada kelajuan yang diterbitkan, kira-kira 100 token sesaat biasa pada model pelan, dan pada hadnya: 30 permintaan seminit dan 4 serentak setiap kunci. Terma BroadNet menyatakan layan diri tiada komitmen ketersediaan; tahap perkhidmatan hanya datang dengan perjanjian bertulis. [Perbandingan SLA penyedia lain](https://broadrouter.com/ms/blog/llm-api-sla-uptime-compared/).

Untuk keperluan lebih besar, BroadNet menawarkan endpoint persendirian pada GPU yang ditempah, dengan model, kunci, had dan wilayah anda, serta peranti di premis pada tindanan yang sama. Jika anda menimbang perkara itu berbanding menyewa GPU sendiri, [panduan kos hos sendiri berbanding API](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) kami menghuraikan pengiraannya, dan [model yang ditolak BroadNet](https://broadrouter.com/ms/blog/models-broadnet-ruled-out/) menunjukkan cara ia memilih apa yang disajikan.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/)

Daya pemprosesan (throughput), dalam penyajian LLM, ialah jumlah kerja yang disiapkan sistem bagi setiap unit masa merentas semua permintaan serentak, biasanya diukur sebagai token output sesaat atau permintaan sesaat. Ia berbeza daripada kelajuan setiap strim, iaitu sepantas mana satu permintaan menerima tokennya.

[Speculative decoding (penyahkodan spekulatif)](https://broadrouter.com/ms/glossary/speculative-decoding/)

Speculative decoding ialah teknik inferens di mana model draf yang kecil dan pantas mencadangkan beberapa token seterusnya, dan model sasaran yang besar mengesahkannya dalam satu forward pass, lalu mengekalkan token yang diterima. Ia mempercepat penjanaan tanpa mengubah taburan output.

[AWQ (activation-aware weight quantization)](https://broadrouter.com/ms/glossary/awq/)

AWQ (activation-aware weight quantization) ialah kaedah pasca latihan yang memampatkan pemberat LLM kepada ketepatan rendah, biasanya integer 4-bit. Ia menggunakan statistik pengaktifan daripada set kalibrasi kecil untuk mencari saluran pemberat paling penting dan menskalakannya supaya kurang ketepatan hilang. Ia tidak memerlukan backpropagation.

[Kuantisasi (quantization)](https://broadrouter.com/ms/glossary/quantization/)

Kuantisasi ialah proses menyimpan nombor rangkaian neural, terutamanya pemberatnya, dalam format berketepatan lebih rendah seperti 8-bit atau 4-bit dan bukan 16-bit, supaya model menggunakan kurang memori dan selalunya berjalan lebih pantas. Kaedah yang baik memastikan kehilangan ketepatan kekal kecil.

[Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/)

Token sesaat (TPS) ialah kadar model bahasa menjana token output, biasanya diukur bagi satu permintaan selepas token pertamanya tiba. Ia menentukan sepantas mana jawapan distrim sebaik bermula. Apabila dijumlahkan merentas semua permintaan serentak, ia menjadi daya pemprosesan sistem; masa menunggu sebelum token pertama diukur secara berasingan.

## Soalan lazim

### Adakah BroadNet menjalankan GPU sendiri?

BroadNet menyatakan ia mengendalikan armada GPU NVIDIA dan AMD sendiri. Pernyataan privasinya menyatakan model sendiri dan model open-weight yang dihoskannya berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran. Model yang disajikan rakan kongsi, seperti DeepSeek V4.1 Flash, berjalan dengan rakan kongsi inferens AS.

### GPU manakah yang menyajikan API awam?

Katalog BroadNet meletakkan "the always-on public API" (Terjemahan: API awam yang sentiasa aktif) pada peringkat stesen kerjanya (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Halaman Gemma 4nya menamakan GPU kelas NVIDIA Blackwell dengan sandaran panas.

### Adakah SLA masa operasi diterbitkan?

Tidak untuk layan diri. Terma Perkhidmatan BroadNet menyatakan layan diri tiada komitmen ketersediaan, dan tahap perkhidmatan hanya wujud dalam perjanjian bertulis berasingan, seperti untuk endpoint persendirian.

### Bolehkah saya mendapatkan GPU khusus?

Ya. BroadNet menawarkan endpoint persendirian pada GPU atau nod yang ditempah, dengan model pilihan anda, kunci dan had anda sendiri, dan wilayah yang anda perlukan. Harganya mengikut trafik anda, atas permintaan.

### Bolehkah BroadNet menjalankan model di premis saya?

BroadNet menyatakan peringkat premis kliennya menjalankan tindanan yang sama pada DGX Spark GB10 dan peranti AMD padat untuk penggunaan di premis dan terasing udara (air-gapped).

## Teruskan membaca

-   [Model yang dinilai dan ditolak oleh BroadNet, dan sebabnya](https://broadrouter.com/ms/blog/models-broadnet-ruled-out/)
-   [Uno dalam vLLM: apa yang diukur oleh kajian penyajian BroadNet](https://broadrouter.com/ms/blog/uno-in-vllm-serving-study/)
-   [Uno pada Gemma 4 26B: kajian mixture-of-experts BroadNet](https://broadrouter.com/ms/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Hos LLM sendiri vs API: kos sebenar dan titik pulang modal](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/)
-   [Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Jadikan semakan manusia sebahagian aliran kerja AI dokumen anda](https://broadrouter.com/ms/blog/document-review-queues/)
-   [Panduan: Cuba BroadNet Inference dalam pelayar, tanpa akaun](https://broadrouter.com/ms/guides/try-broadnet-inference-playground/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**Sumber**

-   [Katalog model BroadNet: kapasiti, daya pemprosesan setiap GPU dan dapatan perkakasan (diukur September 2026; disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/inference/models)
-   [Halaman model BroadNet Gemma 4 VL 26B: konfigurasi penyajian dan penilaian buta (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Pernyataan privasi BroadNet Inference: di mana pemprosesan berlaku (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/inference-privacy)
-   [Terma Perkhidmatan BroadNet, §7.3 dan §7.4: pengehosan rakan kongsi dan ketersediaan (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/terms)
-   [BroadNet Research: dapatan terbuka daripada makmalnya (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/research)
