BroadRouter

Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

BroadNet menyatakan ia menjalankan satu tindanan penyajian pada tiga peringkat perkakasan: GPU pusat data dari A100 hingga B300, peringkat stesen kerja kad RTX dan DGX Spark yang membawa API awam yang sentiasa aktif, dan peranti di premis klien. Ia melaporkan kira-kira 270 model dijalankan merentas 13 keluarga GPU, NVIDIA dan AMD. Sesetengah model API disajikan oleh rakan kongsi inferens AS sebaliknya.

BroadNet menerangkan perkakasan inferensnya dengan perincian yang luar biasa. Katalog modelnya menyenaraikan GPU yang dikatakannya dijalankan, daya pemprosesan yang diukur bagi setiap kad, dan apa yang dipelajarinya daripada menjalankan model yang sama merentasnya. Halaman ini meringkaskan apa yang dinyatakan BroadNet, dalam kata-katanya sendiri di tempat yang penting. Kami belum memeriksa perkakasan itu, dan ukurannya ialah ukuran BroadNet sendiri, dari September 2026.

Perkakasan apakah yang BroadNet katakan dijalankannya?

BroadNet menyatakan ia menjalankan “one fleet, three tiers, one stack” (Terjemahan: satu armada, tiga peringkat, satu tindanan): enjin, pengkuantuman dan get laluan yang sama dari pemecut pusat data hingga peranti di premis klien.

Peringkat GPU yang disenaraikan BroadNet Kegunaan oleh BroadNet
Pusat data B300, B200, H200, H100, A100 80 GB Penyajian perdana, pengkuantuman dan kalibrasi, penalaan halus, endpoint persendirian khusus, penempatan untuk kediaman data
Stesen kerja RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 API awam yang sentiasa aktif, penanda arasan merentas CUDA dan ROCm, pembangunan model
Premis klien DGX Spark GB10, peranti AMD padat Penggunaan di premis dan terasing udara pada tindanan yang serupa

Secara keseluruhan BroadNet melaporkan kira-kira 270 model dijalankan, kira-kira 200 checkpoint dimuatkan, kira-kira 40 keluarga model, 12 atau lebih format pengkuantuman dan 13 keluarga GPU. Ia juga menyatakan “a single H100 serves the entire current public catalogue with headroom” (Terjemahan: satu H100 menyajikan seluruh katalog awam semasa dengan ruang lebihan).

Model API manakah yang berjalan padanya?

Bukan semuanya. Pernyataan privasi BroadNet menyatakan model sendiri dan model open-weight yang dihoskannya berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran, dan model yang disajikan rakan kongsi berjalan di bawah terma pengekalan data sifar dengan rakan kongsi inferens AS. Terma Perkhidmatannya menamakan DeepSeek V4.1 Flash sebagai dihoskan rakan kongsi.

Apa yang dinyatakan halaman BroadNet sendiri bagi setiap model:

Model pada API Perkakasan yang dinamakan BroadNet
Gemma 4 VL 26B GPU kelas NVIDIA Blackwell dengan sandaran panas
Transcribe Arabic dan Transcribe GPU NVIDIA yang dikendalikan BroadNet di Amerika Syarikat
DeepSeek V4.1 Flash Dihoskan rakan kongsi (Terma Perkhidmatan §7.3)
GLM 5.3, Qwen3.8 27B Tidak dinyatakan untuk trafik API

Jika lokasi pemprosesan data anda penting, tanya BroadNet sebelum anda menghantarnya. Halaman inferensnya menyatakan pemprosesan serantau di MENA atau Eropah tersedia atas permintaan.

Berapa pantas setiap GPU?

BroadNet menerbitkan daya pemprosesan output agregat setiap GPU untuk satu model, Qwen3-VL 30B A3B Instruct pada 32 permintaan serentak:

GPU Peringkat Lebar jalur memori Token/s agregat
B300 Pusat data 8,000 GB/s 14,500
B200 Pusat data 8,000 GB/s 14,000
H200 Pusat data 4,800 GB/s 8,400
H100 Pusat data 3,350 GB/s 5,800
A100 80 GB Pusat data 2,039 GB/s 3,500
RTX PRO 6000 Blackwell Stesen kerja 1,792 GB/s 3,100
RTX 3090 Stesen kerja 936 GB/s 1,630
DGX Spark GB10 Stesen kerja 273 GB/s 1,597
Radeon AI PRO R9700 Stesen kerja 640 GB/s 1,087

BroadNet menyatakan angka pusat data ialah “planning numbers from our measured per-GPU curve” (Terjemahan: angka perancangan daripada lengkung setiap GPU yang kami ukur), bukan ukuran langsung pada setiap kad. Kebanyakan baris meningkat mengikut lebar jalur memori, had biasa untuk penyahkodan, tetapi bukan semuanya: DGX Spark GB10 (273 GB/s) hampir menyamai RTX 3090 (936 GB/s), dan Radeon AI PRO R9700 (640 GB/s) ketinggalan di belakang kedua-duanya.

Apakah yang BroadNet katakan perkakasannya telah ajar?

Katalog menyenaraikan lapan dapatan, setiap satu ditanda “measured on our own hardware” (Terjemahan: diukur pada perkakasan kami sendiri). Yang paling penting untuk pembeli API:

  • CUDA berbanding ROCm. Menjalankan model yang sama pada NVIDIA CUDA dan AMD ROCm, CUDA menukar kira-kira dua kali ganda lebar jalur memori kepada token, jadi BroadNet menempatkan beban kerja dengan sewajarnya.
  • Speculative decoding di bawah beban. EAGLE3 mengurangkan 69% daya pemprosesan pada 32 permintaan serentak, jadi BroadNet mengekalkan pendraf multi-token-prediction. Kajian penyajian Unonya mengukur kesan yang sama untuk kaedah lain.
  • Penyajian sama penting dengan pemberat. Pemberat Gemma 4 26B yang sama yang disajikan oleh penyedia berhos mendapat skor purata 0.13 lebih rendah berbanding apa yang BroadNet sebut “our own serving” (Terjemahan: penyajian kami sendiri). Peraturan BroadNet: letakkan pencabar dan garis dasarnya pada penyajian yang sama sebelum membandingkannya.
  • Model aktif yang lebih kecil boleh menang. Mixture of experts 26B mengalahkan Gemma 4 31B padat pada 5 daripada 6 langkah saluran paip dengan kira-kira satu perlapan parameter aktif.
  • Setara barisan hadapan pada satu saluran paip. Dalam penilaian buta 240 jejak, Gemma 4 yang disajikan BroadNet menyamai Claude Sonnet pada lima daripada enam langkah yang diukur, dengan respons 1.2 hingga 6.5 kali lebih pantas setiap langkah.
  • Kelajuan setiap permintaan. Qwen3-VL 30B A3B berjalan pada 36.5 hingga 110 token sesaat setiap permintaan pada apa yang BroadNet gambarkan sebagai penyajiannya sendiri, mengikut ukuran BroadNet, berbanding 7 hingga 19 di empat penyedia OpenRouter yang diukur BroadNet.
  • Seni bina mengatasi pilihan model. Pada set sukar di mana dua model visi tempatan tidak sependapat, peningkatan kepada pengadil berhos menaikkan ketepatan daripada 1 daripada 12 kepada 11 daripada 12.

Perbandingan dengan Sonnet ialah dakwaan paling kuat, dan ia sempit: saluran paip chatbot satu syarikat, dinilai secara buta oleh tiga hakim, pada 240 perbualan produksi daripada 11 penyewa, menurut halaman Gemma 4 BroadNet. Ia tidak bermakna Gemma 4 menyamai Sonnet secara umum. BroadNet belum menerbitkan laporan penuh penilaian itu di halaman penyelidikannya.

Bagaimanakah model Gemma 4 disajikan?

Gemma 4 VL 26B BroadNet ialah contoh paling jelas pilihan penyajiannya, menurut halaman modelnya:

  • Pemberat: Gemma 4 26B A4B daripada Google, dikuantumkan oleh BroadNet kepada AWQ 4-bit. BroadNet menguji NVFP4 dan menghentikannya selepas perbandingan bersemuka.
  • Penyahkodan: speculative decoding multi-token-prediction dengan dua token draf (k=2), dan KV cache fp8.
  • Templat: templat chat yang ditala BroadNet untuk aliran kerja perbualannya.
  • Daya tahan: sandaran panas dengan failover automatik.
  • Hasil: kira-kira 136 token sesaat pada satu strim, dan 90.86 pada bateri kualiti dalaman BroadNet.

Lihat pengkuantuman dan speculative decoding untuk istilahnya.

Apakah maksudnya untuk anda?

Bagi pengguna bayar ikut guna, pilihan penyajian BroadNet kelihatan pada kelajuan yang diterbitkan, kira-kira 100 token sesaat biasa pada model pelan, dan pada hadnya: 30 permintaan seminit dan 4 serentak setiap kunci. Terma BroadNet menyatakan layan diri tiada komitmen ketersediaan; tahap perkhidmatan hanya datang dengan perjanjian bertulis. Perbandingan SLA penyedia lain.

Untuk keperluan lebih besar, BroadNet menawarkan endpoint persendirian pada GPU yang ditempah, dengan model, kunci, had dan wilayah anda, serta peranti di premis pada tindanan yang sama. Jika anda menimbang perkara itu berbanding menyewa GPU sendiri, panduan kos hos sendiri berbanding API kami menghuraikan pengiraannya, dan model yang ditolak BroadNet menunjukkan cara ia memilih apa yang disajikan.

Soalan lazim

Adakah BroadNet menjalankan GPU sendiri?

BroadNet menyatakan ia mengendalikan armada GPU NVIDIA dan AMD sendiri. Pernyataan privasinya menyatakan model sendiri dan model open-weight yang dihoskannya berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran. Model yang disajikan rakan kongsi, seperti DeepSeek V4.1 Flash, berjalan dengan rakan kongsi inferens AS.

GPU manakah yang menyajikan API awam?

Katalog BroadNet meletakkan "the always-on public API" (Terjemahan: API awam yang sentiasa aktif) pada peringkat stesen kerjanya (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Halaman Gemma 4nya menamakan GPU kelas NVIDIA Blackwell dengan sandaran panas.

Adakah SLA masa operasi diterbitkan?

Tidak untuk layan diri. Terma Perkhidmatan BroadNet menyatakan layan diri tiada komitmen ketersediaan, dan tahap perkhidmatan hanya wujud dalam perjanjian bertulis berasingan, seperti untuk endpoint persendirian.

Bolehkah saya mendapatkan GPU khusus?

Ya. BroadNet menawarkan endpoint persendirian pada GPU atau nod yang ditempah, dengan model pilihan anda, kunci dan had anda sendiri, dan wilayah yang anda perlukan. Harganya mengikut trafik anda, atas permintaan.

Bolehkah BroadNet menjalankan model di premis saya?

BroadNet menyatakan peringkat premis kliennya menjalankan tindanan yang sama pada DGX Spark GB10 dan peranti AMD padat untuk penggunaan di premis dan terasing udara (air-gapped).

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity