Hindi pangkaraniwan ang detalye ng paglalarawan ng BroadNet sa inference hardware nito. Inililista ng model catalogue nito ang mga GPU na sinasabi nitong pinapatakbo nito, ang nasukat na throughput kada card, at ang natutunan nito sa pagpapatakbo ng parehong mga model sa mga iyon. Binubuod ng page na ito ang sinasabi ng BroadNet, sa sarili nitong mga salita kung saan mahalaga. Hindi namin nasuri ang hardware, at sariling sukat ng BroadNet ang mga measurement, mula Setyembre 2026.
Anong hardware ang sinasabi ng BroadNet na pinapatakbo nito?
Sabi ng BroadNet, “one fleet, three tiers, one stack” (salin: iisang fleet, tatlong tier, iisang stack) ang pinapatakbo nito: parehong mga engine, quantisation at gateway mula sa mga data-center accelerator hanggang sa mga appliance sa site ng kliyente.
| Tier | Mga GPU na inililista ng BroadNet | Pinaggagamitan ng BroadNet |
|---|---|---|
| Data center | B300, B200, H200, H100, A100 80 GB | Flagship serving, quantisation at calibration, fine-tuning, dedicated na private endpoint, placement para sa data residency |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | Ang laging bukas na public API, benchmarking sa CUDA at ROCm, model development |
| Site ng kliyente | DGX Spark GB10, compact na AMD appliance | On-premise at air-gapped na deployment sa kaparehong stack |
Sa kabuuan, iniuulat ng BroadNet ang mga 270 model na napatakbo, mga 200 checkpoint na na-load, mga 40 model family, 12 o higit pang quantisation format at 13 GPU family. Sinasabi rin nito na “a single H100 serves the entire current public catalogue with headroom” (salin: kayang i-serve ng iisang H100 ang buong kasalukuyang public catalogue nang may sobra pang puwang).
Aling mga API model ang tumatakbo rito?
Hindi lahat. Ayon sa privacy statement ng BroadNet, tumatakbo ang sarili nitong mga model at ang mga open-weight model na hino-host nito sa hardware na pag-aari o inuupahan ng BroadNet sa United States, na may partner capacity bilang backup, at tumatakbo ang mga model na sine-serve ng partner sa ilalim ng zero-data-retention na terms sa mga US inference partner. Pinapangalanan ng Terms of Service nito ang DeepSeek V4.1 Flash bilang partner-hosted.
Ang sinasabi ng sariling mga page ng BroadNet kada model:
| Model sa API | Hardware na binabanggit ng BroadNet |
|---|---|
| Gemma 4 VL 26B | Mga NVIDIA Blackwell-class GPU na may hot backup |
| Transcribe Arabic at Transcribe | Mga NVIDIA GPU na pinapatakbo ng BroadNet sa United States |
| DeepSeek V4.1 Flash | Partner-hosted (Terms of Service §7.3) |
| GLM 5.3, Qwen3.8 27B | Hindi sinabi para sa API traffic |
Kung mahalaga sa iyo kung saan pinoproseso ang data mo, tanungin muna ang BroadNet bago ito ipadala. Sabi ng inference page nito, available kapag hiniling ang regional processing sa MENA o Europe.
Gaano kabilis ang bawat GPU?
Naglalathala ang BroadNet ng aggregate output throughput kada GPU para sa isang model, Qwen3-VL 30B A3B Instruct sa 32 sabay-sabay na request:
| GPU | Tier | Memory bandwidth | Aggregate token/s |
|---|---|---|---|
| B300 | Data center | 8,000 GB/s | 14,500 |
| B200 | Data center | 8,000 GB/s | 14,000 |
| H200 | Data center | 4,800 GB/s | 8,400 |
| H100 | Data center | 3,350 GB/s | 5,800 |
| A100 80 GB | Data center | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | Workstation | 1,792 GB/s | 3,100 |
| RTX 3090 | Workstation | 936 GB/s | 1,630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1,087 |
Paalala ng BroadNet na ang mga numero sa data center ay “planning numbers from our measured per-GPU curve” (salin: mga numerong pang-planning mula sa nasukat naming per-GPU curve), hindi direktang sukat sa bawat card. Tumataas ang karamihan ng row kasabay ng memory bandwidth, na karaniwang limit sa decoding, pero hindi lahat: halos pumapantay ang DGX Spark GB10 (273 GB/s) sa RTX 3090 (936 GB/s), at nasa likod ng dalawa ang Radeon AI PRO R9700 (640 GB/s).
Ano raw ang itinuro ng hardware sa BroadNet?
Inililista ng catalogue ang walong natuklasan, bawat isa may markang “measured on our own hardware” (salin: sinukat sa sarili naming hardware). Ito ang pinakamahalaga para sa mga bumibili ng API:
- CUDA vs ROCm. Sa pagpapatakbo ng parehong mga model sa NVIDIA CUDA at AMD ROCm, halos doble ang memory bandwidth na nagawang token ng CUDA, kaya inilalagay ng BroadNet ang mga workload ayon dito.
- Speculative decoding sa ilalim ng load. Nabawasan ng EAGLE3 ang throughput nang 69% sa 32 sabay-sabay na request, kaya pinanatili ng BroadNet ang mga multi-token-prediction drafter. Sinusukat ng Uno serving study nito ang parehong epekto para sa ibang paraan.
- Kasinghalaga ng weights ang serving. Ang parehong Gemma 4 26B weights na sine-serve ng isang hosted provider ay 0.13 na mas mababa ang score sa karaniwan kaysa sa tinatawag ng BroadNet na “our own serving” (salin: sarili naming serving). Patakaran ng BroadNet: panatilihin ang challenger at ang baseline nito sa parehong serving bago sila ihambing.
- Puwedeng manalo ang mas maliit na active model. Tinalo ng 26B mixture of experts ang dense na Gemma 4 31B sa 5 sa 6 na pipeline step gamit ang mga ikawalo lang ng active parameter.
- Kapantay ng frontier sa iisang pipeline. Sa blind evaluation ng 240 trace, tumapat ang sine-serve na Gemma 4 ng BroadNet sa Claude Sonnet sa lima sa anim na nasukat na step, na 1.2 hanggang 6.5 beses na mas mabilis ang response kada step.
- Bilis kada request. Tumakbo ang Qwen3-VL 30B A3B sa 36.5 hanggang 110 token kada segundo kada request sa inilalarawan ng BroadNet bilang sarili nitong serving, ayon sa sukat ng BroadNet, kumpara sa 7 hanggang 19 sa apat na OpenRouter provider na sinukat ng BroadNet.
- Mas mahalaga ang architecture kaysa sa pagpili ng model. Sa mahirap na set kung saan hindi nagkasundo ang dalawang lokal na vision model, ang pag-escalate sa hosted na adjudicator ay nagpaangat ng accuracy mula 1 sa 12 tungong 11 sa 12.
Ang paghahambing sa Sonnet ang pinakamalakas na claim, at makitid ito: chatbot pipeline ng iisang kompanya, hinusgahan nang blind ng tatlong judge, sa 240 production na usapan mula sa 11 tenant, ayon sa Gemma 4 page ng BroadNet. Hindi ibig sabihin nito na kapantay ng Gemma 4 ang Sonnet sa pangkalahatan. Hindi pa naglalathala ang BroadNet ng buong write-up ng evaluation na iyon sa research page nito.
Paano sine-serve ang Gemma 4 model?
Ang Gemma 4 VL 26B ng BroadNet ang pinakamalinaw na halimbawa ng mga pinili nito sa serving, ayon sa model page nito:
- Weights: Gemma 4 26B A4B ng Google, na-quantise ng BroadNet sa 4-bit AWQ. Tinest ng BroadNet ang NVFP4 at itinigil ito pagkatapos ng head-to-head.
- Decoding: multi-token-prediction speculative decoding na may dalawang drafted na token (k=2), at fp8 na KV cache.
- Template: chat template na inayos ng BroadNet para sa conversational na workflow nito.
- Resilience: hot backup na may awtomatikong failover.
- Resulta: mga 136 token kada segundo sa iisang stream, at 90.86 sa internal na quality battery ng BroadNet.
Tingnan ang quantisation at speculative decoding para sa mga termino.
Ano ang ibig sabihin nito para sa iyo?
Para sa pay-as-you-go na user, lumalabas ang mga pinili ng BroadNet sa serving bilang ang nakalathalang bilis, mga 100 token bawat segundo na karaniwan sa plan model, at sa mga limit: 30 request kada minuto at 4 na sabay-sabay kada key. Sabi ng terms ng BroadNet, walang availability commitment ang self-serve; may service level lang kapag may nakasulat na kasunduan. Paano ikinukumpara ang SLA ng ibang provider.
Para sa mas malalaking pangangailangan, nag-aalok ang BroadNet ng private endpoint sa naka-reserve na GPU, na may sarili mong model, key, limit at region, at on-premise na appliance sa parehong stack. Kung tinitimbang mo iyan laban sa pag-upa ng sarili mong GPU, dinadaanan ng gabay namin sa self-hosting vs API cost ang kuwenta, at ipinapakita ng mga model na tinanggihan ng BroadNet kung paano nito pinili ang ise-serve.
