BroadRouter

GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

По словам BroadNet, она использует один стек инференса на трёх уровнях оборудования: GPU для дата-центров от A100 до B300, уровень рабочих станций с картами RTX и DGX Spark, который обслуживает постоянно работающий публичный API, и устройства на площадках клиентов. Компания сообщает о примерно 270 запущенных моделях на 13 семействах GPU NVIDIA и AMD. Часть моделей API обслуживают партнёры по инференсу в США.

BroadNet описывает своё оборудование для инференса необычно подробно. Её каталог моделей перечисляет GPU, которые, по её словам, она использует, измеренную пропускную способность на карту и то, что компания узнала, запуская одни и те же модели на разных картах. Эта страница пересказывает слова BroadNet — там, где это важно, её собственными формулировками. Мы оборудование не осматривали, а измерения принадлежат самой BroadNet и сделаны в сентябре 2026 года.

Какое оборудование, по словам BroadNet, она использует?

По словам BroadNet, у неё «one fleet, three tiers, one stack» (перевод: «один парк, три уровня, один стек»): одни и те же движки, квантизации и шлюз — от ускорителей в дата-центре до устройств на площадках клиентов.

Уровень GPU, которые называет BroadNet Для чего BroadNet его использует
Дата-центр B300, B200, H200, H100, A100 80 GB Флагманский инференс, квантизация и калибровка, дообучение, выделенные приватные эндпоинты, размещение с учётом локализации данных
Рабочие станции RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 Постоянно работающий публичный API, бенчмарки на CUDA и ROCm, разработка моделей
Площадка клиента DGX Spark GB10, компактные устройства AMD Локальные и изолированные (air-gapped) развёртывания на идентичном стеке

Всего BroadNet сообщает о примерно 270 запущенных моделях, примерно 200 загруженных чекпойнтах, около 40 семействах моделей, 12 и более форматах квантизации и 13 семействах GPU. Компания также пишет: «a single H100 serves the entire current public catalogue with headroom» (перевод: «один H100 обслуживает весь текущий публичный каталог с запасом»).

Какие модели API на нём работают?

Не все. Заявление о конфиденциальности BroadNet говорит, что её собственные модели и размещаемые ею модели с открытыми весами работают на принадлежащем BroadNet или арендованном оборудовании в США с мощностями партнёров в качестве резерва, а модели, которые обслуживают партнёры, работают у партнёров по инференсу в США на условиях нулевого хранения данных. Её Условия обслуживания называют DeepSeek V4.1 Flash моделью, размещённой у партнёра.

Что собственные страницы BroadNet говорят по каждой модели:

Модель в API Оборудование, которое называет BroadNet
Gemma 4 VL 26B GPU класса NVIDIA Blackwell с горячим резервом
Transcribe Arabic и Transcribe GPU NVIDIA, которые BroadNet эксплуатирует в США
DeepSeek V4.1 Flash Размещена у партнёра (Условия обслуживания, §7.3)
GLM 5.3, Qwen3.8 27B Для трафика API не указано

Если вам важно, где обрабатываются данные, спросите BroadNet до того, как их отправлять. На её странице инференса сказано, что региональная обработка в MENA или Европе доступна по запросу.

Насколько быстр каждый GPU?

BroadNet публикует суммарную пропускную способность вывода на GPU для одной модели — Qwen3-VL 30B A3B Instruct при 32 одновременных запросах:

GPU Уровень Пропускная способность памяти Суммарно токенов/с
B300 Дата-центр 8000 ГБ/с 14 500
B200 Дата-центр 8000 ГБ/с 14 000
H200 Дата-центр 4800 ГБ/с 8400
H100 Дата-центр 3350 ГБ/с 5800
A100 80 GB Дата-центр 2039 ГБ/с 3500
RTX PRO 6000 Blackwell Рабочие станции 1792 ГБ/с 3100
RTX 3090 Рабочие станции 936 ГБ/с 1630
DGX Spark GB10 Рабочие станции 273 ГБ/с 1597
Radeon AI PRO R9700 Рабочие станции 640 ГБ/с 1087

BroadNet отмечает, что цифры для дата-центра — это «planning numbers from our measured per-GPU curve» (перевод: «плановые значения по нашей измеренной кривой на GPU»), а не прямые измерения на каждой карте. Большинство строк растут вместе с пропускной способностью памяти — обычным ограничителем при декодировании, но не все: DGX Spark GB10 (273 ГБ/с) почти догоняет RTX 3090 (936 ГБ/с), а Radeon AI PRO R9700 (640 ГБ/с) отстаёт от обеих.

Чему, по словам BroadNet, её научило оборудование?

Каталог перечисляет восемь выводов, каждый с пометкой «measured on our own hardware» (перевод: «измерено на нашем собственном оборудовании»). Самые важные для покупателей API:

  • CUDA или ROCm. На одних и тех же моделях NVIDIA CUDA превращала в токены примерно вдвое больше пропускной способности памяти, чем AMD ROCm, поэтому BroadNet распределяет нагрузку с учётом этого.
  • Спекулятивное декодирование под нагрузкой. EAGLE3 отнимал 69% пропускной способности при 32 одновременных запросах, поэтому BroadNet оставила драфтеры с предсказанием нескольких токенов (multi-token prediction). Её исследование инференса Uno измеряет тот же эффект для другого метода.
  • Способ обслуживания важен не меньше весов. Те же веса Gemma 4 26B у хостинг-провайдера в среднем набрали на 0.13 меньше, чем на том, что BroadNet называет «our own serving» (перевод: «наш собственный инференс»). Правило BroadNet: прежде чем сравнивать претендента и базовую модель, запускайте их на одинаковом инференсе.
  • Модель с меньшим числом активных параметров может выиграть. 26B mixture of experts обошла плотную Gemma 4 31B на 5 из 6 шагов конвейера, имея примерно в восемь раз меньше активных параметров.
  • Паритет с передовыми моделями на одном конвейере. В слепой оценке 240 трасс Gemma 4 на инференсе BroadNet сравнялась с Claude Sonnet на пяти из шести измеренных шагов, отвечая на каждом шаге в 1,2–6,5 раза быстрее.
  • Скорость на запрос. Qwen3-VL 30B A3B, по измерениям BroadNet, выдавала на инференсе, который BroadNet описывает как собственный, от 36,5 до 110 токенов в секунду на запрос против 7–19 у четырёх провайдеров OpenRouter, которые BroadNet замерила.
  • Архитектура важнее выбора модели. На сложном наборе, где две локальные vision-модели расходились во мнениях, передача решения размещённому у провайдера арбитру подняла точность с 1 из 12 до 11 из 12.

Сравнение с Sonnet — самое сильное утверждение, и оно узкое: один чат-бот-конвейер одной компании, слепая оценка тремя судьями, 240 рабочих диалогов от 11 клиентов, согласно странице Gemma 4 BroadNet. Это не значит, что Gemma 4 в целом не уступает Sonnet. Полного описания этой оценки на своей исследовательской странице BroadNet не публиковала.

Как обслуживается модель Gemma 4?

Gemma 4 VL 26B от BroadNet — самый наглядный пример её подхода к инференсу, согласно странице модели:

  • Веса: Gemma 4 26B A4B от Google, квантизованная BroadNet в 4-битный AWQ. BroadNet тестировала NVFP4 и отказалась от него после прямого сравнения.
  • Декодирование: спекулятивное декодирование с предсказанием нескольких токенов и двумя черновыми токенами (k=2), а также KV-кэш в fp8.
  • Шаблон: чат-шаблон, который BroadNet настроила под свой диалоговый сценарий.
  • Отказоустойчивость: горячий резерв с автоматическим переключением.
  • Результат: около 136 токенов в секунду в одном потоке и 90.86 во внутреннем наборе тестов качества BroadNet.

Термины объяснены в статьях о квантизации и спекулятивном декодировании.

Что это значит для вас?

Для пользователя с оплатой по факту выбор BroadNet в области инференса проявляется в опубликованной скорости — типично около 100 токенов в секунду на модели тарифа — и в лимитах: 30 запросов в минуту и 4 одновременных запросов на ключ. Условия BroadNet говорят, что у самообслуживания нет обязательств по доступности; уровни обслуживания появляются только с письменным соглашением. Как устроены SLA у других провайдеров.

Для более серьёзных задач BroadNet предлагает приватные эндпоинты на зарезервированных GPU — с вашей моделью, ключом, лимитами и регионом — и локальные устройства на том же стеке. Если вы сравниваете это с арендой собственных GPU, наше руководство о стоимости самостоятельного хостинга и API проводит расчёт, а статья о моделях, которые BroadNet отбраковала, показывает, как компания выбирала, что обслуживать.

Вопросы и ответы

У BroadNet есть собственные GPU?

BroadNet заявляет, что эксплуатирует собственный парк GPU NVIDIA и AMD. В её заявлении о конфиденциальности сказано, что её собственные модели и размещаемые ею модели с открытыми весами работают на принадлежащем BroadNet или арендованном оборудовании в США с мощностями партнёров в качестве резерва. Модели, обслуживаемые партнёрами, например DeepSeek V4.1 Flash, работают у партнёров по инференсу в США.

Какие GPU обслуживают публичный API?

Каталог BroadNet относит «the always-on public API» (перевод: «постоянно работающий публичный API») к уровню рабочих станций (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Страница Gemma 4 называет GPU класса NVIDIA Blackwell с горячим резервом.

Есть ли опубликованный SLA по доступности?

Для самообслуживания — нет. Условия обслуживания BroadNet говорят, что у самообслуживания нет обязательств по доступности, а уровни обслуживания существуют только в отдельном письменном соглашении, например для приватного эндпоинта.

Можно ли получить выделенный GPU?

Да. BroadNet предлагает приватные эндпоинты на зарезервированном GPU или узле с моделью на ваш выбор, собственным ключом и лимитами и нужным вам регионом. Цена рассчитывается под ваш трафик по запросу.

Может ли BroadNet запускать модели на моей площадке?

По словам BroadNet, её уровень для площадок клиентов запускает тот же стек на DGX Spark GB10 и компактных устройствах AMD для локальных и изолированных (air-gapped) развёртываний.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity