---
title: "GPU и инференс BroadNet: как их описывает компания | BroadRouter"
description: "Что BroadNet рассказывает о железе за BroadNet Inference: три уровня GPU от B300 до устройств у клиента, пропускная способность на GPU и уроки её тестов."
url: https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/) (обновлён 2026-11-16).

# GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet

Команда BroadNet Inference · 5 мин чтения · Опубликовано 2026-11-15 · Обновлено 2026-11-16

По словам BroadNet, она использует один стек инференса на трёх уровнях оборудования: GPU для дата-центров от A100 до B300, уровень рабочих станций с картами RTX и DGX Spark, который обслуживает постоянно работающий публичный API, и устройства на площадках клиентов. Компания сообщает о примерно 270 запущенных моделях на 13 семействах GPU NVIDIA и AMD. Часть моделей API обслуживают партнёры по инференсу в США.

## Главное

-   Три уровня, один стек: дата-центр (B300, B200, H200, H100, A100), рабочие станции (RTX PRO 6000, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700) и площадка клиента.
-   По словам BroadNet, постоянно работающий публичный API обслуживает уровень рабочих станций; GPU дата-центров отвечают за флагманский инференс, дообучение и приватные эндпоинты.
-   Её измеренный вывод: NVIDIA CUDA превращает в токены примерно вдвое больше пропускной способности памяти, чем AMD ROCm, на тех же моделях.
-   Способ обслуживания важен не меньше весов: по данным BroadNet, те же веса Gemma 4 26B у хостинг-провайдера набрали на 0.13 меньше, чем на инференсе, который она называет собственным.
-   Не каждая модель API работает на оборудовании, которое BroadNet называет своим: условия BroadNet указывают, что DeepSeek V4.1 Flash размещён у партнёра.

**На этой странице**

1.  Какое оборудование, по словам BroadNet, она использует?
2.  Какие модели API на нём работают?
3.  Насколько быстр каждый GPU?
4.  Чему, по словам BroadNet, её научило оборудование?
5.  Как обслуживается модель Gemma 4?
6.  Что это значит для вас?

BroadNet описывает своё оборудование для инференса необычно подробно. Её [каталог моделей](https://www.broadnet.ai/inference/models) перечисляет GPU, которые, по её словам, она использует, измеренную пропускную способность на карту и то, что компания узнала, запуская одни и те же модели на разных картах. Эта страница пересказывает слова BroadNet — там, где это важно, её собственными формулировками. Мы оборудование не осматривали, а измерения принадлежат самой BroadNet и сделаны в сентябре 2026 года.

## Какое оборудование, по словам BroadNet, она использует?

По словам BroadNet, у неё «one fleet, three tiers, one stack» (перевод: «один парк, три уровня, один стек»): одни и те же движки, квантизации и шлюз — от ускорителей в дата-центре до устройств на площадках клиентов.

| Уровень | GPU, которые называет BroadNet | Для чего BroadNet его использует |
| --- | --- | --- |
| Дата-центр | B300, B200, H200, H100, A100 80 GB | Флагманский инференс, квантизация и калибровка, дообучение, выделенные приватные эндпоинты, размещение с учётом локализации данных |
| Рабочие станции | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | Постоянно работающий публичный API, бенчмарки на CUDA и ROCm, разработка моделей |
| Площадка клиента | DGX Spark GB10, компактные устройства AMD | Локальные и изолированные (air-gapped) развёртывания на идентичном стеке |

Всего BroadNet сообщает о примерно 270 запущенных моделях, примерно 200 загруженных чекпойнтах, около 40 семействах моделей, 12 и более форматах квантизации и 13 семействах GPU. Компания также пишет: «a single H100 serves the entire current public catalogue with headroom» (перевод: «один H100 обслуживает весь текущий публичный каталог с запасом»).

## Какие модели API на нём работают?

Не все. [Заявление о конфиденциальности](https://www.broadnet.ai/inference-privacy) BroadNet говорит, что её собственные модели и размещаемые ею модели с открытыми весами работают на принадлежащем BroadNet или арендованном оборудовании в США с мощностями партнёров в качестве резерва, а модели, которые обслуживают партнёры, работают у партнёров по инференсу в США на условиях нулевого хранения данных. Её [Условия обслуживания](https://www.broadnet.ai/terms) называют [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/) моделью, размещённой у партнёра.

Что собственные страницы BroadNet говорят по каждой модели:

| Модель в API | Оборудование, которое называет BroadNet |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/) | GPU класса NVIDIA Blackwell с горячим резервом |
| [Transcribe Arabic](https://broadrouter.com/ru/models/cohere-transcribe-arabic/) и [Transcribe](https://broadrouter.com/ru/models/cohere-transcribe/) | GPU NVIDIA, которые BroadNet эксплуатирует в США |
| DeepSeek V4.1 Flash | Размещена у партнёра (Условия обслуживания, §7.3) |
| GLM 5.3, Qwen3.8 27B | Для трафика API не указано |

Если вам важно, где обрабатываются данные, спросите BroadNet до того, как их отправлять. На её странице инференса сказано, что региональная обработка в MENA или Европе доступна по запросу.

## Насколько быстр каждый GPU?

BroadNet публикует суммарную пропускную способность вывода на GPU для одной модели — Qwen3-VL 30B A3B Instruct при 32 одновременных запросах:

| GPU | Уровень | Пропускная способность памяти | Суммарно токенов/с |
| --- | --- | --- | --- |
| B300 | Дата-центр | 8000 ГБ/с | 14 500 |
| B200 | Дата-центр | 8000 ГБ/с | 14 000 |
| H200 | Дата-центр | 4800 ГБ/с | 8400 |
| H100 | Дата-центр | 3350 ГБ/с | 5800 |
| A100 80 GB | Дата-центр | 2039 ГБ/с | 3500 |
| RTX PRO 6000 Blackwell | Рабочие станции | 1792 ГБ/с | 3100 |
| RTX 3090 | Рабочие станции | 936 ГБ/с | 1630 |
| DGX Spark GB10 | Рабочие станции | 273 ГБ/с | 1597 |
| Radeon AI PRO R9700 | Рабочие станции | 640 ГБ/с | 1087 |

BroadNet отмечает, что цифры для дата-центра — это «planning numbers from our measured per-GPU curve» (перевод: «плановые значения по нашей измеренной кривой на GPU»), а не прямые измерения на каждой карте. Большинство строк растут вместе с пропускной способностью памяти — обычным ограничителем при декодировании, но не все: DGX Spark GB10 (273 ГБ/с) почти догоняет RTX 3090 (936 ГБ/с), а Radeon AI PRO R9700 (640 ГБ/с) отстаёт от обеих.

## Чему, по словам BroadNet, её научило оборудование?

Каталог перечисляет восемь выводов, каждый с пометкой «measured on our own hardware» (перевод: «измерено на нашем собственном оборудовании»). Самые важные для покупателей API:

-   **CUDA или ROCm.** На одних и тех же моделях NVIDIA CUDA превращала в токены примерно вдвое больше пропускной способности памяти, чем AMD ROCm, поэтому BroadNet распределяет нагрузку с учётом этого.
-   **Спекулятивное декодирование под нагрузкой.** EAGLE3 отнимал 69% пропускной способности при 32 одновременных запросах, поэтому BroadNet оставила драфтеры с предсказанием нескольких токенов (multi-token prediction). Её [исследование инференса Uno](https://broadrouter.com/ru/blog/uno-in-vllm-serving-study/) измеряет тот же эффект для другого метода.
-   **Способ обслуживания важен не меньше весов.** Те же веса Gemma 4 26B у хостинг-провайдера в среднем набрали на 0.13 меньше, чем на том, что BroadNet называет «our own serving» (перевод: «наш собственный инференс»). Правило BroadNet: прежде чем сравнивать претендента и базовую модель, запускайте их на одинаковом инференсе.
-   **Модель с меньшим числом активных параметров может выиграть.** 26B mixture of experts обошла плотную Gemma 4 31B на 5 из 6 шагов конвейера, имея примерно в восемь раз меньше активных параметров.
-   **Паритет с передовыми моделями на одном конвейере.** В слепой оценке 240 трасс Gemma 4 на инференсе BroadNet сравнялась с Claude Sonnet на пяти из шести измеренных шагов, отвечая на каждом шаге в 1,2–6,5 раза быстрее.
-   **Скорость на запрос.** Qwen3-VL 30B A3B, по измерениям BroadNet, выдавала на инференсе, который BroadNet описывает как собственный, от 36,5 до 110 токенов в секунду на запрос против 7–19 у четырёх провайдеров OpenRouter, которые BroadNet замерила.
-   **Архитектура важнее выбора модели.** На сложном наборе, где две локальные vision-модели расходились во мнениях, передача решения размещённому у провайдера арбитру подняла точность с 1 из 12 до 11 из 12.

Сравнение с Sonnet — самое сильное утверждение, и оно узкое: один чат-бот-конвейер одной компании, слепая оценка тремя судьями, 240 рабочих диалогов от 11 клиентов, согласно [странице Gemma 4](https://www.broadnet.ai/inference/models/gemma-4-vl-26b) BroadNet. Это не значит, что Gemma 4 в целом не уступает Sonnet. Полного описания этой оценки на своей исследовательской странице BroadNet не публиковала.

## Как обслуживается модель Gemma 4?

Gemma 4 VL 26B от BroadNet — самый наглядный пример её подхода к инференсу, согласно странице модели:

-   **Веса:** Gemma 4 26B A4B от Google, квантизованная BroadNet в 4-битный AWQ. BroadNet тестировала NVFP4 и отказалась от него после прямого сравнения.
-   **Декодирование:** спекулятивное декодирование с предсказанием нескольких токенов и двумя черновыми токенами (k=2), а также [KV-кэш](https://broadrouter.com/ru/glossary/kv-cache/) в fp8.
-   **Шаблон:** чат-шаблон, который BroadNet настроила под свой диалоговый сценарий.
-   **Отказоустойчивость:** горячий резерв с автоматическим переключением.
-   **Результат:** около 136 токенов в секунду в одном потоке и 90.86 во внутреннем наборе тестов качества BroadNet.

Термины объяснены в статьях о [квантизации](https://broadrouter.com/ru/glossary/quantization/) и [спекулятивном декодировании](https://broadrouter.com/ru/glossary/speculative-decoding/).

## Что это значит для вас?

Для пользователя с оплатой по факту выбор BroadNet в области инференса проявляется в опубликованной скорости — типично около 100 токенов в секунду на модели тарифа — и в лимитах: 30 запросов в минуту и 4 одновременных запросов на ключ. Условия BroadNet говорят, что у самообслуживания нет обязательств по доступности; уровни обслуживания появляются только с письменным соглашением. [Как устроены SLA у других провайдеров](https://broadrouter.com/ru/blog/llm-api-sla-uptime-compared/).

Для более серьёзных задач BroadNet предлагает приватные эндпоинты на зарезервированных GPU — с вашей моделью, ключом, лимитами и регионом — и локальные устройства на том же стеке. Если вы сравниваете это с арендой собственных GPU, наше [руководство о стоимости самостоятельного хостинга и API](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/) проводит расчёт, а статья о [моделях, которые BroadNet отбраковала](https://broadrouter.com/ru/blog/models-broadnet-ruled-out/), показывает, как компания выбирала, что обслуживать.

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Prefill и decode (префилл и декодирование)](https://broadrouter.com/ru/glossary/prefill-and-decode/)

Prefill и decode — это две фазы инференса LLM. На этапе prefill модель параллельно обрабатывает весь промпт и заполняет KV-кэш; на этапе decode она генерирует ответ по одному токену, повторно используя этот кэш. Prefill в основном определяет время до первого токена, decode — скорость вывода.

[Квантизация (quantization)](https://broadrouter.com/ru/glossary/quantization/)

Квантизация — это хранение чисел нейросети, в первую очередь её весов, в формате пониженной точности, например 8- или 4-битном вместо 16-битного, чтобы модель занимала меньше памяти и часто работала быстрее. Хорошие методы сохраняют потерю точности небольшой.

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Спекулятивное декодирование (speculative decoding)](https://broadrouter.com/ru/glossary/speculative-decoding/)

Спекулятивное декодирование — это техника инференса, при которой небольшая быстрая черновая модель предлагает несколько следующих токенов, а большая целевая модель проверяет их за один прямой проход и оставляет принятые. Генерация ускоряется, а распределение выходных токенов не меняется.

[Токены в секунду (tokens per second, TPS)](https://broadrouter.com/ru/glossary/tokens-per-second/)

Токены в секунду (TPS) — это скорость, с которой языковая модель генерирует выходные токены; обычно её измеряют для одного запроса после прихода первого токена. Она определяет, как быстро стримится начавшийся ответ. В сумме по всем параллельным запросам это пропускная способность системы; ожидание первого токена измеряют отдельно.

[Дообучение (fine-tuning)](https://broadrouter.com/ru/glossary/fine-tuning/)

Дообучение (fine-tuning) — это продолжение обучения предобученной языковой модели на меньшем наборе данных под конкретную задачу, например на примерах диалогов. Веса модели меняются, и она надёжнее выполняет эту задачу или держит стиль без длинных инструкций и примеров в каждом промпте.

## Вопросы и ответы

### У BroadNet есть собственные GPU?

BroadNet заявляет, что эксплуатирует собственный парк GPU NVIDIA и AMD. В её заявлении о конфиденциальности сказано, что её собственные модели и размещаемые ею модели с открытыми весами работают на принадлежащем BroadNet или арендованном оборудовании в США с мощностями партнёров в качестве резерва. Модели, обслуживаемые партнёрами, например DeepSeek V4.1 Flash, работают у партнёров по инференсу в США.

### Какие GPU обслуживают публичный API?

Каталог BroadNet относит «the always-on public API» (перевод: «постоянно работающий публичный API») к уровню рабочих станций (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Страница Gemma 4 называет GPU класса NVIDIA Blackwell с горячим резервом.

### Есть ли опубликованный SLA по доступности?

Для самообслуживания — нет. Условия обслуживания BroadNet говорят, что у самообслуживания нет обязательств по доступности, а уровни обслуживания существуют только в отдельном письменном соглашении, например для приватного эндпоинта.

### Можно ли получить выделенный GPU?

Да. BroadNet предлагает приватные эндпоинты на зарезервированном GPU или узле с моделью на ваш выбор, собственным ключом и лимитами и нужным вам регионом. Цена рассчитывается под ваш трафик по запросу.

### Может ли BroadNet запускать модели на моей площадке?

По словам BroadNet, её уровень для площадок клиентов запускает тот же стек на DGX Spark GB10 и компактных устройствах AMD для локальных и изолированных (air-gapped) развёртываний.

## Читайте также

-   [Какие модели BroadNet протестировала и отбраковала и почему](https://broadrouter.com/ru/blog/models-broadnet-ruled-out/)
-   [Uno в vLLM: что измерило исследование инференса BroadNet](https://broadrouter.com/ru/blog/uno-in-vllm-serving-study/)
-   [Uno на Gemma 4 26B: исследование BroadNet по mixture-of-experts](https://broadrouter.com/ru/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Своя LLM на GPU или API: реальная стоимость и точка окупаемости](https://broadrouter.com/ru/blog/self-hosting-llm-vs-api-cost/)
-   [Задержка LLM: TTFT, токены в секунду и полное время ответа](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Ручная проверка в распознавании документов с помощью ИИ](https://broadrouter.com/ru/blog/document-review-queues/)
-   [Руководство: BroadNet Inference в браузере: без регистрации](https://broadrouter.com/ru/guides/try-broadnet-inference-playground/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**Источники**

-   [Каталог моделей BroadNet: мощности, пропускная способность на GPU и выводы по оборудованию (измерено в сентябре 2026; дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/inference/models)
-   [Страница модели Gemma 4 VL 26B от BroadNet: конфигурация инференса и слепая оценка (дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Заявление о конфиденциальности BroadNet Inference: где происходит обработка (дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/inference-privacy)
-   [Условия обслуживания BroadNet, §7.3 и §7.4: размещение у партнёров и доступность (дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/terms)
-   [BroadNet Research: открытые результаты её лаборатории (дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/research)
