BroadRouter

Провайдер инференса (inference provider)

Обновлено

Провайдер инференса — это компания, которая запускает модели машинного обучения, часто LLM с открытыми весами, на собственных, взятых в лизинг или арендованных GPU и продаёт к ним доступ через API, обычно с оплатой за токен, запрос или единицу времени. Он отвечает за обслуживание запросов, масштабирование и оборудование.

Также называют: провайдер LLM API, хостинг LLM, хостинг моделей, инференс-провайдер, провайдер AI-инференса, inference provider, LLM inference provider, LLM API provider, model hosting provider, AI inference provider

Когда выходит модель с открытыми весами, кто-то всё равно должен её запускать. Провайдеры инференса — это компании, которые этим занимаются.

Как это работает

Провайдер загружает веса модели на GPU, запускает серверное ПО, которое объединяет запросы в батчи и управляет памятью, и ставит перед этим API. Большинство предоставляют OpenAI-совместимый API, поэтому провайдера меняют, поменяв базовый URL, ключ и ID модели.

Термин охватывает несколько бизнес-моделей:

  • Лаборатории, которые обслуживают собственные модели.
  • Независимые хостинги, которые обслуживают модели с открытыми весами от многих лабораторий.
  • Облака, которые сдают в аренду GPU или управляемые эндпоинты, иногда с оплатой за GPU-час.
  • Агрегаторы. Inference Providers от Hugging Face дают доступ к “hundreds of machine learning models, powered by world-class inference providers” (перевод: «сотням моделей машинного обучения на базе провайдеров инференса мирового уровня») через один токен. LLM-роутер работает так же.

Поскольку формат API общий, один и тот же код работает с любым из них. Меняются только три значения (в комментариях к коду: провайдер, его ключ, ID его модели):

import os
from openai import OpenAI

msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",          # the provider
    api_key=os.environ["BROADNET_API_KEY"],  # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs)  # its model ID

Различается и ценообразование: за токен, за минуту аудио, за час или фиксированная цена за сессию.

Почему это важно

Выбирая провайдера, вы в основном выбираете компромиссы, которых не видно по названию модели:

  • Обращение с данными. Хранение, логирование и использование для обучения различаются. Ищите письменную политику нулевого хранения данных.
  • Где всё работает. Регион и субподрядчики важны для соответствия требованиям.
  • Лимиты. Параллельность, лимиты запросов и длина контекста могут быть ниже максимума модели.
  • Настройки обслуживания. Точность вычислений и параметры сервера влияют на скорость, а иногда и на ответы.
  • Форма цены. Подходящая форма зависит от вашего трафика; см. сравнение цен провайдеров.
  • Уровень цен. Одна и та же открытая модель у одного провайдера может стоить в несколько раз дороже, чем у другого. См. одна модель, разные хостинги.

В BroadNet Inference

BroadNet Inference — провайдер инференса. В её заявлении о конфиденциальности сказано, что её собственные модели и размещаемые ею модели с открытыми весами “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (перевод: «работают на собственном или арендованном оборудовании BroadNet в США, с мощностями партнёров в качестве резерва»), а модели, которые обслуживают партнёры, работают на условиях нулевого хранения данных у партнёров по инференсу в США. Содержимое запросов и ответов не хранится.

Она предлагает чат-модели, включая DeepSeek V4.1 Flash и GLM 5.3, и две модели распознавания речи через OpenAI-совместимый API по адресу https://inference.broadnet.ai/v1. Варианты оплаты: оплата по факту за токен или минуту аудио, почасовой ключ или тарифы с фиксированной ценой для DeepSeek V4.1 Flash. Чтобы сравнить её с другими по вашим критериям, используйте чек-лист выбора провайдера.

Вопросы и ответы

Чем провайдер инференса отличается от LLM-роутера?

Провайдер сам запускает модели на собственном, взятом в лизинг или арендованном оборудовании. Роутер пересылает ваш запрос одному из нескольких провайдеров через единый API и единый счёт. Некоторые компании делают и то и другое.

Дают ли два провайдера с одной и той же открытой моделью одинаковые ответы?

Не всегда. Точность вычислений, лимиты контекста, настройки по умолчанию и серверное ПО могут различаться, поэтому могут различаться и ответы. Прежде чем переходить, проверьте на своих промптах.

Как сменить провайдера инференса?

С OpenAI-совместимым API нужно поменять три значения: базовый URL, API-ключ и ID модели. Затем заново прогоните свои тесты (eval): та же модель у другого провайдера может вести себя иначе.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity