BroadRouter

Приватный эндпоинт начинается с чётко описанной нагрузки

Команда BroadNet Inference · 7 мин чтения · Опубликовано

Прежде чем запрашивать приватный эндпоинт, опишите нагрузку: запросы в день и в пик, входные и выходные токены, вытекающую из этого параллельность, нужный контекст, регион обработки, модель и её лицензию, а также бюджет. Согласуйте регион и лимиты письменно, а затем проведите smoke-тест выданного эндпоинта до отправки реальных данных.

«Нам нужен выделенный эндпоинт» — это начало разговора, а не спецификация. Провайдер не сможет подобрать размер, разместить и оценить мощности без ваших цифр, а вы без них не сможете оценить его ответ. В этой статье перечислено, что нужно определить до запроса, на примере извлечения данных из счетов, а в конце — скрипт, который проверяет выданный вам эндпоинт.

Всё это применимо к любому провайдеру. Там, где речь идёт о предложении BroadNet, статья опирается только на то, что BroadNet заявляет публично (проверено 15 ноября 2026 года). Всё, что сверх этого, — вопрос к BroadNet.

Когда приватный эндпоинт имеет смысл?

Обычно по одной из четырёх причин:

  • Трафик выше лимитов самообслуживания. Справочник API BroadNet указывает для ключа с оплатой по факту 30 запросов в минуту и 4 одновременных запросов. Устойчивая нагрузка выше этого — вопрос мощностей, а не повторов. (Короткие всплески разобраны в статье об обработке ошибок 429.)
  • Модель, которой нет в публичном списке. Каталог BroadNet помечает некоторые модели как «available on request» (перевод: «доступно по запросу»), включая Qwen3-VL 30B-A3B, Qwen3-VL 8B и дообученную BroadNet версию Cohere Transcribe Arabic. Разница объясняется в статье о том, как читать каталог моделей.
  • Место обработки, которое вы обязаны контролировать. Правила локализации данных, например из чек-листа по PDPL Саудовской Аравии и ОАЭ, могут требовать региона, согласованного письменно.
  • Предсказуемая задержка. Общие мощности зависят от нагрузки других пользователей. Зарезервированные мощности убирают эту переменную, но не сетевое расстояние и не размер ваших собственных промптов.

Если ничего из этого не про вас, ключ самообслуживания проще. А если объём очень большой и стабильный, сравните с собственным размещением: методика — в статье о стоимости самостоятельного хостинга и API.

Что определить про нагрузку?

Напишите бриф на одну страницу. Вот цифры, которые нужны провайдеру:

Пункт Что записать Пример
Задача Что делает модель, одним предложением Читает фото счетов, возвращает поля в JSON
Объём Запросы в день и доля в самый загруженный час 40 000 в день, 15% в пиковый час
Токены Средние и 95-й перцентиль входных и выходных токенов 1 800 на входе (изображение одной страницы + промпт), 350 на выходе
Контекст Самый большой одиночный запрос, промпт плюс ответ 4 000 токенов
Задержка Допустимое время до первого токена и до полного ответа Полный ответ в пределах 10 секунд
Стриминг Нужен или нет Не нужен (пакетная обработка)
Входные данные Текст, изображения, аудио; форматы и размеры JPEG и PNG, по одной странице
Языки Какие и в какой доле Арабский и английский, 60/40
Рост Ожидаемый объём через 6 и 12 месяцев Вдвое больше через 12 месяцев

Число токенов измеряйте на реальных образцах, а не угадывайте. Арабскому часто нужно больше токенов, чем английскому, на тот же текст; насколько больше на разных токенизаторах, показывают счётчик арабских токенов и реальная стоимость по языкам. Для изображений первую оценку даст калькулятор токенов изображений.

Как перевести объём в токены в секунду и параллельность?

Пиковые запросы в секунду — это объём самого загруженного часа, делённый на 3600. Параллельность — число запросов, обрабатываемых одновременно, — выводится из закона Литтла: среднее число объектов в системе равно интенсивности поступления, умноженной на среднее время пребывания каждого в системе. Для API это запросы в секунду × секунды на запрос.

import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))

Скрипт вывел 1,67 запроса в секунду в пик, около 5,8 секунды на запрос, 10 одновременных запросов, 3000 входных и 583 выходных токена в секунду и 2580 млн токенов в месяц. 60 токенов в секунду — допущение для примера; измерьте свою скорость на модели, которую будете использовать, потому что скорость зависит от модели, длины промпта и нагрузки. Что именно замерять, объясняет статья о задержке, TTFT и пропускной способности.

Две оговорки. Формула не учитывает время обработки промпта, так что длинные промпты или большие изображения делают реальные запросы медленнее и поднимают параллельность. А средние значения скрывают всплески: дайте провайдеру размер запроса на 95-м перцентиле и короткий профиль всплесков, а не только среднее. Пик в этом примере (около 100 запросов в минуту и 10 одновременно) намного превышает опубликованные лимиты самообслуживания для одного ключа с оплатой по факту — именно в такой ситуации разговор о мощностях и стоит начинать.

Как быть с регионом, локализацией данных и лимитами?

Согласуйте их явно и письменно до того, как будут переданы какие-либо регулируемые данные. Условия BroadNet (§7.3a) гласят: «Contact us to agree processing locations for your deployment before sending data with residency requirements» (перевод: «Свяжитесь с нами, чтобы согласовать места обработки для вашего развёртывания, прежде чем отправлять данные с требованиями к локализации»), а также что при обработке у партнёров и резервной обработке участвуют другие обработчики, а актуальный список субобработчиков клиенты могут получить по запросу. Заявление BroadNet о конфиденциальности сообщает, что собственные модели BroadNet и размещаемые ею модели с открытыми весами работают на оборудовании, которым BroadNet владеет или которое арендует в США, а мощности партнёров служат резервом; на обзорной странице сказано, что региональная обработка в MENA или Европе доступна по запросу.

Поэтому вопросы к любому провайдеру такие:

  1. В каком регионе обрабатываются запросы и в каком регионе находятся резервные мощности?
  2. Какие субобработчики могут иметь доступ к трафику, в том числе при отказе или переполнении?
  3. Каковы лимиты эндпоинта по частоте, параллельности и токенам и что происходит при их превышении?
  4. Какие условия доступности и поддержки действуют и где они записаны? Условия BroadNet (§7.4) говорят, что у самообслуживания нет обязательств по доступности, а приватные эндпоинты и зарезервированные мощности регулируются вашим отдельным письменным соглашением. Что покрывают письменные SLA других провайдеров, смотрите в статье о сравнении SLA для LLM API.
  5. Что хранится? Для API инференса BroadNet опубликованная позиция такова: содержимое запросов к инференсу не хранится; необходимые метаданные аккаунта, биллинга и безопасности хранятся так, как описано в её заявлении о конфиденциальности. Убедитесь, что то же относится к вашему эндпоинту.

Какая модель и под какой лицензией?

Назовите точную модель и версию и проверьте, что её лицензия допускает ваше использование и обслуживание через API. На страницах моделей BroadNet для Gemma 4 26B, Qwen3-VL 30B-A3B и базовых весов Cohere Transcribe указана Apache-2.0, а для дообученной BroadNet версии Cohere Transcribe Arabic — «under contract» (перевод: «по договору»). В Условиях BroadNet сказано, что модели регулируются своими лицензиями и что лицензия DeepSeek V4.1 Flash действует и при размещении у партнёров.

Согласуйте и контекстное окно. Лимиты контекста зависят от модели и развёртывания, а не только от максимума базовой модели: BroadNet указывает 32K токенов для Gemma 4 VL 26B в своём публичном API и 16K для Qwen3-VL 30B-A3B, доступной по запросу. Проверяйте в калькуляторе контекстного окна свой самый большой запрос, а не средний.

Как задать бюджет?

BroadNet не публикует цену приватного эндпоинта; на её обзорной странице сказано: «Reserved GPU, priced to your traffic. Ask for a quote.» (перевод: «Зарезервированный GPU с ценой под ваш трафик. Запросите предложение.»). Поэтому сначала задайте собственный потолок. Посчитайте ту же нагрузку на самообслуживании в калькуляторе стоимости LLM API, взяв месячное число токенов из скрипта расчёта, и решите, сколько сверх этого для вас стоят предсказуемые мощности, регион или модель не из публичного списка. Предложение ниже цифры самообслуживания — приятный бонус; предложение намного выше неё должно быть оправдано пунктом из вашего списка требований.

Как отправить запрос?

Справочник API BroadNet говорит: «Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint» (перевод: «Приватные эндпоинты, наши арабские дообученные модели и другие модели по запросу доступны по приватному ID, выдаваемому вместе с эндпоинтом»). На обзорной странице просят указать «your model, languages and traffic requirements» (перевод: «вашу модель, языки и требования к трафику»). Отправьте свой одностраничный бриф через страницу контактов, без API-ключей и данных клиентов. Укажите результаты расчёта, регион, модель и лицензию, целевую задержку, потолок бюджета и сроки.

Как проверить выданный эндпоинт?

До продакшен-трафика проверьте эндпоинт на соответствие договорённостям. Этот скрипт использует только стандартную библиотеку Python. Он проверяет, что приватный ID модели работает, что стриминг завершается маркером data: [DONE], описанным в документации BroadNet, что согласованная параллельность проходит без 429 и что неверный ID модели отклоняется.

import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())

Мы запустили его против локального mock-сервера (не реального эндпоинта), допускающего 8 одновременных запросов. С AGREED_CONCURRENCY=8 все четыре проверки прошли. С 12 проверка параллельности провалилась: восемь ответов 200 и четыре 429 — именно такой результат лучше увидеть до запуска, а не после. max_tokens=1000 оставляет запас для моделей с рассуждениями, которые тратят часть бюджета до ответа.

После smoke-теста проведите короткий нагрузочный тест на вашем измеренном пике с промптами реального размера и запишите время до первого токена и задержку полного ответа эндпоинта. Сохраняйте ID запросов: документация BroadNet просит указывать в обращениях в поддержку X-Request-ID, время, маршрут и статус.

Как сюда вписывается BroadNet Inference

BroadRouter — собственный сайт BroadNet. BroadNet Inference продаёт доступ самообслуживания к публичным моделям с оплатой за токены, за минуту аудио, по сессиям тарифов и по почасовым ключам; цены — на странице цен. Приватные эндпоинты, региональная обработка, дообученные модели и модели с пометкой «по запросу» через самообслуживание не продаются: это запросы, по которым BroadNet готовит предложение и согласует условия письменно. Эта статья не может сказать, что BroadNet предложит под вашу нагрузку. Чёткий бриф — способ это выяснить.

Вопросы и ответы

Что такое приватный эндпоинт LLM?

Это API-эндпоинт на мощностях, зарезервированных за одним клиентом, а не разделённых со всеми пользователями самообслуживания. BroadNet описывает свой вариант как зарезервированный GPU или узел с выбранной вами моделью, собственным ключом и лимитами и нужным регионом, доступный по приватному ID модели.

Как оценить, какая параллельность мне нужна?

По закону Литтла: одновременные запросы = запросы в секунду в пик × секунды на запрос. 1,67 запроса в секунду примерно по 5,8 секунды каждый — это около 10 одновременных запросов. Секунды на запрос измерьте на реальной модели с вашими реальными промптами.

Можно ли купить приватный эндпоинт BroadNet через самообслуживание?

Нет. Приватные эндпоинты, региональную обработку и модели не из публичного списка BroadNet оформляет как запросы: вы описываете нагрузку, BroadNet готовит предложение. В её Условиях сказано, что приватные эндпоинты и зарезервированные мощности регулируются отдельным письменным соглашением.

Даёт ли приватный эндпоинт SLA?

Только если это записано в вашем письменном соглашении. Условия BroadNet гласят, что у самообслуживания нет обязательств по доступности, а уровни обслуживания существуют только в отдельном письменном соглашении. Запросите точные условия, прежде чем на них полагаться.

Где будут обрабатываться мои данные?

Согласуйте это до отправки данных. Условия BroadNet просят клиентов с требованиями к локализации данных заранее согласовать места обработки и сообщают, что при обработке у партнёров и резервной обработке участвуют другие обработчики; список субобработчиков клиенты могут получить по запросу.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity

Источники