BroadRouter

Как выбрать провайдера LLM API: чек-лист из 20 пунктов

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

Выбирайте провайдера LLM API, оценивая его по шести направлениям: полная стоимость вашей реальной нагрузки, лимиты запросов и параллельности, совместимость с OpenAI, условия хранения данных и обучения, нужные модели и размеры контекста, поддержка и надёжность. Затем, прежде чем брать обязательства, проведите недельный тест на своём трафике. Одна лишь цена за токен — плохой ориентир.

A chess knight and queen on a board, with the text "The right model. For the next move."

Чтобы выбрать провайдера LLM API, оцените каждого кандидата по шести направлениям: месячная стоимость вашей реальной нагрузки, лимиты запросов и параллельности, совместимость с OpenAI, условия хранения данных и обучения, нужные вам модели, поддержка и надёжность. Затем протестируйте двух лучших на неделе реального трафика. Ниже — 20 вопросов, таблица оценки и план теста.

Когда выбор сделан, сам переход описан в чек-листе миграции, а подробное тестирование качества — в статье Как оценить LLM перед сменой провайдера.

Сколько это будет стоить на самом деле? (вопросы 1–4)

  1. Сколько стоит моя реальная нагрузка в месяц? Считайте отдельно вход, вход из кэша и выход; бесплатный калькулятор стоимости LLM API делает это для каждой модели. Агенты заново отправляют тот же контекст, поэтому вход из кэша часто составляет основную часть. Каждая строка счёта разобрана в нашей статье о ценах.
  2. Тарифицируются ли токены рассуждений как выход? Модели с рассуждениями могут тратить на размышления больше токенов, чем на ответ.
  3. Есть ли вариант с фиксированной ценой? Для постоянно работающих агентов фиксированный тариф может обойти оплату за токены. См. расчёт точки безубыточности.
  4. Опубликованы ли цены в машиночитаемом виде и с датой? Файл цен в JSON позволяет отслеживать изменения и настраивать оповещения о расходах.

Наш открытый датасет бесплатных уровней и лимитов LLM API сравнивает, что 14 провайдеров публикуют о бесплатном доступе, стартовых лимитах, требовании карты и обучении на данных бесплатного уровня, с источником и датой для каждого значения.

В какие лимиты вы упрётесь первыми? (вопросы 5–7)

  1. Каковы лимиты запросов в минуту и параллельности? Именно параллельность (число одновременных запросов) останавливает параллельных агентов и пакетные задания. См. лимиты запросов и параллельность и соотнесите свой трафик с лимитом в калькуляторе лимитов.
  2. Есть ли потолок токенов, скользящее окно или недельная квота? У «безлимитных» тарифов они часто есть. Прочитайте, что на самом деле значит «безлимитный».
  3. Каково контекстное окно и не обрезается ли оно? Проверьте реальный максимум на запрос и не обрезает ли провайдер длинные промпты без предупреждения.

Насколько он совместим с вашим кодом? (вопросы 8–10)

  1. Совместим ли он с OpenAI и насколько? Смена базового URL должна работать. Затем проверьте стриминг с usage, вызовы инструментов, структурированный вывод и коды ошибок. В чек-листе миграции перечислено, что ломается.
  2. Работает ли он с моими инструментами? SDK, фреймворки для агентов, ассистенты в IDE. Посмотрите руководства по интеграции провайдера.
  3. Стабильны ли ID моделей? Вам нужны версионированные ID и предупреждение до вывода модели из эксплуатации.

Что происходит с вашими данными? (вопросы 11–13)

  1. Хранятся ли промпты и ответы и как долго? Многие провайдеры по умолчанию хранят содержимое запросов к API до 30 дней. Сравните официальные формулировки в статье Хранение данных в LLM API: сравнение.
  2. Используются ли мои данные для обучения? Проверьте условия по умолчанию для вашего уровня, в письменном виде.
  3. Можно ли подписать DPA, увидеть список субпроцессоров и ограничить ключи? Если вы обрабатываете персональные данные из ЕС, используйте чек-лист GDPR и попросите белые списки IP.

Есть ли нужные вам модели? (вопросы 14–16)

  1. Есть ли у провайдера модели нужных размеров и возможностей? Распознавание изображений, вызов инструментов, рассуждения, длинный контекст, речь.
  2. Как каждая модель справляется с моими задачами? Соберите 30–50 реальных тестовых случаев и оцените их. Бенчмарки — лишь первый фильтр; в статье где сравнивать LLM перечислены рейтинги и что измеряет каждый. Руководство по оценке показывает, как собрать набор и избежать предвзятости судьи.
  3. Открытые веса или закрытая модель? Модели с открытыми весами могут хостить несколько провайдеров, что снижает привязку. См. статью Открытые или закрытые модели.

Будет ли он работать стабильно и кто ответит? (вопросы 17–20)

  1. Есть ли страница статуса и история инцидентов?
  2. Есть ли письменный SLA для продакшена?
  3. Кто управляет GPU? Собственное оборудование, облако или перепроданные мощности другого API. Каждый вариант добавляет участника в цепочку данных и надёжности.
  4. Как связаться с человеком? Время ответа, каналы связи и видит ли поддержка содержимое ваших запросов.

Как сравнить провайдеров между собой по баллам?

Оцените каждый вопрос в 0 (нет или неизвестно), 1 (частично) или 2 (да, в письменном виде). Задайте веса групп под свой сценарий:

Группа Вопросы Вес для агента Вес для регулируемого приложения
Цены 1–4 Высокий Средний
Лимиты 5–7 Высокий Средний
Совместимость 8–10 Средний Средний
Приватность 11–13 Средний Высокий
Модели 14–16 Высокий Высокий
Поддержка и надёжность 17–20 Средний Высокий

«Неизвестно» получает 0 не случайно: если провайдер не может ответить, полагаться на него нельзя.

Как протестировать провайдера за неделю?

  1. Выберите двух лучших провайдеров по таблице оценки.
  2. Направьте долю реального трафика на каждого через один и тот же OpenAI SDK, держа ID моделей и базовые URL в конфигурации.
  3. Логируйте для каждого запроса: модель, токены промпта, токены из кэша, токены ответа, задержку, код статуса. Никогда не логируйте содержимое.
  4. Создайте пиковую нагрузку: запустите пакетное задание или параллельных агентов и следите за ошибками 429. Правильная экспоненциальная задержка показана в руководстве по ошибкам и повторным попыткам.
  5. Умножьте токены за неделю примерно на 4,3 и посчитайте месяц для каждого провайдера.
  6. Оцените ответы на своём тестовом наборе.

Как BroadNet Inference отвечает на чек-лист

№ BroadNet Inference
1, 4 Цены за токены опубликованы в pricing.json, синхронизировано 2026-11-14
3 Фиксированные тарифы для DeepSeek V4.1 Flash: $60 в месяц, $15 в неделю или $1 в час за сессию
5 Оплата по факту: 30 запросов в минуту, 4 одновременно; сессии тарифов выполняют один запрос за раз
6 Тарифы: без счётчика токенов, без скользящего окна, без недельного потолка
7 До 1 048 576 токенов на DeepSeek V4.1 Flash и GLM 5.3; на странице тарифов сказано, что контекст никогда не обрезается
8 OpenAI-совместимый API по адресу https://inference.broadnet.ai/v1
11, 12 Промпты и ответы не хранятся; не используются для обучения, дообучения или оценки моделей
13 Белые списки IP до 32 записей; список субпроцессоров по запросу; DPA — по запросу
14 Четыре чат-модели плюс две модели распознавания речи
19 Согласно заявлению BroadNet о конфиденциальности, её собственные и размещённые модели с открытыми весами работают на собственном или арендованном оборудовании BroadNet в США, с мощностями партнёров в качестве резерва; модели, которые обслуживают партнёры, например DeepSeek V4.1 Flash, работают у партнёров по инференсу в США на условиях ZDR

Чего мы не нашли в документации и на странице тарифов BroadNet (проверено 14 ноября 2026 г.): SLA, страницы статуса и политики вывода моделей из эксплуатации. Если это для вас важно, запросите их и держите второго провайдера для критичных сценариев. Каталог к тому же меньше, чем у агрегатора: если вам нужны модели GPT, Claude или Gemini, BroadNet не подходит для этого трафика. Стартового гранта $5 хватит на шаг 3 плана теста при лёгкой нагрузке, но из чат-моделей он покрывает только Gemma 4 VL 26B (ещё он покрывает две модели Transcribe); для остальных чат-моделей нужно пополнение баланса.

Вопросы и ответы

На что смотреть при выборе провайдера LLM API?

На полную стоимость вашей нагрузки, лимиты запросов и параллельности, совместимость с OpenAI, условия хранения данных и обучения, нужные модели и размеры контекста, поддержку и надёжность. Оцените каждый пункт, затем протестируйте на реальном трафике.

Самый дешёвый LLM API — лучший выбор?

Не всегда. Цены входа из кэша, токены рассуждений, повторные попытки из-за лимитов и время инженеров на обход недостающих функций могут перевесить более низкую прейскурантную цену. Сравнивайте месячный счёт за вашу реальную нагрузку.

Как избежать привязки к поставщику LLM API?

Используйте OpenAI-совместимый API через стандартный SDK, храните ID моделей и базовые URL в конфигурации, не завязывайте основной сценарий на функции конкретного провайдера и держите проверенного второго провайдера.

Сколько тестировать LLM API, прежде чем брать обязательства?

Примерно недели реального трафика достаточно, чтобы увидеть расход токенов, долю попаданий в кэш, задержку, частоту ошибок и поведение при лимитах. Умножьте неделю примерно на 4,3, чтобы оценить месяц.

Какой аптайм должен обеспечивать провайдер LLM API?

Попросите публичную страницу статуса, историю инцидентов и, для продакшена, письменный SLA. Если у провайдера ничего этого нет, запланируйте резервного провайдера для критичных сценариев.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity