BroadRouter

LiteLLM и BroadNet Inference: SDK и прокси

Обновлено

В LiteLLM добавьте к ID модели BroadNet префикс openai/, например openai/broadnet/glm-5.3, задайте api_base https://inference.broadnet.ai/v1 и ключ BroadNet в api_key. В прокси укажите те же значения в разделе litellm_params файла config.yaml и дайте модели короткое model_name.

LiteLLM даёт единый интерфейс ко многим провайдерам LLM — в виде Python SDK и прокси-сервера. Чтобы обратиться к OpenAI-совместимому API, документация LiteLLM велит сделать две вещи: добавить openai/ перед именем модели и задать api_base. BroadNet Inference работает через этот маршрут.

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'

В примере ниже модель просят назвать три применения фильтра Блума; комментарий напоминает, что рассуждения учитываются в max_tokens.

import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ выбирает маршрут, а в BroadNet LiteLLM отправляет broadnet/glm-5.3. Ничего не добавляйте к базовому URL: путь эндпоинта добавит клиент OpenAI внутри LiteLLM.

В документации LiteLLM отмечено, что маршрут openai использует официальную библиотеку OpenAI для Python, которой нужен API-ключ в каждом запросе. Передавайте api_key явно, как выше, чтобы LiteLLM никогда не подставил OPENAI_API_KEY, предназначенный для самой OpenAI. Ответ приходит в формате OpenAI, так что остальной код менять не нужно.

Когда нужен прокси

Внутри одного Python-приложения достаточно SDK. Прокси полезен, когда одни и те же модели нужны нескольким приложениям или языкам: все они вызывают один эндпоинт в стиле OpenAI с короткими именами моделей, а прокси хранит ключ BroadNet, применяет лимиты запросов и ведёт учёт расхода. Приложениям тогда вообще не нужны настройки, специфичные для BroadNet.

2. Прокси-сервер

Установите зависимости для прокси и напишите config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Запустите прокси и вызывайте его, как любой эндпоинт OpenAI (комментарий в примере: второй терминал):

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

os.environ/BROADNET_API_KEY_GLM говорит LiteLLM читать этот ключ из окружения. Каждая запись использует собственный ключ BroadNet с оплатой по факту, поэтому rpm: 30 — необязательный лимит запросов LiteLLM для каждого развёртывания — совпадает с лимитом каждого ключа. Если несколько записей используют один ключ, лимит у них общий, поэтому разделите число между ними. master_key заставляет прокси требовать ключ при каждом вызове; по документации LiteLLM он должен начинаться с sk-. Экспортируйте LITELLM_MASTER_KEY до запуска прокси.

Какую модель выбрать

model_name Модель BroadNet Назначение
glm GLM 5.3 Инструменты, структурированный вывод, контекст 1 млн
deepseek-flash DeepSeek V4.1 Flash Длинный контекст; модель безлимитных тарифов
qwen Qwen3.8 27B Изображения, инструменты, арабский
(добавьте при необходимости) Gemma 4 VL 26B Низкая цена за токен; работает на гранте $5

Цены — на странице цен. Если вы переезжаете с другого шлюза, что проверить, описано в чек-листе миграции.

Решение проблем

  • 401. Ключ BroadNet неверен, истёк или исчерпан лимит оплаты по факту. Если 401 возвращает сам прокси, проверьте ключ LiteLLM, который вы отправили.
  • Not Found. Убедитесь, что api_base — это https://inference.broadnet.ai/v1 с /v1. Если базовый URL верный, проверьте, что ID модели после openai/ точно совпадает с ID BroadNet.
  • Модель отклоняется на новом аккаунте. GLM 5.3, Qwen3.8 27B и DeepSeek V4.1 Flash сначала требуют пополнения баланса; грант $5 покрывает только broadnet/gemma-4-26b-a4b и две модели Transcribe.
  • Пустой content. Рассуждения учитываются в max_tokens. Увеличьте значение или передайте reasoning_effort="low". Почему ответы приходят пустыми.
  • 429. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. С первым ограничением помогает rpm в LiteLLM; одновременных вызовов на один ключ держите не больше 4. См. ошибки и повторные запросы.
  • Параллельные агенты на ключе тарифа. Одна сессия тарифа обрабатывает один запрос за раз. Если запускать через прокси несколько агентов на одной сессии, они встанут в очередь; покупайте по сессии на каждого параллельного агента.

Вопросы и ответы

Почему LiteLLM возвращает ошибку Not Found?

Документация LiteLLM советует проверить, что api_base заканчивается на /v1. Используйте https://inference.broadnet.ai/v1 и не добавляйте /chat/completions.

Почему имя модели — openai/broadnet/glm-5.3?

Префикс openai/ говорит LiteLLM вызывать эндпоинт /chat/completions в стиле OpenAI. LiteLLM выбирает маршрут по префиксу и отправляет остаток, broadnet/glm-5.3, — это и есть ID модели BroadNet.

Можно ли поставить ключ безлимитного тарифа BroadNet за общий прокси LiteLLM?

Ключами тарифов нельзя делиться и их нельзя перепродавать, а одна сессия обрабатывает один запрос за раз. Используйте их для своих агентов. Для командного прокси берите ключи с оплатой по факту.

Нужен ли LiteLLM OPENAI_API_KEY, чтобы вызывать BroadNet?

Маршруту openai нужен ключ в каждом запросе — из api_key или OPENAI_API_KEY. Передавайте ключ BroadNet в api_key, а в прокси — os.environ/BROADNET_API_KEY, чтобы LiteLLM не отправил в BroadNet настоящий ключ OpenAI.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity