LiteLLM даёт единый интерфейс ко многим провайдерам LLM — в виде Python SDK и прокси-сервера. Чтобы обратиться к OpenAI-совместимому API, документация LiteLLM велит сделать две вещи: добавить openai/ перед именем модели и задать api_base. BroadNet Inference работает через этот маршрут.
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
В примере ниже модель просят назвать три применения фильтра Блума; комментарий напоминает, что рассуждения учитываются в max_tokens.
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ выбирает маршрут, а в BroadNet LiteLLM отправляет broadnet/glm-5.3. Ничего не добавляйте к базовому URL: путь эндпоинта добавит клиент OpenAI внутри LiteLLM.
В документации LiteLLM отмечено, что маршрут openai использует официальную библиотеку OpenAI для Python, которой нужен API-ключ в каждом запросе. Передавайте api_key явно, как выше, чтобы LiteLLM никогда не подставил OPENAI_API_KEY, предназначенный для самой OpenAI. Ответ приходит в формате OpenAI, так что остальной код менять не нужно.
Когда нужен прокси
Внутри одного Python-приложения достаточно SDK. Прокси полезен, когда одни и те же модели нужны нескольким приложениям или языкам: все они вызывают один эндпоинт в стиле OpenAI с короткими именами моделей, а прокси хранит ключ BroadNet, применяет лимиты запросов и ведёт учёт расхода. Приложениям тогда вообще не нужны настройки, специфичные для BroadNet.
2. Прокси-сервер
Установите зависимости для прокси и напишите config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Запустите прокси и вызывайте его, как любой эндпоинт OpenAI (комментарий в примере: второй терминал):
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
os.environ/BROADNET_API_KEY_GLM говорит LiteLLM читать этот ключ из окружения. Каждая запись использует собственный ключ BroadNet с оплатой по факту, поэтому rpm: 30 — необязательный лимит запросов LiteLLM для каждого развёртывания — совпадает с лимитом каждого ключа. Если несколько записей используют один ключ, лимит у них общий, поэтому разделите число между ними. master_key заставляет прокси требовать ключ при каждом вызове; по документации LiteLLM он должен начинаться с sk-. Экспортируйте LITELLM_MASTER_KEY до запуска прокси.
Какую модель выбрать
| model_name | Модель BroadNet | Назначение |
|---|---|---|
glm |
GLM 5.3 | Инструменты, структурированный вывод, контекст 1 млн |
deepseek-flash |
DeepSeek V4.1 Flash | Длинный контекст; модель безлимитных тарифов |
qwen |
Qwen3.8 27B | Изображения, инструменты, арабский |
| (добавьте при необходимости) | Gemma 4 VL 26B | Низкая цена за токен; работает на гранте $5 |
Цены — на странице цен. Если вы переезжаете с другого шлюза, что проверить, описано в чек-листе миграции.
Решение проблем
- 401. Ключ BroadNet неверен, истёк или исчерпан лимит оплаты по факту. Если 401 возвращает сам прокси, проверьте ключ LiteLLM, который вы отправили.
- Not Found. Убедитесь, что
api_base— этоhttps://inference.broadnet.ai/v1с/v1. Если базовый URL верный, проверьте, что ID модели послеopenai/точно совпадает с ID BroadNet. - Модель отклоняется на новом аккаунте. GLM 5.3, Qwen3.8 27B и DeepSeek V4.1 Flash сначала требуют пополнения баланса; грант $5 покрывает только
broadnet/gemma-4-26b-a4bи две модели Transcribe. - Пустой content. Рассуждения учитываются в
max_tokens. Увеличьте значение или передайтеreasoning_effort="low". Почему ответы приходят пустыми. - 429. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. С первым ограничением помогает
rpmв LiteLLM; одновременных вызовов на один ключ держите не больше 4. См. ошибки и повторные запросы. - Параллельные агенты на ключе тарифа. Одна сессия тарифа обрабатывает один запрос за раз. Если запускать через прокси несколько агентов на одной сессии, они встанут в очередь; покупайте по сессии на каждого параллельного агента.
