---
title: "LiteLLM с OpenAI-совместимым провайдером: api_base | BroadRouter"
description: "Как вызывать BroadNet Inference через LiteLLM с префиксом модели openai/ и api_base — в Python SDK или в config.yaml прокси, с подходящими лимитами запросов."
url: https://broadrouter.com/ru/guides/litellm-proxy-custom-provider/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (обновлён 2026-11-16).

# LiteLLM и BroadNet Inference: SDK и прокси

Обновлено 2026-11-16

В LiteLLM добавьте к ID модели BroadNet префикс openai/, например openai/broadnet/glm-5.3, задайте api\_base https://inference.broadnet.ai/v1 и ключ BroadNet в api\_key. В прокси укажите те же значения в разделе litellm\_params файла config.yaml и дайте модели короткое model\_name.

LiteLLM даёт единый интерфейс ко многим провайдерам LLM — в виде Python SDK и прокси-сервера. Чтобы обратиться к OpenAI-совместимому API, документация LiteLLM велит сделать две вещи: добавить `openai/` перед именем модели и задать `api_base`. BroadNet Inference работает через этот маршрут.

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

В примере ниже модель просят назвать три применения фильтра Блума; комментарий напоминает, что рассуждения учитываются в `max_tokens`.

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

`openai/` выбирает маршрут, а в BroadNet LiteLLM отправляет `broadnet/glm-5.3`. Ничего не добавляйте к базовому URL: путь эндпоинта добавит клиент OpenAI внутри LiteLLM.

В документации LiteLLM отмечено, что маршрут `openai` использует официальную библиотеку OpenAI для Python, которой нужен API-ключ в каждом запросе. Передавайте `api_key` явно, как выше, чтобы LiteLLM никогда не подставил `OPENAI_API_KEY`, предназначенный для самой OpenAI. Ответ приходит в формате OpenAI, так что остальной код менять не нужно.

## Когда нужен прокси

Внутри одного Python-приложения достаточно SDK. Прокси полезен, когда одни и те же модели нужны нескольким приложениям или языкам: все они вызывают один эндпоинт в стиле OpenAI с короткими именами моделей, а прокси хранит ключ BroadNet, применяет лимиты запросов и ведёт учёт расхода. Приложениям тогда вообще не нужны настройки, специфичные для BroadNet.

## 2\. Прокси-сервер

Установите зависимости для прокси и напишите `config.yaml`:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

Запустите прокси и вызывайте его, как любой эндпоинт OpenAI (комментарий в примере: второй терминал):

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

`os.environ/BROADNET_API_KEY_GLM` говорит LiteLLM читать этот ключ из окружения. Каждая запись использует собственный ключ BroadNet с оплатой по факту, поэтому `rpm: 30` — необязательный лимит запросов LiteLLM для каждого развёртывания — совпадает с лимитом каждого ключа. Если несколько записей используют один ключ, лимит у них общий, поэтому разделите число между ними. `master_key` заставляет прокси требовать ключ при каждом вызове; по документации LiteLLM он должен начинаться с `sk-`. Экспортируйте `LITELLM_MASTER_KEY` до запуска прокси.

## Какую модель выбрать

| model\_name | Модель BroadNet | Назначение |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/ru/models/glm-5.3/) | Инструменты, структурированный вывод, контекст 1 млн |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/) | Длинный контекст; модель безлимитных тарифов |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) | Изображения, инструменты, арабский |
| (добавьте при необходимости) | [Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/) | Низкая цена за токен; работает на гранте $5 |

Цены — на [странице цен](https://broadrouter.com/ru/pricing/). Если вы переезжаете с другого шлюза, что проверить, описано в [чек-листе миграции](https://broadrouter.com/ru/blog/openai-compatible-api-migration-checklist/).

## Решение проблем

-   **401.** Ключ BroadNet неверен, истёк или исчерпан лимит оплаты по факту. Если 401 возвращает сам прокси, проверьте ключ LiteLLM, который вы отправили.
-   **Not Found.** Убедитесь, что `api_base` — это `https://inference.broadnet.ai/v1` с `/v1`. Если базовый URL верный, проверьте, что ID модели после `openai/` точно совпадает с ID BroadNet.
-   **Модель отклоняется на новом аккаунте.** GLM 5.3, Qwen3.8 27B и DeepSeek V4.1 Flash сначала требуют пополнения баланса; грант $5 покрывает только `broadnet/gemma-4-26b-a4b` и две модели Transcribe.
-   **Пустой content.** Рассуждения учитываются в `max_tokens`. Увеличьте значение или передайте `reasoning_effort="low"`. [Почему ответы приходят пустыми](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).
-   **429.** Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. С первым ограничением помогает `rpm` в LiteLLM; одновременных вызовов на один ключ держите не больше 4. См. [ошибки и повторные запросы](https://broadrouter.com/ru/guides/errors-and-retries/).
-   **Параллельные агенты на ключе тарифа.** Одна [сессия тарифа](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) обрабатывает один запрос за раз. Если запускать через прокси несколько агентов на одной сессии, они встанут в очередь; покупайте по сессии на каждого параллельного агента.

## Термины в этом руководстве

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

## Вопросы и ответы

### Почему LiteLLM возвращает ошибку Not Found?

Документация LiteLLM советует проверить, что api\_base заканчивается на /v1. Используйте https://inference.broadnet.ai/v1 и не добавляйте /chat/completions.

### Почему имя модели — openai/broadnet/glm-5.3?

Префикс openai/ говорит LiteLLM вызывать эндпоинт /chat/completions в стиле OpenAI. LiteLLM выбирает маршрут по префиксу и отправляет остаток, broadnet/glm-5.3, — это и есть ID модели BroadNet.

### Можно ли поставить ключ безлимитного тарифа BroadNet за общий прокси LiteLLM?

Ключами тарифов нельзя делиться и их нельзя перепродавать, а одна сессия обрабатывает один запрос за раз. Используйте их для своих агентов. Для командного прокси берите ключи с оплатой по факту.

### Нужен ли LiteLLM OPENAI\_API\_KEY, чтобы вызывать BroadNet?

Маршруту openai нужен ключ в каждом запросе — из api\_key или OPENAI\_API\_KEY. Передавайте ключ BroadNet в api\_key, а в прокси — os.environ/BROADNET\_API\_KEY, чтобы LiteLLM не отправил в BroadNet настоящий ключ OpenAI.

## Похожие руководства

-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)
-   [Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)
-   [Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)
-   [LangChain и BroadNet Inference](https://broadrouter.com/ru/guides/langchain-openai-base-url/)
-   [Все инструменты, которые работают с BroadNet Inference (на английском)](https://broadrouter.com/integrations/): SDK, агенты для программирования, чат-интерфейсы и инструменты автоматизации с точными настройками для каждого

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**Источники**

-   [Документация LiteLLM, OpenAI-совместимые эндпоинты (дата обращения 2026-11-14)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [Документация LiteLLM, config.yaml прокси (дата обращения 2026-11-14)](https://docs.litellm.ai/docs/proxy/configs)
-   [Справочник API BroadNet Inference (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-litellm-proxy-custom-provider&utm_content=sources)
