BroadRouter
Начать

OpenAI Python SDK и BroadNet Inference

Обновлено

Установите пакет openai и создайте клиент с base_url https://inference.broadnet.ai/v1 и ключом BroadNet в api_key. Все вызовы chat.completions работают без изменений; меняется только ID модели, например broadnet/deepseek-v4.1-flash. BroadNet обслуживает chat completions и транскрибацию, но не Responses API.

Вам нужны аккаунт BroadNet Inference и ключ для инференса. Новые аккаунты получают $5 стартового гранта без привязки карты; создайте аккаунт на inference.broadnet.ai. Консоль показывает ключ один раз и хранит только его хеш, поэтому сразу скопируйте его в переменную окружения.

1. Установите пакет и задайте ключ

Текущей версии пакета openai (3.x) нужен Python 3.10 или новее.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Первый запрос

Сохраните этот код в файл first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Запустите его командой python first_request.py. В примере используется broadnet/gemma-4-26b-a4b, потому что эта модель работает на бесплатном гранте. Остальные чат-модели доступны после пополнения баланса.

3. Выберите нужную модель

Меняется только model:

Что вам нужно ID модели
Безлимит на тарифе с фиксированной ценой, контекст 1 млн broadnet/deepseek-v4.1-flash
Инструменты и структурированный вывод, контекст 1 млн broadnet/glm-5.3
Арабский текст и изображения broadnet/qwen3.8-27b
Низкая цена, работает на бесплатном гранте broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения расходуют max_tokens. Давайте им 1000 токенов или больше. Почему маленький лимит даёт пустой ответ.

4. Стриминг ответа

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

С include_usage число токенов приходит в последнем чанке, у которого нет choices. Об оборванных соединениях — в руководстве по стримингу.

5. Сохраняйте ID запроса

В каждом ответе есть заголовок X-Request-ID. Записывайте его в лог: его попросит поддержка BroadNet. У разобранных ответов он доступен как response._request_id. Чтобы прочитать его вместе с другими заголовками:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Ключ с оплатой по факту допускает 30 запросов в минуту, а одновременно — не больше 4. Что означает каждый код ошибки и когда повторять запрос.

Решение проблем

  • AuthenticationError (401). Ключ неверен, истёк или исчерпан лимит оплаты по факту. Проверьте, что BROADNET_API_KEY задана в том процессе, который запускает ваш код.
  • NotFoundError (404). Проверьте, что base_url заканчивается на /v1 и что вы вызываете chat.completions, а не responses. Затем проверьте ID модели с префиксом broadnet/.
  • Платная модель не работает на новом аккаунте. Стартовый грант $5 покрывает BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) и обе модели BroadNet Transcribe. Чтобы пользоваться другими чат-моделями — DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B, — пополните баланс.
  • Пустой content. Рассуждения расходуют max_tokens. Поднимите лимит до 1000 или больше. Почему ответы приходят пустыми.
  • RateLimitError (429). Вы превысили лимит запросов в минуту или одновременных запросов. По умолчанию SDK повторяет запрос дважды; чтобы изменить это, задайте max_retries у клиента.
  • Ошибки собственного HTTP-клиента после обновления. SDK 3.x использует HTTPX2. Если вы передаёте свой http_client, следуйте руководству SDK по миграции на HTTPX2.

Вопросы и ответы

Нужен ли для BroadNet другой SDK?

Нет. BroadNet Inference принимает форматы OpenAI для chat completions и audio transcriptions, поэтому официальный пакет openai работает с другим base_url.

Можно ли и дальше использовать OPENAI_API_KEY?

Можно, но отдельная переменная BROADNET_API_KEY защищает от ошибки, когда ключ одного провайдера случайно уходит другому.

Читает ли SDK переменную OPENAI_BASE_URL?

Да. Если base_url не передан, клиент берёт OPENAI_BASE_URL. Задайте в ней https://inference.broadnet.ai/v1, а в OPENAI_API_KEY — ключ BroadNet, и OpenAI() можно создавать без аргументов.

Работает ли client.responses.create с BroadNet?

Нет. README SDK начинается с Responses API, но в документации BroadNet перечислены только chat completions и audio transcriptions. Используйте client.chat.completions.create.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity