Вам нужны аккаунт BroadNet Inference и ключ для инференса. Новые аккаунты получают $5 стартового гранта без привязки карты; создайте аккаунт на inference.broadnet.ai. Консоль показывает ключ один раз и хранит только его хеш, поэтому сразу скопируйте его в переменную окружения.
1. Установите пакет и задайте ключ
Текущей версии пакета openai (3.x) нужен Python 3.10 или новее.
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'
2. Первый запрос
Сохраните этот код в файл first_request.py:
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)
Запустите его командой python first_request.py. В примере используется broadnet/gemma-4-26b-a4b, потому что эта модель работает на бесплатном гранте. Остальные чат-модели доступны после пополнения баланса.
3. Выберите нужную модель
Меняется только model:
| Что вам нужно | ID модели |
|---|---|
| Безлимит на тарифе с фиксированной ценой, контекст 1 млн | broadnet/deepseek-v4.1-flash |
| Инструменты и структурированный вывод, контекст 1 млн | broadnet/glm-5.3 |
| Арабский текст и изображения | broadnet/qwen3.8-27b |
| Низкая цена, работает на бесплатном гранте | broadnet/gemma-4-26b-a4b |
DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения расходуют max_tokens. Давайте им 1000 токенов или больше. Почему маленький лимит даёт пустой ответ.
4. Стриминг ответа
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
stream=True,
stream_options={"include_usage": True},
messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
С include_usage число токенов приходит в последнем чанке, у которого нет choices. Об оборванных соединениях — в руководстве по стримингу.
5. Сохраняйте ID запроса
В каждом ответе есть заголовок X-Request-ID. Записывайте его в лог: его попросит поддержка BroadNet. У разобранных ответов он доступен как response._request_id. Чтобы прочитать его вместе с другими заголовками:
raw = client.chat.completions.with_raw_response.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()
Ключ с оплатой по факту допускает 30 запросов в минуту, а одновременно — не больше 4. Что означает каждый код ошибки и когда повторять запрос.
Решение проблем
AuthenticationError(401). Ключ неверен, истёк или исчерпан лимит оплаты по факту. Проверьте, чтоBROADNET_API_KEYзадана в том процессе, который запускает ваш код.NotFoundError(404). Проверьте, чтоbase_urlзаканчивается на/v1и что вы вызываетеchat.completions, а неresponses. Затем проверьте ID модели с префиксомbroadnet/.- Платная модель не работает на новом аккаунте. Стартовый грант $5 покрывает BroadNet Gemma 4 VL 26B (
broadnet/gemma-4-26b-a4b) и обе модели BroadNet Transcribe. Чтобы пользоваться другими чат-моделями — DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B, — пополните баланс. - Пустой
content. Рассуждения расходуютmax_tokens. Поднимите лимит до 1000 или больше. Почему ответы приходят пустыми. RateLimitError(429). Вы превысили лимит запросов в минуту или одновременных запросов. По умолчанию SDK повторяет запрос дважды; чтобы изменить это, задайтеmax_retriesу клиента.- Ошибки собственного HTTP-клиента после обновления. SDK 3.x использует HTTPX2. Если вы передаёте свой
http_client, следуйте руководству SDK по миграции на HTTPX2.
