BroadRouter
Начать

Разработчикам

Обновлено

BroadNet Inference использует форматы запросов OpenAI по адресу https://inference.broadnet.ai/v1. Создайте ключ в консоли, сохраните его в переменной окружения и отправьте запрос на /chat/completions или /audio/transcriptions с точным ID модели. Прежде чем переносить продакшен-трафик, проверьте для этой модели параметры, стриминг, инструменты, лимиты и ошибки.

Как отправить первый запрос к чату?

  1. Войдите на inference.broadnet.ai (на английском) и создайте ключ для инференса. Он показывается один раз; консоль хранит только его хеш.
  2. Установите OpenAI SDK и задайте ключ в терминале. Храните ключи на сервере и никогда — в коде, который выполняется в браузере.
  3. Отправьте запрос. Ответ находится в choices[0].message.content.

setup

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

first_request.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

В примере используется BroadNet Gemma 4 VL 26B; эту модель покрывает стартовый грант US$5. Для DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B сначала нужно пополнить баланс. Сохраняйте заголовок ответа X-Request-ID для обращений в поддержку.

How a request reaches a model
  1. 01Your appKey kept in an environment variable
  2. 02OpenAI SDKTwo settings change

    base_url api_key

  3. 03BroadNet InferenceOpenAI-compatible APIinference.broadnet.ai/v1POST /chat/completions
  4. 04The model you nameSet in every request
    • broadnet/deepseek-v4.1-flash
    • broadnet/glm-5.3
    • broadnet/qwen3.8-27b
    • broadnet/gemma-4-26b-a4byour choice
  5. 05ResponseFrom that model

You choose the model in each request. There is no automatic routing: the request runs on the model ID you sent.

Your app calls the OpenAI SDK with BroadNet’s base URL and your key. The request goes to BroadNet Inference with the model ID you wrote, and that model answers. Nothing picks or switches the model for you.

Стриминг

Задайте stream=true и читайте Server-Sent Events до data: [DONE]. С stream_options.include_usage расход токенов приходит в последнем чанке. Если поток оборвался до [DONE], считайте ответ неполным. BroadNet просит проверять стриминг для каждой модели, прежде чем полагаться на него в продакшене.

stream.sh

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

Как распознать речь из аудио?

Отправьте WAV или MP3 размером до 26 214 400 байт на /audio/transcriptions. Всегда указывайте language: без него арабская речь может вернуться латиницей. Для арабского используйте language=ar. Файлы .ogg и .m4a сначала сконвертируйте: ffmpeg -i voice-note.ogg -ar 16000 -ac 1 voice-note.wav

transcribe.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
with open("recording.wav", "rb") as audio:
    result = client.audio.transcriptions.create(
        model="broadnet/cohere-transcribe-arabic",
        file=audio,
        language="ar",
    )
print(result.text)

Ответ — JSON, текст расшифровки в поле text. Арабская или многоязычная модель и стоимость аудио.

Какие ID моделей можно использовать?

Передавайте точный ID в model. Не полагайтесь на /v1/models для поиска чат-моделей; используйте этот список или справочник (на английском).

МодельIDЭндпоинтВходДокументированоДоступ
DeepSeek V4.1 Flashbroadnet/deepseek-v4.1-flash/chat/completionsТекст + ИзображениеРассужденияНужно пополнение
GLM 5.3broadnet/glm-5.3/chat/completionsТекстИнструменты, Структурированный вывод, РассужденияНужно пополнение
Qwen3.8 27Bbroadnet/qwen3.8-27b/chat/completionsТекст + ИзображениеИнструменты, Структурированный вывод, РассужденияНужно пополнение
BroadNet Gemma 4 VL 26Bbroadnet/gemma-4-26b-a4b/chat/completionsТекст + Изображение—Стартовый грант
BroadNet Transcribe Arabicbroadnet/cohere-transcribe-arabic/audio/transcriptionsАрабское аудио—Стартовый грант
BroadNet Transcribebroadnet/cohere-transcribe/audio/transcriptionsАудио, 14 языков—Стартовый грант

«Документировано» — это инструменты, структурированный вывод и рассуждения, которые справочник BroadNet называет для каждой модели (проверено 2026-11-15). Прочерк значит, что справочник их не называет, а не что их нет.

Переход с другого OpenAI-совместимого API: чек-лист

Форматы запросов знакомые, но модели различаются. Пройдите каждый пункт для выбранной модели и протестируйте, прежде чем переключать трафик.

  1. Эндпоинт. Укажите базовый URL https://inference.broadnet.ai/v1.
  2. Ключ. Используйте ключ BroadNet для инференса из переменной окружения. Ключи тарифов и ключи с оплатой по факту — разные ключи.
  3. ID модели. Используйте точный ID, например broadnet/gemma-4-26b-a4b.
  4. Параметры. Проверьте, что каждый отправляемый параметр документирован для этой модели. Уберите те, которых нет в списке.
  5. Стриминг. Убедитесь, что клиент читает SSE до [DONE] и корректно обрабатывает поток, который оборвался раньше.
  6. Инструменты и структурированный вывод. Справочник документирует их для GLM 5.3 и Qwen3.8 27B. Любую другую модель протестируйте, прежде чем на них полагаться.
  7. Рассуждения. Рассуждения могут занимать часть бюджета вывода. Оставляйте запас в max_tokens; см. пустые ответы рассуждающих моделей.
  8. Лимиты. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Сессия тарифа обрабатывает один запрос за раз. Почасовой ключ Gemma допускает один поток, 120 запросов в минуту и 300 000 токенов в минуту.
  9. Контекст. Контекст включает вход и ответ. Лимит модели смотрите на её странице модели.
  10. Ошибки. Сопоставьте коды статуса ниже с действием (повтор или исправление) и логируйте X-Request-ID.
  11. Расходы. Оцените их с помощью калькуляторов цен. При оплате по факту изображения считаются входными токенами.

Какие ошибки стоит повторять?

СтатусЗначениеДействие
400 / 422Неверный запрос или полеИсправьте запрос; не повторяйте его как есть
401Ключ отсутствует, неверен или истёк, либо лимит исчерпанПроверьте ключ и аккаунт
402insufficient_balanceПополните баланс и повторите
413Запрос превышает лимит по байтам или текстуОтправьте меньше, например аудиофайл меньшего размера
429Лимит частоты, параллельности, токенов в минуту или расходовСделайте паузу (с ограничением числа попыток) и повторите
500–504Проблема на стороне сервераПовторите с ограниченной экспоненциальной задержкой

Кратко по таблице ошибок справочника (на английском), проверено 2026-11-15. Примеры кода для повторов.

Где полная документация и руководства?

Нужен приватный эндпоинт или модель, которой нет в списке? Свяжитесь с BroadNet.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity