BroadRouter
Начать

OpenAI Node.js SDK и BroadNet Inference

Обновлено

Установите npm-пакет openai и создайте клиент с baseURL https://inference.broadnet.ai/v1 и ключом BroadNet в apiKey. Ваш код с chat.completions продолжит работать; меняется только ID модели, например broadnet/deepseek-v4.1-flash. BroadNet обслуживает chat completions, а не Responses API, поэтому вызывайте client.chat.completions.create.

Вам нужен ключ для инференса из вашего аккаунта BroadNet Inference. Новые аккаунты получают $5 стартового гранта без привязки карты. Если вы пишете на Python, откройте руководство по Python SDK.

1. Установите пакет и задайте ключ

Текущей версии пакета openai (7.x) нужен Node.js 22 или новее.

npm install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Первый запрос

Сохраните код в файл first-request.mjs и запустите node first-request.mjs:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});

const response = await client.chat.completions.create({
  model: "broadnet/gemma-4-26b-a4b",
  messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(response.choices[0].message.content);

broadnet/gemma-4-26b-a4b работает на бесплатном гранте. Для модели безлимитных тарифов используйте broadnet/deepseek-v4.1-flash и задайте max_tokens не меньше 1000: её рассуждения расходуют этот лимит. Почему ответы приходят пустыми.

3. Стриминг токенов

const stream = await client.chat.completions.create({
  model: "broadnet/deepseek-v4.1-flash",
  stream: true,
  stream_options: { include_usage: true },
  messages: [{ role: "user", content: "Count from one to three." }],
});
for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
  if (chunk.usage) console.log("\n", chunk.usage);
}

4. Записывайте ID запроса

const { data, request_id } = await client.chat.completions
  .create({ model: "broadnet/gemma-4-26b-a4b", messages: [{ role: "user", content: "Hi" }] })
  .withResponse();
console.log(request_id, data.choices[0].message.content);

SDK берёт request_id из заголовка x-request-id. У разобранных ответов он также доступен как data._request_id.

Храните этот ID вместе со временем UTC, маршрутом и статусом: их попросит поддержка BroadNet. Коды ошибок и когда повторять запрос.

Решение проблем

  • 401. Ключ неверен, истёк или исчерпан лимит оплаты по факту. Если BROADNET_API_KEY не задана, apiKey равен undefined, и SDK берёт OPENAI_API_KEY, а если нет и её, выбрасывает ошибку.
  • 404. Проверьте, что baseURL заканчивается на /v1 и что вы вызываете chat.completions, а не responses. Затем проверьте ID модели с префиксом broadnet/.
  • Платная модель не работает на новом аккаунте. Стартовый грант $5 покрывает BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) и обе модели BroadNet Transcribe. Чтобы пользоваться другими чат-моделями — DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B, — пополните баланс.
  • Пустой content. Рассуждения расходуют max_tokens. Поднимите лимит или не задавайте его. Почему ответы приходят пустыми.
  • 429. Ключ с оплатой по факту допускает 30 запросов в минуту, а одновременно — не больше 4. По умолчанию SDK повторяет запрос дважды; это настраивается через maxRetries у клиента. Об оборванных потоках — в руководстве стриминг chat completions.

Вопросы и ответы

Можно ли задать базовый URL BroadNet через переменную окружения в Node?

Да. SDK читает OPENAI_BASE_URL, если не передан baseURL, и OPENAI_API_KEY, если не передан apiKey. Если передавать оба значения явно, ключ BroadNet не уйдёт по ошибке в OpenAI, и наоборот.

Работает ли client.responses.create с BroadNet?

Нет. В документации BroadNet перечислены только chat completions и audio transcriptions. Для чата используйте client.chat.completions.create.

Какая версия Node.js нужна пакету openai?

Текущий релиз 7.x требует Node.js 22 или новее. Также поддерживаются Deno, Bun, Cloudflare Workers и Vercel Edge.

Можно ли вызывать BroadNet из браузера через Node SDK?

Не стоит. SDK блокирует работу в браузере, пока вы не зададите dangerouslyAllowBrowser, потому что ключ попадёт к каждому посетителю. Вызывайте BroadNet со своего сервера.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity