BroadRouter

Vercel AI SDK и BroadNet Inference: OpenAI-совместимый провайдер

Обновлено

Установите ai и @ai-sdk/openai-compatible и вызовите createOpenAICompatible с name broadnet, baseURL https://inference.broadnet.ai/v1 и ключом BroadNet в apiKey. Передайте провайдеру ID модели BroadNet, например broadnet/glm-5.3, и используйте generateText или streamText как обычно. Храните ключ на сервере, а моделям с рассуждениями задавайте maxOutputTokens с запасом.

AI SDK от Vercel — набор инструментов на TypeScript для приложений с LLM. Пакет @ai-sdk/openai-compatible создаёт провайдера для любого API в формате chat completions от OpenAI. BroadNet Inference следует этому формату, поэтому менять нужно только базовый URL, ключ и ID моделей. Если вам нужен обычный клиент OpenAI, см. руководство по Node SDK.

Настройка

  1. Установите пакеты. На момент написания npm отдаёт ai 7.x и @ai-sdk/openai-compatible 3.x.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Создайте провайдера. Комментарий в коде означает, что данные о расходе токенов будут приходить и в потоковых ответах.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Сгенерируйте текст. Промпт просит объяснить ключи идемпотентности в двух предложениях; комментарий напоминает, что рассуждения учитываются в maxOutputTokens.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Включите стриминг. Замените generateText на streamText и читайте textStream. Какой формат передаётся под капотом, объясняет руководство по стримингу.

Значение name становится ключом для параметров и метаданных провайдера, поэтому делайте его коротким и неизменным. И provider('id'), и provider.chatModel('id') создают чат-модель; отдельно настраивать каждую модель не нужно. Храните ключ на сервере. Не импортируйте этот файл в код, который выполняется в браузере, иначе ключ получит каждый посетитель.

В документации провайдера поддерживаемыми возможностями названы генерация текста, стриминг, вызов инструментов, структурированный вывод, содержимое рассуждений и изображения на входе, с оговоркой, что часть из них зависит от провайдера. В BroadNet изображения на входе принимают DeepSeek V4.1 Flash, Qwen3.8 27B и Gemma 4 VL 26B. GLM 5.3 работает только с текстом.

Какие параметры стоит задать

  • reasoningEffort. Передавайте его через providerOptions под ключом с именем провайдера. В документации AI SDK сказано, что точные значения зависят от провайдера; в документации BroadNet показано low. В примере ниже модель классифицирует намерение в фразе «refund my order» («верните деньги за заказ»).
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. AI SDK отправляет JSON-схемы, только если у провайдера этот параметр равен true. BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B. Если вы его включаете, используйте для вывода по схеме эти модели.
  • maxRetries. По умолчанию generateText повторяет запрос дважды. Подберите значение под свой лимит запросов.
  • Вывод рассуждений. AI SDK читает содержимое рассуждений, если провайдер его возвращает. Поле результата верхнего уровня reasoningText теперь помечено как устаревшее в пользу finalStep.reasoningText. Не стройте логику, которая рассчитывает на наличие рассуждений.

Какую модель выбрать

Задача Модель Контекст
Вызов инструментов, структурированный вывод broadnet/glm-5.3 1 048 576
Изображения и инструменты, арабский broadnet/qwen3.8-27b 262 144
Длинный контекст, тариф с фиксированной ценой broadnet/deepseek-v4.1-flash 1 048 576
Дешёвые вызовы с текстом и изображениями broadnet/gemma-4-26b-a4b 32 768

Цены за токен для каждой модели — на странице цен.

Решение проблем

  • 401. BROADNET_API_KEY не задан в среде выполнения (проверьте настройки переменных окружения у хостинга), неверен, истёк или исчерпан лимит оплаты по факту.
  • providerOptions игнорируются. Ключ должен совпадать с name провайдера в camelCase. При name: 'broadnet' используйте providerOptions.broadnet.
  • Ошибки модели. ID должен точно совпадать с ID BroadNet, вместе с префиксом broadnet/. Для GLM 5.3, Qwen3.8 27B и DeepSeek V4.1 Flash нужно пополнить баланс; стартовый грант $5 покрывает только Gemma 4 VL 26B.
  • Пустой текст, finishReason “length”. Рассуждения израсходовали бюджет. Увеличьте maxOutputTokens или уменьшите reasoningEffort. Почему ответы приходят пустыми.
  • 429 под нагрузкой. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Serverless-функции быстро масштабируются, поэтому ограничьте параллелизм в приложении. См. ошибки и повторные запросы.
  • Параллельные агенты на ключе тарифа. Одна сессия безлимитного тарифа обрабатывает один запрос за раз. Если запускать несколько агентов через Promise.all, каждому нужна своя сессия, иначе запросы встанут в очередь.

Вопросы и ответы

Что использовать: @ai-sdk/openai или @ai-sdk/openai-compatible?

Для сторонних OpenAI-совместимых API используйте @ai-sdk/openai-compatible. Он вызывает эндпоинт chat completions, а именно его обслуживает BroadNet Inference.

Почему сгенерированный текст пустой?

В BroadNet рассуждения учитываются в max_tokens. Если maxOutputTokens маленький, модель может израсходовать его целиком ещё до начала ответа. Увеличьте значение или задайте reasoningEffort: low.

Как получить расход токенов при стриминге?

При создании провайдера задайте includeUsage: true. По документации AI SDK, этот параметр добавляет данные о расходе токенов в потоковые ответы. По умолчанию он равен false.

Нужна ли отдельная настройка для каждой модели BroadNet?

Нет. Один провайдер createOpenAICompatible покрывает все модели. Вызывайте broadnet('model-id') или broadnet.chatModel('model-id') с ID любой чат-модели BroadNet.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity