BroadRouter

Агенты Mastra на BroadNet Inference

Обновлено

В Agent из Mastra задайте model объектом: url https://inference.broadnet.ai/v1, apiKey из BROADNET_API_KEY и id broadnet/broadnet/glm-5.3. Mastra считает первую часть id именем провайдера и отрезает её, поэтому с двойным префиксом в BroadNet уходит broadnet/glm-5.3. Для пользовательских URL по умолчанию используются chat completions. Для инструментов берите GLM 5.3 или Qwen3.8 27B.

Mastra — TypeScript-фреймворк для ИИ-агентов и workflow. Помимо встроенных провайдеров, в model агента можно указать любой OpenAI-совместимый эндпоинт — объектом с id и url. BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1, так что этот способ работает, но с одной особенностью в ID модели. BroadRouter — собственный сайт BroadNet; руководство основано на документации Mastra по моделям и @mastra/core 1.83.0.

Установка

npm install @mastra/core zod
export BROADNET_API_KEY='your-broadnet-key'

Подключение агента

import { Agent } from "@mastra/core/agent";

const broadnet = (model: string) => ({
  id: `broadnet/${model}`,              // Mastra strips the first segment
  url: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});

export const assistant = new Agent({
  id: "assistant",
  name: "Assistant",
  instructions: "You are a concise assistant.",
  model: broadnet("broadnet/glm-5.3"),     // sends broadnet/glm-5.3
});

const res = await assistant.generate("Give me three names for a Go linting tool.");
console.log(res.text);

Комментарии в коде поясняют: Mastra отрезает первый сегмент id, поэтому хелпер добавляет лишний, и в BroadNet уходит полный ID модели с префиксом broadnet/.

Зачем двойной префикс

Документация Mastra говорит, что id вида provider/model отправляет на удалённый сервер голое имя модели, а gateway/provider/model сохраняет провайдера в имени. В ID моделей BroadNet есть косая черта, поэтому нужна длинная форма. В нашем тесте:

id в Mastra ID модели, который получил BroadNet
broadnet/glm-5.3 glm-5.3 (неверно)
broadnet/broadnet/glm-5.3 broadnet/glm-5.3 (верно)

Хелпер выше добавляет лишний сегмент за вас.

Инструменты

import { createTool } from "@mastra/core/tools";
import { z } from "zod";

const weather = createTool({
  id: "get_weather",
  description: "Get the weather for a city",
  inputSchema: z.object({ city: z.string() }),
  execute: async (input) => ({ city: input.city, tempC: 21 }),
});

const agent = new Agent({
  id: "weather",
  name: "Weather",
  instructions: "Use the weather tool to answer.",
  tools: { weather },
  model: broadnet("broadnet/glm-5.3"),
});

Для агентов с инструментами используйте broadnet/glm-5.3 или broadnet/qwen3.8-27b. Документация BroadNet указывает инструменты и структурированный вывод только для этих двух моделей.

Стриминг

const stream = await assistant.stream("Explain vector search in two sentences.");
for await (const chunk of stream.textStream) process.stdout.write(chunk);

Важные настройки

  • url — базовый URL, заканчивается на /v1. Mastra добавляет /chat/completions сама.
  • Не добавляйте api: "responses". По документации Mastra это переключает запросы на /v1/responses. BroadNet не указывает Responses API.
  • Лимит вывода. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения учитываются в лимите вывода. Если вы ограничиваете число токенов вывода, оставьте 2 000 или больше.

Какую модель выбрать

Агент Модель
Инструменты, структурированный вывод, workflow broadnet/glm-5.3
Инструменты плюс изображения на входе или арабский текст broadnet/qwen3.8-27b
Текстовые шаги на тарифе с фиксированной ценой broadnet/deepseek-v4.1-flash

Цены на все модели. Если нужен Vercel AI SDK без Mastra, см. руководство по AI SDK.

Как мы это проверяли

15 ноября 2026 г. мы установили @mastra/core 1.83.0 на Node 24 и запустили generate, stream и агента с инструментом против локального mock-сервера, который отвечает в формате chat completions BroadNet и возвращает вызовы инструментов. Затем мы прочитали журнал запросов. Все вызовы ушли на /v1/chat/completions с Bearer-ключом из apiKey. Так мы и обнаружили правило префикса из таблицы выше. Ключа BroadNet у нас не было, поэтому реальные ответы модели мы не проверяли.

Решение проблем

  • 404 или модель не найдена. Скорее всего, ID модели потерял префикс. Запишите id как broadnet/broadnet/glm-5.3. Затем проверьте, что url заканчивается на /v1. Для платных моделей нужно пополнить баланс; стартовый грант $5 покрывает только broadnet/gemma-4-26b-a4b и две модели Transcribe.
  • 401. BROADNET_API_KEY не задан в процессе, либо ключ неверный или исчерпал лимит.
  • Пустые ответы. Рассуждения израсходовали бюджет вывода. Почему ответы приходят пустыми.
  • 429 в workflow с параллельными шагами. Ключ с оплатой по факту допускает 30 запросов в минуту и не больше 4 одновременно; сессия тарифа обрабатывает один запрос за раз. См. ошибки и повторные запросы.

Вопросы и ответы

Почему Mastra отправляет glm-5.3 вместо broadnet/glm-5.3?

Mastra читает id модели как provider/model и отправляет только часть после первой косой черты. С id broadnet/glm-5.3 в нашем тесте ушло glm-5.3, а такую модель BroadNet не распознает. Пишите id как broadnet/broadnet/glm-5.3.

Что указывать в url Mastra: базовый URL или адрес chat completions?

Базовый URL. Документация Mastra говорит указывать базовый URL OpenAI-совместимого эндпоинта, так что используйте https://inference.broadnet.ai/v1 без /chat/completions.

Использует ли Mastra Responses API с пользовательским URL?

По умолчанию нет. Документация Mastra говорит, что пользовательские эндпоинты работают через chat completions, пока вы не добавите api со значением responses. Для BroadNet его не добавляйте: BroadNet обслуживает chat completions.

Работают ли инструменты Mastra с BroadNet?

Да, на моделях, для которых BroadNet указывает инструменты: GLM 5.3 или Qwen3.8 27B. В нашем тесте с mock-сервером агент отправил схему инструмента, выполнил инструмент и вернул результат.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity