BroadRouter

Paano gamitin ang Mastra agents sa BroadNet Inference

Na-update

Sa isang Mastra Agent, i-set ang model sa object na may url na https://inference.broadnet.ai/v1, apiKey mula sa BROADNET_API_KEY at id na broadnet/broadnet/glm-5.3. Itinuturing ng Mastra na provider name ang unang bahagi ng id at tinatanggal ito, kaya broadnet/glm-5.3 ang naipapadala sa BroadNet dahil sa dobleng prefix. Chat completions ang default ng custom URL. Gamitin ang GLM 5.3 o Qwen3.8 27B para sa tools.

TypeScript framework ang Mastra para sa mga AI agent at workflow. Bukod sa mga built-in na provider nito, puwedeng maging kahit anong OpenAI-compatible na endpoint ang model ng isang agent, na ibinibigay bilang object na may id at url. Nagse-serve ang BroadNet Inference ng karaniwang chat completions sa https://inference.broadnet.ai/v1, kaya gumagana ito sa ganitong paraan, may isang catch lang sa model ID. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang models docs ng Mastra at ang @mastra/core 1.83.0.

I-install

npm install @mastra/core zod
export BROADNET_API_KEY='your-broadnet-key'

Ikonekta ang isang agent

import { Agent } from "@mastra/core/agent";

const broadnet = (model: string) => ({
  id: `broadnet/${model}`,              // Mastra strips the first segment
  url: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});

export const assistant = new Agent({
  id: "assistant",
  name: "Assistant",
  instructions: "You are a concise assistant.",
  model: broadnet("broadnet/glm-5.3"),     // sends broadnet/glm-5.3
});

const res = await assistant.generate("Give me three names for a Go linting tool.");
console.log(res.text);

Bakit doble ang prefix

Ayon sa docs ng Mastra, ang id na isinulat bilang provider/model ay nagpapadala ng model name lang sa remote, at pinapanatili naman ng gateway/provider/model ang provider sa pangalan. May slash ang mga ID ng BroadNet, kaya kailangan nila ang mas mahabang anyo. Sa test namin:

Mastra id Model ID na natanggap ng BroadNet
broadnet/glm-5.3 glm-5.3 (mali)
broadnet/broadnet/glm-5.3 broadnet/glm-5.3 (tama)

Ang helper sa itaas na ang nagdadagdag ng sobrang segment para sa iyo.

Tools

import { createTool } from "@mastra/core/tools";
import { z } from "zod";

const weather = createTool({
  id: "get_weather",
  description: "Get the weather for a city",
  inputSchema: z.object({ city: z.string() }),
  execute: async (input) => ({ city: input.city, tempC: 21 }),
});

const agent = new Agent({
  id: "weather",
  name: "Weather",
  instructions: "Use the weather tool to answer.",
  tools: { weather },
  model: broadnet("broadnet/glm-5.3"),
});

Gamitin ang broadnet/glm-5.3 o broadnet/qwen3.8-27b para sa mga agent na may tools. Sa dalawang model lang na ito nakalista ang tools at structured output sa docs ng BroadNet.

Streaming

const stream = await assistant.stream("Explain vector search in two sentences.");
for await (const chunk of stream.textStream) process.stdout.write(chunk);

Mga setting na mahalaga

  • url ang base URL, na nagtatapos sa /v1. Ang Mastra ang nagdadagdag ng /chat/completions.
  • Huwag idagdag ang api: "responses". Ayon sa docs ng Mastra, inililipat nito ang tawag sa /v1/responses. Hindi nakalista ang Responses API sa BroadNet.
  • Output limit. Nagre-reason muna bago sumagot ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at kasama ang reasoning sa output limit. Kung lilimitahan mo ang output tokens, mag-iwan ng 2,000 o higit pa.

Aling model ang pipiliin

Agent Model
Tools, structured output, workflows broadnet/glm-5.3
Tools kasama ang image input o Arabic na teksto broadnet/qwen3.8-27b
Mga text-only na step sa flat-price na plan broadnet/deepseek-v4.1-flash

Mga presyo ng bawat model. Para sa Vercel AI SDK nang walang Mastra, tingnan ang AI SDK guide.

Paano namin ito sinubok

Noong 2026-11-15, nag-install kami ng @mastra/core 1.83.0 sa Node 24 at pinatakbo ang generate, stream at isang tool agent laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet at nagbabalik ng tool calls. Binasa namin ang mga naka-log na request. Pumunta ang bawat tawag sa /v1/chat/completions na may Bearer key mula sa apiKey. Doon namin natuklasan ang prefix rule sa table sa itaas. Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model.

Troubleshooting

  • 404 o model not found. Malamang nawala ang prefix ng model ID. Isulat ang id bilang broadnet/broadnet/glm-5.3. Saka tingnan kung nagtatapos sa /v1 ang url. Kailangan ng top-up para sa mga bayad na model; broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • 401. Hindi naka-set ang BROADNET_API_KEY sa process, o mali ang key o ubos na ang allowance nito.
  • Walang lamang sagot. Naubos sa reasoning ang output budget. Bakit walang laman ang mga sagot.
  • 429 sa mga workflow na may parallel steps. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay; isa-isa lang tumatakbo ang request sa isang plan session. Tingnan ang errors and retries.

Mga tanong

Bakit glm-5.3 ang ipinapadala ng Mastra sa halip na broadnet/glm-5.3?

Binabasa ng Mastra ang model id bilang provider/model at ang bahagi lang pagkatapos ng unang slash ang ipinapadala. Sa id na broadnet/glm-5.3, glm-5.3 ang ipinadala nito sa test namin, na hindi kilala ng BroadNet. Isulat ang id bilang broadnet/broadnet/glm-5.3.

Base URL ba o chat completions URL ang ilalagay sa url ng Mastra?

Ang base URL. Ayon sa docs ng Mastra, gamitin ang base URL ng OpenAI-compatible na endpoint, kaya gamitin ang https://inference.broadnet.ai/v1 nang walang /chat/completions.

Responses API ba ang ginagamit ng Mastra kapag custom URL?

Hindi bilang default. Ayon sa docs ng Mastra, chat completions ang gamit ng mga custom endpoint maliban kung magdagdag ka ng api na naka-set sa responses. Huwag itong idagdag para sa BroadNet, na chat completions ang sine-serve.

Gumagana ba ang Mastra tools sa BroadNet?

Oo, sa model na may tools sa listahan ng BroadNet, GLM 5.3 o Qwen3.8 27B. Sa mock test namin, ipinadala ng agent ang tool schema, pinatakbo ang tool at ibinalik ang resulta.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity