Ang AI SDK ng Vercel ay isang TypeScript toolkit para sa mga LLM app. Gumagawa ang @ai-sdk/openai-compatible package nito ng provider para sa kahit anong API na sumusunod sa format ng OpenAI chat completions. Sumusunod dito ang BroadNet Inference, kaya base URL, key at mga model ID lang ang papalitan mo. Kung ang simpleng OpenAI client ang gusto mo, tingnan ang gabay sa Node SDK.
Setup
-
I-install ang mga package. Sa oras ng pagsulat nito,
ai7.x at@ai-sdk/openai-compatible3.x ang ibinibigay ng npm.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Gawin ang provider. Ilagay ito sa file na
broadnet.ts. AngincludeUsage: trueang nagdadagdag ng usage data sa mga streaming response.// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Bumuo ng text. Kasama ang reasoning sa
maxOutputTokens, kaya maluwag ang 4000 sa example.import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
I-stream ito. Palitan ang
generateTextngstreamTextat basahin angtextStream. Ipinapaliwanag ng streaming guide ang wire format sa ilalim nito.
Ang name na ipapasa mo ang magiging key para sa provider options at provider metadata, kaya panatilihin itong maikli at hindi nagbabago. Parehong gumagawa ng chat model ang provider('id') at provider.chatModel('id'); walang hiwalay na setup kada model. Itago sa server ang key. Huwag i-import ang file na ito sa code na tumatakbo sa browser, kundi mapapasa ang key sa bawat bisita.
Nakalista sa provider docs bilang suportadong kakayahan ang text generation, streaming, tool calling, structured outputs, reasoning content at image input, na may paalalang nakadepende sa provider ang ilan. Sa BroadNet, gumagana ang image input sa DeepSeek V4.1 Flash, Qwen3.8 27B at Gemma 4 VL 26B. Text lang ang tinatanggap ng GLM 5.3.
Mga option na dapat i-set
- reasoningEffort. Ipasa ito sa
providerOptions, gamit ang pangalan ng provider bilang key. Ayon sa docs ng AI SDK, nakadepende sa provider ang eksaktong mga value;lowang ipinapakita sa docs ng BroadNet.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. Nagpapadala lang ang AI SDK ng JSON schema kapag
trueito sa provider. Nakalista sa BroadNet ang structured output para sa GLM 5.3 at Qwen3.8 27B. Kung io-on mo ito, gamitin ang mga model na iyon para sa schema output. - maxRetries. Dalawang beses nagre-retry ang
generateTextbilang default. I-set ito ayon sa rate limit mo. - Reasoning output. Binabasa ng AI SDK ang reasoning content kapag ibinabalik ito ng provider. Minarkahan nang deprecated ang top-level na
reasoningTextna field ng resulta, kapalit ngfinalStep.reasoningText. Huwag gumawa ng logic na umaasang laging may reasoning.
Aling model ang pipiliin
| Kailangan | Model | Context |
|---|---|---|
| Tool calling, structured output | broadnet/glm-5.3 |
1,048,576 |
| Mga larawan at tools, Arabic | broadnet/qwen3.8-27b |
262,144 |
| Mahabang context, flat-rate na plan | broadnet/deepseek-v4.1-flash |
1,048,576 |
| Murang text at image call | broadnet/gemma-4-26b-a4b |
32,768 |
Nasa pricing page ang per-token na presyo ng bawat model.
Troubleshooting
- 401. Wala ang
BROADNET_API_KEYsa runtime (tingnan ang env settings ng hosting provider mo), o mali, expired, o ubos na ang pay-as-you-go allowance. - Hindi pinapansin ang providerOptions. Kailangang tugma ang key sa
nameng provider sa camelCase. Kungname: 'broadnet', gamitin angproviderOptions.broadnet. - Mga error sa model. Kailangang eksaktong tugma ang ID sa BroadNet, kasama ang
broadnet/prefix. Kailangan ng top-up para sa GLM 5.3, Qwen3.8 27B at DeepSeek V4.1 Flash; ang Gemma 4 VL 26B at ang dalawang Transcribe model ang sakop ng $5 na panimulang credit. - Walang lamang text, finishReason “length”. Naubos ng reasoning ang budget. Taasan ang
maxOutputTokenso babaan angreasoningEffort. Bakit walang laman ang mga sagot. - 429 kapag mabigat ang load. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay-sabay. Mabilis mag-scale out ang mga serverless function, kaya lagyan ng limit ang concurrency sa app mo. Tingnan ang errors and retries.
- Parallel na agent sa isang plan key. Isang request lang sa isang pagkakataon ang pinapatakbo ng isang session ng unlimited na plan. Kapag nag-
Promise.allka sa ilang agent, kailangan ng isang session kada agent, kundi pipila ang mga request.
