AI SDK daripada Vercel ialah kit alatan TypeScript untuk aplikasi LLM. Pakej @ai-sdk/openai-compatible mencipta penyedia untuk sebarang API yang mengikut format chat completions OpenAI. BroadNet Inference mengikut format itu, jadi anda hanya menukar base URL, kunci dan ID model. Jika anda mahukan klien OpenAI biasa, lihat panduan Node SDK.
Persediaan
-
Pasang pakej. Semasa artikel ini ditulis, npm menyediakan
ai7.x dan@ai-sdk/openai-compatible3.x.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Cipta penyedia. Letakkan kod ini dalam fail
broadnet.ts.includeUsage: truemenambah data usage pada respons penstriman.// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Jana teks. Penaakulan dikira dalam
maxOutputTokens, sebab itu contoh ini memberi 4000.import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Strim. Tukar
generateTextkepadastreamTextdan bacatextStream. Panduan penstriman menerangkan format wayar di bawahnya.
name yang anda hantar menjadi kunci untuk provider options dan provider metadata, jadi pastikan ia pendek dan tidak berubah. provider('id') dan provider.chatModel('id') kedua-duanya mencipta model chat; tiada persediaan berasingan bagi setiap model. Simpan kunci di pelayan. Jangan import fail ini ke dalam kod yang berjalan dalam pelayar, atau kunci itu akan dihantar kepada setiap pelawat.
Dokumentasi penyedia menyenaraikan penjanaan teks, penstriman, tool calling, structured outputs, reasoning content dan input imej sebagai keupayaan yang disokong, dengan nota bahawa sesetengahnya bergantung pada penyedia. Di BroadNet, input imej berfungsi dengan DeepSeek V4.1 Flash, Qwen3.8 27B dan Gemma 4 VL 26B. GLM 5.3 menerima teks sahaja.
Pilihan yang patut ditetapkan
- reasoningEffort. Hantarkannya melalui
providerOptions, dikunci dengan nama penyedia. Dokumentasi AI SDK menyatakan nilai tepatnya bergantung pada penyedia; dokumentasi BroadNet menunjukkanlow.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. AI SDK hanya menghantar skema JSON apabila nilai ini
truepada penyedia. BroadNet menyenaraikan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B. Jika anda menghidupkannya, gunakan model tersebut untuk output skema. - maxRetries.
generateTextmencuba semula dua kali secara lalai. Tetapkan nilainya mengikut had kadar anda. - Output penaakulan. AI SDK membaca kandungan penaakulan apabila penyedia memulangkannya. Medan hasil
reasoningTextperingkat atas kini ditandakan deprecated dan digantikan denganfinalStep.reasoningText. Jangan bina logik yang bergantung pada kehadiran penaakulan.
Model mana yang patut dipilih
| Keperluan | Model | Konteks |
|---|---|---|
| Tool calling, output berstruktur | broadnet/glm-5.3 |
1,048,576 |
| Imej serta alatan, bahasa Arab | broadnet/qwen3.8-27b |
262,144 |
| Konteks panjang, pelan kadar tetap | broadnet/deepseek-v4.1-flash |
1,048,576 |
| Panggilan teks dan imej yang murah | broadnet/gemma-4-26b-a4b |
32,768 |
Harga setiap token bagi setiap model ada di halaman harga.
Penyelesaian masalah
- 401.
BROADNET_API_KEYtiada dalam runtime (semak tetapan env penyedia hosting anda), salah, tamat tempoh, atau elaun bayar ikut guna telah habis. - providerOptions diabaikan. Kuncinya mesti sepadan dengan
namepenyedia dalam camelCase. Denganname: 'broadnet', gunakanproviderOptions.broadnet. - Ralat model. ID mesti sepadan tepat dengan ID BroadNet, termasuk awalan
broadnet/. GLM 5.3, Qwen3.8 27B dan DeepSeek V4.1 Flash memerlukan tambah nilai; kredit permulaan $5 meliputi Gemma 4 VL 26B dan dua model Transcribe. - Teks kosong, finishReason “length”. Penaakulan telah menggunakan bajet. Naikkan
maxOutputTokensatau turunkanreasoningEffort. Mengapa jawapan kosong. - 429 semasa beban tinggi. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Fungsi serverless berskala keluar dengan pantas, jadi hadkan keserentakan dalam aplikasi anda. Lihat ralat dan cuba semula.
- Ejen selari pada kunci pelan. Satu sesi pelan tanpa had menjalankan satu permintaan pada satu masa. Menjalankan
Promise.allmerentas beberapa ejen memerlukan satu sesi bagi setiap ejen, atau permintaan akan beratur.
