AI SDK dari Vercel adalah toolkit TypeScript untuk aplikasi LLM. Paket @ai-sdk/openai-compatible-nya membuat provider untuk API apa pun yang mengikuti format chat completions OpenAI. BroadNet Inference mengikutinya, jadi Anda hanya mengganti base URL, kunci, dan ID model. Jika ingin memakai klien OpenAI biasa, lihat panduan Node SDK.
Penyiapan
-
Instal paketnya. Saat tulisan ini dibuat, npm menyediakan
ai7.x dan@ai-sdk/openai-compatible3.x.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Buat provider.
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Hasilkan teks.
import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Streaming. Ganti
generateTextdenganstreamTextdan bacatextStream. Panduan streaming menjelaskan format data di baliknya.
name yang Anda berikan menjadi kunci untuk provider options dan provider metadata, jadi buat singkat dan jangan diubah-ubah. provider('id') dan provider.chatModel('id') sama-sama membuat model chat; tidak ada penyiapan terpisah per model. Simpan kunci di server. Jangan impor file ini ke kode yang berjalan di browser, karena kuncinya akan terkirim ke setiap pengunjung.
Dokumentasi provider mencantumkan pembuatan teks, streaming, tool calling, output terstruktur, konten penalaran, dan input gambar sebagai kemampuan yang didukung, dengan catatan bahwa sebagian bergantung pada penyedia. Di BroadNet, input gambar berfungsi dengan DeepSeek V4.1 Flash, Qwen3.8 27B, dan Gemma 4 VL 26B. GLM 5.3 hanya menerima teks.
Opsi yang layak diatur
- reasoningEffort. Kirim lewat
providerOptions, dengan nama provider sebagai kuncinya. Menurut dokumentasi AI SDK, nilai yang tepat bergantung pada penyedia; dokumentasi BroadNet menunjukkanlow.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. AI SDK hanya mengirim JSON schema jika opsi ini bernilai
truedi provider. BroadNet mencantumkan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B. Jika Anda mengaktifkannya, gunakan kedua model itu untuk output berbasis schema. - maxRetries.
generateTextmencoba ulang dua kali secara default. Sesuaikan dengan rate limit Anda. - Output penalaran. AI SDK membaca konten penalaran jika penyedia mengembalikannya. Field hasil
reasoningTextdi tingkat atas kini ditandai deprecated dan digantikanfinalStep.reasoningText. Jangan membangun logika yang bergantung pada keberadaan penalaran.
Model mana yang dipilih
| Kebutuhan | Model | Konteks |
|---|---|---|
| Tool calling, output terstruktur | broadnet/glm-5.3 |
1.048.576 |
| Gambar plus tools, bahasa Arab | broadnet/qwen3.8-27b |
262.144 |
| Konteks panjang, paket harga tetap | broadnet/deepseek-v4.1-flash |
1.048.576 |
| Panggilan teks dan gambar yang murah | broadnet/gemma-4-26b-a4b |
32.768 |
Harga per token setiap model ada di halaman harga.
Pemecahan masalah
- 401.
BROADNET_API_KEYtidak ada di runtime (periksa pengaturan env di penyedia hosting Anda), salah, kedaluwarsa, atau jatah bayar sesuai pemakaian sudah habis. - providerOptions diabaikan. Kuncinya harus sama dengan
nameprovider dalam camelCase. Denganname: 'broadnet', gunakanproviderOptions.broadnet. - Error model. ID harus sama persis dengan milik BroadNet, termasuk prefiks
broadnet/. GLM 5.3, Qwen3.8 27B, dan DeepSeek V4.1 Flash memerlukan top up; kredit awal $5 hanya mencakup Gemma 4 VL 26B. - Teks kosong, finishReason “length”. Penalaran menghabiskan anggaran. Naikkan
maxOutputTokensatau turunkanreasoningEffort. Kenapa jawaban kembali kosong. - 429 saat beban tinggi. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Fungsi serverless cepat bertambah banyak, jadi batasi konkurensi di aplikasi Anda. Lihat panduan error dan percobaan ulang.
- Agen paralel dengan kunci paket. Satu sesi paket unlimited menjalankan satu permintaan dalam satu waktu. Menjalankan
Promise.allatas beberapa agen memerlukan satu sesi per agen; jika tidak, permintaan akan mengantre.
