Vercel کا AI SDK LLM ایپس بنانے کے لیے ایک TypeScript ٹول کٹ ہے۔ اس کا @ai-sdk/openai-compatible پیکج OpenAI chat-completions فارمیٹ پر چلنے والے کسی بھی API کے لیے فراہم کنندہ بناتا ہے۔ BroadNet Inference اسی فارمیٹ پر چلتا ہے، اس لیے آپ کو صرف base URL، کلید اور ماڈل IDs بدلنے ہیں۔ اگر آپ سادہ OpenAI کلائنٹ استعمال کرنا چاہتے ہیں تو Node SDK گائیڈ دیکھیں۔
سیٹ اپ
-
پیکجز انسٹال کریں۔ یہ لکھتے وقت npm پر
ai7.x اور@ai-sdk/openai-compatible3.x دستیاب ہیں۔npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
فراہم کنندہ بنائیں۔ نیچے
includeUsageوالے تبصرے کا مطلب ہے کہ اسٹریمنگ رسپانسز میں usage ڈیٹا آئے گا۔// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
متن بنائیں۔
maxOutputTokensوالا تبصرہ یاد دلاتا ہے کہ ریزننگ بھی اسی حد میں گنی جاتی ہے۔import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
اسٹریم کریں۔
generateTextکی جگہstreamTextلگائیں اورtextStreamپڑھیں۔ اس کے نیچے کا وائر فارمیٹ اسٹریمنگ گائیڈ میں سمجھایا گیا ہے۔
آپ جو name دیتے ہیں وہی فراہم کنندہ کے آپشنز اور میٹا ڈیٹا کی کلید بن جاتا ہے، اس لیے اسے مختصر اور مستقل رکھیں۔ provider('id') اور provider.chatModel('id') دونوں چیٹ ماڈل بناتے ہیں؛ ہر ماڈل کے لیے الگ سیٹ اپ نہیں۔ کلید سرور پر رکھیں۔ اس فائل کو براؤزر میں چلنے والے کوڈ میں import نہ کریں، ورنہ کلید ہر وزیٹر تک پہنچ جائے گی۔
فراہم کنندہ کی دستاویزات متن بنانے، اسٹریمنگ، ٹول کالنگ، اسٹرکچرڈ آؤٹ پٹ، ریزننگ مواد اور تصویری ان پٹ کو سپورٹ شدہ صلاحیتیں بتاتی ہیں، اس نوٹ کے ساتھ کہ ان میں سے کچھ فراہم کنندہ پر منحصر ہیں۔ BroadNet پر تصویری ان پٹ DeepSeek V4.1 Flash، Qwen3.8 27B اور Gemma 4 VL 26B کے ساتھ چلتا ہے۔ GLM 5.3 صرف متن لیتا ہے۔
سیٹ کرنے کے قابل آپشنز
- reasoningEffort۔ اسے
providerOptionsکے ذریعے، فراہم کنندہ کے نام کی کلید کے نیچے پاس کریں۔ AI SDK کی دستاویزات کہتی ہیں کہ درست قدریں فراہم کنندہ پر منحصر ہیں؛ BroadNet کی دستاویزاتlowدکھاتی ہیں۔
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs۔ AI SDK، JSON schemas صرف تب بھیجتا ہے جب فراہم کنندہ پر یہ
trueہو۔ BroadNet، اسٹرکچرڈ آؤٹ پٹ GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتا ہے۔ اسے آن کریں تو schema والے آؤٹ پٹ کے لیے یہی ماڈلز استعمال کریں۔ - maxRetries۔
generateTextبطورِ ڈیفالٹ دو بار دوبارہ کوشش کرتا ہے۔ اسے اپنی ریٹ لمٹ کے حساب سے سیٹ کریں۔ - ریزننگ آؤٹ پٹ۔ فراہم کنندہ ریزننگ مواد لوٹائے تو AI SDK اسے پڑھتا ہے۔ ٹاپ لیول
reasoningTextنتیجہ فیلڈ اب deprecated ہے اور اس کی جگہfinalStep.reasoningTextہے۔ ایسی لاجک نہ بنائیں جو ریزننگ کی موجودگی پر منحصر ہو۔
کون سا ماڈل چنیں
| ضرورت | ماڈل | کانٹیکسٹ |
|---|---|---|
| ٹول کالنگ، اسٹرکچرڈ آؤٹ پٹ | broadnet/glm-5.3 |
1,048,576 |
| تصاویر کے ساتھ ٹولز، عربی | broadnet/qwen3.8-27b |
262,144 |
| لمبا کانٹیکسٹ، مقررہ قیمت والا پلان | broadnet/deepseek-v4.1-flash |
1,048,576 |
| سستی متن اور تصویر کالز | broadnet/gemma-4-26b-a4b |
32,768 |
ہر ماڈل کی فی ٹوکن قیمت قیمتوں کے صفحے پر ہے۔
مسائل کا حل
- 401۔ رن ٹائم میں
BROADNET_API_KEYموجود نہیں (اپنے ہوسٹنگ فراہم کنندہ کی env سیٹنگز دیکھیں)، یا کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے، یا استعمال کے مطابق ادائیگی والا الاؤنس ختم ہو گیا ہے۔ - providerOptions نظر انداز ہوتے ہیں۔ کلید، فراہم کنندہ کے
nameسے camelCase میں ملنی چاہیے۔name: 'broadnet'کے ساتھproviderOptions.broadnetاستعمال کریں۔ - ماڈل ایررز۔ ID،
broadnet/پری فکس سمیت، BroadNet کے ID سے بالکل ملنا چاہیے۔ GLM 5.3، Qwen3.8 27B اور DeepSeek V4.1 Flash کے لیے ٹاپ اپ چاہیے؛ $5 ابتدائی کریڈٹ Gemma 4 VL 26B اور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔ - خالی متن، finishReason “length”۔ ریزننگ نے بجٹ خرچ کر دیا۔
maxOutputTokensبڑھائیں یاreasoningEffortکم کریں۔ جوابات خالی کیوں آتے ہیں۔ - لوڈ کے وقت 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ سرور لیس فنکشنز تیزی سے پھیلتے ہیں، اس لیے اپنی ایپ میں concurrency کی حد رکھیں۔ ایررز اور دوبارہ کوشش دیکھیں۔
- پلان کلید پر متوازی ایجنٹس۔ ایک لامحدود پلان سیشن ایک وقت میں ایک درخواست چلاتا ہے۔ کئی ایجنٹس پر
Promise.allچلانے کے لیے ہر ایجنٹ کو اپنا سیشن چاہیے، ورنہ درخواستیں قطار میں لگتی ہیں۔
