BroadRouter

BroadNet Inference کے ساتھ Vercel AI SDK استعمال کریں

اپ ڈیٹ

ai اور @ai-sdk/openai-compatible انسٹال کریں، پھر createOpenAICompatible کو name میں broadnet، baseURL میں https://inference.broadnet.ai/v1 اور apiKey میں اپنی BroadNet کلید کے ساتھ کال کریں۔ فراہم کنندہ کو broadnet/glm-5.3 جیسا BroadNet ماڈل ID دیں اور generateText یا streamText معمول کے مطابق استعمال کریں۔ کلید سرور پر رکھیں، اور ریزننگ ماڈلز کو کھلا maxOutputTokens دیں۔

Vercel کا AI SDK LLM ایپس بنانے کے لیے ایک TypeScript ٹول کٹ ہے۔ اس کا @ai-sdk/openai-compatible پیکج OpenAI chat-completions فارمیٹ پر چلنے والے کسی بھی API کے لیے فراہم کنندہ بناتا ہے۔ BroadNet Inference اسی فارمیٹ پر چلتا ہے، اس لیے آپ کو صرف base URL، کلید اور ماڈل IDs بدلنے ہیں۔ اگر آپ سادہ OpenAI کلائنٹ استعمال کرنا چاہتے ہیں تو Node SDK گائیڈ دیکھیں۔

سیٹ اپ

  1. پیکجز انسٹال کریں۔ یہ لکھتے وقت npm پر ai 7.x اور @ai-sdk/openai-compatible 3.x دستیاب ہیں۔

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. فراہم کنندہ بنائیں۔ نیچے includeUsage والے تبصرے کا مطلب ہے کہ اسٹریمنگ رسپانسز میں usage ڈیٹا آئے گا۔

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. متن بنائیں۔ maxOutputTokens والا تبصرہ یاد دلاتا ہے کہ ریزننگ بھی اسی حد میں گنی جاتی ہے۔

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. اسٹریم کریں۔ generateText کی جگہ streamText لگائیں اور textStream پڑھیں۔ اس کے نیچے کا وائر فارمیٹ اسٹریمنگ گائیڈ میں سمجھایا گیا ہے۔

آپ جو name دیتے ہیں وہی فراہم کنندہ کے آپشنز اور میٹا ڈیٹا کی کلید بن جاتا ہے، اس لیے اسے مختصر اور مستقل رکھیں۔ provider('id') اور provider.chatModel('id') دونوں چیٹ ماڈل بناتے ہیں؛ ہر ماڈل کے لیے الگ سیٹ اپ نہیں۔ کلید سرور پر رکھیں۔ اس فائل کو براؤزر میں چلنے والے کوڈ میں import نہ کریں، ورنہ کلید ہر وزیٹر تک پہنچ جائے گی۔

فراہم کنندہ کی دستاویزات متن بنانے، اسٹریمنگ، ٹول کالنگ، اسٹرکچرڈ آؤٹ پٹ، ریزننگ مواد اور تصویری ان پٹ کو سپورٹ شدہ صلاحیتیں بتاتی ہیں، اس نوٹ کے ساتھ کہ ان میں سے کچھ فراہم کنندہ پر منحصر ہیں۔ BroadNet پر تصویری ان پٹ DeepSeek V4.1 Flash، Qwen3.8 27B اور Gemma 4 VL 26B کے ساتھ چلتا ہے۔ GLM 5.3 صرف متن لیتا ہے۔

سیٹ کرنے کے قابل آپشنز

  • reasoningEffort۔ اسے providerOptions کے ذریعے، فراہم کنندہ کے نام کی کلید کے نیچے پاس کریں۔ AI SDK کی دستاویزات کہتی ہیں کہ درست قدریں فراہم کنندہ پر منحصر ہیں؛ BroadNet کی دستاویزات low دکھاتی ہیں۔
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs۔ AI SDK، JSON schemas صرف تب بھیجتا ہے جب فراہم کنندہ پر یہ true ہو۔ BroadNet، اسٹرکچرڈ آؤٹ پٹ GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتا ہے۔ اسے آن کریں تو schema والے آؤٹ پٹ کے لیے یہی ماڈلز استعمال کریں۔
  • maxRetries۔ generateText بطورِ ڈیفالٹ دو بار دوبارہ کوشش کرتا ہے۔ اسے اپنی ریٹ لمٹ کے حساب سے سیٹ کریں۔
  • ریزننگ آؤٹ پٹ۔ فراہم کنندہ ریزننگ مواد لوٹائے تو AI SDK اسے پڑھتا ہے۔ ٹاپ لیول reasoningText نتیجہ فیلڈ اب deprecated ہے اور اس کی جگہ finalStep.reasoningText ہے۔ ایسی لاجک نہ بنائیں جو ریزننگ کی موجودگی پر منحصر ہو۔

کون سا ماڈل چنیں

ضرورت ماڈل کانٹیکسٹ
ٹول کالنگ، اسٹرکچرڈ آؤٹ پٹ broadnet/glm-5.3 1,048,576
تصاویر کے ساتھ ٹولز، عربی broadnet/qwen3.8-27b 262,144
لمبا کانٹیکسٹ، مقررہ قیمت والا پلان broadnet/deepseek-v4.1-flash 1,048,576
سستی متن اور تصویر کالز broadnet/gemma-4-26b-a4b 32,768

ہر ماڈل کی فی ٹوکن قیمت قیمتوں کے صفحے پر ہے۔

مسائل کا حل

  • 401۔ رن ٹائم میں BROADNET_API_KEY موجود نہیں (اپنے ہوسٹنگ فراہم کنندہ کی env سیٹنگز دیکھیں)، یا کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے، یا استعمال کے مطابق ادائیگی والا الاؤنس ختم ہو گیا ہے۔
  • providerOptions نظر انداز ہوتے ہیں۔ کلید، فراہم کنندہ کے name سے camelCase میں ملنی چاہیے۔ name: 'broadnet' کے ساتھ providerOptions.broadnet استعمال کریں۔
  • ماڈل ایررز۔ ID، broadnet/ پری فکس سمیت، BroadNet کے ID سے بالکل ملنا چاہیے۔ GLM 5.3، Qwen3.8 27B اور DeepSeek V4.1 Flash کے لیے ٹاپ اپ چاہیے؛ $5 ابتدائی کریڈٹ Gemma 4 VL 26B اور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔
  • خالی متن، finishReason “length”۔ ریزننگ نے بجٹ خرچ کر دیا۔ maxOutputTokens بڑھائیں یا reasoningEffort کم کریں۔ جوابات خالی کیوں آتے ہیں۔
  • لوڈ کے وقت 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ سرور لیس فنکشنز تیزی سے پھیلتے ہیں، اس لیے اپنی ایپ میں concurrency کی حد رکھیں۔ ایررز اور دوبارہ کوشش دیکھیں۔
  • پلان کلید پر متوازی ایجنٹس۔ ایک لامحدود پلان سیشن ایک وقت میں ایک درخواست چلاتا ہے۔ کئی ایجنٹس پر Promise.all چلانے کے لیے ہر ایجنٹ کو اپنا سیشن چاہیے، ورنہ درخواستیں قطار میں لگتی ہیں۔

عام سوالات

@ai-sdk/openai استعمال کروں یا @ai-sdk/openai-compatible؟

تھرڈ پارٹی OpenAI-compatible APIs کے لیے @ai-sdk/openai-compatible استعمال کریں۔ یہ chat completions اینڈپوائنٹ کال کرتا ہے، اور BroadNet Inference یہی فراہم کرتا ہے۔

بنایا گیا متن خالی کیوں ہے؟

BroadNet پر ریزننگ، max_tokens میں گنی جاتی ہے۔ اگر maxOutputTokens چھوٹا ہو تو ماڈل جواب شروع ہونے سے پہلے ہی اسے پورا خرچ کر سکتا ہے۔ اسے بڑھائیں یا reasoningEffort کو low پر سیٹ کریں۔

اسٹریمنگ کے دوران ٹوکن usage کیسے ملے؟

فراہم کنندہ بناتے وقت includeUsage کو true پر سیٹ کریں۔ AI SDK کی دستاویزات کہتی ہیں کہ اس سے اسٹریمنگ رسپانسز میں usage ڈیٹا شامل ہو جاتا ہے۔ اس کا ڈیفالٹ false ہے۔

کیا ہر BroadNet ماڈل کے لیے الگ سیٹ اپ چاہیے؟

نہیں۔ ایک createOpenAICompatible فراہم کنندہ تمام ماڈلز کا احاطہ کرتا ہے۔ کسی بھی BroadNet چیٹ ماڈل ID کے ساتھ broadnet('model-id') یا broadnet.chatModel('model-id') کال کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں