Vercel का AI SDK LLM ऐप बनाने के लिए एक TypeScript टूलकिट है। इसका @ai-sdk/openai-compatible पैकेज OpenAI chat-completions फ़ॉर्मैट मानने वाले किसी भी API के लिए प्रोवाइडर बनाता है। BroadNet Inference यही फ़ॉर्मैट मानता है, इसलिए आपको सिर्फ़ base URL, key और मॉडल ID बदलने हैं। अगर आप सादा OpenAI क्लाइंट इस्तेमाल करना चाहते हैं, तो Node SDK गाइड देखें।
सेटअप
-
पैकेज इंस्टॉल करें। यह लिखते समय npm पर
ai7.x और@ai-sdk/openai-compatible3.x उपलब्ध हैं।npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
प्रोवाइडर बनाएँ। नीचे
includeUsageवाली टिप्पणी का मतलब है कि स्ट्रीमिंग रिस्पॉन्स में usage डेटा आएगा।// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
टेक्स्ट जनरेट करें।
maxOutputTokensवाली टिप्पणी याद दिलाती है कि रीज़निंग भी इसी सीमा में गिनी जाती है।import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
स्ट्रीम करें।
generateTextकी जगहstreamTextलगाएँ औरtextStreamपढ़ें। नीचे का वायर फ़ॉर्मैट स्ट्रीमिंग गाइड में समझाया गया है।
आप जो name देते हैं, वही प्रोवाइडर ऑप्शन और प्रोवाइडर मेटाडेटा की key बन जाता है, इसलिए इसे छोटा और स्थिर रखें। provider('id') और provider.chatModel('id') दोनों चैट मॉडल बनाते हैं; हर मॉडल के लिए अलग सेटअप नहीं है। key सर्वर पर रखें। इस फ़ाइल को ब्राउज़र में चलने वाले कोड में import न करें, वरना key हर विज़िटर तक पहुँच जाएगी।
प्रोवाइडर डॉक्स टेक्स्ट जनरेशन, स्ट्रीमिंग, टूल कॉलिंग, स्ट्रक्चर्ड आउटपुट, रीज़निंग कंटेंट और इमेज इनपुट को सपोर्टेड क्षमताएँ बताते हैं, इस नोट के साथ कि इनमें से कुछ प्रोवाइडर पर निर्भर हैं। BroadNet पर इमेज इनपुट DeepSeek V4.1 Flash, Qwen3.8 27B और Gemma 4 VL 26B के साथ चलता है। GLM 5.3 सिर्फ़ टेक्स्ट लेता है।
सेट करने लायक विकल्प
- reasoningEffort. इसे
providerOptionsसे पास करें, प्रोवाइडर के नाम की key के नीचे। AI SDK के डॉक्स कहते हैं कि सटीक वैल्यू प्रोवाइडर पर निर्भर हैं; BroadNet के डॉक्सlowदिखाते हैं।
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. AI SDK, JSON schema सिर्फ़ तभी भेजता है जब प्रोवाइडर पर यह
trueहो। BroadNet, स्ट्रक्चर्ड आउटपुट GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करता है। इसे चालू करें, तो schema वाले आउटपुट के लिए यही मॉडल इस्तेमाल करें। - maxRetries.
generateTextडिफ़ॉल्ट रूप से दो बार रीट्राई करता है। इसे अपनी रेट लिमिट के हिसाब से सेट करें। - रीज़निंग आउटपुट. प्रोवाइडर रीज़निंग कंटेंट लौटाए, तो AI SDK उसे पढ़ता है। टॉप-लेवल
reasoningTextरिज़ल्ट फ़ील्ड अब deprecated है और उसकी जगहfinalStep.reasoningTextहै। ऐसा लॉजिक न बनाएँ जो रीज़निंग के मौजूद होने पर टिका हो।
कौन-सा मॉडल चुनें
| ज़रूरत | मॉडल | कॉन्टेक्स्ट |
|---|---|---|
| टूल कॉलिंग, स्ट्रक्चर्ड आउटपुट | broadnet/glm-5.3 |
1,048,576 |
| इमेज के साथ टूल, अरबी | broadnet/qwen3.8-27b |
262,144 |
| लंबा कॉन्टेक्स्ट, फ़्लैट-रेट प्लान | broadnet/deepseek-v4.1-flash |
1,048,576 |
| सस्ती टेक्स्ट और इमेज कॉल | broadnet/gemma-4-26b-a4b |
32,768 |
हर मॉडल की प्रति-टोकन कीमत प्राइसिंग पेज पर है।
समस्या का समाधान
- 401. रनटाइम में
BROADNET_API_KEYमौजूद नहीं है (अपने होस्टिंग प्रोवाइडर की env सेटिंग देखें), या key ग़लत है, एक्सपायर हो गई है, या उसका उपयोग के अनुसार भुगतान वाला अलाउंस ख़त्म हो गया है। - providerOptions अनदेखा होता है। key, प्रोवाइडर के
nameसे camelCase में मिलनी चाहिए।name: 'broadnet'के साथproviderOptions.broadnetइस्तेमाल करें। - मॉडल एरर. ID,
broadnet/प्रीफ़िक्स समेत, BroadNet के ID से हूबहू मिलना चाहिए। GLM 5.3, Qwen3.8 27B और DeepSeek V4.1 Flash के लिए टॉप-अप चाहिए; $5 शुरुआती क्रेडिट Gemma 4 VL 26B और दो Transcribe मॉडल को कवर करता है। - ख़ाली टेक्स्ट, finishReason “length”. रीज़निंग ने बजट ख़र्च कर दिया।
maxOutputTokensबढ़ाएँ याreasoningEffortघटाएँ। जवाब ख़ाली क्यों आते हैं। - लोड के समय 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। सर्वरलेस फ़ंक्शन तेज़ी से स्केल होते हैं, इसलिए अपने ऐप में concurrency की सीमा रखें। एरर और रीट्राई देखें।
- प्लान key पर पैरेलल एजेंट. एक अनलिमिटेड प्लान सेशन एक समय में एक अनुरोध चलाता है। कई एजेंट पर
Promise.allचलाने के लिए हर एजेंट को अपना सेशन चाहिए, वरना अनुरोध कतार में लगते हैं।
