BroadRouter
शुरू करें

OpenAI-API-compatible प्लगइन से Dify में BroadNet Inference जोड़ें

अपडेट किया गया

Dify में Integrations, Model Provider से OpenAI-API-compatible प्लगइन इंस्टॉल करें, फिर Add Model पर क्लिक करें। टाइप LLM चुनें, broadnet/glm-5.3 जैसा BroadNet मॉडल ID, अपनी BroadNet key और API Base URL https://inference.broadnet.ai/v1 डालें। Completion mode को Chat, असली कॉन्टेक्स्ट साइज़, रीज़निंग की जगह वाली आउटपुट सीमा सेट करें, और Tool Call सिर्फ़ GLM 5.3 या Qwen3.8 27B के लिए चुनें।

Dify, LLM ऐप और वर्कफ़्लो बनाने का एक ओपन-सोर्स प्लेटफ़ॉर्म है। जिन प्रोवाइडर को Dify नाम से सूचीबद्ध नहीं करता, वे OpenAI-API-compatible मॉडल प्रोवाइडर प्लगइन से जोड़े जाते हैं, जिसे Dify की टीम (langgenius) प्रकाशित करती है। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions सर्व करता है, इसलिए यह इसमें फ़िट होता है। BroadRouter, BroadNet की अपनी साइट है; नीचे के फ़ील्ड नाम प्लगइन के वर्ज़न 0.0.83 से लिए गए हैं।

सेटअप

  1. key लें। BroadNet कंसोल में उपयोग के अनुसार भुगतान वाली key बनाएँ।

  2. प्लगइन इंस्टॉल करें। Dify में Integrations > Model Provider पर जाएँ, इंस्टॉल किए जा सकने वाले प्रोवाइडर में OpenAI-API-compatible ढूँढें (या इसे Marketplace में खोलें), और इंस्टॉल करें। इसके लिए आपको वर्कस्पेस का owner या admin होना चाहिए।

  3. मॉडल जोड़ें। प्रोवाइडर कार्ड पर Add Model पर क्लिक करें और ये भरें:

    फ़ील्ड वैल्यू
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key आपकी BroadNet key
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. सेव करें। मॉडल जोड़ने से पहले Dify क्रेडेंशियल जाँचता है।

  5. टेस्ट करें। एक Chatbot ऐप बनाएँ, मॉडल पिकर में GLM 5.3 (BroadNet) चुनें और प्रीव्यू पेन में एक मैसेज भेजें।

हर BroadNet मॉडल के लिए Add Model दोहराएँ। मॉडल का नाम हूबहू BroadNet के ID से मिलना चाहिए, broadnet/ प्रीफ़िक्स समेत।

हर मॉडल की वैल्यू

Model Name कॉन्टेक्स्ट साइज़ Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (टेस्ट नहीं किया गया) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

ये वैल्यू क्यों:

  • Context size प्लगइन में डिफ़ॉल्ट रूप से 4,096 है। इसे वैसा ही छोड़ने पर Dify मेमोरी और रिट्रीव किए गए कॉन्टेक्स्ट को मॉडल की क्षमता से बहुत कम पर काट देता है।
  • Upper bound for max tokens का डिफ़ॉल्ट भी 4,096 है। तीन मॉडल जवाब से पहले रीज़निंग करते हैं, और रीज़निंग इस सीमा में गिनी जाती है, इसलिए उन्हें जगह दें। 16,000 हमारा सुझाव है, BroadNet की सीमा नहीं।
  • Token parameter name को max_tokens पर रखना BroadNet के API रेफ़रंस के फ़ील्ड से मेल खाता है। प्लगइन का डिफ़ॉल्ट मॉडल के नाम से अंदाज़ा लगाना है।
  • API Type को Chat Completions पर ही रहने दें। BroadNet, Responses API सूचीबद्ध नहीं करता।

ट्रांसक्रिप्शन

यह प्लगइन speech-to-text मॉडल भी जोड़ सकता है। BroadNet /v1/audio/transcriptions सर्व करता है, अरबी के लिए broadnet/cohere-transcribe-arabic और 14 भाषाओं के लिए broadnet/cohere-transcribe के साथ। प्लगइन का README कहता है कि speech-to-text के लिए वह वर्ज़न पाथ ख़ुद जोड़ता है, इसलिए उसका उदाहरण बिना /v1 वाला होस्ट इस्तेमाल करता है (यहाँ https://inference.broadnet.ai)। हमने यह रास्ता Dify से टेस्ट नहीं किया है; पहले किसी छोटी WAV फ़ाइल से जाँच लें। अरबी speech-to-text गाइड देखें।

समस्या का समाधान

  • क्रेडेंशियल जाँच फ़ेल होती है. key, API Base URL (LLM के लिए यह /v1 पर ख़त्म होता है) और मॉडल का नाम जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल को कवर करता है।
  • वर्कफ़्लो में ख़ाली जवाब. रीज़निंग मॉडल के लिए LLM नोड का max tokens बहुत कम है। इसे बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • Agent नोड कभी टूल कॉल नहीं करता. Function Call Type को Tool Call पर रखकर GLM 5.3 या Qwen3.8 27B इस्तेमाल करें।
  • लोड पर 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। पैरेलल ब्रांच और iteration नोड इससे आगे जा सकते हैं; उनकी पैरेललिज़्म घटाएँ। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

क्या BroadNet, Dify Cloud और सेल्फ़-होस्टेड Dify दोनों पर चलता है?

हाँ। BroadNet Inference एक सार्वजनिक HTTPS एंडपॉइंट है, इसलिए Dify Cloud उस तक पहुँच सकता है। Dify के डॉक्स कहते हैं कि मॉडल प्रोवाइडर सिर्फ़ वर्कस्पेस के owner और admin मैनेज कर सकते हैं, और जो key आप जोड़ते हैं वह पूरे वर्कस्पेस में काम करती है।

क्या API Base URL में /v1 होना चाहिए?

हाँ, LLM मॉडल के लिए। प्लगइन के अपने उदाहरण चैट मॉडल के लिए /v1 पर ख़त्म होने वाला base URL इस्तेमाल करते हैं, और उसका README चेतावनी देता है कि कुछ दूसरे मॉडल टाइप के लिए वह वर्ज़न पाथ ख़ुद जोड़ता है।

कौन-सा Function Call Type चुनें?

GLM 5.3 और Qwen3.8 27B के लिए Tool Call, जिन्हें BroadNet टूल के साथ सूचीबद्ध करता है। DeepSeek V4.1 Flash के लिए Not Support चुनें, जब तक आपने उस पर टूल कॉल ख़ुद टेस्ट न किए हों।

क्या Dify के AI क्रेडिट BroadNet मॉडल पर लागू होते हैं?

नहीं। Dify के डॉक्स कहते हैं कि आपके अपने अकाउंट पर चलने वाले प्रोवाइडर पर AI क्रेडिट लागू नहीं होते। बिल BroadNet उस key पर बनाता है जो आप डालते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें