BroadRouter

Semantic Kernel को BroadNet Inference के साथ इस्तेमाल करें

अपडेट किया गया

Python में base_url https://inference.broadnet.ai/v1 और अपनी BroadNet key के साथ AsyncOpenAI बनाएँ, फिर उसे async_client के रूप में OpenAIChatCompletion को दें, ai_model_id को broadnet/glm-5.3 जैसे BroadNet ID पर रखकर। C# में endpoint Uri के साथ AddOpenAIChatCompletion कॉल करें, जिसे Microsoft एक्सपेरिमेंटल (SKEXP0010) बताता है। प्लगइन के लिए GLM 5.3 या Qwen3.8 27B लें।

Semantic Kernel, C#, Python और Java में AI ऐप और एजेंट बनाने के लिए Microsoft का SDK है। इसका OpenAI कनेक्टर दूसरी OpenAI-कम्पैटिबल सर्विस के साथ भी चलता है: Python आपका अपना OpenAI क्लाइंट लेता है, और C# एक कस्टम endpoint। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions देता है, इसलिए दोनों रास्ते काम करते हैं। BroadRouter, BroadNet की अपनी साइट है; यह गाइड Microsoft के Semantic Kernel डॉक्स और Python 1.47.0 के सोर्स पर आधारित है।

Python

pip install semantic-kernel
export BROADNET_API_KEY='your-broadnet-key'
import asyncio, os
from openai import AsyncOpenAI
from semantic_kernel.connectors.ai.open_ai import OpenAIChatCompletion, OpenAIChatPromptExecutionSettings
from semantic_kernel.contents import ChatHistory

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
chat = OpenAIChatCompletion(ai_model_id="broadnet/glm-5.3", async_client=client, service_id="broadnet")

async def main():
    history = ChatHistory()
    history.add_user_message("Give me three names for a billing microservice.")
    settings = OpenAIChatPromptExecutionSettings(max_tokens=4000)
    print(await chat.get_chat_message_content(chat_history=history, settings=settings))

asyncio.run(main())

ai_model_id बिना बदलाव के भेजा जाता है, इसलिए broadnet/ प्रीफ़िक्स रहने दें। जब आप क्लाइंट देते हैं, तो OpenAIChatCompletion के api_key आर्ग्युमेंट की ज़रूरत नहीं।

प्लगइन और फ़ंक्शन कॉलिंग

from semantic_kernel import Kernel
from semantic_kernel.connectors.ai.function_choice_behavior import FunctionChoiceBehavior
from semantic_kernel.functions import kernel_function

class Weather:
    @kernel_function(description="Get the weather for a city.")
    def get_weather(self, city: str) -> str:
        return f"21C in {city}"

kernel = Kernel()
kernel.add_service(chat)
kernel.add_plugin(Weather(), plugin_name="weather")
settings = OpenAIChatPromptExecutionSettings(
    max_tokens=4000,
    function_choice_behavior=FunctionChoiceBehavior.Auto(),
)
# await chat.get_chat_message_content(chat_history=history, settings=settings, kernel=kernel)

Semantic Kernel प्लगइन को weather-get_weather नाम के टूल के रूप में भेजता है, मॉडल के माँगने पर उसे चलाता है, और नतीजा वापस भेजता है। broadnet/glm-5.3 या broadnet/qwen3.8-27b इस्तेमाल करें; BroadNet के डॉक्स सिर्फ़ इन दोनों के लिए टूल सूचीबद्ध करते हैं।

एजेंट

from semantic_kernel.agents import ChatCompletionAgent

agent = ChatCompletionAgent(service=chat, name="helper", instructions="Answer briefly.", plugins=[Weather()])
# response = await agent.get_response(messages="What's the weather in Dubai?")

C# (.NET)

Microsoft के डॉक्स यह पैटर्न “other AI service providers that support the OpenAI chat completion API” (अनुवाद: ऐसे दूसरे AI सर्विस प्रोवाइडर जो OpenAI chat completion API सपोर्ट करते हैं) के लिए देते हैं। हमने C# वर्ज़न नहीं चलाया।

using Microsoft.SemanticKernel;

#pragma warning disable SKEXP0010
IKernelBuilder kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddOpenAIChatCompletion(
    modelId: "broadnet/glm-5.3",
    apiKey: Environment.GetEnvironmentVariable("BROADNET_API_KEY"),
    endpoint: new Uri("https://inference.broadnet.ai/v1")
);
Kernel kernel = kernelBuilder.Build();

कनेक्टर dotnet add package Microsoft.SemanticKernel.Connectors.OpenAI से इंस्टॉल करें।

कौन-सा मॉडल चुनें

इस्तेमाल मॉडल
प्लगइन, फ़ंक्शन कॉलिंग, एजेंट broadnet/glm-5.3
प्लगइन के साथ इमेज इनपुट या अरबी टेक्स्ट broadnet/qwen3.8-27b
बिना टूल के चैट और सारांश, फ़्लैट-प्राइस प्लान broadnet/deepseek-v4.1-flash

हर मॉडल की कीमतें।

हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने एक साफ़ वर्चुअल एनवायरनमेंट में Python के लिए semantic-kernel 1.47.0 इंस्टॉल किया और सादी चैट, स्ट्रीमिंग, ऑटोमैटिक फ़ंक्शन कॉलिंग और एक ChatCompletionAgent को एक लोकल मॉक सर्वर पर चलाया, जो BroadNet के chat-completions ढाँचे में जवाब देता है। हमने लॉग हुए अनुरोध पढ़े। सभी /v1/chat/completions पर गए, BroadNet मॉडल ID बिना बदलाव के और Bearer key के साथ। max_tokens इसी नाम से भेजा गया, स्ट्रीमिंग ने stream_options.include_usage जोड़ा, और फ़ंक्शन कॉलिंग ने tool_choice: "auto" भेजा। हमारे पास BroadNet key नहीं थी, इसलिए हमने असली मॉडल आउटपुट टेस्ट नहीं किया। C# स्निपेट Microsoft के डॉक्स से है और चलाया नहीं गया।

समस्या का समाधान

  • 401. key ग़लत है, एक्सपायर हो गई है या अलाउंस ख़त्म हो गया है।
  • 404. क्लाइंट का base_url /v1 पर ख़त्म होना चाहिए। मॉडल ID जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल को कवर करता है।
  • ख़ाली जवाब. DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पर रीज़निंग max_tokens में गिनी जाती है। इसे बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • रीज़निंग मॉडल और रोल. Microsoft के डॉक्स OpenAI के रीज़निंग मॉडल के लिए instruction_role="developer" सुझाते हैं। BroadNet का API रेफ़रंस developer रोल का ज़िक्र नहीं करता, इसलिए instruction_role को डिफ़ॉल्ट पर रहने दें। हमारे एजेंट टेस्ट ने निर्देश system मैसेज में भेजे।
  • 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

Python वाले Semantic Kernel में कस्टम base URL कैसे सेट करें?

वर्ज़न 1.47 में OpenAIChatCompletion का कोई base_url आर्ग्युमेंट नहीं है। base_url और api_key के साथ एक openai.AsyncOpenAI क्लाइंट बनाएँ और उसे async_client के रूप में दें। फिर वह क्लाइंट हर अनुरोध BroadNet को भेजता है।

C# कस्टम endpoint को pragma क्यों चाहिए?

Microsoft के डॉक्स कहते हैं कि OpenAI कनेक्टर के साथ कस्टम endpoint इस्तेमाल करना एक्सपेरिमेंटल है, इसलिए endpoint वाले overload को #pragma warning disable SKEXP0010 चाहिए।

क्या BroadNet के साथ ऑटोमैटिक फ़ंक्शन कॉलिंग चलती है?

यह chat completions पर स्टैंडर्ड टूल कॉल इस्तेमाल करती है, इसलिए ऐसा मॉडल लें जिसे BroadNet टूल के साथ सूचीबद्ध करता है: GLM 5.3 या Qwen3.8 27B। हमारे मॉक टेस्ट में Semantic Kernel ने प्लगइन को टूल के रूप में भेजा और नतीजा tool मैसेज में लौटाया।

क्या Semantic Kernel का ChatCompletionAgent BroadNet पर चलता है?

हाँ। यह वही OpenAIChatCompletion सर्विस लेता है। हमारे Python टेस्ट में इसने एजेंट के निर्देश system मैसेज के रूप में भेजे और chat completions के ज़रिए प्लगइन कॉल किया।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें