BroadRouter

Semantic Kernel sa BroadNet Inference

Na-update

Sa Python, gumawa ng AsyncOpenAI na may base_url na https://inference.broadnet.ai/v1 at ang BroadNet key mo, saka ipasa ito bilang async_client sa OpenAIChatCompletion na may ai_model_id na BroadNet ID gaya ng broadnet/glm-5.3. Sa C#, tawagin ang AddOpenAIChatCompletion na may endpoint Uri, na minarkahan ng Microsoft na experimental (SKEXP0010). GLM 5.3 o Qwen3.8 27B ang gamitin para sa plugins.

Ang Semantic Kernel ay SDK ng Microsoft para gumawa ng mga AI app at agent sa C#, Python at Java. Gumagana ang OpenAI connector nito sa ibang OpenAI-compatible na serbisyo: sa Python, tumatanggap ito ng sarili mong OpenAI client, at sa C#, ng custom endpoint. Karaniwang chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1, kaya gagana ang alinman sa dalawa. Ang BroadRouter ay sariling site ng BroadNet; sinusundan ng gabay na ito ang docs ng Semantic Kernel ng Microsoft at ang source ng Python 1.47.0.

Python

pip install semantic-kernel
export BROADNET_API_KEY='your-broadnet-key'
import asyncio, os
from openai import AsyncOpenAI
from semantic_kernel.connectors.ai.open_ai import OpenAIChatCompletion, OpenAIChatPromptExecutionSettings
from semantic_kernel.contents import ChatHistory

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
chat = OpenAIChatCompletion(ai_model_id="broadnet/glm-5.3", async_client=client, service_id="broadnet")

async def main():
    history = ChatHistory()
    history.add_user_message("Give me three names for a billing microservice.")
    settings = OpenAIChatPromptExecutionSettings(max_tokens=4000)
    print(await chat.get_chat_message_content(chat_history=history, settings=settings))

asyncio.run(main())

Ipinapadala nang walang pagbabago ang ai_model_id, kaya panatilihin ang broadnet/ prefix. Hindi na kailangan ang api_key argument ng OpenAIChatCompletion kapag nagpasa ka ng client.

Plugins at function calling

from semantic_kernel import Kernel
from semantic_kernel.connectors.ai.function_choice_behavior import FunctionChoiceBehavior
from semantic_kernel.functions import kernel_function

class Weather:
    @kernel_function(description="Get the weather for a city.")
    def get_weather(self, city: str) -> str:
        return f"21C in {city}"

kernel = Kernel()
kernel.add_service(chat)
kernel.add_plugin(Weather(), plugin_name="weather")
settings = OpenAIChatPromptExecutionSettings(
    max_tokens=4000,
    function_choice_behavior=FunctionChoiceBehavior.Auto(),
)
# await chat.get_chat_message_content(chat_history=history, settings=settings, kernel=kernel)

Ipinapadala ng Semantic Kernel ang plugin bilang tool na may pangalang weather-get_weather, pinapatakbo ito kapag hiniling ng model, at ibinabalik ang resulta. Gamitin ang broadnet/glm-5.3 o broadnet/qwen3.8-27b; ang dalawang ito lang ang may nakalistang tools sa docs ng BroadNet.

Agents

from semantic_kernel.agents import ChatCompletionAgent

agent = ChatCompletionAgent(service=chat, name="helper", instructions="Answer briefly.", plugins=[Weather()])
# response = await agent.get_response(messages="What's the weather in Dubai?")

C# (.NET)

Ibinibigay ng docs ng Microsoft ang pattern na ito para sa “other AI service providers that support the OpenAI chat completion API” (Salin: ibang AI service provider na sumusuporta sa OpenAI chat completion API). Hindi namin pinatakbo ang bersyong C#.

using Microsoft.SemanticKernel;

#pragma warning disable SKEXP0010
IKernelBuilder kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddOpenAIChatCompletion(
    modelId: "broadnet/glm-5.3",
    apiKey: Environment.GetEnvironmentVariable("BROADNET_API_KEY"),
    endpoint: new Uri("https://inference.broadnet.ai/v1")
);
Kernel kernel = kernelBuilder.Build();

I-install ang connector gamit ang dotnet add package Microsoft.SemanticKernel.Connectors.OpenAI.

Aling model ang pipiliin

Gamit Model
Plugins, function calling, agents broadnet/glm-5.3
Plugins kasama ang image input o Arabic na text broadnet/qwen3.8-27b
Chat at mga summary nang walang tools, flat-price na plan broadnet/deepseek-v4.1-flash

Presyo ng bawat model.

Paano namin ito sinubok

Noong 2026-11-15, nag-install kami ng semantic-kernel 1.47.0 para sa Python sa isang malinis na virtual environment at pinatakbo ang plain chat, streaming, automatic function calling at isang ChatCompletionAgent laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet. Binasa namin ang mga naka-log na request. Lahat ay pumunta sa /v1/chat/completions nang hindi nagbago ang BroadNet model ID at may Bearer key. Ipinadala ang max_tokens sa pangalang iyon, nagdagdag ang streaming ng stream_options.include_usage, at nagpadala ang function calling ng tool_choice: "auto". Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model. Galing sa docs ng Microsoft ang C# snippet at hindi ito pinatakbo.

Troubleshooting

  • 401. Mali, expired o naubusan ng allowance ang key.
  • 404. Kailangang nagtatapos sa /v1 ang base_url ng client. Suriin ang model ID. Kailangan ng top-up ang mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Walang lamang sagot. Kasama ang reasoning sa max_tokens sa DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B. Taasan ito. Bakit walang laman ang mga sagot.
  • Mga reasoning model at roles. Iminumungkahi ng docs ng Microsoft ang instruction_role="developer" para sa mga reasoning model ng OpenAI. Hindi binabanggit ng API reference ng BroadNet ang developer role, kaya iwan ang instruction_role sa default nito. Ipinadala ng agent test namin ang mga instruction sa isang system message.
  • 429. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay na tumatakbo. Tingnan ang errors and retries.

Mga tanong

Paano ko ise-set ang custom base URL sa Semantic Kernel para sa Python?

Walang base_url na argument ang OpenAIChatCompletion sa bersyon 1.47. Gumawa ng openai.AsyncOpenAI client na may base_url at api_key, at ipasa ito bilang async_client. Ipapadala na ng client na iyon ang bawat request sa BroadNet.

Bakit kailangan ng pragma ang custom endpoint sa C#?

Sabi ng docs ng Microsoft, experimental pa ang paggamit ng custom endpoints sa OpenAI connector, kaya kailangan ng endpoint overload ang

Gumagana ba ang automatic function calling sa BroadNet?

Karaniwang tool calls sa chat completions ang gamit nito, kaya gumamit ng model na nakalista sa BroadNet na may tools, GLM 5.3 o Qwen3.8 27B. Sa mock test namin, ipinadala ng Semantic Kernel ang plugin bilang tool at ibinalik ang resulta sa isang tool message.

Gumagana ba ang ChatCompletionAgent ng Semantic Kernel sa BroadNet?

Oo. Ginagamit nito ang parehong OpenAIChatCompletion service. Sa Python test namin, ipinadala nito ang mga instruction ng agent bilang system message at tinawag ang plugin sa pamamagitan ng chat completions.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity