BroadRouter
开始使用

在 BroadNet Inference 上使用 Semantic Kernel

更新于

Python 中,用 base_url https://inference.broadnet.ai/v1 和你的 BroadNet 密钥创建 AsyncOpenAI,再作为 async_client 传给 OpenAIChatCompletion,ai_model_id 设为 BroadNet ID,例如 broadnet/glm-5.3。C# 中,调用带 endpoint Uri 的 AddOpenAIChatCompletion,微软将其标为实验性(SKEXP0010)。插件请用 GLM 5.3 或 Qwen3.8 27B。

Semantic Kernel 是微软用于在 C#、Python 和 Java 中构建 AI 应用和智能体的 SDK。它的 OpenAI 连接器也能用于其他 OpenAI 兼容服务:Python 版接受你自己创建的 OpenAI 客户端,C# 版接受自定义端点。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的对话补全,所以两种方式都可行。BroadRouter 是 BroadNet 自己的网站;本文依据微软的 Semantic Kernel 文档和 Python 1.47.0 源码。

Python

pip install semantic-kernel
export BROADNET_API_KEY='your-broadnet-key'
import asyncio, os
from openai import AsyncOpenAI
from semantic_kernel.connectors.ai.open_ai import OpenAIChatCompletion, OpenAIChatPromptExecutionSettings
from semantic_kernel.contents import ChatHistory

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
chat = OpenAIChatCompletion(ai_model_id="broadnet/glm-5.3", async_client=client, service_id="broadnet")

async def main():
    history = ChatHistory()
    history.add_user_message("Give me three names for a billing microservice.")
    settings = OpenAIChatPromptExecutionSettings(max_tokens=4000)
    print(await chat.get_chat_message_content(chat_history=history, settings=settings))

asyncio.run(main())

ai_model_id 会原样发送,所以请保留 broadnet/ 前缀。传入客户端后,就不需要 OpenAIChatCompletion 的 api_key 参数了。

插件与函数调用

from semantic_kernel import Kernel
from semantic_kernel.connectors.ai.function_choice_behavior import FunctionChoiceBehavior
from semantic_kernel.functions import kernel_function

class Weather:
    @kernel_function(description="Get the weather for a city.")
    def get_weather(self, city: str) -> str:
        return f"21C in {city}"

kernel = Kernel()
kernel.add_service(chat)
kernel.add_plugin(Weather(), plugin_name="weather")
settings = OpenAIChatPromptExecutionSettings(
    max_tokens=4000,
    function_choice_behavior=FunctionChoiceBehavior.Auto(),
)
# await chat.get_chat_message_content(chat_history=history, settings=settings, kernel=kernel)

Semantic Kernel 会把插件作为名为 weather-get_weather 的工具发送,在模型请求时运行它,再把结果发回去。请使用 broadnet/glm-5.3 或 broadnet/qwen3.8-27b;BroadNet 的文档只为这两个模型列出了工具支持。

智能体

from semantic_kernel.agents import ChatCompletionAgent

agent = ChatCompletionAgent(service=chat, name="helper", instructions="Answer briefly.", plugins=[Weather()])
# response = await agent.get_response(messages="What's the weather in Dubai?")

C#(.NET)

微软的文档为 “other AI service providers that support the OpenAI chat completion API”(译文:支持 OpenAI chat completion API 的其他 AI 服务商)给出了下面的写法。我们没有运行 C# 版本。

using Microsoft.SemanticKernel;

#pragma warning disable SKEXP0010
IKernelBuilder kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddOpenAIChatCompletion(
    modelId: "broadnet/glm-5.3",
    apiKey: Environment.GetEnvironmentVariable("BROADNET_API_KEY"),
    endpoint: new Uri("https://inference.broadnet.ai/v1")
);
Kernel kernel = kernelBuilder.Build();

用 dotnet add package Microsoft.SemanticKernel.Connectors.OpenAI 安装连接器。

选哪个模型

用途 模型
插件、函数调用、智能体 broadnet/glm-5.3
插件加图片输入或阿拉伯语文本 broadnet/qwen3.8-27b
不用工具的对话和摘要,固定价格套餐 broadnet/deepseek-v4.1-flash

各模型价格。

我们是怎么测试的

2026-11-15,我们在一个干净的虚拟环境中安装了 Python 版 semantic-kernel 1.47.0,针对一个模拟 BroadNet chat completions 格式的本地 mock 服务器,运行了普通对话、流式输出、自动函数调用和一个 ChatCompletionAgent。我们查看了记录下来的请求:全部发到了 /v1/chat/completions,BroadNet 模型 ID 原样未变,带 Bearer 密钥。max_tokens 以这个名称发送,流式输出会加上 stream_options.include_usage,函数调用发送了 tool_choice: "auto"。我们没有 BroadNet 密钥,因此没有测试真实的模型输出。C# 代码片段来自微软的文档,未经运行。

故障排查

  • 401。 密钥错误、已过期或额度已用完。
  • 404。 客户端的 base_url 必须以 /v1 结尾。检查模型 ID。付费模型需要先充值;$5 额度只能用于 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • 回复为空。 在 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 上,思考内容计入 max_tokens。请调高它。为什么回答会是空的。
  • 推理模型与角色。 微软的文档建议对 OpenAI 的推理模型使用 instruction_role="developer"。BroadNet 的 API 参考文档没有提到 developer 角色,所以请把 instruction_role 保持为默认值。我们的智能体测试是用 system 消息发送 instructions 的。
  • 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个在处理中。参见错误码与重试。

常见问题

Python 版 Semantic Kernel 怎么设置自定义 base URL?

1.47 版的 OpenAIChatCompletion 没有 base_url 参数。先用 base_url 和 api_key 创建一个 openai.AsyncOpenAI 客户端,再把它作为 async_client 传入。之后所有请求都会经由这个客户端发往 BroadNet。

为什么 C# 的自定义端点需要加 pragma?

微软的文档说,在 OpenAI 连接器中使用自定义端点属于实验性功能,所以带 endpoint 的重载需要 #pragma warning disable SKEXP0010。

自动函数调用在 BroadNet 上能用吗?

它通过 chat completions 使用标准的工具调用,所以请用 BroadNet 列出了工具支持的模型:GLM 5.3 或 Qwen3.8 27B。在我们的 mock 测试中,Semantic Kernel 把插件作为工具发送,并在 tool 消息中返回结果。

Semantic Kernel 的 ChatCompletionAgent 能在 BroadNet 上运行吗?

能。它使用同一个 OpenAIChatCompletion 服务。在我们的 Python 测试中,它把智能体的 instructions 作为 system 消息发送,并通过 chat completions 调用了插件。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity