BroadRouter
Bắt đầu

Dùng Semantic Kernel với BroadNet Inference

Cập nhật

Trong Python, hãy tạo AsyncOpenAI với base_url là https://inference.broadnet.ai/v1 và key BroadNet, rồi truyền nó làm async_client cho OpenAIChatCompletion, với ai_model_id là một ID BroadNet như broadnet/glm-5.3. Trong C#, gọi AddOpenAIChatCompletion với một endpoint Uri; Microsoft đánh dấu cách này là thử nghiệm (SKEXP0010). Dùng GLM 5.3 hoặc Qwen3.8 27B cho plugin.

Semantic Kernel là SDK của Microsoft để xây dựng ứng dụng AI và agent bằng C#, Python và Java. Connector OpenAI của nó làm việc được với các dịch vụ tương thích OpenAI khác: Python nhận client OpenAI do bạn tự tạo, còn C# nhận một endpoint tùy chỉnh. BroadNet Inference phục vụ chat completions chuẩn tại https://inference.broadnet.ai/v1, nên cách nào cũng dùng được. BroadRouter là website của chính BroadNet; bài này làm theo tài liệu Semantic Kernel của Microsoft và mã nguồn Python 1.47.0.

Python

pip install semantic-kernel
export BROADNET_API_KEY='your-broadnet-key'
import asyncio, os
from openai import AsyncOpenAI
from semantic_kernel.connectors.ai.open_ai import OpenAIChatCompletion, OpenAIChatPromptExecutionSettings
from semantic_kernel.contents import ChatHistory

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
chat = OpenAIChatCompletion(ai_model_id="broadnet/glm-5.3", async_client=client, service_id="broadnet")

async def main():
    history = ChatHistory()
    history.add_user_message("Give me three names for a billing microservice.")
    settings = OpenAIChatPromptExecutionSettings(max_tokens=4000)
    print(await chat.get_chat_message_content(chat_history=history, settings=settings))

asyncio.run(main())

ai_model_id được gửi nguyên văn, nên hãy giữ tiền tố broadnet/. Khi bạn truyền client, không cần tham số api_key của OpenAIChatCompletion.

Plugin và gọi hàm

from semantic_kernel import Kernel
from semantic_kernel.connectors.ai.function_choice_behavior import FunctionChoiceBehavior
from semantic_kernel.functions import kernel_function

class Weather:
    @kernel_function(description="Get the weather for a city.")
    def get_weather(self, city: str) -> str:
        return f"21C in {city}"

kernel = Kernel()
kernel.add_service(chat)
kernel.add_plugin(Weather(), plugin_name="weather")
settings = OpenAIChatPromptExecutionSettings(
    max_tokens=4000,
    function_choice_behavior=FunctionChoiceBehavior.Auto(),
)
# await chat.get_chat_message_content(chat_history=history, settings=settings, kernel=kernel)

Semantic Kernel gửi plugin dưới dạng tool tên weather-get_weather, chạy nó khi model yêu cầu và gửi kết quả trở lại. Hãy dùng broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b; tài liệu BroadNet chỉ liệt kê tool cho hai model này.

Agent

from semantic_kernel.agents import ChatCompletionAgent

agent = ChatCompletionAgent(service=chat, name="helper", instructions="Answer briefly.", plugins=[Weather()])
# response = await agent.get_response(messages="What's the weather in Dubai?")

C# (.NET)

Tài liệu Microsoft đưa ra mẫu này cho “other AI service providers that support the OpenAI chat completion API” (Bản dịch: các nhà cung cấp dịch vụ AI khác hỗ trợ OpenAI chat completion API). Chúng tôi chưa chạy bản C#.

using Microsoft.SemanticKernel;

#pragma warning disable SKEXP0010
IKernelBuilder kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddOpenAIChatCompletion(
    modelId: "broadnet/glm-5.3",
    apiKey: Environment.GetEnvironmentVariable("BROADNET_API_KEY"),
    endpoint: new Uri("https://inference.broadnet.ai/v1")
);
Kernel kernel = kernelBuilder.Build();

Cài connector bằng dotnet add package Microsoft.SemanticKernel.Connectors.OpenAI.

Chọn model nào

Mục đích Model
Plugin, gọi hàm, agent broadnet/glm-5.3
Plugin kèm đầu vào hình ảnh hoặc văn bản tiếng Ả Rập broadnet/qwen3.8-27b
Chat và tóm tắt không dùng tool, gói giá cố định broadnet/deepseek-v4.1-flash

Giá của mọi model.

Chúng tôi đã kiểm thử thế nào

Ngày 2026-11-15, chúng tôi cài semantic-kernel 1.47.0 cho Python trong một môi trường ảo sạch và chạy chat thường, streaming, gọi hàm tự động và một ChatCompletionAgent với một mock server cục bộ nói cùng cấu trúc chat completions của BroadNet. Chúng tôi đọc các request được ghi lại. Tất cả đều gửi tới /v1/chat/completions với model ID của BroadNet giữ nguyên và key Bearer. max_tokens được gửi đúng với tên đó, streaming thêm stream_options.include_usage, và gọi hàm gửi tool_choice: "auto". Chúng tôi không có key BroadNet, nên chưa kiểm thử đầu ra thật của model. Đoạn C# lấy từ tài liệu Microsoft và chưa được chạy.

Xử lý sự cố

  • 401. Key sai, đã hết hạn hoặc đã hết hạn mức.
  • 404. base_url của client phải kết thúc bằng /v1. Kiểm tra model ID. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • Phản hồi rỗng. Suy luận được tính vào max_tokens trên DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B. Hãy tăng giá trị này. Vì sao câu trả lời trả về rỗng.
  • Model suy luận và role. Tài liệu Microsoft gợi ý instruction_role="developer" cho các model suy luận của OpenAI. Tài liệu tham chiếu API của BroadNet không nhắc đến role developer, nên hãy để instruction_role ở giá trị mặc định. Trong thử nghiệm agent của chúng tôi, chỉ dẫn được gửi trong một system message.
  • 429. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Xem lỗi và thử lại.

Câu hỏi thường gặp

Làm sao đặt base URL tùy chỉnh trong Semantic Kernel cho Python?

OpenAIChatCompletion không có tham số base_url ở bản 1.47. Hãy tạo client openai.AsyncOpenAI với base_url và api_key, rồi truyền nó làm async_client. Client đó sẽ gửi mọi request tới BroadNet.

Vì sao endpoint tùy chỉnh trong C# cần pragma?

Tài liệu Microsoft nói việc dùng endpoint tùy chỉnh với connector OpenAI là tính năng thử nghiệm, nên overload có endpoint cần

Gọi hàm tự động có chạy với BroadNet không?

Nó dùng gọi tool chuẩn qua chat completions, nên hãy dùng model mà BroadNet liệt kê có tool, là GLM 5.3 hoặc Qwen3.8 27B. Trong thử nghiệm với mock server, Semantic Kernel gửi plugin dưới dạng tool và trả kết quả về trong một tool message.

ChatCompletionAgent của Semantic Kernel có chạy trên BroadNet không?

Có. Nó nhận cùng dịch vụ OpenAIChatCompletion. Trong thử nghiệm Python của chúng tôi, nó gửi chỉ dẫn của agent dưới dạng system message và gọi plugin qua chat completions.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity