BroadRouter

Chạy smolagents trên BroadNet Inference với OpenAIModel

Cập nhật

Hãy tạo OpenAIModel của smolagents với model_id là một ID BroadNet như broadnet/glm-5.3, api_base là https://inference.broadnet.ai/v1 và api_key là key BroadNet, rồi truyền nó cho CodeAgent hoặc ToolCallingAgent. CodeAgent viết code Python thay vì gọi tool native, nên chạy được trên DeepSeek V4.1 Flash. ToolCallingAgent cần GLM 5.3 hoặc Qwen3.8 27B.

smolagents là thư viện Python nhỏ gọn của Hugging Face để xây dựng agent. Lớp OpenAIModel của nó “connects to an OpenAI-compatible API server” (Bản dịch: kết nối tới một server API tương thích OpenAI), với api_base để chỉ định URL. BroadNet Inference phục vụ chat completions tại https://inference.broadnet.ai/v1, nên dùng được ngay. BroadRouter là website của chính BroadNet; bài này làm theo tài liệu smolagents 1.26.0.

Cài đặt

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent yêu cầu model viết code Python giữa các thẻ <code> rồi chạy code đó trên máy. Request là một chat completion thường với các stop sequence như </code>, và không có trường tools. Nghĩa là nó không phụ thuộc vào gọi tool native, nên chạy được trên broadnet/deepseek-v4.1-flash, model của các gói không giới hạn của BroadNet. Chất lượng code vẫn khác nhau tùy model, nên hãy thử với chính các task của bạn.

CodeAgent chạy code do model viết. Hãy đọc hướng dẫn của smolagents về chạy code an toàn trước khi cho nó các tool đụng tới file, mạng hoặc thông tin đăng nhập.

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent gửi các tool của bạn, cùng tool final_answer của chính nó, dưới dạng function schema với tool_choice: "required". Hãy dùng broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b; tài liệu BroadNet chỉ liệt kê tool cho hai model này.

Chọn model nào

Agent Model
CodeAgent, chạy dài trên gói giá cố định broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
Agent nào cũng được, cần đầu vào hình ảnh broadnet/qwen3.8-27b

Một phiên của gói chạy một request tại một thời điểm, và agent gửi các bước lần lượt từng cái một, nên một phiên vừa cho một agent. Giá của mọi model.

Chúng tôi đã kiểm thử thế nào

Ngày 2026-11-15, chúng tôi cài smolagents 1.26.0 trong một môi trường ảo sạch và chạy cả hai agent với một mock server cục bộ nói cùng cấu trúc chat completions của BroadNet. CodeAgent dùng ID DeepSeek nhận một câu trả lời chứa code, chạy nó và trả về 42. Các request của nó có max_tokens: 4000, stop sequence và không có tool. Với ToolCallingAgent, chúng tôi kiểm tra cấu trúc request: model ID được gửi nguyên văn, kèm cả hai tool schema và tool_choice: "required". smolagents gửi kết quả tool trở lại dưới dạng user message. Mock server của chúng tôi không theo định dạng đó, nên chúng tôi chưa chạy agent này tới câu trả lời cuối cùng. Chúng tôi không có key BroadNet, nên chưa kiểm thử đầu ra thật của model.

Xử lý sự cố

  • 401. Key sai, đã hết hạn hoặc đã hết hạn mức.
  • 404. api_base phải kết thúc bằng /v1. Kiểm tra model ID. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • “Make sure to provide correct code blobs”. Câu trả lời của model không có khối code. Hãy tăng max_tokens, vì suy luận được tính vào đó, hoặc thử model khác. Vì sao câu trả lời trả về rỗng.
  • ToolCallingAgent không bao giờ kết thúc. Hãy chuyển sang broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b.
  • 429. Key trả theo mức dùng cho phép 30 request mỗi phút. smolagents có thể tự giới hạn tốc độ bằng requests_per_minute. Xem lỗi và thử lại.

Câu hỏi thường gặp

Dùng OpenAIModel hay OpenAIServerModel?

smolagents 1.26 mô tả OpenAIModel cho mọi server tương thích OpenAI. Package vẫn còn export OpenAIServerModel, nhưng tài liệu mô tả OpenAIModel.

smolagents có chạy được trên gói không giới hạn của BroadNet không?

Các gói dùng DeepSeek V4.1 Flash. BroadNet không liệt kê gọi tool cho model này, nhưng CodeAgent không cần gọi tool native; nó yêu cầu model viết code Python. Trong thử nghiệm với mock server, một CodeAgent dùng ID DeepSeek đã gửi các request chat thường, không có trường tools.

Vì sao ToolCallingAgent cần GLM 5.3 hoặc Qwen3.8 27B?

Nó gửi tool dưới dạng function schema của OpenAI với tool_choice là required. Tài liệu BroadNet chỉ liệt kê tool cho GLM 5.3 và Qwen3.8 27B.

Truyền max_tokens hoặc temperature thế nào?

Truyền dưới dạng keyword argument cho OpenAIModel. Tài liệu smolagents nói các tham số thêm được chuyển tiếp tới mọi lần gọi completion. Trong thử nghiệm của chúng tôi, max_tokens=4000 được gửi kèm mỗi request.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity