BroadRouter

用 OpenAIModel 在 BroadNet Inference 上运行 smolagents

更新于

创建 smolagents 的 OpenAIModel:model_id 设为 BroadNet ID(如 broadnet/glm-5.3),api_base 设为 https://inference.broadnet.ai/v1,api_key 填 BroadNet 密钥,再传给 CodeAgent 或 ToolCallingAgent。CodeAgent 让模型写 Python 而不是原生工具调用,所以能在 DeepSeek V4.1 Flash 上运行。ToolCallingAgent 需要 GLM 5.3 或 Qwen3.8 27B。

smolagents 是 Hugging Face 推出的轻量 Python 智能体库。它的 OpenAIModel 类 “connects to an OpenAI-compatible API server”(译文:连接到 OpenAI 兼容的 API 服务器),用 api_base 指定 URL。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供对话补全,所以可以直接使用。BroadRouter 是 BroadNet 自己的网站;本文依据 smolagents 1.26.0 的文档。

安装

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent 让模型在 <code> 标签之间写 Python 代码,并在本地运行。请求是普通的对话补全,带有 </code> 之类的停止序列,没有 tools 字段。也就是说,它不依赖原生工具调用,因此可以在 broadnet/deepseek-v4.1-flash 上运行,这正是 BroadNet 不限量套餐所用的模型。不同模型写出的代码质量仍有差别,请用你自己的任务测试。

CodeAgent 会运行模型写出的代码。在给它接触文件、网络或凭据的工具之前,请先阅读 smolagents 关于安全执行代码的指南。

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent 会把你的工具连同它自带的 final_answer 工具一起作为函数 schema 发送,并设置 tool_choice: "required"。请使用 broadnet/glm-5.3 或 broadnet/qwen3.8-27b;BroadNet 的文档只为这两个模型列出了工具支持。

选哪个模型

智能体 模型
CodeAgent,在固定价格套餐上长时间运行 broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
任一智能体,需要图片输入 broadnet/qwen3.8-27b

一个套餐会话同一时间只处理一个请求,而智能体是一步接一步地发送请求,所以一个会话正好对应一个智能体。各模型价格。

我们是怎么测试的

2026-11-15,我们在一个干净的虚拟环境中安装了 smolagents 1.26.0,针对一个模拟 BroadNet chat completions 格式的本地 mock 服务器运行了两种智能体。使用 DeepSeek ID 的 CodeAgent 收到了一段代码回复,运行后返回了 42。它的请求带有 max_tokens: 4000 和停止序列,没有工具。对于 ToolCallingAgent,我们检查了请求格式:模型 ID 原样发送,带有两个工具 schema 和 tool_choice: "required"。smolagents 会把工具结果作为 user 消息发回。我们的 mock 没有遵循这种格式,所以没有把这个智能体运行到得出最终答案。我们没有 BroadNet 密钥,因此没有测试真实的模型输出。

故障排查

  • 401。 密钥错误、已过期或额度已用完。
  • 404。 api_base 必须以 /v1 结尾。检查模型 ID。付费模型需要先充值;$5 额度只能用于 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • “Make sure to provide correct code blobs”。 模型的回复里没有代码块。调高 max_tokens(思考内容计入其中),或者换一个模型。为什么回答会是空的。
  • ToolCallingAgent 一直不结束。 换成 broadnet/glm-5.3 或 broadnet/qwen3.8-27b。
  • 429。 按量付费密钥每分钟允许 30 个请求。smolagents 可以用 requests_per_minute 自行限速。参见错误码与重试。

常见问题

该用 OpenAIModel 还是 OpenAIServerModel?

smolagents 1.26 的文档用 OpenAIModel 连接任何 OpenAI 兼容服务器。包里仍然导出 OpenAIServerModel,但文档介绍的是 OpenAIModel。

smolagents 能在 BroadNet 不限量套餐上运行吗?

套餐覆盖 DeepSeek V4.1 Flash。BroadNet 没有为它列出工具调用,但 CodeAgent 不需要原生工具调用,它是让模型写 Python 代码。在我们的 mock 测试中,使用 DeepSeek ID 的 CodeAgent 发送的是普通对话请求,不带 tools 字段。

为什么 ToolCallingAgent 需要 GLM 5.3 或 Qwen3.8 27B?

它把工具作为 OpenAI 函数 schema 发送,并把 tool_choice 设为 required。BroadNet 的文档只为 GLM 5.3 和 Qwen3.8 27B 列出了工具支持。

怎么传入 max_tokens 或 temperature?

作为关键字参数传给 OpenAIModel。smolagents 的文档说,额外的参数会转发给每一次补全调用。在我们的测试中,每个请求都带上了 max_tokens=4000。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity