BroadRouter

在 DSPy 中使用 BroadNet Inference(设置 model_type="chat")

更新于

用模型 "openai/broadnet/glm-5.3"、model_type="chat"、api_base 设为 https://inference.broadnet.ai/v1 和你的 BroadNet api_key 创建 dspy.LM,再传给 dspy.configure。关键在 model_type="chat":DSPy 3.5 默认让带 openai 前缀的模型走 Responses API,而 BroadNet 不提供它。在我们的模拟服务器测试中,省略它会把调用发到 /v1/responses 并得到 404;BroadNet 的线上端点对这个路径同样返回 404。

DSPy 是一个 Python 框架,用签名和模块来对语言模型编程,并优化背后的提示词。通过 dspy.LM 把它连接到模型。DSPy 的文档把 OpenAI 兼容服务器写成带 api_base 的 openai/ 模型。对于在 https://inference.broadnet.ai/v1 上提供 chat completions 的 BroadNet Inference,还需要加上 model_type="chat"。BroadRouter 是 BroadNet 自己的网站;本文依据 DSPy 3.5 的文档。

安装

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

连接

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ 告诉 DSPy 使用它的 OpenAI 客户端。字符串的其余部分 broadnet/glm-5.3 是发送给 BroadNet 的模型 ID。
  • model_type="chat" 让 DSPy 保持使用 /v1/chat/completions。DSPy 的 LM 参考文档说,默认值 'auto' 会让 OpenAI 模型 “use Responses”(译文:使用 Responses)。
  • max_tokens 为思考留出空间。DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入这个上限。

不设置 model_type 会怎样

DSPy 安装页面上 OpenAI 兼容服务器的示例没有写 model_type。我们用 DSPy 3.5.0 测试时,这会把请求连同 max_output_tokens 发到 /v1/responses,调用失败:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

这个错误来自我们的模拟服务器。我们在 2026-11-16 核对时,BroadNet 的线上端点对 /v1/responses 同样返回 404。加上 model_type="chat" 后问题解决。

模块与模型

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
DSPy 用法 模型
Predict、ChainOfThought、优化器运行 broadnet/deepseek-v4.1-flash(按 token 计价低;有固定价格套餐)
ReAct 及其他调用工具的模块 broadnet/glm-5.3 或 broadnet/qwen3.8-27b
用初始额度试用 DSPy broadnet/gemma-4-26b-a4b(32,768 token 上下文)

BroadNet 的文档只为 GLM 5.3 和 Qwen3.8 27B 列出了工具和结构化输出。程序和优化器可以各用一个模型,各自配一个 dspy.LM。所有模型的价格。

我们是怎么测试的

2026-11-15,我们在一个干净的虚拟环境中安装了 dspy 3.5.0,让 dspy.Predict 调用一个本地模拟服务器。这个服务器按 BroadNet 的 chat completions 格式应答,对 /v1/responses 返回 404。不设置 model_type 时,DSPy 调用了 /v1/responses 并失败。设置 model_type="chat" 后,它带着模型 ID broadnet/glm-5.3 和 Bearer 密钥调用了 /v1/chat/completions,并解析出了 answer 字段。我们观察到 DSPy 以 max_completion_tokens 发送输出上限。BroadNet 的 API 参考文档描述的是 max_tokens,没有提到 max_completion_tokens,所以我们无法确认 BroadNet 会应用以这种方式发送的上限。我们是对模拟服务器测试的,没有使用 BroadNet 密钥,所以没有核对真实的模型输出。

故障排查

  • /v1/responses 返回 404。 加上 model_type="chat"。
  • /v1/chat/completions 返回 404。 api_base 必须以 /v1 结尾,模型字符串必须是 openai/ 加上完整的 BroadNet ID。付费模型需要先充值;$5 额度只覆盖 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • “Expected to find output fields”。 回答为空或被截断,通常是思考用完了输出额度。调高 max_tokens。为什么回答会是空的。
  • 优化时出现 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。降低优化器的线程数,并参见错误码与重试。

常见问题

DSPy 为什么在 BroadNet 上调用 /v1/responses?

DSPy 3.5 的 dspy.LM 参考文档说,model_type 的默认值 'auto' 会让 OpenAI 模型使用 Responses API。带自定义 api_base 的 openai/ 模型也会被同样对待。传入 model_type="chat" 改用 chat completions,这正是 BroadNet 提供的接口。

在 DSPy 里怎么写 BroadNet 的模型 ID?

在 BroadNet ID 前面加上 openai/,例如 openai/broadnet/glm-5.3。DSPy 用 openai/ 选择客户端;在我们的测试中,它发送的模型是 broadnet/glm-5.3。

DSPy 优化器适合用哪个 BroadNet 模型?

优化器会发出大量调用,所以费用和速率限制很重要。DeepSeek V4.1 Flash 按 token 计价低,也是 BroadNet 固定价格套餐里的模型,这些套餐不按 token 计量。调用工具的模块(例如 ReAct)请用 GLM 5.3 或 Qwen3.8 27B。

DSPy 的缓存对使用 BroadNet 有影响吗?

DSPy 默认缓存 LM 调用(cache=True),所以重复同一个调用不产生费用。检查连接时请设置 cache=False,否则你看到的可能是缓存的回答。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity