BroadRouter
开始使用

用 OpenAI Python SDK 调用 BroadNet Inference

更新于

安装 openai 包,创建客户端时把 base_url 设为 https://inference.broadnet.ai/v1,api_key 填你的 BroadNet 密钥。所有 chat.completions 调用都无需改动,只换模型 ID,例如 broadnet/deepseek-v4.1-flash。BroadNet 提供对话补全和转写接口,不提供 Responses API。

你需要一个 BroadNet Inference 账户和一个推理密钥。新账户自带 $5 额度,无需绑卡;在 inference.broadnet.ai 创建账户。控制台只显示一次密钥,之后只保存它的哈希值,所以请直接把它复制到环境变量里。

1. 安装并设置密钥

当前的 openai 包(3.x)需要 Python 3.10 或更高版本。

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. 发出第一个请求

把下面的代码保存为 first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

用 python first_request.py 运行。这个示例使用 broadnet/gemma-4-26b-a4b,因为它可以用免费额度运行。其他对话模型需要充值后才能使用。

3. 换成你想要的模型

只改 model:

你的需求 模型 ID
固定价格套餐不限量,1M 上下文 broadnet/deepseek-v4.1-flash
工具调用和结构化输出,1M 上下文 broadnet/glm-5.3
阿拉伯语文本和图像 broadnet/qwen3.8-27b
价格低,可用免费额度 broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入 max_tokens。给它们 1,000 个 token 或更多。这里解释了为什么限制太小会返回空回答。

4. 流式输出回答

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

开启 include_usage 后,token 数会在最后一个数据块中返回,这个数据块没有 choices。连接中断的处理见流式输出指南。

5. 记录请求 ID

每个响应都带有 X-Request-ID 响应头。请把它记进日志:BroadNet 的技术支持会要这个值。解析后的响应对象通过 response._request_id 提供它。如果要和其他响应头一起读取:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。每个错误码的含义以及何时该重试。

故障排查

  • AuthenticationError(401)。 密钥错误、已过期,或者按量付费额度已用完。确认运行代码的那个进程里设置了 BROADNET_API_KEY。
  • NotFoundError(404)。 确认 base_url 以 /v1 结尾,并且调用的是 chat.completions 而不是 responses。然后检查模型 ID 是否带 broadnet/ 前缀。
  • 新账户调用付费模型失败。 $5 初始额度可用于 BroadNet Gemma 4 VL 26B(broadnet/gemma-4-26b-a4b)和两个 BroadNet Transcribe 模型。其他对话模型(DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B)需要充值后才能使用。
  • content 为空。 思考内容计入 max_tokens。把它提高到 1,000 或更多。为什么回答会是空的。
  • RateLimitError(429)。 你超过了每分钟请求数或并发限制。SDK 默认会重试两次;在客户端上设置 max_retries 可以改变这个次数。
  • 升级后自定义 HTTP 客户端报错。 3.x 版本的 SDK 使用 HTTPX2。如果你传入了自己的 http_client,请按照 SDK 的 HTTPX2 迁移指南操作。

常见问题

需要换一个 SDK 吗?

不需要。BroadNet Inference 使用 OpenAI 的 chat completions 和音频转写格式,所以官方 openai 包换一个 base_url 就能用。

还能继续用 OPENAI_API_KEY 吗?

可以,但单独用一个 BROADNET_API_KEY 变量,可以避免不小心把一家服务商的密钥发给另一家。

SDK 会读取 OPENAI_BASE_URL 吗?

会。如果你没有传 base_url,客户端会使用 OPENAI_BASE_URL。把它设为 https://inference.broadnet.ai/v1,再把 OPENAI_API_KEY 设为你的 BroadNet 密钥,OpenAI() 就不需要任何参数。

可以在 BroadNet 上用 client.responses.create 吗?

不可以。SDK 的 README 首先介绍的是 Responses API,但 BroadNet 的文档只列出了对话补全和音频转写。请使用 client.chat.completions.create。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity