你需要一个 BroadNet Inference 账户和一个推理密钥。新账户自带 $5 额度,无需绑卡;在 inference.broadnet.ai 创建账户。控制台只显示一次密钥,之后只保存它的哈希值,所以请直接把它复制到环境变量里。
1. 安装并设置密钥
当前的 openai 包(3.x)需要 Python 3.10 或更高版本。
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'
2. 发出第一个请求
把下面的代码保存为 first_request.py:
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)
用 python first_request.py 运行。这个示例使用 broadnet/gemma-4-26b-a4b,因为它可以用免费额度运行。其他对话模型需要充值后才能使用。
3. 换成你想要的模型
只改 model:
| 你的需求 | 模型 ID |
|---|---|
| 固定价格套餐不限量,1M 上下文 | broadnet/deepseek-v4.1-flash |
| 工具调用和结构化输出,1M 上下文 | broadnet/glm-5.3 |
| 阿拉伯语文本和图像 | broadnet/qwen3.8-27b |
| 价格低,可用免费额度 | broadnet/gemma-4-26b-a4b |
DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入 max_tokens。给它们 1,000 个 token 或更多。这里解释了为什么限制太小会返回空回答。
4. 流式输出回答
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
stream=True,
stream_options={"include_usage": True},
messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
开启 include_usage 后,token 数会在最后一个数据块中返回,这个数据块没有 choices。连接中断的处理见流式输出指南。
5. 记录请求 ID
每个响应都带有 X-Request-ID 响应头。请把它记进日志:BroadNet 的技术支持会要这个值。解析后的响应对象通过 response._request_id 提供它。如果要和其他响应头一起读取:
raw = client.chat.completions.with_raw_response.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()
按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。每个错误码的含义以及何时该重试。
故障排查
AuthenticationError(401)。 密钥错误、已过期,或者按量付费额度已用完。确认运行代码的那个进程里设置了BROADNET_API_KEY。NotFoundError(404)。 确认base_url以/v1结尾,并且调用的是chat.completions而不是responses。然后检查模型 ID 是否带broadnet/前缀。- 新账户调用付费模型失败。 $5 初始额度可用于 BroadNet Gemma 4 VL 26B(
broadnet/gemma-4-26b-a4b)和两个 BroadNet Transcribe 模型。其他对话模型(DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B)需要充值后才能使用。 content为空。 思考内容计入max_tokens。把它提高到 1,000 或更多。为什么回答会是空的。RateLimitError(429)。 你超过了每分钟请求数或并发限制。SDK 默认会重试两次;在客户端上设置max_retries可以改变这个次数。- 升级后自定义 HTTP 客户端报错。 3.x 版本的 SDK 使用 HTTPX2。如果你传入了自己的
http_client,请按照 SDK 的 HTTPX2 迁移指南操作。
