开发者
更新于
BroadNet Inference 在 https://inference.broadnet.ai/v1 上使用 OpenAI 的请求格式。在控制台创建密钥,存入环境变量,然后带上准确的模型 ID 向 /chat/completions 或 /audio/transcriptions 发送请求。迁移生产流量前,请检查该模型的参数、流式输出、工具调用、限制和错误。
如何发送第一个对话请求?

- 在 inference.broadnet.ai (英文) 登录并创建推理密钥。密钥只显示一次,控制台只保存它的哈希值。
- 安装 OpenAI SDK,并在终端中设置密钥。密钥只放在服务器上,绝不要写进浏览器端代码。
- 发送请求。从
choices[0].message.content读取回答。
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'first_request.py
import os
from openai import OpenAI
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)request.sh
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","messages":[{"role":"user","content":"Reply with one short sentence."}]}'示例使用 BroadNet Gemma 4 VL 26B,US$5 初始额度可以覆盖它。DeepSeek V4.1 Flash、GLM 5.3和Qwen3.8 27B 需要先充值。请保留响应头 X-Request-ID,联系支持时会用到。
- 01Your appKey kept in an environment variable
- 02OpenAI SDKTwo settings change
base_urlapi_key - 03BroadNet InferenceOpenAI-compatible API
inference.broadnet.ai/v1POST /chat/completions - 04The model you nameSet in every request
broadnet/deepseek-v4.1-flashbroadnet/glm-5.3broadnet/qwen3.8-27bbroadnet/gemma-4-26b-a4byour choice
- 05ResponseFrom that model
You choose the model in each request. There is no automatic routing: the request runs on the model ID you sent.
Your app calls the OpenAI SDK with BroadNet’s base URL and your key. The request goes to BroadNet Inference with the model ID you wrote, and that model answers. Nothing picks or switches the model for you.
流式输出
设置 stream=true,读取 Server-Sent Events 直到 data: [DONE]。设置 stream_options.include_usage 后,token 用量会在最后一个分块中返回。如果流在 [DONE] 之前结束,请把回答视为不完整。BroadNet 要求在生产环境依赖流式输出前,先逐个模型验证。
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'如何转写音频?
把 WAV 或 MP3 文件(每个最多 26,214,400 字节)发送到 /audio/transcriptions。务必设置 language:不设置的话,阿拉伯语可能以拉丁字母返回。阿拉伯语请用 language=ar。.ogg 或 .m4a 需要先转换:ffmpeg -i voice-note.ogg -ar 16000 -ac 1 voice-note.wav
transcribe.py
import os
from openai import OpenAI
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
with open("recording.wav", "rb") as audio:
result = client.audio.transcriptions.create(
model="broadnet/cohere-transcribe-arabic",
file=audio,
language="ar",
)
print(result.text)transcribe.sh
curl https://inference.broadnet.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-F model=broadnet/cohere-transcribe-arabic \
-F language=ar \
-F file=@voice-note.wav响应为 JSON,转写文本在 text 字段中。阿拉伯语模型还是多语言模型,以及音频费用。
可以使用哪些模型 ID?
在 model 中传入准确的 ID。不要依赖 /v1/models 来发现对话模型;请使用本列表或参考文档 (英文)。
| 模型 | ID | 端点 | 输入 | 文档已列 | 使用条件 |
|---|---|---|---|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash | /chat/completions | 文本 + 图像 | 思考(reasoning) | 需要充值 |
| GLM 5.3 | broadnet/glm-5.3 | /chat/completions | 文本 | 工具调用、结构化输出、思考(reasoning) | 需要充值 |
| Qwen3.8 27B | broadnet/qwen3.8-27b | /chat/completions | 文本 + 图像 | 工具调用、结构化输出、思考(reasoning) | 需要充值 |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b | /chat/completions | 文本 + 图像 | — | 初始额度 |
| BroadNet Transcribe Arabic | broadnet/cohere-transcribe-arabic | /audio/transcriptions | 阿拉伯语音频 | — | 初始额度 |
| BroadNet Transcribe | broadnet/cohere-transcribe | /audio/transcriptions | 音频,14 种语言 | — | 初始额度 |
“文档已列”表示 BroadNet 参考文档中为每个模型列出的工具调用、结构化输出和思考(reasoning)功能(核对日期 2026-11-15)。短横线表示参考文档没有列出,并不表示不支持。
从其他 OpenAI 兼容 API 迁移:检查清单
请求格式你会很熟悉,但模型之间存在差异。请针对所选模型逐项检查,并在切换流量前完成测试。
- 端点。 把 base URL 设置为
https://inference.broadnet.ai/v1。 - 密钥。 从环境变量读取 BroadNet 推理密钥。套餐密钥和按量付费密钥相互独立。
- 模型 ID。 使用准确的 ID,例如
broadnet/gemma-4-26b-a4b。 - 参数。 确认你发送的每个参数在该模型的文档中都有列出。删除未列出的参数。
- 流式输出。 确认客户端会把 SSE 读到
[DONE],并能处理提前结束的流。 - 工具调用和结构化输出。 参考文档为 GLM 5.3和Qwen3.8 27B 列出了这些功能。其他模型请先测试再依赖。
- 思考(reasoning)。 思考可能占用部分输出预算。请在
max_tokens中预留空间;参见思考模型返回空回答的问题。 - 限制。 按量付费密钥每分钟 30 个请求,同时最多 4 个。套餐会话同一时间处理一个请求。Gemma 按小时密钥支持一路流、每分钟 120 个请求和每分钟 300,000 个 token。
- 上下文。 上下文包括输入和回答。请在模型页面上查看该模型的上限。
- 错误。 把下表中的状态码对应到重试或修正操作,并记录
X-Request-ID。 - 费用。 用价格计算器估算费用。按量付费时,图像按输入 token 计费。
哪些错误应该重试?
| 状态码 | 含义 | 处理方式 |
|---|---|---|
| 400 / 422 | 请求或字段无效 | 修正请求;不要原样重试 |
| 401 | 密钥缺失、无效或已过期,或额度已用尽 | 检查密钥和账户 |
| 402 | insufficient_balance | 充值后重试 |
| 413 | 请求超过字节或文本上限 | 减小请求,例如换用更小的音频文件 |
| 429 | 触发速率、并发、token 速率或消费限额 | 有上限地退避后重试 |
| 500–504 | 服务器端问题 | 使用有上限的指数退避重试 |
摘自参考文档中的错误表 (英文),核对日期 2026-11-15。重试代码示例。
完整文档和指南在哪里?

- 开发者参考文档 (英文)请求格式、限制、错误和价格数据源。权威来源。
- 集成 (英文)Aider、Cline、LangChain、n8n、LiteLLM 等 OpenAI 兼容工具的配置。
- 指南SDK、流式输出、重试、IP 白名单和阿拉伯语语音。
- Python SDK 指南用 OpenAI Python SDK 完成安装、第一个请求和流式输出。
- Node SDK 指南同样的内容,用 JavaScript 和 TypeScript 实现,并附请求 ID。
- cURL 快速入门在命令行中完成所有请求。
- 密钥与 IP 白名单把密钥限定在你的服务器上使用。
- API 请求构建器 (英文)在浏览器中构建请求并复制。
需要私有端点或未列出的模型?联系 BroadNet。