OpenAI 的 API 格式已经成为大模型工具链的通用语言。如今很多服务商都接受这种格式,所以一个客户端库就能对接很多后端。
工作原理
兼容 API 复刻了 OpenAI API 中客户端所依赖的部分:
- 相同的路径,例如
/v1/chat/completions和/v1/audio/transcriptions; - 相同的 JSON 结构:请求里是
messages数组,响应里是choices[0].message.content,以及带 token 计数的usage块; - API 密钥以
Authorization: Bearer <key>的形式发送; stream为 true 时,以服务器发送事件(SSE)的形式进行流式输出。
切换服务商只是改一下配置。用官方 Python SDK:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)
和 OpenAI 的示例相比,只改了三个值:base URL、密钥和模型 ID。
为什么重要
兼容性降低了切换成本。支持 OpenAI 格式的 SDK、智能体框架、IDE 插件和路由器无需新代码即可使用。你可以在几分钟内试用第二家服务商,并保留随时迁移的选择。
但兼容不等于完全相同。例如 Anthropic 自己的兼容层会忽略工具上的 strict,并让 prompt_tokens_details 保持为空。常见的差异有:
- 被忽略或被拒绝的参数;
- 思考 token 如何计入
max_tokens; - 流式输出结束时是否报告用量;
- 速率限制和错误码。
在 BroadNet Inference 上
BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供 POST /v1/chat/completions、POST /v1/audio/transcriptions 和 GET /v1/models。密钥只能以 Authorization: Bearer <key> 的形式发送。Python 和 Node 指南展示了完整的配置,LangChain 的用法也一样。
有两个差异需要提前规划:DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入 max_tokens;按量付费密钥每分钟允许 30 个请求,同时最多 4 个。其余事项见迁移检查清单。
常见错误
- 仍然沿用
gpt-6-astra(OpenAI 模型页面上的旗舰模型,2026-11-15 查阅)这样的 OpenAI 模型名。请使用服务商自己的模型 ID。 - 以为请求成功了参数就生效了。有些服务商会悄悄忽略未知字段。