BroadRouter
开始使用

OpenAI 兼容 API(OpenAI-compatible API)

更新于

OpenAI 兼容 API 是一种 HTTP API,它接受与 OpenAI API 相同的请求和响应格式,例如 POST /v1/chat/completions,因此 OpenAI 的 SDK 和工具只需修改 base URL、API 密钥和模型名称就能使用它。

又称: OpenAI 兼容接口、兼容 OpenAI 的 API、OpenAI 格式接口、OpenAI 协议兼容、OpenAI-compatible API、OpenAI API compatible、OpenAI-style API、OpenAI drop-in replacement

OpenAI 的 API 格式已经成为大模型工具链的通用语言。如今很多服务商都接受这种格式,所以一个客户端库就能对接很多后端。

工作原理

兼容 API 复刻了 OpenAI API 中客户端所依赖的部分:

  • 相同的路径,例如 /v1/chat/completions 和 /v1/audio/transcriptions;
  • 相同的 JSON 结构:请求里是 messages 数组,响应里是 choices[0].message.content,以及带 token 计数的 usage 块;
  • API 密钥以 Authorization: Bearer <key> 的形式发送;
  • stream 为 true 时,以服务器发送事件(SSE)的形式进行流式输出。

切换服务商只是改一下配置。用官方 Python SDK:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)

和 OpenAI 的示例相比,只改了三个值:base URL、密钥和模型 ID。

为什么重要

兼容性降低了切换成本。支持 OpenAI 格式的 SDK、智能体框架、IDE 插件和路由器无需新代码即可使用。你可以在几分钟内试用第二家服务商,并保留随时迁移的选择。

但兼容不等于完全相同。例如 Anthropic 自己的兼容层会忽略工具上的 strict,并让 prompt_tokens_details 保持为空。常见的差异有:

  • 被忽略或被拒绝的参数;
  • 思考 token 如何计入 max_tokens;
  • 流式输出结束时是否报告用量;
  • 速率限制和错误码。

在 BroadNet Inference 上

BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供 POST /v1/chat/completions、POST /v1/audio/transcriptions 和 GET /v1/models。密钥只能以 Authorization: Bearer <key> 的形式发送。Python 和 Node 指南展示了完整的配置,LangChain 的用法也一样。

有两个差异需要提前规划:DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入 max_tokens;按量付费密钥每分钟允许 30 个请求,同时最多 4 个。其余事项见迁移检查清单。

常见错误

  • 仍然沿用 gpt-6-astra(OpenAI 模型页面上的旗舰模型,2026-11-15 查阅)这样的 OpenAI 模型名。请使用服务商自己的模型 ID。
  • 以为请求成功了参数就生效了。有些服务商会悄悄忽略未知字段。

常见问题

OpenAI 兼容是不是意味着 OpenAI 的所有功能都能用?

不是。它的意思是核心的请求和响应结构一致,个别字段可能被忽略或拒绝。例如 Anthropic 的兼容层就列出了它会忽略的字段,以及会返回 400 错误的字段。在依赖某个参数之前,先看看服务商的说明。

需要换一个 SDK 吗?

不需要。OpenAI 官方 SDK 支持自定义 base URL。Python 里传 base_url,Node 里传 baseURL,或者设置 OPENAI_BASE_URL 环境变量。

BroadNet Inference 支持哪些端点?

对话用 POST /v1/chat/completions,语音转文字用 POST /v1/audio/transcriptions。GET /v1/models 也存在,但 BroadNet 的文档把它描述为供外部监控系统使用的公开目录元数据,所以请求用的模型 ID 请以 API 参考文档为准。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity