---
title: "OpenAI Python SDK 设置自定义 base_url（BroadNet） | BroadRouter"
description: "只改一个 base_url，就能让官方 OpenAI Python SDK 调用 BroadNet Inference：安装、设置密钥、发出第一个请求，再把回答改成流式输出。"
url: https://broadrouter.com/zh/guides/openai-python-sdk/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/guides/openai-python-sdk/) (2026-11-16 更新).

# 用 OpenAI Python SDK 调用 BroadNet Inference

更新于 2026-11-16

安装 openai 包，创建客户端时把 base\_url 设为 https://inference.broadnet.ai/v1，api\_key 填你的 BroadNet 密钥。所有 chat.completions 调用都无需改动，只换模型 ID，例如 broadnet/deepseek-v4.1-flash。BroadNet 提供对话补全和转写接口，不提供 Responses API。

你需要一个 BroadNet Inference 账户和一个推理密钥。新账户自带 $5 额度，无需绑卡；[在 inference.broadnet.ai 创建账户](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-openai-python-sdk&utm_content=body)。控制台只显示一次密钥，之后只保存它的哈希值，所以请直接把它复制到环境变量里。

## 1\. 安装并设置密钥

当前的 `openai` 包（3.x）需要 Python 3.10 或更高版本。

```bash
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'
```

## 2\. 发出第一个请求

把下面的代码保存为 `first_request.py`：

```python
from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)
```

用 `python first_request.py` 运行。这个示例使用 `broadnet/gemma-4-26b-a4b`，因为它可以用免费额度运行。其他对话模型需要充值后才能使用。

## 3\. 换成你想要的模型

只改 `model`：

| 你的需求 | 模型 ID |
| --- | --- |
| 固定价格套餐不限量，1M 上下文 | `broadnet/deepseek-v4.1-flash` |
| 工具调用和结构化输出，1M 上下文 | `broadnet/glm-5.3` |
| 阿拉伯语文本和图像 | `broadnet/qwen3.8-27b` |
| 价格低，可用免费额度 | `broadnet/gemma-4-26b-a4b` |

DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答，思考内容计入 `max_tokens`。给它们 1,000 个 token 或更多。[这里解释了为什么限制太小会返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。

## 4\. 流式输出回答

```python
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)
```

开启 `include_usage` 后，token 数会在最后一个数据块中返回，这个数据块没有 `choices`。连接中断的处理见[流式输出指南](https://broadrouter.com/zh/guides/streaming-chat-completions/)。

## 5\. 记录请求 ID

每个响应都带有 `X-Request-ID` 响应头。请把它记进日志：BroadNet 的技术支持会要这个值。解析后的响应对象通过 `response._request_id` 提供它。如果要和其他响应头一起读取：

```python
raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()
```

按量付费密钥每分钟允许 30 个请求，同时最多 4 个进行中的请求。[每个错误码的含义以及何时该重试](https://broadrouter.com/zh/guides/errors-and-retries/)。

## 故障排查

-   **`AuthenticationError`（401）。** 密钥错误、已过期，或者按量付费额度已用完。确认运行代码的那个进程里设置了 `BROADNET_API_KEY`。
-   **`NotFoundError`（404）。** 确认 `base_url` 以 `/v1` 结尾，并且调用的是 `chat.completions` 而不是 `responses`。然后检查模型 ID 是否带 `broadnet/` 前缀。
-   **新账户调用付费模型失败。** $5 初始额度可用于 BroadNet Gemma 4 VL 26B（`broadnet/gemma-4-26b-a4b`）和两个 BroadNet Transcribe 模型。其他对话模型（DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B）需要充值后才能使用。
-   **`content` 为空。** 思考内容计入 `max_tokens`。把它提高到 1,000 或更多。[为什么回答会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   **`RateLimitError`（429）。** 你超过了每分钟请求数或并发限制。SDK 默认会重试两次；在客户端上设置 `max_retries` 可以改变这个次数。
-   **升级后自定义 HTTP 客户端报错。** 3.x 版本的 SDK 使用 HTTPX2。如果你传入了自己的 `http_client`，请按照 SDK 的 HTTPX2 迁移指南操作。

## 本指南涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[API 密钥（API key）](https://broadrouter.com/zh/glossary/api-key/)

API 密钥是一串用于识别和授权 API 调用方的秘密字符串。大模型 API 通常要求把它放在 Authorization: Bearer 请求头里，任何持有该密钥的人都能发起请求，费用记在拥有该密钥的账户上。

## 常见问题

### 需要换一个 SDK 吗？

不需要。BroadNet Inference 使用 OpenAI 的 chat completions 和音频转写格式，所以官方 openai 包换一个 base\_url 就能用。

### 还能继续用 OPENAI\_API\_KEY 吗？

可以，但单独用一个 BROADNET\_API\_KEY 变量，可以避免不小心把一家服务商的密钥发给另一家。

### SDK 会读取 OPENAI\_BASE\_URL 吗？

会。如果你没有传 base\_url，客户端会使用 OPENAI\_BASE\_URL。把它设为 https://inference.broadnet.ai/v1，再把 OPENAI\_API\_KEY 设为你的 BroadNet 密钥，OpenAI() 就不需要任何参数。

### 可以在 BroadNet 上用 client.responses.create 吗？

不可以。SDK 的 README 首先介绍的是 Responses API，但 BroadNet 的文档只列出了对话补全和音频转写。请使用 client.chat.completions.create。

## 相关指南

-   [用 OpenAI Node.js SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-node-sdk/)
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-openai-python-sdk&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference API 参考文档：首次请求 （英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-openai-python-sdk&utm_content=sources#base-url)
-   [PyPI 上的 OpenAI Python 库（3.x，Python 3.10+，核对于 2026-11-14）](https://pypi.org/project/openai/)
