---
title: "LiteLLM 接入 OpenAI 兼容服务商：设置 api_base | BroadRouter"
description: "在 LiteLLM 的 Python SDK 或代理 config.yaml 中，用 openai/ 模型前缀和 api_base 调用 BroadNet Inference，并配好匹配的速率限制。"
url: https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/guides/litellm-proxy-custom-provider/)（2026-11-16 更新）。

# 用 LiteLLM 路由到 BroadNet Inference（SDK 与代理）

更新于 2026-11-16

在 LiteLLM 中，给 BroadNet 模型 ID 加上 openai/ 前缀，例如 openai/broadnet/glm-5.3，把 api\_base 设为 https://inference.broadnet.ai/v1，api\_key 填你的 BroadNet 密钥。在代理中，把同样的值写进 config.yaml 的 litellm\_params 下，并给模型取一个简短的 model\_name。

LiteLLM 以 Python SDK 和代理服务器两种形式，为许多大模型服务商提供统一的接口。要接入 OpenAI 兼容 API，它的文档说要做两件事：在模型名前加上 `openai/`，并设置 `api_base`。BroadNet Inference 走的就是这条路由。

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

代码里的英文注释意思是：思考内容计入这个上限。

`openai/` 用来选择路由；LiteLLM 发给 BroadNet 的是 `broadnet/glm-5.3`。不要在 base URL 后面加任何东西，LiteLLM 的 OpenAI 客户端会自己加上端点路径。

LiteLLM 的文档提到，`openai` 路由使用的是官方 OpenAI Python 库，每个请求都需要 API 密钥。请像上面那样显式传入 `api_key`，这样 LiteLLM 就不会退回去使用原本给 OpenAI 用的 `OPENAI_API_KEY`。响应以 OpenAI 的格式返回，所以其余代码无需改动。

## 什么时候用代理

在单个 Python 应用里，SDK 就够了。当多个应用或多种语言需要同一批模型时，代理就派上用场：它们都用简短的模型名调用同一个 OpenAI 风格的端点，由代理保管 BroadNet 密钥、执行速率限制并记录用量。这样你的应用完全不需要任何 BroadNet 专属的设置。

## 2\. 代理服务器

安装代理所需的额外依赖，并编写 `config.yaml`：

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

启动代理，然后像调用任何 OpenAI 端点一样调用它：

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

（代码中的注释表示：在第二个终端里运行。）`os.environ/BROADNET_API_KEY_GLM` 告诉 LiteLLM 从环境变量读取这个密钥。每个条目使用各自的 BroadNet 按量付费密钥，所以 `rpm: 30`（LiteLLM 可选的按部署速率限制）正好对应每个密钥的限额。如果多个条目共用一个密钥，它们共享同一个限额，所以要把这个数字在它们之间分配。`master_key` 让代理对每次调用都要求提供密钥；LiteLLM 的文档说它必须以 `sk-` 开头。启动代理之前，请先导出 `LITELLM_MASTER_KEY`。

## 选哪个模型

| model\_name | BroadNet 模型 | 用途 |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) | 工具、结构化输出、1M 上下文 |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) | 长上下文；不限量套餐使用的模型 |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) | 图片、工具、阿拉伯语 |
| （按需添加） | [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) | 每 token 价格低；可用 $5 额度调用 |

价格见[价格页面](https://broadrouter.com/zh/pricing/)。如果你是从其他网关迁移过来，[迁移检查清单](https://broadrouter.com/zh/blog/openai-compatible-api-migration-checklist/)列出了需要测试的内容。

## 故障排查

-   **401。** BroadNet 密钥错误、已过期，或者按量付费额度已用完。如果 401 来自代理本身，请检查你发送的 LiteLLM 密钥。
-   **Not Found。** 确认 `api_base` 是带 `/v1` 的 `https://inference.broadnet.ai/v1`。如果 base URL 没问题，再检查 `openai/` 之后的模型 ID 是否与 BroadNet 的完全一致。
-   **新账号上模型被拒绝。** GLM 5.3、Qwen3.8 27B 和 DeepSeek V4.1 Flash 需要先充值；$5 额度只覆盖 `broadnet/gemma-4-26b-a4b` 和两个 Transcribe 模型。
-   **content 为空。** 思考内容计入 `max_tokens`。调高它，或者发送 `reasoning_effort="low"`。[为什么回答会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   **429。** 按量付费密钥每分钟允许 30 个请求，同时最多 4 个进行中的请求。LiteLLM 的 `rpm` 能解决前一个限制；后一个则要把每个密钥上的并发调用方控制在 4 个以内。参见[错误码与重试](https://broadrouter.com/zh/guides/errors-and-retries/)。
-   **在套餐密钥上并行运行智能体。** 一个[套餐会话](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)同一时间只处理一个请求。通过代理在一个会话上运行多个智能体，它们会排队；每个并行的智能体买一个会话。

## 本指南涉及的术语

[Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)

base URL 是 API 固定的根地址，例如 https://api.example.com/v1，客户端会把它加在每个端点路径（例如 /chat/completions）前面。在 OpenAI 兼容 SDK 中，修改 base URL，再配合 API 密钥和模型 ID，就能让同一份代码改用另一家服务商。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

## 常见问题

### LiteLLM 为什么返回 Not Found 错误？

LiteLLM 的文档要求 api\_base 以 /v1 结尾。请使用 https://inference.broadnet.ai/v1，不要再加 /chat/completions。

### 模型名为什么是 openai/broadnet/glm-5.3？

openai/ 前缀告诉 LiteLLM 去调用 OpenAI 风格的 /chat/completions 端点。LiteLLM 用这个前缀选择路由，然后把剩下的部分 broadnet/glm-5.3 发出去，这正是 BroadNet 的模型 ID。

### 可以把 BroadNet 不限量套餐密钥放在共享的 LiteLLM 代理后面吗？

套餐密钥不能共享或转售，而且一个会话同一时间只处理一个请求。请把它用于你自己的智能体。团队共用的代理请使用按量付费密钥。

### LiteLLM 调用 BroadNet 需要 OPENAI\_API\_KEY 吗？

openai 路由的每个请求都需要一个密钥，来自 api\_key 或 OPENAI\_API\_KEY。请把 BroadNet 密钥作为 api\_key 传入，在代理里则写 os.environ/BROADNET\_API\_KEY，这样 LiteLLM 就不会把真正的 OpenAI 密钥发给 BroadNet。

## 相关指南

-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [在 LangChain 中调用 BroadNet Inference](https://broadrouter.com/zh/guides/langchain-openai-base-url/)
-   [所有可与 BroadNet Inference 配合使用的工具（英文）](https://broadrouter.com/integrations/)：SDK、编程智能体、聊天界面和自动化工具，并附每个工具的具体设置

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**来源**

-   [LiteLLM 文档：OpenAI 兼容端点（核对于 2026-11-14）](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [LiteLLM 文档：代理 config.yaml（核对于 2026-11-14）](https://docs.litellm.ai/docs/proxy/configs)
-   [BroadNet Inference API 参考文档（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-litellm-proxy-custom-provider&utm_content=sources)
