LiteLLM 以 Python SDK 和代理服务器两种形式,为许多大模型服务商提供统一的接口。要接入 OpenAI 兼容 API,它的文档说要做两件事:在模型名前加上 openai/,并设置 api_base。BroadNet Inference 走的就是这条路由。
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
代码里的英文注释意思是:思考内容计入这个上限。
openai/ 用来选择路由;LiteLLM 发给 BroadNet 的是 broadnet/glm-5.3。不要在 base URL 后面加任何东西,LiteLLM 的 OpenAI 客户端会自己加上端点路径。
LiteLLM 的文档提到,openai 路由使用的是官方 OpenAI Python 库,每个请求都需要 API 密钥。请像上面那样显式传入 api_key,这样 LiteLLM 就不会退回去使用原本给 OpenAI 用的 OPENAI_API_KEY。响应以 OpenAI 的格式返回,所以其余代码无需改动。
什么时候用代理
在单个 Python 应用里,SDK 就够了。当多个应用或多种语言需要同一批模型时,代理就派上用场:它们都用简短的模型名调用同一个 OpenAI 风格的端点,由代理保管 BroadNet 密钥、执行速率限制并记录用量。这样你的应用完全不需要任何 BroadNet 专属的设置。
2. 代理服务器
安装代理所需的额外依赖,并编写 config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
启动代理,然后像调用任何 OpenAI 端点一样调用它:
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
(代码中的注释表示:在第二个终端里运行。)os.environ/BROADNET_API_KEY_GLM 告诉 LiteLLM 从环境变量读取这个密钥。每个条目使用各自的 BroadNet 按量付费密钥,所以 rpm: 30(LiteLLM 可选的按部署速率限制)正好对应每个密钥的限额。如果多个条目共用一个密钥,它们共享同一个限额,所以要把这个数字在它们之间分配。master_key 让代理对每次调用都要求提供密钥;LiteLLM 的文档说它必须以 sk- 开头。启动代理之前,请先导出 LITELLM_MASTER_KEY。
选哪个模型
| model_name | BroadNet 模型 | 用途 |
|---|---|---|
glm |
GLM 5.3 | 工具、结构化输出、1M 上下文 |
deepseek-flash |
DeepSeek V4.1 Flash | 长上下文;不限量套餐使用的模型 |
qwen |
Qwen3.8 27B | 图片、工具、阿拉伯语 |
| (按需添加) | Gemma 4 VL 26B | 每 token 价格低;可用 $5 额度调用 |
价格见价格页面。如果你是从其他网关迁移过来,迁移检查清单列出了需要测试的内容。
故障排查
- 401。 BroadNet 密钥错误、已过期,或者按量付费额度已用完。如果 401 来自代理本身,请检查你发送的 LiteLLM 密钥。
- Not Found。 确认
api_base是带/v1的https://inference.broadnet.ai/v1。如果 base URL 没问题,再检查openai/之后的模型 ID 是否与 BroadNet 的完全一致。 - 新账号上模型被拒绝。 GLM 5.3、Qwen3.8 27B 和 DeepSeek V4.1 Flash 需要先充值;$5 额度只覆盖
broadnet/gemma-4-26b-a4b和两个 Transcribe 模型。 - content 为空。 思考内容计入
max_tokens。调高它,或者发送reasoning_effort="low"。为什么回答会是空的。 - 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。LiteLLM 的
rpm能解决前一个限制;后一个则要把每个密钥上的并发调用方控制在 4 个以内。参见错误码与重试。 - 在套餐密钥上并行运行智能体。 一个套餐会话同一时间只处理一个请求。通过代理在一个会话上运行多个智能体,它们会排队;每个并行的智能体买一个会话。
