BroadRouter
开始使用

把 Open WebUI 接入 BroadNet Inference

更新于

在 Open WebUI 中进入管理区中的 Settings > Connections,在 Manage OpenAI API Connections 下点击 Add Connection,URL 设为 https://inference.broadnet.ai/v1,API Key 填你的 BroadNet 密钥,再把 broadnet/glm-5.3 等模型 ID 加入 Model IDs 白名单并保存。

Open WebUI 是一个自托管的聊天界面。它可以连接任何实现了 OpenAI chat completions 协议的服务商,BroadNet Inference 就是其中之一。下面的步骤参照 Open WebUI 的 OpenAI 兼容服务商指南。

配置步骤

  1. 获取 BroadNet 密钥。 多人使用的聊天界面适合用按量付费密钥。参见 API 密钥与 IP 白名单。

  2. 打开连接页面。 进入管理区中的 Settings > Connections,找到 Manage OpenAI API Connections。

  3. 点击 Add Connection,填写:

    字段 值
    URL https://inference.broadnet.ai/v1(末尾不加斜杠)
    API Key 你的 BroadNet 密钥
    Model IDs 用 + 图标逐个添加下面的 ID
  4. 手动添加模型 ID。 输入 broadnet/glm-5.3,点击 +,再对其他想用的模型重复这一步。BroadNet 的文档把 GET /v1/models 描述为供监控使用的公开目录元数据,所以不要指望它来填充模型选择器。

  5. 点击 Save。 Open WebUI 的文档提到,保存时不会测试连接。

  6. 开始对话,在模型选择器中选择模型。

使用环境变量

如果你用 Docker 运行 Open WebUI,可以在启动时设置连接:

OPENAI_API_BASE_URL=https://inference.broadnet.ai/v1
OPENAI_API_KEY=your-broadnet-key

如果要在现有的 OpenAI 连接之外再加上 BroadNet,请使用复数形式的变量,并用分号分隔:OPENAI_API_BASE_URLS 和 OPENAI_API_KEYS。OPENAI_API_CONFIGS 用于设置每个连接的选项,例如 model_ids,以连接在该列表中的序号作为键:

OPENAI_API_CONFIGS='{"0": {"enable": true, "model_ids": ["broadnet/glm-5.3", "broadnet/qwen3.8-27b"]}}'

Open WebUI 的环境变量参考把这些标为 ConfigVar 设置。它们在首次启动时读取并保存到数据库,此后以管理面板中的设置为准。请在管理区中的 Settings > Connections 里编辑连接;如果希望每次启动都应用环境变量,请设置 ENABLE_PERSISTENT_CONFIG=False。

选哪个模型

用途 模型 上下文
日常对话、工具、JSON broadnet/glm-5.3 1,048,576
图片问答、阿拉伯语 broadnet/qwen3.8-27b 262,144
长文档、图片 broadnet/deepseek-v4.1-flash 1,048,576
低成本、免费额度 broadnet/gemma-4-26b-a4b 32,768

BroadNet 用阿拉伯语测试过 Qwen3.8 27B,包括海湾方言和埃及方言;参见如何为阿拉伯语选择大模型。Gemma 4 VL 26B 是唯一可以用 $5 初始额度调用的对话模型;这笔额度也覆盖两个 Transcribe 模型。各模型价格见价格页面。

Open WebUI 会传递 temperature、max_tokens 等标准参数;当模型和服务端都支持 tools 时,它也支持工具调用。BroadNet 为 GLM 5.3 和 Qwen3.8 27B 列出了工具功能。

故障排查

  • Verify Connection 返回 400、401 或 403。 Open WebUI 的验证按钮调用的是 /models。它的文档说,对话补全可能仍然可用。把 ID 加入白名单,然后试一次对话。如果对话也返回 401,说明密钥错误、已过期,或者按量付费额度已用完。
  • 模型在列表里,但第一条消息就失败。 检查 ID 是否与 BroadNet 的完全一致,包括 broadnet/ 前缀。GLM 5.3、Qwen3.8 27B 和 DeepSeek V4.1 Flash 需要先充值。
  • 回复为空。 思考模型(DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B)会先把输出 token 花在思考上。如果你在模型的 Advanced Params 里设置了 max_tokens,请调高或清空它。为什么回答会是空的。
  • 多人同时聊天时返回 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。Open WebUI 还会用同一个密钥发起后台调用,例如生成对话标题。参见错误码与重试。
  • 改了环境变量却没有效果。 首次启动时已经保存了旧值。请在管理面板中编辑连接,或参见上面的环境变量一节。
  • 使用套餐密钥时。 一个不限量套餐会话同一时间只处理一个请求,而且密钥不能共享。它适合个人自用的实例;其他用户的请求会排队。

常见问题

为什么 Verify Connection 失败,但对话能正常用?

Open WebUI 的验证按钮调用的是服务商的 /models 端点。它的文档说,验证失败并不代表对话不可用。请手动把 BroadNet 模型 ID 加入 Model IDs 白名单。

可以用环境变量配置连接吗?

可以。把 OPENAI_API_BASE_URL 设为 https://inference.broadnet.ai/v1,OPENAI_API_KEY 设为你的 BroadNet 密钥。Open WebUI 会在首次启动时保存这些值,之后再改环境变量不会生效,除非 ENABLE_PERSISTENT_CONFIG 为 False。

为什么我改了 OPENAI_API_BASE_URL 却没有生效?

Open WebUI 把它当作 ConfigVar。首次启动后,它使用的是保存在数据库里的值。请在管理区中的 Settings > Connections 里修改 URL,或者设置 ENABLE_PERSISTENT_CONFIG=False,让每次启动都读取环境变量。

整个团队能在 Open WebUI 里共用一个不限量套餐密钥吗?

不能。BroadNet 的套餐不允许共享密钥,而且一个套餐会话同一时间只处理一个请求。共享的 Open WebUI 请使用按量付费密钥。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity