BroadRouter

把 BroadNet Inference 作为自定义端点添加到 LibreChat

更新于

在 librechat.yaml 的 endpoints.custom 下添加一项:name 设为 BroadNet,apiKey 引用环境变量(例如 BROADNET_API_KEY),baseURL 为 https://inference.broadnet.ai/v1,models.default 列出 broadnet/glm-5.3 等 BroadNet 模型 ID。把密钥写进 .env,使用 Docker 时把该文件挂载进容器,然后重启 LibreChat。LibreChat 会自己在 base URL 后拼上 /chat/completions。

LibreChat 是一款开源聊天应用,支持把 OpenAI 兼容服务作为自定义端点(custom endpoints)接入。你在 librechat.yaml 中定义端点,把密钥放在 .env 里,使用 Docker 时再把 YAML 文件挂载进容器。BroadRouter 是 BroadNet 自己的网站;以下步骤依据 LibreChat 的自定义端点指南。

配置步骤

  1. 挂载 librechat.yaml(仅 Docker)。 把 docker-compose.override.yml.example 复制为 docker-compose.override.yml,并确认 volume 配置已启用:
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
  1. 在项目根目录的 librechat.yaml 中,于 endpoints.custom 下添加端点:
endpoints:
  custom:
    - name: 'BroadNet'
      apiKey: '${BROADNET_API_KEY}'
      baseURL: 'https://inference.broadnet.ai/v1'
      models:
        default:
          - 'broadnet/glm-5.3'
          - 'broadnet/qwen3.8-27b'
          - 'broadnet/deepseek-v4.1-flash'
          - 'broadnet/gemma-4-26b-a4b'
        fetch: false
      titleConvo: true
      titleModel: 'broadnet/gemma-4-26b-a4b'
      modelDisplayLabel: 'BroadNet'

保留文件中已有的顶层键,例如 version。

  1. 在 .env 中设置密钥:
BROADNET_API_KEY=your-broadnet-key
  1. 重启 LibreChat。 Docker 环境执行 docker compose down && docker compose up -d。本地安装则用 npm run backend 重启。之后 BroadNet 就会出现在端点选择器中。

字段说明

  • baseURL。 LibreChat 会自己拼上 /chat/completions,所以使用上面的 /v1 根地址即可。不要设置 directEndpoint: true;这个选项用于 baseURL 本身就是完整 completions URL 的情况。
  • fetch: false。 这是 LibreChat 的默认值;我们显式写出来,让这个选择一目了然。BroadNet 的文档把 GET /v1/models 描述为供监控使用的公开目录元数据,所以在 default 中列出模型更可控。
  • titleModel。 LibreChat 会额外发一个请求,为每个对话生成标题。用一个小巧、便宜、不带思考的模型,可以让这次调用更短。BroadNet 的文档没有为 Gemma 4 VL 26B 列出思考功能。
  • user_provided。 如果希望每个用户在界面中输入自己的 BroadNet 密钥,就设置 apiKey: 'user_provided'。LibreChat 会加密保存每个用户的密钥,并在他们第一次选择该端点时要求输入。
  • 名称唯一。 如果第二个端点与第一个同名(不区分大小写),它会悄悄替换掉第一个。如果你已经有一个叫 BroadNet 的条目,请重命名其中一个。
  • 不要写明文密钥。 LibreChat 的文档建议使用 ${VAR} 引用,而不是把密钥直接写进 librechat.yaml,否则密钥会以明文留在文件里。

选哪个模型

用途 模型
默认对话、工具、JSON GLM 5.3
图片和阿拉伯语 Qwen3.8 27B
长文档,1M 上下文 DeepSeek V4.1 Flash
标题和快速回复 BroadNet Gemma 4 VL 26B

这些模型中,只有 Gemma 4 VL 26B 可以用 $5 初始额度运行;这笔额度也覆盖两个 Transcribe 模型。价格对比见价格页面。

故障排查

  • 端点不出现。 检查 name、baseURL、apiKey 和 models.default 是否拼写正确,并且缩进在 endpoints.custom 之内。LibreChat 会丢弃不完整的条目,不写任何日志。使用 Docker 时,确认 docker-compose.override.yml 中的 bind mount 已取消注释。
  • “Missing API Key for BroadNet”(缺少 BroadNet 的 API 密钥)。 BROADNET_API_KEY 不在 .env 中,或者 LibreChat 没有重启。端点仍会显示,只有发送消息时才报错。
  • 服务商返回 401。 密钥错误、已过期,或者按量付费额度已用完。
  • 模型报错。 每个 ID 都必须与 BroadNet 的完全一致,包括 broadnet/ 前缀。GLM 5.3、Qwen3.8 27B 和 DeepSeek V4.1 Flash 需要先充值。
  • 回复为空。 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考,思考内容计入 max_tokens。如果你在 LibreChat 的参数里设置了较小的最大输出,请调高。为什么回答会是空的。
  • 用户多时出现 429。 一个按量付费密钥每分钟允许 30 个请求,同时最多 4 个,由该端点的所有用户共享。生成标题的请求也算在内。使用 user_provided 密钥可以分散负载。参见错误码与重试。
  • 套餐密钥。 一个不限量套餐会话一次只处理一个请求,且不能共享,所以不适合多用户的 LibreChat。

常见问题

为什么 LibreChat 里看不到我的 BroadNet 端点?

如果 name、baseURL、apiKey 或 models.default 缺失或拼错,LibreChat 会直接丢弃这个自定义端点,不报错也不写日志。使用 Docker 时,还要检查 librechat.yaml 是否挂载到了 /app/librechat.yaml,以及是否已经重启。

能让每个用户用自己的 BroadNet 密钥吗?

可以。把 apiKey 设为 user_provided。之后每个用户第一次选择该端点时,LibreChat 会要求输入密钥,并加密保存。

为什么 LibreChat 提示 "Missing API Key for BroadNet"?

apiKey 引用的变量没有在 .env 中设置。端点仍会出现在选择器里,只有发送消息时才会报错。添加该变量,然后重启 LibreChat。

LibreChat 的 baseURL 要包含 /chat/completions 吗?

不要。LibreChat 默认会在 baseURL 后拼上 /chat/completions。请使用 https://inference.broadnet.ai/v1。只有当你填写的 URL 本身已经是完整的 completions 端点时,才把 directEndpoint 设为 true。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity