BroadRouter
开始使用

用 OpenAI-API-compatible 插件把 BroadNet Inference 接入 Dify

更新于

在 Dify 的 Integrations > Model Provider 中安装 OpenAI-API-compatible 插件,然后点击 Add Model。类型选 LLM,填入 BroadNet 模型 ID(例如 broadnet/glm-5.3)、你的 BroadNet 密钥和 API Base URL https://inference.broadnet.ai/v1。Completion mode 设为 Chat,填写真实的上下文大小和给思考留足余量的输出上限,只有 GLM 5.3 或 Qwen3.8 27B 才选 Tool Call。

Dify 是一个用于构建大模型应用和工作流的开源平台。Dify 没有单独列出的供应商,可以通过 Dify 团队(langgenius)发布的 OpenAI-API-compatible 模型供应商插件添加。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的 chat completions,正好适用。BroadRouter 是 BroadNet 自己的网站;下文的字段名来自该插件的 0.0.83 版。

配置步骤

  1. 获取密钥。 在 BroadNet 控制台创建一个按量付费密钥。

  2. 安装插件。 在 Dify 中进入 Integrations > Model Provider,在可安装的供应商中找到 OpenAI-API-compatible(或者在 Marketplace 中打开它),然后安装。你需要是工作空间的所有者或管理员。

  3. 添加模型。 在供应商卡片上点击 Add Model,填写:

    字段 值
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key 你的 BroadNet 密钥
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. 保存。 Dify 会先校验凭证,再添加模型。

  5. 测试。 创建一个 Chatbot 应用,在模型选择器中选中 GLM 5.3 (BroadNet),在预览面板里发一条消息。

想用几个 BroadNet 模型,就重复几次 Add Model。模型名必须与 BroadNet 的 ID 完全一致,包括 broadnet/ 前缀。

各模型的取值

Model Name 上下文大小 Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support(未测试) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

为什么这样选:

  • 上下文大小在插件中默认是 4,096。如果不改,Dify 会把记忆和检索到的上下文裁剪到远低于模型实际能接收的长度。
  • Upper bound for max tokens 默认也是 4,096。其中三个模型会先思考再回答,思考内容计入这个上限,所以要给它们留出空间。16,000 是我们的建议,不是 BroadNet 的限制。
  • Token parameter name 设为 max_tokens,与 BroadNet API 参考文档中的字段一致。插件的默认做法是根据模型名猜测。
  • API Type 保持 Chat Completions。BroadNet 没有列出 Responses API。

语音转写

这个插件也能添加语音转文字模型。BroadNet 在 /v1/audio/transcriptions 上提供 broadnet/cohere-transcribe-arabic(阿拉伯语)和 broadnet/cohere-transcribe(14 种语言)。插件的 README 说,对语音转文字它会自己加上版本路径,所以示例中用的是不带 /v1 的主机地址(这里是 https://inference.broadnet.ai)。我们没有在 Dify 中测试过这条路径,请先用一个短 WAV 文件验证。参见阿拉伯语语音转文字指南。

故障排查

  • 凭证校验失败。 检查密钥、API Base URL(LLM 的地址以 /v1 结尾)和模型名。付费模型需要先充值;$5 额度只覆盖 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • 工作流中回复为空。 LLM 节点的 max tokens 对思考模型来说太低了。调高它。为什么回答会是空的。
  • Agent 节点从不调用工具。 使用 GLM 5.3 或 Qwen3.8 27B,并把 Function Call Type 设为 Tool Call。
  • 负载高时出现 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。并行分支和迭代节点可能超出这个限制;请降低它们的并行度。参见错误码与重试。

常见问题

BroadNet 在 Dify Cloud 和自部署的 Dify 上都能用吗?

都能用。BroadNet Inference 是公开的 HTTPS 端点,Dify Cloud 可以访问到。Dify 的文档说只有工作空间的所有者和管理员能管理模型供应商,添加的密钥在整个工作空间内生效。

API Base URL 要带 /v1 吗?

对 LLM 模型来说要带。插件自己的示例中,聊天模型的 base URL 以 /v1 结尾;它的 README 提醒,对其他某些模型类型,插件会自己加上版本路径。

Function Call Type 该选哪个?

GLM 5.3 和 Qwen3.8 27B 选 Tool Call,BroadNet 为它们列出了工具支持。DeepSeek V4.1 Flash 选 Not Support,除非你自己测试过它的工具调用。

Dify 的 AI 积分能用在 BroadNet 模型上吗?

不能。Dify 的文档说 AI 积分不适用于你用自己账户运行的供应商。费用由 BroadNet 从你填入的密钥上扣除。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity