BroadRouter
始める

OpenAI-API-compatible プラグインで Dify に BroadNet Inference を追加する

更新日

Dify の Integrations > Model Provider から OpenAI-API-compatible プラグインをインストールし、Add Model をクリックします。タイプは LLM を選び、broadnet/glm-5.3 などの BroadNet のモデル ID、BroadNet のキー、API Base URL に https://inference.broadnet.ai/v1 を入力します。Completion mode は Chat、実際のコンテキストサイズ、推論の余裕を見た出力上限を設定し、Tool Call は GLM 5.3 か Qwen3.8 27B のときだけ選びます。

Dify は、LLM アプリやワークフローを作るためのオープンソースのプラットフォームです。Dify が名前で掲載していないプロバイダーは、Dify のチーム(langgenius)が公開している OpenAI-API-compatible モデルプロバイダープラグインで追加します。BroadNet Inference は https://inference.broadnet.ai/v1 で標準的な chat completions を提供しているので、これに当てはまります。BroadRouter は BroadNet 自身のサイトです。以下のフィールド名はプラグインのバージョン 0.0.83 のものです。

設定手順

  1. キーを用意します。 BroadNet のコンソールで従量課金のキーを作成します。

  2. プラグインをインストールします。 Dify で Integrations > Model Provider を開き、インストールできるプロバイダーの中から OpenAI-API-compatible を探して(または Marketplace で開いて)インストールします。ワークスペースのオーナーか管理者である必要があります。

  3. モデルを追加します。 プロバイダーのカードで Add Model をクリックし、次のように入力します。

    フィールド 値
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key BroadNet のキー
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. 保存します。 Dify は認証情報を確認してからモデルを追加します。

  5. テストします。 Chatbot アプリを作成し、モデルピッカーで GLM 5.3 (BroadNet) を選んで、プレビュー画面でメッセージを送ります。

使いたい BroadNet モデルごとに Add Model を繰り返してください。モデル名は broadnet/ プレフィックスを含めて BroadNet の ID と完全に一致させる必要があります。

モデルごとの値

Model Name コンテキストサイズ Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support(未テスト) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

これらを選んだ理由:

  • コンテキストサイズは、プラグインのデフォルトが 4,096 です。そのままだと、Dify はメモリや検索したコンテキストを、モデルが受け付ける量よりはるかに小さく切り詰めてしまいます。
  • Upper bound for max tokens もデフォルトは 4,096 です。3 つのモデルは回答の前に推論を行い、その推論がこの上限に数えられるので、余裕を持たせてください。16,000 は私たちの提案で、BroadNet の制限ではありません。
  • Token parameter name を max_tokens にすると、BroadNet の API リファレンスにあるフィールドと一致します。プラグインのデフォルトでは、モデル名から推測します。
  • API Type は Chat Completions のままにします。BroadNet は Responses API を掲載していません。

文字起こし

このプラグインでは音声認識(speech-to-text)モデルも追加できます。BroadNet は /v1/audio/transcriptions で、アラビア語向けの broadnet/cohere-transcribe-arabic と 14 言語対応の broadnet/cohere-transcribe を提供しています。プラグインの README によると、speech-to-text ではバージョンのパスをプラグインが自分で付け足すため、例では /v1 のないホスト(ここでは https://inference.broadnet.ai)を使っています。このパスは Dify 経由ではテストしていないので、まず短い WAV ファイルで確認してください。アラビア語の音声認識ガイドを参照してください。

トラブルシューティング

  • 認証情報の確認に失敗する。 キー、API Base URL(LLM では /v1 で終わる)、モデル名を確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • ワークフローで返答が空になる。 LLM ノードの max tokens が推論モデルには低すぎます。上げてください。回答が空で返ってくる理由。
  • Agent ノードがツールを呼ばない。 GLM 5.3 か Qwen3.8 27B を使い、Function Call Type を Tool Call にしてください。
  • 負荷がかかると 429 になる。 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までです。並列ブランチやイテレーションノードはこれを超えることがあるので、並列度を下げてください。エラーとリトライを参照してください。

よくある質問

BroadNet はセルフホストの Dify だけでなく Dify Cloud でも使えますか?

使えます。BroadNet Inference は公開の HTTPS エンドポイントなので、Dify Cloud からも到達できます。Dify のドキュメントによると、モデルプロバイダーを管理できるのはワークスペースのオーナーと管理者だけで、追加したキーはワークスペース全体で使えます。

API Base URL には /v1 を含めるべきですか?

LLM モデルでは含めます。プラグイン自身の例では、チャットモデルのベース URL が /v1 で終わっています。README には、ほかの一部のモデルタイプではバージョンのパスをプラグインが自分で付け足すという注意があります。

Function Call Type はどれを選べばいいですか?

BroadNet がツール対応として掲載している GLM 5.3 と Qwen3.8 27B では Tool Call です。DeepSeek V4.1 Flash は、自分でツール呼び出しをテストしていない限り Not Support を選んでください。

Dify の AI クレジットは BroadNet のモデルに使えますか?

使えません。Dify のドキュメントによると、自分のアカウントで利用するプロバイダーには AI クレジットは適用されません。料金は入力したキーに対して BroadNet が請求します。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く