BroadRouter
Magsimula

BroadNet Inference sa Dify gamit ang OpenAI-API-compatible plugin

Na-update

Sa Dify, i-install ang OpenAI-API-compatible plugin mula sa Integrations, Model Provider, saka i-click ang Add Model. Piliin ang type na LLM, ilagay ang BroadNet model ID gaya ng broadnet/glm-5.3, ang BroadNet key mo at ang API Base URL na https://inference.broadnet.ai/v1. I-set ang Completion mode sa Chat, ang totoong laki ng context, output limit na may espasyo para sa reasoning, at Tool Call para lang sa GLM 5.3 o Qwen3.8 27B.

Ang Dify ay open-source na platform para sa paggawa ng mga LLM app at workflow. Ang mga provider na hindi nakalista sa Dify ayon sa pangalan ay idinadagdag sa pamamagitan ng OpenAI-API-compatible model provider plugin, na inilathala ng team ng Dify (langgenius). Karaniwang chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1, kaya swak ito. Sariling site ng BroadNet ang BroadRouter; galing sa bersyon 0.0.83 ng plugin ang mga pangalan ng field sa ibaba.

Setup

  1. Kumuha ng key. Gumawa ng pay-as-you-go key sa BroadNet console.

  2. I-install ang plugin. Sa Dify, pumunta sa Integrations > Model Provider, hanapin ang OpenAI-API-compatible sa mga provider na puwedeng i-install (o buksan ito sa Marketplace), at i-install ito. Kailangang owner o admin ka ng workspace.

  3. Magdagdag ng model. I-click ang Add Model sa provider card at punan ang:

    Field Value
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key ang BroadNet key mo
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. I-save. Sinusuri ng Dify ang credentials bago nito idagdag ang model.

  5. I-test ito. Gumawa ng Chatbot app, piliin ang GLM 5.3 (BroadNet) sa model picker at magpadala ng mensahe sa preview pane.

Ulitin ang Add Model para sa bawat BroadNet model na gusto mo. Kailangang eksaktong tugma ang model name sa ID ng BroadNet, kasama ang broadnet/ prefix.

Mga value kada model

Model Name Laki ng context Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (hindi pa nasusubok) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

Bakit ganito ang mga pinili:

  • Context size: 4,096 ang default nito sa plugin. Kung iiwan doon, puputulin ng Dify ang memory at ang nakuhang context sa sukat na malayong mas maliit sa kayang tanggapin ng model.
  • Upper bound for max tokens: 4,096 din ang default. Nagre-reason muna ang tatlo sa mga model bago sumagot, at kasama ang reasoning sa limit na ito, kaya bigyan sila ng espasyo. Mungkahi namin ang 16,000, hindi limit ng BroadNet.
  • Token parameter name: kapag naka-set sa max_tokens, tugma ito sa field sa API reference ng BroadNet. Ang default ng plugin ay manghula batay sa pangalan ng model.
  • API Type: manatili sa Chat Completions. Hindi nakalista sa BroadNet ang Responses API.

Transcription

Puwede ring magdagdag ang plugin ng mga speech-to-text model. Sine-serve ng BroadNet ang /v1/audio/transcriptions gamit ang broadnet/cohere-transcribe-arabic para sa Arabic at broadnet/cohere-transcribe para sa 14 na wika. Ayon sa README ng plugin, para sa speech-to-text, ito na mismo ang nagdadagdag ng version path, kaya host na walang /v1 ang gamit sa halimbawa nito (dito, https://inference.broadnet.ai). Hindi pa namin nasusubok ang path na ito sa Dify; subukan muna ito gamit ang maikling WAV file. Tingnan ang gabay sa Arabic speech-to-text.

Troubleshooting

  • Pumapalya ang credential check. Suriin ang key, ang API Base URL (nagtatapos ito sa /v1 para sa mga LLM) at ang model name. Kailangan ng top-up para sa mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Walang lamang sagot sa isang workflow. Masyadong mababa ang max tokens ng LLM node para sa isang reasoning model. Taasan ito. Bakit walang laman ang mga sagot.
  • Hindi kailanman tumatawag ng tools ang Agent node. Gamitin ang GLM 5.3 o Qwen3.8 27B na naka-set ang Function Call Type sa Tool Call.
  • 429 kapag mabigat ang load. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay na tumatakbo. Puwedeng lumampas doon ang mga parallel na branch at iteration node; babaan ang parallelism nila. Tingnan ang errors and retries.

Mga tanong

Gumagana ba ang BroadNet sa Dify Cloud at sa self-hosted na Dify?

Oo. Pampublikong HTTPS endpoint ang BroadNet Inference, kaya naaabot ito ng Dify Cloud. Ayon sa docs ng Dify, mga owner at admin lang ng workspace ang puwedeng mamahala ng model providers, at gumagana sa buong workspace ang key na idinagdag mo.

Dapat bang may /v1 ang API Base URL?

Oo, para sa mga LLM model. Base URL na nagtatapos sa /v1 ang gamit ng sariling mga halimbawa ng plugin para sa mga chat model, at nagbababala ang README nito na para sa ilang ibang uri ng model, ito na mismo ang nagdadagdag ng version path.

Aling Function Call Type ang dapat kong piliin?

Tool Call para sa GLM 5.3 at Qwen3.8 27B, na nakalista sa BroadNet na may tools. Piliin ang Not Support para sa DeepSeek V4.1 Flash maliban kung ikaw mismo ang nakasubok ng tool calls dito.

Nalalapat ba ang Dify AI credits sa mga model ng BroadNet?

Hindi. Ayon sa docs ng Dify, hindi nalalapat ang AI credits sa mga provider na pinapatakbo mo sa sarili mong account. Sinisingil ng BroadNet ang key na inilagay mo.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity