BroadRouter
Inizia

BroadNet Inference in Dify con il plugin OpenAI-API-compatible

Aggiornato

In Dify installa il plugin OpenAI-API-compatible da Integrations, Model Provider, poi clicca Add Model. Scegli il tipo LLM e inserisci un ID BroadNet come broadnet/glm-5.3, la tua chiave BroadNet e come API Base URL https://inference.broadnet.ai/v1. Imposta Completion mode su Chat, la dimensione reale del contesto, un limite di output con spazio per il ragionamento e Tool Call solo per GLM 5.3 o Qwen3.8 27B.

Dify è una piattaforma open source per creare app e workflow basati su LLM. I provider che Dify non elenca per nome si aggiungono con il plugin di provider OpenAI-API-compatible, pubblicato dal team di Dify (langgenius). BroadNet Inference serve chat completions standard su https://inference.broadnet.ai/v1, quindi è compatibile. BroadRouter è il sito di BroadNet; i nomi dei campi qui sotto vengono dalla versione 0.0.83 del plugin.

Configurazione

  1. Procurati una chiave. Crea una chiave a consumo nella console di BroadNet.

  2. Installa il plugin. In Dify vai su Integrations > Model Provider, cerca OpenAI-API-compatible tra i provider installabili (oppure aprilo nel Marketplace) e installalo. Devi essere owner o admin del workspace.

  3. Aggiungi un modello. Clicca Add Model sulla scheda del provider e compila:

    Campo Valore
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key la tua chiave BroadNet
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. Salva. Dify verifica le credenziali prima di aggiungere il modello.

  5. Provalo. Crea un’app Chatbot, seleziona GLM 5.3 (BroadNet) nel selettore dei modelli e invia un messaggio nel pannello di anteprima.

Ripeti Add Model per ogni modello BroadNet che vuoi usare. Il nome del modello deve corrispondere esattamente all’ID di BroadNet, compreso il prefisso broadnet/.

Valori per modello

Model Name Dimensione del contesto Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (non testato) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

Perché queste scelte:

  • Context size nel plugin vale per default 4.096. Se lo lasci così, Dify taglia memoria e contesto recuperato molto al di sotto di quello che il modello accetta.
  • Upper bound for max tokens vale anch’esso 4.096 per default. Tre dei modelli ragionano prima di rispondere, e il ragionamento conta in questo limite, quindi lascia loro spazio. 16.000 è un nostro suggerimento, non un limite di BroadNet.
  • Token parameter name impostato su max_tokens corrisponde al campo del riferimento API di BroadNet. Per default il plugin prova a dedurlo dal nome del modello.
  • API Type resta su Chat Completions. BroadNet non indica la Responses API.

Trascrizione

Il plugin può aggiungere anche modelli speech-to-text. BroadNet serve /v1/audio/transcriptions con broadnet/cohere-transcribe-arabic per l’arabo e broadnet/cohere-transcribe per 14 lingue. Il README del plugin dice che per lo speech-to-text aggiunge da solo il percorso di versione, quindi il suo esempio usa l’host senza /v1 (qui, https://inference.broadnet.ai). Non abbiamo testato questo percorso attraverso Dify: provalo prima con un breve file WAV. Vedi la guida allo speech-to-text in arabo.

Risoluzione dei problemi

  • La verifica delle credenziali fallisce. Controlla la chiave, l’API Base URL (per gli LLM finisce con /v1) e il nome del modello. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • Risposte vuote in un workflow. Il max tokens del nodo LLM è troppo basso per un modello di ragionamento. Alzalo. Perché le risposte arrivano vuote.
  • Il nodo Agent non chiama mai gli strumenti. Usa GLM 5.3 o Qwen3.8 27B con Function Call Type impostato su Tool Call.
  • 429 sotto carico. Una chiave a consumo consente 30 richieste al minuto e 4 in corso. Rami paralleli e nodi di iterazione possono superare questi limiti: riducine il parallelismo. Vedi errori e retry.

Domande frequenti

BroadNet funziona sia su Dify Cloud sia su Dify self-hosted?

Sì. BroadNet Inference è un endpoint HTTPS pubblico, quindi Dify Cloud può raggiungerlo. Secondo la documentazione di Dify, solo owner e admin del workspace possono gestire i provider di modelli, e una chiave aggiunta vale per tutto il workspace.

L’API Base URL deve includere /v1?

Sì, per i modelli LLM. Gli esempi del plugin usano un base URL che finisce con /v1 per i modelli di chat, e il suo README avverte che per alcuni altri tipi di modello il percorso di versione lo aggiunge da solo.

Quale Function Call Type devo scegliere?

Tool Call per GLM 5.3 e Qwen3.8 27B, che BroadNet indica con strumenti. Per DeepSeek V4.1 Flash scegli Not Support, a meno che tu non abbia provato di persona le chiamate agli strumenti.

I crediti AI di Dify valgono per i modelli BroadNet?

No. Secondo la documentazione di Dify, i crediti AI non si applicano ai provider che usi con il tuo account. BroadNet addebita la chiave che inserisci.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity