BroadNet Inference per OpenAI-API-compatible-Plugin in Dify einbinden
Aktualisiert
Installieren Sie in Dify unter Integrations, Model Provider das Plugin OpenAI-API-compatible und klicken Sie auf Add Model. Wählen Sie den Typ LLM, geben Sie eine BroadNet-Modell-ID wie broadnet/glm-5.3, Ihren BroadNet-Schlüssel und die API Base URL https://inference.broadnet.ai/v1 ein. Setzen Sie Completion mode auf Chat, die echte Kontextgröße, ein Output-Limit mit Platz für Reasoning und Tool Call nur für GLM 5.3 oder Qwen3.8 27B.
Dify ist eine Open-Source-Plattform für LLM-Apps und Workflows. Provider, die Dify nicht namentlich listet, binden Sie über das Model-Provider-Plugin OpenAI-API-compatible ein, das das Dify-Team (langgenius) veröffentlicht. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Standard-Chat-Completions bereit und passt daher. BroadRouter ist die Website von BroadNet selbst; die Feldnamen unten stammen aus Version 0.0.83 des Plugins.
Einrichtung
Schlüssel besorgen. Erstellen Sie in der BroadNet-Konsole einen Pay-as-you-go-Schlüssel.
Plugin installieren. Gehen Sie in Dify zu Integrations > Model Provider, suchen Sie OpenAI-API-compatible unter den installierbaren Providern (oder öffnen Sie es im Marketplace) und installieren Sie es. Dafür müssen Sie Owner oder Admin des Workspace sein.
Modell hinzufügen. Klicken Sie auf der Provider-Karte auf Add Model und füllen Sie aus:
Feld
Wert
Model Type
LLM
Model Name
broadnet/glm-5.3
Model display name
GLM 5.3 (BroadNet)
API Key
Ihr BroadNet-Schlüssel
API Base URL
https://inference.broadnet.ai/v1
Completion mode
Chat
Model context size
1048576
Upper bound for max tokens
16000
Function Call Type
Tool Call
Vision Support
Not Support
Structured Output
Support
API Type
Chat Completions API (/chat/completions)
Token parameter name
Use max_tokens
Speichern. Dify prüft die Zugangsdaten, bevor es das Modell hinzufügt.
Testen. Erstellen Sie eine Chatbot-App, wählen Sie in der Modellauswahl GLM 5.3 (BroadNet) und senden Sie im Vorschaubereich eine Nachricht.
Wiederholen Sie Add Model für jedes BroadNet-Modell, das Sie nutzen möchten. Der Modellname muss exakt der BroadNet-ID entsprechen, einschließlich des Präfixes broadnet/.
Werte pro Modell
Model Name
Kontextgröße
Function Call Type
Vision Support
broadnet/glm-5.3
1048576
Tool Call
Not Support
broadnet/qwen3.8-27b
262144
Tool Call
Support
broadnet/deepseek-v4.1-flash
1048576
Not Support (ungetestet)
Support
broadnet/gemma-4-26b-a4b
32768
Not Support
Support
Warum diese Werte:
Context size steht im Plugin standardmäßig auf 4.096. Bleibt es dabei, kürzt Dify Gedächtnis und abgerufenen Kontext weit unter das, was das Modell annimmt.
Upper bound for max tokens steht ebenfalls standardmäßig auf 4.096. Drei der Modelle denken vor der Antwort nach, und das Reasoning zählt zu diesem Limit; geben Sie ihnen also Spielraum. 16.000 ist unser Vorschlag, kein Limit von BroadNet.
Token parameter name auf max_tokens entspricht dem Feld in der API-Referenz von BroadNet. Standardmäßig rät das Plugin anhand des Modellnamens.
API Type bleibt auf Chat Completions. BroadNet listet die Responses API nicht.
Transkription
Das Plugin kann auch Speech-to-Text-Modelle hinzufügen. BroadNet stellt /v1/audio/transcriptions mit broadnet/cohere-transcribe-arabic für Arabisch und broadnet/cohere-transcribe für 14 Sprachen bereit. Laut README des Plugins ergänzt es bei Speech-to-Text den Versionspfad selbst, daher nutzt sein Beispiel den Host ohne /v1 (hier https://inference.broadnet.ai). Diesen Weg haben wir über Dify nicht getestet; prüfen Sie ihn zuerst mit einer kurzen WAV-Datei. Siehe die Anleitung zu Speech-to-Text für Arabisch.
Fehlerbehebung
Prüfung der Zugangsdaten schlägt fehl. Prüfen Sie den Schlüssel, die API Base URL (für LLMs endet sie auf /v1) und den Modellnamen. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
Leere Antworten in einem Workflow. Max tokens des LLM-Knotens ist für ein Reasoning-Modell zu niedrig. Erhöhen Sie den Wert. Warum Antworten leer zurückkommen.
Der Agent-Knoten ruft nie Tools auf. Nutzen Sie GLM 5.3 oder Qwen3.8 27B mit Function Call Type auf Tool Call.
429 unter Last. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Parallele Zweige und Iterationsknoten können das überschreiten; senken Sie deren Parallelität. Siehe Fehlercodes und Retries.
Häufige Fragen
Funktioniert BroadNet mit Dify Cloud und mit selbst gehostetem Dify?
Ja. BroadNet Inference ist ein öffentlicher HTTPS-Endpoint, Dify Cloud kann ihn also erreichen. Laut Dify-Dokumentation dürfen nur Owner und Admins des Workspace Model Provider verwalten, und ein hinzugefügter Schlüssel gilt im gesamten Workspace.
Gehört /v1 in die API Base URL?
Ja, für LLM-Modelle. Die Beispiele des Plugins nutzen für Chat-Modelle eine Basis-URL, die auf /v1 endet, und die README warnt, dass das Plugin bei einigen anderen Modelltypen den Versionspfad selbst ergänzt.
Welchen Function Call Type soll ich wählen?
Tool Call für GLM 5.3 und Qwen3.8 27B, für die BroadNet Tools angibt. Wählen Sie Not Support für DeepSeek V4.1 Flash, solange Sie Tool Calls dort nicht selbst getestet haben.
Gelten Dify-AI-Credits für BroadNet-Modelle?
Nein. Laut Dify-Dokumentation gelten AI-Credits nicht für Provider, die Sie mit Ihrem eigenen Konto betreiben. BroadNet rechnet über den eingetragenen Schlüssel ab.