BroadRouter
Loslegen

BroadNet Inference per OpenAI-API-compatible-Plugin in Dify einbinden

Aktualisiert

Installieren Sie in Dify unter Integrations, Model Provider das Plugin OpenAI-API-compatible und klicken Sie auf Add Model. Wählen Sie den Typ LLM, geben Sie eine BroadNet-Modell-ID wie broadnet/glm-5.3, Ihren BroadNet-Schlüssel und die API Base URL https://inference.broadnet.ai/v1 ein. Setzen Sie Completion mode auf Chat, die echte Kontextgröße, ein Output-Limit mit Platz für Reasoning und Tool Call nur für GLM 5.3 oder Qwen3.8 27B.

Dify ist eine Open-Source-Plattform für LLM-Apps und Workflows. Provider, die Dify nicht namentlich listet, binden Sie über das Model-Provider-Plugin OpenAI-API-compatible ein, das das Dify-Team (langgenius) veröffentlicht. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Standard-Chat-Completions bereit und passt daher. BroadRouter ist die Website von BroadNet selbst; die Feldnamen unten stammen aus Version 0.0.83 des Plugins.

Einrichtung

  1. Schlüssel besorgen. Erstellen Sie in der BroadNet-Konsole einen Pay-as-you-go-Schlüssel.

  2. Plugin installieren. Gehen Sie in Dify zu Integrations > Model Provider, suchen Sie OpenAI-API-compatible unter den installierbaren Providern (oder öffnen Sie es im Marketplace) und installieren Sie es. Dafür müssen Sie Owner oder Admin des Workspace sein.

  3. Modell hinzufügen. Klicken Sie auf der Provider-Karte auf Add Model und füllen Sie aus:

    Feld Wert
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key Ihr BroadNet-Schlüssel
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. Speichern. Dify prüft die Zugangsdaten, bevor es das Modell hinzufügt.

  5. Testen. Erstellen Sie eine Chatbot-App, wählen Sie in der Modellauswahl GLM 5.3 (BroadNet) und senden Sie im Vorschaubereich eine Nachricht.

Wiederholen Sie Add Model für jedes BroadNet-Modell, das Sie nutzen möchten. Der Modellname muss exakt der BroadNet-ID entsprechen, einschließlich des Präfixes broadnet/.

Werte pro Modell

Model Name Kontextgröße Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (ungetestet) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

Warum diese Werte:

  • Context size steht im Plugin standardmäßig auf 4.096. Bleibt es dabei, kürzt Dify Gedächtnis und abgerufenen Kontext weit unter das, was das Modell annimmt.
  • Upper bound for max tokens steht ebenfalls standardmäßig auf 4.096. Drei der Modelle denken vor der Antwort nach, und das Reasoning zählt zu diesem Limit; geben Sie ihnen also Spielraum. 16.000 ist unser Vorschlag, kein Limit von BroadNet.
  • Token parameter name auf max_tokens entspricht dem Feld in der API-Referenz von BroadNet. Standardmäßig rät das Plugin anhand des Modellnamens.
  • API Type bleibt auf Chat Completions. BroadNet listet die Responses API nicht.

Transkription

Das Plugin kann auch Speech-to-Text-Modelle hinzufügen. BroadNet stellt /v1/audio/transcriptions mit broadnet/cohere-transcribe-arabic für Arabisch und broadnet/cohere-transcribe für 14 Sprachen bereit. Laut README des Plugins ergänzt es bei Speech-to-Text den Versionspfad selbst, daher nutzt sein Beispiel den Host ohne /v1 (hier https://inference.broadnet.ai). Diesen Weg haben wir über Dify nicht getestet; prüfen Sie ihn zuerst mit einer kurzen WAV-Datei. Siehe die Anleitung zu Speech-to-Text für Arabisch.

Fehlerbehebung

  • Prüfung der Zugangsdaten schlägt fehl. Prüfen Sie den Schlüssel, die API Base URL (für LLMs endet sie auf /v1) und den Modellnamen. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Leere Antworten in einem Workflow. Max tokens des LLM-Knotens ist für ein Reasoning-Modell zu niedrig. Erhöhen Sie den Wert. Warum Antworten leer zurückkommen.
  • Der Agent-Knoten ruft nie Tools auf. Nutzen Sie GLM 5.3 oder Qwen3.8 27B mit Function Call Type auf Tool Call.
  • 429 unter Last. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Parallele Zweige und Iterationsknoten können das überschreiten; senken Sie deren Parallelität. Siehe Fehlercodes und Retries.

Häufige Fragen

Funktioniert BroadNet mit Dify Cloud und mit selbst gehostetem Dify?

Ja. BroadNet Inference ist ein öffentlicher HTTPS-Endpoint, Dify Cloud kann ihn also erreichen. Laut Dify-Dokumentation dürfen nur Owner und Admins des Workspace Model Provider verwalten, und ein hinzugefügter Schlüssel gilt im gesamten Workspace.

Gehört /v1 in die API Base URL?

Ja, für LLM-Modelle. Die Beispiele des Plugins nutzen für Chat-Modelle eine Basis-URL, die auf /v1 endet, und die README warnt, dass das Plugin bei einigen anderen Modelltypen den Versionspfad selbst ergänzt.

Welchen Function Call Type soll ich wählen?

Tool Call für GLM 5.3 und Qwen3.8 27B, für die BroadNet Tools angibt. Wählen Sie Not Support für DeepSeek V4.1 Flash, solange Sie Tool Calls dort nicht selbst getestet haben.

Gelten Dify-AI-Credits für BroadNet-Modelle?

Nein. Laut Dify-Dokumentation gelten AI-Credits nicht für Provider, die Sie mit Ihrem eigenen Konto betreiben. BroadNet rechnet über den eingetragenen Schlüssel ab.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen