BroadRouter
Loslegen

BroadNet Inference als Custom Endpoint in LibreChat einbinden

Aktualisiert

Legen Sie in librechat.yaml unter endpoints.custom einen Eintrag an: name BroadNet, apiKey als Verweis auf eine Umgebungsvariable wie BROADNET_API_KEY, baseURL https://inference.broadnet.ai/v1 und unter models.default BroadNet-IDs wie broadnet/glm-5.3. Tragen Sie den Schlüssel in .env ein, mounten Sie die Datei unter Docker in den Container und starten Sie LibreChat neu. LibreChat hängt /chat/completions selbst an die Basis-URL an.

LibreChat ist eine quelloffene Chat-App, die OpenAI-kompatible Dienste als Custom Endpoints unterstützt. Sie definieren sie in librechat.yaml, legen die Schlüssel in .env ab und mounten die YAML-Datei unter Docker in den Container. BroadRouter ist die Website von BroadNet selbst; die Schritte folgen dem Leitfaden zu Custom Endpoints von LibreChat.

Einrichtung

  1. librechat.yaml mounten (nur Docker). Kopieren Sie docker-compose.override.yml.example nach docker-compose.override.yml und stellen Sie sicher, dass das Volume aktiv ist:
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
  1. Endpoint hinzufügen – in librechat.yaml im Projektstamm, unter endpoints.custom:
endpoints:
  custom:
    - name: 'BroadNet'
      apiKey: '${BROADNET_API_KEY}'
      baseURL: 'https://inference.broadnet.ai/v1'
      models:
        default:
          - 'broadnet/glm-5.3'
          - 'broadnet/qwen3.8-27b'
          - 'broadnet/deepseek-v4.1-flash'
          - 'broadnet/gemma-4-26b-a4b'
        fetch: false
      titleConvo: true
      titleModel: 'broadnet/gemma-4-26b-a4b'
      modelDisplayLabel: 'BroadNet'

Behalten Sie vorhandene Top-Level-Schlüssel Ihrer Datei bei, etwa version.

  1. Schlüssel setzen in .env:
BROADNET_API_KEY=your-broadnet-key
  1. LibreChat neu starten. Mit Docker: docker compose down && docker compose up -d. Bei einer lokalen Installation starten Sie mit npm run backend neu. Danach erscheint BroadNet in der Endpoint-Auswahl.

Hinweise zu den Feldern

  • baseURL. LibreChat hängt /chat/completions selbst an; nutzen Sie also den /v1-Stamm von oben. Setzen Sie nicht directEndpoint: true – diese Option ist für eine baseURL gedacht, die bereits die vollständige Completions-URL ist.
  • fetch: false. Das ist der Standard von LibreChat; wir setzen es, damit die Wahl sichtbar ist. Die BroadNet-Dokumentation beschreibt GET /v1/models als öffentliche Katalog-Metadaten für Monitore, daher ist eine Modellliste in default berechenbarer.
  • titleModel. LibreChat erzeugt für jeden Chat mit einer zusätzlichen Anfrage einen Titel. Ein kleines, günstiges Modell ohne Reasoning hält diesen Aufruf kurz. Die BroadNet-Dokumentation nennt für Gemma 4 VL 26B kein Reasoning.
  • user_provided. Setzen Sie apiKey: 'user_provided', wenn jeder Nutzer seinen eigenen BroadNet-Schlüssel in der Oberfläche eingeben soll. LibreChat speichert den Schlüssel jedes Nutzers verschlüsselt und fragt ihn ab, sobald der Endpoint zum ersten Mal gewählt wird.
  • Eindeutiger Name. Ein zweiter Endpoint mit demselben Namen (ohne Rücksicht auf Groß-/Kleinschreibung) ersetzt den ersten stillschweigend. Haben Sie schon einen Eintrag namens BroadNet, benennen Sie einen um.
  • Keine Schlüssel im Klartext. Die LibreChat-Dokumentation empfiehlt den Verweis ${VAR} statt eines in librechat.yaml eingetippten Schlüssels, der sonst im Klartext in der Datei stünde.

Welches Modell passt?

Einsatz Modell
Standard-Chat, Tools, JSON GLM 5.3
Bilder und Arabisch Qwen3.8 27B
Lange Dokumente, 1M Kontext DeepSeek V4.1 Flash
Titel und schnelle Antworten BroadNet Gemma 4 VL 26B

Von diesen Modellen läuft nur Gemma 4 VL 26B mit dem Startguthaben von $5, das außerdem die beiden Transcribe-Modelle abdeckt. Preise vergleichen Sie auf der Preisseite.

Fehlerbehebung

  • Der Endpoint erscheint nicht. Prüfen Sie, ob name, baseURL, apiKey und models.default richtig geschrieben und innerhalb von endpoints.custom eingerückt sind. LibreChat verwirft unvollständige Einträge ohne Logzeile. Prüfen Sie unter Docker, ob der Bind-Mount in docker-compose.override.yml nicht mehr auskommentiert ist.
  • „Missing API Key for BroadNet“. BROADNET_API_KEY fehlt in .env, oder LibreChat wurde nicht neu gestartet. Der Endpoint erscheint trotzdem; der Fehler zeigt sich erst beim Senden einer Nachricht.
  • 401 vom Provider. Der Schlüssel ist falsch oder abgelaufen, oder das Pay-as-you-go-Kontingent ist aufgebraucht.
  • Modellfehler. Jede ID muss exakt der BroadNet-ID entsprechen, mit dem Präfix broadnet/. GLM 5.3, Qwen3.8 27B und DeepSeek V4.1 Flash brauchen eine Aufladung.
  • Leere Antworten. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken zuerst nach, und das Reasoning zählt zu max_tokens. Haben Sie in den Parametern von LibreChat eine kleine maximale Ausgabe gesetzt, erhöhen Sie sie. Warum Antworten leer zurückkommen.
  • 429 bei vielen Nutzern. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig, geteilt von allen Nutzern des Endpoints. Titelanfragen zählen mit. Mit user_provided-Schlüsseln verteilt sich die Last. Siehe Fehlercodes und Retries.
  • Plan-Schlüssel. Eine Session eines unbegrenzten Plans verarbeitet eine Anfrage nach der anderen und lässt sich nicht teilen; sie passt also nicht zu einem LibreChat mit mehreren Nutzern.

Häufige Fragen

Warum erscheint mein BroadNet-Endpoint nicht in LibreChat?

LibreChat verwirft einen Custom Endpoint ohne Fehlermeldung oder Logzeile, wenn name, baseURL, apiKey oder models.default fehlt oder falsch geschrieben ist. Prüfen Sie unter Docker außerdem, ob librechat.yaml unter /app/librechat.yaml gemountet ist und ob Sie neu gestartet haben.

Kann jeder Nutzer seinen eigenen BroadNet-Schlüssel mitbringen?

Ja. Setzen Sie apiKey auf user_provided. LibreChat fragt dann jeden Nutzer nach einem Schlüssel, sobald er den Endpoint zum ersten Mal auswählt, und speichert ihn verschlüsselt.

Warum zeigt LibreChat „Missing API Key for BroadNet“?

Die in apiKey referenzierte Variable ist in .env nicht gesetzt. Der Endpoint erscheint trotzdem in der Auswahl, und der Fehler kommt erst beim Senden einer Nachricht. Ergänzen Sie die Variable und starten Sie LibreChat neu.

Gehört /chat/completions in die baseURL von LibreChat?

Nein. LibreChat hängt /chat/completions standardmäßig an die baseURL an. Nutzen Sie https://inference.broadnet.ai/v1. Setzen Sie directEndpoint nur dann auf true, wenn die eingetragene URL bereits der vollständige Completions-Endpoint ist.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen