BroadRouter

Ajouter BroadNet Inference à LibreChat comme custom endpoint

Mis à jour

Dans librechat.yaml, ajoutez une entrée sous endpoints.custom avec name BroadNet, apiKey pointant vers une variable d’environnement comme BROADNET_API_KEY, baseURL https://inference.broadnet.ai/v1 et, sous models.default, des ID BroadNet comme broadnet/glm-5.3. Mettez la clé dans .env, montez le fichier dans le conteneur sous Docker, puis redémarrez LibreChat. LibreChat ajoute lui-même /chat/completions à l’URL de base.

LibreChat est une application de chat open source qui prend en charge les services compatibles OpenAI sous forme de custom endpoints. Vous les définissez dans librechat.yaml, gardez les clés dans .env et, sous Docker, montez le fichier YAML dans le conteneur. BroadRouter est le site de BroadNet ; les étapes suivent le guide des custom endpoints de LibreChat.

Configuration

  1. Montez librechat.yaml (Docker uniquement). Copiez docker-compose.override.yml.example vers docker-compose.override.yml et vérifiez que le volume est actif :
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
  1. Ajoutez l’endpoint dans librechat.yaml, à la racine du projet, sous endpoints.custom :
endpoints:
  custom:
    - name: 'BroadNet'
      apiKey: '${BROADNET_API_KEY}'
      baseURL: 'https://inference.broadnet.ai/v1'
      models:
        default:
          - 'broadnet/glm-5.3'
          - 'broadnet/qwen3.8-27b'
          - 'broadnet/deepseek-v4.1-flash'
          - 'broadnet/gemma-4-26b-a4b'
        fetch: false
      titleConvo: true
      titleModel: 'broadnet/gemma-4-26b-a4b'
      modelDisplayLabel: 'BroadNet'

Conservez les clés de premier niveau déjà présentes dans votre fichier, comme version.

  1. Définissez la clé dans .env :
BROADNET_API_KEY=your-broadnet-key
  1. Redémarrez LibreChat. Avec Docker : docker compose down && docker compose up -d. Pour une installation locale, redémarrez avec npm run backend. BroadNet apparaît alors dans le sélecteur d’endpoints.

Notes sur les champs

  • baseURL. LibreChat ajoute lui-même /chat/completions : utilisez donc la racine /v1 ci-dessus. Ne réglez pas directEndpoint: true ; cette option est prévue pour une baseURL qui est déjà l’URL complète des completions.
  • fetch: false. C’est la valeur par défaut de LibreChat ; nous la définissons pour rendre ce choix visible. La documentation de BroadNet décrit GET /v1/models comme des métadonnées de catalogue publiques destinées aux outils de supervision : lister les modèles dans default est donc plus prévisible.
  • titleModel. LibreChat génère un titre pour chaque conversation avec une requête supplémentaire. Un petit modèle peu coûteux, sans raisonnement, garde cet appel court. La documentation de BroadNet n’indique pas de raisonnement pour Gemma 4 VL 26B.
  • user_provided. Réglez apiKey: 'user_provided' si chaque utilisateur doit saisir sa propre clé BroadNet dans l’interface. LibreChat stocke la clé de chaque utilisateur chiffrée et la demande la première fois qu’il choisit l’endpoint.
  • Nom unique. Un second endpoint portant le même nom, sans tenir compte de la casse, remplace le premier sans prévenir. Si vous avez déjà une entrée nommée BroadNet, renommez l’une des deux.
  • Pas de clé en clair. La documentation de LibreChat recommande la référence ${VAR} plutôt qu’une clé saisie dans librechat.yaml, où elle resterait en clair.

Quel modèle choisir ?

Usage Modèle
Chat par défaut, outils, JSON GLM 5.3
Images et arabe Qwen3.8 27B
Longs documents, contexte de 1M DeepSeek V4.1 Flash
Titres et réponses rapides BroadNet Gemma 4 VL 26B

Parmi ces modèles, seul Gemma 4 VL 26B fonctionne avec le crédit de départ de $5, qui couvre aussi les deux modèles Transcribe. Comparez les prix sur la page des tarifs.

Dépannage

  • L’endpoint n’apparaît pas. Vérifiez que name, baseURL, apiKey et models.default sont bien orthographiés et indentés sous endpoints.custom. LibreChat écarte les entrées incomplètes sans ligne de log. Sous Docker, vérifiez que le bind mount n’est plus commenté dans docker-compose.override.yml.
  • « Missing API Key for BroadNet ». BROADNET_API_KEY est absent de .env, ou LibreChat n’a pas été redémarré. L’endpoint apparaît quand même ; l’erreur ne s’affiche qu’à l’envoi d’un message.
  • 401 renvoyé par le fournisseur. La clé est erronée ou a expiré, ou l’allocation à l’usage est épuisée.
  • Erreurs de modèle. Chaque ID doit correspondre exactement à celui de BroadNet, avec le préfixe broadnet/. GLM 5.3, Qwen3.8 27B et DeepSeek V4.1 Flash nécessitent une recharge.
  • Réponses vides. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent d’abord, et le raisonnement est décompté de max_tokens. Si vous avez réglé une petite sortie maximale dans les paramètres de LibreChat, augmentez-la. Pourquoi les réponses reviennent vides.
  • 429 avec de nombreux utilisateurs. Une clé à l’usage autorise 30 requêtes par minute et 4 simultanées, partagées par tous les utilisateurs de l’endpoint. Les requêtes de titre comptent aussi. Des clés user_provided répartissent la charge. Voir codes d’erreur et nouvelles tentatives.
  • Clés de forfait. Une session de forfait illimité traite une requête à la fois et ne peut pas être partagée : elle ne convient donc pas à un LibreChat multi-utilisateur.

Questions fréquentes

Pourquoi mon endpoint BroadNet n’apparaît-il pas dans LibreChat ?

LibreChat écarte un custom endpoint sans erreur ni ligne de log si name, baseURL, apiKey ou models.default manque ou est mal orthographié. Sous Docker, vérifiez aussi que librechat.yaml est monté sur /app/librechat.yaml et que vous avez redémarré.

Chaque utilisateur peut-il utiliser sa propre clé BroadNet ?

Oui. Réglez apiKey sur user_provided. LibreChat demande alors une clé à chaque utilisateur la première fois qu’il choisit l’endpoint, et la stocke chiffrée.

Pourquoi LibreChat affiche-t-il « Missing API Key for BroadNet » ?

La variable référencée dans apiKey n’est pas définie dans .env. L’endpoint apparaît quand même dans le sélecteur, et l’erreur ne s’affiche qu’à l’envoi d’un message. Ajoutez la variable, puis redémarrez LibreChat.

La baseURL de LibreChat doit-elle inclure /chat/completions ?

Non. Par défaut, LibreChat ajoute /chat/completions à la baseURL. Utilisez https://inference.broadnet.ai/v1. Ne réglez directEndpoint sur true que si l’URL saisie est déjà le point de terminaison complet des completions.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity