BroadRouter

CrewAI avec BroadNet Inference comme endpoint OpenAI personnalisé

Mis à jour

Créez le modèle avec la classe LLM de crewai en passant model défini sur un ID BroadNet comme broadnet/glm-5.3, custom_openai=True, base_url sur https://inference.broadnet.ai/v1 et api_key sur votre clé BroadNet. Donnez ensuite ce LLM à chaque Agent. CrewAI utilise son client OpenAI natif et les chat completions : inutile d’installer LiteLLM.

CrewAI est un framework Python pour des équipes d’agents. Sa documentation présente un schéma d’endpoint personnalisé compatible OpenAI : un LLM avec custom_openai=True et une base_url. BroadNet Inference sert des chat completions standard à l’adresse https://inference.broadnet.ai/v1 et s’y branche donc directement. BroadRouter est le site de BroadNet ; ce guide suit la documentation et le code source de CrewAI dans sa version 1.15.41.

Installation

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Connexion

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Si llm.call affiche une réponse, la clé, l’URL et l’ID du modèle sont corrects.

Comment CrewAI achemine la requête

Le code source de CrewAI fixe un ordre : custom_openai=True passe en premier et impose le fournisseur OpenAI natif, quel que soit ce que suggère le nom du modèle. CrewAI lève aussi une erreur si aucun endpoint personnalisé n’est défini via base_url, api_base, OPENAI_BASE_URL ou OPENAI_API_BASE. La chaîne du modèle est envoyée telle quelle : broadnet/glm-5.3 arrive inchangé chez BroadNet.

Sans custom_openai, un nom comme broadnet/glm-5.3 serait lu comme le fournisseur broadnet, que CrewAI ne connaît pas, et basculerait vers LiteLLM. L’alternative documentée est model="openai/broadnet/glm-5.3" avec une base_url : CrewAI retire le préfixe openai/ et envoie le reste.

Deux autres points tirés du code et de la documentation de CrewAI :

  • Champ de limite de tokens. Si vous passez max_tokens, le client natif envoie max_tokens sur les chat completions, le champ que décrit la référence de l’API de BroadNet. Si vous passez max_completion_tokens, c’est celui-ci qui est envoyé.
  • Restez sur les chat completions. La documentation de CrewAI montre api="responses" pour basculer vers la Responses API. Ne l’utilisez pas ; BroadNet ne liste pas cette API.

Quel modèle pour quel agent ?

Agent Modèle Pourquoi
Agents avec outils broadnet/glm-5.3 BroadNet indique outils et sortie structurée ; contexte de 1M
Entrée image ou arabe, avec outils broadnet/qwen3.8-27b Outils et images ; contexte de 262K
Longues tâches de lecture, forfait broadnet/deepseek-v4.1-flash Forfaits illimités ; outils non listés par BroadNet

Une crew peut les combiner : donnez à chaque Agent son propre LLM.

Dépannage

  • 401. La clé est erronée, expirée ou à court de quota. Si vous avez omis api_key, CrewAI a lu OPENAI_API_KEY, qui contient peut-être une clé OpenAI.
  • « custom_openai=True requires base_url ». Passez base_url, ou définissez OPENAI_BASE_URL.
  • Modèle introuvable. Vérifiez que l’ID correspond exactement à celui de BroadNet. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre que broadnet/gemma-4-26b-a4b et les deux modèles Transcribe.
  • EmptyLLMResponseError. CrewAI relance une fois après une réponse vide, puis lève cette erreur. Augmentez max_tokens. Pourquoi les réponses reviennent vides.
  • 429 avec plusieurs agents. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours, et une session de forfait traite une seule requête à la fois. Voir codes d’erreur et nouvelles tentatives.

Questions fréquentes

Que fait custom_openai=True dans CrewAI ?

D’après le code source de CrewAI, il impose le fournisseur OpenAI natif quel que soit l’aspect du nom du modèle, et il exige base_url, api_base, OPENAI_BASE_URL ou OPENAI_API_BASE. La chaîne du modèle est envoyée telle quelle : broadnet/glm-5.3 arrive inchangé chez BroadNet.

Puis-je écrire model="openai/broadnet/glm-5.3" à la place ?

Oui. Avec une base_url personnalisée, CrewAI dirige un préfixe openai/ vers son client OpenAI natif et retire le préfixe : BroadNet reçoit donc broadnet/glm-5.3. custom_openai=True reste la forme la plus claire.

Pourquoi ma crew échoue-t-elle avec EmptyLLMResponseError ?

CrewAI relance une fois une réponse vide, sans contenu ni appel d’outil, et lève cette erreur si la nouvelle tentative est vide elle aussi. Avec les modèles à raisonnement de BroadNet, cela signifie généralement que le raisonnement a épuisé le budget de sortie. Augmentez max_tokens.

Quel modèle BroadNet utiliser pour les agents CrewAI ?

GLM 5.3 pour les agents avec outils, puisque BroadNet indique pour lui les outils et la sortie structurée. Qwen3.8 27B gère aussi les outils et accepte les images.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity