CrewAI è un framework Python per squadre di agenti. La sua documentazione mostra uno schema di endpoint personalizzato compatibile con OpenAI: un LLM con custom_openai=True e un base_url. BroadNet Inference serve chat completions standard su https://inference.broadnet.ai/v1, quindi si collega proprio lì. BroadRouter è il sito di BroadNet; questa guida segue la documentazione e il codice sorgente di CrewAI alla versione 1.15.41.
Installazione
pip install crewai
export BROADNET_API_KEY='your-broadnet-key'
Connessione
import os
from crewai import LLM, Agent
llm = LLM(
model="broadnet/glm-5.3",
custom_openai=True,
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this limit
)
# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))
analyst = Agent(
role="Analyst",
goal="Summarize incidents",
backstory="You write short incident summaries.",
llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))
Se llm.call stampa una risposta, chiave, URL e ID del modello sono corretti.
Come CrewAI instrada la richiesta
Il codice sorgente di CrewAI stabilisce un ordine: custom_openai=True viene prima di tutto e forza il provider OpenAI nativo, scavalcando qualunque cosa suggerisca il nome del modello. Solleva anche un errore se non è impostato un endpoint personalizzato tramite base_url, api_base, OPENAI_BASE_URL o OPENAI_API_BASE. La stringa del modello viene inviata così com’è, quindi broadnet/glm-5.3 arriva a BroadNet invariato.
Senza custom_openai, un nome come broadnet/glm-5.3 verrebbe letto come provider broadnet, che CrewAI non conosce, e si ripiegherebbe su LiteLLM. L’alternativa documentata è model="openai/broadnet/glm-5.3" con un base_url: CrewAI rimuove il prefisso openai/ e invia il resto.
Altre due cose dal codice e dalla documentazione di CrewAI:
- Campo del limite di token. Se passi
max_tokens, il client nativo inviamax_tokenssu chat completions, il campo descritto dal riferimento API di BroadNet. Se passimax_completion_tokens, viene inviato quello. - Resta su chat completions. La documentazione di CrewAI mostra
api="responses"per passare alla Responses API. Non impostarlo: BroadNet non indica quell’API.
Quale modello per quale agente
| Agente | Modello | Perché |
|---|---|---|
| Agenti con strumenti | broadnet/glm-5.3 |
BroadNet indica strumenti e output strutturato; contesto da 1M |
| Input di immagini o in arabo, con strumenti | broadnet/qwen3.8-27b |
Strumenti più immagini; contesto da 262K |
| Letture lunghe, piano flat | broadnet/deepseek-v4.1-flash |
Piani illimitati; strumenti non indicati da BroadNet |
Una crew può combinarli: dai a ogni Agent il suo LLM.
Risoluzione dei problemi
- 401. La chiave è sbagliata, scaduta o senza più quota. Se hai omesso
api_key, CrewAI ha lettoOPENAI_API_KEY, che potrebbe contenere una chiave OpenAI. - “custom_openai=True requires base_url”. Passa
base_url, oppure impostaOPENAI_BASE_URL. - Modello non trovato. Controlla che l’ID corrisponda esattamente a quello di BroadNet. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo
broadnet/gemma-4-26b-a4be i due modelli Transcribe. EmptyLLMResponseError. CrewAI ritenta una volta una risposta vuota, poi solleva questo errore. Alzamax_tokens. Perché le risposte arrivano vuote.- 429 con più agenti. Una chiave a consumo consente 30 richieste al minuto e 4 in corso, e una sessione del piano esegue una richiesta alla volta. Vedi errori e retry.
