CrewAI ist ein Python-Framework für Teams aus Agenten. Die Dokumentation zeigt ein Muster für einen eigenen OpenAI-kompatiblen Endpoint: ein LLM mit custom_openai=True und einer base_url. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Standard-Chat-Completions bereit und lässt sich dort direkt einhängen. BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der Dokumentation und dem Quellcode von CrewAI in Version 1.15.41.
Installation
pip install crewai
export BROADNET_API_KEY='your-broadnet-key'
Verbinden
import os
from crewai import LLM, Agent
llm = LLM(
model="broadnet/glm-5.3",
custom_openai=True,
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this limit
)
# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))
analyst = Agent(
role="Analyst",
goal="Summarize incidents",
backstory="You write short incident summaries.",
llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))
Wenn llm.call eine Antwort ausgibt, stimmen Schlüssel, URL und Modell-ID.
Wie CrewAI die Anfrage weiterleitet
Der Quellcode von CrewAI legt eine Reihenfolge fest: custom_openai=True kommt zuerst und erzwingt den nativen OpenAI-Provider, unabhängig davon, was der Modellname nahelegt. Außerdem wirft CrewAI einen Fehler, wenn kein eigener Endpoint über base_url, api_base, OPENAI_BASE_URL oder OPENAI_API_BASE gesetzt ist. Der Modell-String wird unverändert gesendet, broadnet/glm-5.3 kommt also so bei BroadNet an.
Ohne custom_openai würde ein Name wie broadnet/glm-5.3 als Provider broadnet gelesen, den CrewAI nicht kennt, und auf LiteLLM zurückfallen. Die dokumentierte Alternative ist model="openai/broadnet/glm-5.3" mit einer base_url: CrewAI entfernt das Präfix openai/ und sendet den Rest.
Zwei weitere Punkte aus Code und Dokumentation von CrewAI:
- Feld für das Token-Limit. Wenn Sie
max_tokensübergeben, sendet der native Client bei Chat Completionsmax_tokens, also das Feld, das die API-Referenz von BroadNet beschreibt. Übergeben Siemax_completion_tokens, wird stattdessen dieses gesendet. - Bleiben Sie bei Chat Completions. Die CrewAI-Dokumentation zeigt
api="responses", um auf die Responses API umzuschalten. Setzen Sie das nicht; BroadNet listet diese API nicht.
Welches Modell für welchen Agenten?
| Agent | Modell | Warum |
|---|---|---|
| Agenten mit Tools | broadnet/glm-5.3 |
BroadNet gibt Tools und strukturierte Ausgabe an; 1M Kontext |
| Bild- oder arabische Eingaben, mit Tools | broadnet/qwen3.8-27b |
Tools plus Bilder; 262K Kontext |
| Lange Leseaufgaben, Flatrate-Plan | broadnet/deepseek-v4.1-flash |
Unbegrenzte Pläne; Tools von BroadNet nicht gelistet |
Eine Crew kann die Modelle mischen: Geben Sie jedem Agent sein eigenes LLM.
Fehlerbehebung
- 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht. Wenn Sie
api_keyweggelassen haben, hat CrewAIOPENAI_API_KEYgelesen, und dort steht womöglich ein OpenAI-Schlüssel. - „custom_openai=True requires base_url“. Übergeben Sie
base_urloder setzen SieOPENAI_BASE_URL. - Modell nicht gefunden. Prüfen Sie, ob die ID exakt der von BroadNet entspricht. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur
broadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. EmptyLLMResponseError. CrewAI wiederholt eine leere Antwort einmal und löst dann diesen Fehler aus. Erhöhen Siemax_tokens. Warum Antworten leer zurückkommen.- 429 mit mehreren Agenten. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende, und eine Plan-Session verarbeitet immer nur eine Anfrage. Siehe Fehlercodes und Retries.
