BroadRouter

CrewAI mit BroadNet Inference als eigenem OpenAI-Endpoint nutzen

Aktualisiert

Erstellen Sie das Modell mit der Klasse LLM von crewai: model auf eine BroadNet-ID wie broadnet/glm-5.3, custom_openai=True, base_url auf https://inference.broadnet.ai/v1 und api_key auf Ihren BroadNet-Schlüssel. Geben Sie dieses LLM dann jedem Agent. CrewAI nutzt seinen nativen OpenAI-Client und Chat Completions, LiteLLM muss also nicht installiert werden.

CrewAI ist ein Python-Framework für Teams aus Agenten. Die Dokumentation zeigt ein Muster für einen eigenen OpenAI-kompatiblen Endpoint: ein LLM mit custom_openai=True und einer base_url. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Standard-Chat-Completions bereit und lässt sich dort direkt einhängen. BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der Dokumentation und dem Quellcode von CrewAI in Version 1.15.41.

Installation

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Verbinden

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Wenn llm.call eine Antwort ausgibt, stimmen Schlüssel, URL und Modell-ID.

Wie CrewAI die Anfrage weiterleitet

Der Quellcode von CrewAI legt eine Reihenfolge fest: custom_openai=True kommt zuerst und erzwingt den nativen OpenAI-Provider, unabhängig davon, was der Modellname nahelegt. Außerdem wirft CrewAI einen Fehler, wenn kein eigener Endpoint über base_url, api_base, OPENAI_BASE_URL oder OPENAI_API_BASE gesetzt ist. Der Modell-String wird unverändert gesendet, broadnet/glm-5.3 kommt also so bei BroadNet an.

Ohne custom_openai würde ein Name wie broadnet/glm-5.3 als Provider broadnet gelesen, den CrewAI nicht kennt, und auf LiteLLM zurückfallen. Die dokumentierte Alternative ist model="openai/broadnet/glm-5.3" mit einer base_url: CrewAI entfernt das Präfix openai/ und sendet den Rest.

Zwei weitere Punkte aus Code und Dokumentation von CrewAI:

  • Feld für das Token-Limit. Wenn Sie max_tokens übergeben, sendet der native Client bei Chat Completions max_tokens, also das Feld, das die API-Referenz von BroadNet beschreibt. Übergeben Sie max_completion_tokens, wird stattdessen dieses gesendet.
  • Bleiben Sie bei Chat Completions. Die CrewAI-Dokumentation zeigt api="responses", um auf die Responses API umzuschalten. Setzen Sie das nicht; BroadNet listet diese API nicht.

Welches Modell für welchen Agenten?

Agent Modell Warum
Agenten mit Tools broadnet/glm-5.3 BroadNet gibt Tools und strukturierte Ausgabe an; 1M Kontext
Bild- oder arabische Eingaben, mit Tools broadnet/qwen3.8-27b Tools plus Bilder; 262K Kontext
Lange Leseaufgaben, Flatrate-Plan broadnet/deepseek-v4.1-flash Unbegrenzte Pläne; Tools von BroadNet nicht gelistet

Eine Crew kann die Modelle mischen: Geben Sie jedem Agent sein eigenes LLM.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht. Wenn Sie api_key weggelassen haben, hat CrewAI OPENAI_API_KEY gelesen, und dort steht womöglich ein OpenAI-Schlüssel.
  • „custom_openai=True requires base_url“. Übergeben Sie base_url oder setzen Sie OPENAI_BASE_URL.
  • Modell nicht gefunden. Prüfen Sie, ob die ID exakt der von BroadNet entspricht. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • EmptyLLMResponseError. CrewAI wiederholt eine leere Antwort einmal und löst dann diesen Fehler aus. Erhöhen Sie max_tokens. Warum Antworten leer zurückkommen.
  • 429 mit mehreren Agenten. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende, und eine Plan-Session verarbeitet immer nur eine Anfrage. Siehe Fehlercodes und Retries.

Häufige Fragen

Was bewirkt custom_openai=True in CrewAI?

Laut CrewAI-Quellcode erzwingt es den nativen OpenAI-Provider, egal wie der Modellname aussieht, und es verlangt base_url, api_base, OPENAI_BASE_URL oder OPENAI_API_BASE. Der Modell-String wird unverändert gesendet, broadnet/glm-5.3 kommt also so bei BroadNet an.

Kann ich stattdessen model="openai/broadnet/glm-5.3" schreiben?

Ja. Mit einer eigenen base_url leitet CrewAI ein Präfix openai/ an seinen nativen OpenAI-Client weiter und entfernt das Präfix, sodass BroadNet broadnet/glm-5.3 erhält. custom_openai=True ist die klarere Variante.

Warum bricht meine Crew mit EmptyLLMResponseError ab?

CrewAI wiederholt eine leere Antwort, also eine ohne Inhalt und ohne Tool Calls, einmal und löst diesen Fehler aus, wenn auch die Wiederholung leer bleibt. Bei den Reasoning-Modellen von BroadNet heißt das meist, dass das Reasoning das Output-Budget aufgebraucht hat. Erhöhen Sie max_tokens.

Welches BroadNet-Modell sollten CrewAI-Agenten nutzen?

GLM 5.3 für Agenten mit Tools, da BroadNet dafür Tools und strukturierte Ausgabe angibt. Qwen3.8 27B unterstützt ebenfalls Tools und nimmt Bilder an.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen