CrewAI — Python-фреймворк для команд агентов. В его документации описана схема собственного OpenAI-совместимого эндпоинта: LLM с custom_openai=True и base_url. BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1, поэтому подключается именно так. BroadRouter — собственный сайт BroadNet; инструкция основана на документации и исходном коде CrewAI версии 1.15.41.
Установка
pip install crewai
export BROADNET_API_KEY='your-broadnet-key'
Подключение
Комментарии и промпты в коде ниже оставлены на английском: в max_tokens учитываются рассуждения, llm.call — быстрая проверка одним вызовом напрямую к модели, а агент-аналитик пишет короткую сводку об инциденте.
import os
from crewai import LLM, Agent
llm = LLM(
model="broadnet/glm-5.3",
custom_openai=True,
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this limit
)
# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))
analyst = Agent(
role="Analyst",
goal="Summarize incidents",
backstory="You write short incident summaries.",
llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))
Если llm.call вывел ответ, ключ, URL и ID модели указаны верно.
Как CrewAI маршрутизирует запрос
В исходном коде CrewAI задан порядок: custom_openai=True проверяется первым и принудительно включает нативного провайдера OpenAI, что бы ни подсказывало имя модели. Кроме того, CrewAI выдаёт ошибку, если собственный эндпоинт не задан через base_url, api_base, OPENAI_BASE_URL или OPENAI_API_BASE. Строка модели отправляется как есть, поэтому broadnet/glm-5.3 доходит до BroadNet без изменений.
Без custom_openai имя вроде broadnet/glm-5.3 было бы прочитано как провайдер broadnet, которого CrewAI не знает, и запрос ушёл бы через LiteLLM. Документированная альтернатива — model="openai/broadnet/glm-5.3" вместе с base_url: CrewAI отрезает префикс openai/ и отправляет остальное.
Ещё две детали из кода и документации CrewAI:
- Поле лимита токенов. Если передать
max_tokens, нативный клиент отправляетmax_tokensв chat completions — именно это поле описано в справочнике API BroadNet. Если передатьmax_completion_tokens, отправится оно. - Оставайтесь на chat completions. В документации CrewAI показан
api="responses"для перехода на Responses API. Не задавайте его: BroadNet этот API не указывает.
Какая модель для какого агента
| Агент | Модель | Почему |
|---|---|---|
| Агенты с инструментами | broadnet/glm-5.3 |
BroadNet указывает инструменты и структурированный вывод; контекст 1M |
| Изображения или арабский на входе, с инструментами | broadnet/qwen3.8-27b |
Инструменты и изображения; контекст 262K |
| Долгое чтение, тариф с фиксированной ценой | broadnet/deepseek-v4.1-flash |
Безлимитные тарифы; инструменты BroadNet не указывает |
В одной команде можно сочетать модели: дайте каждому Agent свой LLM.
Решение проблем
- 401. Ключ неверен, истёк или исчерпал лимит. Если вы не передали
api_key, CrewAI прочиталOPENAI_API_KEY, а там может быть ключ OpenAI. - “custom_openai=True requires base_url”. Передайте
base_urlили задайтеOPENAI_BASE_URL. - Модель не найдена. Проверьте, что ID точно совпадает с ID BroadNet. Для платных моделей нужно пополнить баланс; грант $5 покрывает только
broadnet/gemma-4-26b-a4b. EmptyLLMResponseError. CrewAI один раз повторяет запрос при пустом ответе, а затем выбрасывает эту ошибку. Увеличьтеmax_tokens. Почему ответы приходят пустыми.- 429 при нескольких агентах. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно, а сессия тарифа обрабатывает один запрос за раз. См. ошибки и повторные запросы.
