BroadRouter

CrewAI и BroadNet Inference как свой OpenAI-эндпоинт

Обновлено

Создайте модель через класс LLM из crewai: model — ID BroadNet, например broadnet/glm-5.3, custom_openai=True, base_url — https://inference.broadnet.ai/v1, api_key — ваш ключ BroadNet. Затем передайте этот LLM каждому Agent. CrewAI использует свой нативный клиент OpenAI и chat completions, поэтому устанавливать LiteLLM не нужно.

CrewAI — Python-фреймворк для команд агентов. В его документации описана схема собственного OpenAI-совместимого эндпоинта: LLM с custom_openai=True и base_url. BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1, поэтому подключается именно так. BroadRouter — собственный сайт BroadNet; инструкция основана на документации и исходном коде CrewAI версии 1.15.41.

Установка

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Подключение

Комментарии и промпты в коде ниже оставлены на английском: в max_tokens учитываются рассуждения, llm.call — быстрая проверка одним вызовом напрямую к модели, а агент-аналитик пишет короткую сводку об инциденте.

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Если llm.call вывел ответ, ключ, URL и ID модели указаны верно.

Как CrewAI маршрутизирует запрос

В исходном коде CrewAI задан порядок: custom_openai=True проверяется первым и принудительно включает нативного провайдера OpenAI, что бы ни подсказывало имя модели. Кроме того, CrewAI выдаёт ошибку, если собственный эндпоинт не задан через base_url, api_base, OPENAI_BASE_URL или OPENAI_API_BASE. Строка модели отправляется как есть, поэтому broadnet/glm-5.3 доходит до BroadNet без изменений.

Без custom_openai имя вроде broadnet/glm-5.3 было бы прочитано как провайдер broadnet, которого CrewAI не знает, и запрос ушёл бы через LiteLLM. Документированная альтернатива — model="openai/broadnet/glm-5.3" вместе с base_url: CrewAI отрезает префикс openai/ и отправляет остальное.

Ещё две детали из кода и документации CrewAI:

  • Поле лимита токенов. Если передать max_tokens, нативный клиент отправляет max_tokens в chat completions — именно это поле описано в справочнике API BroadNet. Если передать max_completion_tokens, отправится оно.
  • Оставайтесь на chat completions. В документации CrewAI показан api="responses" для перехода на Responses API. Не задавайте его: BroadNet этот API не указывает.

Какая модель для какого агента

Агент Модель Почему
Агенты с инструментами broadnet/glm-5.3 BroadNet указывает инструменты и структурированный вывод; контекст 1M
Изображения или арабский на входе, с инструментами broadnet/qwen3.8-27b Инструменты и изображения; контекст 262K
Долгое чтение, тариф с фиксированной ценой broadnet/deepseek-v4.1-flash Безлимитные тарифы; инструменты BroadNet не указывает

В одной команде можно сочетать модели: дайте каждому Agent свой LLM.

Решение проблем

  • 401. Ключ неверен, истёк или исчерпал лимит. Если вы не передали api_key, CrewAI прочитал OPENAI_API_KEY, а там может быть ключ OpenAI.
  • “custom_openai=True requires base_url”. Передайте base_url или задайте OPENAI_BASE_URL.
  • Модель не найдена. Проверьте, что ID точно совпадает с ID BroadNet. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • EmptyLLMResponseError. CrewAI один раз повторяет запрос при пустом ответе, а затем выбрасывает эту ошибку. Увеличьте max_tokens. Почему ответы приходят пустыми.
  • 429 при нескольких агентах. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно, а сессия тарифа обрабатывает один запрос за раз. См. ошибки и повторные запросы.

Вопросы и ответы

Что делает custom_openai=True в CrewAI?

Судя по исходному коду CrewAI, этот флаг принудительно включает нативного провайдера OpenAI независимо от того, как выглядит имя модели, и требует base_url, api_base, OPENAI_BASE_URL или OPENAI_API_BASE. Строка модели отправляется как есть, поэтому broadnet/glm-5.3 доходит до BroadNet без изменений.

Можно ли написать model="openai/broadnet/glm-5.3"?

Да. Если задан собственный base_url, CrewAI направляет префикс openai/ в нативный клиент OpenAI и отрезает префикс, так что BroadNet получает broadnet/glm-5.3. Но custom_openai=True — более понятная запись.

Почему crew падает с EmptyLLMResponseError?

CrewAI один раз повторяет запрос при пустом ответе, без текста и без вызовов инструментов, и выбрасывает эту ошибку, если повтор тоже пуст. У рассуждающих моделей BroadNet это обычно значит, что рассуждения израсходовали бюджет на выход. Увеличьте max_tokens.

Какую модель BroadNet выбрать для агентов CrewAI?

GLM 5.3 для агентов с инструментами: BroadNet указывает для неё инструменты и структурированный вывод. Qwen3.8 27B тоже поддерживает инструменты и принимает изображения.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity