BroadRouter

smolagents на BroadNet Inference через OpenAIModel

Обновлено

Создайте OpenAIModel из smolagents, указав в model_id ID BroadNet, например broadnet/glm-5.3, в api_base — https://inference.broadnet.ai/v1, в api_key — ключ BroadNet, и передайте модель в CodeAgent или ToolCallingAgent. CodeAgent пишет Python вместо нативных вызовов инструментов, поэтому может работать на DeepSeek V4.1 Flash. ToolCallingAgent нужна GLM 5.3 или Qwen3.8 27B.

smolagents — компактная Python-библиотека Hugging Face для агентов. Её класс OpenAIModel “connects to an OpenAI-compatible API server” (перевод: «подключается к OpenAI-совместимому API-серверу»), а URL задаётся в api_base. BroadNet Inference отдаёт chat completions по адресу https://inference.broadnet.ai/v1, так что всё работает напрямую. BroadRouter — собственный сайт BroadNet; руководство опирается на документацию smolagents 1.26.0.

Установка

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent просит модель написать код на Python между тегами <code> и выполняет его локально. Запрос — обычный chat completion со стоп-последовательностями вроде </code> и без поля tools. Значит, он не зависит от нативного вызова инструментов и может работать на broadnet/deepseek-v4.1-flash, модели безлимитных тарифов BroadNet. Качество кода всё равно зависит от модели, поэтому проверьте на своих задачах.

CodeAgent выполняет код, который пишет модель. Прежде чем давать ему инструменты для работы с файлами, сетью или учётными данными, прочитайте рекомендации smolagents по безопасному выполнению кода.

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent отправляет ваши инструменты и собственный инструмент final_answer как схемы функций с tool_choice: "required". Используйте broadnet/glm-5.3 или broadnet/qwen3.8-27b: документация BroadNet указывает инструменты только для этих двух моделей.

Какую модель выбрать

Агент Модель
CodeAgent, долгие запуски на тарифе с фиксированной ценой broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
Любой агент со входом изображений broadnet/qwen3.8-27b

Сессия тарифа обрабатывает один запрос за раз, а агент отправляет шаги один за другим, так что на одного агента хватает одной сессии. Цены на все модели.

Как мы это проверяли

2026-11-15 мы установили smolagents 1.26.0 в чистом виртуальном окружении и запустили оба агента на локальном mock-сервере, который отвечает в формате chat completions BroadNet. CodeAgent на ID DeepSeek получил ответ с кодом, выполнил его и вернул 42. В его запросах были max_tokens: 4000, стоп-последовательности и не было инструментов. Для ToolCallingAgent мы проверили форму запроса: ID модели отправлялся без изменений, вместе с обеими схемами инструментов и tool_choice: "required". Результаты инструментов smolagents возвращает как сообщения user. Наш mock-сервер этот формат не поддерживал, поэтому до финального ответа этот агент мы не довели. Ключа BroadNet у нас не было, поэтому реальные ответы моделей мы не проверяли.

Решение проблем

  • 401. Ключ неверен, истёк или на нём закончился лимит.
  • 404. api_base должен заканчиваться на /v1. Проверьте ID модели. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • “Make sure to provide correct code blobs”. В ответе модели не оказалось блока кода. Увеличьте max_tokens, потому что рассуждения учитываются в нём, или попробуйте другую модель. Почему ответы приходят пустыми.
  • ToolCallingAgent не завершает работу. Переключитесь на broadnet/glm-5.3 или broadnet/qwen3.8-27b.
  • 429. Ключ с оплатой по факту допускает 30 запросов в минуту. smolagents умеет сам ограничивать частоту через requests_per_minute. См. ошибки и повторные запросы.

Вопросы и ответы

Что использовать: OpenAIModel или OpenAIServerModel?

smolagents 1.26 документирует OpenAIModel для любого OpenAI-совместимого сервера. OpenAIServerModel пакет по-прежнему экспортирует, но документация описывает OpenAIModel.

Можно ли запускать smolagents на безлимитном тарифе BroadNet?

Тарифы покрывают DeepSeek V4.1 Flash. BroadNet не указывает для неё вызов инструментов, но CodeAgent нативные вызовы инструментов не нужны: он просит модель написать код на Python. В нашем тесте с mock-сервером CodeAgent на ID DeepSeek отправлял обычные чат-запросы без поля tools.

Почему ToolCallingAgent нужна GLM 5.3 или Qwen3.8 27B?

Он отправляет инструменты как схемы функций OpenAI с tool_choice, равным required. Документация BroadNet указывает инструменты только для GLM 5.3 и Qwen3.8 27B.

Как передать max_tokens или temperature?

Как именованные аргументы OpenAIModel. Документация smolagents говорит, что дополнительные аргументы передаются в каждый вызов completion. В нашем тесте max_tokens=4000 отправлялся в каждом запросе.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity