BroadRouter

OpenAI Agents SDK на BroadNet Inference

Обновлено

Создайте клиент AsyncOpenAI с base_url https://inference.broadnet.ai/v1 и ключом BroadNet, оберните его в OpenAIChatCompletionsModel с ID модели, например broadnet/glm-5.3, и передайте эту модель в Agent. Вызовите set_tracing_disabled(True), если у вас нет отдельного ключа OpenAI для трейсинга.

OpenAI Agents SDK — фреймворк на Python для агентов с инструментами, передачей управления (handoffs) и ограничителями (guardrails). В его документации описано, как подключать провайдеров, отличных от OpenAI. Для OpenAI-совместимого API вроде BroadNet Inference вы передаёте SDK собственный клиент AsyncOpenAI и используете класс модели для Chat Completions. По умолчанию SDK работает через Responses API, который многие провайдеры не поддерживают.

Настройка

  1. Установите SDK. Нужен Python 3.10 или новее.
pip install openai-agents
export BROADNET_API_KEY='your-broadnet-key'
  1. Создайте клиент, модель и агента. Комментарий в коде напоминает, что для трейсинга нужен ключ с platform.openai.com; инструкции и вопрос агенту написаны по-английски.
import asyncio
import os

from agents import (
    Agent,
    AsyncOpenAI,
    OpenAIChatCompletionsModel,
    Runner,
    function_tool,
    set_tracing_disabled,
)

set_tracing_disabled(disabled=True)  # tracing needs a platform.openai.com key

client = AsyncOpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

model = OpenAIChatCompletionsModel(model="broadnet/glm-5.3", openai_client=client)


@function_tool
def get_order_status(order_id: str) -> str:
    """Look up an order."""
    return f"Order {order_id}: shipped"


agent = Agent(
    name="Support agent",
    instructions="Answer briefly. Use tools when you need order data.",
    model=model,
    tools=[get_order_status],
)


async def main():
    result = await Runner.run(agent, "Where is order 4471?")
    print(result.final_output)


asyncio.run(main())
  1. Запустите. Агент должен вызвать get_order_status и ответить по его результату.

Три способа подключить провайдера

В документации SDK перечислены такие встроенные варианты:

  • Для отдельного агента: передайте OpenAIChatCompletionsModel в Agent.model, как выше. Подходит, когда разные агенты работают с разными провайдерами.
  • Глобально по умолчанию: set_default_openai_client(client) делает ваш клиент клиентом по умолчанию. Используйте его вместе с set_default_openai_api("chat_completions").
  • Для отдельного запуска: передайте свой ModelProvider в RunConfig(model_provider=...).

Глобальная настройка по умолчанию выглядит так:

import os
from agents import (
    Agent,
    AsyncOpenAI,
    set_default_openai_api,
    set_default_openai_client,
    set_tracing_disabled,
)

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
set_default_openai_client(client, use_for_tracing=False)
set_default_openai_api("chat_completions")
set_tracing_disabled(True)

agent = Agent(name="Assistant", instructions="Be brief.", model="broadnet/glm-5.3")

Если вы настраиваете всё только переменными окружения, задайте OPENAI_BASE_URL=https://inference.broadnet.ai/v1, а в OPENAI_API_KEY — ключ BroadNet, после чего сделайте те же вызовы set_default_openai_api и set_tracing_disabled.

По документации SDK, при работе через Chat Completions он молча отбрасывает поля, которые есть только в Responses API, например previous_response_id, conversation_id и prompt. Чтобы вместо этого получать ошибку, задайте strict_feature_validation=True у OpenAIProvider. Состояние диалога храните в своём коде: например, передавайте список входных данных из предыдущего результата в следующий запуск. Встроенных инструментов OpenAI, таких как веб-поиск и поиск по файлам, у других провайдеров нет. Всё, что агент должен вызывать, оформляйте через function_tool.

Трейсинг

Трейсинг включён по умолчанию и отправляет трассировки в OpenAI. Документация SDK говорит, что без API-ключа с platform.openai.com его нужно отключить через set_tracing_disabled() или настроить другой процессор трейсинга. Если ключ OpenAI у вас есть, трейсинг можно оставить и передать этот ключ через set_tracing_export_api_key(...). SDK использует его только для загрузки трассировок. Ключ BroadNet для этого не подойдёт.

Какую модель выбрать

Тип агента Модель Примечания
Агенты с инструментами GLM 5.3 Заявлены инструменты и структурированный вывод; контекст 1 млн
Изображения на входе и инструменты Qwen3.8 27B Контекст 262K; протестирована на арабском
Долгоживущие агенты по фиксированной цене DeepSeek V4.1 Flash Безлимитные тарифы; инструменты у BroadNet не заявлены

Документация SDK предупреждает, что некоторые провайдеры не поддерживают структурированный вывод по JSON-схеме. Если вы задаёте агенту output_type, используйте GLM 5.3 или Qwen3.8 27B. Цены сравните на странице цен.

Решение проблем

  • 401. Ключ BroadNet неверен, истёк или исчерпан лимит оплаты по факту. Ошибки трейсинга в логах — отдельная история: они означают, что трейсинг всё ещё включён без ключа OpenAI.
  • 404 или «not found». Скорее всего, запросы идут в Responses API. Используйте OpenAIChatCompletionsModel или set_default_openai_api("chat_completions"). Если это уже сделано, проверьте, что ID модели точно совпадает с ID BroadNet. Для платных моделей нужно пополнить баланс; грант $5 покрывает только Gemma 4 VL 26B.
  • Пустой final_output. Рассуждения учитываются в max_tokens. Если вы задаёте ModelSettings(max_tokens=...), увеличьте значение. Почему ответы приходят пустыми.
  • 429. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Каждый вызов инструмента туда и обратно — новый запрос. См. ошибки и повторные запросы.
  • Параллельные агенты на тарифе. Одна сессия безлимитного тарифа обрабатывает один запрос за раз. Агентам, запущенным вместе через asyncio.gather, нужно по сессии на каждого, иначе они встанут в очередь. См. как запускать параллельных агентов по фиксированной цене.

Вопросы и ответы

Почему Agents SDK со своим base URL возвращает ошибки 404?

По умолчанию SDK использует Responses API, а BroadNet обслуживает chat completions. Используйте OpenAIChatCompletionsModel или, если клиент настраивается через переменные окружения, вызовите set_default_openai_api("chat_completions").

Почему Agents SDK ругается на трейсинг?

Трейсинг отправляет данные в OpenAI, и для него нужен ключ с platform.openai.com. Если такого ключа нет, документация SDK советует вызвать set_tracing_disabled() или подключить другой процессор трейсинга.

Можно ли настроить Agents SDK только переменными окружения?

Да. Задайте OPENAI_BASE_URL равным https://inference.broadnet.ai/v1, а в OPENAI_API_KEY — ключ BroadNet, затем вызовите set_default_openai_api("chat_completions") и set_tracing_disabled(True). OPENAI_DEFAULT_MODEL задаёт модель для агентов, у которых она не указана.

Сколько сессий тарифа нужно для запуска нескольких агентов?

По одной на каждый запрос, который выполняется одновременно с другими. При handoff агенты работают по очереди, поэтому хватит одной сессии. Агентам, запущенным параллельно через asyncio.gather, нужно по сессии на каждого.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity