BroadRouter

Pydantic AI и BroadNet Inference (OpenAICompatibleProvider)

Обновлено

Установите pydantic-ai-slim[openai], затем создайте OpenAIChatModel с ID модели BroadNet, например broadnet/glm-5.3, и OpenAICompatibleProvider с базовым URL https://inference.broadnet.ai/v1 и ключом BroadNet в качестве API-ключа. Передайте модель в Agent. Используйте OpenAIChatModel, а не модель для Responses: BroadNet обслуживает chat completions. По документации Pydantic AI, OpenAIProvider с base_url предназначен для самой OpenAI.

Pydantic AI — фреймворк для агентов на Python от команды Pydantic. Для сервиса, у которого нет встроенного провайдера, документация советует использовать OpenAICompatibleProvider с base_url этого сервиса. BroadNet Inference обслуживает стандартные chat completions по адресу https://inference.broadnet.ai/v1, так что путь именно такой. BroadRouter — собственный сайт BroadNet; руководство следует документации Pydantic AI для версии 2.68.

Установка

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

Подключение

В примере агента просят придумать три названия для линтера на Go.

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

Запуск и есть проверка: если ответ напечатался, ключ, URL и ID модели указаны верно.

  • Первый аргумент — ID модели, который отправляется в BroadNet. Указывайте его точно, с префиксом broadnet/.
  • Имя провайдера (здесь 'broadnet') записывается в каждый ответ. Документация Pydantic AI советует не менять его, потому что от него зависит, какие данные из прошлых ответов отправляются обратно в сервис.
  • Оставайтесь на OpenAIChatModel. Документация Pydantic AI советует использовать OpenAIResponsesModel, только если сервис реализует Responses API. В списке BroadNet его нет.

Инструменты и структурированный вывод

Здесь агент должен вернуть объект City — город, где стоит Бурдж-Халифа, и его страну.

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

Для инструментов и структурированного вывода используйте broadnet/glm-5.3 или broadnet/qwen3.8-27b: документация BroadNet заявляет обе возможности только для этих двух моделей.

Когда задавать профиль модели

Pydantic AI выбирает профиль запроса по имени модели. Если какая-то возможность игнорируется или отклоняется, документация советует передать свой OpenAIModelProfile. Для BroadNet полезно знать две настройки (комментарии в коде: первая отправляет max_tokens — поле, которое документирует BroadNet; вторая нужна, только если строгие схемы инструментов отклоняются):

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

Лимит выхода передавайте через настройки модели, например agent.run_sync(prompt, model_settings={'max_tokens': 2000}). На DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B в него входят рассуждения.

Какую модель выбрать

Агент Модель
Инструменты, структурированный вывод broadnet/glm-5.3
Изображения или арабский текст, с инструментами broadnet/qwen3.8-27b
Длинные документы, тариф с фиксированной ценой broadnet/deepseek-v4.1-flash
Бесплатный стартовый грант broadnet/gemma-4-26b-a4b (контекст 32 768 токенов)

Цены на все модели.

Решение проблем

  • 401. Ключ неверен, истёк или исчерпан лимит.
  • 404 или модель не найдена. base_url должен заканчиваться на /v1. Проверьте ID модели. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • Пустой вывод или цикл повторных попыток валидации. Рассуждения израсходовали бюджет на выход. Увеличьте max_tokens. Почему ответы приходят пустыми.
  • 400 на определениях инструментов. Задайте в профиле openai_supports_strict_tool_definition=False и используйте модель, для которой BroadNet заявляет инструменты.
  • 429 при одновременном запуске агентов. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. См. ошибки и повторные запросы.

Вопросы и ответы

Что использовать для BroadNet: OpenAIProvider или OpenAICompatibleProvider?

OpenAICompatibleProvider. Документация Pydantic AI говорит, что OpenAIProvider тоже принимает base_url, но он предназначен для самой OpenAI или прозрачного прокси к ней и рассчитывает на модели и возможности OpenAI.

Почему OpenAIChatModel, а не модель OpenAI по умолчанию?

Модель OpenAI по умолчанию в Pydantic AI работает через Responses API. BroadNet обслуживает chat completions по адресу /v1/chat/completions, а именно его вызывает OpenAIChatModel.

Работают ли инструменты и структурированный вывод?

Да, на моделях, для которых BroadNet заявляет инструменты и структурированный вывод: GLM 5.3 и Qwen3.8 27B. Для DeepSeek V4.1 Flash документация BroadNet инструменты не заявляет, поэтому агентов с инструментами на ней сначала проверьте.

Как запретить Pydantic AI отправлять max_completion_tokens?

Передайте profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) в OpenAIChatModel. Тогда Pydantic AI отправляет старое поле max_tokens — именно его описывает справочник API BroadNet.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity