BroadRouter

DSPy и BroadNet Inference: укажите model_type="chat"

Обновлено

Создайте dspy.LM с моделью "openai/broadnet/glm-5.3", model_type="chat", api_base = https://inference.broadnet.ai/v1 и вашим api_key BroadNet, затем передайте его в dspy.configure. Важен именно model_type="chat". DSPy 3.5 по умолчанию отправляет модели с префиксом openai в Responses API, которого у BroadNet нет. В нашем тесте с мок-сервером без него вызов ушёл на /v1/responses и получил 404, и живой эндпоинт BroadNet тоже отвечает на этот путь 404.

DSPy — Python-фреймворк для программирования языковых моделей через сигнатуры и модули и для оптимизации промптов, которые за ними стоят. К модели его подключают через dspy.LM. В документации DSPy OpenAI-совместимые серверы подключаются как модель openai/ с api_base. Для BroadNet Inference, который отдаёт chat completions по адресу https://inference.broadnet.ai/v1, нужен ещё model_type="chat". BroadRouter — собственный сайт BroadNet; инструкция основана на документации DSPy 3.5.

Установка

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Подключение

Пример задаёт модели вопрос о столице Саудовской Аравии.

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ говорит DSPy использовать клиент OpenAI. Остаток строки, broadnet/glm-5.3, — ID модели, который уходит в BroadNet.
  • model_type="chat" удерживает DSPy на /v1/chat/completions. В справочнике LM сказано, что значение по умолчанию, 'auto', заставляет модели OpenAI “use Responses” (перевод: «использовать Responses»).
  • max_tokens оставляет место для рассуждений. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B думают перед ответом, и эти рассуждения учитываются в лимите.

Что будет без model_type

В примере на странице установки DSPy для OpenAI-совместимого сервера model_type не указан. В нашем тесте с DSPy 3.5.0 запрос ушёл на /v1/responses с max_output_tokens, и вызов завершился ошибкой:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Эту ошибку вернул наш мок-сервер. Живой эндпоинт BroadNet тоже ответил на /v1/responses ошибкой 404, когда мы проверяли 2026-11-16. Добавление model_type="chat" решило проблему.

Модули и модели

Пример ниже спрашивает, сколько длится поездка поезда, который отправляется в 9:40 и прибывает в 13:05.

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
Использование в DSPy Модель
Predict, ChainOfThought, запуски оптимизаторов broadnet/deepseek-v4.1-flash (низкая цена за токен; тарифы с фиксированной ценой)
ReAct и другие модули с вызовом инструментов broadnet/glm-5.3 или broadnet/qwen3.8-27b
Попробовать DSPy на стартовом гранте broadnet/gemma-4-26b-a4b (контекст 32 768 токенов)

Документация BroadNet указывает инструменты и структурированный вывод только для GLM 5.3 и Qwen3.8 27B. Можно использовать одну модель для программы, а другую для оптимизатора, каждую со своим dspy.LM. Цены на все модели.

Как мы это проверяли

2026-11-15 мы установили dspy 3.5.0 в чистое виртуальное окружение и запустили dspy.Predict против локального мок-сервера, который отвечает в формате chat completions BroadNet, а на /v1/responses возвращает 404. Без model_type DSPy вызвал /v1/responses и упал. С model_type="chat" он вызвал /v1/chat/completions с ID модели broadnet/glm-5.3 и ключом Bearer и разобрал поле answer. Мы заметили, что DSPy отправил лимит на выход как max_completion_tokens. Справочник API BroadNet описывает max_tokens и не упоминает max_completion_tokens, поэтому мы не можем подтвердить, что BroadNet применяет лимит, переданный таким образом. Мы тестировали с мок-сервером, а не с ключом BroadNet, поэтому реальный вывод модели не проверяли.

Решение проблем

  • 404 на /v1/responses. Добавьте model_type="chat".
  • 404 на /v1/chat/completions. api_base должен заканчиваться на /v1, а строка модели — состоять из openai/ и полного ID BroadNet. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b и две модели Transcribe.
  • “Expected to find output fields”. Ответ пришёл пустым или оборванным — часто потому, что рассуждения израсходовали бюджет на выход. Увеличьте max_tokens. Почему ответы приходят пустыми.
  • 429 во время оптимизации. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Уменьшите число потоков оптимизатора и см. ошибки и повторные запросы.

Вопросы и ответы

Почему DSPy обращается к /v1/responses на BroadNet?

В справочнике dspy.LM для DSPy 3.5 сказано, что model_type 'auto' (значение по умолчанию) заставляет модели OpenAI использовать Responses API. Модель openai/ со своим api_base обрабатывается так же. Передайте model_type="chat", чтобы использовать chat completions — их и обслуживает BroadNet.

Как записать ID модели BroadNet в DSPy?

Добавьте openai/ перед ID BroadNet, например openai/broadnet/glm-5.3. По openai/ DSPy выбирает клиент и, в нашем тесте, отправил broadnet/glm-5.3 как модель.

Какая модель BroadNet подходит для оптимизаторов DSPy?

Оптимизаторы делают много вызовов, поэтому важны стоимость и лимиты запросов. У DeepSeek V4.1 Flash низкая цена за токен, и именно она входит в тарифы BroadNet с фиксированной ценой, где токены не тарифицируются. Для модулей с вызовом инструментов, например ReAct, берите GLM 5.3 или Qwen3.8 27B.

Влияет ли кэш DSPy на работу с BroadNet?

DSPy по умолчанию кэширует вызовы LM (cache=True), поэтому повтор того же вызова ничего не стоит. Пока проверяете подключение, задайте cache=False, иначе можете увидеть ответ из кэша.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity