DSPy — Python-фреймворк для программирования языковых моделей через сигнатуры и модули и для оптимизации промптов, которые за ними стоят. К модели его подключают через dspy.LM. В документации DSPy OpenAI-совместимые серверы подключаются как модель openai/ с api_base. Для BroadNet Inference, который отдаёт chat completions по адресу https://inference.broadnet.ai/v1, нужен ещё model_type="chat". BroadRouter — собственный сайт BroadNet; инструкция основана на документации DSPy 3.5.
Установка
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Подключение
Пример задаёт модели вопрос о столице Саудовской Аравии.
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/говорит DSPy использовать клиент OpenAI. Остаток строки,broadnet/glm-5.3, — ID модели, который уходит в BroadNet.model_type="chat"удерживает DSPy на/v1/chat/completions. В справочнике LM сказано, что значение по умолчанию,'auto', заставляет модели OpenAI “use Responses” (перевод: «использовать Responses»).max_tokensоставляет место для рассуждений. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B думают перед ответом, и эти рассуждения учитываются в лимите.
Что будет без model_type
В примере на странице установки DSPy для OpenAI-совместимого сервера model_type не указан. В нашем тесте с DSPy 3.5.0 запрос ушёл на /v1/responses с max_output_tokens, и вызов завершился ошибкой:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Эту ошибку вернул наш мок-сервер. Живой эндпоинт BroadNet тоже ответил на /v1/responses ошибкой 404, когда мы проверяли 2026-11-16. Добавление model_type="chat" решило проблему.
Модули и модели
Пример ниже спрашивает, сколько длится поездка поезда, который отправляется в 9:40 и прибывает в 13:05.
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Использование в DSPy | Модель |
|---|---|
Predict, ChainOfThought, запуски оптимизаторов |
broadnet/deepseek-v4.1-flash (низкая цена за токен; тарифы с фиксированной ценой) |
ReAct и другие модули с вызовом инструментов |
broadnet/glm-5.3 или broadnet/qwen3.8-27b |
| Попробовать DSPy на стартовом гранте | broadnet/gemma-4-26b-a4b (контекст 32 768 токенов) |
Документация BroadNet указывает инструменты и структурированный вывод только для GLM 5.3 и Qwen3.8 27B. Можно использовать одну модель для программы, а другую для оптимизатора, каждую со своим dspy.LM. Цены на все модели.
Как мы это проверяли
2026-11-15 мы установили dspy 3.5.0 в чистое виртуальное окружение и запустили dspy.Predict против локального мок-сервера, который отвечает в формате chat completions BroadNet, а на /v1/responses возвращает 404. Без model_type DSPy вызвал /v1/responses и упал. С model_type="chat" он вызвал /v1/chat/completions с ID модели broadnet/glm-5.3 и ключом Bearer и разобрал поле answer. Мы заметили, что DSPy отправил лимит на выход как max_completion_tokens. Справочник API BroadNet описывает max_tokens и не упоминает max_completion_tokens, поэтому мы не можем подтвердить, что BroadNet применяет лимит, переданный таким образом. Мы тестировали с мок-сервером, а не с ключом BroadNet, поэтому реальный вывод модели не проверяли.
Решение проблем
- 404 на /v1/responses. Добавьте
model_type="chat". - 404 на /v1/chat/completions.
api_baseдолжен заканчиваться на/v1, а строка модели — состоять изopenai/и полного ID BroadNet. Для платных моделей нужно пополнить баланс; грант $5 покрывает толькоbroadnet/gemma-4-26b-a4bи две модели Transcribe. - “Expected to find output fields”. Ответ пришёл пустым или оборванным — часто потому, что рассуждения израсходовали бюджет на выход. Увеличьте
max_tokens. Почему ответы приходят пустыми. - 429 во время оптимизации. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Уменьшите число потоков оптимизатора и см. ошибки и повторные запросы.
