BroadRouter

LangChain и BroadNet Inference

Обновлено

Установите langchain-openai и создайте ChatOpenAI с base_url https://inference.broadnet.ai/v1, ключом BroadNet в api_key и ID модели BroadNet, например broadnet/glm-5.3. После этого invoke, стриминг и цепочки с вызовом инструментов работают через chat completions. Не используйте функции, доступные только в Responses API, и оставьте в max_tokens место для рассуждений.

ChatOpenAI из LangChain принимает любой эндпоинт через base_url. С BroadNet Inference это работает, потому что сервис использует стандартный формат chat completions. Если вы вызываете API напрямую, откройте руководство по Python SDK.

Установка

Текущим релизам langchain-openai (1.x) нужен Python 3.11 или новее.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Подключение

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

Комментарий в коде напоминает, что рассуждения расходуют лимит max_tokens. openai_api_base — псевдоним base_url. Если не задан ни один, LangChain читает OPENAI_API_BASE, а затем OPENAI_BASE_URL читает уже нижележащий клиент openai.

Что нужно знать

  • Текст рассуждений не сохраняется. В документации LangChain сказано, что ChatOpenAI следует официальной спецификации OpenAI и не сохраняет нестандартные поля, такие как reasoning_content. Вы получаете итоговый ответ, а цепочке обычно нужен именно он.
  • Оставьте место для рассуждений. GLM 5.3, DeepSeek V4.1 Flash и Qwen3.8 27B сначала рассуждают. При маленьком max_tokens ответ может прийти пустым. Почему ответы приходят пустыми.
  • Расход токенов при стриминге. Если эндпоинт задан через OPENAI_BASE_URL, LangChain по умолчанию отключает stream_usage. Передайте stream_usage=True, если при стриминге нужно число токенов. В документации BroadNet сказано, что usage приходит в последнем чанке, если его запросить.
  • Оставайтесь на chat completions. BroadNet обслуживает /v1/chat/completions, а не Responses API. В документации LangChain сказано, что ChatOpenAI переключается на Responses API, когда вы используете встроенные инструменты OpenAI (веб-поиск, поиск по файлам, интерпретатор кода и подобные), состояние диалога или параметр reasoning. Не используйте их и не задавайте use_responses_api=True.
  • Имя лимита токенов. По документации LangChain, max_tokens внутри преобразуется в max_completion_tokens. Документация BroadNet описывает max_tokens. Если лимит будто бы игнорируется, проверьте, какой запрос отправляет ваше приложение.

Какая модель для какой цепочки

Цепочка Модель
Вызов инструментов и структурированный вывод broadnet/glm-5.3
Длинные документы и агенты, безлимитный тариф broadnet/deepseek-v4.1-flash
Арабский текст или изображения broadnet/qwen3.8-27b

Цены на все модели.

Решение проблем

  • 401. Ключ неверен, истёк или исчерпан лимит оплаты по факту. Если вы не передали api_key, LangChain взял OPENAI_API_KEY, а там может лежать ключ OpenAI.
  • 404 или «not found». Проверьте, что base_url заканчивается на /v1 и что ничто не направляет вызов в Responses API (см. выше). Затем проверьте, что ID модели точно совпадает с ID в BroadNet, включая префикс broadnet/. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • Пустой content. Рассуждения израсходовали бюджет. Поднимите max_tokens. Почему ответы приходят пустыми.
  • Инструменты не вызываются. Используйте broadnet/glm-5.3 или broadnet/qwen3.8-27b. Документация BroadNet указывает инструменты только для этих двух моделей.
  • 429 в пакетных или параллельных цепочках. Ключ с оплатой по факту допускает 30 запросов в минуту, а одновременно — не больше 4. Для batch() задайте max_concurrency в конфигурации runnable. См. коды ошибок и повторные запросы.

Вопросы и ответы

Что указывать в ChatOpenAI: base_url или openai_api_base?

Любой из параметров: openai_api_base — псевдоним base_url. Если не передан ни один, LangChain проверяет OPENAI_API_BASE, а затем клиент openai читает OPENAI_BASE_URL.

Можно ли задать эндпоинт BroadNet только через переменные окружения?

Да. Задайте в OPENAI_BASE_URL адрес https://inference.broadnet.ai/v1, а в OPENAI_API_KEY — ключ BroadNet, и создавайте ChatOpenAI только с ID модели. Если при стриминге нужен расход токенов, передайте stream_usage=True.

Почему LangChain отбрасывает reasoning_content из ответов BroadNet?

В документации LangChain сказано, что ChatOpenAI следует официальной спецификации OpenAI и не извлекает нестандартные поля, такие как reasoning_content. Итоговый ответ в content вы всё равно получаете.

Поддерживает ли ChatOpenAI с BroadNet вызов инструментов?

Да, через bind_tools, на моделях, для которых BroadNet указывает инструменты. Для вызова инструментов и with_structured_output используйте broadnet/glm-5.3 или broadnet/qwen3.8-27b.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity