BroadRouter
Начать

Пайплайны и агенты Haystack на BroadNet Inference

Обновлено

Установите haystack-ai и создайте OpenAIChatGenerator с api_base_url https://inference.broadnet.ai/v1, api_key в виде Secret из переменной BROADNET_API_KEY и model с ID BroadNet, например broadnet/glm-5.3. Используйте его в пайплайнах или в Haystack Agent. max_tokens передавайте в generation_kwargs, а если у генератора есть инструменты, берите GLM 5.3 или Qwen3.8 27B.

Haystack — open-source фреймворк от deepset для RAG-пайплайнов и агентов. Его OpenAIChatGenerator работает с любым OpenAI-совместимым сервером через api_base_url. BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1, поэтому нужен именно этот компонент. BroadRouter — собственный сайт BroadNet. Руководство основано на документации Haystack 3.5.

Установка

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Подключение

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model отправляется без изменений. Указывайте ID BroadNet с префиксом broadnet/.
  • api_key — это Secret из Haystack. Без него Haystack ищет OPENAI_API_KEY.
  • generation_kwargs передаются в запрос chat completion. Задайте max_tokens с запасом на рассуждения (см. ниже).

Стриминг ответа

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

В этом случае Haystack отправляет stream: true вместе с stream_options.include_usage, поэтому число токенов приходит в последнем чанке. Документация BroadNet описывает тот же параметр.

Инструменты и агенты

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

Документация BroadNet указывает инструменты и структурированный вывод только для broadnet/glm-5.3 и broadnet/qwen3.8-27b. Оставьте tools_strict в значении по умолчанию False, пока не проверите строгие схемы.

Какую модель выбрать

Пайплайн Модель
Агенты и вызовы инструментов broadnet/glm-5.3
RAG по сканам страниц или арабскому тексту, с инструментами broadnet/qwen3.8-27b
Ответы по длинному контексту на тарифе с фиксированной ценой broadnet/deepseek-v4.1-flash
Знакомство на бесплатном стартовом гранте broadnet/gemma-4-26b-a4b (контекст 32 768 токенов)

Найденный при поиске контекст бывает большим. GLM 5.3 и DeepSeek V4.1 Flash принимают 1 048 576 токенов контекста, а 32 768 у Gemma заполняются быстро. Цены на все модели.

Как мы это проверяли

15 ноября 2026 г. мы установили haystack-ai 3.5.0 в чистое виртуальное окружение и запустили примеры выше — обычный, потоковый, с инструментом и с Agent — против локального mock-сервера, который отвечает в формате chat completions BroadNet. Мы прочитали записанные запросы. Все ушли на /v1/chat/completions с неизменённым ID модели, Bearer-ключом, max_tokens из generation_kwargs, а в случае инструментов — со схемой функции. Haystack также отправляет n: 1. Ключа BroadNet у нас не было, поэтому реальные ответы модели мы не проверяли.

Решение проблем

  • 401. Ключ неверен, истёк или исчерпал лимит, либо BROADNET_API_KEY не задана в процессе, который запускает пайплайн.
  • 404. api_base_url должен заканчиваться на /v1, а ID модели — точно совпадать с ID BroadNet. Для платных моделей нужно пополнить баланс; стартовый грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • Пустые ответы. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, а рассуждения учитываются в max_tokens. Увеличьте его. Почему ответы приходят пустыми.
  • 429 при пакетной индексации или оценке. Ключ с оплатой по факту допускает 30 запросов в минуту и не больше 4 одновременно. Используйте параметр генератора max_retries и см. ошибки и повторные запросы.

Вопросы и ответы

Какой параметр Haystack задаёт URL BroadNet?

api_base_url у OpenAIChatGenerator. Документация Haystack описывает его как способ подключиться к собственным развёртываниям. Укажите https://inference.broadnet.ai/v1.

Нужен ли OpenAIResponsesChatGenerator для работы с BroadNet?

Нет. Этот компонент вызывает Responses API от OpenAI, которого нет в списке API BroadNet. Используйте OpenAIChatGenerator: он вызывает chat completions.

Почему Haystack падает с ошибкой об отсутствии OPENAI_API_KEY?

По умолчанию api_key равен Secret.from_env_var("OPENAI_API_KEY"). Передайте api_key=Secret.from_env_var("BROADNET_API_KEY"), чтобы Haystack читал ваш ключ BroadNet.

Может ли Haystack Agent вызывать инструменты на BroadNet?

Да, с моделью, для которой BroadNet указывает инструменты: GLM 5.3 или Qwen3.8 27B. В нашем тесте с mock-сервером Agent отправил схему инструмента через chat completions и получил вызов инструмента обратно.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity