Haystack — open-source фреймворк от deepset для RAG-пайплайнов и агентов. Его OpenAIChatGenerator работает с любым OpenAI-совместимым сервером через api_base_url. BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1, поэтому нужен именно этот компонент. BroadRouter — собственный сайт BroadNet. Руководство основано на документации Haystack 3.5.
Установка
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Подключение
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelотправляется без изменений. Указывайте ID BroadNet с префиксомbroadnet/.api_key— этоSecretиз Haystack. Без него Haystack ищетOPENAI_API_KEY.generation_kwargsпередаются в запрос chat completion. Задайтеmax_tokensс запасом на рассуждения (см. ниже).
Стриминг ответа
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
В этом случае Haystack отправляет stream: true вместе с stream_options.include_usage, поэтому число токенов приходит в последнем чанке. Документация BroadNet описывает тот же параметр.
Инструменты и агенты
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
Документация BroadNet указывает инструменты и структурированный вывод только для broadnet/glm-5.3 и broadnet/qwen3.8-27b. Оставьте tools_strict в значении по умолчанию False, пока не проверите строгие схемы.
Какую модель выбрать
| Пайплайн | Модель |
|---|---|
| Агенты и вызовы инструментов | broadnet/glm-5.3 |
| RAG по сканам страниц или арабскому тексту, с инструментами | broadnet/qwen3.8-27b |
| Ответы по длинному контексту на тарифе с фиксированной ценой | broadnet/deepseek-v4.1-flash |
| Знакомство на бесплатном стартовом гранте | broadnet/gemma-4-26b-a4b (контекст 32 768 токенов) |
Найденный при поиске контекст бывает большим. GLM 5.3 и DeepSeek V4.1 Flash принимают 1 048 576 токенов контекста, а 32 768 у Gemma заполняются быстро. Цены на все модели.
Как мы это проверяли
15 ноября 2026 г. мы установили haystack-ai 3.5.0 в чистое виртуальное окружение и запустили примеры выше — обычный, потоковый, с инструментом и с Agent — против локального mock-сервера, который отвечает в формате chat completions BroadNet. Мы прочитали записанные запросы. Все ушли на /v1/chat/completions с неизменённым ID модели, Bearer-ключом, max_tokens из generation_kwargs, а в случае инструментов — со схемой функции. Haystack также отправляет n: 1. Ключа BroadNet у нас не было, поэтому реальные ответы модели мы не проверяли.
Решение проблем
- 401. Ключ неверен, истёк или исчерпал лимит, либо
BROADNET_API_KEYне задана в процессе, который запускает пайплайн. - 404.
api_base_urlдолжен заканчиваться на/v1, а ID модели — точно совпадать с ID BroadNet. Для платных моделей нужно пополнить баланс; стартовый грант $5 покрывает толькоbroadnet/gemma-4-26b-a4b. - Пустые ответы. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, а рассуждения учитываются в
max_tokens. Увеличьте его. Почему ответы приходят пустыми. - 429 при пакетной индексации или оценке. Ключ с оплатой по факту допускает 30 запросов в минуту и не больше 4 одновременно. Используйте параметр генератора
max_retriesи см. ошибки и повторные запросы.
