---
title: "Haystack OpenAIChatGenerator со своим api_base_url | BroadRouter"
description: "Как направить OpenAIChatGenerator из Haystack на BroadNet Inference: api_base_url, ID модели и ключ через Secret — для пайплайнов, инструментов и агентов."
url: https://broadrouter.com/ru/guides/haystack-openai-compatible/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/guides/haystack-openai-compatible/) (обновлён 2026-11-16).

# Пайплайны и агенты Haystack на BroadNet Inference

Обновлено 2026-11-16

Установите haystack-ai и создайте OpenAIChatGenerator с api\_base\_url https://inference.broadnet.ai/v1, api\_key в виде Secret из переменной BROADNET\_API\_KEY и model с ID BroadNet, например broadnet/glm-5.3. Используйте его в пайплайнах или в Haystack Agent. max\_tokens передавайте в generation\_kwargs, а если у генератора есть инструменты, берите GLM 5.3 или Qwen3.8 27B.

Haystack — open-source фреймворк от deepset для RAG-пайплайнов и агентов. Его `OpenAIChatGenerator` работает с любым OpenAI-совместимым сервером через `api_base_url`. BroadNet Inference отдаёт стандартные chat completions по адресу `https://inference.broadnet.ai/v1`, поэтому нужен именно этот компонент. BroadRouter — собственный сайт BroadNet. Руководство основано на документации Haystack 3.5.

## Установка

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## Подключение

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** отправляется без изменений. Указывайте ID BroadNet с префиксом `broadnet/`.
-   **`api_key`** — это `Secret` из Haystack. Без него Haystack ищет `OPENAI_API_KEY`.
-   **`generation_kwargs`** передаются в запрос chat completion. Задайте `max_tokens` с запасом на рассуждения (см. ниже).

## Стриминг ответа

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

В этом случае Haystack отправляет `stream: true` вместе с `stream_options.include_usage`, поэтому число токенов приходит в последнем чанке. Документация BroadNet описывает тот же параметр.

## Инструменты и агенты

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

Документация BroadNet указывает инструменты и структурированный вывод только для `broadnet/glm-5.3` и `broadnet/qwen3.8-27b`. Оставьте `tools_strict` в значении по умолчанию `False`, пока не проверите строгие схемы.

## Какую модель выбрать

| Пайплайн | Модель |
| --- | --- |
| Агенты и вызовы инструментов | `broadnet/glm-5.3` |
| RAG по сканам страниц или арабскому тексту, с инструментами | `broadnet/qwen3.8-27b` |
| Ответы по длинному контексту на тарифе с фиксированной ценой | `broadnet/deepseek-v4.1-flash` |
| Знакомство на бесплатном стартовом гранте | `broadnet/gemma-4-26b-a4b` (контекст 32 768 токенов) |

Найденный при поиске контекст бывает большим. GLM 5.3 и DeepSeek V4.1 Flash принимают 1 048 576 токенов контекста, а 32 768 у Gemma заполняются быстро. [Цены на все модели](https://broadrouter.com/ru/pricing/).

## Как мы это проверяли

15 ноября 2026 г. мы установили haystack-ai 3.5.0 в чистое виртуальное окружение и запустили примеры выше — обычный, потоковый, с инструментом и с Agent — против локального mock-сервера, который отвечает в формате chat completions BroadNet. Мы прочитали записанные запросы. Все ушли на `/v1/chat/completions` с неизменённым ID модели, Bearer-ключом, `max_tokens` из `generation_kwargs`, а в случае инструментов — со схемой функции. Haystack также отправляет `n: 1`. Ключа BroadNet у нас не было, поэтому реальные ответы модели мы не проверяли.

## Решение проблем

-   **401.** Ключ неверен, истёк или исчерпал лимит, либо `BROADNET_API_KEY` не задана в процессе, который запускает пайплайн.
-   **404.** `api_base_url` должен заканчиваться на `/v1`, а ID модели — точно совпадать с ID BroadNet. Для платных моделей нужно пополнить баланс; стартовый грант $5 покрывает только `broadnet/gemma-4-26b-a4b`.
-   **Пустые ответы.** DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, а рассуждения учитываются в `max_tokens`. Увеличьте его. [Почему ответы приходят пустыми](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).
-   **429 при пакетной индексации или оценке.** Ключ с оплатой по факту допускает 30 запросов в минуту и не больше 4 одновременно. Используйте параметр генератора `max_retries` и см. [ошибки и повторные запросы](https://broadrouter.com/ru/guides/errors-and-retries/).

## Термины в этом руководстве

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Chat Completions API](https://broadrouter.com/ru/glossary/chat-completions-api/)

Chat Completions API — это HTTP-эндпоинт OpenAI, POST /v1/chat/completions, который принимает имя модели и список сообщений с ролями и возвращает следующее сообщение модели. Формат его запроса и ответа стал общим стандартом, который повторяют OpenAI-совместимые провайдеры и SDK.

[RAG (генерация, дополненная поиском)](https://broadrouter.com/ru/glossary/rag/)

RAG (retrieval-augmented generation, генерация, дополненная поиском) — это подход, при котором приложение сначала находит во внешнем хранилище, например поисковом или векторном индексе, фрагменты, относящиеся к вопросу, а затем добавляет их в промпт, чтобы языковая модель отвечала по этому тексту, а не только по памяти.

## Вопросы и ответы

### Какой параметр Haystack задаёт URL BroadNet?

api\_base\_url у OpenAIChatGenerator. Документация Haystack описывает его как способ подключиться к собственным развёртываниям. Укажите https://inference.broadnet.ai/v1.

### Нужен ли OpenAIResponsesChatGenerator для работы с BroadNet?

Нет. Этот компонент вызывает Responses API от OpenAI, которого нет в списке API BroadNet. Используйте OpenAIChatGenerator: он вызывает chat completions.

### Почему Haystack падает с ошибкой об отсутствии OPENAI\_API\_KEY?

По умолчанию api\_key равен Secret.from\_env\_var("OPENAI\_API\_KEY"). Передайте api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY"), чтобы Haystack читал ваш ключ BroadNet.

### Может ли Haystack Agent вызывать инструменты на BroadNet?

Да, с моделью, для которой BroadNet указывает инструменты: GLM 5.3 или Qwen3.8 27B. В нашем тесте с mock-сервером Agent отправил схему инструмента через chat completions и получил вызов инструмента обратно.

## Похожие руководства

-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)
-   [LlamaIndex и BroadNet Inference через OpenAILike](https://broadrouter.com/ru/guides/llamaindex-openailike/)
-   [Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)
-   [Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)
-   [Все инструменты, которые работают с BroadNet Inference (на английском)](https://broadrouter.com/integrations/): SDK, агенты для программирования, чат-интерфейсы и инструменты автоматизации с точными настройками для каждого

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-haystack-openai-compatible&utm_content=page-cta) ·

**Источники**

-   [Документация Haystack 3.5, OpenAIChatGenerator (дата обращения 2026-11-15)](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI, haystack-ai 3.5.0, Python 3.11+ (дата обращения 2026-11-15)](https://pypi.org/project/haystack-ai/)
-   [Справочник API BroadNet Inference (дата обращения 2026-11-15) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-haystack-openai-compatible&utm_content=sources)
