---
title: "Haystack OpenAIChatGenerator 自定义 api_base_url | BroadRouter"
description: "用 api_base_url、BroadNet 模型 ID 和 Secret 密钥，把 Haystack 的 OpenAIChatGenerator 指向 BroadNet Inference，支持 pipeline、工具、流式输出和 agent。"
url: https://broadrouter.com/zh/guides/haystack-openai-compatible/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/guides/haystack-openai-compatible/) (2026-11-16 更新).

# 在 Haystack 的 pipeline 和 agent 中使用 BroadNet Inference

更新于 2026-11-16

安装 haystack-ai，创建 OpenAIChatGenerator：api\_base\_url 设为 https://inference.broadnet.ai/v1，api\_key 设为从 BROADNET\_API\_KEY 读取的 Secret，model 设为 BroadNet ID（例如 broadnet/glm-5.3）。它可以用在 pipeline 或 Haystack Agent 中。max\_tokens 通过 generation\_kwargs 传入；生成器带工具时，请用 GLM 5.3 或 Qwen3.8 27B。

Haystack 是 deepset 推出的开源框架，用于构建 RAG pipeline 和 agent。它的 `OpenAIChatGenerator` 可以通过 `api_base_url` 连接任何 OpenAI 兼容的服务器。BroadNet Inference 在 `https://inference.broadnet.ai/v1` 上提供标准的 chat completions，所以就用这个组件。BroadRouter 是 BroadNet 自己的网站；本文依据 Haystack 3.5 的文档。

## 安装

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## 连接

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** 原样发送。请使用带 `broadnet/` 前缀的 BroadNet ID。
-   **`api_key`** 是一个 Haystack `Secret`。不传的话，Haystack 会去找 `OPENAI_API_KEY`。
-   **`generation_kwargs`** 会传入 chat completion 请求。把 `max_tokens` 设得足够高，给思考留出空间（见下文）。

## 流式输出

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

这样 Haystack 会发送 `stream: true` 和 `stream_options.include_usage`，token 用量会在最后一个分块中返回。BroadNet 的文档也说明了同一个选项。

## 工具和 agent

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

BroadNet 的文档只为 `broadnet/glm-5.3` 和 `broadnet/qwen3.8-27b` 列出了工具和结构化输出。除非你测试过严格模式的 schema，否则请让 `tools_strict` 保持默认值 `False`。

## 选哪个模型

| Pipeline | 模型 |
| --- | --- |
| agent 和工具调用 | `broadnet/glm-5.3` |
| 基于扫描页面或阿拉伯语文本的 RAG，带工具 | `broadnet/qwen3.8-27b` |
| 在固定价格套餐上做长上下文问答 | `broadnet/deepseek-v4.1-flash` |
| 用免费的初始额度试用 | `broadnet/gemma-4-26b-a4b`（32,768 token 上下文） |

检索到的上下文可能很大。GLM 5.3 和 DeepSeek V4.1 Flash 的上下文为 1,048,576 token；Gemma 的 32,768 很快就会填满。[所有模型的价格](https://broadrouter.com/zh/pricing/)。

## 我们是怎么测试的

2026-11-15，我们在一个干净的虚拟环境中安装了 haystack-ai 3.5.0，用上面的普通、流式、工具和 Agent 示例去请求一个模拟 BroadNet chat completions 格式的本地 mock 服务器，并查看了记录下来的请求。所有请求都发到了 `/v1/chat/completions`，模型 ID 原样未变，带 Bearer 密钥和来自 `generation_kwargs` 的 `max_tokens`；工具示例还带上了函数 schema。Haystack 还会发送 `n: 1`。我们没有 BroadNet 密钥，因此没有测试真实的模型输出。

## 故障排查

-   **401。** 密钥不对、已过期或额度已用完，或者运行 pipeline 的进程中没有设置 `BROADNET_API_KEY`。
-   **404。** `api_base_url` 必须以 `/v1` 结尾，模型 ID 必须与 BroadNet 的完全一致。付费模型需要先充值；$5 额度只覆盖 `broadnet/gemma-4-26b-a4b` 和两个 Transcribe 模型。
-   **回复为空。** DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答，思考内容计入 `max_tokens`。调高它。[为什么回答会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   **批量建索引或评测时出现 429。** 按量付费密钥每分钟允许 30 个请求，同时最多 4 个进行中的请求。使用生成器的 `max_retries`，并参见[错误码与重试](https://broadrouter.com/zh/guides/errors-and-retries/)。

## 本指南涉及的术语

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[Chat Completions API（对话补全接口）](https://broadrouter.com/zh/glossary/chat-completions-api/)

Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions，它接收模型名称和一组带角色标记的消息，返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

## 常见问题

### Haystack 里用哪个参数设置 BroadNet 的地址？

OpenAIChatGenerator 的 api\_base\_url。Haystack 的文档把它说明为连接自定义部署的方式。把它设为 https://inference.broadnet.ai/v1。

### 接 BroadNet 应该用 OpenAIResponsesChatGenerator 吗？

不应该。这个组件调用的是 OpenAI 的 Responses API，而 BroadNet 没有列出该 API。请用调用 chat completions 的 OpenAIChatGenerator。

### 为什么 Haystack 报错说缺少 OPENAI\_API\_KEY？

api\_key 的默认值是 Secret.from\_env\_var("OPENAI\_API\_KEY")。传入 api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY")，Haystack 就会改为读取你的 BroadNet 密钥。

### Haystack Agent 能在 BroadNet 上调用工具吗？

能，前提是使用 BroadNet 列出工具支持的模型：GLM 5.3 或 Qwen3.8 27B。在我们的 mock 服务器测试中，Agent 通过 chat completions 发送了工具 schema，并收到了返回的工具调用。

## 相关指南

-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)
-   [通过 OpenAILike 在 LlamaIndex 中使用 BroadNet Inference](https://broadrouter.com/zh/guides/llamaindex-openailike/)
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)
-   [所有可与 BroadNet Inference 配合使用的工具 （英文）](https://broadrouter.com/integrations/)：SDK、编程智能体、聊天界面和自动化工具，并附每个工具的具体设置

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-haystack-openai-compatible&utm_content=page-cta) ·

**来源**

-   [Haystack 3.5 文档：OpenAIChatGenerator（核对于 2026-11-15）](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI：haystack-ai 3.5.0，需要 Python 3.11+（核对于 2026-11-15）](https://pypi.org/project/haystack-ai/)
-   [BroadNet Inference API 参考文档（核对于 2026-11-15） （英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-haystack-openai-compatible&utm_content=sources)
