Haystack 是 deepset 推出的开源框架,用于构建 RAG pipeline 和 agent。它的 OpenAIChatGenerator 可以通过 api_base_url 连接任何 OpenAI 兼容的服务器。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的 chat completions,所以就用这个组件。BroadRouter 是 BroadNet 自己的网站;本文依据 Haystack 3.5 的文档。
安装
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
连接
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
model原样发送。请使用带broadnet/前缀的 BroadNet ID。api_key是一个 HaystackSecret。不传的话,Haystack 会去找OPENAI_API_KEY。generation_kwargs会传入 chat completion 请求。把max_tokens设得足够高,给思考留出空间(见下文)。
流式输出
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
这样 Haystack 会发送 stream: true 和 stream_options.include_usage,token 用量会在最后一个分块中返回。BroadNet 的文档也说明了同一个选项。
工具和 agent
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
BroadNet 的文档只为 broadnet/glm-5.3 和 broadnet/qwen3.8-27b 列出了工具和结构化输出。除非你测试过严格模式的 schema,否则请让 tools_strict 保持默认值 False。
选哪个模型
| Pipeline | 模型 |
|---|---|
| agent 和工具调用 | broadnet/glm-5.3 |
| 基于扫描页面或阿拉伯语文本的 RAG,带工具 | broadnet/qwen3.8-27b |
| 在固定价格套餐上做长上下文问答 | broadnet/deepseek-v4.1-flash |
| 用免费的初始额度试用 | broadnet/gemma-4-26b-a4b(32,768 token 上下文) |
检索到的上下文可能很大。GLM 5.3 和 DeepSeek V4.1 Flash 的上下文为 1,048,576 token;Gemma 的 32,768 很快就会填满。所有模型的价格。
我们是怎么测试的
2026-11-15,我们在一个干净的虚拟环境中安装了 haystack-ai 3.5.0,用上面的普通、流式、工具和 Agent 示例去请求一个模拟 BroadNet chat completions 格式的本地 mock 服务器,并查看了记录下来的请求。所有请求都发到了 /v1/chat/completions,模型 ID 原样未变,带 Bearer 密钥和来自 generation_kwargs 的 max_tokens;工具示例还带上了函数 schema。Haystack 还会发送 n: 1。我们没有 BroadNet 密钥,因此没有测试真实的模型输出。
故障排查
- 401。 密钥不对、已过期或额度已用完,或者运行 pipeline 的进程中没有设置
BROADNET_API_KEY。 - 404。
api_base_url必须以/v1结尾,模型 ID 必须与 BroadNet 的完全一致。付费模型需要先充值;$5 额度只覆盖broadnet/gemma-4-26b-a4b和两个 Transcribe 模型。 - 回复为空。 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入
max_tokens。调高它。为什么回答会是空的。 - 批量建索引或评测时出现 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。使用生成器的
max_retries,并参见错误码与重试。
