BroadRouter
开始使用

在 Haystack 的 pipeline 和 agent 中使用 BroadNet Inference

更新于

安装 haystack-ai,创建 OpenAIChatGenerator:api_base_url 设为 https://inference.broadnet.ai/v1,api_key 设为从 BROADNET_API_KEY 读取的 Secret,model 设为 BroadNet ID(例如 broadnet/glm-5.3)。它可以用在 pipeline 或 Haystack Agent 中。max_tokens 通过 generation_kwargs 传入;生成器带工具时,请用 GLM 5.3 或 Qwen3.8 27B。

Haystack 是 deepset 推出的开源框架,用于构建 RAG pipeline 和 agent。它的 OpenAIChatGenerator 可以通过 api_base_url 连接任何 OpenAI 兼容的服务器。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供标准的 chat completions,所以就用这个组件。BroadRouter 是 BroadNet 自己的网站;本文依据 Haystack 3.5 的文档。

安装

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

连接

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model 原样发送。请使用带 broadnet/ 前缀的 BroadNet ID。
  • api_key 是一个 Haystack Secret。不传的话,Haystack 会去找 OPENAI_API_KEY。
  • generation_kwargs 会传入 chat completion 请求。把 max_tokens 设得足够高,给思考留出空间(见下文)。

流式输出

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

这样 Haystack 会发送 stream: true 和 stream_options.include_usage,token 用量会在最后一个分块中返回。BroadNet 的文档也说明了同一个选项。

工具和 agent

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

BroadNet 的文档只为 broadnet/glm-5.3 和 broadnet/qwen3.8-27b 列出了工具和结构化输出。除非你测试过严格模式的 schema,否则请让 tools_strict 保持默认值 False。

选哪个模型

Pipeline 模型
agent 和工具调用 broadnet/glm-5.3
基于扫描页面或阿拉伯语文本的 RAG,带工具 broadnet/qwen3.8-27b
在固定价格套餐上做长上下文问答 broadnet/deepseek-v4.1-flash
用免费的初始额度试用 broadnet/gemma-4-26b-a4b(32,768 token 上下文)

检索到的上下文可能很大。GLM 5.3 和 DeepSeek V4.1 Flash 的上下文为 1,048,576 token;Gemma 的 32,768 很快就会填满。所有模型的价格。

我们是怎么测试的

2026-11-15,我们在一个干净的虚拟环境中安装了 haystack-ai 3.5.0,用上面的普通、流式、工具和 Agent 示例去请求一个模拟 BroadNet chat completions 格式的本地 mock 服务器,并查看了记录下来的请求。所有请求都发到了 /v1/chat/completions,模型 ID 原样未变,带 Bearer 密钥和来自 generation_kwargs 的 max_tokens;工具示例还带上了函数 schema。Haystack 还会发送 n: 1。我们没有 BroadNet 密钥,因此没有测试真实的模型输出。

故障排查

  • 401。 密钥不对、已过期或额度已用完,或者运行 pipeline 的进程中没有设置 BROADNET_API_KEY。
  • 404。 api_base_url 必须以 /v1 结尾,模型 ID 必须与 BroadNet 的完全一致。付费模型需要先充值;$5 额度只覆盖 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • 回复为空。 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入 max_tokens。调高它。为什么回答会是空的。
  • 批量建索引或评测时出现 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。使用生成器的 max_retries,并参见错误码与重试。

常见问题

Haystack 里用哪个参数设置 BroadNet 的地址?

OpenAIChatGenerator 的 api_base_url。Haystack 的文档把它说明为连接自定义部署的方式。把它设为 https://inference.broadnet.ai/v1。

接 BroadNet 应该用 OpenAIResponsesChatGenerator 吗?

不应该。这个组件调用的是 OpenAI 的 Responses API,而 BroadNet 没有列出该 API。请用调用 chat completions 的 OpenAIChatGenerator。

为什么 Haystack 报错说缺少 OPENAI_API_KEY?

api_key 的默认值是 Secret.from_env_var("OPENAI_API_KEY")。传入 api_key=Secret.from_env_var("BROADNET_API_KEY"),Haystack 就会改为读取你的 BroadNet 密钥。

Haystack Agent 能在 BroadNet 上调用工具吗?

能,前提是使用 BroadNet 列出工具支持的模型:GLM 5.3 或 Qwen3.8 27B。在我们的 mock 服务器测试中,Agent 通过 chat completions 发送了工具 schema,并收到了返回的工具调用。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity