Haystack は、deepset が開発する RAG パイプラインとエージェントのためのオープンソースフレームワークです。OpenAIChatGenerator は api_base_url を通じて、OpenAI 互換のどのサーバーとも通信できます。BroadNet Inference は https://inference.broadnet.ai/v1 で標準的な chat completions を提供しているので、このコンポーネントを使います。BroadRouter は BroadNet 自身のサイトです。この記事は Haystack 3.5 のドキュメントに従っています。
インストール
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
接続する
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelはそのまま送られます。broadnet/プレフィックス付きの BroadNet の ID を使ってください。api_keyは Haystack のSecretです。指定しないと、Haystack はOPENAI_API_KEYを探します。generation_kwargsは chat completion のリクエストにそのまま渡されます。max_tokensは推論の分も見込んで十分大きくしてください(後述)。
回答をストリーミングする
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
このとき Haystack は stream: true と stream_options.include_usage を送るので、トークン数は最後のチャンクで届きます。BroadNet のドキュメントにも同じオプションの説明があります。
ツールとエージェント
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
BroadNet のドキュメントでツールと構造化出力が記載されているのは broadnet/glm-5.3 と broadnet/qwen3.8-27b だけです。strict なスキーマをテストしていない限り、tools_strict はデフォルトの False のままにしてください。
モデルの選び方
| パイプライン | モデル |
|---|---|
| エージェントとツール呼び出し | broadnet/glm-5.3 |
| スキャンしたページやアラビア語テキストに対する RAG(ツールあり) | broadnet/qwen3.8-27b |
| 定額プランでの長いコンテキストの回答 | broadnet/deepseek-v4.1-flash |
| 無料の初回クレジットでのお試し | broadnet/gemma-4-26b-a4b(コンテキスト 32,768 トークン) |
検索で取り込むコンテキストは大きくなりがちです。GLM 5.3 と DeepSeek V4.1 Flash はコンテキスト 1,048,576 トークンを受け付けますが、Gemma の 32,768 はすぐに埋まります。全モデルの料金。
テスト方法
2026-11-15 に、クリーンな仮想環境に haystack-ai 3.5.0 をインストールし、上記の通常、ストリーミング、ツール、Agent の各例を、BroadNet の chat completions の形式で応答するローカルのモックサーバーに対して実行しました。記録されたリクエストを確認したところ、すべて /v1/chat/completions に届き、モデル ID はそのまま、Bearer キーと generation_kwargs からの max_tokens が付き、ツールの例では関数のスキーマも含まれていました。Haystack は n: 1 も送ります。BroadNet のキーは持っていなかったため、実際のモデル出力はテストしていません。
トラブルシューティング
- 401。 キーが間違っている、期限切れ、利用枠を使い切っている、またはパイプラインを実行するプロセスで
BROADNET_API_KEYが設定されていません。 - 404。
api_base_urlは/v1で終わっている必要があり、モデル ID は BroadNet のものと完全に一致させてください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのはbroadnet/gemma-4-26b-a4bと 2 つの Transcribe モデルだけです。 - 返答が空になる。 DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、推論は
max_tokensに含まれます。上げてください。回答が空で返ってくる理由。 - バッチのインデックス作成や評価で 429 になる。 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までです。ジェネレーターの
max_retriesを使い、エラーとリトライを参照してください。
