BroadRouter
始める

Haystack のパイプラインとエージェントで BroadNet Inference を使う

更新日

haystack-ai をインストールし、OpenAIChatGenerator を作成します。api_base_url は https://inference.broadnet.ai/v1、api_key は BROADNET_API_KEY から読む Secret、model は broadnet/glm-5.3 などの BroadNet の ID にします。パイプラインでも Haystack の Agent でも使えます。max_tokens は generation_kwargs で渡し、ジェネレーターにツールを持たせるときは GLM 5.3 か Qwen3.8 27B を使ってください。

Haystack は、deepset が開発する RAG パイプラインとエージェントのためのオープンソースフレームワークです。OpenAIChatGenerator は api_base_url を通じて、OpenAI 互換のどのサーバーとも通信できます。BroadNet Inference は https://inference.broadnet.ai/v1 で標準的な chat completions を提供しているので、このコンポーネントを使います。BroadRouter は BroadNet 自身のサイトです。この記事は Haystack 3.5 のドキュメントに従っています。

インストール

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

接続する

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model はそのまま送られます。broadnet/ プレフィックス付きの BroadNet の ID を使ってください。
  • api_key は Haystack の Secret です。指定しないと、Haystack は OPENAI_API_KEY を探します。
  • generation_kwargs は chat completion のリクエストにそのまま渡されます。max_tokens は推論の分も見込んで十分大きくしてください(後述)。

回答をストリーミングする

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

このとき Haystack は stream: true と stream_options.include_usage を送るので、トークン数は最後のチャンクで届きます。BroadNet のドキュメントにも同じオプションの説明があります。

ツールとエージェント

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

BroadNet のドキュメントでツールと構造化出力が記載されているのは broadnet/glm-5.3 と broadnet/qwen3.8-27b だけです。strict なスキーマをテストしていない限り、tools_strict はデフォルトの False のままにしてください。

モデルの選び方

パイプライン モデル
エージェントとツール呼び出し broadnet/glm-5.3
スキャンしたページやアラビア語テキストに対する RAG(ツールあり) broadnet/qwen3.8-27b
定額プランでの長いコンテキストの回答 broadnet/deepseek-v4.1-flash
無料の初回クレジットでのお試し broadnet/gemma-4-26b-a4b(コンテキスト 32,768 トークン)

検索で取り込むコンテキストは大きくなりがちです。GLM 5.3 と DeepSeek V4.1 Flash はコンテキスト 1,048,576 トークンを受け付けますが、Gemma の 32,768 はすぐに埋まります。全モデルの料金。

テスト方法

2026-11-15 に、クリーンな仮想環境に haystack-ai 3.5.0 をインストールし、上記の通常、ストリーミング、ツール、Agent の各例を、BroadNet の chat completions の形式で応答するローカルのモックサーバーに対して実行しました。記録されたリクエストを確認したところ、すべて /v1/chat/completions に届き、モデル ID はそのまま、Bearer キーと generation_kwargs からの max_tokens が付き、ツールの例では関数のスキーマも含まれていました。Haystack は n: 1 も送ります。BroadNet のキーは持っていなかったため、実際のモデル出力はテストしていません。

トラブルシューティング

  • 401。 キーが間違っている、期限切れ、利用枠を使い切っている、またはパイプラインを実行するプロセスで BROADNET_API_KEY が設定されていません。
  • 404。 api_base_url は /v1 で終わっている必要があり、モデル ID は BroadNet のものと完全に一致させてください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • 返答が空になる。 DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、推論は max_tokens に含まれます。上げてください。回答が空で返ってくる理由。
  • バッチのインデックス作成や評価で 429 になる。 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までです。ジェネレーターの max_retries を使い、エラーとリトライを参照してください。

よくある質問

Haystack で BroadNet の URL を設定するパラメーターはどれですか?

OpenAIChatGenerator の api_base_url です。Haystack のドキュメントでは、カスタムデプロイに接続するための方法として説明されています。https://inference.broadnet.ai/v1 を設定してください。

BroadNet では OpenAIResponsesChatGenerator を使うべきですか?

いいえ。このコンポーネントは OpenAI の Responses API を呼びますが、BroadNet はこの API を掲載していません。chat completions を呼ぶ OpenAIChatGenerator を使ってください。

Haystack が OPENAI_API_KEY がないというエラーで失敗するのはなぜですか?

api_key のデフォルトが Secret.from_env_var("OPENAI_API_KEY") だからです。api_key=Secret.from_env_var("BROADNET_API_KEY") を渡せば、Haystack は代わりに BroadNet のキーを読み込みます。

Haystack の Agent は BroadNet でツールを呼べますか?

はい。BroadNet がツール対応として掲載しているモデル、GLM 5.3 か Qwen3.8 27B を使えば呼べます。私たちのモックサーバーでのテストでは、Agent が chat completions でツールのスキーマを送り、ツール呼び出しが返ってきました。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く