---
title: "Haystack OpenAIChatGenerator でカスタム api_base_url | BroadRouter"
description: "api_base_url、BroadNet のモデル ID、Secret のキーで Haystack の OpenAIChatGenerator を BroadNet Inference に向けます。パイプライン、ツール、ストリーミング、エージェントに対応します。"
url: https://broadrouter.com/ja/guides/haystack-openai-compatible/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/guides/haystack-openai-compatible/) (2026-11-16 更新).

# Haystack のパイプラインとエージェントで BroadNet Inference を使う

更新日 2026-11-16

haystack-ai をインストールし、OpenAIChatGenerator を作成します。api\_base\_url は https://inference.broadnet.ai/v1、api\_key は BROADNET\_API\_KEY から読む Secret、model は broadnet/glm-5.3 などの BroadNet の ID にします。パイプラインでも Haystack の Agent でも使えます。max\_tokens は generation\_kwargs で渡し、ジェネレーターにツールを持たせるときは GLM 5.3 か Qwen3.8 27B を使ってください。

Haystack は、deepset が開発する RAG パイプラインとエージェントのためのオープンソースフレームワークです。`OpenAIChatGenerator` は `api_base_url` を通じて、OpenAI 互換のどのサーバーとも通信できます。BroadNet Inference は `https://inference.broadnet.ai/v1` で標準的な chat completions を提供しているので、このコンポーネントを使います。BroadRouter は BroadNet 自身のサイトです。この記事は Haystack 3.5 のドキュメントに従っています。

## インストール

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## 接続する

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** はそのまま送られます。`broadnet/` プレフィックス付きの BroadNet の ID を使ってください。
-   **`api_key`** は Haystack の `Secret` です。指定しないと、Haystack は `OPENAI_API_KEY` を探します。
-   **`generation_kwargs`** は chat completion のリクエストにそのまま渡されます。`max_tokens` は推論の分も見込んで十分大きくしてください（後述）。

## 回答をストリーミングする

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

このとき Haystack は `stream: true` と `stream_options.include_usage` を送るので、トークン数は最後のチャンクで届きます。BroadNet のドキュメントにも同じオプションの説明があります。

## ツールとエージェント

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

BroadNet のドキュメントでツールと構造化出力が記載されているのは `broadnet/glm-5.3` と `broadnet/qwen3.8-27b` だけです。strict なスキーマをテストしていない限り、`tools_strict` はデフォルトの `False` のままにしてください。

## モデルの選び方

| パイプライン | モデル |
| --- | --- |
| エージェントとツール呼び出し | `broadnet/glm-5.3` |
| スキャンしたページやアラビア語テキストに対する RAG（ツールあり） | `broadnet/qwen3.8-27b` |
| 定額プランでの長いコンテキストの回答 | `broadnet/deepseek-v4.1-flash` |
| 無料の初回クレジットでのお試し | `broadnet/gemma-4-26b-a4b`（コンテキスト 32,768 トークン） |

検索で取り込むコンテキストは大きくなりがちです。GLM 5.3 と DeepSeek V4.1 Flash はコンテキスト 1,048,576 トークンを受け付けますが、Gemma の 32,768 はすぐに埋まります。[全モデルの料金](https://broadrouter.com/ja/pricing/)。

## テスト方法

2026-11-15 に、クリーンな仮想環境に haystack-ai 3.5.0 をインストールし、上記の通常、ストリーミング、ツール、Agent の各例を、BroadNet の chat completions の形式で応答するローカルのモックサーバーに対して実行しました。記録されたリクエストを確認したところ、すべて `/v1/chat/completions` に届き、モデル ID はそのまま、Bearer キーと `generation_kwargs` からの `max_tokens` が付き、ツールの例では関数のスキーマも含まれていました。Haystack は `n: 1` も送ります。BroadNet のキーは持っていなかったため、実際のモデル出力はテストしていません。

## トラブルシューティング

-   **401。** キーが間違っている、期限切れ、利用枠を使い切っている、またはパイプラインを実行するプロセスで `BROADNET_API_KEY` が設定されていません。
-   **404。** `api_base_url` は `/v1` で終わっている必要があり、モデル ID は BroadNet のものと完全に一致させてください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは `broadnet/gemma-4-26b-a4b` と 2 つの Transcribe モデルだけです。
-   **返答が空になる。** DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、推論は `max_tokens` に含まれます。上げてください。[回答が空で返ってくる理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)。
-   **バッチのインデックス作成や評価で 429 になる。** 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までです。ジェネレーターの `max_retries` を使い、[エラーとリトライ](https://broadrouter.com/ja/guides/errors-and-retries/)を参照してください。

## このガイドの用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[AI エージェント（AI agent）](https://broadrouter.com/ja/glossary/agent/)

AI エージェントとは、言語モデルが目標に向けて自分で手順を決めるシステムです。どのツールを呼ぶかを決め、結果を読み、最終回答を出すか上限に達するまで繰り返します。決まった箇所でモデルを呼ぶ固定のスクリプトは、ふつうワークフローと呼ばれます。

[Chat Completions API（チャット補完 API）](https://broadrouter.com/ja/glossary/chat-completions-api/)

Chat Completions API とは、OpenAI の HTTP エンドポイント POST /v1/chat/completions で、モデル名とロール付きメッセージのリストを受け取り、モデルの次のメッセージを返します。そのリクエストと応答の形は、OpenAI 互換のプロバイダーや SDK が使う共通形式になりました。

[従量課金（pay-as-you-go）](https://broadrouter.com/ja/glossary/pay-as-you-go/)

従量課金とは、使った分だけを支払う料金体系です。トークン、リクエスト、音声の分数などの単位で計測され、サブスクリプションや最低利用額はありません。多くの LLM API はこの方式で、前払いの残高か定期的な請求書から支払います。

[OpenAI 互換 API（OpenAI-compatible API）](https://broadrouter.com/ja/glossary/openai-compatible-api/)

OpenAI 互換 API とは、POST /v1/chat/completions など OpenAI API と同じリクエスト形式とレスポンス形式を受け付ける HTTP API です。OpenAI の SDK やツールは、ベース URL、API キー、モデル名を変えるだけで利用できます。

[RAG（検索拡張生成）](https://broadrouter.com/ja/glossary/rag/)

RAG（検索拡張生成）とは、アプリケーションがまず検索エンジンやベクトルインデックスなどの外部ストアから質問に関連する文章を取り出し、それをプロンプトに加えて、言語モデルが記憶だけでなくそのテキストをもとに回答できるようにする手法です。

[プリペイドクレジット（prepaid credit）](https://broadrouter.com/ja/glossary/prepaid-credit/)

プリペイドクレジットとは、使用前に API アカウントに入金しておくお金です。リクエストごとに費用が残高から差し引かれ、残高がなくなると、チャージするまで従量課金のリクエストは止まります。支出は支払った額までに抑えられます。

[レート制限（rate limit）](https://broadrouter.com/ja/glossary/rate-limit/)

レート制限とは、1 分あたりのリクエスト数やトークン数など、一定時間内にクライアントが API を使える量に API 側が設ける上限です。上限を超えたリクエストは、使用量が下回るまで通常 HTTP 429 Too Many Requests で拒否されます。

## よくある質問

### Haystack で BroadNet の URL を設定するパラメーターはどれですか？

OpenAIChatGenerator の api\_base\_url です。Haystack のドキュメントでは、カスタムデプロイに接続するための方法として説明されています。https://inference.broadnet.ai/v1 を設定してください。

### BroadNet では OpenAIResponsesChatGenerator を使うべきですか？

いいえ。このコンポーネントは OpenAI の Responses API を呼びますが、BroadNet はこの API を掲載していません。chat completions を呼ぶ OpenAIChatGenerator を使ってください。

### Haystack が OPENAI\_API\_KEY がないというエラーで失敗するのはなぜですか？

api\_key のデフォルトが Secret.from\_env\_var("OPENAI\_API\_KEY") だからです。api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY") を渡せば、Haystack は代わりに BroadNet のキーを読み込みます。

### Haystack の Agent は BroadNet でツールを呼べますか？

はい。BroadNet がツール対応として掲載しているモデル、GLM 5.3 か Qwen3.8 27B を使えば呼べます。私たちのモックサーバーでのテストでは、Agent が chat completions でツールのスキーマを送り、ツール呼び出しが返ってきました。

## 関連ガイド

-   [OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)
-   [LlamaIndex で OpenAILike を使って BroadNet Inference に接続する](https://broadrouter.com/ja/guides/llamaindex-openailike/)
-   [推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference のエラーコードとリトライすべき場合](https://broadrouter.com/ja/guides/errors-and-retries/)
-   [BroadNet Inference で使えるすべてのツール （英語）](https://broadrouter.com/integrations/)：SDK、コーディングエージェント、チャット UI、自動化ツールと、それぞれの正確な設定

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-guides-haystack-openai-compatible&utm_content=page-cta) ·

**出典**

-   [Haystack 3.5 ドキュメント：OpenAIChatGenerator（2026-11-15 確認）](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI：haystack-ai 3.5.0、Python 3.11 以上（2026-11-15 確認）](https://pypi.org/project/haystack-ai/)
-   [BroadNet Inference API リファレンス（2026-11-15 確認） （英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-guides-haystack-openai-compatible&utm_content=sources)
