LlamaIndex は、RAG とエージェントのための Python フレームワークです。OpenAI 本体ではない OpenAI 互換 API 向けに、OpenAILike クラスが用意されています。BroadNet Inference は https://inference.broadnet.ai/v1 で標準的な chat completions を提供しています。BroadRouter は BroadNet 自身のサイトです。この記事は llama-index-llms-openai-like 0.9.0 の LlamaIndex API リファレンスに基づいています。
インストール
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
接続してテストする
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
回答が表示されれば、キー、URL、モデル ID は正しく設定されています。
重要な 4 つの設定
| パラメーター | 設定値 | 指定しない場合のデフォルト |
|---|---|---|
is_chat_model |
True |
False。従来の completions エンドポイントを使うが、BroadNet が提供するのは chat completions |
context_window |
モデルの実際のコンテキスト長 | 3,900 トークン |
is_function_calling_model |
GLM 5.3 か Qwen3.8 27B のときだけ True |
False |
max_tokens |
1,000 以上 | None(送信されないので、サーバーが決める) |
最も重要なのは is_chat_model です。API リファレンスには「controls whether the model uses the chat or completion endpoint」(訳:モデルが chat エンドポイントと completion エンドポイントのどちらを使うかを制御する)とあり、デフォルトは false です。BroadNet のドキュメントに記載されているのは /v1/chat/completions で、従来の completions エンドポイントではありません。
アプリ全体で使う
from llama_index.core import Settings
Settings.llm = llm
これでクエリエンジン、チャットエンジン、エージェントが BroadNet を使います。埋め込みは別です。BroadNet の API リファレンスには embeddings エンドポイントが記載されていないので、インデックス作成には別の埋め込みモデルを使い続けてください。
コンテキストウィンドウ
| モデル | ID | context_window |
ツール |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | あり |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | 記載なし |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | あり |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | 記載なし |
1M トークンのコンテキストがあれば、クエリエンジンは 1 回の呼び出しでずっと多くの検索チャンクを渡せます。ただし、それが常に良いとは限りません。ロングコンテキストと RAG の比較を参照してください。
トラブルシューティング
- 401。 キーが間違っている、期限切れ、または利用枠を使い切っています。
- 404。
api_baseは/v1で終わり、is_chat_modelはTrueである必要があります。そのうえでモデル ID を確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのはbroadnet/gemma-4-26b-a4bと 2 つの Transcribe モデルだけです。 - 回答が空になる。 出力の上限を推論で使い切っています。
max_tokensを上げてください。回答が空で返ってくる理由。 - エージェントがツールを呼ばない。
is_function_calling_model=Trueを設定し、broadnet/glm-5.3かbroadnet/qwen3.8-27bを使ってください。 - 取り込みやバッチクエリの最中に 429 になる。 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までです。OpenAILike はデフォルトで 3 回リトライします(
max_retries)。エラーとリトライを参照してください。
