BroadRouter

DSPy で BroadNet Inference を使う(model_type="chat" を設定)

更新日

モデル "openai/broadnet/glm-5.3"、model_type="chat"、api_base に https://inference.broadnet.ai/v1、BroadNet の api_key を指定して dspy.LM を作り、dspy.configure に渡します。重要なのは model_type="chat" です。DSPy 3.5 は openai プレフィックスのモデルをデフォルトで Responses API に送りますが、BroadNet はこれを提供していません。私たちのモックサーバーでのテストでは、省略すると /v1/responses が呼ばれて 404 になりました。BroadNet の実際のエンドポイントもこのパスには 404 を返します。

DSPy は、シグネチャとモジュールで言語モデルをプログラミングし、その裏にあるプロンプトを最適化するための Python フレームワークです。モデルとは dspy.LM で接続します。DSPy のドキュメントでは、OpenAI 互換サーバーは api_base 付きの openai/ モデルとして示されています。https://inference.broadnet.ai/v1 で chat completions を提供する BroadNet Inference では、さらに model_type="chat" が必要です。BroadRouter は BroadNet 自身のサイトです。この記事は DSPy 3.5 のドキュメントに沿っています。

インストール

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

接続する

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ は DSPy に OpenAI クライアントを使うよう指示します。文字列の残りの broadnet/glm-5.3 が BroadNet に送られるモデル ID です。
  • model_type="chat" で DSPy は /v1/chat/completions を使い続けます。DSPy の LM リファレンスによると、デフォルトの 'auto' では OpenAI のモデルが “use Responses”(訳:Responses を使う)になります。
  • max_tokens は推論の余裕を残すためのものです。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に考え、その思考も上限に数えられます。

model_type を指定しないとどうなるか

DSPy のインストールページにある OpenAI 互換サーバーの例では、model_type が省略されています。DSPy 3.5.0 で私たちがテストしたところ、リクエストは max_output_tokens 付きで /v1/responses に送られ、呼び出しは失敗しました。

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

このエラーは私たちのモックサーバーが返したものです。2026-11-16 に確認したところ、BroadNet の実際のエンドポイントも /v1/responses に 404 を返しました。model_type="chat" を追加すると解決しました。

モジュールとモデル

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
DSPy の用途 モデル
Predict、ChainOfThought、オプティマイザーの実行 broadnet/deepseek-v4.1-flash(トークン単価が低い。定額プランあり)
ReAct などツールを呼び出すモジュール broadnet/glm-5.3 または broadnet/qwen3.8-27b
初回クレジットで DSPy を試す broadnet/gemma-4-26b-a4b(32,768 トークンのコンテキスト)

BroadNet のドキュメントでツールと構造化出力が掲載されているのは GLM 5.3 と Qwen3.8 27B だけです。プログラムとオプティマイザーで別々のモデルを使うこともでき、それぞれに dspy.LM を用意します。全モデルの料金。

テスト方法

2026-11-15 に、クリーンな仮想環境に dspy 3.5.0 をインストールし、ローカルのモックサーバーに対して dspy.Predict を実行しました。このモックサーバーは BroadNet の chat completions の形式で応答し、/v1/responses には 404 を返します。model_type なしでは、DSPy は /v1/responses を呼んで失敗しました。model_type="chat" ありでは、モデル ID broadnet/glm-5.3 と Bearer キーを付けて /v1/chat/completions を呼び、answer フィールドを解析しました。DSPy は出力上限を max_completion_tokens として送っていました。BroadNet の API リファレンスに記載されているのは max_tokens で、max_completion_tokens には触れていないため、この形で送った上限を BroadNet が適用するかは確認できません。テストは BroadNet のキーではなくモックサーバーに対して行ったので、実際のモデル出力は確認していません。

トラブルシューティング

  • /v1/responses で 404。 model_type="chat" を追加してください。
  • /v1/chat/completions で 404。 api_base は /v1 で終わる必要があり、モデルの文字列は openai/ に完全な BroadNet の ID を続けたものでなければなりません。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • “Expected to find output fields”。 回答が空か途中で切れています。推論が出力の上限を使い切ったことが原因の場合が多いです。max_tokens を大きくしてください。回答が空で返ってくる理由。
  • 最適化中に 429。 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までです。オプティマイザーのスレッド数を減らし、エラーとリトライを参照してください。

よくある質問

DSPy が BroadNet で /v1/responses を呼んでしまうのはなぜですか?

DSPy 3.5 の dspy.LM リファレンスによると、model_type のデフォルト 'auto' では OpenAI のモデルが Responses API を使います。カスタムの api_base を指定した openai/ のモデルも同じ扱いです。model_type="chat" を渡せば、BroadNet が提供している chat completions が使われます。

DSPy では BroadNet のモデル ID をどう書きますか?

BroadNet の ID の前に openai/ を付けます。例:openai/broadnet/glm-5.3。DSPy は openai/ でクライアントを選び、私たちのテストではモデルとして broadnet/glm-5.3 を送りました。

DSPy のオプティマイザーにはどの BroadNet モデルが向いていますか?

オプティマイザーは大量の呼び出しを行うので、コストとレート制限が重要です。DeepSeek V4.1 Flash はトークン単価が低く、トークン単位で計量されない BroadNet の定額プランの対象モデルです。ReAct のようにツールを呼び出すモジュールには GLM 5.3 か Qwen3.8 27B を使ってください。

DSPy のキャッシュは BroadNet の利用に影響しますか?

DSPy はデフォルトで LM の呼び出しをキャッシュする(cache=True)ので、同じ呼び出しを繰り返しても費用はかかりません。接続を確認している間は cache=False にしてください。そうしないと、キャッシュされた回答を見ている可能性があります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く