BroadRouter

Pydantic AI を BroadNet Inference で使う(OpenAICompatibleProvider)

更新日

pydantic-ai-slim[openai] をインストールし、broadnet/glm-5.3 などの BroadNet のモデル ID と、ベース URL が https://inference.broadnet.ai/v1、API キーが BroadNet のキーの OpenAICompatibleProvider を使って OpenAIChatModel を作成します。そのモデルを Agent に渡します。BroadNet が提供するのはチャット補完なので、Responses のモデルではなく OpenAIChatModel を使ってください。Pydantic AI のドキュメントによると、base_url 付きの OpenAIProvider は OpenAI 本体向けです。

Pydantic AI は、Pydantic チームによる Python のエージェントフレームワークです。組み込みのプロバイダーがないサービスについて、ドキュメントでは OpenAICompatibleProvider にそのサービスの base_url を渡すよう案内しています。BroadNet Inference は https://inference.broadnet.ai/v1 で標準のチャット補完を提供しているので、この方法を使います。BroadRouter は BroadNet 自身のサイトです。この記事はバージョン 2.68 時点の Pydantic AI のドキュメントに従っています。

インストール

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

接続

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

これを実行することがそのままテストになります。回答が表示されれば、キー、URL、モデル ID は正しく設定されています。

  • 最初の引数は BroadNet に送られるモデル ID です。 broadnet/ の接頭辞を含め、そのまま正確に書いてください。
  • プロバイダー名(ここでは 'broadnet')は、すべてのレスポンスに記録されます。Pydantic AI のドキュメントでは、この名前は変えないよう勧めています。以前のレスポンスのどのデータをサービスに送り返すかが、この名前で決まるためです。
  • OpenAIChatModel を使い続けてください。 Pydantic AI のドキュメントによると、OpenAIResponsesModel を使うのはサービスが Responses API を実装している場合だけです。BroadNet はこの API を記載していません。

ツールと構造化出力

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

ツールと構造化出力には broadnet/glm-5.3 か broadnet/qwen3.8-27b を使ってください。BroadNet のドキュメントでこの 2 つの機能が記載されているのは、この 2 モデルだけです。

モデルプロファイルを設定する場面

Pydantic AI はモデル名からリクエストのプロファイルを選びます。ある機能が無視されたり拒否されたりする場合は、自分で OpenAIModelProfile を渡すようドキュメントに書かれています。BroadNet で知っておくとよい設定は次の 2 つです。

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

出力の上限はモデル設定で渡します。たとえば agent.run_sync(prompt, model_settings={'max_tokens': 2000}) のようにします。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B では、推論(reasoning)もこの上限に含まれます。

どのモデルを選ぶか

エージェント モデル
ツール、構造化出力 broadnet/glm-5.3
画像やアラビア語のテキスト、ツールあり broadnet/qwen3.8-27b
長い文書、定額プラン broadnet/deepseek-v4.1-flash
無料の初回クレジット broadnet/gemma-4-26b-a4b(32,768 トークンのコンテキスト)

全モデルの料金。

トラブルシューティング

  • 401。 キーが間違っている、期限切れ、または利用枠を使い切っています。
  • 404、またはモデルが見つからない。 base_url は /v1 で終わっている必要があります。モデル ID を確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • 出力が空、またはバリデーションのリトライが繰り返される。 推論(reasoning)が出力の上限を使い切っています。max_tokens を上げてください。回答が空になる理由。
  • ツール定義で 400。 プロファイルで openai_supports_strict_tool_definition=False を設定し、BroadNet がツールを記載しているモデルを使ってください。
  • エージェントを同時に動かすと 429。 従量課金のキーは毎分 30 リクエスト、同時 4 リクエストまでです。エラーとリトライを参照してください。

よくある質問

BroadNet には OpenAIProvider と OpenAICompatibleProvider のどちらを使うべきですか?

OpenAICompatibleProvider です。Pydantic AI のドキュメントによると、OpenAIProvider も base_url を受け取りますが、OpenAI 本体か、OpenAI への透過的なプロキシ向けで、OpenAI のモデルと機能を前提にしています。

デフォルトの OpenAI モデルではなく OpenAIChatModel を使うのはなぜですか?

Pydantic AI のデフォルトの OpenAI モデルは Responses API を使います。BroadNet は /v1/chat/completions でチャット補完を提供しており、OpenAIChatModel が呼び出すのはこちらです。

ツールと構造化出力は使えますか?

BroadNet がツールと構造化出力を記載しているモデル、つまり GLM 5.3 と Qwen3.8 27B なら使えます。BroadNet のドキュメントには DeepSeek V4.1 Flash のツールの記載がないので、ツールを使うエージェントはまずテストしてください。

Pydantic AI が max_completion_tokens を送らないようにするには?

OpenAIChatModel に profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) を渡します。すると Pydantic AI は古い max_tokens フィールドを送るようになります。BroadNet の API リファレンスに記載されているのはこちらのフィールドです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く